Hvad kan man bruge dårlige målinger til? Validitetsproblemer, kontekst, framing.

Transkript

1 Hvad kan man bruge dårlige målinger til? Validitetsproblemer, kontekst, framing. Meningsmålinger og Medier Seminar 13. April 2011 Jørgen Goul Andersen

2 Først en meningsmåling classic Dagbladet Børsen

3 Positivt signal iflg. OECD - Hvor positivt signal? Man kan næsten rekonstruere, hvad der (ikke) er blevet sagt

4 Måske er Børsen gået lidt for vidt i tolkningen Både af Elmeskov og af undersøgelsens resultat Svært at være imod reformer, Og svært at synes, nødvendige reformer går for hurtigt: Konklusion: Ledende spørgsmål ringe validitet. Kilde: Interresearch for Danske Erhverv. Spm.2 kun stillet til dem, der havde svaret ja på spm. 1

5 Men

6 Kilde: dr.dk/nyheder 12. April 2011

7 Villy har vist tabt kampen om navngivningen

8 Reformer har altid været godt Tidligere betød Reformer Mere, Bedre, osv. Nu betyder Reformer typisk Mindre Stor politisk sejr at kunne forbinde reform med sine politiske mål og at få ejerskab til reform Reform ejerskabet er skiftet tidligere den anden fløj Børsen 11.4 : Undersøgelsen ER uden validitet Men det kunne hurtigt tangere at blive et spm om framing. Påvirkes holdninger af, at forslag omtales som reform?

9 Har valgprojektet også tabt kampen om navngivningen? Spm Sociale reformer gået for vidt (fra 1969): Q30a. Først har vi et spørgsmål om samfundets sociale udgifter. A siger: Man er gået for langt med sociale reformer her i landet. Folk burde mere end nu klare sig uden sociale sikringer og bidrag fra samfundet. B siger: De sociale reformer, som er gennemført i vores land, bør opretholdes i mindst samme omfang som nu. 1. Mest enig med A 16,2 2. Mest enig med B 76,6 3. Ikke enig med nogen af parterne 6,1 97. Ved ikke 1,0 Total 100,0

10 Vores 1969-Spørgsmål består vistnok testen Klart nok fra konteksten, hvad spm. drejer sig om Men vi tolker sjældent meget på marginalfordelingerne hvor mange mener hvad? Vi er interesseret i sammenligninger over tid, mellem grupper etc. - det er variationen. Vi slår i reglen flere spm. sammen i indeks En del af vore spm. er ikke specielt geniale til at afdække folkets røst. Men de overlever længe...

11 Vi interesserer os for marginalfordelinger i forbindelse med studiet af framing effekter Ofte målt gennem eksperimenter Meningsmålinger i medierne kan ses som en slags naturlige eksperimenter Som man spørger, får man svar. Det er undertiden netop det interessante.

12 Endnu et klassisk eksempel: Tilfredshed hjemmehjælp Klassisk: Hvor tilfreds? pct. tilfredse På jysk: ikke helt tilfreds ca. 75 pct. Jysk tilfredshed rengøring 67 pct. Er praktiske hjælp tilstrækkelig? 63 pct. Tid nok til at løse opgaverne? 59 pct. Får du gjort ordentlig rent? < 50 pct. Tilstrækkelig hjælp til rengøring << 50 pct. Næsten ingen af de konkrete når den generelle Generelle målinger ubrugelige.

13 En politisk pendant. Er folk universalister? Hvor retfærdigt eller uretfærdigt er det, at At man koncentrerer velfærdsydelserne om de svageste frem for at give til alle At alle danskere over 67år får Meget uretfærdigt 0-2 Ret uretfærdigt 3-4 neutral 5 Ret retfærdigt 6-7 Meget retfærdigt folkepensionens grundbeløb

14 Er folk universalister? En ret Kun efter Ved ikke PDI for alle øk. behov Folkepens. grundbeløb Arbejdsløshedsdagpenge Efterløn SU til studerende Førtidspension Kontanthjælp Børnefamilieydelse Spm. Nu har vi et spørgsmål, der vedrører, om sociale ydelser, så som folkepension, dagpenge og lignende skal være en ret for alle eller kun skal gives efter økonomisk behov, så ydelsen falder bort for dem, der kan klare sig selv (f.eks. i kraft af ægtefælles indkomst). Klassisk ambivalens hvordan bliver der talt om emnet?

15 Tendentiøs måling: Observa/Jyllands Posten 11. okt Flertal for alle Schlüter-regeringens forslag! Spm. I forbindelse med åbningen af Folketinget tirsdag den 5. oktober bebudede den nye regering en række forslag til bedring af landets økonomiske situation. Vi vil gerne høre Deres mening om hver enkelt: 1. Synes forslaget er godt og kan derfor gå ind for det 2. Synes forslaget er dårligt, men vil gå ind for det pga landets økonomiske situation 3. Kan ikke gå ind for forslaget 4. Ved ikke/kan ikke tage stilling Tilhængere = 1 + 2! Meget værre kan det ikke blive

16 1. for 2. imod, men 3. imod 4. ved ikke (1+2) 3 1 (2+3) Aut. dyrtidsregulering ophør Off.ans. taktregulering susp Højst 4 % lønstign Dagpenge ned fra 90 til 80% Statsafgift recept medicin Første sygedag selvbetaling Men Observa = den eneste OK måling fra den tid! Kunne forudsige (manglende) reaktion = blå tal mest relevante. Krisekontekst og frame 1985 = røde tal mest relevante. Det gik ufattelig godt. Opsvingskontekst

17 Efterlønnen

18 Baggrund Det startede i 1995 med en diskussion om, hvorvidt det var muligt at få ændringer igennem m. efterlønnen. Svaret syntes ligetil: Ikke muligt. Alle meningsmålinger var samstemmende pct. Imod. Forklaring ligetil: Ikke alene ville de berørte råbe op hovedparten af befolkningen var potentielt berørte. Eller troede, at de var Så ville vi prøve at måle, hvor langt man kunne komme under de bedst tænkelige betingelser

19 Efterlønnen, videre Man kunne forestille sig en situation, hvor framing m henvisning til aldringsproblemet ville være altdominerende. Hvordan ville folk tage stilling i dén situation? En vis realisme: Bedst mulige betingelser + Antagelse om, at det kunne blive realistisk frame, såfremt det kom på beslutningsdagsordenen

20 Aldersgrænsen for efterløn bør gradvis hæves til 62 år... Helt enig Delvis enig Ved ej, neutral Delvis uenig Helt Uenig PDI enig uenig Sep Sep Feb Apr Sep.1998 (reform Dec.98) Okt June May 2006 (reform June 06) The age limit for voluntary early retirement should be gradually raised to 62 years in accordance with the ageing of the population in Denmark Change NOT (Welfare Commission) Problemet 1998 var løftebrud+manglende varsel, ikke indgrebet som sådan

21 Amazing ambivalence 2003 same people, same questionnaire, + top attention to issue in 2003 strongly agree agree neutral, don t know Disagree strongly Disagree Net majority in favour of reform/ retrenchment Early retirement allowance should be abolished In the long run it will be necessary to abolish voluntary early retirement The age limit for voluntary early retirement should be gradually raised to 62 years in accordance with the ageing of the population in

22 Konklusion Ingen meningsmåling er uinteressant Test af framing effekter Spm. er så, hvor realistisk det er, at den givne frame får lov til at stå alene / bliver dominerende Er man stædig, kan man MÅSKE få journalisten til at skrive, at spørgsmålet er ledende / flertydigt / usikkert Men umuligt at få den præcise tolkning formidlet og fejltolkninger korrigeret I mellemtiden kan vi glæde os over, at medierne forsyner os med så righoldigt materiale Det er faktisk ikke altid de mest seriøse målinger, man kan lære mest af!

23

24 Her må tegnes