Hvad kan man bruge dårlige målinger til? Validitetsproblemer, kontekst, framing.

Hvad kan man bruge dårlige målinger til? Validitetsproblemer, kontekst, framing. Meningsmålinger og Medier Seminar 13. April 2011 Jørgen Goul Andersen

Først en meningsmåling classic Dagbladet Børsen 11.4.2011

Positivt signal iflg. OECD - Hvor positivt signal? Man kan næsten rekonstruere, hvad der (ikke) er blevet sagt

Måske er Børsen gået lidt for vidt i tolkningen Både af Elmeskov og af undersøgelsens resultat Svært at være imod reformer, Og svært at synes, nødvendige reformer går for hurtigt: Konklusion: Ledende spørgsmål ringe validitet. Kilde: Interresearch for Danske Erhverv. Spm.2 kun stillet til dem, der havde svaret ja på spm. 1

Men

Kilde: dr.dk/nyheder 12. April 2011

Villy har vist tabt kampen om navngivningen

Reformer har altid været godt Tidligere betød Reformer Mere, Bedre, osv. Nu betyder Reformer typisk Mindre Stor politisk sejr at kunne forbinde reform med sine politiske mål og at få ejerskab til reform Reform ejerskabet er skiftet tidligere den anden fløj Børsen 11.4 : Undersøgelsen ER uden validitet Men det kunne hurtigt tangere at blive et spm om framing. Påvirkes holdninger af, at forslag omtales som reform?

Har valgprojektet også tabt kampen om navngivningen? Spm Sociale reformer gået for vidt (fra 1969): Q30a. Først har vi et spørgsmål om samfundets sociale udgifter. A siger: Man er gået for langt med sociale reformer her i landet. Folk burde mere end nu klare sig uden sociale sikringer og bidrag fra samfundet. B siger: De sociale reformer, som er gennemført i vores land, bør opretholdes i mindst samme omfang som nu. 1. Mest enig med A 16,2 2. Mest enig med B 76,6 3. Ikke enig med nogen af parterne 6,1 97. Ved ikke 1,0 Total 100,0

Vores 1969-Spørgsmål består vistnok testen Klart nok fra konteksten, hvad spm. drejer sig om Men vi tolker sjældent meget på marginalfordelingerne hvor mange mener hvad? Vi er interesseret i sammenligninger over tid, mellem grupper etc. - det er variationen. Vi slår i reglen flere spm. sammen i indeks En del af vore spm. er ikke specielt geniale til at afdække folkets røst. Men de overlever længe...

Vi interesserer os for marginalfordelinger i forbindelse med studiet af framing effekter Ofte målt gennem eksperimenter Meningsmålinger i medierne kan ses som en slags naturlige eksperimenter Som man spørger, får man svar. Det er undertiden netop det interessante.

Endnu et klassisk eksempel: Tilfredshed hjemmehjælp Klassisk: Hvor tilfreds? 85-90 pct. tilfredse På jysk: ikke helt tilfreds ca. 75 pct. Jysk tilfredshed rengøring 67 pct. Er praktiske hjælp tilstrækkelig? 63 pct. Tid nok til at løse opgaverne? 59 pct. Får du gjort ordentlig rent? < 50 pct. Tilstrækkelig hjælp til rengøring << 50 pct. Næsten ingen af de konkrete når den generelle Generelle målinger ubrugelige.

En politisk pendant. Er folk universalister? Hvor retfærdigt eller uretfærdigt er det, at At man koncentrerer velfærdsydelserne om de svageste frem for at give til alle At alle danskere over 67år får Meget uretfærdigt 0-2 Ret uretfærdigt 3-4 neutral 5 Ret retfærdigt 6-7 Meget retfærdigt 8-10 8 7 16 21 48 folkepensionens grundbeløb 6 4 6 9 75

Er folk universalister? En ret Kun efter Ved ikke PDI for alle øk. behov Folkepens. grundbeløb 78 21 1 57 Arbejdsløshedsdagpenge 75 24 1 51 Efterløn 73 25 2 48 SU til studerende 70 30 0 40 Førtidspension 67 32 1 35 Kontanthjælp 44 55 1-11 Børnefamilieydelse 34 64 2-30 Spm. Nu har vi et spørgsmål, der vedrører, om sociale ydelser, så som folkepension, dagpenge og lignende skal være en ret for alle eller kun skal gives efter økonomisk behov, så ydelsen falder bort for dem, der kan klare sig selv (f.eks. i kraft af ægtefælles indkomst). Klassisk ambivalens hvordan bliver der talt om emnet?

Tendentiøs måling: Observa/Jyllands Posten 11. okt. 1982. Flertal for alle Schlüter-regeringens forslag! Spm. I forbindelse med åbningen af Folketinget tirsdag den 5. oktober bebudede den nye regering en række forslag til bedring af landets økonomiske situation. Vi vil gerne høre Deres mening om hver enkelt: 1. Synes forslaget er godt og kan derfor gå ind for det 2. Synes forslaget er dårligt, men vil gå ind for det pga landets økonomiske situation 3. Kan ikke gå ind for forslaget 4. Ved ikke/kan ikke tage stilling Tilhængere = 1 + 2! Meget værre kan det ikke blive

1. for 2. imod, men 3. imod 4. ved ikke (1+2) 3 1 (2+3) Aut. dyrtidsregulering ophør 29 29 38 4 +20-38 Off.ans. taktregulering susp. 35 24 33 8 +26-22 Højst 4 % lønstign. 40 32 22 6 +40-14 Dagpenge ned fra 90 til 80% 36 17 44 3 +9-25 Statsafgift recept medicin 30 22 45 3 +7-37 Første sygedag selvbetaling 38 17 42 3 +13-21 Men Observa = den eneste OK måling fra den tid! Kunne forudsige (manglende) reaktion. 1982 = blå tal mest relevante. Krisekontekst og frame 1985 = røde tal mest relevante. Det gik ufattelig godt. Opsvingskontekst

Efterlønnen

Baggrund Det startede i 1995 med en diskussion om, hvorvidt det var muligt at få ændringer igennem m. efterlønnen. Svaret syntes ligetil: Ikke muligt. Alle meningsmålinger var samstemmende. 80-90 pct. Imod. Forklaring ligetil: Ikke alene ville de berørte råbe op hovedparten af befolkningen var potentielt berørte. Eller troede, at de var Så ville vi prøve at måle, hvor langt man kunne komme under de bedst tænkelige betingelser

Efterlønnen, videre Man kunne forestille sig en situation, hvor framing m henvisning til aldringsproblemet ville være altdominerende. Hvordan ville folk tage stilling i dén situation? En vis realisme: Bedst mulige betingelser + Antagelse om, at det kunne blive realistisk frame, såfremt det kom på beslutningsdagsordenen

Aldersgrænsen for efterløn bør gradvis hæves til 62 år... Helt enig Delvis enig Ved ej, neutral Delvis uenig Helt Uenig PDI enig uenig Sep.1995 26 14 3 13 44-17 Sep.1996 30 17 3 9 41-3 Feb.1997 31 20 4 12 33 +6 Apr.1998 34 17 7 10 32 +9 Sep.1998 (reform Dec.98) 23 24 9 14 30 +3 Okt. 2003 44 12 11 10 23 +23 June 2005 41 13 13 10 23 +21 May 2006 (reform June 06) 47 12 5 8 29 +22 The age limit for voluntary early retirement should be gradually raised to 62 years in accordance with the ageing of the population in Denmark Change 1995-1997. 1998-2003. NOT 2003-2006 (Welfare Commission) Problemet 1998 var løftebrud+manglende varsel, ikke indgrebet som sådan

Amazing ambivalence 2003 same people, same questionnaire, + top attention to issue in 2003 strongly agree agree neutral, don t know Disagree strongly Disagree Net majority in favour of reform/ retrenchment Early retirement allowance should be abolished 17 8 7 13 55-43 In the long run it will be necessary to abolish voluntary early retirement 30 20 10 15 25 +10 The age limit for voluntary early retirement should be gradually raised to 62 years in accordance with the ageing of the population in 44 12 11 10 23 +23

Konklusion Ingen meningsmåling er uinteressant Test af framing effekter Spm. er så, hvor realistisk det er, at den givne frame får lov til at stå alene / bliver dominerende Er man stædig, kan man MÅSKE få journalisten til at skrive, at spørgsmålet er ledende / flertydigt / usikkert Men umuligt at få den præcise tolkning formidlet og fejltolkninger korrigeret I mellemtiden kan vi glæde os over, at medierne forsyner os med så righoldigt materiale Det er faktisk ikke altid de mest seriøse målinger, man kan lære mest af!

Her må tegnes