God formidling af surveys og meningsmålinger

Transkript

1 METHODS Analyse Fakta Indsigt God formidling af surveys og meningsmålinger Selskab for Surveyforskning Analyseekspert Kenneth Thue Nielsen

2 Disposition En udfordrende disciplin Målinger bedre end deres rygte Centrale videnskabelige normer Fire retningslinjer Er der spurgt ordentligt? Er der udvalgt ordentligt? Er det de rigtige, der har svaret? Er der svaret noget signifikant? Varedeklaration

3 Præsentation

4 En DJØF-undersøgelse i Politiken

5 Baggrunden for artiklen Jeg oplever, at jeg føler mig ensom på mit studiested Svarkategori Antal Procent Meget enig Overvejende enig Hverken enig eller uenig Overvejende uenig Meget uenig TOTAL

6 En DJØF-undersøgelse i Politiken Under hver femte

7 Historien om de fulde og skæve bilister

8 Her begynder historien

9 JV skriver loyalt og korrekt at Hver tyvende bilist har drukket eller taget stoffer I forhold til i andre nordiske lande kører mange danske bilister rundt med alkohol, medicin eller stoffer i blodet. Kun en af 200 bilister har dog drukket mere end tilladt. Omkring hver tyvende bilist på de danske veje kører rundt med alkohol, narko eller potentielt trafikfarligt medicin i blodet.

10 Ritzau :04:07 - NET/BILISTER Danske bilister er fulde og skæve København/Fredag//ritzau Hver tyvende bilist på de danske veje har drukket eller taget stoffer, viser europæisk undersøgelse. Omkring hver tyvende bilist på de danske veje kører rundt med alkohol, narko eller potentielt trafikfarligt medicin i blodet. Det afslører en stor europæiske undersøgelse, som danske DTU Transport har stået i spidsen for, skriver JydskeVestkysten. Næsten tilfældige bilister i 13 lande - heraf omkring 3000 i Danmark - er blevet stoppet og testet for blandt andet alkohol, hash, kokain og nervemedicin. Ifølge rapporten er risikoen for at møde en bilist, der har drukket eller taget stoffer, markant højere i Danmark end i de andre nordiske lande, dog ikke nær så høj som i Sydeuropa. - Når der er markant færre, der kører med alkohol i blodet i eksempelvis Norge, kan det hænge sammen med, at man i Norge har en promillegrænse på 0,2 og en meget mere restriktiv holdning i befolkningen til at køre spritkørsel, siger Inger Marie Bernhoft, seniorforsker hos DTU Transport. I forhold til midtfirserne, hvor der blev lavet en lignende undersøgelse, er der sket et holdningsskifte. - Men der er stadig for mange, der kører spritkørsel. Derfor er det vigtigt, at politiet sætter endnu mere tryk på kontrollerne, for det ved vi hjælper, siger projektleder Pernille Ehlers fra rådet for Sikker Trafik. Også DTU Transport anbefaler at øge politiets stikprøvekontroller. Det skyldes blandt andet, at spritbilisterne fylder forholdsmæssigt meget på hospitalernes traumecentre. En tidligere undersøgelse fra DTU Transport, viser således, at over 15 procent af de hårdt trafikkvæstede førere havde drukket, før de kørte galt. /ritzau/

11

12

13

14

15

16 Disposition En udfordrende disciplin Målinger bedre end deres rygte Centrale videnskabelige normer Fire retningslinjer Er der spurgt ordentligt? Er der udvalgt ordentligt? Er det de rigtige, der har svaret? Er der svaret noget signifikant? Varedeklaration

17 Fire valg fem målinger Brexit Trump Holland Frankrig I Frankrig II

18 Brexit Hvor langt ramte målingerne forbi? Måling/resultat (remain): 48 % / 48,1 % Måling/resultat (leave): 46 % / 51,9 % Passede meningsmålingerne? Hæderligt håndværk Ni måneder med remain gjorde os blinde Meget tydeligt, at leave-siden havde en stigende trend de sidste tre uger før valget

19 Trump Passe meningsmålingerne? Nej. Clinton OK. Trump -2,7 procentpoint/stat Dagen før (45): 10 (Trump), 1 (Draw), 34 (Clinton) Dagen (3): 2 (Trump), 1 (Clinton) Vi vidste at Clinton ville vinde Sen mobilisering & uærlighed

20 Exitpoll og valgresultat (Holland)

21 Exitpoll og valgresultat (Frankrig I)

22 Exitpoll og valgresultat (Frankrig II)

23 Disposition En udfordrende disciplin Målinger bedre end deres rygte Centrale videnskabelige normer Fire retningslinjer Er der spurgt ordentligt? Er der udvalgt ordentligt? Er det de rigtige, der har svaret? Er der svaret noget signifikant? Varedeklaration

24 Centrale videnskabelige normer 1. Overensstemmelse med virkeligheden som højeste sandhedskriterium 2. Systematisk udvælgelse af data 3. Mest mulig nøjagtig brug af data 4. Sætte egne fordomme på spil og forsøge at afkræfte dem 5. Præsenter resultaterne så efterprøvning, kontrol og kritik er mulig 6. Gøre forskningsvirksomheden kumulativ

25 Disposition En udfordrende disciplin Målinger bedre end deres rygte Centrale videnskabelige normer Fire retningslinjer Er der spurgt ordentligt? Er der udvalgt ordentligt? Er det de rigtige, der har svaret? Er der svaret noget signifikant? Varedeklaration

26 Eksempel: Politiken og Ekstrabladet

27 Spørg ordentligt (I) Undgå jargon (WTO, NATO, IPCC) Spørg præcist Hvad er din løn? Vær entydig Synes du vil skal bruge flere penge på sygehusene/børnehaverne? Overvej kompetence hos svarpersonen Synes du kommunerne generelt set bruger for lang tid på deres opgaver? Hvor mange penge synes du staten skal bruge på kultur om året?

28 Spørg ordentligt (II) Skal kunne besvares pos og neg. Undervisningen skal tilrettelægges således, at den giver mulighed for, at børnenes fantasi kommer til udfoldelse? Sandhedsproblemer Mentale problemer, sort arbejde, sex, økonomi og skrumpelever Balancerede (gerne likert-spørgsmål) Pas på vidensspørgsmål Tom Sakumoto Landsforeningen af arbejde i Danmark

29 Afstemning på eb.dk

30 Disposition En udfordrende disciplin Målinger bedre end deres rygte Centrale videnskabelige normer Fire retningslinjer Er der spurgt ordentligt? Er der udvalgt ordentligt? Er det de rigtige, der har svaret? Er der svaret noget signifikant? Varedeklaration

31 En (god) stikprøve En sandsynlighedsbaseret stikprøve: Alle i populationen har en kendt sandsynlighed for at blive en del af stikprøven Kræver universliste Kræver en upersonlig mekanisme (fx lodtrækning) En ikke-sandsynlighedsbaseret stikprøve: Udvælgelsen er ikke tilfældig Alle har ikke en kendt sandsynlighed for at blive en del af stikprøven Vox-pop på Strøget

32 Stikprøvedata Literary Digest Fra 1912: Begyndt at gætte på udfaldet af præsidentvalget (spørgeskemaer) Havde forudsagt korrekt i perioden Gigantiske udvalg på op til 20 millioner I 1936 sendte de 10 millioner spørgeskemaer Kandidater: Franklin D. Roosevelt mod Alfred M. Landon

33 Stikprøve ift. valgresultatet Roosevelt Landon Literary Digest 43 % 57 % Valgresultat 61 % 37 % Forskel + 18 pct.point -20 pct.point

34 Literary Digest Hvad gik galt? Forudsætningen for inferens er, at stikprøven er repræsentativ (sandsynlighedsudvælgende) LDs valg af respondenterne byggede på: Abonnementslister Telefonbøger Bilregistre (registre over bilejere) Desuden: kun 25% svarede

35 Hvor stor skal min stikprøve være? Eksempel: Hvor stor skal min stikprøve være for at jeg med sandsynligheden 1 α kan estimere (gætte) andelen af stemmer til fx Roosevelt? Formel n = 0.25 Ł Z α/2 B ł 2 = 0.25 Ł 1, ł 2 = 600 Med formlen er jeg sikker på, at jeg ved at spørge 600 vælgere med 95% sasy. rammer inden for ±4%

36 Disposition En udfordrende disciplin Målinger bedre end deres rygte Centrale videnskabelige normer Fire retningslinjer Er der spurgt ordentligt? Er der udvalgt ordentligt? Er det de rigtige, der har svaret? Er der svaret noget signifikant? Varedeklaration

37 Repræsentativitet og bortfald Sandsynlighedsudvælgelse repræsentativitet Bortfaldsanalyse (min definition): Sammenligning af stikprøve og population på centrale parametre Vi skal undgå systematik i bortfaldet Helt fint at vægte data Køn, alder, region Partivalg ved sidste Folketingsvalg

38 Disposition En udfordrende disciplin Målinger bedre end deres rygte Centrale videnskabelige normer Fire retningslinjer Er der spurgt ordentligt? Er der udvalgt ordentligt? Er det de rigtige, der har svaret? Er der svaret noget signifikant? Varedeklaration

39 Hvis der var folketingsvalg i morgen, ville Socialdemokratiet få det bedste valg siden Det viser i hvert fald en meningsmåling foretaget af Epinion for DR Nyheder. Her står Socialdemokratiet til 31,1 procent med en statistisk usikkerhed på 2,2 procentpoint. Det er den højeste måling, partiet har fået hos Epinion, siden instituttet begyndte at foretage meningsmålinger for DR Nyheder i Spørgsmål: Er dette udsagn sandt? Spørgsmål: Er dette udsagn sandt?

40 Beregning af usikkerhed Hvor stor er gruppen (31,1 % ville stemme A). Andelen er 0,311. p z p (1 -p ) n Hvor sikre vil vi være på, at det vi siger er korrekt? Næsten altid 95 % sikre det betyder, at z = 1,96 Hvor mange er med i hele målingen (fx vælgere) Konklusion: Vi er 95 % sikre på, at mellem 28,9 % og 33,3 % af vælgerne ville stemme A hvis der var folketingsvalg i morgen. Og vores bedste gæt er stadig, at 31,1 % ville stemme A (som målingen viser).

41 Bedste valgresultat siden 2001 Socialdemokratiets valgresultater ( ); Meningsmåling fra december Faktatjek passer dette udsagn? Hvis der var folketingsvalg i morgen, ville Socialdemokratiet få det bedste valg siden Det viser i hvert fald en meningsmåling foretaget af Epinion for DR Nyheder. Opgave 3

42 S-målinger siden 2008 Her står Socialdemokratiet til 31,1 procent med en statistisk usikkerhed på 2,2 procentpoint. Det er den højeste måling, partiet har fået hos Epinion, siden instituttet begyndte at foretage meningsmålinger for DR Nyheder i 2008.

43 Værn mod overtolkning Tid og tidsserier Rullende paneler Vægtede gennemsnit Politiske målinger Konfidensintervaller Accept af, at udvikling sker langsomt

44 Tre partier to måneder

45 Tre partier fire måneder

46 Tre partier 12 måneder

47 Tre partier siden FV15

48 Meningsmålinger (150 x A)

49 Meningsmålinger (150 x A)

50 Vægtede målinger (A, Risbjerg)

51 Et bud på en varedeklaration Hvordan er der spurgt? Hvordan lød spørgsmålsformuleringen? Hvem er spurgt? Hvilken population er der trukket fra? Hvem har svaret? Vægtning, bortfald, repræsentativ stikprøve? Hvad har de svaret? Procenter, sammenlægninger, ved ikke, signifikante forskelle

52 Diskussion

53 METHODS Analyse Fakta Indsigt Analysedesign Dataanalyse Evaluering Survey Kontakt Kenneth Thue Nielsen