HÅNDVÆRKET BAG EXIT POLLS Selskab for Surveyforskning 20. maj 2014
Håndværket bag exit polls 1 2 3 4 Exit polls i kontekst Exit polls som det muliges kunst En exit poll i praksis Opsummering
Exit polls i kontekst
POLLING HISTORISK SET 1788 1824 1920 erne 1922 1936 Fransk finansminister udtrykker bekymring om l opinion publique (lige før revolutionen) Straw poll i The Harrisburg Pennsylvanian: Andrew Jackson vs. John Quincy Adams Stigende brug af kommerciel markedsanalyse (BAT etc.) Walter Lippmann udgiver Public Opinion: Literary Digest: 3,2 mio. vælgere, Alf Landon spås som vinder Gallup: Roosevelt spås som vinder 1967 1994 1998 2007 I dag Marcel Dam gennemfører en exit poll ved hollandsk parlamentsvalg Dansk Sprognævn registrerer brugen af exit poll for første gang 31 målinger offentliggøres under den danske valgkamp. Tvivlerne i centrum Nate Silvers modelbaserede prognoser ser dagens lys Fornyet debat om exit polls 4
EXIT POLLS OG ANDRE MENINGSMÅLINGER Væsentlige ligheder og afgørende forskelle Præcis viden om vælgernes stemmeadfærd Bruges i medierne som grundlag for nyhedshistorier, fx indtil valgresultater foreligger Stort fokus også for analyseinstitutter Sandheden er derude : Valgresultatet foreligger kort tid efter exit poll en offentliggøres Data skal indsamles på få timer Kort og intens produktionstid af resultater 5
Exit polls som det muliges kunst
EN EXIT POLL VISER TOPPEN AF ISBJERGET Simplest mulige analyse Frekvenstabel med partiernes stemmeandele Kun forudsige totalniveauet, ingen nedbrud Ofte kun ét resultat for hele landet Et hav af overvejelser ligger bag en exit poll Metodik Kommunikation Logistik Optimering af hele værdikæden En exit poll er i høj grad det muliges kunst 7
VÆRDIKÆDEN I EN EXIT POLL VALG AF METODE UDVÆLGELSE AF RESPONDENTER RAPPORTERING TILRETTELÆGGELSE AF KONTAKT BEHANDLING AF RESULTATERNE SPØRGESKEMA 8
VALG AF METODE Alle dataindsamlingsformer er forbundet med fordele og ulemper Klassisk exit poll: Exitinterview ved valgsteder Nu: Typisk stor andel telefoninterview. Det muliggør detaljeret styring og repræsentativitet for hele landet Tendens: Web bliver mere og mere repræsentativt pga. sofistikerede rekrutteringskanaler Erfaring: Metodetriangulering sikrer bedste resultat, men hvad er det optimale miks? KV13: Telefon kombineret med webinterview Telefon Web Fordele Stor volumen Typisk høj repræsentativitet Stor volumen Ingen social desirability bias Ulemper Omkostningskrævende Repræsentativitet? F2F Fokus på nøglevalgsteder Omkostningskrævende Repræsentativitet? 9
UDVÆLGELSE AF RESPONDENTER Populationsopgørelsen Ideelt udgangspunkt: CPR-baseret udtræk over indbyggere i Danmark, hvorfra der kan trækkes en stikprøve Kendes fra forskningsundersøgelser (Arbejdskraftundersøgelsen, Transportvaneundersøgelsen, Institut for Statskundskab m.fl.), men er ikke mulig ved kommercielle exit polls Afgørende forudsætning er anderledes: Fare for konvergens til forkert populationsandel, hvis der gennemføres flere interview Konkrete udvælgelseskilder til KV13: Telefon: Database over danske telefonnumre Afgørende at sikre samme udtrækssandsynlighed for alle respondenter Mange telefonnumre giver stor udtrækssandsynlighed Web: Epinions DanmarksPanel rekrutteret via brugervenlighedstest 10
TILRETTELÆGGELSE AF KONTAKT - TELEFONINTERVIEW Telefoninterview Hvilke numre skal prioriteres højest? Forholdet mellem fastnet og mobilnumre populationsfordelingen er ukendt Kort tid til dataindsamlingen systematik mht. hvem der er hjemme hvornår Afgørende med tilstrækkelig mange opkaldsforsøg frem for blot at benytte nye numre. Ellers risiko for at skumme fløden. Typisk lettest at få svar fra kvinder 55+, mens unge mænd er vanskeligere at få svar fra. Men samtidig risiko for at kime få respondenter ned Hvor lange karantæneperioder skal der benyttes? 11
TILRETTELÆGGELSE AF KONTAKT WEB OG PERSONLIGE INTERVIEW Webinterview Ikke mulighed for at indgå aftaler, så hvornår skal undersøgelsen sættes i gang? Hvor mange påmindelsesrunder? Hvordan sikrer vi svar fra vanskelige målgrupper? Skal der prærekrutteres? Personlige interview (bruges sjældent) Menneskelig faktor i udvælgelsen skal minimeres. Ellers tendens til at vælge nemme respondenter, og tilfældigheden forsvinder Tælleprincip kan være nyttigt ( hver n te person, der træder på tapestykke ) 12
SPØRGESKEMA Tilsyneladende simpelt i en rigtig exit poll Hvilket parti har du stemt på i dag? Har du stemt personligt på en kandidat? Kort skema (ca. 1 minut) giver mange interview men skemaet skal indeholde tilstrækkelig baggrundsinformation til den senere databehandling Kompleksiteten øges i prognoser før valgdagen Hvordan behandles tvivlere? Erfaringsmæssigt godt at medtage de bløde tvivlere KV13: Ved stor usikkerhed eller lav interesse tager mange vælgere stilling ud fra hvad de ville stemme til FV i morgen Kan være nødvendigt med probe -spørgsmål for at lede respondentens tanker på rette vej (fx borgmestereffekter) 13
BEHANDLINGEN AF DATA Korrigér for skævheder vha. vejning Vi ser typisk underrepræsentation af: Unge Socialt svage grupper Personer med lav uddannelse Vejning sikrer, at disse gruppers andel af stikprøven svarer til populationen Men vejning kan gøre mere skade end gavn: hvis de underrepræsenterede grupper skiller sig ud på ikkeobserverbare karakteristika (fx politisk interesse) eller grupper, der vægtes op, er små Jo stærkere korrelation mellem vægtvariabel og partivalg, desto større præcision giver vejningen. Politisk vejning (past voting) giver typisk den største forbedring 14
Exit polls i praksis
NÅR DER ER VALG Produktion Op mod 6.000 interview gennemføres på dagen, med spidsbelastning mellem kl. 17 og 20 Massivt pres på IT-systemer og personale Bemanding Op mod 100 interviewere på arbejde Førerbunker med valgholdet typisk 4-5 kernemedarbejdere og produktionsansvarlige Intens overvågning af produktion Tæt kontakt med DR 16
SPØRGSMÅL EP valget 2009 17
EPINION UNDER FV-VALGKAMPEN - SNAPSHOTS 18
SPØRGSMÅL? 19
EPINION AARHUS EPINION COPENHAGEN EPINION HAMBURG EPINION LONDON NORDHAVNSGADE 1-3 8000 AARHUS C DENMARK T: +45 87 30 95 00 E: TV@EPINION.DK W: WWW.EPINION.DK RYESGADE 3F 2200 COPENHAGEN N DENMARK T: +45 87 30 95 00 E: TYA@EPINION.DK W: WWW.EPINION.DK ERICUSSPITZE 4 20457 HAMBURG GERMANY T: +45 87 30 95 00 E: TV@EPINION.DK W: WWW.EPINIONCONSULTING.DE AYLESBURY HOUSE, 17-18 AYLESBURY STREET LONDON, EC1R ODB UNITED KINGDOM T: +45 87 30 95 00 E: TV@EPINION.DK W: WWW.EPINION.DK EPINION MALMÖ EPINION NUUK EPINION OSLO EPINION SAIGON ADELGATAN 5 21122 MALMÖ SWEDEN T: +45 87 30 95 00 E: TV@EPINION.DK W: WWW.EPINION.SE POSTBOKS 4079 GL-3900 NUUK GREENLAND T: +299 54 89 33 E: KUF@EPINION.GL W: WWW.EPINION.GL BISKOP GUNNERUS GATE 2 0155 OSLO NORWAY T: +47 40 45 89 00 E: MRB@EPINION.NO W: WWW.EPINION.NO 11TH FL, DINH LE BUILDING, 1 DINH LE, DIST. 4, HCMC VIETNAM T: +84 8 38 26 89 89 E: OFFICE@EPINION.VN W: WWW.EPINION.VN EPINION STAVANGER EPINION VIENNA HOSPITALSGATA 6 4006 STAVANGER NORWAY T: +47 90 17 18 99 E: SM@EPINION.NO W: WWW.EPINION.NO SEMPERSTRASSE 1/2-4 1180 VIENNA AUSTRIA T: +45 87 30 95 00 E: TV@EPINION.DK W: WWW.EPINIONCONSULTING.AT WWW.EPINIONGLOBAL.COM