1. Hvad er et survey-eksperiment? og hvad kan de bruges til?

Transkript

1 Hvad er survey-eksperimenter og hvad kan de bruges til? Rune Slothuus Institut for Statskundskab Aarhus Universitet Web: ps.au.dk/slothuus Dansk Selskab for Surveyforskning 20. maj Disposition 1. Hvad er et survey-eksperiment? 2. Hvorfor gennemføre surveyeksperimenter? 3. Hvordan gennemføre surveyeksperimenter? 2 1

2 Hvad er et survey-eksperiment? 3 Det klassiske eksperiment I Eksperimenter er opfundet for at besvare spørgsmål om årsag og virkning i Det klassiske medicinske eksperiment To ens grupper: Forsøgsgruppe og kontrolgruppe To behandlinger (betingelser): Ny medicin vs. placebo Måling af helbred: Forskelle i helbred kan føres tilbage til forskelle i behandling Behandling Helbred 4 2

3 Det klassiske eksperiment II Forskeren skaber selv den situation, der skal til for at observere et fænomen To eller flere grupper udsættes for forskellig stimulus med henblik på at måle deres efterfølgende respons Hvordan sikres, at grupperne er ens? Randomisering hjertet i eksperimentet Randomisering gør grupperne ens i det lange løb Forskelle i det konkrete tilfælde vil være tilfældige og ofte små 5 Fra eksperimenter til surveyeksperimenter Vi bekymrer os om to slags validitet: Intern: Kan vi være sikre på kausaliteten? Ekstern: Kan vi generalisere resultaterne? Survey-eksperiment = eksperiment i en survey Stimulus er typisk: variation i spørgsmålsformulering variation i rækkefølgen af eller konteksten for spørgsmål Mere end split-ballot design 6 3

4 Hvorfor gennemføre surveyeksperimenter? 7 Danskernes holdninger til fremmede Påvirkes danskernes modvilje af den politiske debat? Offentlig politisk debat Danskernes modvilje Spørgsmål om kausalitet: Ændrer holdningerne sig, hvis debatten skifter? 8 4

5 Velvilje over for flygtninge Lise Togeby: Man har et standpunkt, Forskningsmæssige udfordringer I Lise Togeby, Man har et standpunkt (2004): Uanset at vi har forholdsvis omfattende og parallelle beskrivelser af udviklingen i opinionen og udviklingen i medieindholdet, er der imidlertid betydelige metodiske problemer forbundet med at foretage endegyldige konklusioner om mediernes betydning for holdningsudviklingen. I og for sig er det kun muligt at påvise en samtidighed i udviklingen, men næppe, hvad der er årsag til hvad. (p. 34). Peter Nannestad, Solidaritetens pris (1999): Det grundlæggende problem er, at relationen mellem politikernes udtalelser og adfærd og befolkningens holdninger kan gå begge veje. Selv om vi kan vise, at der består en statistisk sammenhæng, er spørgsmålet om, hvad der er årsag til hvad, dermed ikke besvaret. Det er derfor heller ikke så underligt, at der i vid udstrækning savnes entydige empiriske resultater. (p. 25) 10 5

6 Forskningsmæssige udfordringer II Spørgsmålet om tidsrækkefølge Hønen eller ægget: Påvirker eller afspejler den offentlige debat danskernes modvilje? Selvselektion: Læser folk de aviser, de er enige med? Samvariation = sammenhæng? Kontrol for alternative forklaringer? Måleproblemer: Begrænset variation i offentlig debat (mediebudskaber) Hvem har modtaget hvilke budskaber? Konsistens-pres 11 Survey-eksperimentet en løsning? To eller flere grupper udsættes for forskellig stimulus den ønskede variation på den uafhængige variabel ingen målesusikkerhed på den uafhængige variabel klar tidsrækkefølge Stimuli fordeles randomiseret kontrol for tredjevariabler ingen selvselektion 12 6

7 Survey-eksperiment en løsning? Betingelse 1: Nu vil jeg spørge til en gruppe nye indvandrere, som kan komme hertil. De vil have let ved at lære dansk og ved at tilpasse sig den danske kultur. Hvor enig eller uenig er De i, at man bør tillade disse indvandrere at komme hertil? Betingelse 2: Nu vil jeg spørge til en gruppe nye indvandrere, som kan komme hertil. De vil have svært ved at lære dansk og ved at tilpasse sig den danske kultur. Hvor enig eller uenig er De i, at man bør tillade disse indvandrere at komme hertil? Betingelse 3: Nu vil jeg spørge til en gruppe nye indvandrere, som kan komme hertil. De vil have let ved at lære dansk og ved at tilpasse sig den danske kultur. Men de har ingen uddannelse og vil have svært ved at finde arbejde. Hvor enig eller uenig er De i, at man bør tillade disse indvandrere at komme hertil? 13 Økonomisk krise: Holdning til forslag Jyllands-Posten 20. maj

8 Økonomisk krise: Holdning til forslag Jyllands-Posten 20. maj Økonomisk krise: Survey-eksperiment Betingelse 1: Det er blevet foreslået at løse statens kortsigtede økonomiske problemer ved at udskyde nogle af de lovede skattelettelser. Synes du, dette er en god ide? Betingelse 2: Regeringen har foreslået at løse statens kortsigtede økonomiske problemer ved at udskyde nogle af de lovede skattelettelser. Synes du, dette er en god ide? Betingelse 3: Socialdemokraterne og SF har foreslået at løse statens kortsigtede økonomiske problemer ved at udskyde nogle af de lovede skattelettelser. Synes du, dette er en god ide? 16 8

9 Metodiske overvejelser Kan vi reelt variere den uafhængige gg variabel? Pre-treatment effects : Folk har allerede været eksponeret for virkeligheden Er en kontrolgruppe nødvendig? Er eksperimentet en kunstig situation? Hvordan indfanges virkelighedens dynamik? Påvirkning går ofte begge veje Hvor længe varer effekter? Hvad er effekterne af gentagne treatments? 17 Hvordan gennemføre surveyeksperimenter? 18 9

10 Typer af design I Manipulative design : Forsøger at påvirke respondenter i en bestemt retning Formulering af valgmulighederne Forud for manipulationen: Konteksten for spørgsmålet Efter manipulation: Opfølgende spørgsmål, f.eks. modargumenter Permissive i design: Tillader respondenten at give udtryk for, hvad hun virkelig mener 19 Typer af design II: List Experiment Jeg vil nu læse en liste med ting, der gør nogle mennesker vrede. Jeg vil gerne høre, hvor mange af disse ting, der gør dig vred. Du skal ikke fortælle mig, hvad der gør dig vred kun hvor mange ting. 1. Børn, der larmer på museer 2. Folk, der gerne viser, at de har mange penge 3. Busser og tog, der er forsinkede 1. Børn, der larmer på museer 2. Folk, der gerne viser, at de har mange penge 3. Busser og tog, der er forsinkede 4. Indvandrere, der modtager kontanthjælp 20 10

11 Etiske overvejelser Mulighed for at gribe ind i den politiske proces Et eksperiment indebærer som regel, at deltagerne snydes: Får ikke at vide, at de er med i et eksperiment Får oplyst forkert formål med eksperimentet Får måske falske oplysninger Debriefing men nogle husker falsk information som sand Kun fortælle noget, der er sandt? 21 Hvad er survey-eksperimenter og hvad kan de bruges til? Rune Slothuus Institut for Statskundskab Aarhus Universitet [email protected] Web: ps.au.dk/slothuus Dansk Selskab for Surveyforskning 20. maj