Framing af spørgsmål Om hvad vi kan lære fra systematisk variation i spørgsmålsformuleringer

Framing af spørgsmål Om hvad vi kan lære fra systematisk variation i spørgsmålsformuleringer Rune Slothuus Institut for Statskundskab Aarhus Universitet Dansk Selskab for Surveyforskning 21. marts 2017 1

Muligheder med survey-eksperimenter Bedre forståelse af politisk holdningsdannelse Survey-eksperimentet kan simulere virkeligheden Variation i holdningsobjektet/hvad der skal besluttes Variation i konteksten for beslutning Før beslutning: fx budskab/argumenter, afsender, referencepunkt, grad af polarisering Efter beslutning: fx modargumenter Manipulative versus permissive design (Sniderman 2011) Koble surveyeksperimenter med andre surveydata 2

Hvad er et survey-eksperiment? 3

Det klassiske eksperiment I Eksperimenter er opfundet for at besvare spørgsmål om årsag og virkning Det klassiske medicinske eksperiment To ens grupper: Forsøgsgruppe og kontrolgruppe To behandlinger (betingelser): Ny medicin vs. placebo Måling af helbred: Forskelle i helbred kan føres tilbage til forskelle i behandling Behandling Helbred 4

Det klassiske eksperiment II Forskeren skaber selv den situation, der skal til for at observere et fænomen To eller flere grupper udsættes for forskellig stimulus med henblik på at måle deres efterfølgende respons Hvordan sikres, at grupperne er ens? Randomisering hjertet i eksperimentet Randomisering gør grupperne ens i det lange løb 5

Fra eksperimenter til surveyeksperimenter Vi bekymrer os om to slags validitet: Intern: Kan vi være sikre på kausaliteten? Ekstern: Kan vi generalisere resultaterne? Survey-eksperiment = eksperiment i en survey Stimulus er typisk: variation i spørgsmålsformulering variation i rækkefølgen af eller konteksten for spørgsmål 6

Eksempler 7

Variation i holdningsobjekt Nu kommer der nogle spørgsmål om [nynazister/de autonome/personer på den yderste politiske højrefløj/personer på den yderste politiske venstrefløj]. Hvor enig eller uenig er De i følgende påstande? [Hver respondent tildelt ét af følgende spørgsmål:] Også nynazister må have lov til at afholde demonstrationer Også de autonome må have lov til at afholde demonstrationer Også personer på den yderste politiske højrefløj må have lov til at afholde demonstrationer Også personer på den yderste politiske venstrefløj må have lov til at afholde demonstrationer Svarmuligheder: helt enig, nærmest enig, hverken enig eller uenig, nærmest uenig, helt uenig. Fra: Petersen, Michael Bang, Rune Slothuus, Rune Stubager & Lise Togeby (2007). Frihed for Loke såvel som for Thor? Politica 39 (1): 49-66. 8

Variation i holdningsobjekt Fra: Petersen, Michael Bang, Rune Slothuus, Rune Stubager & Lise Togeby (2007). Frihed for Loke såvel som for Thor? Politica 39 (1): 49-66. 9

Efter beslutning: Modargumenter Hvis helt eller delvis enig i spørgsmålet om demonstrationer: Version 1: Der er en del debat om dette spørgsmål. Nogen er imod, at nynazister gennemfører demonstrationer, fordi det ofte udvikler sig voldeligt. Hvis De tænker på dét argument, hvor enig eller uenig er De så i, at nynazister må have lov til at gennemføre demonstrationer? Version 2: Der er en del debat om dette spørgsmål. Nogen er imod, at nynazister gennemfører demonstrationer, fordi de ikke selv er villige til at respektere de demokratiske spilleregler. Hvis De tænker på dét argument, hvor enig eller uenig er De så i, at nynazister må have lov til at gennemføre demonstrationer? Fra: Petersen, Michael Bang, Rune Slothuus, Rune Stubager & Lise Togeby (2007). Frihed for Loke såvel som for Thor? Politica 39 (1): 49-66. 10

Efter beslutning: Modargumenter Hvis helt eller delvis uenig i spørgsmålet om demonstrationer: Version 1: Der er en del debat om dette spørgsmål. Nogen mener, at et ægte demokrati forudsætter, at alle grupper har de samme rettigheder, også dem, man ikke kan li. Hvis De tænker på dét argument, hvor enig eller uenig er De så i, at nynazister må have lov til at gennemføre demonstrationer? Version 2: Der er en del debat om dette spørgsmål. Nogen siger, at den danske grundlov bestemmer, at alle grupper har ret til at demonstrere for at give udtryk for deres mening. Når De tænker på dét argument, hvor enig eller uenig er De så i, at nynazister må have lov til at gennemføre demonstrationer? Fra: Petersen, Michael Bang, Rune Slothuus, Rune Stubager & Lise Togeby (2007). Frihed for Loke såvel som for Thor? Politica 39 (1): 49-66. 11

Efter beslutning: Modargumenter Fra: Petersen, Michael Bang, Rune Slothuus, Rune Stubager & Lise Togeby (2007). Frihed for Loke såvel som for Thor? Politica 39 (1): 49-66. 12

Før beslutning: Partipolitisk reference Gruppe 1: Arbejdsløsheden i Danmark er faldet med 40.000 personer siden 2011. Mener du, at faldet i arbejdsløsheden på 40.000 personer er et stort eller et lille fald? Gruppe 2: Arbejdsløsheden i Danmark er faldet med 40.000 personer, siden Helle Thorning-Schmidts regering trådte til i 2011. Mener du, at faldet i arbejdsløsheden på 40.000 personer er et stort eller et lille fald? Gruppe 3: Arbejdsløsheden i Danmark er faldet med 40.000 personer, siden Lars Løkke Rasmussens regering gennemførte dagpengereformen i 2011. Mener du, at faldet i arbejdsløsheden på 40.000 personer er et stort eller et lille fald? Fra: Slothuus, Rune (2017). Politisk motiveret tænkning. I Kasper Møller Hansen & Rune Stubager (red.), Oprør fra udkanten. Folketingsvalget 2015. 13

Vurdering af fald i arbejdsløsheden Fra: Slothuus, Rune (2017). Politisk motiveret tænkning. I Kasper Møller Hansen & Rune Stubager (red.), Oprør fra udkanten. Folketingsvalget 2015. 14

Fra: Slothuus, Rune (2017). Politisk motiveret tænkning. I Kasper Møller Hansen & Rune Stubager (red.), Oprør fra udkanten. Folketingsvalget 2015. 15

Konkurrerende argumenter og polariserede partier - påvirker partikonflikt hvordan borgerne tager stilling? 16

Variation af politisk kontekst 17

Variation af politisk kontekst 18

Eksperimentelt design Fire debat-scenarier (konkurrerende argumenter): Stærkt for vs. stærkt imod Stærkt for vs. svagt imod Svagt for vs. stærkt imod Svagt for vs. svagt imod Tre partipolitiske kontekster: Uden partier Uenige partier, der ikke er polariserede Uenige partier, der er polariserede 12 eksperimentelle grupper (+ kontrolgruppe) 19

Eksempel på argumenter: Olieboring Argumenter for: Stærkt: drilling increases our oil supply, which leads to lower gas prices. It also generates employment opportunities and development. Svagt: drilling encourages the development of new technologies, such as sound mitigation techniques. These technologies sometimes have general applications. Argumenter imod: Stærkt: workers are required to learn new skills in order to protect themselves against the dangers of drilling. Marine life also must adapt to survive in the face of site construction and drilling. Svagt: government regulators oversee the drilling. These regulatory agencies recently have expressed being overwhelmed by oversight tasks. 20

Eksempel på stimulus There has been a lot of recent discussion about whether to allow drilling for oil and gas off the Atlantic Coast and in the eastern Gulf of Mexico. Republicans in Congress tend to favor drilling and Democrats in Congress tend to oppose drilling. Moreover, the partisan divide is stark as the parties are far apart. Also, not only do Republicans tend to be in favor and Democrats opposed, but most members of each party are on the same side as the rest of their party. [polariseret kontekst] The main argument for those in favor of drilling is that drilling increases our oil supply, which leads to lower gas prices. It also generates employment opportunities and development. [stærkt argument for] The main argument for those opposed to drilling is that workers are required to learn new skills in order to protect themselves against the dangers of drilling. Marine life also must adapt to survive in the face of site construction and drilling. [stærkt argument imod] Given this information, to what extent do you oppose or support drilling for oil and gas off the Atlantic Coast and in the eastern Gulf of Mexico? 21

Eksempel på stimulus II There has been a lot of recent discussion about whether to allow drilling for oil and gas off the Atlantic Coast and in the eastern Gulf of Mexico. Republicans in Congress tend to favor drilling and Democrats in Congress tend to oppose drilling. However, the partisan divide is not stark as the parties are not too far apart. Also, while Republicans tend to be in favor and Democrats opposed, members of each party can be found on both sides of the issue. [ikke-polariseret kontekst] The main argument for those in favor of drilling is that drilling increases our oil supply, which leads to lower gas prices. It also generates employment opportunities and development. [stærkt argument for] The main argument for those opposed to drilling is that government regulators oversee the drilling. These regulatory agencies recently have expressed being overwhelmed by oversight tasks. [svagt arg. imod] Given this information, to what extent do you oppose or support drilling for oil and gas off the Atlantic Coast and in the eastern Gulf of Mexico? 22

23 Druckman, Peterson & Slothuus 2013 i American Political Science Review

24 Druckman, Peterson & Slothuus 2013 i American Political Science Review

25 Druckman, Peterson & Slothuus 2013 i American Political Science Review

Konklusioner fra eksperimentet Survey-eksperimentet gjorde det muligt at belyse: betydningen af politisk kontekst (dvs. partipolitisk polarisering) på holdningerne hvilke kriterier borgerne tager stilling ud fra Eksperimentet viser, at graden af partipolitisk polarisering ændrer den måde, borgerne danner holdninger på: Når partierne er polariserede bygger borgerne i mindre grad deres holdninger på substantielle argumenter, som de ellers uden polarisering ville vurdere som stærkere argumenter og i højere grad på partiernes standpunkter Når partierne er polariserede vurderer borgerne argumenterne gennem et partisk filter Polarisering øger også borgernes tiltro til deres i mindre grad argument-baserede holdninger 26

Survey-eksperiment kombineret med observationelt survey-studie Martin Bisgaard and Rune Slothuus Aarhus University 27

Maj 2010: Skift i VK-regeringens tale om det offentlige underskud Bisgaard & Slothuus, Rune (2016). Partisan Elites as Culprits? 28

Hvordan reagerede vælgerne på skiftet i VK-regeringens retorik? Bisgaard & Slothuus, Rune (2016). Partisan Elites as Culprits? 29

Opfølgende survey-eksperiment i 2015 Version 1: Underskuddet på statens budget bliver cirka 13,5 milliarder kroner i 2015, viser nye tal. Socialdemokraterne har udtalt, at et underskud af denne størrelse er et alvorligt problem. Mener du, at et underskud på statens budget af denne størrelse er et problem i den nuværende situation? Version 2: Underskuddet på statens budget bliver cirka 13,5 milliarder kroner i 2015, viser nye tal. Socialdemokraterne har udtalt, at et underskud af denne størrelse ikke er noget problem. Mener du, at et underskud på statens budget af denne størrelse er et problem i den nuværende situation? Svarmuligheder: Meget stort problem, Ret stort problem, I nogen grad et problem, Ikke noget stort problem, Slet ikke et problem, Ved ikke Bisgaard & Slothuus, Rune (2016). Partisan Elites as Culprits? 30

Opfølgende survey-eksperiment i 2015 Version 1: Der er for tiden cirka 132.000 arbejdsløse i Danmark, viser nye tal. Socialdemokraterne har udtalt, at en arbejdsløshed af denne størrelse er et alvorligt problem. Mener du, at en arbejdsløshed af den nuværende størrelse er et problem? Version 2: Der er for tiden cirka 132.000 arbejdsløse i Danmark, viser nye tal. Socialdemokraterne har udtalt, at en arbejdsløshed af denne størrelse ikke er noget problem. Mener du, at en arbejdsløshed af den nuværende størrelse er et problem? Svarmuligheder: Meget stort problem, Ret stort problem, I nogen grad et problem, Ikke noget stort problem, Slet ikke et problem, Ved ikke Bisgaard & Slothuus, Rune (2016). Partisan Elites as Culprits? 31

Før beslutning: Parti-budskab fra S Bisgaard & Slothuus, Rune (2016). Partisan Elites as Culprits? 32

Muligheder med survey-eksperimenter Bedre forståelse af politisk holdningsdannelse Survey-eksperimentet kan simulere virkeligheden Variation i holdningsobjektet/hvad der skal besluttes Variation i konteksten for beslutning Før beslutning: fx budskab/argumenter, afsender, referencepunkt, grad af polarisering Efter beslutning: fx modargumenter Manipulative versus permissive design (Sniderman 2011) Koble surveyeksperimenter med andre surveydata 33

Framing af spørgsmål Om hvad vi kan lære fra systematisk variation i spørgsmålsformuleringer Rune Slothuus Institut for Statskundskab Aarhus Universitet Dansk Selskab for Surveyforskning 21. marts 2017 34

Videre læsning om survey-eksperimenter Paul M. Sniderman and Douglas B. Grob (1996). Innovations in Experimental Design in Attitude Surveys. Annual Review of Sociology 22: 377-399. James N. Druckman, Donald P. Green, James H. Kuklinski, and Arthur Lupia (eds.) (2011). Cambridge Handbook of Experimental Political Science. Cambridge University Press. Diana C. Mutz (2011). Population-Based Survey Experiments. Princeton University Press. Alan S. Gerber and Donald P. Green (2012). Field Experiments: Design, Analysis, and Interpretation. W. W. Norton & Company. Time-sharing Experiments for the Social Sciences: http://www.tessexperiments.org/ [Funding resource as well as a database of funded proposals, i.e., examples of innovative experimental designs] 35