MODEEFFEKTER WEB, PAPIR OG TELEFON. Center for OPinion & ANalyse (COPAN) 1

Transkript

1 MODEEFFEKTER WEB, PAPIR OG TELEFON 1

2 INDSAMLINGSMETODER Fokus på Webbaserede surveys: Skiller de sig (negativt) ud ift. traditionelle modes? Dårligere kvalitet grundet sløseri i besvarelserne? Hvad viser tidligere studier samt eget pilotstudie? 2

3 UDFORDRINGER Forandringer i the survey-taking climate Barrierer som hemmeligt nr. og forskerbeskyttelse. Større forbeholdenhed = faldende svarprocent. Flere siger nej tak til at deltage. Kædes sammen stigende antal undersøgelser både i forskningsøjemed og til kommercielt brug. Survey overload. Større omkostninger Surveying i en forbeholden population er omkostningsfuldt både i tid og penge. Særligt traditionelle modes: Genbesøg eller opfølgende opkald. 3

4 FORDELE Mixed modes for at øge svarprocenten (se fx Dillmann 2000; Greene et al 2007). Giver mulighed for at differentiere, således at modes tilpasses respondenterne. Webbaserede surveys kræver mindre tid og færre omkostninger. Distribution og indsamling er her forbundet med væsentligt lavere omkostninger end traditionelle modes (se fx Roster et al 2004) 4

5 KRITIK AF WEB SOM INDSAMLINGSMETODE Dækningsfejl og non-response bias Ikke alle har adgang til computere/internet Alders- og uddannelsesskævhed i, hvem der vil besvare Målefejl Kan være særligt krævende at besvare (for nogen) Flere distraktioner/mulighed for mulittasking (fx Holbrook, Green & Krosnick 2003, Heerwegh & Loosveldt 2008) Flere cheaters, speeders and repeaters (fx Kenett & Salini 2011) Fravær af interviewer som motivation Grundlæggende antagelse: Web producerer dårligere data, da det tilskynder ringere kognitiv indsats. 5

6 SATISFICING En sammentrækning af begreberne satisfy og optimizing (Krosnick 1991) 4 trin i den kognitive proces under besvarelsen 1) Grundig overvejelse af den præcise mening med hvert spørgsmål 2) Der ledes i hukommelsen efter lagret information og viden om det givne spørgsmål 3) En vurdering foretages pba. information og viden 4) Der gives respons i form af et svar, der er i overensstemmelse med vurderingerne (Krosnick 1991, Krosnick, Narayan and Smith 1996) 6

7 SATISFICING Satisficing er når respondenterne shortcut the cognitive processes necessary for generating optimal answers Svag satisficing Gennemgår de 4 trin, men overfladisk. Slår sig til tåls med et tilfredsstillende men ikke optimalt svar: Vælger første svarkategori Erklærer sig enig i udsagn Stærk satisficing Springer et eller flere kognitive trin over. Vælger svarmuligheder, der ikke kræver stillingstagen: Ingen holdning: Ved ikke Status quo: Hverken/eller Vælger tilfældigt (Mental coin flipping) 7

8 WEB VS. ANSIGT-TIL-ANSIGT Heerwegh & Loosveldt (2008) Websurveyen fremkaldte flere ved ikke svar, kontrolleret for køn, alder, herkomst (og studieretning) Webrespondenter varierede i mindre grad deres besvarelser : Mindre spredning på spørgsmålsbatterier med samme skala, også kontrolleret. Der var en større andel manglende besvarelser på enkeltitems i websurveyen - også efter kontrol. 8

9 WEB VS. TELEFON Fricker et al 2005: Hypotese om mindre satisficing på web, da respondenter kan besvare i eget tempo. Reducerer den kognitive byrde. Web-respondenter er mindre tilbøjelige til at gennemføre hele spørgeskemaet Der er mindre spredning i deres svar på spørgsmålsbatterier med samme skala 9

10 WEB VS. TELEFON Roster et al 2005: Større andel manglende besvarelser på enkelt-items blandt webrespondenter. Flere neutrale vurderinger Reliabilitetsanalyse af Likert-skala spørgsmål viser færre underliggende dimensioner hos web-respondenter. Respondents to the web survey [ ] seemed to adopt a more streamlined cognitive response style (2005:371) For flere studier af Web vs. telefon se fx Braunsberger et al 2007; Christian 2007; Greene et al 2008; Chang & Krosnick 2009; Strabac & Aalberg

11 PROBLEMER Ikke entydige resultater vedr. web og mindre kognitiv indsats Fricker et al finder fx at web-respondenter bruger længere tid på deres besvarelser og (deraf?) har flere korrekte svar på vidensspørgsmål. Flere DK/No opinion svar i telefonsurveyen, da intervieweren ikke tilskyndede til svar. Hos Roster et al er der i Web-samplet en overrepræsentation af unge samt underrepræsentation af højtuddannede, som kan have influeret forskelle i indsatsen. Forskel på stikprøverne samt intervieweradministreret >< selvadministreret? 11

12 WEB VS. PAPIR Lille, eksperimentelt pilotstudie blandt pol/adm. studerende, Aalborg Universitet. N=188 (Web 130, Papir 58) Sammenligning af web og papir = ingen interviewereffekt Respondenterne er alle unge = ingen aldersbias Respondenterne er alle studerende = ingen uddannelsesbias 12

13 RESULTATER Der forekommer ikke signifikante forskelle på web- og papirrespondenternes tilbøjelighed til satisficing Webrespondenterne var ikke mere tilbøjelige til at vælge først mulige svar eller til at erklære sig enig i udsagn (svag satisficing) De var heller ikke mere tilbøjelige til at undlade at tage stilling ved at svare ved ikke eller hverken/ eller (stærk satisficing) Ligesom der heller ikke var noget der indikerede større grad af tilfældighed i deres besvarelser: Der var ikke mindre spredning i deres svar på spørgsmålsbatterier og indholdsmæssigt var deres holdninger heller ikke mindre konsistente. 13

14 KRITIK OG FREMADRETTET Meget lille N. Studerende har forventeligt en høj grad af need for cognition (jf. Cacioppo & Petty 1982) samt motivation ift. emnet, hvilket medfører en høj kognitiv indsats, uanset indsamlingsmetode. Interaktion: hvilke moderatorer ift. modeeffekter? Effekter for hvem og under hvilke omstændigheder? Modeeffekter på sammenhænge mellem centrale variable frem for svarmønstre. 14