Interviewereffekter på spørgsmål om sort arbejde Rockwool Fondens Forskningsenhed Oktober 2008
Tak til Rockwool Fondens Forskningsenhed Danmarks Statistiks Interviewservice, specielt til Isak Isaksen, Toke Bundgaard, Jesper Christensen, Henrik Bergmann Andreasen og Martine Friisenbach
Hvorfor interessere sig for interviewereffekter? Teori, der ønskes testet Stort arbejde bag operationalisering og udarbejdelsen af spørgsmål Forestilling om et overvejende neutralt apparat i form af en survey-udbyder og deres interviewere, der på en standardiseret måde gennemfører undersøgelsen Men siden 1960 erne har det været velkendt, at der findes interviewereffekter
2006 Frekvenser for sort arbejde 1994-2005 35 30 25 20 15 Procent 10 5 0 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005
Hvad kan udsvingene skyldes? Reelle forskelle i frekvensen for sort arbejde? Konjunkturer, skatter/moms, moral, lovændringer (f.eks. hjemmeserviceordningen), østarbejdere Kampagner mod sort arbejde? Risiko, moral Omstændelig spørgsmålsformulering? Variationer i karakteristika ved interviewere?
Særligt interessant fordi Hvorfor er interviewereffekter specielt interessante ved spørgsmål, der belyser udbredelsen af følsomme emner? Formodning om ensidig bias de store tals lov gælder ikke Ikke blot bortfald andet problem end opnåelsesfrekvenser, men beslægtet fordi bortfald måske skævt
Litteratur om interviewereffekter Ganninger, M., S. Häder, S.Gabler (2007): Design Effects and Interviewer Effects in the European Social Survey: Where are we now and where do we want to go tomorrow?. http://www.europeansocialsurvey.org/index.php?option=com_docman&task=do c_download&gid=197&itemid=80 Hanson, R. H. & Markes, E. S. (1958): Influence of the interviewer on the accuracy of survey results, Journal of the American Statistical Association 53. Hox, J.J. (1994): Hierarchical Regression Models for Interviewer and Respondent Effects, in Sociological Methods & Research Kennet, J. & J. Gfroerer (Eds.) (2005): Evaluating and Improving Methods Used in the National Survey on Drug Use and Health. http://www.samhsa.gov O Muircheartaigh, C. & P. Campanelli (1998): The relative impact of interviewer effects and sample design effects on survey precision, in Journal of Royal Statistical Society, A. Tucker, C. (1983): Interviewer effects in telephone surveys, The Public Opinion Quarterly 47(1).
Inden start Det vides ikke om de viste nye frekvenser for sort arbejde er repræsentative for befolkningen eller for stikprøven. Medtager bl.a. ikke observationer: hvor der mangler interviewerident, hvor interviewer har lavet < 25 interviews. Desuden medtages respondenter < 18 år og interviewene er ikke vægtede.
Opnår interviewerne forskellige frekvenser?
Frequency 0 200 400 600 800 Interviewernes gns. sorte opnåelsesfrekvens -1 std.afv. Middelværdi +1 std.afv. 0.05.1.15.2.25.3.35 Gns. sort opnåelsesfrekvens ROCKWOOL N(obs.) FONDENS = 3640; N(interviewere) FORSKNINGSENHED = 36; M(X) = 0,127; std.afv. = 0,074
Samler sig ikke om én bestemt værdi
Kumulativ fordeling af sorte opnåelsesfrekvenser Andel interviewere med < sort % 1 0,8 0,6 0,4 0,2 0 0 5 10 15 20 25 30 35 Sort %
Er interviewereffekter på spørgsmål om sort arbejde signifikante? Fokus ikke på den enkelte interviewer, men på gruppen som helhed Hvordan måler man, om der overhovedet er en interviewereffekt? Her: Effekt målt vha. intervieweridenter (ID), H 0 : ID=0; chi2=170,4; df=36; p=0,000; (obs.=3640)
Altså: Stor interviewereffekt Tror den giver bias vil derfor se nærmere på data, for at prøve at forstå, hvad der foregår. Er der noget, der kan forklare interviewereffekterne?
Disposition 1. Indledning + motivation 2. Karakteristika ved interviewet: Måned, tid på dagen & undersøgelsen? 3. Interviewerkarakteristika? Køn, alder & erfaring 4. Spørgsmålsformulering? 5. Effekt på andre følsomme spørgsmål? 6. Konklusion
2. Karakteristika ved interviewet Kan effekten fra intervieweridenter forklares af andre karakteristika ved interviewet? Hvorfor skulle den kunne det?
2. Karakteristika ved interviewet Logistisk regression (obs.=3640) Afhængig: Sort aktivitet Uafhængige variable: Intervieweridenter (ID) (36) Først vs. sidst på undersøgelsen (2) (Hver-)dag vs. aften/weekend (2) Måned (5) H 0 : ID=0; LR-test: p=0,0000
2. Karakteristika ved interviewet, øvrige fund ID Sidst på undersøgelse Aften/weekend November Februar Marts Model uden ID Signifikansniveau Effekt - - * ** + * - - * + Model med ID Signifikansniveau Effekt *** - - - - - (*) - - - - April (*) p<0,1; * p<0,05; ** p<0,01; *** p<0,001. Start på undersøgelsen, hverdag og oktober måned er referencekategori - - - -
2. Karakteristika ved interviewet Konklusion: Interviewereffekten kan altså ikke forklares af, at interviewerne arbejder på forskellige tidspunkter på dagen, undersøgelsen og året.
Disposition 1. Indledning + motivation 2. Karakteristika ved interviewet: Måned, tid på dagen & undersøgelsen? 3. Interviewerkarakteristika? Køn, alder & erfaring 4. Spørgsmålsformulering? 5. Effekt på andre følsomme spørgsmål? 6. Konklusion
3. Interviewerkarakteristika Er der systematik i sammenhængene ml. interviewerkarakteristika og den sorte opnåelsesfrekvens? Hvis ja, måske mulighed for forenkling. Forbehold: Har kun analyseret på 36 interviewere Tendenser kan skyldes tilfældigheder
3. Interviewerkarakteristika køn og alder Køn Mand Kvinde Antal interviewere 13 23 Sort % 13 14 Alder 18-29 år 30-49 år 50-80 år Antal interviewere 12 13 11 Sort % 11 13 17
3. Interviewerkarakteristika: Erfaring Påvirker interviewerens erfaring den sorte opnåelsesfrekvens? Ikke retningsbestemt hypotese: Muligt at interviewere bliver bedre i takt med stigende erfaring Også muligt at erfaring fører til en mere rutinepræget præstation
Opnåelsesfrekvens vs. erfaring Gns. sort opnåelsesfrekvens 0.1.2.3 0 20 40 60 Interviewerens erfaring, antal måneder
3. Interviewerkarakteristika Konklusion: Resultaterne tyder på, at der kunne være en positiv alderseffekt og en negativ erfaringseffekt.
Disposition 1. Indledning + motivation 2. Karakteristika ved interviewet: Måned, tid på dagen & undersøgelsen? 3. Interviewerkarakteristika? Køn, alder & erfaring 4. Spørgsmålsformulering? 5. Effekt på andre følsomme spørgsmål? 6. Konklusion
4. Spørgsmålsformulering - gammel De næste spørgsmål drejer sig om det, som i almindelig tale kaldes sort arbejde. Meget tyder på, at en stor del af befolkningen accepterer sort arbejde og sorte handler, altså aktiviteter udenom skattevæsenet, hvor alle deltagende slipper lidt billigere, fordi det hele sker uden skat og moms mv. Det kan dreje sig om sorte aktiviteter, hvor man betaler kontant, men der kan også være tale om udvekslinger af tjenester mellem venner, bekendte og familiemedlemmer. Har du i løbet af de sidste 12 måneder udført aktiviteter af denne art? Ja/ Nej
4. Spørgsmålsformulering Omstændelig spørgsmålsformulering kræver mere af interviewerne respondenterne glemmer definition inden besvarelse respondenternes svar påvirkes mere af interviewernes forståelse af spørgsmålet kunne give interviewereffekt.
4. Spørgsmålsformulering - ny Nu kommer der nogle spørgsmål om sort arbejde. - Sort arbejde kan for det første være arbejde eller tjenester, man får penge for. - For det andet kan man blive betalt med ting. - Og for det tredje kan man arbejde eller lave tjenester for hinanden på skift uden at få penge for det. Jeg vil spørge til alle 3 former.
4. Spørgsmålsformulering For det første: Har du inden for de sidste 12 måneder arbejdet sort og fået penge for det? Ja/Nej For det andet: Har du inden for de sidste 12 måneder arbejdet eller lavet tjenester for nogen, hvor du blev betalt med ting? Ja/Nej
4. Spørgsmålsformulering Kan interviewereffekten hænge sammen med, at de, der opnår den højeste sorte frekvens, har en anden sammensætning af de forskellige typer af sort arbejde (= finder større andel vennetjenester)? Interviewernes gns. sorte opnåelsesfrekvens Gammel formulering Andel kontant betalt sort arbejde (ud af ja til sort) Interviewernes gns. sorte opnåelsesfrekvens Ny formulering Andel kontant betalt sort arbejde (ud af ja til sort) 0-9,9 % 0,70 0-19,9 % 0,35 10-19,9 % 0,40 20-29,9 % 0,22 +20 % 0,36 +30 % 0,31 Alle 0,52 N(obs.)=3640; N(interviewere)=36 Alle 0,31 N(obs.)=639; N(interviewere)=13
4. Spørgsmålsformulering Bliver interviewereffekt mindre? Interviewernes gns. sorte frekvens Gammel spørgsmålsformulering Interviewernes gns. sorte frekvens Ny spørgsmålsformulering -1 std.afv. M(X) +1 std.afv. +1 std.afv. M(X) -1 std.afv. Frequency 0 50 100 150 200 Frequency 0 50 100 150 200 0.05.1.15.2.25.3.35.4.45 Gns. opnåelsesfrekv., gl. spm.formulering 0.05.1.15.2.25.3.35.4.45 Gns. opnåelsesfrekv., ny spm.formulering N(obs.) = 634; N(interviewere) = 13; M(X) = 0,149; std.afv. = 0,080 N(obs.) = 639; N(interviewere) = 13; M(X) = 0,28; std.afv. = 0,091
4. Spørgsmålsformulering ingen forskel Gammel formulering (obs.=634) Ny formulering (obs.=639) LR (12) p LR(12) P Model med ID vs. model uden ID 28,61 0,005 27,46 0,007
4. Spørgsmålsformulering Konklusion: Ny spørgsmålsformulering tyder (med forbehold) på, at fordelingen af de forskellige typer sort arbejde bliver mere ens blandt interviewerne. Men interviewereffekten ser ikke ud til at blive mindre. Spørgsmålsformuleringen kan altså tilsyneladende ikke forklare interviewereffekten.
5. Effekt på andre følsomme spørgsmål Er det kun spørgsmål om sort arbejde, der kan findes en interviewereffekt på? Interviewernes gns. sorte opnåelsesfrekvens 0-9,9 % 10-19,9 % +20 % Alle Interviewernes gns. manglende indkomstoplysninger 0,17 0,11 0,09 0,13 N(obs.) = 3640; N(interviewere) = 36
6. Konklusion Hvorfor er det nødvendigt og vigtigt at tage højde for interviewereffekter? Finder stor bias. Risiko: Sort frekvens kunne være markant undervurderet. Også relevant for andre undersøgelser, der belyser følsomme fænomener og deres udbredelse.
6. Konklusion Hvorfor er det godt at tage højde interviewereffekter? Bedre udtale sig om reelle udsving i det, man måler Mere præcise forhold ml. grupper Mulighed for at korrigere