Bortfaldets betydning i dag og over tid Belyst ved eksempler Peter Linde Interviewservice pli@dst.dk 27. november 2013
Dagsorden Hvad er en repræsentativ undersøgelse? Definition af responsrate Bortfald i Danmark Reparation af bortfald Effekt af de sidste interviews Vægtning for non-response Opsummering Spørgsmål er velkomne undervejs og diskussion tages til sidst der skulle være tid
Den samlede fejl Ingen indsamling er bedre end sit svageste led Fire ting kan gå rigtigt galt: 1. Ufuldstændig population/ramme 2. En ikke repræsentativ stikprøve 3. Bortfaldet 4. Spørgsmålene, byrde og relevans Fokus på 3, og lidt på 1 og 2.
Repræsentativitet (1) Udsnit kan tages på mange måder fx de 114 der er tilmeldt her i dag Alle udsnit eller stikprøver heraf siger noget om udsnittet selv men ikke alle udsnit/stikprøver kan generaliseres Hvis tre krav er opfyldt kan en stikprøve generaliseres: 1. Alle man vil sige noget om i målpopulationen skal kunne vælges 2. De skal udvælges ved lodtrækning med kendt sandsynlighed for at blive valgt 3. Man skal vægte med den inverse sandsynlighed sandsynligheden for at blive valgt
Repræsentativitet (2) Et tilfældigt udsnit der opfylder de tre krav har per definition en række smukke egenskaber Det rigtige kan lige så godt være større som lavere I gennemsnit er det rigtigt = Repræsentativt (afhænger kun af hvordan der er udvalgt de tre krav) Stikprøven har en statistisk usikkerhed Jo flere, jo mere sikkert bliver tallet Jo flere, jo mindre bliver sikkerhedsintervallet Matematikken siger, at man skal spørge fire gange så mange, hvis man vil være dobbelt så sikker = Sikkerhed (afhænger af stikprøvedesign og hvor mange der er udvalgt)
Repræsentativitet (3) Tommelfingerregelen er, at usikkerheden højst er: Der udvælges 100 enheder +/- 10 % Der udvælges 400 enheder +/- 5 % Der udvælges 1600 enheder +/- 2,5% Osv. med den sædvanlige statistiske sikkerhed = et sikkerhedsinterval på 95% Er baseret på den centrale grænseværdisætning http://onlinestatbook.com/stat_sim/sampling_dist/index.html
Repræsentativitet (4) Vandret (rød): Bias (skævhed) Sort kurve: Den rene tilfældige fejl Grøn kurve: Den samlede fejl ( kvadratroden af mean square error)
Repræsentativitet (5) En simpel tilfældig stikprøve Udvalgsramme=målpopulation Lodtrækning med kendt sandsynlighed Er altid repræsentativ alle variabler har kun en tilfældig fejl Procent Population Stikprøve Grundskole 34,9 34,0 Ungdomsudd. 39,6 39,3 Korte videreg. 4,2 4,0 Mellemlange videreg. 12,4 13,2 Lange videreg. 8,9 9,5 Stikprøven er 1.800 og har en tilfældig fejl på 1-2%
Repræsentativitet (6) Procent Population Herkomst Dansk oprindelse 88,4 89,2 Indvandre 10,2 9,2 Efterkommere 1,5 1,6 Familie Enlig uden børn 26,9 26,2 Enlig med børn 6,5 7,1 Par uden børn 31,3 31,8 Par med børn 35,2 34,9 Stikprøve 95% af alle tabeller vil have afvigelser på under 1-2% Hvis man forhåndsstratificerer proportionalt kan man fjerne den tilfældige fejl.
Repræsentativitet (7) Hvis udvalgsramme er en del af målpopulation er der a priori en skævhed. Fx Kun dem med telefon Aldersmæssigt og socialt skævt Et e-mail panel fanget på internettet: Selvrekrutteret Speciel gruppe Købt kan være godt eller skævt Kommer fra andre undersøgelse overtager skævhed + ny skævhed Der kan korrigeres herfor, men det skal dokumenteres om det er lykkedes. Specielt fordi første trinnet i udvælgelsen har en skævhed, der skal lægges til. Hvis der forhåndsstratificeres skal dette dokumenteres.
Definition af response rate - AAPOR Interview G D Gennemført interview Delvist gennemført interview Relevant (opfylder kriterier/kontakt) ikke interview N Nægter eller afbryder IM Ikke muligt (fx aldrig tilgængelig) A Anden årsag (fx sygdom, sprogproblemer) Ukendt relevans ikke interview IS Ikke noget svar UA Ukendt andet (fx ikke noget telefonnummer eller forskerbeskyttelse) e andel ukendt relevans der tilhører i population (e=1/0 er specialtilfælde) Ikke relevant IR Udenfor population Respons rate: RR1=G/(G+D)+(N+IM+A)+(IS+UA)*e
Bortfald i Dammark (1) En svarprocent på 75-80% var mulig i 80-erne Siden er det gået tilbage I dag har vi en svarprocent på 50-65% Der er tre årsager: 1. Det er en generel trend i den vestlige verden 2. Det skyldes billigere dataindsamlinger 3. Og i Danmark også forskerbeskyttelsen, som fritager for at deltage i undersøgelser baseret på stikprøver, der bruger oplysninger fra CPR
Bortfald (2) Omnibus 1992 2012 I alt 67% opnåelse 58% opnåelse Mænd 66% 56% Kvinder 67% 61% 16-29 år 62% 47% 30-39 år 66% 58% 40-49 år 73% 57% 50-64 år 68% 61% 65-74 år 67% 71%
Bortfald (3) 1992 2012 Uddannelse Grundskole 62% 51% Ungdomsuddannelse 67% 56% Kort videregående 85% 73% Mellemlang videregående 83% 74% Lang videregående 80% 70% Indkomst familie Ingen registeret 42% 1-200.000 45% 200-350.000 61% 350-500.000 61% 500-750.000 70% 750.000+ 69% Indkomst 6% for høj 8% for høj
Bortfald (4) Generelt er svarprocenten faldet mest de sidste 25 år for: Mænd De unge og yngre Lavest uddannelse Mindst indkomst Tallene, der netop er vist, er fra dataindsamlingen. I 2000 kom forskerbeskyttelsen, der er på 13%. Dvs. opnåelsen i dag er 58% /1.13 =51% For 25 år siden var vi normalt blandt de fem europæiske lande med mindst bortfald i dag er vi blandt de fem med størst bortfald
Bortfald (5) I 2000 blev muligheden for at opnå forhåndsfritagelse (forskerbeskyttelse) indført på flytteblanketten I 2007 blev den i stedet en af de services man fx kan finde på Internettet Godt 780.000 har i dag forskerbeskyttelse
Bortfald (6) Tal om forskerbeskyttelsen 1. januar 2011 Alder 0-9 år 8,5% 10-19 12,5% 20-29 21,2% 30-39 23,7% 40-49 14,4% 50-59 9,0% 60-69 6,5% 70+ 4,9%
Bortfald (7) Socioøkonomisk status: Selvstædig 12,1% Lønmodtager 15,3% Arbejdsløs 21,4% Uddannelse 13,1% Pensioneret 7,5% Uden arbejdsstyrken 12,2% Statsborgerskab: Dansk 13,0% EU, USA, Australien mv. 9,2% Andre 8,7%
Reparation for bortfald Vægtning for skævt bortfald med registeroplysninger Simpel efterstratifikation, fx en tre-vejstabel efter køn, 5 aldersgrupper og 5 indkomstintervaller i alt 50 strata I hvert stratum dannes vægten: Population/stikprøve=N/n I den generelle situation inddrager man flere faktorer og forskellige tabeller, der genskabes med vægten. Vægt personi= N/n*Gi Gi er korrektionen Gi>1 hvis for få, fx lav indkomst Gi<1 hvis for mange, fx høj uddannelse
Effekt af de sidste interviews 400 CATI CAWI 350 300 250 200 150 100 50 0 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59
Vægtning (1) DST s forbrugsundersøgelse kan fx vægtes efter: Statsborgerskab, beskæftigelsesstatus, socioøkonomisk status, husstandsstørrelse, region og husstandstype, uddannelsesgruppe samt: Population Opnået Vægtet Bolig Eget hus 47% 57% 47% Eget lejlighed 5% 5% 5% Lejet hus 13% 10% 13% Lejet lejlighed 33% 26% 33% Uoplyst 2% 1% 2% De vægtede tal passer (selvfølgelig) med populationen
Vægtning (2) I forbrugsundersøgelsen vægter vi også for indkomst, men hvis vi ikke gør det og alene vægter for de nævnte sociale og demografiske faktorer, gælder: Population Opnået Vægtet Fam. indk. 520.639 557.159 518.000 Afvigelse +7% -½% Indkomsten overvurderes med ca. 7%, hvis man ikke vægter. Den samme bias var for 15 år siden ca. 3% Vægtningen med de demografiske og sociale faktorer reducerer biasen til ½%. Hvis vi også have vægtet for indkomst havde biasen for indkomst være 0% (selvfølgelig)
Effekt af vægtning (3) Vægtningen har tre virkninger: 1. Kontrollerer det der er muligt mht. non-response begrænser den største fejlkilde 2. Kan øge vægtningen af stikprøvevariansen lidt, hvis der er meget skævt bortfald nødvendigt hvis man vil kontrollere biasen 3. Kan vinde stikprøvevarians svarende til graden af forklaret variation registervariabler kan fjerne usikkerhed
Effekt af vægtning (4) I eksemplet fra forbrugsundersøgelsen: Vi måler andelen af husstande, der har et årligt forbrug på over 300.000 baseret på svaret i spørgeskemaet. Uvægtet Vægtet Andel over 300.000 46% 39% Simpel Kun punkt 2 Punkt 2+3 Naiv Overvurderer Rigtig/bedst Spredning 0.0098 0.0107 0.0070 Gevinsten er 1-(0.0098/0.0070)**2 = 97% De 2.462 interviews svarer effektivt til 4.845. Man har gratis fået 2.383 interviews + reduceret bias (1)
Vægtning (5) Vægtning kan ikke fjerne alt bias. I undersøgelsen Befolkningens brug af IT vægtes efter sociale- og demografiske faktorer. Procent medlemmer af Ældresagen Udvalg Opnåede svar Pop Stikprøve Uvægtet Vægtet 16-74 år 10,0 9,9 14,7 11,1 75-89 år 43,8 41,8 48,1 49,2 Medlemmer af Ældresagen deltager signifikant oftere i undersøgelser også efter vægtning
Vægtning (6) Arbejdskraftundersøgelsen Indkomst Hele populationen 175.367 Bortfald 161.677 Besvarelser 180.379 Vægtet for køn, alder og geo 180.982 Yderligere vægtet for udd. og job 176.928 Vægtning for køn, alder og geografi giver ikke noget. Man skal også inddrage sociale forhold.
Opsummering Bortfaldet er Stigende i omfang Har fortsat stor social bias Svagt øget social bias Vægtning for demografiske forhold løser ikke problemet Vægtning for sociale forhold kan løse meget Men ikke alt
Spørgsmål?