Repræsentative undersøgelser før og nu. Peter Linde, Interviewservice

Transkript

1 Repræsentative undersøgelser før og nu Peter Linde, Interviewservice >>

2 >> Dagsorden Hvad er en repræsentativ undersøgelse? Bortfald og forskerbeskyttelse Vægtning for bortfald Effekt af vægtning Brug af vægte Gentagelsesvægte Spørgsmål er velkomne undervejs diskussion tager vi til sidst - der skulle være tid 2

3 >> Et citat Ikke alt der tæller kan tælles og ikke alt der kan tælles tæller (Einstein) Ingen dataindsamling er bedre end sit svageste led. Tre ting kan gå rigtig galt: Population og repræsentativ stikprøve Bortfaldet Spørgsmålene, byrde og relevans 3

4 >> Repræsentativitet (1) Udsnit kan tages på mange måder Fx de 71 der deltager her i dag Alle udsnit siger noget om udsnittet selv ikke alle udsnit kan generaliseres Der er tre krav: 1. Alle man vil sige noget om skal kunne vælges 2. Man skal kende deres sandsynlighed for at blive valgt 3. Man skal vægte med sandsynligheden for at blive valgt 4

5 >> Repræsentativitet (2) Et tilfældigt udsnit der opfylder de tre repræsentativitetskrav vil have en tilfældig fejl Det rigtige kan lige så godt være større som lavere Jo flere man spørger, jo mere sikkert bliver tallet Matematikken siger, at man skal spørge fire gange så mange, hvis man vil være dobbelt så sikker 5

6 >> Repræsentativitet (3) Tommelfingerreglen er at usikkerheden højst er: Der udvælges 100 enheder +/- 10 % Der udvælges 400 enheder +/- 5 % Der udvælges 1600 enheder +/- 2,5% Osv. med den sædvanlige statistiske sikkerhed = et sikkerhedsinterval på 95% Er baseret på den centrale grænseværdisætning 6

7 >> Repræsentativitet (4) Vandret (rød): Bias (skævhed) Sort kurve: Den rene tilfældige fejl Grøn kurve: Den samlede fejl ( kvadratroden af mean square error) 7

8 >> Repræsentativitet (5) Repræsentativitet har kun noget med designet at gøre og har ikke noget med stikprøvestørrelsen at gøre. Sikkerheden afhænger derimod af stikprøvestørrelsen Biasen dominerer uanset stikprøvestørrelsen En pænt stor stikprøve skal gerne ligge tæt på den rigtige køns- og alderssammensætning ja tæt på enhver variabel. Det er en konsekvens af et repræsentativt design. Det er ikke noget bevis for repræsentativitet, men en indikator. 8

9 >> Bortfald (1) En svarprocent på 75-80% var mulig i 80 erne Siden er det gået tilbage I dag har vi en svarprocent på 50-60% Der er tre årsager: 1.Det er en generel trend i den vestlige verden 2.Det skyldes billigere dataindsamlinger 3.Og i Danmark også forskerbeskyttelsen, som fritager for at deltage i undersøgelser baseret på stikprøver, der bruger oplysninger fra CPR 9

10 >> Bortfald (2) Omnibus I alt 67% opnåelse 58% opnåelse Mænd 66% 56% Kvinder 67% 61% år 62% 47% år 66% 58% år 73% 57% år 68% 61% år 67% 71% 10

11 >> Bortfald (3) Uddannelse Grundskole 62% 51% Ungdomsuddannelse 67% 56% Kort videregående 85% 73% Mellemlang videregående 83% 74% Lang videregående 80% 70% Indkomst familie Ingen registreret 42% % % % % % Indkomst 6% for høj 8% for høj 11

12 >> Bortfald (4) Generelt er svarprocenten faldet mest de sidste 25 år for: Mænd De unge og yngre Lavest uddannelse Mindst indkomst Tallene, der netop er vist, er fra dataindsamlingen. I 2000 kom forskerbeskyttelsen, der er på 13%. Dvs. opnåelsen i dag er 58% /1.13 = 51% For 25 år siden var vi normalt blandt de fem europæiske lande med mindst bortfald i dag er vi blandt de fem med størst bortfald 12

13 >> Bortfald (5) I 2000 blev muligheden for at opnå forhåndsfritagelse (forskerbeskyttelse) indført på flytteblanketten I 2007 blev den i stedet en af de services man fx kan finde på Internettet Godt har i dag forskerbeskyttelse 13

14 >> Bortfald (6) 14

15 >> Bortfald (7) Tal om forskerbeskyttelsen 1. januar 2011 Alder 0-9 år 8,5% ,5% ,2% ,7% ,4% ,0% ,5% 70+ 4,9% 15

16 >> Bortfald (8) Socioøkonomisk status: Selvstædig 12,1% Lønmodtager 15,3% Arbejdsløs 21,4% Uddannelse 13,1% Pensioneret 7,5% Uden arbejdsstyrken 12,2% Statsborgerskab: Dansk 13,0% EU, USA, Australien mv. 9,2% Andre 8,7% 16

17 >> Vægtning (1) Det er muligt at vægte for skævt bortfald med registeroplysninger I den mere simple version efterstratificerer man. Fx opdeles efter køn, 5 aldersintervaller og 5 indkomstintervaller i alt 2*5*5 = 50 strata I hvert af de 50 strata laver man vægten: Population/stikprøve=N/n Det er begrænset, hvor mange faktorer man kan inddrage i efterstratificering. 17

18 >> Vægtning (2) Der findes mere avancerede vægtningsprogrammer, fx CLAN, som man kan finde på Her kan man lave de såkaldte GREG vægte, der svarer til, i en regressionsanalyse, at kombinere hovedvirkninger og vekselvirkninger af kategoriske og kontinuerte variabler. Alle hovedvirkninger og vekselvirkninger (tabeller) man medtager, genskaber man Se fx DDA.dk: Metode & Data , side 14 18

19 >> Vægtning (3) I DST s forbrugsundersøgelse vægtes der efter: Statsborgerskab, beskæftigelsesstatus, socioøkonomisk status, husstandsstørrelse, region og husstandstype, uddannelsesgruppe samt: Population Opnået Vægtet Bolig Eget hus 47% 57% 47% Eget lejlighed 5% 5% 5% Lejet hus 13% 10% 13% Lejet lejlighed 33% 26% 33% Uoplyst 2% 1% 2% 19

20 >> Vægtning (4) Population Opnået Vægtet Boet på adressen 0-1 år 20% 23% 20% 2-4 år 19% 15% 19% 5-9 år 17% 17% 17% år 21% 21% 21% Over 20 22% 24% 22% De vægtede tal passer (selvfølgelig) med populationen 20

21 >> Vægtning (5) I forbrugsundersøgelsen vægter vi også vægte for indkomst, men hvis vi ikke gør det og vægter for de nævnte sociale og demografiske faktorer, gælder: Population Opnået Vægtet Fam. indk Afvigelse +7% -½% Indkomsten overvurderes med ca. 7%, hvis man ikke vægter. Den samme bias var for 15 år siden ca. 3% Vægtningen med de demografiske og sociale faktorer reducerer biasen til ½%. Hvis vi også have vægtet for indkomst havde biasen være 0% (selvfølgelig) 21

22 >> Vægtning (6) Registerindkomsten for de der deltog (15.000) hhv. ikke deltog (5.000) i arbejdskraftundersøgelsen ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ ƒƒƒƒƒƒƒƒƒƒƒƒ ƒƒƒƒƒƒƒƒƒƒƒƒ ƒƒƒƒƒƒƒƒƒƒƒƒ Spredning af Personindkomst Gennemsnit Spredning gennemsnit ƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒ Indkomst før Indkomst før Indkomst før skat skat skat ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒ Uoplyst/bortfald ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒ Oplyst/deltaget ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒ Alle Šƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ ƒƒƒƒƒƒƒƒƒƒƒƒ ƒƒƒƒƒƒƒƒƒƒƒƒ ƒƒƒƒƒƒƒƒƒƒƒƒœ 22

23 >> Eksempel (7) Vægtede og uvægtede estimater ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ ƒƒƒƒƒƒƒƒƒƒƒƒ ƒƒƒƒƒƒƒƒƒƒƒƒ Gennemsnit Spredning Personindkomst ƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒ Indkomst før Indkomst før skat skat ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒ Vægtet efter alle: 3 + uddannelse og job ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒ Vægtet efter køn, alder og geografi ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒ Det uvægtede, jf. tabel A ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒ Det rigtige, jf. tabel A Šƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ ƒƒƒƒƒƒƒƒƒƒƒƒ ƒƒƒƒƒƒƒƒƒƒƒƒœ 23

24 >> Effekt af vægtning (1) Vægtningen har tre virkninger: 1.Kontrollerer det der er muligt mht. non-response begrænser den største fejlkilde 2.Kan øge vægtningen af stikprøvevariansen lidt, hvis der er meget skævt bortfald nødvendigt hvis man vil kontrollere biasen (punkt 1) 3.Kan vinde stikprøvevarians svarende til graden af forklaret variation registervariabler kan fjerne usikkerhed 24

25 >> Effekt af vægtning (2) I eksemplet fra forbrugsundersøgelsen: Vi måler andelen af husstande, der har et årligt forbrug på over baseret på svaret i spørgeskemaet. Uvægtet Vægtet Andel over % 39% Simpel Kun punkt 1 Punkt 1+2 Naiv Overvurderer Rigtig/bedst Spredning Gevinsten er 1-(0.0098/0.0070)**2 = 97% De interviews svarer effektivt til Man har gratis fået interviews + reduceret bias 25

26 >> Programmer (1) SAS kan regne med vægte. Fx proc survey reg STATA har et særligt survey modul, der kan håndtere alt R har også programmer I SAS Proc surveymeans total= sas datasæt ; Weight vægt variabel ; Var Spørgeskema variabel ; Strata Strata variabel ; 26

27 >> Programmer (2) Vægte koster ikke kun varians, men vil også vinde svarende til graden af forklaret variation. Det kræver kendskab til registeroplysninger i den fulde population og stikprøven at estimere denne gevinst og de data kan ikke udleveres. Men der findes en løsning, som man fx bruger i PISA, SIALS og PIACC, og som er beskrevet. De benyttes for at kunne analysere stikprøver med forskellige stikprøvedesign, men udnytter også graden af forklaret variation fra registrene. Se repeated weighting 27

28 >> Gentagelsesvægte (1) Man kan lave et antal mindre stikprøver af den oprindelige stikprøve, der er også repræsentative Ved hjælpe af disse nye (og mindre) stikprøver er det muligt at beregne den oprindelige stikprøves varians Når producenten fx DST har lavet vægtene for hver af de mindre stikprøver, skal man angive typen og variabelnavnet og analysen laves med fuld gevinst for graden af afklaret variation SAS og STATA kan regne med gentagelsesvægte. 28

29 >> Gentagelsesvægte (2) BRR - Balanced Repeated Replicates Man samler de primære udvalgsenheder to og to. Afhængig af hvor mange gentagelsesvægte man vil lave, sættes den ene til 0 og den anden får den dobbelte udvalgsvægt. Derefter opregnes til registrene. Jackknife: Et antal af de primære udvalgsenheder fjernes tilfældigt og de resterende vægtes op til populationen. Inden for hvert stratum, hvis der er stratificeret. 29

30 >> Gentagelsesvægte (3) V ( ˆ) C c ( ( ) i wi ) i 2 C ci JK1 (n-1)/n 1 BRR 1/L 1 L antal gentagelsesvægte, n stikprøvestørrelsen 30

31 >> Tak for ordet Ingen statistik er bedre end sit svageste led. De tre ømme punkter er oftest: Repræsentativiteten Bortfaldet Spørgsmålene (fx Don Dillman: Mail and Internet Surveys: The Tailored Design Method, Wiley, 2007) Kontakt mig gerne om materiale og kilder. Er der nogle spørgsmål? 31