Det gode håndværk eller simpel datafangst? Peter Linde 8. juni 2009

Transkript

1 Det gode håndværk eller simpel datafangst? Peter Linde 8. juni 2009

2 Tre udsagn Tal er tyranni Ikke alt der tæller kan tælles og ikke at der kan tælles tæller (Einstein) Man kan kun have tillid til statistik man selv har manipuleret (Churchill)

3 Repræsentativitet i pressen Undersøgelsen er gennemført i perioden juni 2008 blandt et repræsentativt udsnit af den danske befolkning (1000 besvarelser).

4 Tal er tyranni Hvad er forskellen på: - Ældre vil gerne have teknisk hjælpemidler og 91% ønsker stok eller rollator med indbygget GPS - Nogle få genstande for meget og en promille på 1,37 Eksakte tal har en selvbekræftende rigtighed og autoritet, der ikke stilles spørgsmålstegn ved. Ethvert samfund har brug for god statistik

5 Ikke alt der tæller kan tælles Det gælder også mål for kvaliteten af statistik Tre ting kan gå helt galt: - hvordan man måler (spørgeskemaet) - mangelfuld udvalgsramme (population) og udvælgelse - bortfald og dataindsamlingen og selvfølgelig forkerte metoder/principper Noget er svært at måle med tal, fx kvaliteten og betydningen af spørgeskemaet, udvalgsrammen og bortfaldet Ingen statistik er stærkere end sit svageste led

6 Når producenten skal beskrive sin kvalitet arbejder med en udvælgelsesmetode der sikrer at de udvalgte husstande og personer er repræsentativt fordelt efter de demografiske kriterier: køn, alder og geografi. Fordelingen er altid baseret på de seneste tal fra Danmarks Statistik, og der benyttes ikke efterfølgende vejning af datamaterialet eller andre typer af efterstratifikation.

7 Når producenten skal beskrive sin kvalitet (II) The key to our business is our access panels. We have developed a number of procedures for recruiting, validating, and sampling that enable us to use internet samples to represent the population as a whole. We believe that internet research should be as accurate as traditional methods, but faster and more flexible, thereby freeing resources for the vital interpretation and implementation of results.

8 Disposition Indsamlingsprocessen - fra udvælgelse og design til formidling Hvad er godt håndværk? Ansvaret - Hvad er de forskellige aktørers ansvar?

9 Sikkerheden i statistikkerne Afhænger af: Udvalgsrammen Udvælgelsen eller afgrænsningen Dataindsamlingen (internt eller eksternt) Besvarelsen (målingen - indholdet i variablerne) Bortfaldet eller uoplyste værdier Korrektion, vægtning og imputering Analysen - offentliggørelsen (fx brug af vægte, imputerede data) Og sammenhængen mellem alle elementer - ingen statistik er bedre end sit svageste led

10 Tilfældige og systematiske fejl Vandret (rød): Bias (skævhed). Nederste kurve stikprøvefejlen og den øverste den samlede fejl (mean square error)

11 Udvalgsrammen Hvilke personer eller virksomheder skal beskrives? Udvalgsrammen = populationen? Korrekt Aktuel - opdateret Delmængde (underdækning) Overdækning Overdækning kan delvist løses, men en del ikke relevante svarer ikke og bliver en del af bortfaldet. Underdækning vil altid give en fejl. Dækningsfejl

12 Afgrænsning Eksempler på afgrænsninger/udelukkelser Under en hvis omsætning (cut off eller bagatelgrænsen) Adgang til telefon Adgang til internet Afgræsningsfejl

13 Stikprøveudvælgelse Udvælgelses metoden Repræsentativ: Lodtrækning tilfældig udvælgelse. Kendte udvalgssandsynligheder fx flere telefoner Antal der udvælges betyder mest Sikkerheden fordobles, hvis stikprøven firedobles Hvis man udvælger alle er der ingen stikprøveusikkerhed Designet skal overholdes ellers udvælgelsesfejl Stikprøve usikkerhed + mulig udvælgelsesfejl

14 Stikprøve-udvælgelse: Tommelfingerregel En tommelfinger regel siger, at usikkerheden højst er: Der udvælges 100 enheder +/- 10 % Der udvælges 400 enheder +/- 5 % Der udvælges 1600 enheder +/- 2,5% Osv. Eksempel: 900 interviews 9 gange større end en stikprøve på gange bedre (3*3=9) end en på 100 Usikkerheden er derfor: 10%/3 = 3,3%

15 Dataindsamlingen (I) Kan gennemføres af fx SFI-survey, Danmarks Statistik eller privat firma Instruktion og træning af interviewer, indsamler og organisation Overvågelse af dataindsamlingen Opfyldelse af indsamlingsplan/design Aflønning af interviewere Dataindsamlingsfejl

16 Indsamlingsformer (II) Selvudfyldelse (af personer eller virksomheder): Kontakter selv indsamler og udfylder et skema Får tilsendt et skema som udfyldes Kan også være en indtastningsblanket på WEB Udfyldelse med hjælp undervejs: Personlig hjælp fx interviewer Intelligent understøttende elektronisk blanket Udfyldelse af 3. part: Sagsbehandler eller andet personale

17 Målingen indholdet i variablen/svaret Overblik og brugervenlighed Spørgsmål og svarmuligheder Hukommelse Vælg et eller flere svar Ja/nej Følsomme spørgsmål Indsamlingsmedie (dataindsamlingsform) Byrden Test af spørgeskemaet Målingsfejl

18 Bortfald Alle undersøgelser, hvor personer kontaktes er frivillige Bortfaldet er stigende. Op til 30-40% + forskerbeskyttelsen på 13% Bortfald er altid skævt. Det er et spørgsmål om hvor meget! Objekt bortfald - respondent bortfald Variable bortfald - spørgsmål ikke besvaret Uoplyste værdier i registre Hvordan skal der opregnes for bortfald? Bortfaldsfejl

19 Vægtning Designvægtning (N/n) Vægtning for bortfald Måske vægtningsfejl En mulig stor forbedring

20 Analysen og offentliggørelsen (bagefter) Brug af vægte for bortfald Brug af designvægte Brug af imputerede variabler Måske estimationsfejl Normalt ikke et problem

21 Samlet usikkerhed Tilfældig: Stikprøveusikkerhed Systematisk: + måske udvælgelsesfejl + dækningsfejl + dataindsamlingsfejl + målefejl + bortfaldsfejl + måske vægtningsfejl + måske bearbejdelsesfejl = samlet usikkerhed

22 Tilfældige og systematiske fejl Vandret (rød): Bias (skævhed). Nederste kurve stikprøvefejlen og den øverste den samlede fejl (mean square error)

23 Samlet vurdering Sjældent højere end det svageste led - og aldrig højere end det/de vigtigste led - fx hæves kvaliteten ikke ved at øge stikprøvestørrelsen, hvis det største problem er bortfaldet eller underrapportering

24 Repræsentativitet Definition: Kun tilfældige fejl central estimator Dvs. afhænger kun af udvælgelsesmetoden Størrelsen af den tilfældige fejl afhænger af antallet, der udvælges Systematiske fejl vil der altid være Afhænger ikke af stikprøvestørrelsen, men af alt andet det er det der er kernen i god statistik

25 Hvis ansvar? Producenterne skal dokumenterer Brugerne skal kræve dokumentation Fagstatistikere skal hjælpe Uddannelsesinstitutionerne skal uddanne Ingen dataindsamling er uden fejl og skævhed. Fokus på løsninger og ikke kritik Fordi intet er korrekt betyder det ikke at alt er lige godt Ellers leger alle skrædderne i Kejserens nye klæder

26 Varedeklaration Hvor skæv er populationen? Er der afgrænset og hvad betyder det? Hvordan er der udvalgt er udvalgssandsynligheden kendt? Hvordan kontrolleres dataindsamlingen Er spørgeskemaet testet? Hvad betyder bortfaldet? Hvordan er der opregnet? Hvordan er vægte og imputerede tal brugt? Alle led har krav om tilgængelig dokumentation Analyser og dokumentation øger forståelsen af hvordan data kan bruges

27 Hvorfor skal kvalitet måles? Brugernes nytteværdi af statistikken Vores interesse i korrekt anvendelse Mere målrettet fokus på kvalitet - og derved bedre kvalitet Optimal anvendelse egne ressourcer Omverden ved hvad de får for pengene

28 Hvilke redskaber findes der? Indikatorer for kvaliteten af outputtet Standarder for produktionen Kvalitative analyser, test eller beskrivelser

29 2 - Hvilke redskaber findes der? Svage indikatorer (I1), fx andel af fejl i en fejlsøgning - kan kun sammenlignes inden for tællingen Stærke indikatorer (I2), fx bortfaldet eller uoplyste - kan sammenlignes over tid for en konkret tælling og mellem tællinger af samme type Universelle indikatorer (I3), fx varianskoefficienten i en stikprøve - kan sammenlignes over tid, mellem tællinger og lande.

30 Fire kvalitetsniveauer Fire kvalitetsniveauer A - Meget høj kvalitet B - Høj kvalitet C - Rimelig kvalitet D - Usikker kvalitet De to højeste niveauer kræver tilgængelig dokumentation

31 2- Hvordan kan fire mål bruges? Den basale kvalitet af en indikatorer kan hæves: - analyser der kvalitativt og kvantitativt beskriver og håndtere et problem - analyser der dokumenterer en effekt Fx kan bortfaldet i en stikprøveundersøgelse være så stort, at den basale kvalitet er Usikker eller Rimelig, men bortfaldsanalyser og opregningen kan hæve kvaliteten hvis de er dokumenteret og tilgængelige

32 Eksempel 1 Stikprøveusikkerhed for hovedvariabler (I3) Hvis fokus er på ændringer også usikkerheden af ændringen Usikker kvalitet: Stikprøvefejl på over 3 % på totaler hhv. 15 % for undergrupper Rimelig kvalitet: Under 3%/15% Høj kvalitet: Under 2%/10% Meget høj kvalitet: Under 1%/5%

33 Eksempel 2 Bortfald (I2) + Korrektion for bortfald, der inddrager korreleret registerinformation + Dokumenteret stor reduktion af bortfaldsbias endnu en grad Usikker kvalitet: Over 40% af de udvalgte enheder Rimelig kvalitet: Under 40% af de udvalgte enheder Høj kvalitet: Under 20% af de udvalgte enheder Meget høj kvalitet: Under 5% af de udvalgte enheder

34 Eksempel 3 Kvaliteten af opregning (K) Usikker kvalitet: Ikke baseret på kendte udvalgssandsynligheder på udtrækstidspunktet (ikke repræsentativ) Rimelig kvalitet: Simpel opregning (N/n) for udvalgssandsynligheder ved udtrækstidspunktet Høj kvalitet: Registerinformation inddrages som hjælpeinformation, men effekten er ikke dokumenteret Meget høj kvalitet: Registerinformation inddrages som hjælpeinformation og effekten er dokumenteret

35 Varedeklarationer i pressen Tak for ordet