Efficiency og Effectiveness i Survey Research. Carsten Stig Poulsen, Aalborg Universitet

Transkript

1 Efficiency og Effectiveness i Survey Research Carsten Stig Poulsen, Aalborg Universitet

2 Disposition Personlig baggrund og erfaring Survey research og IT Efficiency: doing things right Effectiveness: doing the right things Eksempler på efficiency Eksempler på effectiveness Tre cases Opsummering

3 Personlig baggrund og erfaring Cand.polit. KU 1973 Kandidatstipendiat ved Stat. Inst., KU Adjunkt/lektor, AaU Seniorstipendiat ved HHÅ Ph.D. marketing, Wharton School, U. of Penn Professor OU , AaU Starter Jysk Analyseinstitut 1985 Afhænder JA 1/1-2010

4 Efficiency i survey research Fra main frame computing til personal computing Fra personal computing to web server computing CATI, CAPI, Web og kombinationer heraf Påvirker alle faser i surveyprocessen Spørgeskemakonstruktion Sampling og sampleadministration Interviewer/respondent interaction Data cleaning Dataanalyse Rapportering

5 Efficiency i survey research I de fleste tilfælde er computeren brugt til at gøre det man plejer, blot bedre og hurtigere Motivet har i høj grad været omkostningsbesparelse Også negative effekter Repræsentativitet Inflation i undersøgelser

6 Effectiveness i survey research Design af surveys, der ikke kan laves uden brug af computeren Motivet: at producere rigere data på en smartere måde Tre eksempler: Eksperimentel variation i spørgsmålsformulering, hvor respondenterne ikke svare på de samme spørgsmål Adaptiv udspørgning, hvor de stillede spørgsmål afhænger af de afgivne svar Spørgsmålsformater, der giver bedre analysemuligheder

7 Case: Måling af Klagetilbøjelighed

8 Eksempel på anvendelse af (klassisk) latent klasseanalyse Forbrugerklageundersøgelsen 1978 Repræsentativ undersøgelse med 600 respondenter 6 hypotetiske situationer A - F For hver situation bliver respondenten spurgt om han/hun vil klage i situationen Eksempel

9 Eksempel på anvendelse af latent klasseanalyse 9

10 Eksempel på anvendelse af latent klasseanalyse Modellen giver altså En opdeling af respondenterne efter deres forskellige klageprofil Et estimat over størrelsen af klasserne For et givet antal klasser, et goodness-of-fit -mål baseret på 2 -fordelingen Mulighed for hypotesetest ved betinget testning En probabilistisk klassifikation af respondenter, der i princippet gør den latente klassevariabel manifest

11 Eksempel på mere avanceret brug af latent klasseanalyse Klageundersøgelsen blev fulgt op i 2002 De samme 6 situationer anvendtes med henblik på sammenligning af strukturen på de to tidspunkter Men vi tilføjede 4 nye situationer, G J, som var inspirerede af typiske sager fra Forbrugerklagenævnet De indeholdt hver en række elementer, som blev varieret eksperimentelt i et telefonisk interview (CATI)

12 Situation G: Eksempel på mere avanceret brug af latent klasseanalyse 1. 4 mdr mdr mdr. 1. Et lavprisvarehus 2. En skoforretning kr. 2. 1,000 kr. 3. 1,200 kr. Hver respondent fik et tilfældigt valgt niveau af de tre eksperimentelle faktorer præsenteret. Der er således 18 varianter af denne klagesituation.

13 Eksempel på mere avanceret brug af latent klasseanalyse 603 respondenter svarede på de 10 situationer Vi havde nu mulighed for at estimere følsomheden i klagetilbøjeligheden over for de varierede elementer Men, bemærk, at vi analyserer alle 10 situationer, A J, simultant

14 Eksempel på mere avanceret brug af Generel klagetilbøjelighed, betinget af klassen latent klasseanalyse Situationsbestemt klagetilbøjelighed, betinget af klassen Situationsspecifikke effekter, betinget af klassen

15 Case: Adaptive Bayesian Classification

16 Eksempel på anvendelse af latent klasseanalyse (igen) 16

17 Adaptive Bayesian Classification Identifikation af segmenter/typologi vs. Klassifikation af (nye) individer Begrebet adaptive klassifikation : Givet typologien, dvs. størrelse og responsprofiler, Hvilket spørgsmål skal stilles først, Betinget i svaret herpå: 1. Fortsætte eller stoppe* 2. Hvis fortsætte, hvilket spørgsmål skal stilles blandt de resterende 3. Gå til 1. *Stopkriterier Klassifikationssandsynlighed fx 0.90 Min. antal spørgsmål Max. antal spørgsmål

18 Fødevaresegmentering

19 Fødevaresegmentering

20 Fødevaresegmentering

21 Fødevaresegmentering

22 Fejlrate Effekten af forskellige spørgestrategier ved opfølgende undersøgelser Gennemsn. antal spørgsmål ved forskellige strategier 50% 45% 40% 35% 30% 25% 20% 15% 10% 5% 0% Antal spm.

23 Fejlrate Effekten af forskellige spørgestrategier ved opfølgende undersøgelser Gennemsn. antal spørgsmål ved forskellige strategier 50% 45% 40% Fast antal spørgsmål stilles i tilfældig rækkefølge 35% 30% 25% 20% 15% 10% 5% 0% Antal spm. Random

24 Fejlrate Effekten af forskellige spørgestrategier ved opfølgende undersøgelser Gennemsn. antal spørgsmål ved forskellige strategier 50% 45% 40% 35% 30% De "n" bedste spørgsmål - udvalgt på forhånd - stilles. Fast antal spørgsmål stilles i tilfældig rækkefølge 25% 20% 15% 10% 5% 0% Antal spm. Random PreDet

25 Fejlrate Effekten af forskellige spørgestrategier ved opfølgende undersøgelser Gennemsn. antal spørgsmål ved forskellige strategier 50% 45% 40% 35% 30% De "n" bedste spørgsmål - udvalgt på forhånd - stilles. Fast antal spørgsmål stilles i tilfældig rækkefølge 25% 20% 15% Fast antal spørgsmål stilles, men udvalgt efter ABC-princippet 10% 5% 0% Antal spm. Random PreDet Min=Max

26 Fejlrate Effekten af forskellige spørgestrategier ved opfølgende undersøgelser Gennemsn. antal spørgsmål ved forskellige strategier 50% 45% 40% 35% 30% De "n" bedste spørgsmål - udvalgt på forhånd - stilles. Fast antal spørgsmål stilles i tilfældig rækkefølge 25% 20% 15% Fast antal spørgsmål stilles, men udvalgt efter ABC-princippet 10% 5% 0% Varierende antal spørgsmål stilles, Antal spm. udvalgt efter ABCprincippet Random PreDet Min=Max ABC

27 Case: Politiske barometre Carsten Stig Poulsen

28 Traditionelle barometermålinger Repræsentativt sample på ca personer Spørgsmål: Hvis der var FV i morgen, hvilket parti ville du/de så stemme på? Resultatet er en stemme -fordeling på partier, hvorpå der evt. kan beregnes mandatfordeling Udviklingen over tid belyses ved sammenligning af disse fordelinger Carsten Stig Poulsen

29 Traditionelle barometermålinger Valg Hvilket parti ville De stemme på, hvis der var FV i morgen? Alle partier Carsten Stig Poulsen

30 Traditionelle barometermålinger Styrker: simpel spørgeform ligner den adfærd (stemmeafgivning), der måles/forudsiges let at kommunikere eksternt Svagheder: kun første valg afdækkes siger intet om, hvor sikker, man er i valget siger intet om, hvilke andre partier, der kunne komme på tale siger intet om, hvor tæt andre partier ligger siger meget lidt om vælgervandringer over tid ofte sluges ændringerne i statistisk usikkerhed siger intet om, hvorfor man vil stemme som man (siger man) vil Carsten Stig Poulsen

31 Traditionelle barometermålinger Kort sagt: Traditionelle barometermålinger er aggregerede, deskriptive analyser, som kan have en vis prædiktiv værdi, men som ikke giver nogen forklaring på stemmehensigten Dynamikken analyseres ved komparativ-statik Hvad kan der gøres: Anvende mere sensitive metoder til kalibrering af partipræferencer Bruge paneldata (samme respondenter) i stedet for uafhængige surveys (forskellige respondenter) Carsten Stig Poulsen

32 Mere sensitive barometermålinger Eksempel: Parvise sammenligninger Valg Hvilket parti ville De stemme på, hvis der var FV i morgen? Forestil Dem, at der var FV i morgen, og at De kun kunne stemme på enten Foretrukne partier $LISTE1 $ eller $LISTE2 $ Hvilket af de to partier ville De så foretrække at stemme på? Alle partier Carsten Stig Poulsen

33 Mere sensitive barometermålinger Eksempel: Parvise sammenligninger Repræsentativt sample (n=1208) Fik stillet et (tilfældigt) udvalg på 10 ud af 45 parvise sammenligninger Forced choice blandt alle acceptable partier Analysemodellen er multinomisk choice (McFadden, 1974) Carsten Stig Poulsen

34 Mere sensitive barometermålinger Eksempel: Parvise sammenligninger ALLE UNDER ET (100%) A SAMLET 0.5 V C BO V Z Ø A F 0 D KF -0.5 Q DF B -1 Ø SF CD C -1.5 Z -2 Carsten Stig Poulsen

35 Mere sensitive barometermålinger Eksempel: Parvise sammenligninger Når alle respondenter analyseres under ét, forudsættes det implicit, at de har samme opfattelse af partiernes attraktivitet Det er næppe en rimelig antagelse! En af de store fordele ved den anvendte målemetode er, at den muliggør identifikation af forskelle i vælgerpræferencer Carsten Stig Poulsen

36 Mere sensitive barometermålinger Eksempel: Parvise sammenligninger LATENT HØJREFLØJ (37%) LATENT VENSTREFLØJ (23%) LATENT MIDTE (22%) DF tilhængere (21%) A V C 2 1 F A Ø B O B D C F O V A C 0-1 Q AB D O F 0-1 D V C Q OQ V 0-1 Z B F D -3 Z Ø -3 Z -4-5 Z Ø -3 Q Ø Carsten Stig Poulsen

37 Mere sensitive barometermålinger Eksempel: Parvise sammenligninger LATENT HØJREFLØJ (37%) Ø A Z B C LATENT VENSTREFLØJ (23%) Z V Ø KF A DF B LATENT MIDTE (22%) C Z CD SFDF KFV Ø KF V DF tilhængere (21%) Z Ø A B C CD SF V CD SF DF KF SF B C CD A DF 37% 23% 22% ALLE UNDER ET (100%) Ø 21% V Z A KF B DF SF CD C Carsten Stig Poulsen

38 Andre analysemuligheder Valget som resultat af en screening Valg Hvilket parti ville De stemme på, hvis der var FV i morgen? Forestil Dem, at De ved et FV kun kan stemme på Foretrukne partier $LISTE1 $ eller $LISTE2 $ Hvilket af de to partier vil De så foretrække at stemme på? Acceptable partier Er der blandt de opstillede partier, et eller flere, som De ikke i Deres vildeste fantasi kunne forestille Dem at stemme på? Alle partier Carsten Stig Poulsen

39 Andre analysemuligheder Validering i forhold til faktisk valg Stemte på Hvilket parti stemte De på ved FV i går Stemmehensigt Hvilket parti ville De stemme på, hvis der var FV i morgen? Forestil Dem, at De ved et FV kun kan stemme på Foretrukne partier $LISTE1 $ eller $LISTE2 $ Hvilket af de to partier vil De så foretrække at stemme på? Acceptable partier Er der blandt de opstillede partier, et eller flere, som De ikke i Deres vildeste fantasi kunne forestille Dem at stemme på? Alle partier Carsten Stig Poulsen

40 Mere sensitive barometermålinger Konklusioner Modellen kan håndtere flere choice formater (acceptance set, parvise sammenligninger, stemmehensigt, mv. simultant Modellen kan håndtere heterogenitet i vælgerkorpset Men den er stadig rent deskriptiv En anden stor fordel ved målemetoden er, at den kan inkludere forklarende variable Dermed bliver den kausal og/eller prædiktiv Carsten Stig Poulsen

41 Opsummerende Der er et (stort?) uudnyttet potentiale for effectiveness-gevinster i survey research Udnyttelse kræver, At der tænkes mere i modeller (herunder målingsmodeller) end der er tradition for At der skal tænkes mere i eksperimenter og adaptivitet At panelegenskaben ved webpaneler udnyttes Og så er der alle de muligheder, som jeg har overset

42 Q/A