Efficiency og Effectiveness i Survey Research Carsten Stig Poulsen, Aalborg Universitet
Disposition Personlig baggrund og erfaring Survey research og IT Efficiency: doing things right Effectiveness: doing the right things Eksempler på efficiency Eksempler på effectiveness Tre cases Opsummering
Personlig baggrund og erfaring Cand.polit. KU 1973 Kandidatstipendiat ved Stat. Inst., KU 1973-76 Adjunkt/lektor, AaU 1977-79 Seniorstipendiat ved HHÅ 1979-1983 Ph.D. marketing, Wharton School, U. of Penn. 1984 Professor OU 1984-85, AaU 1985- Starter Jysk Analyseinstitut 1985 Afhænder JA 1/1-2010
Efficiency i survey research Fra main frame computing til personal computing Fra personal computing to web server computing CATI, CAPI, Web og kombinationer heraf Påvirker alle faser i surveyprocessen Spørgeskemakonstruktion Sampling og sampleadministration Interviewer/respondent interaction Data cleaning Dataanalyse Rapportering
Efficiency i survey research I de fleste tilfælde er computeren brugt til at gøre det man plejer, blot bedre og hurtigere Motivet har i høj grad været omkostningsbesparelse Også negative effekter Repræsentativitet Inflation i undersøgelser
Effectiveness i survey research Design af surveys, der ikke kan laves uden brug af computeren Motivet: at producere rigere data på en smartere måde Tre eksempler: Eksperimentel variation i spørgsmålsformulering, hvor respondenterne ikke svare på de samme spørgsmål Adaptiv udspørgning, hvor de stillede spørgsmål afhænger af de afgivne svar Spørgsmålsformater, der giver bedre analysemuligheder
Case: Måling af Klagetilbøjelighed
Eksempel på anvendelse af (klassisk) latent klasseanalyse Forbrugerklageundersøgelsen 1978 Repræsentativ undersøgelse med 600 respondenter 6 hypotetiske situationer A - F For hver situation bliver respondenten spurgt om han/hun vil klage i situationen Eksempel
Eksempel på anvendelse af latent klasseanalyse 9
Eksempel på anvendelse af latent klasseanalyse Modellen giver altså En opdeling af respondenterne efter deres forskellige klageprofil Et estimat over størrelsen af klasserne For et givet antal klasser, et goodness-of-fit -mål baseret på 2 -fordelingen Mulighed for hypotesetest ved betinget testning En probabilistisk klassifikation af respondenter, der i princippet gør den latente klassevariabel manifest
Eksempel på mere avanceret brug af latent klasseanalyse Klageundersøgelsen blev fulgt op i 2002 De samme 6 situationer anvendtes med henblik på sammenligning af strukturen på de to tidspunkter Men vi tilføjede 4 nye situationer, G J, som var inspirerede af typiske sager fra Forbrugerklagenævnet De indeholdt hver en række elementer, som blev varieret eksperimentelt i et telefonisk interview (CATI)
Situation G: Eksempel på mere avanceret brug af latent klasseanalyse 1. 4 mdr. 2. 8 mdr. 3. 12 mdr. 1. Et lavprisvarehus 2. En skoforretning 1. 600 kr. 2. 1,000 kr. 3. 1,200 kr. Hver respondent fik et tilfældigt valgt niveau af de tre eksperimentelle faktorer præsenteret. Der er således 18 varianter af denne klagesituation.
Eksempel på mere avanceret brug af latent klasseanalyse 603 respondenter svarede på de 10 situationer Vi havde nu mulighed for at estimere følsomheden i klagetilbøjeligheden over for de varierede elementer Men, bemærk, at vi analyserer alle 10 situationer, A J, simultant
Eksempel på mere avanceret brug af Generel klagetilbøjelighed, betinget af klassen latent klasseanalyse Situationsbestemt klagetilbøjelighed, betinget af klassen Situationsspecifikke effekter, betinget af klassen
Case: Adaptive Bayesian Classification
Eksempel på anvendelse af latent klasseanalyse (igen) 16
Adaptive Bayesian Classification Identifikation af segmenter/typologi vs. Klassifikation af (nye) individer Begrebet adaptive klassifikation : Givet typologien, dvs. størrelse og responsprofiler, Hvilket spørgsmål skal stilles først, Betinget i svaret herpå: 1. Fortsætte eller stoppe* 2. Hvis fortsætte, hvilket spørgsmål skal stilles blandt de resterende 3. Gå til 1. *Stopkriterier Klassifikationssandsynlighed fx 0.90 Min. antal spørgsmål Max. antal spørgsmål
Fødevaresegmentering http://www.foodfocus.dk/default.asp?pageid=175
Fødevaresegmentering
Fødevaresegmentering http://www.foodfocus.dk/default.asp?pageid=282
Fødevaresegmentering
Fejlrate Effekten af forskellige spørgestrategier ved opfølgende undersøgelser Gennemsn. antal spørgsmål ved forskellige strategier 50% 45% 40% 35% 30% 25% 20% 15% 10% 5% 0% 5 10 15 20 25 30 35 Antal spm.
Fejlrate Effekten af forskellige spørgestrategier ved opfølgende undersøgelser Gennemsn. antal spørgsmål ved forskellige strategier 50% 45% 40% Fast antal spørgsmål stilles i tilfældig rækkefølge 35% 30% 25% 20% 15% 10% 5% 0% 5 10 15 20 25 30 35 Antal spm. Random
Fejlrate Effekten af forskellige spørgestrategier ved opfølgende undersøgelser Gennemsn. antal spørgsmål ved forskellige strategier 50% 45% 40% 35% 30% De "n" bedste spørgsmål - udvalgt på forhånd - stilles. Fast antal spørgsmål stilles i tilfældig rækkefølge 25% 20% 15% 10% 5% 0% 5 10 15 20 25 30 35 Antal spm. Random PreDet
Fejlrate Effekten af forskellige spørgestrategier ved opfølgende undersøgelser Gennemsn. antal spørgsmål ved forskellige strategier 50% 45% 40% 35% 30% De "n" bedste spørgsmål - udvalgt på forhånd - stilles. Fast antal spørgsmål stilles i tilfældig rækkefølge 25% 20% 15% Fast antal spørgsmål stilles, men udvalgt efter ABC-princippet 10% 5% 0% 5 10 15 20 25 30 35 Antal spm. Random PreDet Min=Max
Fejlrate Effekten af forskellige spørgestrategier ved opfølgende undersøgelser Gennemsn. antal spørgsmål ved forskellige strategier 50% 45% 40% 35% 30% De "n" bedste spørgsmål - udvalgt på forhånd - stilles. Fast antal spørgsmål stilles i tilfældig rækkefølge 25% 20% 15% Fast antal spørgsmål stilles, men udvalgt efter ABC-princippet 10% 5% 0% 5 10 15 20 25 30 35 Varierende antal spørgsmål stilles, Antal spm. udvalgt efter ABCprincippet Random PreDet Min=Max ABC
Case: Politiske barometre Carsten Stig Poulsen
Traditionelle barometermålinger Repræsentativt sample på ca. 1000 personer Spørgsmål: Hvis der var FV i morgen, hvilket parti ville du/de så stemme på? Resultatet er en stemme -fordeling på partier, hvorpå der evt. kan beregnes mandatfordeling Udviklingen over tid belyses ved sammenligning af disse fordelinger Carsten Stig Poulsen
Traditionelle barometermålinger Valg Hvilket parti ville De stemme på, hvis der var FV i morgen? Alle partier Carsten Stig Poulsen
Traditionelle barometermålinger Styrker: simpel spørgeform ligner den adfærd (stemmeafgivning), der måles/forudsiges let at kommunikere eksternt Svagheder: kun første valg afdækkes siger intet om, hvor sikker, man er i valget siger intet om, hvilke andre partier, der kunne komme på tale siger intet om, hvor tæt andre partier ligger siger meget lidt om vælgervandringer over tid ofte sluges ændringerne i statistisk usikkerhed siger intet om, hvorfor man vil stemme som man (siger man) vil Carsten Stig Poulsen
Traditionelle barometermålinger Kort sagt: Traditionelle barometermålinger er aggregerede, deskriptive analyser, som kan have en vis prædiktiv værdi, men som ikke giver nogen forklaring på stemmehensigten Dynamikken analyseres ved komparativ-statik Hvad kan der gøres: Anvende mere sensitive metoder til kalibrering af partipræferencer Bruge paneldata (samme respondenter) i stedet for uafhængige surveys (forskellige respondenter) Carsten Stig Poulsen
Mere sensitive barometermålinger Eksempel: Parvise sammenligninger Valg Hvilket parti ville De stemme på, hvis der var FV i morgen? Forestil Dem, at der var FV i morgen, og at De kun kunne stemme på enten Foretrukne partier $LISTE1 $ eller $LISTE2 $ Hvilket af de to partier ville De så foretrække at stemme på? Alle partier Carsten Stig Poulsen
Mere sensitive barometermålinger Eksempel: Parvise sammenligninger Repræsentativt sample (n=1208) Fik stillet et (tilfældigt) udvalg på 10 ud af 45 parvise sammenligninger Forced choice blandt alle acceptable partier Analysemodellen er multinomisk choice (McFadden, 1974) Carsten Stig Poulsen
Mere sensitive barometermålinger Eksempel: Parvise sammenligninger ALLE UNDER ET (100%) 1.5 1 A SAMLET 0.5 V C BO V Z Ø A F 0 D KF -0.5 Q DF B -1 Ø SF CD C -1.5 Z -2 Carsten Stig Poulsen
Mere sensitive barometermålinger Eksempel: Parvise sammenligninger Når alle respondenter analyseres under ét, forudsættes det implicit, at de har samme opfattelse af partiernes attraktivitet Det er næppe en rimelig antagelse! En af de store fordele ved den anvendte målemetode er, at den muliggør identifikation af forskelle i vælgerpræferencer Carsten Stig Poulsen
Mere sensitive barometermålinger Eksempel: Parvise sammenligninger LATENT HØJREFLØJ (37%) LATENT VENSTREFLØJ (23%) LATENT MIDTE (22%) DF tilhængere (21%) 4 3 5 4 A 3 2 1 V C 2 1 F A Ø B O 4 3 2 1 B D C F 3 2 1 O V A C 0-1 Q AB D O F 0-1 D V C Q 0-1 -2 OQ V 0-1 Z B F -2-2 -3-2 D -3 Z Ø -3 Z -4-5 Z Ø -3 Q Ø -4 12.09.2006 Carsten Stig Poulsen -4-6 -4
Mere sensitive barometermålinger Eksempel: Parvise sammenligninger LATENT HØJREFLØJ (37%) Ø A Z B C LATENT VENSTREFLØJ (23%) Z V Ø KF A DF B LATENT MIDTE (22%) C Z CD SFDF KFV Ø KF V DF tilhængere (21%) Z Ø A B C CD SF V CD SF DF KF SF B C CD A DF 37% 23% 22% ALLE UNDER ET (100%) Ø 21% V Z A KF B DF SF CD C Carsten Stig Poulsen
Andre analysemuligheder Valget som resultat af en screening Valg Hvilket parti ville De stemme på, hvis der var FV i morgen? Forestil Dem, at De ved et FV kun kan stemme på Foretrukne partier $LISTE1 $ eller $LISTE2 $ Hvilket af de to partier vil De så foretrække at stemme på? Acceptable partier Er der blandt de opstillede partier, et eller flere, som De ikke i Deres vildeste fantasi kunne forestille Dem at stemme på? Alle partier Carsten Stig Poulsen
Andre analysemuligheder Validering i forhold til faktisk valg Stemte på Hvilket parti stemte De på ved FV i går Stemmehensigt Hvilket parti ville De stemme på, hvis der var FV i morgen? Forestil Dem, at De ved et FV kun kan stemme på Foretrukne partier $LISTE1 $ eller $LISTE2 $ Hvilket af de to partier vil De så foretrække at stemme på? Acceptable partier Er der blandt de opstillede partier, et eller flere, som De ikke i Deres vildeste fantasi kunne forestille Dem at stemme på? Alle partier Carsten Stig Poulsen
Mere sensitive barometermålinger Konklusioner Modellen kan håndtere flere choice formater (acceptance set, parvise sammenligninger, stemmehensigt, mv. simultant Modellen kan håndtere heterogenitet i vælgerkorpset Men den er stadig rent deskriptiv En anden stor fordel ved målemetoden er, at den kan inkludere forklarende variable Dermed bliver den kausal og/eller prædiktiv Carsten Stig Poulsen
Opsummerende Der er et (stort?) uudnyttet potentiale for effectiveness-gevinster i survey research Udnyttelse kræver, At der tænkes mere i modeller (herunder målingsmodeller) end der er tradition for At der skal tænkes mere i eksperimenter og adaptivitet At panelegenskaben ved webpaneler udnyttes Og så er der alle de muligheder, som jeg har overset
Q/A