QUESTIONNAIRE DESIGN og betydningen heraf for datakvalitet Lektor Sanne Lund Clement E-mail: clement@dps.aau.dk Center for OPinion & ANalyse (COPAN) 1
QUESTIONNAIRE DESIGN Design er her ikke lig layout og det visuelle. Helt forskningsgren for sig.. Design er her set som den indholdsmæssige del Formulering af spørgsmålene Formulering af svarkategorier Rækkefølge af svarkategorier Mulighed for no-opinion svar Rækkefølge af spørgsmål Center for OPinion & ANalyse (COPAN) 2
TEORETISKE OVERVEJELSER Grundlæggende teorier om satisficing om om social desirability Satisficing har Ditte defineret for os I relation til design antages det vigtigste at være: Ved at tilbyde en No-Opinion svarkategori kan man opfordre til satisficing Rækkefølgen på svarkategorier er af betydning Center for OPinion & ANalyse (COPAN) 3
SOCIAL DESIRABILITY I Social desirability bygger på den antagelse, at: there are social norms governing some behaviors and attitudes and that people may misrepresent themselves to appear to comply with these norms (Kreuter et al 2008:848) Center for OPinion & ANalyse (COPAN) 4
SOCIAL DESIRABILITY II Blasius & Thiessen (2012) har nuanceret begrebet yderligere ved at specificere tre hovedtyper af normative krav: 1: the responses given are best conceived of as an amalgam of what respondents believe will make a good impression of themselves (2012:6) 2: Respondenterne har en tendens til at få dem selv til at fremstå som mere konsistente, end de rent faktisk er 3. Tendensen til at give svar, der er selvmodsigende med respondentens egentlige holdninger, baseret på den normative struktur og på respondentens sociale position i samfundet. Center for OPinion & ANalyse (COPAN) 5
SOCIAL DESIRABILITY III I relation til spørgsmålet om betydningen af design får teserne om social desirability særlig betydning: Respondenter formodes at have lettere ved at erklære sig enig end uenig i holdningsspørgsmål Respondenter formodes at have tendens til at overbetone konsistensen mellem holdninger og adfærd Respondenter formodes generelt at tegne et mere lyserødt billede af sig selv, deres familie osv., end virkeligheden kan leve op til Hvilke holdninger og egenskaber, der fremhæves, formodes at afhænge af, hvilken sociale position, respondenten har, og af kulturelle, sociale normer Center for OPinion & ANalyse (COPAN) 6
EMPIRISKE EKSEMPLER Komparativt projekt ledet af Professor Jon A. Krosnick (Stanford Universitet) Undersøger via en række eksperimenter, hvordan forskelle i spørgsmålsdesign medfører forskelle i responsadfærd, satisficing og social desirability response bias Ud over USA og Danmark deltager Canada, UK, Norge, Tyskland, Island, Sverige, Holland, Slovenien, Frankrig og Costa Rica 18 enkeltstående eksperimenter Til hvert nyt spørgsmål splittes samplet tilfældigt igen 7 typer af spørgsmåls-design testes, blandt andet rækkefølge af svarkategorier, tilstedeværelse eller fravær af ved ikke kategori, tilstedeværelse eller fravær af midterkategori mv Center for OPinion & ANalyse (COPAN) 7
ACQUIESCENCE EXPERIMENT 1 Har man en større tilbøjelighed til at erklære sig enig end uenig, uanset hvad det er for et udsagn? Formulering a: Er du enig eller uenig i følgende udsagn? Individer har i højere grad end sociale forhold skylden for kriminalitet og lovløshed her i landet Formulering b: Er du enig eller uenig i følgende udsagn? Sociale forhold har i højere grad end individer skylden for kriminalitet og lovløshed her i landet Formulering c: Hvad har efter din mening mest skylden for kriminalitet og lovløshed her i landet? Individer eller sociale forhold? Formulering d: Hvad har efter din mening mest skylden for kriminalitet og lovløshed her i landet? Sociale forhold eller individer? Center for OPinion & ANalyse (COPAN) 8
ACQUIESCENCE EXPERIMENT 1 a Individer har i højere grad end sociale forhold skylden for kriminalitet og lovløshed her i landet Enig 164 50,9 Uenig 164 49,1 N % Overvægt enig Total 334 100,0 1,8 b Sociale forhold har i højere grad end individer skylden for kriminalitet og lovløshed her i landet Enig 243 73,9 Uenig 86 26,1 N % Overvægt enig Total 329 100,0 47,8 Center for OPinion & ANalyse (COPAN) 9
RESPONSE ORDER EXPERIMENT 6 Gør rækkefølgen på svarmulighederne en forskel? Både på en nominalskaleret liste og ift enig-uenig. Formulering a: Er du enig eller uenig i, at ulighed fortsat eksisterer, fordi det kommer de rige og magtfulde til gode? Formulering b: Er du uenig eller enig i, at ulighed fortsat eksisterer, fordi det kommer de rige og magtfulde til gode? Center for OPinion & ANalyse (COPAN) 10
RESPONSE ORDER EXPERIMENT 6 Er du enig eller uenig i, at ulighed fortsat eksisterer, fordi det kommer de rige og magtfulde til gode? Meget enig 122 18,7 Enig 270 41,4 Hverken enig eller uenig N % Overvægt enig 160 24,5 Uenig 77 11,8 Meget uenig 23 3,5 Total 652 100,0 44,8 Center for OPinion & ANalyse (COPAN) 11
RESPONSE ORDER EXPERIMENT 6 Er du enig eller uenig i, at ulighed fortsat eksisterer, fordi det kommer de rige og magtfulde til gode? Meget uenig 48 7,2 Uenig 78 11,7 Hverken enig eller uenig N % Overvægt enig 225 33,7 Enig 242 36,2 Meget enig 75 11,2 Total 668 100,0 28,5 Center for OPinion & ANalyse (COPAN) 12
NO OPINION EXPERIMENT 1 Hvor meget betyder evt. en ved-ikke -kategori, en hverken-eller -kategori og lignende? Formulering a: Generelt set, mener du så, at retssystemet behandler kriminelle for hårdt eller ikke hårdt nok? Formulering b: Generelt set, mener du så, at retssystemet behandler kriminelle for hårdt eller ikke hårdt nok, eller ved du ikke? Formulering c: Generelt set, mener du så, at retssystemet behandler kriminelle for hårdt eller ikke hårdt nok, eller har du ikke en holdning til det? Formulering d: Generelt set, mener du så, at retssystemet behandler kriminelle for hårdt eller ikke hårdt nok, eller har du ikke nok viden om retssystemet til at kunne sige det? Center for OPinion & ANalyse (COPAN) 13
NO OPINION EXPERIMENT 1 Generelt set, mener du så, at retssystemet behandler kriminelle for hårdt eller ikke hårdt nok? N % For hårdt 35 10,5 Ikke hårdt nok 297 89,5 Total 332 100 Generelt set, mener du så, at retssystemet behandler kriminelle for hårdt eller ikke hårdt nok, eller ved du ikke? N % For hårdt 7 2,0 Ikke hårdt nok 239 68,9 Det ved jeg ikke 101 29,1 Total 347 100
Generelt set, mener du så, at retssystemet behandler kriminelle for hårdt eller ikke hårdt nok, eller har du ikke en holdning til det? N % For hårdt 10 3,2 Ikke hårdt nok 230 73,0 Har ingen holdning til det 75 23,8 Total 315 100 Generelt set, mener du så, at retssystemet behandler kriminelle for hårdt eller ikke hårdt nok, eller har du ikke nok viden om retssystemet til at kunne sige det? N % For hårdt 14 4,5 Ikke hårdt nok 196 62,6 Har ikke nok viden 103 32,9 Total 313 100 15
KONKLUSIONER? Aflivet al validitet af surveyundersøgelser? Som man spørger, får man svar? Kan nu skrive bogen: How to get the answers you need? Både og Center for OPinion & ANalyse (COPAN) 16
KONKLUSIONER: WHAT TO DO ABOUT IT? Jo mere viden, vi har om fejlkilder, jo bedre kan vi tage vores forbehold Respondentgruppen er afgørende for graden af social desirability response bias, for bias på vidensspørgsmål og på graden af satisficing på grund af manglende motivation Traditionelle fif med at have flere indikatorer for samme begreb hjælper også Husk også at variere formuleringer i både spørgsmål og svarkategorier Center for OPinion & ANalyse (COPAN) 17