QUESTIONNAIRE DESIGN. Center for OPinion & ANalyse (COPAN) betydningen heraf for datakvalitet. Lektor Sanne Lund Clement clement@dps.aau.

Størrelse: px

Starte visningen fra side:

Download "QUESTIONNAIRE DESIGN. Center for OPinion & ANalyse (COPAN) betydningen heraf for datakvalitet. Lektor Sanne Lund Clement E-mail: clement@dps.aau."

Ejnar Johannsen
8 år siden
Visninger:

1 QUESTIONNAIRE DESIGN og betydningen heraf for datakvalitet Lektor Sanne Lund Clement Center for OPinion & ANalyse (COPAN) 1

2 QUESTIONNAIRE DESIGN Design er her ikke lig layout og det visuelle. Helt forskningsgren for sig.. Design er her set som den indholdsmæssige del Formulering af spørgsmålene Formulering af svarkategorier Rækkefølge af svarkategorier Mulighed for no-opinion svar Rækkefølge af spørgsmål Center for OPinion & ANalyse (COPAN) 2

. Design er her set som den indholdsmæssige del Formulering af spørgsmålene

3 TEORETISKE OVERVEJELSER Grundlæggende teorier om satisficing om om social desirability Satisficing har Ditte defineret for os I relation til design antages det vigtigste at være: Ved at tilbyde en No-Opinion svarkategori kan man opfordre til satisficing Rækkefølgen på svarkategorier er af betydning Center for OPinion & ANalyse (COPAN) 3

det vigtigste at være: Ved at tilbyde en No-Opinion svarkategori kan man opfordre

4 SOCIAL DESIRABILITY I Social desirability bygger på den antagelse, at: there are social norms governing some behaviors and attitudes and that people may misrepresent themselves to appear to comply with these norms (Kreuter et al 2008:848) Center for OPinion & ANalyse (COPAN) 4

that people may misrepresent themselves to appear to comply with

5 SOCIAL DESIRABILITY II Blasius & Thiessen (2012) har nuanceret begrebet yderligere ved at specificere tre hovedtyper af normative krav: 1: the responses given are best conceived of as an amalgam of what respondents believe will make a good impression of themselves (2012:6) 2: Respondenterne har en tendens til at få dem selv til at fremstå som mere konsistente, end de rent faktisk er 3. Tendensen til at give svar, der er selvmodsigende med respondentens egentlige holdninger, baseret på den normative struktur og på respondentens sociale position i samfundet. Center for OPinion & ANalyse (COPAN) 5

har en tendens til at få dem selv til at fremstå som mere konsistente, end de rent faktisk er 3.

6 SOCIAL DESIRABILITY III I relation til spørgsmålet om betydningen af design får teserne om social desirability særlig betydning: Respondenter formodes at have lettere ved at erklære sig enig end uenig i holdningsspørgsmål Respondenter formodes at have tendens til at overbetone konsistensen mellem holdninger og adfærd Respondenter formodes generelt at tegne et mere lyserødt billede af sig selv, deres familie osv., end virkeligheden kan leve op til Hvilke holdninger og egenskaber, der fremhæves, formodes at afhænge af, hvilken sociale position, respondenten har, og af kulturelle, sociale normer Center for OPinion & ANalyse (COPAN) 6

Respondenter formodes generelt at tegne et mere lyserødt billede af sig selv, deres familie osv.

7 EMPIRISKE EKSEMPLER Komparativt projekt ledet af Professor Jon A. Krosnick (Stanford Universitet) Undersøger via en række eksperimenter, hvordan forskelle i spørgsmålsdesign medfører forskelle i responsadfærd, satisficing og social desirability response bias Ud over USA og Danmark deltager Canada, UK, Norge, Tyskland, Island, Sverige, Holland, Slovenien, Frankrig og Costa Rica 18 enkeltstående eksperimenter Til hvert nyt spørgsmål splittes samplet tilfældigt igen 7 typer af spørgsmåls-design testes, blandt andet rækkefølge af svarkategorier, tilstedeværelse eller fravær af ved ikke kategori, tilstedeværelse eller fravær af midterkategori mv Center for OPinion & ANalyse (COPAN) 7

desirability response bias Ud over USA og Danmark deltager Canada, UK, Norge, Tyskland, Island, Sverige, Holland, Slovenien, Frankrig og Costa Rica 18 enkeltstående

8 ACQUIESCENCE EXPERIMENT 1 Har man en større tilbøjelighed til at erklære sig enig end uenig, uanset hvad det er for et udsagn? Formulering a: Er du enig eller uenig i følgende udsagn? Individer har i højere grad end sociale forhold skylden for kriminalitet og lovløshed her i landet Formulering b: Er du enig eller uenig i følgende udsagn? Sociale forhold har i højere grad end individer skylden for kriminalitet og lovløshed her i landet Formulering c: Hvad har efter din mening mest skylden for kriminalitet og lovløshed her i landet? Individer eller sociale forhold? Formulering d: Hvad har efter din mening mest skylden for kriminalitet og lovløshed her i landet? Sociale forhold eller individer? Center for OPinion & ANalyse (COPAN) 8

Sociale forhold har i højere grad end individer skylden for kriminalitet og lovløshed her i landet Formulering c: Hvad har efter din mening mest skylden for kriminalitet og lovløshed

9 ACQUIESCENCE EXPERIMENT 1 a Individer har i højere grad end sociale forhold skylden for kriminalitet og lovløshed her i landet Enig ,9 Uenig ,1 N % Overvægt enig Total ,0 1,8 b Sociale forhold har i højere grad end individer skylden for kriminalitet og lovløshed her i landet Enig ,9 Uenig 86 26,1 N % Overvægt enig Total ,0 47,8 Center for OPinion & ANalyse (COPAN) 9

100,0 1,8 b Sociale forhold har i højere grad end individer skylden for kriminalitet og lovløshed

10 RESPONSE ORDER EXPERIMENT 6 Gør rækkefølgen på svarmulighederne en forskel? Både på en nominalskaleret liste og ift enig-uenig. Formulering a: Er du enig eller uenig i, at ulighed fortsat eksisterer, fordi det kommer de rige og magtfulde til gode? Formulering b: Er du uenig eller enig i, at ulighed fortsat eksisterer, fordi det kommer de rige og magtfulde til gode? Center for OPinion & ANalyse (COPAN) 10

Formulering a: Er du enig eller uenig i, at ulighed fortsat eksisterer, fordi det kommer de rige og

11 RESPONSE ORDER EXPERIMENT 6 Er du enig eller uenig i, at ulighed fortsat eksisterer, fordi det kommer de rige og magtfulde til gode? Meget enig ,7 Enig ,4 Hverken enig eller uenig N % Overvægt enig ,5 Uenig 77 11,8 Meget uenig 23 3,5 Total ,0 44,8 Center for OPinion & ANalyse (COPAN) 11

Meget enig 122 18,7 Enig 270 41,4 Hverken enig eller uenig N % Overvægt enig

12 RESPONSE ORDER EXPERIMENT 6 Er du enig eller uenig i, at ulighed fortsat eksisterer, fordi det kommer de rige og magtfulde til gode? Meget uenig 48 7,2 Uenig 78 11,7 Hverken enig eller uenig N % Overvægt enig ,7 Enig ,2 Meget enig 75 11,2 Total ,0 28,5 Center for OPinion & ANalyse (COPAN) 12

Meget uenig 48 7,2 Uenig 78 11,7 Hverken enig eller uenig N % Overvægt enig

13 NO OPINION EXPERIMENT 1 Hvor meget betyder evt. en ved-ikke -kategori, en hverken-eller -kategori og lignende? Formulering a: Generelt set, mener du så, at retssystemet behandler kriminelle for hårdt eller ikke hårdt nok? Formulering b: Generelt set, mener du så, at retssystemet behandler kriminelle for hårdt eller ikke hårdt nok, eller ved du ikke? Formulering c: Generelt set, mener du så, at retssystemet behandler kriminelle for hårdt eller ikke hårdt nok, eller har du ikke en holdning til det? Formulering d: Generelt set, mener du så, at retssystemet behandler kriminelle for hårdt eller ikke hårdt nok, eller har du ikke nok viden om retssystemet til at kunne sige det? Center for OPinion & ANalyse (COPAN) 13

Formulering b: Generelt set, mener du så, at retssystemet behandler kriminelle for hårdt eller ikke hårdt nok, eller ved du ikke?

14 NO OPINION EXPERIMENT 1 Generelt set, mener du så, at retssystemet behandler kriminelle for hårdt eller ikke hårdt nok? N % For hårdt 35 10,5 Ikke hårdt nok ,5 Total Generelt set, mener du så, at retssystemet behandler kriminelle for hårdt eller ikke hårdt nok, eller ved du ikke? N % For hårdt 7 2,0 Ikke hårdt nok ,9 Det ved jeg ikke ,1 Total

N % For hårdt 35 10,5 Ikke hårdt nok 297 89,5 Total 332 100 Generelt set, mener du så, at

15 Generelt set, mener du så, at retssystemet behandler kriminelle for hårdt eller ikke hårdt nok, eller har du ikke en holdning til det? N % For hårdt 10 3,2 Ikke hårdt nok ,0 Har ingen holdning til det 75 23,8 Total Generelt set, mener du så, at retssystemet behandler kriminelle for hårdt eller ikke hårdt nok, eller har du ikke nok viden om retssystemet til at kunne sige det? N % For hårdt 14 4,5 Ikke hårdt nok ,6 Har ikke nok viden ,9 Total

N % For hårdt 10 3,2 Ikke hårdt nok 230 73,0 Har ingen holdning til det 75 23,8 Total 315 100 Generelt set, mener du så,

16 KONKLUSIONER? Aflivet al validitet af surveyundersøgelser? Som man spørger, får man svar? Kan nu skrive bogen: How to get the answers you need? Både og Center for OPinion & ANalyse (COPAN) 16

17 KONKLUSIONER: WHAT TO DO ABOUT IT? Jo mere viden, vi har om fejlkilder, jo bedre kan vi tage vores forbehold Respondentgruppen er afgørende for graden af social desirability response bias, for bias på vidensspørgsmål og på graden af satisficing på grund af manglende motivation Traditionelle fif med at have flere indikatorer for samme begreb hjælper også Husk også at variere formuleringer i både spørgsmål og svarkategorier Center for OPinion & ANalyse (COPAN) 17

af social desirability response bias, for bias på vidensspørgsmål og på graden af satisficing på grund af manglende

Relaterede dokumenter

Analyse og fortolkning af spørgeskemaer

Analyse og fortolkning af spørgeskemaer I respondentens sted Oplæg SSP 20/3-2018 Lektor Sanne Lund Clement Aalborg Universitet Forskningsgruppen i Politisk Sociologi E-mail: clement@dps.aau.dk Total survey