Test af skemaer blandt unge: Spørgeskemaets møde med fokusgruppeinterviews

Test af skemaer blandt unge: Spørgeskemaets møde med fokusgruppeinterviews Jeanette Østergaard Forsker, Ph.d. jea@sfi.dk 1

Kvalitetssikring af spørgeskemaundersøgelser Ingen statistik er stærkere end sit svageste led (Peter Linde, d. 8 juni). Teste emner og spørgsmål til surveys om alkohol og stoffer til unge i alderen 15-19 år - ved at kombinere kognitive interviewteknikker med fokusgruppeinterviews 2

PUNA 2005 & YODA 2008 Projekt Unge og Alkohol 2005 (PUNA) (P. Gundelach & M. Järvinen) Survey med 2000 unge i alderen 15-16 år samt deres forældre 37 fokusgruppeinterviews med unge i alderen 14-16 år (Jakob Demant). Projekt Unge, Stoffer og Alkohol 2008 (YODA)(P. Gundelach & M. Järvinen) Follow-up survey med de 2000 unge interviewet første gang i 2005 Ny survey med 3000 unge i alderen 17-19 år 12 fokusgruppeinterviews geninterviews med unge i alderen 17-19 år (Jakob Demant) Klubstudie (Signe Ravn) Finansieret af Rockwool Fonden 3

Spørgeskemaets tre testfaser Spørgeskemaets Fødsel Opvækst Flyveklar faser Testformer Indholdstest Pre-pilottest Pilottest Spørgsmålsstadier Åben/tematisk inddeling af spørgeskemaet Færdige eller næsten færdige spørgsmål og De endelige spørgsmål i den rigtige rækkefølge Test population Metoder Eksperter på feltet - (inkl. målgruppen) Uformelle interviews eller formaliseret kvalitative studier, fx fokusgruppeinterviews svarkategorier Udvalgte individer fra målgruppen Systematiske metoder til at teste udvalgte spørgsmål, fx kognitive interviews 20-80 individer fra målgruppen Respondenter besvarer spørgeskemaet med den valgte indsamlingsmetode (fx internet/telefon etc.) 4

Kunsten at konstruere spørgsmål til unge om emner som alkohol, fester, kærester, identitet, og opdragelse så det giver mening for de unge? At finde en metode, som kontekstualiserer surveyspørgsmål hvad for logikker, bevæggrunde og ubevidste processer ligger bag unges svar? At indfange de unges hverdagssprog så spørgsmålene virker naturlige og overbevisende skal man bruge slang? - undgå bestemte vendinger (fx beruset) men hvorfor fokusgruppeinterviews 5

Hvad er fokusgruppeinterviews? Et gruppeinterview med 4-12 deltagere Styret af en interviewer/moderater Brug af spørgeguide (højt, semi- eller lavt struktureret) Brug af stimulerende materiale (fx billeder, kort, ark med spørgsmål) Fokusgruppeinterviews ikke hovedstudiet 6

Hvad kan fokusgruppeinterviews? Fokusgruppeinterviews skaber data på baggrund af gruppemeninger, som konstituerer kollektive fremstillinger. De illustrerer de gruppeprocesser, som fører til sådanne fremstillinger og de normer (regler), som grupper trækker på i forhold til at nå til enighed om kollektive fremstillinger. Focus groups in Social Research (Bloor, 2001:17) Fokusgruppeinterviews tydeliggøre det sociale (social interaktion/handlinger) gennem mere spontan forhandlingsdiskussion Og derfor tydeliggøres handlinger uden en høj grad af efterrationaliseringer. 7

Hvad kan kognitive interviews? (G. Willis: Cognitive Interviewing, 1999) Svarforståelsen Spørgsmålsintentionen - Hvad tror respondenten, der bliver spurgt om? Hvad betyder bestemt ord/begreber/udtryk anvendt i spørgsmålet? Informationsgenskabelse Hvilken slags information skal respondenten genskabe for at svare på spørgsmålet? Hvad er informantens genskabelsesteknik/strategi (fx tælle, gæt osv.) Informationssortering/beslutning Dedikeret til at svare rigtigt Sensitivitet/Socialt ønskelig svar (social desirability): Ønsker respondenten at svare på en bestemt måde, som er eftertragtet Svarproduktionen Er svarkategorierne meningsfulde i forhold til den svarproces, som nu kommer til syne (kategorier, som ikke er nævnt) 8

Omsat til specifikke kognitive teknikker.. Think aloud Verbal probing 9

To metoder mødes: Kognitive interviewteknikker anvendt i fokusgruppeinterviews til test af survey spørgsmål Dvs. fokusgruppeinterviews er semi-struktureret guidet af tænke-højt metoden og specifikke kognitive probing teknikker. Spørgsmålene (som deles ud) kan anskues som stimulusmateriale (fx ligesom man anvender billeder til at få holdninger frem) 10

Eksempler fra.. PUNA 2005: 8 informanter pige/drenge gruppe i alderen 15-16 år YODA 2008: 2 fokusgruppeinterviews med 10/12 informanter pige/drenge gruppe i alderen 18-19 år Intensiv briefing deres hjælp, ingen rigtige eller forkerte svar => deres meninger. I tvivl så spørg hinanden (ikke moderator). 1 ark med få spørgsmål uddeles og besvares herefter diskuteres besvarelserne (ca. 10 spm max) Varighed 1-2 timer 11

To eksempler fra PUNA 2005 & YODA 2008 a) Specifik svarproduktion: i hvilken udstrækning kan man stille holdningsspørgsmål, især til unge, som har begrænset alkoholerfaring (PUNA spørgeskemaets tidlige fase) b) Informationsgenskabelse/sortering: hvordan tæller man, hvor mange gange man har drukket alkohol/drukket sig fuld, når man er henholdsvis 15-16 år (PUNA 2005) og 18-19 år (YODA 2008). 12

Et af de første udkast til PUNA spørgsmål Hvor enig eller uenig er du i følgende udsagn? Helt Enig Uenig Helt enig uenig Unge drikker alkohol for at miste kontrollen Unge drikker alkohol for at kunne snakke med drengene/pigerne Unge drikker alkohol for at have det sjovt Unge drikker alkohol for at blive mere venskabelige Unge drikker alkohol for at miste hæmningerne Unge drikker alkohol for at trodse deres forældre 13

Fokusgruppeinterview PUNA 2005 Janus: Der er jo ikke rigtig nogen forskel på enig og helt enig [Ser på MO] Rune: Det er sådan enten eller, ik! Janus: Ja [P] Rune: Er det unge generelt eller er det som person? [ser på MO] MO: Spørg de andre! [der hviskes] Emilie: Men, hvad så hvis nogen gør og nogen ikke gør? [JA og RU hvisker] MO: Jeg ved det ikke! [griner] Emilie: Nej, vi laver bare sådan et kryds i midten Camilla: Hvad betyder det så? Emilie: [det betyder] Måske [griner] [flere taler/hvisker i munden på hinanden] Camilla: Åh, det ved jeg sgu ik! 14

Opsamling på processen MO: Der var nogen hernede, der ikke var helt tilfredse med kategorierne. Måske skulle vi tage og snakke lidt om det først. Hvad er det for nogle kategorier I har tilføjet? Janus: Nogen gør og andre gør ikke, fordi det er meget individuelt Rune: Jeg har skrevet Eller jeg har sat en i helt enig ik, bare for at sætte en ik [gri] men der er ikke rigtig nogen forskel på enig og helt enig. Altså der er enten enig eller uenig og så er der noget ind imellem Emilie: Nej, det synes jeg godt der kan være med helt enig og enig fordi sådan Det er jeg helt sikker på eller Det er jeg sikker på. Altså sådan hvis du er 100% sikker Anne-sofie: F.eks. Unge drikker for at have det sjovt ik. Er du enig eller er du helt enig. Der er du vel helt enig i, er du ikke? [ser på JA] Emilie: Det er man vel helt sikker på, at det gør de fleste for at have det sjovt, ik? Janus: Det kan man jo ikke vide, man kender jo ikke andre mennesker Anne-sofie: Nej, men hvordan har du det selv? Emilie: Nej, hvordan tror du. Det er jo det, du skal svare på. Tim: Det er derfor, du skal have den der nogen gør og nogen gør ikke Janus: Ja, det er jo det, jeg siger! 15

Hvor mange gange har du drukket noget, der indeholder alkohol? (ESPAD Spm) 0 1-2 3-5 6-9 10-19 20-39 40+ I hele dit liv I løbet af de sidste 12 måneder I løbet af de sidste 30 dage 16

Janus: Ohh.., i hele dit liv!! Emilie: Nej, okay det har jeg sgu da ikke tal på [??] Camilla: Har du ikke? [fni] Emilie: Nej, to gange [fni] [P] Mia: Hvis det bare er noget med alkohol, så er det sgu da meget Anne-Sofie: Ja, æblecider [gri] Emilie: På et år mindre end 40 gange, det tror jeg ikke [gri] Camilla: Er det også, hvis man bare lige har drukket lidt vin? [ser på MO] MO: Det ved jeg ikke [smiler] Mia: Det står der jo Emilie: Anne-Sofie prøv lige at overvej sommerferien så [flere taler i munden på hinanden] Janus: Nej, okay det er rigtig nok. Fuck [gri] Rune: Det holder heller ikke [gri] Anne-Sofie: Inden for de sidste 30 dage? Emilie: Der har jeg skrevet 20-39 Anne-Sofie: 20-39? Emilie: Hov, det er sgu da en måned Jeg tror, lige jeg sætter 10-19 Anne-Sofie: [gri] 6-9!!!? 17

Hvor mange piger/drenge har drukket noget som indeholder alkohol mere end 10 gange inden for de sidste 30 dage (pct.) 45 40 35 30 25 20 15 10 5 0 ESPAD 2003 PUNA 2005 ESPAD 2003 PUNA 2005 Dreng Pige Total 18

Hvis 15-16-årige skal svare på fuldskab.. (PUNA 2005) MO: Okay. Hvad hvis nu der havde stået Hvor mange gange har du været fuld i hele dit liv? Janus: Orr ja. Det ved man jo ikke Emilie: Det er jo ikke sådan noget man går og tæller. Jo måske lige første gang man er fuld, så siger man Nej, hvor sjovt nu har jeg været fuld og så tæller man måske lige. Det kan godt være, at der er nogen der gør, men jeg tror ikke, hvis det er noget du er vant til, at du går og tæller MO: Okay. Hvad hvis nu der havde stået Hvor mange gange har du været fuld inden for de sidste 14 dage. Tæller man det så? Emilie: Næ der ved man det jo bare Rune: Ja, håber at man ved det! [GRI] 40 gange på 14 dage [gri] MO: Ved man det også inden for de sidste 30 dage? Janus: Ja Emilie: Ja, det er jo fire weekender, så kan man også nogenlunde regne det ud. Fredag og lørdag 19

Hvis 18-19-årige skal svare på tællespørgsmål om alkohol/fuldskab (YODA 2008) 20

Diskussion blandt 18-19-årige.. Peter: Jeg kan ikke huske de sidste 30 dage. Morten: Nej, jeg kan ikke en gang huske, om jeg har været i byen en eller to gange. Peter: To uger er måske lidt mere overskueligt. MO: Vil I alle kunne huske to uger tilbage? Alle: Ja Dorte: Hvis jeg havde min kalender vil jeg måske godt kunne finde ud af en måned, men ellers ikke Lotte: Er reglen ikke bare, at man drikker! Peter: Var du i byen for to uger siden? Anders: Jeg ved det ikke Peter: I byen hver weekend, men jeg kan ikke huske, hvor jeg har været. Jeg kan ikke sætte billeder på det. 21

Kan man vurdere antal genstand..? MO: Kan I huske hvor mange genstande I har drukket? Alle: Overhovedet ikke Anna: Jeg tror ikke, der er mange, der tæller det i dag. Lise: Mere flasker Dorte: Man kan jo ikke huske det dagen efter. MO: Hvad kunne vi spørge til i stedet for genstande? Lise: Flasker enten flasker øl eller flasker vodka eller vin [Grin] Lotte: Det kan godt være svært at huske, hvor meget man har drukket og det kommer også an på, hvor meget man har spist. Jeg synes, at den [spørgsmålet] med - om man kan mærke det eller ikke - er rigtig god Peter: Hvor meget drak du? (henvendt til Anders) Anders: For meget! M0: Forstår I alle sammen den kategori med, om man kan mærke det Mange: Ja Lotte: Der burde også være én, hvor man var rigtig fuld eller total blæst. 22

Vigtigt med kontrolinterviews Stine: Den næste c eren [spørgsmål c]; drukket så du kunne mærke alkoholen uden at være rigtig fuld [er ikke helt tydelig] Berit: Hvad så hvis man blev rigtig fuld også, så har man jo været i det stadie før? Men det gælder kun, hvis man ikke blev rigtig fuld? Maria: Ja, det er man jo altid. Signe: Der vil altid være et stadie, hvor man kan mærke alkoholen uden at være rigtig fuld. Stine: Det er lidt underligt, hvis man sætter [kryds] i nul i spørgsmålet [c] og seks i gangen efter. Rebecca: Nej, det er da bare fordi man har drukket sig sindssygt meget i hegnet. Mette: Så når du aldrig at komme til mellemstadiet. Stine: Det gjorde jeg da til gallefest Signe: Hvad gjorde du? Stine: Der drak jeg mig da fuld. Signe: Nåh.. ja Mette: Så blev du også rigtig fuld 23

Det endelige YODA spørgeskema.. Drukket dig meget fuld (sidste 30 dage..) Drukket mere end 5 genstande Drukket mere end 10 genstande Resultat: Flest siger de har drukket 5+ genstande Dernæst følger: drukket sig meget fulde.. Og færrest siger, de har drukket 10+ genstande.. Fremtidige analyser: hvilken betydning har det, at man vælge én frem for en anden, som den afhængige variabel? 24

Anvendelse af kognitive interviewteknikker i fokusgruppeinterviews fungerer, hvis.. Man får skabt en tillid/god diskussion i starten, så informanterne naturligt spørger hinanden om fejl, mangler og uforståeligheder Hvis deltagerne er i stand til at foretage en selviagttagelse af deres besvarelser Fordele Man undgår at respondenten blot gentager, hvad der bliver spurgt om Mindre kunstig situation Få det ubevidste i en svarproces frem i en social kontekst NB! Medregn tiden til at analysere fokusgruppedata i survey design 25