CAWI. Computer Assisteret Web Interview. Kaj Haupt Juni Kompetencecenter for e-læring Sønderhøj Viby J

Transkript

1 CAWI Computer Assisteret Web Kompetencecenter for e-læring Sønderhøj Viby J Kaj Haupt Juni 2004 Tlf: info@ventures.dk Web: 1

2 Forfatter: Kaj Haupt Faglig og sproglig korrektur: Rikke Riis Nielsen Grafik: Sune Bjerre Indhold i idéhæftet kan med kildeangivelse frit benyttes, dog ikke til kommerciel brug. Kompetencecenter for e-læring 2

3 CAWI - Computer Assisteret Web Interview... 4 CAWI-analysen... 5 Generelt om spørgeskemaer og analyser... 5 Kommunikationsprocessen... 5 Fordele og ulemper ved CAWI interviews... 7 Udarbejdelse af spørgeskemaet... 9 Typiske fejlkilder... 9 Ord Formuleringer Forudindtagethed Spørgsmålstyper Måling Måleskalaer Statistik og holdninger Svarskalaer Svarkategorier Antal svarmuligheder Neutralkategori Balance Ubalance Tvang eller frihed Fasthold respondentens motivation Motivation Spørgsmålenes indbyrdes påvirkning Tidsmæssig vurdering Logisk enhed Rækkefølgen Pilottest Kilder og litteratur

4 CAWI - Computer Assisteret Web Interview Formål Formålet med dette idehæfte er at øge fokus på de overvejelser, spørgeskemaforfatteren skal gøre sig i forbindelse med konstruktionen af et Computer Assisteret Web Interview forkortet CAWI. Denne introduktion sikrer, at du kan: beskrive kommunikationsprocessen i en cawi-analyse designe et naturligt flow i spørgeskemaet beskrive typiske fejlkilder i et spørgeskema anvende forskellige spørgsmålstyper anvende forskellige svarkategorier beskrive forskellige pilottest Motivation De tekniske muligheder for at gennemføre CAWI-analyser er udbredte. Mange har adgang til at bruge spørgeskemaprogrammer og de er nemme at arbejde med. Udfordringen er derfor at flytte fokus fra programmernes funktionalitet til udarbejdelsen af det gode spørgeskema. Målgruppe Målgruppen for dette idéhæfte er alle, der skal i gang med at udarbejde deres første CAWI-analyse. 4

5 CAWI-analysen Et Computer Assisteret Web Interview er en internetbaseret udgave af det klassiske postale interview, hvor spørgeskemaet bliver udsendt pr. post, og hvor respondenten returnerer det besvarede skema i en vedlagt svarkuvert inden et bestemt tidspunkt. I CAWI-interviewet besvarer respondenten en række spørgsmål på en hjemmeside på Internettet. Når spørgeskemaet er udfyldt, sendes det via Internettet og svarene opsamles i en database. Efterfølgende kan data analyseres og konklusioner kan udarbejdes. Se flash: Generelt om spørgeskemaer og analyser Spørgeskemaet benyttes til at indhente svar på de spørgsmål, som er relevante for analysens problemstillinger og hypoteser. Det er derfor vigtigt, at analysens formål står klart, inden du går i gang med udarbejdelsen af spørgeskemaet. Kommunikationsprocessen Analysen indgår i en kommunikationsproces, hvor intervieweren (den, der stiller spørgsmålene) kommunikerer med respondenten (den, der skal besvare spørgsmålene). Ved CAWI-analyser skal respondenten besvare en række spørgsmål i et spørgeskema. Der er ingen fysisk kontakt mellem intervieweren og respondenten. Derfor skal spørgeskemaet og dets indhold kunne fungere uden, at respondenten har brug for at stille uddybende eller afklarende spørgsmål til intervieweren. Kommunikationsflow Interviewer Respondent Interviewer formulerer spørgsmål Respondent fortolker spørgsmål Interviewer fortolker svar Respondent formulerer svar 5

6 Først når faserne i kommunikationsflowet er gennemløbet uden misforståelser, har intervieweren mulighed for at fortolke svarene korrekt og herudfra drage de rette konklusioner. Det er således ikke (kun) respondenten, der har et problem med et dårligt formuleret spørgeskema det er i sidste ende intervieweren, der ikke opnår et sikkert datagrundlag for at kunne foretage de korrekte konklusioner. 6

7 Fordele og ulemper ved CAWI interviews Fordele Mange er fortrolige med kommunikation via internettet og vil gerne svare online på spørgsmål. Derfor kan CAWI-skemaet også indeholde åbne spørgsmål - og ikke kun forprogrammerede svarmuligheder. Respondenternes besvarelser lagres automatisk i en databasestruktur, der gør det let at sortere, filtrere og krydstabulere svarene og konkludere på data. Andre fordele ved CAWI-interviews billigt hurtigt geografisk fleksibilitet nøjagtigt ingen påvirkninger fra intervieweren respondenten kan tage sig god tid til at tænke over sine svar responsen kan følges løbende 7

8 Ulemper ved CAWI interviews Der er umiddelbart følgende problemstillinger ved CAWI-analyser: repræsentativiteten via internettet men efterhånden som alle husstande er på nettet og flere dermed bliver fortrolige med brugen - formindskes dette problem man er ikke 100% sikker på, at den reelle respondent er den tilsigtede respondent (det kan være, at manden svarer for konen) Hertil kommer de generelle problemstillinger ved spørgeskemaer: dårligt udarbejdede spørgeskemaer dårlig udførelse af analysen skemaet kan ikke korrigeres undervejs det er nemmere at omgå sandheden og gå hurtigere hen over spørgsmålene end ved et egentlig mundtligt interview 8

9 Udarbejdelse af spørgeskemaet Spørgeskemaet skal levere relevante svar på de problemstillinger og hypoteser, som er opstillet forud for analysen. Derfor må spørgeskemaet kun stille de spørgsmål, som er relevante i forhold til analysens problemstillinger og hypoteser. For at sikre, at respondenterne besvarer spørgeskemaet, skal det konstrueres, så det appellerer til, at respondenterne vil bruge tid og energi på at besvare spørgsmålene. Overordnet er det gode spørgeskema udformet, så det: er overskueligt indeholder et naturligt flow er let at forstå giver troværdige og dækkende svarmuligheder på de stillede spørgsmål (respondenten skal altid have mulighed for at vælge en tilfredsstillende svarmulighed) stiller spørgsmål, som kan besvares (respondenten skal have en viden om de forhold, de bliver bedt om at besvare) tager hensyn til målgruppen (alder, køn, uddannelse og andre faktorer, der præger respondentens baggrund for at besvare spørgsmålene) gør det muligt at registrere svarene på en nem og overskuelig måde Det er endvidere vigtigt, at du er bevidst om en række grundlæggende forhold, når du går i gang med at forberede dit spørgeskema: fejlkilder både i formuleringen af spørgsmålene samt i opbygningen af spørgeskemaet valg af spørgsmålstyper valg af måleskalaer valg af svarkategorier layout pilottest Typiske fejlkilder En fejlkilde er en forstyrrelse, der forhindrer respondenten i at forstå meningen med spørgsmålet. Fejlkilder opstår typisk i forbindelse med: ord formuleringer og forudindtagethed 9

10 Ord Når du arbejder med ord, skal du undgå: svære og ukendte ord upræcise ord (ord som ofte, hyppigt og som regel) fagspecifikke ord (ikke-specialister må ikke udsættes for specialist-ord) flertydige ord (har ordet en anden betydning vælg altid det mest præcise ord) adjektiver (gradbøjninger må som regel ikke findes i spørgsmålet, men skal anvendes i svarmuligheden) slang forkortelser Formuleringer Det er vigtigt, at dine sætninger afspejler en balance mellem simpelhed og præcision. Undgå: to eller flere spørgsmål i ét ( Er du offentlig eller privat ansat? ). Så snart du bruger ord som og samt eller, bør du formulere flere spørgsmål for lange sætninger vage spørgsmål ( Er du tilfreds med at gå på gymnasiet? ) dobbeltnegationer ( Bør man som kørelærer undlade at fortælle unge mænd, at de ikke må tale i mobiltelefon, mens de kører bil?. ) unøjagtighed på tiden ( Hvor tit har du været til eksamen? ) sætninger, der møder modstand ( Hvornår har du sidst kørt spritkørsel? ) sætninger, der forudsætter, at respondenten skal huske urimeligt ( Hvor mange timers TV har du set i sidste måned ) Forudindtagethed Når man stiller spørgsmål, er man tilbøjelig til at afspejle sine holdninger i spørgsmålene. Dette skal naturligvis undgås. I teorien om analyser og databehandling taler man om begrebet BIAS, der er engelsk og betyder noget i retning af partiskhed eller fordom altså at være forudindtaget. For at sikre at spørgsmålene er fri for BIAS, skal du i udformningen undgå: Ledende spørgsmål (I stedet for at stille spørgsmålet Drikker du også HOF bør spørgsmålet lyde Hvilke øl drikker du? ) Forudindtaget spørgsmål ( Har du også et anstrengt forhold til hash? ) Negativformuleringer ( Mener du ikke at ) Spørgsmål hvor intervieweren ikke har forståelse for respondentgruppen 10

11 ( Hvilken aldersgruppe tilhører du: under 11 år, år, år, år, år ) Værdiladede ord (ord kan give positive eller negative associationer f.eks. skattetryk, miljø, globalisering) Spørgsmålenes indbyrdes påvirkning. Man bør undgå at stille en række spørgsmål om f.eks. vejret i Danmark lige før, man bliver bedt om at rangordne fem faktorer efter vigtighed for den samlede tilfredshed, hvis en af disse faktorer er vejret. 11

12 Spørgsmålstyper Spørgsmål kan deles op i fire grupper: 1. Åbne spørgsmål Denne spørgsmålstype lader det være op til respondenten selv at formulere sit svar. Respondenten vælger altså selv fokus og kan nuancere sit svar. Problemet med åbne spørgsmål er dels, at besvarelserne kan være svære at bearbejde statistisk, samt at de kræver en meget aktiv deltagelse fra respondenterne. Endvidere stiller denne spørgsmålstype krav til respondentens formuleringsevne. 2. Halvåbne spørgsmål Denne spørgsmålstype har nogle prædefinerede svarmuligheder, men også mulighed for at indtaste i et åbent felt, typisk kaldt Andet, notér.. 3. Lukkede spørgsmål Her besvares spørgsmålet typisk med ja, nej eller et andet svaralternativ f.eks. ved ikke 4. Skalaspørgsmål Lukkede spørgsmål med prædefinerede svarmuligheder Måling Det gode spørgeskema leverer gode svar på analyseprojektets problemstillinger og hypoteser. De gode svar forudsætter, at intervieweren er i stand til stille spørgsmålene, således at de fremstår entydige. Alle forstår spørgsmålet: Hvor høj er du? Og de fleste er i stand til at give et objektivt og nøjagtigt svar fordi der findes målesystemer og måleskalaer, der sikrer det korrekte svar. Derimod er det straks vanskeligere at måle, hvor god en film er, eller hvilken grad af oplevelse man havde, da man sidst besøgte Den gamle by i Århus. Men uanset om undersøgelsen handler om at afdække objektive data eller holdninger og oplevelser, så er det at kunne måle en forudsætning for at kunne lave konklusioner på de besvarelser, som respondenterne har afgivet i deres besvarelser. I måleprocessen forsøger man at skabe en entydig sammenhæng i et formelt system ved hjælp af måleskalaer. Man ønsker så at sige at omsætte respondenternes verden til data, som kan analyseres og behandles. 12

13 Måleskalaer Ved hjælp af måleskalaer forsøger man at indsamle objektive data eller opstille data, der kan give viden om et bestemt område. Da CAWI-analysens data typisk lagres i en database, er det vigtigt at operere med klare og entydige måleskalaer samt en afklaring af, hvordan respondenternes svar skal databehandles. Der skelnes mellem fire typer af måleskalaer: 1. Nominalskala 2. Ordinalskala 3. Intervalskala 4. Ratioskala Den væsentligste grund til at skelne mellem forskellige måleskalaer er, at der til de enkelte måleniveauer kan udarbejdes forskellige typer af analyser. I folkeskolen lærer vi at måle med en lineal. Den hjælper os til at angive højde, længde, bredde og dybde i en bestemt målestok - metersystemet. Vi anvender også målinger, når vi vejer mel af til brød (kilosystem), tanker benzin (litersystem) og tager tid på, hvor hurtige vi er til at løbe 200 meter. Denne type målinger er alle baseret på systemer med lige stort interval mellem hver enhed. Når vi anvender disse, ved vi eksempelvis, at 100 km/t er dobbelt så meget fart som 50 km/t. Grundlæggende er måling med vægt, lineal eller ur altså kendetegnet ved at være objektiv og uafhængig af personen, som måler eller genstanden, som bliver målt. Statistik og holdninger Når vi vil måle holdninger og oplevelser, bevæger vi os på det subjektive område. Når en person angiver tilfredsheden med kantinens udbud til 6 på tilfredshedsskalaen, er det ikke sikkert, at en anden respondents 3 tal på skalaen udtrykker nøjagtig en halv så stor tilfredshed. Vi kan ikke vide, om personerne har den samme oplevelse af smag, farver og betjening, eller om den ene faktisk har præcis dobbelt så positiv en oplevelse end den anden. Forskerne diskuterer, om man rent faktisk kan beregne gennemsnit, lægge sammen, m.v. når det gælder holdninger. Der er dog en udpræget opfattelse, at forudsat det virker plausibelt, at afstanden mellem de enkelte trin på skalaen er omtrentlig lige lang så kan man også måle afstande på holdninger. Udfordringen ligger derfor i at kombinere spørgsmålet med gennemtænkte svarmuligheder. 13

14 1. Nominalskala På en nominalskala har man identificeret kategorier og givet dem navne. (Nominal kommer af begrebet nomen = navn). Kategorierne kan ikke rangordnes meningsfyldt. (At være mand er ikke større eller mindre end at være kvinde). Spørgsmål på nominalt niveau anvendes i forbindelse med faktuelle baggrundsspørgsmål. (Køn, ægtestand, beskæftigelse, bopæl og lignende). Med nominalskalaen kan man afgøre, om noget er lig med eller forskellig fra (= ). 2. Ordinalskala En ordinalskala benyttes typisk til brugerundersøgelser, hvor man ønsker at rangordne udsagn om tilfredshed og andre typer holdningsspørgsmål. Markeringerne repræsenterer et større-mindre forhold. Men man kan ikke umiddelbart måle afstanden mellem de enkelte kategorier. Ved ordinalskalaer ved vi således, at meget god er bedre end god og mindre god er mere end dårlig. Vi ved bare ikke, hvor megen forskel, der er imellem de enkelte kategorier. Ordinalskalaer tages typisk i brug, når man vil måle oplevelser, attituder, holdninger, forventet køb, positionering o.l. altså hvor udgangspunktet er af subjektiv karakter. Med ordinalskalaen kan man rangordne, det vil sige afgøre, om noget er større end, lig med eller mindre end (> = <). 3. Intervalskala En intervalskala måler den objektive og nøjagtige afstand mellem svaralternativerne. Det vil sige, at på intervalskalaen har afstande en mening i og med, at de kan måles. På Intervalskalaen kan man således beregne svarene og konkludere matematisk på tallene. Intervalskalaen opererer med intervaller på begge sider af nulpunktet. Der kan være tale om historiske tidslinier, formueopgørelse o.l. Med intervalskalaen kan man beregne afstande og forskelle på begge sider af 0-værdien. 14

15 4. Ratioskala En ratioskala benyttes til alt, som kan måles og vejes og hvor der et absolut nulpunkt. Det kunne f.eks. være alder, antal km., vægt, hastighed, indtægt o.l. Med ratioskalaen kan man beregne forholdet mellem de afgivne svar. 15

16 Svarskalaer Når du har valgt din måleskala, skal du afklare, hvordan spørgsmålets svarskala helt præcist skal konstrueres. Der findes mange måder at konstruere sine svarskalaer på, f.eks.: holdningsmåling likertskala kategoriskala profilskala konstantsumsskala rangordningsskala Simpel holdningsmåling Det simple holdningsspørgsmål giver en række entydige svarmuligheder på holdninger. Likertskala Respondenten præsenteres for en række udsagn eller påstande og skal angive sin mening på en skala. Kategoriskala Respondenten præsenteres for en række hændelser og skal placere hændelserne på en kategoriskala. Profil skala Intervieweren formulerer en række kontrastord. Respondenten markerer sin holdning på en skala. Summen af markeringerne kan bearbejdes til en profil. Denne type kendes f.eks. fra vinetiketterne. 16

17 Konstantsumsskala Respondenten skal fordele en række værdier på svarkategorierne Parvis sammenligning Respondenten skal rangordne data parvis eller rækkevis Rangordning Respondenten skal gruppere en række genstande i forhold til hvilken præference han har for dem. 17

18 Svarkategorier Svarkategorierne på ordinalskalaen må ikke virke ledende eller ønskværdige, og de skal være så balancerede som mulig. Svarkategorierne skal være udtømmende for de svarmuligheder, som spørgsmålet lægger op til. Undgå derfor begrebet andet eller ved ikke før svarmulighederne er udtømte. Anvendes Ja / Nej skal du tænke på risikoen for, at respondenterne oplever en grov kategorisering. Vær endvidere opmærksom på, at svarmulighederne skal udgøre en håndterlig enhed. Generelt kan man ikke opnå yderligere informationer ved at have mere end syv svarmuligheder. Endelig skal intervieweren sikre sig, at svarkategorierne virker loyale og logiske på respondentgruppen. Svarkategorierne må således hverken tale ned til eller ved siden af respondenten. Antal svarmuligheder De fleste interviews anvender en håndterlig enhed på: 5 eller 7 svarmuligheder, hvis man ønsker et naturligt (neutralt) midtpunkt på skalaen og 4 eller 6 svarmuligheder, hvis man vil tvinge respondenten til at tage stilling Respondenten skal altid kunne afkrydse en mulighed. Derfor bør du overveje en ved ikke eller ønsker ikke at svare kategori, således at respondenten ikke tvinges til at afkrydse svar, der ikke tilfredsstiller respondenten. Neutralkategori Der bør være mulighed for, at respondenten kan komme af med sit svar. Derfor benyttes neutralkategorier ofte ved skalaspørgsmål. Argumenter for Neutralkategorien: respondenten får et mere nuanceret billede af fordelingen samtidig med, at man ikke presses til svarkategorier, man ikke kan identificere sig med. Argumenter imod Neutralkategorien: respondenten får mulighed for at bruge den lette løsning. 18

19 Balance Ubalance Skal der være balance eller ubalance i svarkategorierne? Eksempel på balanceret skala: 4-udfald med 2 positive og 2 negative udfald Eksempel på skala med ubalance 5 udfald med 3 positive og 2 negative udfald Tvang eller frihed Skal respondenten besvare eller er det frivilligt at besvare spørgsmålet. Fasthold respondentens motivation Spørgeskemaet skal konstrueres således, at det fastholder respondentens motivation for at besvare spørgsmålene i skemaet. Den typiske faldgrube ved udarbejdelsen af spørgeskemaer er, at den, der spørger, ved meget mere om emnet end respondenten gør. Sørg derfor altid for, at du bruger det talte sprog og pas på med faglige udtryk og fremmedord. Du skal være opmærksom på følgende forhold: motivation af respondenten spørgsmålenes indbyrdes påvirkning tidsmæssig vurdering (timing) logisk og meningsfuld helhed strukturering af spørgsmålene i temaer spørgsmålenes rækkefølge inden for et enkelt tema Motivation Motivationen kan skabes gennem et introduktionsbrev eller en indledning i spørgeskemaet, hvor undersøgelsens formål, baggrund og ophavsmand beskrives, anonymitet loves, fortrolighed skabes, vigtighed af respondenters svar pointeres o.s.v. Motivationen skabes i informationen og fastholdes ved en fornuftig struktur i spørgeskemaet. 19

20 Spørgsmålenes indbyrdes påvirkning Ved alle analyser er flowet i spørgsmålene vigtig. Svarene på de først stillede spørgsmål kan præge de afgivne svar på efterfølgende spørgsmål: dels fordi man eksempelvis er bragt ind på den pågældende tankebane dels fordi respondenterne gerne vil optræde som fornuftige mennesker - der skal være fornuftig sammenhæng og fornuft i de svar, man giver. Tidsmæssig vurdering Timingen er vigtig for motivationen. Såfremt det er muligt, er det en god ide, at skabe opmærksomhed om undersøgelsen ved at gøre reklame for den f.eks. via nyhedsartikel, via produktblad, via nøglepersoner, via hjemmesiden e.l. Logisk enhed Indeholder spørgeskemaet mange spørgsmål, er det en god ide at gruppere spørgsmålene i temaer. Rækkefølgen Fang respondentens opmærksomhed ved at begynde med de mest interessante og vigtige spørgsmål. De første spørgsmål bør ligge tæt op ad formålet med undersøgelsen. Svære, følsomme eller ubehagelige spørgsmål bør grupperes sammen med spørgsmål, som har virket positivt på respondenten. Afslut spørgeskemaet med de såkaldte: socio-demografiske spørgsmål for kunsumentmarked (alder, bopæl, stilling, uddannelse, indkomst o.l.) og virksomhedsrelaterede spørgsmål for producentmarked (antal ansatte branche o.l.) Overvej, om der skal benyttes indtastningsfelter efter det enkelte spørgsmål og/eller det enkelte tema, hvor respondenten får mulighed for at komme med (uddybende) kommentarer til sine svar. 20

21 Pilottest Inden spørgeskemaet frigives på Internettet skal det testes. Når analysen først er igangsat og respondenterne er begyndt at besvare spørgsmålene må der ikke ændres spørgsmålene. Ændringer vil ødelægge datagrundlaget! Testen skal sikre, at spørgsmålene er udformet så entydige, at de nogenlunde forstås ens af respondenterne. Der skal være fokus på følgende områder: Hvordan er forståelsen af de enkelte spørgsmål? Spørgeskemaets flow virker rækkefølgen efter hensigten? Udnyttes de valgte svarkategorier? Er svarkategorierne dækkende? Er der emner, som burde have været inddraget? Den generelle oplevelse af spørgeskemaet (for langt / for kort) Der findes forskellige former for pilottest: Tænke højt test Skemaet testes live af en række testpersoner, der får skemaet udleveret og som tænker højt og kommenterer de problemstillinger, de ser i processen. Testlederen tager notater. Det dobbelte interview Her gennemføres det tiltænkte interview eller spørgeskemabesvarelse fuldt ud. Dagen efter opsøges respondenten og gennemgår et intensivt interview, hvor respondenten skal fortælle, hvordan vedkommende kom fra spørgsmålet til svaret. lade en udenforstående / kollega teste skemaet og melde tilbage Pointen er: Uden test ingen analyse! 21

22 Kilder og litteratur Om spørgeskemaundersøgelser I sagens natur findes der en mængde informationer på internettet om spørgeskemaundersøgelser samt CAWI-analyser f.eks. Jesper Aastrup: Surveymetodernes vidensmæssige indhold og fejlkilder, 1997 Finansministeriet: Vejledning om Brugerundersøgelser. (2002) Rådgivende Sociologer: Se f.eks. bogen: Mål de menneskelige ressourcer The American Statistical Associations serie om surveys: Litteratur om Markedsundersøgelser Finn Rolighed Andersen m.fl.: International markedsføring (Trojka, 2003) Thomas Trojel m.fl.: Afsætning, niveau B (Trojka, 2003) Om test På nettet findes mange informationer om brugertest. Artiklerne handler ofte om test af programmers brugergrænseflader. Se. f.eks. følgende nedenstående sites eller søg efter tænke højt. Gode råd om netsteder: Testledelse - tip til styring af "tænke-højt"-forsøg: 22