NIELS-HENRIK MØLLER HANSEN BELLA MARCKMANN ESTHER NØRREGÅRD-NIELSEN SARA LEA ROSENMEIER JEANETTE ØSTERGAARD SPØRGE SKEMAER. i virkeligheden. 2.

Transkript

1 NIELS-HENRIK MØLLER HANSEN BELLA MARCKMANN ESTHER NØRREGÅRD-NIELSEN SARA LEA ROSENMEIER JEANETTE ØSTERGAARD SPØRGE SKEMAER i virkeligheden 2. udgave

2

3 Niels-Henrik Møller Hansen, Bella Marckmann, Esther Nørregård-Nielsen, Sara Lea Rosenmeier og Jeanette Østergaard Spørgeskemaer i virkeligheden 2. udgave

4 Niels-Henrik Møller Hansen, Bella Marckmann, Esther Nørregård-Nielsen, Sara Lea Rosenmeier og Jeanette Østergaard Spørgeskemaer i virkeligheden 2. udgave 2015 Samfundslitteratur 2015 OMSLAG Imperiet (Annette Borsbøl) SATS SL grafik (slgrafik.dk) TRYK Narayana Press (narayana.dk) ISBN TRYKT UDGAVE ISBN E-BOG Samfundslitteratur Rosenørns Allé Frederiksberg C info@samfundslitteratur.dk samfundslitteratur.dk Alle rettigheder forbeholdes. Kopiering fra denne bog må kun finde sted på institutioner, der har indgået aftale med Copydan, og kun efter de i aftalen nævnte rammer. Undtaget herfra er korte uddrag til anmeldelse.

5 INDHOLD Forord 11 KAPITEL 1 Indledning 13 Om at blive spurgt 13 Om at ønske svar 14 Spørgeskemaundersøgelser en gammel teknik 15 Er spørgeskemaundersøgelsen den rigtige metode? 18 Bogens opbygning spørgeskemaprocessen 21 KAPITEL 2 Spørgeskemaprocessen fra start til slut 25 Undersøgelsens faser 25 Baggrund og interessenter 26 Styregrupper og følgegrupper 28 Intern eller ekstern undersøgelse 28 Lav en plan 32 Aftaler 38 Afrunding 39 KAPITEL 3 Målgrupper de nemme og de svære 41 Definér målgruppen 41 Kendte og ukendte grupper 43 Kendte målgrupper 44 Ukendte målgrupper 48 Hvem er de svære målgrupper? 50

6 Etik og målgrupper 64 Afrunding 66 KAPITEL 4 Stikprøver og repræsentativitet 69 Centrale begreber 70 Den repræsentative stikprøve 71 Undersøgelsens usikkerhed 72 Svar og fordeling 73 Totalundersøgelse 75 Stikprøve og svar er ikke det samme 76 Den mindste enhed 76 Nålen i høstakken 78 Små stikprøver 79 Udvælgelse af svarpersoner 79 Stikprøver blandt skjulte og særligt-svære-at-nå-målgrupper 85 Bortfald og repræsentativitet 87 Etiske overvejelser 94 Afrunding 95 KAPITEL 5 Dataindsamling generelt og via nettet 97 En indsamlingsplan 98 Det gælder om at give svarpersonen lyst til og mulighed for at svare 99 Følgebrevet skal sælge undersøgelsen 100 Gaver og præmier 106 Når folk ikke umiddelbart svarer 107 Rykkerprocedurer 108 Praksis bag at rykke for svar 109 Internettet spørgeskemaernes motorvej 110 Den internetbaserede spørgeskemaundersøgelse 110 Hvornår skal man benytte sig af internettet? 111

7 Faktuelle emner 112 Muligheden for de svære emner 113 Internetundersøgelsen i praksis 114 Datakvalitet 116 Gør det selv eller gå til eksperten? 117 Afrunding 118 KAPITEL 6 Andre indsamlingsformer 119 De store klassikere 119 Besøgsinterviewet 120 Indsamling via papirspørgeskema 122 Telefoninterview 128 Andre former for indsamling 132 Svar via sms 134 Facebook, LinkedIn, Twitter m.fl. 135 Big Data 137 Afrunding 138 KAPITEL 7 Spørgeskemaets spørgsmål og svar 141 Første fase: Tjek din egen viden 142 Anden fase: operationalisering 143 Tredje fase: spørgsmålsformulering 152 Fjerde fase: gode svarkategorier 161 Pålidelighed og gyldighed 167 Etiske overvejelser 169 Afrunding 169 KAPITEL 8 Kunsten at konstruere spørgeskemaet 171 Hvor langt må skemaet være? 172

8 Spørgsmålsrækkefølge 174 Layout af spørgeskemaet 181 Afrunding 185 KAPITEL 9 Analyse af spørgeskemadata 187 Datamatricen og valg af analyseprogram 187 Etiske overvejelser 188 Fra spørgsmål til variable kodebog 189 Indtastning eller scanning 191 Måleniveauer: Spørgsmålene bestemmer analysen 193 Bortfaldsanalyse 196 Analyse af kategorivariable 198 Analyse af kontinuerte variable 200 Analyse af åbne besvarelser 201 Afrapportering tabeller og grafer 202 Etiske overvejelser i analysefasen 207 Afrunding 208 KAPITEL 10 Spørgeskemaer i evalueringer 211 Typer af evalueringer og evidens 211 Evalueringsbegreber 213 Spørgeskemaer i evalueringen 214 Evalueringstyper 215 Valg af evalueringsmodel 218 Evaluering skal tænkes med fra starten 221 Afrunding 223 KAPITEL 11 Professionel hjælp 225 Indtjening er et grundlæggende vilkår 225

9 Hvilket firma skal man vælge? 226 Etiske overvejelser 241 Afrunding 242 Forfatterbiografier 245 Litteratur 247 Indeks 251

10

11 11 FORORD Denne bog kom oprindeligt i stand, fordi en gruppe på 14 personer nogle under uddannelse, andre fra forskningsverdenen og atter andre fra private og offentlige arbejdspladser jævnligt satte sig sammen for at diskutere de udfordringer, vi oplevede, når vi brugte spørgeskemaer i vores hverdag. En udløsende faktor for at skrive bogen var, at vi selv manglede indholdet fra bogen i vores arbejde. En anden vigtig faktor var et ønske om at dele ud af vores erfaringer fra arbejdet med spørgeskemaer. Bag bogen står således forfattere, der selv har stor erfaring med spørgeskemaundersøgelser, og som derfor har haft glæder og udfordringer ved at arbejde med spørgeskemaundersøgelser tæt inde på livet. En tredje faktor var ønsket om at skrive en bog, hvor man kan få svar på en række af de spørgsmål, som andre bøger ofte ikke dækker, men som er vigtige, når man første gang selv skal gennemføre en spørgeskemaundersøgelse. Bogen Spørgeskemaer i virkeligheden udkom første gang i Da forlaget henvendte sig med henblik på en ny udgave, besluttede vi at benytte lejligheden til ikke bare et indføje et par småændringer, men til delvist at omskrive bogen. Mange af os arbejder stadig meget med spørgeskemaundersøgelser, følger udviklingen på området, oplever de fejl, der tilsyneladende altid vil være på området, og har samlet nye erfaringer, viden og eksempler. Derfor er bogen på én gang den samme og alligevel meget forskellig fra førsteudgaven. Nogle emner er tonet ned, andre har fået mere plads, og nye er tilføjet. Spørgeskemaer i virkeligheden er således i endnu højere grad end før tænkt som en guidebog, som kan lede læseren igennem hele spørgeskemaprocessen fra ide til analyse og afrapportering, ligesom man kan anvende den på de områder, hvor man har brug for inspiration, støtte eller gode råd. Den nye version af Spørgeskemaer i virkeligheden er skrevet af fem forfattere. Men den hviler på arbejdet og ikke mindst diskussionerne og rådene fra de ni andre, der var med ved første udgave. Det er derfor vigtigt at nævne dem her og vide, at de var med i skabelsen af bogen, også selvom vi i denne udgave har skrevet de tidligere kapitler om, slettet nogle, tilfø-

12 12 FORORD jet andre og givet bogen en anden struktur. En stor tak skal derfor lyde til Anne Sofie Fink, Anne Maria Foldgast, Therese Heltberg, Dorthe Skov Jeppesen, Line Vikkelsø Slot, Bent Bolding Vestergård, Marie Louise Widding og Charlotte Teller Aas, som var medforfattere på bogens første udgave. Ligesom med den første udgave er vores formål med bogen at give andre lyst til at gå i gang med en spørgeskemaundersøgelse. Vi håber, at vi ved at dele vores viden og erfaringer, kan guide læseren gennem spørgeskemaprocessen, give nogle redskaber til at vælge den rigtige metode, formulere gode spørgsmål og svar og ikke mindst klæde læseren godt på til at forholde sig kritisk til sine valg i forbindelsen med gennemførelsen af en spørgeskemaundersøgelse. Med de ord håber vi, at læseren vil blive lige så interesseret i at lave det gode spørgeskema, som vi er. Vi ønsker god arbejdslyst!

13 Kapitel 1 13 KAPITEL 1 INDLEDNING Denne bog handler om, hvordan man gennemfører en spørgeskemaundersøgelse og stiller de gode spørgsmål også når man ikke har helt ideelle forhold. Hvad skal man tænke på som studerende, som bestyrelsesmedlem, som underviser eller hr-medarbejder, der gerne vil lave en spørgeskemaundersøgelse? Med bogen vil vi anvise, hvad man bør tage højde for i den gennemførte undersøgelse. Samtidig ved vi, at der kan være langt fra ideal til virkelighed. Et godt eksempel herpå er spørgsmålet om svarprocenter. Her siges det ofte, at svarprocenten bør være på mindst 70 % og helst mere, hvis en undersøgelses datagrundlag skal anses som troværdigt, og man skal kunne lave statistiske beregninger på resultaterne (Thisted 2011: 140). I praksis er det dog langt fra altid muligt, og i nogle sammenhænge er det ligefrem helt umuligt at få så høj en svarprocent. Hvad gør man så? Andre spørgsmål, denne bog diskuterer, er: Hvad gør man, når man vil spørge unge? Når man vil spørge ældre? Bør man udlodde præmier for udfyldelsen af spørgeskemaet, og hvilke konsekvenser har det? Er det en god eller dårlig ide at gøre brug af papirspørgeskemaer til at indsamle sine data? Det er nogle af de emner, som denne bog tager op. OM AT BLIVE SPURGT Vi udsættes for spørgeskemaer langt flere steder, end vi tænker. Knapt er man kommet ind på en hjemmeside, før al videre læsning standses af, at en undersøgelse popper op på skærmen, og man bedes hjælpe med at svare på et par spørgsmål f.eks. omkring brugen af hjemmesiden. Det samme sker, når man ringer til sit forsikringsselskab. Også her oplever man ofte, at al videre fremfærd stoppes af adskillige elektroniske spørgsmål om, hvorvidt man efterfølgende vil svare på nogle spørgsmål om den service, man kommer til at modtage under opkaldet. På tilsvarende vis

14 14 Indledning bliver vi ringet op og spurgt om det ene eller andet, opfordres til at deltage i avisafstemninger, medarbejdertilfredshedsmålinger, servicetilfredshedsundersøgelser osv. Når man bliver ringet op en aften af Gallup, stoppet af en interviewer på gaden eller via sin modtager opfordring til at svare på et spørgeskema om medarbejdertrivsel på arbejdspladsen, er det nemt at blive irriteret både over det, man bliver spurgt om, måden, man bliver spurgt på, og tiden, man skal bruge på at svare. Piet Hein beskriver det fint i sit lille gruk, der lyder: Man bli r rørt, når man bli r spør t, men man bli r ked, når det bli r ved. Det er svært ikke at ryste på hovedet over at skulle spilde tid på endnu en undersøgelse eller at nedgøre både form og indhold i det spørgeskema, man forventes at svare på. OM AT ØNSKE SVAR Helt anderledes er det, når man er den, der skal lave undersøgelsen. Når man er den, der synes, man har en god grund til at gå ud og bede andre om at afgive svar. Hvis man vil have folk til at tage en undersøgelse seriøst og realisere det fulde udbytte af spørgeskemaet, er det af stor vigtighed, at man husker på sin egen ærgrelse over dårlige spørgeskemaer. Derfor skal man gøre sit forarbejde grundigt. Uanset hvem man er, eller hvad man skal bruge sit spørgeskema til (om undersøgelsen er stor eller lille), er det vigtigt, at man får spurgt de rigtige, stillet de gode spørgsmål, sikret, at man kommer omkring sit emne, at spørgsmålene er forståelige og entydige, svarkategorier dækkende osv. Det er med andre ord mange af den samme slags problemer, man støder på, uanset om man skal lave en spørgeskemaundersøgelse som studerende, er ansvarlig for medarbejdertrivslen i firmaet eller skal spørge et repræsentativt udsnit af befolkningen. Selv garvede forskere oplever at ærgre sig, når de opdager, at de har fået svar på det forkerte, at folk ikke har forstået, hvad der blev spurgt om, eller ikke vil deltage. Selvfølgelig bliver man med tiden bedre til at opdage de mest gængse fejl, men faktum er, at det er et svært håndværk at lave et godt spørgeskema. Gennem tiden er der kommet et stigende fokus på begreber som effekt og evidens ud fra et ønske om at skabe dokumentation for, hvad der vir-

15 Kapitel 1 15 ker eller ikke virker. Der er en tendens til, at kvantitative metoder herunder spørgeskemaer og alt hvad der kan tælles, måles og vejes bliver anset for den mest rigtige metode til at vise, om en given indsats virker. Det er en væsentlig grund til, at vi har medtaget et kapitel om dette i bogen. Vigtige beslutninger træffes ofte begrundet i svar hentet via spørgeskemaundersøgelser (Juul 2010: 253). Som led i dette er der et stærkt fokus på svarprocenter og på de teknikker, der bruges til at analysere svarene. Til gengæld ser man alt for sjældent, at der rettes et kritisk blik mod dels fundamentet for det, man måler med selve spørgsmålene i spørgeskemaet, dels hvem der har besvaret spørgeskemaet: Var det de rigtige personer, der blev spurgt? Forstod de spørgsmålene? Havde man givet dem de rigtige svarmuligheder, og havde de svaret noget helt andet, hvis man havde spurgt lidt anderledes? Det betyder, at de massive statistiske analyser og de beslutninger, der begrundes i disse analyser, risikerer at være fejlagtige kolosser på lerfødder hvis man ikke er sikker på, hvad der er spurgt om. En yderligere årsag til at tænke sig grundigt om, før man går ud og undersøger det, man gerne vil undersøge, er, at man med spørgeskemaundersøgelser kun har ét forsøg. Man sender ikke sit skema ud til personer igen, fordi det første spørgeskema ikke fungerede. Man kan heller ikke bede medarbejderne om at svare på trivselsundersøgelsen igen, og man har normalt ikke tid eller energi til på ny at opsøge folk, der kan svare på ens spørgsmål. Det gør tiden, før man sender sit færdige spørgeskema ud ad døren, meget vigtig. Og det er denne tid, bogen her i særdeleshed fokuserer på. SPØRGESKEMAUNDERSØGELSER EN GAMMEL TEKNIK Der er ingen tvivl om, at spørgeskemaer i dag nyder særdeles stor popularitet og bliver brugt i mange forskellige sammenhænge. Men det betyder ikke, at det er en moderne metode. Gennem tusindvis af år har der været tradition for at optælle, registrere og samle viden om folk. Det skete f.eks. i det gamle Kina, Egypten, Grækenland og antikkens Rom, hvor centraladministrationen opnåede viden om befolkningen via kirken, adelen eller lignende centrale personer eller instanser i samfundet; hvor mange boede

16 16 Indledning der? hvilke livsbetingelser havde de? osv. På denne baggrund vidste man blandt andet, hvor mange man kunne skrive ud som krigere, og hvilke skatteindtægter man kunne regne med. Til en start har der ganske vist ikke været tale om spørgeskemaer, sådan som vi kender dem i dag, og det var relativt få men vigtige informationer, man indsamlede (Petersen 2005). Den første brevbaserede spørgeskemaundersøgelse daterer sig, os bekendt, til Det blev udsendt af en skotsk forsker fra det dengang helt nye skotske statistiske kontor, hvor han var eneste ansatte. Et spørgeskema på mere end 100 spørgsmål blev sendt ud til samtlige 938 kirkesogne i Skotland. Manglende svar blev fulgt op af håndskrevne rykkere. Efter et stykke tid blev rykkerne skrevet med blodrødt blæk for at minde om, hvad der ville ske, hvis der ikke blev svaret. Det tog op til 23 (!) rykkere at få undersøgelsen færdig, men svarprocenten var også 100 %. Dermed har man en fuldstændig opgørelse over en række detaljer om den skotske befolkning omkring år 1800 udfyldt vedrørende de enkelte familier af en repræsentant fra kirken i hvert af sognene. Man skal relativt langt op i historien, før man begyndte at spørge befolkningen selv i stedet for at indhente viden via centrale og udvalgte personer i samfundet. Når man tidligere spurgte en repræsentant, frem for befolkningen selv, skyldtes det i høj grad, at hovedparten af befolkningen var uuddannet og uden mulighed for selv at læse spørgsmålene endsige svare. Derudover var adgangen til befolkningen dårlig, eller man manglede tillid til deres svar. Selv en historisk fremtrædende person som Karl Marx benyttede sig af svar fra fabriksejere, da han skulle indhente viden om de sociale forhold for arbejderne (Prarie Research Associates 2014). Spørgeskemaundersøgelsen, som vi kender den som en metode, hvor man spørger den enkelte person selv er således en relativ ung videnskab. Ikke desto mindre har den allerede været igennem tre forskellige æraer (Groves 2011). I særlig grad siden 1930 erne er en række grundelementer i dataindsamlingsmetoden blevet udviklet, ligesom man har udviklet og forfinet de metoder, hvormed man kunne indsamle data og bearbejde svarene statistisk. I forhold til de tidligste dataindsamlinger fik man øget statistisk viden. Det blev således fastlagt, at man ikke behøver deltagere i en undersøgelse for at kunne bruge svarene til no-

17 Kapitel 1 17 get. Eller, som i den skotske undersøgelse, behøver at sende 23 rykkere for at få svar fra alle. Er deltagerne i undersøgelsen udvalgt godt nok det vil sige, udgør den lille gruppe et fuldstændigt billede af den store gruppe er det tilstrækkeligt at have svar fra 600 til personer. Svarene er anvendelige, såfremt man bare sikrer sig, at de, der er adspurgt, og de, der svarer, kan siges at udgøre et miniaturebillede af det store. Små udtræk gør en undersøgelse betydeligt billigere og langt hurtigere. I perioden fra 1960 til 1990 oplevede man en eksplosiv vækst i brugen af spørgeskemaundersøgelser. Dette skyldtes, at de nye billigere og sikre metoder gjorde spørgeskemaet til et meget eftertragtet værktøj i forhold til at indsamle data. Værktøjet blev i perioden anvendt i stigende grad af forskere, men også i udpræget grad af myndighederne. Spørgeskemaet blev i det hele taget brugt af stadig flere til at få svar på stadig flere emner. Svarprocenterne var gode, hvilket afspejlede sig i en regel om, at en undersøgelse med en svarprocent på mindre end % ikke var værd at bruge (Groves 2011). I de sidste år har svarprocenterne dog været faldende både i Danmark og andre lande i Vesten. Som eksempel kan nævnes, at SFI Det Nationale Forskningscenter for Velfærd, som i Danmark er meget anerkendt for sine store spørgeskemaundersøgelser, har oplevet et fald i svarprocenter på 10 procentpoint over en 10-årig periode en udvikling, som også de store danske analysefirmaer, som f.eks. Gallup, Vilstrup og Rambøll, kan nikke genkendende til (Hansen 2006: 112). I særlig grad blandt nogle erhvervs- og aldersgrupper oplever man, at det er svært at få mere end omkring hver tredje til at svare. Dette har ført til stigende anvendelse af andre metoder end spørgeskemaundersøgelsen til at søge svar. Det kan f.eks. være svar via de aftryk, folk afsætter elektronisk, når de bruger nettet (de såkaldte Big Data), som nogle brancher anvender. Uanset at vi i Danmark har fået stadig bedre styring af, hvem vi beder om at deltage i en undersøgelse, og dermed stadig bedre mulighed for at sikre os, at vi spørger den rigtige målgruppe, er det problematisk at benytte svarene, hvis kun et mindretal besvarer undersøgelsen. Og selvom vi i dag har gode muligheder for at kontakte respondenterne via alverdens platforme elektronisk, via telefon, brev, opsøgende arbejde på adressen m.m. er det et problem, at stadig færre ønsker at svare. Spørgeskemaun-

18 18 Indledning dersøgelsen som metode er derfor i ændring i disse år, hvor svarprocenterne falder (Daniel 1975; Keeter m.fl. 2006). Det er imidlertid fortsat så attraktivt at kunne stille spørgsmål og få svar, at spørgeskemaundersøgelsen næppe er en metode, der forsvinder. INFO Den repræsentative undersøgelse en mulighed for at forudse valgets resultater Helt centralt for udbredelsen af den moderne spørgeskemaundersøgelse har været udviklingen af den repræsentative spørgeskemaundersøgelse, der startede i USA. Hertil knytter der sig en sjov historie. Frem til begyndelsen af det 20. århundrede så man i amerikanske aviser og magasiner mange forsøg på at forudsige resultaterne af de amerikanske præsidentvalg. Det skete på baggrund af simple spørgeskemaer, som blandt andet blev trykt i aviser, fremlagt på spisesteder osv. Der var tale om undersøgelser med uddeling af 10, 15 eller 20 millioner spørgeskemaer. Naturligvis kom ikke alle skemaer retur, men man kan vist roligt sige, at der alligevel var tale om et utrolig stort antal set i forhold til de undersøgelser, vi laver i dag. Ingen havde på det tidspunkt bekymret sig om repræsentativitet altså om svarene repræsenterede hele befolkningen frem for specifikke grupper og som resultat heraf skød et magasin, der ellers havde haft succes med at forudsige valgresultater, pludselig helt forbi ved valget i Her havde magasinet på grund af manglende repræsentativitet i svarene fejlagtigt tippet præsidentkandidaten Alfred Landon til at vinde med 57 % af stemmerne, mens resultatet blev, at Franklin D. Roosevelt vandt en stor sejr med 61 % af stemmerne. Den fejlagtige meningsmåling blev til vand på møllen for en ung psykolog ved navn Georg Gallup. Kort forinden valget havde Gallup åbnet sin egen virksomhed, The Gallup Organization, og havde forsøgt at pippe om, at magasinet ikke ville udpege den rette vinder. Han havde nemlig fundet en ny metode, som blandt andet gik ud på at spørge færre, men korrekt udvalgte, og denne metode gjorde ham i stand til med stor sandsynlighed at forudse eksempelvis valgresultater. Efter valget opstod en forståelse af vigtigheden af repræsentativitet, og man begyndte at tale om Gallup-målinger som et etableret begreb og en anerkendt metode (Madsen 2007). ER SPØRGESKEMAUNDERSØGELSEN DEN RIGTIGE METODE? Traditionelt har man skelnet mellem kvantitative metoder (primært spørgeskemaundersøgelser) og kvalitative metoder (primært personlige inter-

19 Kapitel 1 19 view). Hver af disse metoder har deres fordele og ulemper (Riis 2000). Spørgeskemaundersøgelsen har sin styrke, hvis man er interesseret i at kunne sige noget om, hvor udbredt et fænomen er f.eks. hvor mange unge der har prøvet at være fulde, før de fylder 16 år. Fordi den inddrager svar fra mange personer, kan spørgeskemametoden give adgang til viden, som selv nok så grundige interview med enkeltpersoner ikke vil kunne afsløre. Fordelen ved spørgeskemaet er således, at man får svar fra mange og kan danne sig indtryk af nogle mønstre i svarene blandt dem, man spørger. I andre sammenhænge kan få, men dybdegående personlige interview med de rigtige personer være mere informative og givende end svar fra mange på et spørgeskema. Forskellen på kvantitative og kvalitative data er således, hvilken viden man får. Spørger man kvantitativt om f.eks. indkomst, vil man få en række svar, som man dernæst kan prøve at se, om der er mønstre i. Hvem tjener hvad? Tjener mænd og kvinder lige meget? Hvad betyder mest: arbejde eller penge? osv. Spørger man kvalitativt, vil man f.eks. få viden om, hvad det at tjene penge betyder for en, hvad man bruger dem på, og hvilken prestige eller mangel på samme det giver at have eller ikke have penge. Når man skal afgøre, om man vil lave en kvantitativ eller kvalitativ undersøgelse, er det således væsentligt først at gøre sig klar, hvilken type viden man skal bruge. INFO Typiske metoder deres styrker og svagheder Kvalitative interview: I kvalitative interview taler man med personer, der har en indsigt i det fænomen, man vil undersøge. Interviewene kan være mere eller mindre strukturerede typisk bruger man semi-strukturerede interview, det vil sige, at man på forhånd har formuleret en række spørgsmål. Disse spørgsmål strukturerer emnerne i interviewet, men kan afviges, hvis andre eller nye områder viser sig mere interessante. Fordelen ved kvalitative interview er, at man får indsigt i personlige overvejelser, begrundelser for holdninger og adfærd osv. Ved udvælgelsen af interviewpersoner handler det ikke om repræsentativitet, men om indsigt og perspektiver på problemstillingen. Når man vælger sine interviewpersoner, vælger man dem, man mener, har en god viden eller har en god position i forhold til at skabe viden om det valgte emne. Styrke: Indsigt og dybde. Svaghed: Det kan være svært at generalisere og få overblik over, hvor udbredt et givet fænomen kan være.

20 20 Indledning Forsøg: I forsøg er der tale om kunstigt opstillede situationer, der har til formål at undersøge bestemte og afgrænsede problemstillinger. Der er mange eksempler på forsøg. Man har f.eks. lavet forsøg med kun at give halvdelen af en klasse let adgang til litteratur for at undersøge, om en lettere adgang har betydning for læsningen. På samme vis har Rockwool Fonden lavet forsøg med mikrolån, hvor man i første omgang kun gav nogle afrikanske landsbyer adgang til mikrolån for at kunne måle, hvilken betydning det havde. Senere åbnede man det for alle. Styrke: Man kan få indblik i bestemte problemstillinger og en viden om, hvordan de fungerer. Svaghed: Kan være svære at lave. Er som regel omkostningstunge. Kræver omhyggelige forberedelser. Deltagerobservation: Ved deltagerobservation deltager man som forsker i det sociale fænomen, man vil undersøge. Man interviewer og observerer deltagerne, men oplever det også på egen krop. Styrke: Kan give unikt indblik i komplekse sociale fænomener. Svaghed: Kræver meget tid, hvis det skal være effektivt. Stiller store krav til en selv. Spørgeskemaer: Spørgeskemaer kan ses som et systematiseret interview, hvor man som afsender har valgt, hvad der skal spørges om og hvordan. Det stiller væsentlige krav til forberedelsen, hvis man skal have et godt udbytte af indsatsen. Styrke: Muligheden for at generalisere. Muligheden for at se sammenhænge, der er uerkendte af respondenten selv samt afsøgning af, hvor udbredte et givet fænomen er. Svaghed: Kræver meget forarbejde, kan være dyre at lave og kan ikke sige meget om, hvordan respondenterne selv opfatter og forstår et givet fænomen. Da bogen handler om spørgeskemaundersøgelser, vil der ikke være yderligere overvejelser om det kvalitative interview undervejs i bogen. Vi vil dog opfordre til, at man løbende tænker over, hvilken metode der er rigtig i forhold til det, man gerne vil vide. Har man reelt brug for at spørge mange (kvantiteten)? Eller omvendt, har man brug for en dybdegående viden (kvaliteten)? Har man alligevel adgang til så få, at det giver mere mening med kvalitative interview end med et spørgeskema? Måske er der tale om en kombination af disse? Her må man lade den aktuelle problemstilling råde og træffe valget af metode ud fra denne.

21 Kapitel 1 21 BOGENS OPBYGNING SPØRGESKEMAPROCESSEN Bogen medtager alle de aspekter, der er på spil, og følger de processer, man skal igennem, når man vil lave en spørgeskemaundersøgelse: Fra ideen til undersøgelsen opstår, til man vælger, hvilken metode man vil bruge, hvem man vil spørge og hvor mange, hvordan man får fat i dem, hvordan man vil samle svarene ind, hvilke spørgsmål man vil stille, og hvordan man kan analysere data bagefter. Derudover har vi medtaget to supplerende kapitler. Det ene kapitel handler om evalueringer, som er et område, hvor der ofte bruges spørgeskemaer, men også et felt, mange står lidt usikkert over for. Det andet kapitel beskriver en række af de overvejelser, man kan gøre sig, såfremt man har et analysefirma til at hjælpe sig med at gennemføre spørgeskemaundersøgelsen. Vi har i bogen megen fokus på de etiske overvejelser, der bør indgå som fast bestanddel i en undersøgelse herunder også en spørgeskemaundersøgelse. De etiske aspekter er nævnt, der hvor de er vigtige i de enkelte kapitler. Dette har vi gjort, fordi etiske overvejelser efter vores mening bør indgå i alle led af opbygningen af et spørgeskema og indsamlingen af svar. Det er samtidig et område, der alt for ofte negligeres og overses. Det er vores pointe, at etiske overvejelser skal inddrages i alle led af processen, og at det ikke skal ses som noget, der skal overstås, men snarere som et værktøj, der er med at til at kvalitetssikre ens arbejde. Kapitel 2: Spørgeskemaprocessen fra start til slut. I dette kapitel beskriver vi de overordnede processer når man vil gennemføre en spørgeskemaundersøgelse. Der fokuseres på tre centrale faser i en undersøgelse planlægnings-, gennemførelses- og formidlingsfasen. Der præsenteres også forskellige overvejelser over, hvordan man skal forholde sig, når man gennemfører en undersøgelse, hvor der er flere interessenter på spil, samt hvilke fordele og ulemper der kan være ved henholdsvis en ekstern og en intern spørgeskemaundersøgelse. Kapitel 3: Målgrupper de nemme og de svære. Kapitlet handler om, hvem spørgeskemaet er rettet mod. Alt efter målgruppen er der forskellige overvejelser, man skal gøre sig. Kapitlet beskæftiger sig med kendte og ukendte målgrupper og rummer særlige afsnit om de grupper, det erfaringsmæssigt er særlig vanskeligt at opnå svar fra, såsom unge, ældre og minoriteter.

22 22 Indledning Kapitel 4: Stikprøver og repræsentativitet. En central problemstilling ved brugen af spørgeskemaer er, hvordan man udvælger den gruppe, der skal svare på spørgeskemaet. Dette kapitel arbejder med de forskellige overvejelser, man skal gøre sig omkring udvælgelsen, og diskuterer strategier til opbygning og udvælgelse af stikprøver. Også tankegangen om, at man ved at spørge en lille gruppe kan belyse en stor gruppes holdning til et givet emne altså spørgsmålet om repræsentativitet diskuteres. Kapitel 5: Dataindsamling generelt og via nettet. Med udgangspunkt i det internetbaserede spørgeskema gennemgår vi først hele processen omkring dataindsamlingen. Herunder også en række ting, der er fælles for alle måder at indsamle data på, uanset hvordan man vælger at samle ind. Dernæst går vi lidt mere i dybden med forhold, der mere specifikt har med dataindsamling via internettet at gøre. Kapitel 6: Andre indsamlingsformer. Dette kapitel gennemgår de tre klassiske indsamlingsformer det postale spørgeskema, besøgsinterviewet samt telefoninterviewet. Derudover ser vi på nogle af de nye former, der vinder popularitet i disse år. Kapitel 7: Spørgeskemaets spørgsmål og svar. Et spørgeskema er jo ikke andet end en samling af spørgsmål, som navnet antyder. Det betyder også, at kvaliteten af spørgsmål og svarmuligheder bliver afgørende for de svar, man får ud af spørgeskemaet. Men det er svært at lave gode spørgsmål og svarkategorier. I kapitlet beskrives en række af de overvejelser, man med fordel kan gøre sig i den forbindelse. Kapitel 8: Kunsten at konstruere spørgeskemaet. Dette kapitel handler om den overordnede opbygning af spørgeskemaet. Hvilke spørgsmål kan med fordel stå først eller sidst i skemaet? Hvad betyder rækkefølgen af spørgsmålene? Og hvor langt skal skemaet være? Kapitel 9: Analyse af spørgeskemadata. Dette kapitel beskriver, hvad man gør, når man har fået sine besvarelser retur. Kapitlets fokus er på de indledende analyser, herunder den såkaldte datarens, og en række overvejelser om, hvordan man får formidlet resultaterne bedst muligt igennem diverse tabeller og diagrammer. Kapitel 10: Spørgeskemaer i evalueringer. Evaluering er i de seneste årtier blevet et af de hyppigst brugte redskaber til at forbedre og sikre kvaliteten af indsatser og projekter. Kapitlet rummer en gennemgang af for-