ca. 20 min. SPØRGESKEMA- DESIGN

Transkript

1 statstudio. ca. 20 min. SPØRGESKEMA- DESIGN All rights reserved. Et godt spørgeskema er naturligvis helt essentielt for kvaliteten af din surveyundersøgelse. Du er garanteret stødt på hundredevis af spørgeskemaer gennem dit liv. De er overalt - men i meget varierende kvalitet. Denne guide er mit forsøg på at lave en let og hurtiglæst introduktion til de vigtigste overvejelser du bør have, når du skaber dit spørgeskema. OVERSIGT Side 1 af 17

2 INDHOLD Tjekliste for et godt spørgeskema 3 Lad os dykke lidt længere ned i det 4 Vi skal lige have styr på sproget 5 At indsamle tanker med fiskestang 6 Vi kan desværre ikke få viden om alt 7 Sådan bør du opbygge din survey 9 Vejen til det gode spørgeskema 10 Formulér et præcist formål 10 Definér dine kernebegreber 11 Spørgsmålstyper 11 Tip 1 Præcise og konkrete spørgsmål 13 Tip 2 Balancerede og udtømmende svarkategorier 14 Eksempel 16 Side 2 af 17

3 TJEKLISTE FOR ET GODT SPØRGESKEMA GENNEMGÅ DIT SPØRGESKEMA MED DENNE TJEKLISTE OG SKAB NOGET FANTASTISK Er dit formål med surveyundersøgelsen præcist og konkret? Har du sørget for klart at definere surveyundersøgelsens kernebegreber, fagbegreber eller andre konkrete begreber som du anvender? Er dine spørgsmål præcise og konkrete i deres formulering? Spørger du kun om én ting ad gangen? Er dine svarkategorier udtømmende og dækker alle de relevante udfald, som er relevante at svare på spørgsmålet? Er der symmetri i dine svarkategorier? Har du forsøgt at gøre dine holdningsspørgsmål så specifikke som mulig? Er dine spørgsmål og svarkategorier neutrale og ikke ledende? Har du husket at inddrage relevante baggrundsvariable, fx køn, alder, indkomst m.v.? Har du husket at give alle dine svarkategorier et nummer - som du senere skal anvende i fx Excel? Har du opsat det hele pænt, udryddet stavefejl og lavet en god og motiverende indledning? Side 3 af 17

4 LAD OS DYKKE LIDT LÆNGERE NED I DET FÅ VÆRKTØJERNE TIL AT OPBYGGE DIN EGEN PROFESIONELLE SURVEY Jeg har allerede præsenteret dig for min tjekliste til en fantastisk god survey. Brug den, følg den og rediger dine spørgsmål, til du synes de sidder i skabet. Selvom du virkelig har tænkt dig godt om undervejs, da du skabte dine spørgsmål og svarkategorier, er det umuligt at tænke på alt på én gang. Nu skal vi ned i mullen, blive beskidte og fange de vigtige elementer fra min tjekliste. Jeg vil lære dig at opbygge en vildt god survey fra bunden af. Fra den spæde idéfase til spørgsmålsformulering, svarkategorier, design og opsætning til indsamling og overførsel af data til Excel. Tjeklisten hjælper dig til at fokusere på ét element ad gangen, og vurdere brugbarheden ud fra et perspektiv. Tjeklisten er kun et overblik - et rids i overfladen. Jeg vil give dig det hele, så du er klar til at gå ud på arbejdsmarkedet, og indsamle værdifuld information til din arbejdsgiver. Der er brug for det - og efterspørgslen efter viden om surveys, statistik og undersøgelser vil kun vokse i fremtiden. Side 4 af 17

5 Vi skal lige have styr på sproget Vi skal lige have styr på lidt centrale begreber og termer. Jeg skal nok skåne dig for alle mulige statistiske begreber, men de mest basale kommer vi ikke uden om: Svarprocent: Angiver hvor stor en del af respondenterne, som har besvaret din survey. Bortfald: Angiver hvor stor en del af respondenter, som ikke har ønsket at besvare din survey. Survey: En spørgeskemaundersøgelse der bygger på en udtaget stikprøve. Respondenter: Betegnelse for de personer, virksomheder eller organisationer der besvarer din survey. Kan også gå under navnet Ip (interviewperson). Datasæt: Den data vi sidder tilbage med i fx et Excel-ark, når vi har opsat vores survey, udsendt den til respondenterne, indsamlet data og åbnet dette i Excel. Vi er nu klar til at analysere datasættet - hvilket jeg nok skal lære dig senere. Side 5 af 17

6 AT INDSAMLE TANKER MED FISKESTANG DET HANDLER OM AT FORSTÅ DINE RESPONDENTER Det måske allervigtigste er at huske på, at I bund og grund undersøger vi mennesker, menneskers handlinger, holdninger, ønsker og behov. Det er ikke robotter eller sten - tværtimod er mennesker nogle lumske nogle. Den ene dag kan de mene det ene, men når de så har været hjemme og tale med konen, eller mødt en gammel kollega i bussen, så mener de pludselig noget andet. Du skal være vaks, og du skal dygtiggøre dig i, at stille så præcise, letforståelige og mindst ledende spørgsmål som mulig. Du skal lære at se menneskers handlinger som viklet ind i et net af påvirkning. Mennesker gør en masse ting. Nogle gange fordi, de er på en bestemt måde, har besluttet for sig noget særligt, har bestemte værdier og holdninger. Andre gange fordi de er dybt sociale, og ofte gør det samme som en masse andre mennesker - tit ikke fordi de har besluttet sig for at gøre dette, men fordi de ubevidst gør det samme som mennesker omkring dem. Endnu andre gange af ren tilfældighed. Har du prøvet at gøre noget, som du ikke selv har kunne forklare? At du gjorde noget, hvor du bagefter tænkte: What - hvad skete der lige der? Det har jeg i hvert fald. Ville jeg få et godt og korrekt svar, hvis jeg spurgte dig nu? Nej, for du kender det jo ikke selv. Side 6 af 17

7 En kvantitativ spørgeskemaundersøgelse (som dette her jo er) handler i virkeligheden om at skabe orden i det kaos som det menneskelige samfund er. Det handler om at finde strukturer og mønstre, som du og din arbejdsgiver kan udnytte. Tænk på alle de gange hvor du er i tvivl om noget bestemt. Og tænk så, hvis det var muligt at kunne få viden og indsamle information, som kunne fjerne din tvivl, så du vidste præcis hvad du skulle gøre. Rart ikke? (=lige præcis). I erhvervslivet kunne det være når en virksomhed sidder og steger over hvordan et produkt markedsføres bedst. Skal man bruge Facebook? Instagram? Hvilke opslag vil hiite? Hvilke vil ikke? Vil kunderne købe produkterne? Til hvilken pris? I hvilken indpakning? I hvilken farve? Hvilke kunder vil helst købe produktet? Hvad er deres største modstand mod at købe produktet? Hvordan kan denne modstand bedst nedbrydes? Det kunne også være når en indkøber skal sikre sig, at have nok rød maling på lager. Hun har ikke råd til at købe for meget. Hun taber penge, hvis hun køber for lidt. Hvor meget skal hun så købe, for at være så sikker som mulig? Vi skal nu kende forbrugernes købsmønstre fordelt på sæson, ugedage og mængder. Kan du se pointen? Vi skal - i en stor verden af usikkerheder - skabe den viden og information, som gør dig og din arbejdsplads i stand til at træffe så gode beslutninger som overhovedet muligt. Er det vigtigt? Ja, for søren da. Det kan jo i sidste ende optegne forskellen på vinderne og taberne. Hvem vil ikke gerne være på vinderholdet. Det skal jeg lære dig at komme. Vi kan desværre ikke få viden om alt Når det er sagt, så må vi nok indse, at vi ikke kan få viden om alt. Slet ikke når vi undersøger mennesker. Side 7 af 17

8 Ny forskning har gennem de seneste år mere konkret set på begrænsninger, når vi undersøger mennesker. Især holdningsspørgsmål (fx Hvad synes du om vores service? eller Hvad synes du om vores indpakning? ) er svære og ofte usikre. Modsat faktuelle spørgsmål (fx Hvor mange gange handlede du i vores butik i sidste uge? eller Hvor gammel er du? ) som ikke sådan lige lader sig ændre, så kan holdninger skifte på et splitsekund. [OBS: Jeg skal naturligvis nok lære dig forskellen på faktuelle og holdningsspørgsmål senere]. Netop udfordringen ved at undersøge mennesker, er jo også det som gør det her så spændende. Du kan hele tiden blive bedre til det, og tiden løber aldrig fra en ny analyse. En analyse du lavede sidste år kan jo ikke bare bruges i 10 år. Menneskers holdninger, handlinger og vaner skifter, og så er det jo heldigt, at vi bl.a. har dig til at undersøge og vide hvornår de skifter. Lad os kaste os ud i det. Du skal ikke lade dig skræmme. Der er ikke nogen vej udenom - og det er bl.a. derfor, computeren ikke bare kan overtage alverdens statistik- og analysejob. Der er brug for et klogt hovede som dit. Excel ser fx bare en masse tal, og tænker slet ikke over de bagvedliggende præmisser, og at det reelt er menneskers meninger, holdning, karakteristika der ligger bag tallene. Side 8 af 17

9 SÅDAN BØR DU OPBYGGE DIN SURVEY SÅDAN BYGGER DU DIN SURVEY EFFEKTIVT OP Du har sikkert allerede set hundredvis af surveys i dit liv. Nogle har sikkert været gode nok - men alt for ofte ser jeg surveys som er opbygget sjusket, vil for meget på for lidt plads, har fejl og spørgsmål der er svære at forstå. Hvordan bør en god survey være opbygget? Der er selvfølgelig forskel på, hvad survey en skal bruges til, men som udgangspunkt er opbygningen simpel - og skal forblive simpel. INTROTEKST Forklar formål og motiver respondenten til at svare. SPM. 1 SVARKATEGORIER SPM. 2 SVARKATEGORIER [OSV.] En god survey består grundlæggende af disse byggesten: TAK Afslut altid med en stor tak for respondentens svar og hans eller hendes tid.! Side 9 af 17

10 VEJEN TIL DET GODE SPØRGESKEMA OVERBLIK OVER EFFEKTIVE VEJE TIL ET FANTASTISK GODT SPØRGESKEMA Jeg vil vise dig de overvejelser du bør have, når du skaber din survey. Undervejs vil jeg vise dig konkrete eksempler, så det ikke bare bliver ligegyldig snak, men noget du med det samme kan forholde dig til. Formulér et præcist formål Fundamentet for at lave et virkelig godt spørgeskema er, at du formulerer et klart og præcist formål. Hvad vil du undersøge? Det lyder som et let spørgsmål. Men pas på: Når du tror, at du har formuleret et klart afgrænset formål, skal det sandsynligvis være endnu mere afgrænset. Det er altid langt bedre at vælge et meget præcist og også ret snævert formål med spørgeskemaet, Side 10 af 17 fremfor at skyde lidt mere i øst og vest. Hvorfor? Fordi det første ofte kræver en del spørgsmål at undersøge noget bestemt, og derfor ville spørgeskemaet simpelthen blive for langt, såfremt du ønskede at spørge om for meget. Fordi det for det andet, vil kunne forvirre respondenten, at du spørger til flere ting på samme tid. Du ønsker jo at få så gode svar som muligt. For at det kan lade sig gøre, har du brug for at respondenten klart opfatter hvad spørgeskemaet handler om, og har den samme forståelse for emnet, som du har. Hver gang du inddrager spørgsmål, som ikke klart kan opfattes som en del af det først valgte og snævre formål, er der stor risiko for, at det støjer og gør det uklart, hvad du præcist spørger til.

11 Derfor: Vælg et virkelig klart og præcist formål. Fx Hvor brugervenligt er vores nye betalingsmodul (selve check-out siden ) på vores hjemmeside? eller Forstod vores kunder vores budskab i vores seneste kampagne XX?. Og netop ikke: Hvor tilfredse er vores kunder generelt?, Hvor glade er vores kunder? eller Hvor lykkelig er du?. Kan du se pointen? Hver gang vi spørger bredt, kan det betyde mange ting, og det bliver i høj grad op til respondenten selv, at forstå præcist hvad du spørger til. Hvad betyder tilfreds? Hvad betyder glad? Hvad betyder lykke? Definér dine kernebegreber Sørg virkelig for, at dine respondenter forstår hvad du spørger til. Hvis dit spørgeskema handler om dit betalingsmodul, så sørg for, at de forstår hvad et betalingsmodul er. Hvis fx et billede af dit betalingsmodul eller skriv Betalingsmodulet stødte du på, da du skulle indtaste dine kreditkortoplysninger da du afsluttede din seneste handel hos os. Hvis du spørger om, hvad dine respondenter synes om dine rabatkuponer, så hvis dem et billede af dine rabatkuponer. Respondenterne kan have glemt at de er stødt på dem, eller de forveksler dem med andre kuponer som du har udsendt. Derfor: Sørg for at dine respondenter forstår hvad du spørger til. Spørgsmålstyper Overordnet set findes der tre typer af spørgsmål, som du kan anvende i dit spørgeskema. Faktuelle spørgsmål er spørgsmål der handler om noget konkret - faktuelt. Det er spørgsmål om respondentens handlinger, adfærd og karakteristika. Baggrundsvariable bygger på faktuelle spørgsmål, fx respondentens bopæl, indtægt, køn og alder. Side 11 af 17

12 Spørgsmål om adfærd (hukommelsesspørgsmål): Hvor hurtigt fik du svar på din henvendelse, da du sidste gang kontaktede os? Har du besøgt vores butik indenfor den seneste måned? Det kan tit være en god idé at anvende disse spørgsmål som et filter, hvor man kan sortere de respondenter fra, som ikke kan svare på denne type spørgsmål. Hvis vi fx ønsker at undersøge, hvad vores kunder i Slagelse synes om det seneste Open-night arrangement, er det naturligt at sortere dem fra som ikke var tilstede denne aften. Vidensspørgsmål (kundskabsspørgsmål) kan fx være spørgsmål som Hvor meget kunne du i sidste uge spare på vores nye kaffemaskine XX? eller Findes der en XX-butik i din by? Igen kan man anvende disse spørgsmål som en test af, om respondenterne forstår hvad du spørger til og derfor vurderes som pålidelige respondenter. Holdningsspørgsmål er spørgsmål der handler om noget mere flydende - holdninger. Det er spørgsmål om respondentens tanker, følelser, værdier, behov og holdninger. Det er også spørgsmål om, hvad respondenten ville gøre, såfremt der skete noget bestemt. Holdningsspørgmål er tit dem, som vi har allermest lyst til at få svar på, men samtidig også de spørgsmål, hvor vi skal passe allermest på. Det er svært at undersøge holdninger. Overordnet set kan vi benytte to former for holdningsspørgsmål: generelle og specifikke holdningsspørgsmål. Specifikke holdninger er mindre farlige at undersøge end generelle holdninger: Generelle holdningsspørgsmål er spørgsmål om respondentens generelle tanker og følelser. Faren er, at det ved generelle holdningsspørgsmål bliver for usikkert, hvad respondenten præcist tænker på, når hun svarer på et bestemt spørgsmål, fx Hvad synes du om vores butik? Når respondenten svarer, tænker hun da på butikkens Side 12 af 17

13 priser, service, indretning, beliggenhed, sortiment osv.? Et specifikt holdningsspørgsmål kunne derimod være: Hvad synes du om den service, som du modtog i vores butik, da du handlede hos os sidst? Du presser her respondenten til at tænke på en konkret episode, hvilket sandsynligvis forhøjer sandsynligheden for, at respondenten svarer mere præcist på, hvad hun tænkte og følte da hun handlede hos os sidst. Det var nogle indledende og overordnede tanker om spørgsmålstyper og spørgeskemadesign. Lad os nu gå i krig med det: Hvordan skaber du et godt spørgsmål? Tip 1 Præcise og konkrete spørgsmål Dit spørgsmål skal handle om én præcis ting. Spørg ikke om flere ting på samme tid, undgå lange og indskudte sætninger og sørg for, at spørgsmålet indeholder den information der er nødvendig for, at respondenten forstår spørgsmålet og at du forstår hvad respondenten helt præcist har svaret på. Fx: Hvor stor er din personlige månedlige indkomst før skat - når du medregner eventuel bibeskæftigelse? Et alternativ: Hvor stor er din indtægt? (Du bedes her angive din personlige månedlige indkomst før skat - når du medregner eventuel bibeskæftigelse?) Hvis du forestiller dig, at du netop nu gik ind i vores butik, hvad ville du først kigge på? Mener du, at mængden af produkter i vores butik er for stor, passende eller for lille? Hvis du tænker på den sidste gang du købte et produkt i vores butik, hvordan vil du vurdere den betjening du modtog ved kassen? Side 13 af 17

14 Hvor stor betydning har din nuværende økonomiske situation for hvor meget du besøger vores butik? Forestil dig, at du var i stand til at købe præcis det produkt i vores butik, som du ville. Hvilket produkt ville du i så fald købe? Har du handlet i vores butik indenfor de seneste 3 måneder? Tip 2 Balancerede og udtømmende svarkategorier Svarkategorierne kan være enten lukkede eller åbne. Åbne svarkategorier kaldes også for kvalitative spørgsmål, fordi respondenten selv styrer sit svar og hvor du kan få et længere svar fra respondenten. Lukkede svarkategorier er de spørgsmål, hvor svarkategorierne er nogle som var har fastsat på forhånd, og hvor respondenten er nødt til at svare indenfor fastlagte rammer. Overenstemmelse: Der skal være overenstemmelse mellem det som du spørger om (selve spørgsmålet) og svarkategorierne. Hvis du fx spørger: Vil du anbefale os til andre? er det naturligt, at respondenten kan svare Ja og Nej. Hvis du i stedet spørger: Hvor sandsynligt er det, at du vil anbefale os til andre? kunne du anvende følgende svarkategorier: Meget sandsynligt, Sandsynligt, Mindre sandsynligt, Ikke sandsynligt. Balance: Svarkategorierne skal være balancerede. Man siger også, at der skal være symmetri. I spørgsmålet ovenfor Hvor sandsynligt er det, at du vil anbefale os til andre? var svarkategorierne netop balancerede, da de gik fra et yderpunkt ( Meget sandsynligt ) til et andet yderpunkt ( Ikke sandsynligt ), og med balance mellem positive og negativ udfald. Udtømmende: Du skal sørge for at svarkategorierne dækker alle de svar, som respondenten tænkes at kunne svare. Hvis man fx spørger til respondentens Side 14 af 17

15 uddannelse, er det ikke så godt, hvis respondenten ikke kan vælge kategorien Erhvervsuddannelse. Hvad hvis respondenten netop har taget denne uddannelse? Et simpelt trick til at undgå dette problem er at inddrage Andet eller Ved ikke som svarkategorier. Men pas på: Hvis en stor del af respondenterne svarer Andet eller Ved ikke, ved du reelt ikke, hvad respondenterne reelt synes, tænker, føler osv. Ledende: Svarkategorierne skal være så neutrale og ikke-ledende som muligt. Et eksempel på ledende svarkategorier kunne fx være spørgsmålet: Lever dit produkt op til dine forventninger? og hvor svarkategorierne er 1: Ja, det er for vildt fedt 2: Pænt meget og 3: Sådan da... Respondenten kan næsten ikke svare noget negativt. Side 15 af 17

16 EKSEMPEL ET EKSEMPEL PÅ EN SIMPEL TILFREDSHEDSUNDERSØGELSE Lad os dykke ned i et helt konkret eksempel. Vi vil lave en simpel tilfredshedsundersøgelse af vores kunders oplevelse af vores betalingsmodul på vores hjemmeside (dvs. oplevelsen af vores check-out side, hvor kunden kan overskue ordren, skal angive sine personlige oplysninger og indskrive sine betalingsoplysninger. Læg for det første mærke til, hvor præcis formålet med tilfredshedsundersøgelsen er. Jeg lader helt bevidst formålet være skarpskåret. Jeg kunne aldrig finde på at opbygge én survey, hvor formålet er at undersøge: Hvor tilfredse er vores kunder?. Ordet tilfreds kan betyde uendeligt mange ting. Jeg aner simpelthen ikke hvad jeg får svar på, når jeg spørger i generelle termer. Nogle kunder vil tænke på Side 16 af 17 produktets kvalitet, andre på billederne på hjemmesiden, endnu andre på betalingsmodulet, nogle på prisen osv. Eneste udvej: Jeg spørger altid uhyre præcist, og giver min survey ét eneste formål. På den måde kan jeg sørge for, at lede min respondents opmærksomhed hen på netop én ting, så jeg sikrer, at vi taler samme sprog. Jeg vælger ét formål Hvor tilfreds er kunderne med betalingsmodulet på hjemmesiden? Alle mine spørgsmål (pånær baggrundsvariable) søger at undersøge netop dette ene spørgsmål. Jeg lader altså alle spørgsmålene tilsammen give udtryk for respondentens oplevelser af betalingsmodulet. That s the way. Lad mig vise dig, hvordan jeg konkret kunne gøre.

17 INTROTEKST Kære XX. Du har netop købt dit nye produkt i vores webshop. Tusind tak! Vi vil så gerne høre hvordan du oplevede kvaliteten af vores betalingsside - dvs. den side, hvor du indtastede dine kreditkortoplysninger og dermed den sidste side du så inden du afsluttede købet. Det betyder uhyre meget for os, at netop denne side fungerer optimalt og er nem at bruge. Tusind tak for din tid. HVOR NEMT SYNES DU DET VAR AT ANVENDE VORES BETALINGSSIDE? Meget nem Ret nem Ret svær Meget svær OPLEVEDE DU, AT MÆNGDEN AF DE OPLYSNINGER DU SKULLE INDTASTE VAR FOR MANGE, PASSENDE ELLER FOR LIDT? For mange Passende For lidt HVAD ER DIT KØN? Kvinde Mand HVOR GAMMEL ER DU Angiv venligst din alder her: HVOR OVERSKUELIG VIL DU GENERELT VURDERE AT VORES BETALINGSSIDE ER? HVAD ER DIT POSTNUMMER Angiv venligst dit postnummer her:! Meget overskuelig Ret overskuelig Mindre overskuelig Slet ikke overskuelig TAK Tusind tak for din besvarelse og din tid. Det betyder utrolig meget for os. Side 17 af 17