SPØRGESKEMAER, SKALAER OG TESTS SIGNE BOE RAYCE

Transkript

1 SPØRGESKEMAER, SKALAER OG TESTS SIGNE BOE RAYCE

2 MÅLING AF EFFEKTER - METODE Nogle oplysninger findes i statistikker og registre, men ikke alt. Spørgeskemaer: adgang til personlig (og subjektiv) information Mental sundhed Diagnoser tilgængelige. Hvad med depressive symptomer eller lav livsglæde? Livsstil Misbrugere muligvis registreret. Hvad med unges forbrug af alkohol og hash? Arbejdsliv Sygefravær tilgængeligt. Hvad med egne grunde til, at man melder sig syg? 2

3 HVOR SVÆRT KAN DET EGENTLIGT VÆRE? TITEL

4 SVÆRT! Et rigtig godt og velvalideret spørgeskema kan tage år at udvikle. Kvaliteten af den måling man foretager afhænger af: at man er klar over, HVAD man vil have svar på at man stiller det RIGTIGE spørgsmål på den RIGTIGE måde til at får svar på PRÆCIS det man gerne vil have svar på. 4

5 GØR MAN IKKE DET risikerer man at man får svar på noget ANDET end det, man har behov for at man IKKE får et PRÆCIST svar på det, man spørger om og allerværst at man ikke er klar over, at det er gået GALT! 5

6 IKKE ET SKRÆMMEEKSEMPEL DERIMOD EN OPFORDRING TIL: respekt for kompleksiteten tænk grundigt over, hvad det er, I vil undersøge se på hvordan andre har gjort søg information om det er gjort på en god og valid måde brug validerede spørgeskemaer, items og skalaer hvis muligt spørg om hjælp, ved tvivl eller behov for hjælp! 6

7 ANVENDELSE AF GODE OG VALIDE SPØRGESKEMAER OG MÅLEINSTRUMENTER VIGTIGT FOR: at man kan stole på resultatet af effektmålingen at man ikke kommer til at træffe beslutninger på et forkert videns grundlag 7

8 FØR DU GÅR I GANG TITEL

9 FORMÅL MED EFFEKTMÅLINGEN Hvem er målgruppen? Hvad er det præcis, vi ønsker at opnår viden om? Hvad er det præcis vi har behov for at spørge om/ måle, for at opnå denne viden? er der desuden behov for baggrundsoplysninger (køn, alder, socioøkonomiske oplysninger mm.) 9

10 UNDERSØG MULIGHEDEN FOR AT ANVENDE ALLEREDE EKSISTERENDE SPØRGESKEMAER FORDELE VED STANDARDSKEMAER: Tidsbesparende Kvalitet ofte kan være bedre (Skala)validering kan være udført Erfaringer opnået Nogle gange findes der norm eller referencedata fx fra en stikprøve af den danske befolkning (herom senere) NB! Husk at følge anvisninger hvis sådanne findes 10

11 UNDERSØG MULIGHEDEN FOR AT ANVENDE ALLEREDE EKSISTERENDE SPØRGESKEMAER ULEMPER VED STANDARDSKEMAER: Passer måske ikke helt til formålet Indholdsvaliditet måske lavere, end når spørgeskemaet skræddersyes. Der kan være copyright på Og HUSK generelt: At et spørgeskema allerede eksisterer og er blevet brugt, er ikke en garanti for, at det er godt. 11

12 HVILKEN INDSAMLINGSMETODE? (1) Besøgsinterviews Længere og mere komplicerede spørgeskemaer Dyrt og tidskrævende Høj svarprocent. Telefoninterviews Højere grad af anonymitet personfølsomme spørgsmål Hurtigere og billigere end besøg Kræver kortere spørgsmål og færre svarkategorier Lavere svarprocent end besøg 12

13 HVILKEN INDSAMLINGSMETODE? (2) Selvudfyldte spørgeskemaer post eller online spørgeskemaer Udlevering i setting overvej om kontekst påvirker svar? Anonymitet Enkle spørgsmål og mulighed for åbne spørgsmål Lavere omkostninger og tidsbesparende Risiko for lav motivation afhængigt af emne og relevans Laveste svarprocent 13

14 SPØRGESKEMAETS LÆNGDE Spørg kun om det I har behov for at vide Længde betydning for om man får svar på alt Max 1 time (ca. 200 items) Afhænger af målgruppe Overvej placering af item vigtigste først, evt. følsomme spørgsmål til sidst (undtagelser) Online spørgeskemaer: skal alle items besvares for at fortsætte? 14

15 MOTIVATION Indre motivationsfaktorer Relevant emne Emnet har særlig interesse Ydre motivationsfaktorer Belønning gaver, ekstra ydelser, Information om egne resultater Rykkere Hvor mange gange? 15

16 SPØRGESKEMAER GENERELT TITEL

17 ITEMS Items: evt. introducerende tekst Et spørgsmål en eller flere svarkategorier evt. hjælpetekst I dette spørgsmål beder vi dig tænke på sidste uge. Hvor mange overarbejdstimer har du haft? timers overarbejde (Skriv venligst det samlede antal timer, du har oplyst til din arbejdsgiver vedrørende de sidste 5 dage, du har været på arbejde) 17

18 ITEM KONSTRUKTION GENERELLE REGLER Tilpas spørgsmålet til målgruppen spørgsmålet skal opfattes som passende af alle Gør spørgsmålet forståeligt Spørgsmålet skal være entydigt Spørg kun om én ting ad gangen Stil korte spørgsmål Undgå spørgsmål, der kan virke stødende eller placér dem til sidst Undgå værdiladede spørgsmål 18

19 SVARKATEGORIER Lukkede vs. åbne spørgsmål Lukkede mulighed for statistisk bearbejdning Åbne nuanceret men tidskrævende at bearbejde Kombination Svarkategorier nogle eksempler Prædefinerede ja/nej Ordinale kategoriske skalaer - Likert skalaer Hvor enig er du i følgende udsagn?: Spørgeskemaer er spændende Meget enig Enig Hverken eller Uenig Meget uenig 19

20 SVARKATEGORIER - OVERVEJELSER Hvor mange? nok til at det er meningsfuldt for respondenten Midterkategorier og ved ikke er omdiskuteret ved holdningsspørgsmål Nogle gange er det lettere at svare med tal end med svarkategorier 20

21 SKALAER Skalaer/tests flere items, der måler/reflekterer det samme begreb analyseres samlet (fx sumskala) Eksempel: Ensomhed (1 item) eller fx UCLA Loneliness Scale (4 items) 21

22 ENSOMHED - ITEM VS SKALA Item Føler du dig ensom? (Skolebørnsundersøgelsen 2014) Skala (UCLA Loneliness Scale (Brief Measure) - Roberts, R. et al ) Fire items omhandlende: at savne nogen at være sammen med at savne nogen at føle mig tæt knyttet til at føle sig holdt udenfor at føle sig isoleret fra andre 22

23 PILOTTEST Test skemaet inden i går i luften også selvom det har været anvendt af andre før Prøv selv at svare på skemaet Få en ekspert (emne + spørgeskema) til at se det igennem Pilottest spørgeskemaet i en relevant population Var der mange ubesvarede spørgsmål? Papirskemaer blev sat kryds/skrevet til flere steder? Udfyldelse + efterfølgende interviews Eksempel: Hvad er betyder hjælpeløs? 23

24 SKALAER TITEL

25 SKALAER MANGE NAVNE Skalaer Spørgeskemaer Tests Måleinstrumenter Psykometriske tests Psykologiske tests Pædagogiske test Screeningsredskab 25

26 HVAD BRUGES SKALAER TIL? Måler fænomener som ikke kan observeres direkte, men som vi antager findes fx egenskaber, kompetencer, følelser. (latente variable) Eksempler: ensomhed, udvikling, matematik færdigheder mm. Måles på forhold/spørgsmål, som er indikatorer for det, vi gerne vil måles - dvs. flere items, med ét samlet score En skala må måle ét (og KUN ét) begreb 26

27 EN GOD SKALA KENDETEGN: Bygger på en grundig konceptualisering af det begreb den måler Måler KUN ét begreb Høj validitet grundigt (psykometrisk) valideret Fungerer ens i forskellige subgrupper af målgruppen - (køn, alder, etnicitet, socioøkonomiske position God reliabilitet (Psykologiske) tests har ofte en standardiseret procedure for administration af test - samt detaljer om kodning og fortolkning 27

28 VALIDITET Grundlæggende et udtryk for et items/skalas/tests gyldighed og troværdighed at den måler, hvad den siger, den gør. Flere former for validitet Indholdsvaliditet (Er spørgsmålenes indhold rigtige?) Begrebsvaliditet (Måler vi vores begreb? skalavalidering) Kriterievaliditet (Sammenhæng med eksternt kriterium) Forskellige definitioner i litteraturen! 28

29 RELIABILITET Hvorvidt en målemetode giver reproducerbare resultater Måles ved bl.a. ved brug af: Test-retest (hvis man da antager, at der er tale om et tidsmæssigt stabilt begreb) Cronbach s Alpha (forudsætter ensdimensionalitet) >0.70 regnes normalt som god >0.90 ved diagnostiske test Rapporteres oftest i artikler + manual e.l. 29

30 VALIDITET OG RELIABILITET Høj validitet kan være kombineret med både høj og lav reliabilitet Høj reliabilitet kan være kombineret med både høj og lav validitet 30

31 PETER HAR FEBER 38,5 helt præcist Vi tester 4 forskellige termometre hver 4 gange: T1: 38,5 38,5 38,5 38,5 = 38,5 (Høj reliabilitet høj validitet) T2: 38,4 39,0 38,6 38,0 = 38,5 (Lav reliabilitet høj validitet) T3: 39,5 39,5 39,5 39,5 = 39,5 (Høj reliabilitet lav validitet) T4: 38,2 40,0 38,8 39,6 = 39,2 (Lav reliabilitet lav validitet) 31

32 STANDARDISEREDE TESTS Test hvor fordelingen af resultaterne er kortlagt i forbindelse med en stor repræsentativ undersøgelse af en stor gruppe personer i målgruppen. Sammenligne med testresultater fra en større population Ofte percentilværdier 50% = midt i populationen Der kan udarbejdes høje, lave kritiske værdier mm. Kræver præcis gennemførelse mht. setting, testprocedure, tester, tidspunkt mm. som beskrives i manual 32

33 OVERSÆTTELSE AF SKALAER OG TESTS Vær opmærksom på følgende: Passer skalaen eller testen til en dansk kontekst? Man kan ikke nødvendigvis sammenligne med internationale normer og niveauer Oversæt til dansk ekspertvurdering tilbageoversættelse Gerne to oversættere på hvert trin Valideringsstudie herunder test for differentiel item funktion SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE

34 HVORFOR BRUGE SKALAER I EFFEKTMÅLING? Giver en højere indholdsvaliditet i ens måling Er med til at gøre målingens indhold præcist ex. ensomhed Giver en højere sensitivitet responsiveness i ens måling bedre mulighed for at skelne mellem høj og lav, når der måles mange grader af det begreb, man måler bedre mulighed for at måle ændringer og udvikling Giver en højere reliabilitet i ens måling 34

35 HVORFOR BRUGE SKALAER I EFFEKTMÅLING? Ved eksisterende og godt validerede tests/skalaer: Fordi det er undersøgt og dokumenteret, at de måler det, vi vil måle på en god måde. Giver et score/niveau for borgeren Mulighed for at måle udvikling over tid Nogle gange mulighed for at sammenligne niveau/score med en større baggrundspopulation 35

36 OG HUSK... Et test score kan have store konsekvenser for den enkelte person og bør ikke stå alene på individniveau. Effektmålinger baseret på skalaer kan have (store) konsekvenser, i tilfælde af at der handles på dem positive og negative Vigtigt, at anvende velvaliderede spørgeskemaer, items og tests 36

37 GOD FORNØJELSE DET ER SJOVT (også selv om det kan virke lidt tørt ) 37