Workshop om udvikling af spørgeskemaer

Transkript

1 Workshop om udvikling af spørgeskemaer ESB-netværket, 20. juni 2017 Cecilie Juul Jørgensen, og Mia Uth Madsen,

2 Hvad kan en spørgeskemaundersøgelse give svar på? Faser i en spørgeskemaundersøgelse Fokus på operationalisering (+øvelse) Fokus på spørgsmålsformulering og svarskalaer (+øvelse) Datahåndtering, analyse og formidling

3 Hvad kan en spørgeskemaundersøgelse give svar på? Groft sagt to typer spørgsmål en spørgeskemaundersøgelse kan give svar på. 1. Hvor mange har en bestemt holdning, adfærd eller praksis? Fx: - Hvor mange forældre er tilfredse med deres barns undervisningstilbud - Hvor mange forældre læser lektier sammen med deres barn 2. Hvilke sammenhænge er der mellem disse (holdninger, adfærd, praksis) andre forhold? Fx: - Er der forskel på tilfredsheden på tværs af forældrekarakteristika? 3

4 Faser i en spørgeskemaundersøgelse 1. Udvælgelsesmetode 2. Operationalisering af undersøgelsesspørgsmål 3. Formulering af spørgsmål og svarskalaer 4. Pilottest 5. Udsendelsesmetode 6. Vurdering af data 7. Datahåndtering og analyse 4

5 Udvælgelsesmetode Totalundersøgelse eller stikprøve? Simpel tilfældig stikprøve eller stratificeret stikprøve? 5

6 Operationalisering En rød tråd fra formålet til konkrete spørgsmål Hvordan måler vi det, vi gerne vil? Hvordan omsættes problemstillingen i undersøgelsesspørgsmål, der kan belyses i et spørgeskema 6

7 En god operationalisering = et solidt fundament Hvis det går galt her, er resten jo bare et sminket lig Emne/ Undersøgelsesspørgsmål Konkrete Spørgsmål og svarkategorier 7

8 Derfor er operationalisering vigtigt Indholdet af spørgeskemaet bliver skarpere. Nemmere at lave en god analyse og besvare det overordnede undersøgelsesspørgsmål. Mere præcise og dækkende spørgsmål, hvilket øger svarmotivationen. Undgår overflødige spørgsmål i spørgeskemaet. 8

9 Emne Kompetence- og kvalifikationsbehov hos socialrådgivere Undersøgelsesspørgsmål I hvilken grad giver den nuværende socialrådgiveruddannelse de studerende de fornødne kvalifikationer til at kunne løse deres opgaver i forhold til de nye krav og forventninger på arbejdsmarkedet? Temaer/ delspørgsmål Vurdering af om socialrådgiveruddannelsen opfylder disse kompetence- og kvalifikationsbehov Hypoteser/ argumenter Det kan være en udfordring at få koordineret det tværgående arbejde Krydspres mellem hensyn til ressourcer, effektive løsninger og brugernes perspektiv Konkrete spørgsmål til spørgeskema I hvilken grad vurderer du, at de nyuddannede socialrådgivere er i stand til, at sikre at udførelsen af indsatser sker i overensstemmelse med beslutninger I hvilken grad vurderer du, at de nyuddannede socialrådgivere er i stand til at forholde sig til sammenhæng mellem pris og effekt i løsningsvalget

10 Øvelse 1: Operationalisering skab et godt fundament På ark 1 har I fået en case, hvor I skal arbejde med operationalisering I har 20 minutter Vi går rundt og hjælper 10

11 Formulering af spørgsmål og svarskalaer Spørgsmålstyper Principper for, hvordan man formulerer gode spørgsmål Principper for valg af svarskalaer Øvelse 2 11

12 Spørgsmålstyper Faktuelle spørgsmål, fx Hvor mange år har du samlet set undervist som lærer på EUD? Holdnings- eller vurderingsspørgsmål, fx Hvor enig eller uenig er du i, at der er faglig udfordring i skolens undervisning? I hvilken grad arbejder du systematisk med forberedelse og opsamling på elevernes læring i praktikforløb? 12

13 Måder at stille spørgsmål på Lukkede spørgsmål Åbne spørgsmål Spørgsmålsbatterier Filterspørgsmål 13

14 Multiple choice spørgsmål Hvordan ved du, hvad eleven allerede har lært, når han/hun begynder i en kort aftale hos dig? {Sæt gerne flere kryds} 1. Jeg ser i elevens elektroniske elevplan, hvad eleven har lært 2. Jeg taler med skolen eller praktikcenteret om det 3. Jeg taler med eleven om det 4. Jeg ser i praktikerklæringer, hvis eleven har været i en anden virksomhed 5. Jeg vurderer eleven på baggrund af nogle konkrete, praktiske opgaver 6. Jeg ved ikke, hvad eleven kan, når han/hun starter 7. Andet, notér venligst 14

15 Måder at stille spørgsmål på Lukkede spørgsmål Åbne spørgsmål Spørgsmålsbatterier Filterspørgsmål 15

16 Spørgsmålsbatterier Hvor enig eller uenig er du i, at det kan styrke kvaliteten af undervisningen, at underviserne (som supplement til egen undervisning) arbejder sammen i team om forberedelse af af undervisning Enig Overvejende enig Overvejende uenig Uenig gennemførelse af undervisning evaluering af af undervisning 16

17 Måder at stille spørgsmål på Lukkede spørgsmål Åbne spørgsmål Spørgsmålsbatterier Filterspørgsmål 17

18 Principper for spørgsmålsformulering Stil enkle spørgsmål Spørg kun til én ting i et spørgsmål Stil neutrale spørgsmål, dvs. ikke-ledende Stil relevante spørgsmål Stil genkaldelige spørgsmål 18

19 Principper for valg af svarskalaer Svarskalaen skal være udtømmende Svarkategorier skal være gensidigt udelukkende Svarkategorierne skal matche spørgsmålsordlyden Svarskalaen skal være balanceret Overvej midterkategori Overvej ved ikke 19

20 Øvelse 2: Spørgeskemakonstruktion I skal arbejde videre med spørgeskemakonstruktion på baggrund af jeres operationalisering i øvelse 1. I har 20 minutter Vi går rundt og hjælper 20

21 Pilottest Hvad er en pilottest: En interviewundersøgelse som fører spørgeskemaet til eksamen ved at teste om spørgsmål og svarkategorier fungerer efter hensigten Formål med pilottest: At gøre det muligt at indsamle data med færrest mulige måleproblemer og dermed at højne validiteten af de data der indsamles Vi undersøger om: spørgsmålene er entydige og klare der er de svarkategorier der er brug for der er spørgsmål som virker irrelevante der er emner som vi mangler at spørge ind til der er forslag til andre spørgsmål spørgeskemaet er logisk bygget op 21

22 Vurdering af data Svarprocent er vigtig men den kan ikke stå alene Bortfaldsanalyse hvem har svaret og hvem har ikke svaret? 22

23 Datahåndtering og analyse Et meget kort eksempel på, hvordan man kan arbejde med data i excel. Et fiktivt eksempel på tilfredshedsundersøgelse i et undervisningsforløb på SOSU uddannelsen. 23

24

25

26

27

28

29

30 dgå korte uddannelsesaftaler fordelt på virksomhedsstørrelse Eksempel på krydstabel Virksomhedsstørrelse Mindre usikkert for virksomhedens økonomi < Antal Procent Antal Procent Antal Procent Antal Procent Antal Procent Antal Procent I høj grad % % 8 17 % 8 15 % 7 22 % 4 12 % I nogen grad % 7 10 % 8 17 % 6 11 % 3 9 % 2 6 % I mindre grad 12 9 % 8 12 % 6 13 % 8 15 % 5 16 % 3 9 % Slet ikke % % % % % % Total % % % % % % Kilde: Virksomhedssurvey gennemført af Epinion på vegne af EVA, 2017 Note: Spørgsmålsformulering: Indgår du korte uddannelsesaftaler, fordi det er mindre usikkert for virksomhedens økonomi end andre typer uddannelsesaftaler? Note: En chi2-test viser, at der er signifikant forskel på fordelingen i grupperne (p < 0,001). 30

31 Overvejelser om surveyprogrammer Et individuelt behov afhænger af organisationen og niveauet for analyser. - Brugervenlighed i opsætningen - Mulighederne for filtre, spørgsmålstyper og svarskalaer - Udsendelseslister Kan man importere en mailingliste fra fx Excel? - Kan man sende rykkermails eller lave stratificerede udsendelser? - Output af data Kan man få data ud af systemet og efterbehandle? Eller laver systemet selv tabeller og kryds? - Hvis sidstnævnte, er der så muligheder for at lave omkodninger af variable? - Evt. Serverindstillinger Kan modvirke at invitationer ender i spamfiltre. - Hvis det er gratisprogrammer, er det så det hele som er gratis eller kun standardpakken?

32 Tak for i dag