EVALUERING OG EFFEKTMÅLING KURSER OG UNDERVISNING PÅ BIBLIOTEKERNE

Transkript

1 EVALUERING OG EFFEKTMÅLING KURSER OG UNDERVISNING PÅ BIBLIOTEKERNE

2 Vi måler for at kunne...

3 HVORFOR MÅLE? Forbedre undervisningen og læringen Måske også... Kontrol Styring Planlægning Eksternt signal Måske endda Vi plejer.. Paul Simons (2000)

4 TO HOVEDTYPER, NÅR MAN ARBEJDER MED KURSER Effektmåling Test/eksamen Oplevet gevinst Måles lige efter afslutning eller evt. efter at kursisten har arbejdet med kompetencer i sin dagligdag noget tid Tilfredshedsmåling Mange varianter nogle meget lange nogle meget korte Typisk lige efter afslutning af kursus/undervisning eller undervejs i et forløb Evt. inkl. lovpligtig undervisningsmiljøvurdering

5 HVILKE TYPER FORANDRING GIVER MÅLINGERNE? Internationale studier viser at 67 % af forandringstiltag fejler (Kotter) Proaktivt For, at det ikke sker for jer, skal I sørge for en sammenhæng mellem evaluering, slutprodukt og den forandring, I vil lave Incremental Små skridt Tuning Transformational Revolution Redefinering Kan I være proaktive? Hvor gennemgribende ændringer kræver resultaterne? Reaktivt Tilpasning Genskabelse Tilpasset fra Nadler (et.al, 1995) og Hayes (2007)

6 HVAD SKAL JEG OVERVEJE I FORHOLD TIL MÅLGRUPPEN Hvordan kan jeg nå målgruppen? Oplagt at bruge f.eks. QRkoder, indsamling via tablets/smartphones, hvis kurset omhandler det Læg evaluering ind som fast praksis netop for at sikre ensartet svarprocent Hvordan kan jeg motivere til svar? Din undersøgelses kvalitet afhænger i høj grad af svarprocent og svarprocenten afhænger af oplevet relevans (saliens)

7 SKEMAOVERVEJELSER Frem for alt kort! Vidensspørgsmål/test pålægger kursisten en kognitivt belastende opgave Men kan også skabe reflektion over egen læring Mulighed for at søge hjælp på områder, man ikke havde lært om Holdningsspørgsmål kan være følsomme overfor den oplevede anonymitet

8 HUSK AT GODT IKKE NØDVENDIGVIS ER GODT NOK Eksempler på tilfredsheden blandt kunder, der har forladt virksomheder: 70% 60% 50% 40% 35% 45% 80% af kunderne der forlader virksomhederne er tilfredse eller meget tilfredse 30% 20% 10% 0% -10% 10% Meget utilfreds 10% Utilfreds Tilfreds Meget tilfreds Tilfredshed som mål er slet ikke ambitiøst nok ikke engang i Vestjylland Se evt. mere i Kordupleski (2004) Customer Value Management. Eksemplet her er fra en konkret måling for en større dansk virksomhed med erhvervskunder

9 EKSEMPLER EFFEKT OG TILFREDSHED I KORTERE UNDERVISNINGSFORLØB

10 DSB EKSEMPEL PÅ EFFEKTMÅLING Test efter et forløb omkring smartphones i forbindelse med nye sikkerhedsprocedurer Lavet således at HR og kursisten får svar med det samme Man kan følge med i hvilke områder, der er er vanskelige Loko-førere får udleveret smartphones i forb. med sikkerhedkursus Lige efter forløbet får de et link til test HR har mulighed for at evaluere og tilpasse Når testen er afsluttet får lokoføreren svar

11 HVORDAN GØR VI SELV? EKSEMPEL PÅ TILFREDSHEDSMÅLING Kurser i brug af IT-system, analyse, spørgeskemadesign Klassisk tilfredshedsmåling Online, men med koder på papir (også QR koder) Vi kan gøre det sådan, fordi alle kurser er fysiske kurser Det særlige er den åbenhed, vi behandler svarene med Kursister får en ark papir med en kode Vurderer om der er behov for træning af undervisere eller justering Skema, der varer 2 minutter Hver underviser ser svarene efter kurset Mindst hvert kvartal evaluerer vi samlet

12 SKEMAEKSEMPEL SVARTID 2-3 MINUTTER

13 BEHANDLING AF SVAR Overvej Decentralt; enkelte kursus enkelte underviser Centralt; samlet evaluering, sammenligning En kombination fungerer godt, men kan blive mødt med skepsis og modstand

14 Planlægning Indsamling Skema Slutprodukt HUSKELISTE Hvad måler vi for? Hvem måler vi for? Hvordan kan vi indsamle svar med bedst mulig kvalitet? Hvad er der behov for at kunne sammenligne med? Tid, kursustyper, undervisere, sted Hvilke skemaovervejelser er relevante Længde Spørgsmålstyper (vil jeg kunne lave Hvad skal slutproduktet være? Decentral adgang Central adgang Feedback til kursister/kommend e kursister

15 EN AFSLUTTENDE ØVELSE Louise Broe Sørensen, Chefkonsulent, MBA, Cand.scient.pol og MA in Public Opinion Rambøll Management Consulting, SurveyXact Mobil;