Få mere for pengene med effektmåling Conny Bauer ImpactResearch Personalestyrelsens Temamøde Læring med bundlinjeeffekt 13. oktober 2010
2 PROGRAM 1. DEFINERE BUNDLINJEEFFEKT 2. HVOR STOR ER EFFEKTEN? 3. ÅRSAGER TIL MANGLENDE EFFEKT 4. HVORDAN BLIVER LÆRING TIL EFFEKT? 5. HVAD KAN MAN MÅLE? 6. HVORDAN KAN MAN MÅLE? 7. HVAD KAN MAN BRUGE DET TIL? 8. HVORDAN FÅR MAN MERE FOR PENGENE?
3 HVORFOR UDDANNE MEDARBEJDERE? TRE LÆRINGSPARADIGMER KOMPETENCEUDVIKLING Generel kvalifikationsløft Uspecifikke generelle behov SELV-ISCENESÆTTELSE Personlig udvikling Personligt behov EFFEKTLÆRING Strategisk læring Organisatoriske behov Kilde: Scandinavian Training Design
4 EN NY UDFORDRING STRATEGISK FORANKRET KOMPETENCEUDVIKLING ORGANISATIONENS UDFORDRING Undervisningskvalitet Anvendelseskvalitet UDDANNELSES- AFDELINGENS UDFORDRING Sikre kursets kvalitet Vigtighed for den enkelte Sikre effektiv brug af læring Vigtighed for organisationen
5 EFFEKT PÅ FLERE NIVEAUER KIRKPATRICK THE FOUR LEVELS OPNÅR VÆRDITILVÆKST GØR OVERFØRSEL TIL JOBBET NIVEAU 3 + 4: ORGANISATORISK EFFEKT = VÆRDITILVÆKST KAN VIDENTILVÆKST SYNES REAKTION PÅ UNDERVISNING NIVEAU 1 + 2: INDIVIDUEL EFFEKT = VIDENTILVÆKST
6 HVOR STOR ER EFFEKTEN? UD AF 10.000 DELTAGERE I HOVEDSAGELIG BLØDE KURSER HVOR MANGE GIK HJEM OG. FORSØGTE SLET IKKE AT BRUGE NOGET AF DET, DER BLEV LÆRT FORSØGTE, FIK VANSKELIGHEDER OG FALDT TILBAGE BRUGTE DET OG FIK KONKRETE VÆRDIFULDE RESULTATER??? %= %= %= Efter: Prof. Robert O. Brinkerhoff
7 EFFEKT AF UDDANNELSE ER FORUDSIGELIG DET UREALISEREDE POTENTIALE ER STORT OMKOSTNINGER >? % PRØVEDE IKKE <? % > PRØVEDE MEN LYKKEDES IKKE UREALISERET POTENTIALE <? % PRØVEDE OG SKABTE REEL EFFEKT UDBYTTE
8 ET EKSEMPEL 100 DELTAGERE OMKOSTNINGER 100 DELTAGERE KOSTEDE 10.000 KR HVER OMKOSTNINGERNE VAR 1.000.000 KR >? % PRØVEDE IKKE <?% > PRØVEDE MEN LYKKEDES IKKE UREALISERET POTENTIALE <?% PRØVEDE OG SKABTE REEL EFFEKT UDBYTTE 90% = 90 MEDARBEJDERE BRUGTE DET IKKE TIL AT SKABE RESULTATER 10% = 10 MEDARBEJDERE á 50.000 KR I ALT = 500.000 KR POTENTIALET 90*50.000 KR = 4.500.000 KR
9 ÅRSAGER TIL MANGLENDE EFFEKT FORHOLD DER VEDRØRER NOGET FØR KURSET FORMÅL MÅL FORBEREDELSE BEHOV MOTIVATION? > 40% < FORHOLD DER VEDRØRER SELVE KURSET? INSTRUKTION PLANLÆGNING MATERIALE ØVELSER OG CASES UNDERVISERE FORHOLD DER VEDRØRER NOGET EFTER KURSET? ANVENDELSE FEEDBACK STØTTE OPMUNTRING FORHINDRINGER 20% > 40% SKAB FORMÅL OG FOKUS LEVER UDDANNELSE AF HØJ KVALITET SKAB STØTTTE TIL LØBENDE TRÆNING OG FORBEDRINGER DE STØRSTE MULIGHEDER FOR EFFEKTFORBEDRINGER LIGGER I KONTEKSTEN
10 EFFEKT AF KOMPETENCEUDVIKLING?
11 HVORDAN SKER MIRAKLET? HVORDAN BLIVER LÆRING TIL EFFEKT (IMPACT) OVERSTÅET KURSUS NETOP STARTET PÅ OVERFØRSLEN NIVEAU 1+2 RESULTATERNE I HUS EFFEKTEN OPNÅET NIVEAU 3+4
12 HVAD KAN MAN MÅLE? SIGTELINJER FRA LÆRING TIL EFFEKT Individuelt Organisatorisk Hvilke kvalifikationer deltagerne får Hvad deltagerne kan gøre i jobbet De resultater, de kan skabe i jobbet Den effekt som de bidrager til Lederuddannelse Implementeret nyt ledelsesgrundlag
13 HVORDAN KAN DET MÅLES? SUCCESS CASE METODEN - TO TRIN Find ud af hvem der har størst og mindst succes med at skabe effekt HVEM + HVAD PRØVEDE IKKE? PRØVEDE MEN LYKKEDES IKKE PRØVEDE OG SKABTE REEL EFFEKT?
14 HVORDAN KAN DET MÅLES? SURVEY + INTERVIEW Find ud af hvem der har størst og mindst succes med at skabe effekt HVEM + HVAD Gennemfør grundige interview med det valgte udsnit HVORDAN + HVORFOR >? % PRØVEDE IKKE <? % > PRØVEDE MEN LYKKEDES IKKE UREALISERET POTENTIALE? <? % SKABTE REEL EFFEKT UDBYTTE?
15 HVAD KAN DET BRUGES TIL? PROVE + IMPROVE DOKUMENTERE Find ud af hvem der har størst og mindst succes med at skabe effekt HVEM + HVAD Gennemfør grundige interview med det valgte udsnit HVORDAN + HVORFOR Troværdige, succeshistorier Viden om faktorer, der styrker og hæmmer effekt HVORDAN UDDANNELSEN BLIVER BRUGT I JOBBET HVILKE RESULTATER DER BLIVER OPNÅET HVILKEN VÆRDI DER BLIVER SKABT DET UREALISEREDE POTENTIALE LEDERES BETYDNING FOR AT OPNÅ EFFEKTEN HVORDAN EFFEKTEN KAN ØGES FREMOVER
16 HVORDAN FÅ MERE FOR PENGENE? EFFEKTMÅLING = LØFTESTANG FOR FORBEDRINGER FEEDBACK EFFEKTMÅLING SOM VISER: HVILKE RESULTATER ER NÅET HVAD VIRKEDE (IKKE) OG HVORFOR FEEDBACK TIL AFTAGERNE/LEDELSE TIL UDDANNELSESAFD./HR Hvor meget og hvordan det lærte bruges Hvordan performance er forbedret. Hvilke faktorer fremmer eller hæmmer et godt resultat. Hvilke nye behov er på vej. Uddannelsens anvendelighed. Hvor godt uddannelsen er koblet til organisationens mål Hvor godt uddannelsen spiller sammen med andre performance systemer FORBEDRE ORGANISATIONENS EVNE TIL AT SKABE EFFEKT AF LÆREPROCESSER
17 BUNDLINJEEFFEKT AF LÆRING HVAD VED VI NU? BUNDLINJEEFFEKT AF LÆRING ER IKKE KUN KR./ØRE AT FÅ EFFEKT PÅ NIVEAU 3+4 ER EN PROCES IKKE EN BEGIVENHED DET UREALISEREDE POTENTIALE ER STORT KOMPETENCEUDVIKLING ALENE GARANTERER IKKE B-EFFEKT KONTEKSTEN FØR OG EFTER ER AFGØRENDE FOR EFFEKT EFFEKT KRÆVER PARTNERSKAB MELLEM HR OG LEDELSE EFFEKTMÅLING KAN VÆRE LØFTESTANG FOR ØGET EFFEKT PAS PÅ MED UIGENNEMSIGTIGE GENNEMSNIT MÅL MENS DER ER TID TIL FORBEDRINGER START I DET SMÅ
18