Effekt og evaluering i kompetenceudviklingsprojekter

Transkript

1 Effekt og evaluering i kompetenceudviklingsprojekter KS/

2 Principper for kompetenceudvikling i staten Overenskomstparterne har aftalt, at der er to mål for kompetenceudvikling på statens arbejdspladser. Det ene mål er at understøtte fleksibilitet, effektivitet og kvalitet i opgavevaretagelsen. Det andet mål er, at kompetenceudvikling er et væsentligt element i sikringen af den enkelte medarbejders employability. (Fra OK15- tekst, bilag E). Det fremgår af Kompetenceaftalen, at kompetenceudvikling skal være systematisk og strategisk. Det betyder blandt andet, at kompetenceudviklende aktiviteter skal være planlagte og have sammenhæng med arbejdspladens mål og opgaver. Arbejdspladsen skal dermed tage aktiv stilling til, hvad kompetenceudviklingen skal føre til. Aftale om kompetenceudvikling (Kompetenceaftalen) indeholder mål og rammer for det fælles arbejde med kompetenceudvikling. Parterne har fokus på lokal effekt Overenskomsten har stor opmærksomhed på, at midler afsat til kompetenceudvikling i overenskomstaftalerne fører til lokal effekt på arbejdspladserne. Det vil sige, at opgaver løses bedre, og at medarbejdere bevarer eller øger deres muligheder på arbejdspladsen/ arbejdsmarkedet. Indhold i denne folder Denne folder giver input til arbejdet med effekt og evaluering af kompetenceudviklingsprojekter. Emnerne er: - SU s inddragelse i evalueringsarbejdet (s. 3) - Hvorfor evaluere (s. 4) - Sammenhæng mellem mål og evaluering (s. 4) - Effektevaluering i kompetenceudviklingsprojekter (s. 5) - Metoder til at måle/vurdere elementerne i et projekt (s. 6) - Intern eller ekstern evaluator (s. 7) 2

3 SU s inddragelse i evalueringsarbejdet Samarbejdsudvalget (SU) har vigtige opgaver i forhold til kompetenceudvikling på arbejdspladsen. Det er fastlagt i Kompetenceaftalen. I projekter støttet økonomisk af Fonden til udvikling af statens arbejdspladser (FUSA) har parterne aftalt, at projekter igangsættes, gennemføres og evalueres i et samarbejde mellem ledelse og repræsentanter for medarbejderne. SU s rolle undervejs i forløbet kan bl.a. være: Optakten til en kompetenceindsats I praksis kan det være en projekt-/arbejdsgruppe, der tager stilling til disse punkter. Hvorefter et konkret forslag tages op i SU. Ønskede forandringer/resultater på kort og længere sigt for både medarbejderne og opgaveløsningen. Måling/vurdering af om resultaterne er opnået, herunder de tegn, I vil kigge efter. Forslag til særlige aktiviteter og drøftelse af, hvordan det man har lært kan blive brugt i hverdagen. Eventuel sammenhæng til MUS-retningslinjer eller løbende medarbejdermåling. Godkendelse af det endelige projektforslag. Status på projektforløb i SU Fremdriften og foreløbige resultater. Drøftelse af eventuelle udfordringer. SU vurderer projektets værdi og resultater Dialog om de opnåede resultater i forhold til de mål, der blev opstillet. Eventuelle sidegevinster eller resultater, som man ikke havde taget højde for. Erfaringer som kan bruges i andre kompetenceudviklingsprojekter. Kompetenceaftalen 8, stk. 2 SU er ansvarlig for at foretage en årlig evaluering af arbejdspladsens indsats for kompetenceudvikling, herunder brugen af medarbejderudviklingssamtaler 3

4 Hvorfor evaluere Et kompetenceudviklingsprojekt sættes i gang, fordi man ønsker bestemte forandringer. En evaluering, stor eller lille, er nødvendig for at vurdere, om man har opnået de ønskede forandringer. Desuden kræver det ofte mange ressourcer (tid, penge og opmærksomhed) at gennemføre et kompetenceudviklingsprojekt. Derfor er det vigtigt, at arbejdspladsen lærer af sine erfaringer til næste gang. Evaluering er: En systematisk indsamling af informationer og data, der giver viden om gennemførelse, organisering og virkning af et konkret projekt, indsats, strategi, eller samarbejde. Evaluering skal ind i projektdesignet Evalueringen skal indgå allerede, når I tilrettelægger jeres kompetenceudviklingsprojekt. Evaluering skal ikke ses som en enkeltstående aktivitet sidst i projektet. Evaluering skal derimod foregå for hvert skridt, man tager. Når man indsamler og vurderer data løbende, giver det mulighed for at justere undervejs for at opnå den ønskede forandring. Sammenhæng mellem mål og evaluering Et godt udgangspunktet for en evaluering begynder med følgende spørgsmål: Hvem vil indsatsen gøre en forskel for? Hvilken forskel skal indsatsen gøre? Hvordan vil I vise, at indsatsen har gjort en forskel? Hvad skal kendetegne forskellen, for at I vil kalde kompetenceudviklingsprojektet en succes? Med i overvejelserne indgår også, hvad jeres arbejdsplads er sat i verden for at løse. Forskellige opgavetyper betyder, at der er forskel på, hvem indsatsen vil gøre en forskel for, hvordan man kan definere værdi, og hvordan man kan vise, at indsatsen har gjort en forskel. Ved at komme rundt om disse spørgsmål, har I et godt udgangspunkt til at få fastlagt konkrete mål og pejlemærker (succeskriterier) for den forandring, som de kompetenceudviklende aktiviteter skal føre frem til. For nogle arbejdspladser virker det godt at benytte SMART-metoden til at tjekke, at deres forslag er konkrete og handlingsrettede. I sammenhæng med evalueringsarbejdet handler det om at holde de opnåede resultater fra udviklingsaktiviteterne op imod disse mål og pejlemærker. 4 I Kompetencesekretariatet bruger vi et Dialogkort om effekt til at tale om projektets design og komme med svar til de fire spørgsmål. Se bilag 1. Eksempler på forskellige opgaver, der løses på statens arbejdspladser: Sagsbehandling Vidensproduktion Rådgivning og tilsyn Offentlige serviceydelser Se oversigt A. Effektmål og pejlemærker Statens fælles læringsløsning Campus tilbyder kurset Effektmål Det giver indblik i SMARTmetoden og CREAMmodellen. Se oversigt B.

5 Effektevaluering i kompetenceudviklingsprojekter Evalueringslitteraturen beskriver to overordnede tilgange til effektevaluering: Den klassiske effektevaluering. Denne type evaluering påviser, at der er sammenhæng mellem indsats og opnået effekt. Man forsøger at isolere indsatsen fra andre påvirkninger ved at bruge en kontrolgruppe. Det bruges fx i sundhedsverdenen, hvor ny medicin skal afprøves. Vægten ligger på, om noget virker. Virkningsevalueringen. I denne type evaluering er der fokus på, hvordan en kæde af aktiviteter kan tænkes at føre til et bestemt resultat. Vægten ligger på, hvad der virker og hvorfor. Det er ofte udfordrende at måle resultater af det samlede kompetenceudviklingsprojekt, fordi det kan være svært at påvise, at lige netop dét bestemte projekt har ført til et overordnet resultat om bedre kvalitet, service osv. Projektets kæde (programteori): En programteori indeholder antagelser om, hvordan et kompetenceudviklingsprojekt og de konkrete aktiviteter kan fremkalde de ønskede resultater og værdi. Men de enkelte skridt i projektet kan evalueres på forskellig vis, så man kan sandsynliggøre, at man har opnået den ønskede effekt. Skabelon til effektevaluering Kompetencesekretariatet har udarbejdet en skabelon, som man kan tage udgangspunkt i for at få et samlet overblik over projektet med de enkelte skridt, der skal evalueres. I del 1 (bilag 2, den grønne række) kan man beskrive antagelserne om det, der skal foregå for at opnå et ønsket resultat. I del 2 (bilag 2, de grå felter til hvert skridt i udviklingsforløbet) kan man indføje konkrete forslag til, hvordan man vil måle/vurdere, om man har nået det, man ville, med det pågældende skridt. I dialogkortet om effekt er der en boks om Tegn på, at det virker. Skabelonen Tydeliggør indsatsens værdi udfolder, hvordan man kan systematisere sit evalueringsarbejde for hvert skridt i projektet. Se bilag 2. 5

6 Metoder til at måle/vurdere elementerne i et projekt Der er forskellige former for dataindsamlingsmetoder. Kvantitative tilgange, fx: Registreringer (faktuelle oplysninger, fx antal sager, deltagere, opgaver) Spørgeskema (kort temperaturmåling eller større skema) Kvalitative tilgange, fx: Fokusgruppeinterview Drøftelse på fællesmøde (fx personalemøde, SU/styregruppe, ledergruppe) Observationer (fx ved konsulent/leder/kollega) Fordele og ulemper ved de forskellige metoder kan ses i oversigt C. Når I skal beslutte, hvilken metode I finder relevant til de enkelte dele af projektet, kan I tænke over følgende: Det bør være simpelt, og ressourceforbruget skal stå mål med værdien. Og målingen må ikke være målet i sig selv. Har I allerede nogle relevante målinger, der kan knyttes til evalueringsarbejdet i projektet, så brug dem (fx APV, trivsels-målinger, ledervurderinger, brugerevalueringer, kvalitetsstandarder, sagsbehandlingstider mv). Metoden skal være fornuftig set ud fra et tidsperspektiv og timingen i forhold til andre aktiviteter på arbejdspladsen. Det væsentlige er ikke metoden, men hvad den kan bruges til i en videre drøftelse og kommunikation af resultater. Sørg for at drøfte de ting/data, der er kommet frem, så arbejdspladsen lærer af det, der virker og gør en forskel, når I gennemfører kompetenceudviklingsprojekter. Ofte vil det give mening med en blanding af både kvantitative og kvalitative metoder for at få viden om opnåelse af de enkelte skridt. 6

7 Intern eller ekstern evaluator Den praktiske planlægning af evalueringsopgaven indeholder også en beslutning om ekstern eller intern evaluator. Det kan være et spørgsmål om tid, økonomi samt erfaringer fra tidligere evalueringsopgaver. Det kan være en god idé at udpege en intern tovholder, selvom I beslutter jer for at have en ekstern evaluator. Dermed vil I få en person, der kan stå for de drøftelser, der skal finde sted i SU. For den interne tovholder kan opgaven bl.a. være at: Facilitere drøftelsen i SU og høre om der er behov for særlige tiltag for at fastholde de opnåede resultater, eller om SU-medlemmerne har anbefalinger ved overgang til drift i tilfælde, hvor kompetenceudviklingen var et pilotprojekt. Fastholde og sammenskrive pointerne fra SU og få det med i en sammenskrevet evaluering, der kan drøftes på det næstkommende SU-møde. Kompetencesekretariatet De statslige overenskomstparters fælles sekretariat for Kompetenceudvikling. Vi tilbyder rådgivning, sparring og økonomisk støtte til kompetenceudvikling på statens arbejdspladser. Du kan finde værktøjer og inspiration på Vi er finansieret over overenskomsten. Derfor er vores tilbud gratis. 7

8 Kristen Bernikows Gade 4, 4. sal 1105 København K T: E: info@kompetenceudvikling.dk KS/

9 Bilag og oversigter Effekt og evaluering i kompetenceudviklingsprojekter KS/ KS/

10 Projektdesign fokus på værdi og effekt (Programteori) Kerneopgaven Hvad er jeres kerneopgave? Har I defineret jeres kerneopgave? Har I et fælles billede af kerneopgaven? Hvordan bidrager forskellige medarbejdergrupper til kerneopgaven? Er der noget, der udfordrer jeres kerneopgave? Fx: Ny vision/strategi Politiske krav Ny lovgivning Budget-reduktioner Ny teknologi Nye samspil Spredte fagligheder Formål (Input) Hvad vil I gerne opnå med indsatsen? Hvordan skal kompetenceudviklingen bidrage til løsningen af kerneopgaven? Aktiviteter (Proces) Hvilke aktiviteter opfylder/ understøtter jeres formål? Uddannelse/kursus Workshop/seminar Sidemandsoplæring Jobrotation Refleksion med kolleger/coaching/ feedback Opgaver mellem uddannelsesmoduler Arbejdsgrupper om nye løsninger Videndeling Netværksgrupper Tegn på, at det virker (Output) Hvordan har jeres aktiviteter gjort en forskel? Reaktioner Er der tilfredshed med aktiviteten? Læring Er der skabt ny viden, indsigter og ideer til nye muligheder i arbejdet? Skift i adfærd Hvordan bliver det lærte brugt i arbejdet? Resultater Hvordan er jeres praksis nu? Forankring: Hvordan vil I inddrage medarbejdere og ledelse? (Involvering og forankring) Effekt på kerneopgaven (Outcome) Hvor vil I gerne hen? Konkrete eksempler på bedre løsning af kerneopgaven. Konkrete eksempler på værdi for medarbejderne af den faglige eller personlige opkvalificering/ kompetenceudvikling (employability) Minimum er SU- godkendelse eller godkendelse af ledelse og relevante tillidsrepræsentanter Følgegruppe eller styregruppe Ledelsens bevågenhed Personlige læringsmål Samtaler med egen leder Eksempler på evaluering (der er forskellige veje at gå): Før-efter-måling (APV, brugertilfredshed og social kapital) Simpel måling (deltagerfeedback og deltagertilfredshed) Interviews (med kolleger, chefer, deltagere og brugere) Læringslog (individuelle, organisatoriske) Dialog på møder og i SU Flere

11 Tydeliggør indsatsens værdi (programteori) Læsevejledning Den grønne figur viser, hvordan I kommer fra kompetenceudviklende aktiviteter til resultater og værdi. Følg forløbet og tydeliggør mellemregningerne skridt for skridt. Hvis A, B, C og D sker, så er der en sandsynlighed for, at E og F sker, også selvom det er vanskeligt at måle. Institution og projektnr. Formålet med projekt [titel] er Den grå figur viser eksempler på, hvordan I kan vurdere/måle og tale om, hvorvidt I har nået de enkelte skridt. Jo længere mod højre I kan måle/vurdere opnåede resultater, desto større sandsynlighed er der for, at I når jeres overordnede mål. Udfoldelse af boksen Tegn på at det virker Mellemregninger fra aktiviteter til værdi EKSEMPLER på metoder til at vurdere/måle om hvert skridt er opnået A. Gennemførsel af relevante kompetenceud viklingsaktivitet er: Kompetenceudvikli ngsaktiviteterne er designet ud fra analyse af strategiske mål. x pct. gennemfører. x pct. har identificeret læringsmål. x pct. deltagere oplever aktiviteten som relevant. B. Deltagerne får ny læring (fx viden, værktøjer, holdninger): Deltagerne evaluerer, at de har fået relevante redskaber, herunder evt. at de har opfyldt deres læringsmål, fx x pct. svarer ja i spørgeskema eller på fællesmøde. Deltagerne opnår papir på et kompetenceløft inden for/i Deltagernes læring drøftes i MUS, fx vurderes før-efter niveau på en skala. C. Deltagerne omsætter det lærte til ny opgaveløsning (Der er modtagelighed på arbejdspladsen i struktur, processer, kultur for at kompetencerne faktisk bruges): Deltagernes kolleger og ledere ved, at der foregår kompetenceudvikling, og at nye kompetencer skal prøves i opgaveløsningen. Forventninger til feedback og sparring afstemmes. Der er udpeget x konkrete nye opgaver, som deltagerne skal løse. Deltagere evaluerer selv i samtaler ud fra konkrete oplevelser, hvordan de bruger det lærte i praksis, og hvad de skal gøre anderledes fremover (narrativ metode). Leder/konsulent observerer fx: Om opgaveløsningen er blevet bedre, færre samarbejdskonflikter, flere kontakter på tværs af enheder, mere selvstændig opgaveløsning, medarbejdere indgår mere aktivt i helheden Det afdækkes via fx interview eller samtale på ledermøde. Med andre øjne indbyd andre dele af arbejdspladsen/ lignende organisationer (som ikke nødvendigvis er direkte brugere) til dialog om ny tilgang til opgaverne. D. Bedre værdi i opgaveløsningen set fra kolleger/ samarbejdspartnere/ brugere Faglig spændvidde i enhed og på arbejdspladsen er udvidet Kolleger/samarbejdspartnere/brugere/andre enheder evaluerer, om der er bedre værdi i samspillet, fx spørgeskema, interview, møder, dialog i ledelsen. Der er interesse for mere kompetenceudvikling fra medarbejdernes side. Arbejdet tilrettelægges på en bedre måde, hvilket fx vurderes af ledelse og medarbejdere. E. Resultater i det daglige arbejde: Medarbejdernes udviklingsmål er nået Konkrete målinger af resultater, fx sagsbehandlingstider, antal sager, færre fejl i sager, standardiserede arbejdsgange, serviceniveau, værdi for slutbruger skal stige. Medarbejdere svarer, at de føler større tilfredshed i deres faglige udvikling. Drøftelse i SU evt. i forbindelse med kompetencestrategi og MUS. Drøftelse i ledergruppen Ses der en mere smidig/fleksibel håndtering af opgaver? F. Effekt på kerneopgave Værdi for medarbejdere (employability)

12 Skema med eksempler på opgavetype og effektindikatorer Oversigten er hentet fra Kurset effektmål i CAMPUS (rum for læring i staten) Opgavetype Effektindikator Begrundelser/beskrivelse Sagsbehandlingstid Langsom sagsbehandling store økonomiske, sociale eller sundhedsmæssige konsekvenser værdi for sagsbehandlede Hurtig sagsbehandling retssikkerhed eller opfyldelse af servicegarantier værdi for sagsbehandlede Sagsbehandling Korrekt sagsbehandling Kvalitetsmåling Ukorrekt sagsbehandling store økonomiske, sociale eller sundhedsmæssige konsekvenser værdi for sagsbehandlede Korrekt sagsbehandling retssikkerhed eller opfyldelse af servicegarantier værdi for sagsbehandlede Kan fx måles som andelen af klagesager, hvor der gives medhold til den jeres sagsbehandling Den oplevede service fx i forhold til jeres kommunikation af proces og afgørelse værdi for sagsbehandlede Efterspørgsel Markedslignende vilkår/konkurrence efterspørgslens størrelse er udtryk for, at jeres målgruppe tillægger jeres viden værdi, og at den dermed gør en forskel for dem Vidensproduktion Kendskab Vidensproduktion hvor formålet er oplysning måling af målgruppens kendskab til jeres viden indikerer effekt Adfærdsændring Vidensproduktion hvor formålet er adfærdsændring kan I måle, om den adfærd, I ønsker ændret, reelt er ændret? Kan typisk måles ved observationsanalyser eller opgørelser Rådgivning & tilsyn Adfærdsændring/ overholdelse af lovgivning Brugervurdering/ tilfredshed Formålet er ofte at sikre overholdelsen af gældende lovgivning mindsket andel af lovovertrædere, er en indikation af rådgivning og /eller tilsyn har en effekt Brugervurdering og brugertilfredshedsmålinger muligt at spørge jeres målgruppe, om jeres rådgivning skaber værdi, og at den gør en forskel (Er jeres rådgivning et krav eller uønsket af målgruppen, bør du være påpasselig med at anvende brugervurderinger/-tilfredshed) 1 af 2

13 Skema med eksempler på opgavetype og effektindikatorer Oversigten er hentet fra Kurset effektmål i CAMPUS (rum for læring i staten) Opgavetype Effektindikator Begrundelser/beskrivelse Efterspørgsel Markedslignende vilkår/konkurrence efterspørgslens størrelse er udtryk for, at jeres målgruppe tillægger jeres service værdi, og at den gør en forskel for dem Brugervurdering/- tilfredshed Brugervurdering og tilfredshedsmålinger muligt at spørge jeres målgruppe, om jeres service skaber værdi og at den gør en forskel (Er jeres service et krav eller uønsket af målgruppen, bør du være påpasselig med at anvende brugervurderinger/-tilfredshed) Kundeanbefaling At anbefale jeres service til andre fx i et spørgeskema eller interview at de tillægger jeres service værdi, og at den gør en forskel for dem Offentlig serviceydelser Effektindikator Begrundelse/beskrivelser Udrykningstid Langsom udrykningstid store økonomiske, sociale eller sundhedsmæssige konsekvenser Hurtig udrykningstid opfyldelse af servicegarantier Udrykningstiden kan fx måles op imod prædefinerede standarder Kapaciteten Forkert kapacitet store økonomiske, sociale eller sundhedsmæssige konsekvenser Rigtigt beredskab opfyldelse af servicekrav Kapaciteten kan fx måles op imod prædefinerede standarder eller ved at spørge til opdragsgivers tilfredshed med beredskabet Tryghed Formålet med beredskabet er at minimere risici og mindske bekymringen for konsekvenserne, hvis en given risiko skulle blive til en reel hændelser oplevelser af tryghed er en indikation af effekt 2 af 2

14 SMARTe målsætninger Oversigten er hentet fra Kurset effektmål i CAMPUS (rum for læring i staten) Kriterium Spørgsmål Vurdering Specifikt Hvem er involveret i målet (modtagergruppen)? Omhandler målet aktiviteter, produkter eller effekter - på kort sigt, mellemlang eller lang sigt? Er der uklare begreber i beskrivelsen af målet? Er det entydig defineret, hvornår målet er hhv. opfyldt og ikke opfyldt (evt. delvist opfyldt)? Er der en logisk og passende sammenhæng mellem indsatsen og målet? Målbart Hvornår kan man dokumentere, at ændringen er indtrådt? Hvorfor vælger I netop denne tilgang? Er det muligt at gennemføre målingen? Accepteret Hvorfor er målet vigtigt? Er der enighed om målet blandt de vigtigste interessenter og i målgruppen? Er det et godt mål for, hvad der vil blive opfattet som en succes? Er der evt. nogen, som vil modarbejde, at målet opfyldes? Realistisk Er det sandsynligt, at målet kan nås med de ressourcer, der er til rådighed? Er der overensstemmelser mellem mål og midler? Kan effektmålet opnås med eksisterende aktiviteter/ydelser/produkter? Er tidsrammen for målopfyldelse realistisk og opnåelig? Tidsafgrænset Er det fastlagt, hvornår og for hvilken tidsperiode det skal måles, og om målet er nået? Er målingens tidsmæssige placering passende i forhold til relevante beslutningsprocesser? Hvornår skal eventuelle delmål opnås for at opnå slutmålene? Evaluerbart Er målet evaluerbart? Kan målet kobles til relevante indikatorer/deskriptorer?

15 Skema med dataindsamlingsmetoder Oversigten er hentet fra Kurset effektmål i CAMPUS (rum for læring i staten) Dataindsamlingsmetode Fordele Ulemper Bredde/dybde Dokumentanalyse Giver hurtigt overblik over baggrund og kontekst for en indsats. Kan være meget økonomisk fordelagtig. Fanger ikke altid den faktiske baggrund, funktion og kontekst for indsatsen. Vær opmærksom på om grundlaget er i orden. Bredde Registerdata Giver et bredt og dækkende billede af indsatsens område. Indsamling og analyse kan være omkostningseffektiv og hurtig. Fanger ikke altid den faktiske baggrund, funktion og kontekst for indsatsen. Vær opmærksom på om grundlaget er i orden. Bredde Spørgeskemaundersøgelse Giver et hurtigt dækkende indblik i respondenternes oplevelser af indsatsten. Lav respondentbyrde. Kan ikke give en dybere forståelse af hvordan og på hvilken måde, indsatsen fungerer. Kan være omkostningsfuld. Svær at anvende ved små populationer. Bredde Fokusgruppe Kan udforske forskellige perspektiver/ scenarier og fungere som idé generator til fremtidig udvikling af indsatsten. Kan gennemføres forholdstvist omkostningseffektivt. Gennemførelse og analyse kan være omkostningstung. Deltagerne er ikke nødvendigvis repræsentative. Høj respondentbyrde. Bredde/dybde Interview (Individuel /gruppe) Giver en dyb forståelse af indsatsen og fortællinger om, hvordan indsatsen fungerer. Gennemførelsen og analyse kan være omkostningstung. Høj respondentbyrde. Dybde Observation Giver en dyb forståelse af, hvordan indsatsen fungerer i praksis. Omkostningstung og svært at strukturere i gennemførelse og analyse. Dybde