Effekt og evaluering i FUSA-støttede kompetenceudviklingsprojekter

Effekt og evaluering i FUSA-støttede kompetenceudviklingsprojekter

Principper for kompetenceudvikling i staten Overenskomstparterne har aftalt, at der er to mål for kompetenceudvikling på statens arbejdspladser. Det ene mål er at understøtte fleksibilitet, effektivitet og kvalitet i opgavevaretagelsen. Det andet mål er, at kompetenceudvikling er et væsentligt element i sikringen af den enkelte medarbejders employability. (Fra Forlig mellem Finansministeren og CFU, bilag E). Det fremgår af Kompetenceaftalen, at kompetenceudvikling skal være systematisk og strategisk. Det betyder blandt andet, at kompetenceudviklende aktiviteter skal have sammenhæng med arbejdspladens mål og opgaver, og arbejdspladsen skal tage aktiv stilling til, hvad kompetenceudviklingen skal føre til. Aftale om kompetenceudvikling (Kompetenceaftalen) angiver bl.a., at SU skal fastlægge principper og retningslinjer for den samlede kompetenceudviklingsindsats samt foretage en årlig evaluering af arbejdspladsens indsats for kompetenceudvikling. ( 8, stk. 1 og 2) Parterne har fokus på lokal effekt Overenskomsten har stor opmærksomhed på, at midler afsat til kompetenceudvikling i overenskomstaftalerne fører til lokal effekt på arbejdspladserne. Det vil sige, at opgaver løses bedre, og at medarbejdere bevarer eller øger deres muligheder på arbejdspladsen/ arbejdsmarkedet. Indhold i denne folder Denne folder giver input til arbejdet med effekt og evaluering af kompetenceudviklingsprojekter. Emnerne er: - SU s inddragelse i evalueringsarbejdet (s. 3) - Hvorfor evaluere (s. 4) - Sammenhæng mellem projektmål og evaluering (s. 4) - Fra projektets grundidé til effektevaluering (s. 5) - Indsamling af data i effektevalueringen (s. 6) - Intern eller ekstern evaluator (s. 7) 2

SU s inddragelse i evalueringsarbejdet Samarbejdsudvalget (SU) har vigtige opgaver i forhold til kompetenceudvikling på arbejdspladsen. Det beskriver Kompetenceaftalen. I projekter støttet økonomisk af Fonden til udvikling af statens arbejdspladser (FUSA) har parterne aftalt, at projekter igangsættes, gennemføres og evalueres i et samarbejde mellem ledelse og repræsentanter for medarbejderne, typisk i SU. Det indebærer, at SU involveres i overvejelser om kompetenceudviklingsbehov og om indhold i et konkret projektforslag. SU skal godkende den endelige projektansøgning, der sendes til FUSA. Det kan bl.a. være at drøfte Hvordan et konkret projektforslag hænger sammen med arbejdspladsens overordnede strategi for kompetenceudvikling. Hvordan arbejdspladsen kan se, at ønskede mål nås. En projektstatus undervejs i et projekt om fremdrift, eventuelle udfordringer og eventuelle foreløbige resultater. Værdi og resultater af projektet som en del af projektafslutning herunder, hvordan arbejdspladsen kan bruge projektevalueringen i fremtidige kompetenceudviklingsindsatser. I praksis kan det være et underudvalg til SU eller en projekt-/arbejdsgruppe, der arbejder med disse emner forud for en drøftelse i SU. Hvorfor evaluere Et kompetenceudviklingsprojekt sættes i gang, fordi man ønsker bestemte forandringer. En evaluering, stor eller lille, er nødvendig for at vurdere, om aktiviteterne i udviklingsforløbet har virket og ført til det, som arbejdspladsen har ønsket. Evaluering er en systematisk indsamling af informationer og data, der giver viden om gennemførelse, organisering og virkning af et konkret projekt, indsats, strategi eller samarbejde. Evaluering kan også give viden til fremtidige projekter, så arbejdspladsen lærer af sine erfaringer og resultater. Kompetenceudviklingsprojekter kræver nemlig ofte mange ressourcer (tid, penge og opmærksomhed). 3

Sammenhæng mellem projektmål og evaluering Ved udformning af et projekt kan det være nyttigt at besvare disse spørgsmål: Hvad er hovedudfordringen, der er årsag til, at I ønsker at sætte kompetenceudviklingsprojektet i gang? Hvilke langsigtede virkninger og for hvilken gruppe af mennesker vil I gerne opnå? Hvilke forandringer/resultater for både medarbejdere og opgaveløsning vil I gerne opnå inden for projektperioden? Hvordan skal medarbejderne arbejde på nye måder, og er der brug for at udvikle nye rutiner for opgaveløsningen? Hvad skal medarbejderne kunne for, at de er klædt på til at arbejde på nye måder? Hvilke udviklingsaktiviteter skal foregå for at lære det nye? I Kompetencesekretariatet bruger vi et Dialogkort om effekt til at tale om projektets design og komme rundt om de seks spørgsmål. Se bilag 1. Svarene på de seks spørgsmål vil variere alt efter, hvad jeres arbejdsplads er sat i verden for at løse. Forskellige opgavetyper betyder, at der er forskel på, hvem indsatsen vil gøre en forskel for, hvordan man kan definere værdi, og hvordan man kan vise, at indsatsen har gjort en forskel. Sagsbehandling, videnproduktion, rådgivning og tilsyn samt offentlige serviceydelser er eksempler på forskellige opgaver, der løses på statens arbejdspladser. Se bilag 3, der er hentet fra kurset Effektmål i Statens fælles læringsløsning Campus (www.stat-campus.dk ) Med svarene på spørgsmålene kan I udforme et overblik over grundidéen i jeres projekt (også kaldet indsatsteori, programteori eller forandringsteori). Det er en kæde af antagelser om, hvordan de planlagte aktiviteter forventes at føre til nye kompetencer, til nye måder at løse opgaverne på, og dermed til at nå de ønskede resultater. Grundidéen/indsatsteorien gør det nemmere at forklare andre om jeres projekt. Den er også et nyttigt redskab at styre efter for at se, om der sker det i projektet, som I har forestillet jer, så I kan justere undervejs. Evalueringsinstituttet (EVA) arbejder blandt andet med indsatsteori. Læs om hvordan man kan udarbejde en indsatsteori, blandt andet til brug for evaluering: En lærerig vej til resultater. Håndbog i evaluering ved hjælp af indsatsteori. (www.eva.dk). 4

Fra projektets grundidé til effektevaluering Grundidéen/indsatsteorien er også det, I skal bruge for at vurdere, om I når de mål, I har udpeget. Det vil sige en bedømmelse af, at det, som I har forestillet jer, også er foregået i virkeligheden. I kan bruge grundidéen til at sandsynliggøre, om I har opnået den ønskede effekt. For at komme fra grundidé til evaluering af projektet skal I udpege tegn og succeskriterier. Det skal ske for hvert trin i grundidéen/indsatsteorien. Først skal I udpege, hvilke tegn der kan fortælle jer, at I er på vej mod de ønskede mål/resultater. Tegn er neutrale og angiver, hvad I vil kigge efter for at vurdere, om det går, som I har antaget. Dernæst skal I definere succeskriterier. De er værdisættende og en målestok for, hvornår I vil anse et forløb eller resultat for at være tilfredsstillende. Succeskriterier kan handle om antal og omfang (kvantitativ form), eller de kan handle om indholdsmæssige forandringer (kvalitativ form). I kan spørge, hvornår er vi tilfredse med aktiviteterne? Hvornår er vi tilfredse med, om deltagerne har lært det de skal og bruger de nye måder at arbejde på? Hvornår er vi tilfredse med de ønskede resultater? Kompetencesekretariatet har udviklet en skabelon, når I skal formulere grundidéen/indsatsteorien, udpege tegn og opstille succeskriterier. Se bilag 2. Ved at bruge indsatsteorien til evaluering foretages en procesbaseret effektevaluering, også kaldet en virkningsevaluering. Det er den ene af to overordnede former for effektevaluering. Den anden kaldes den klassiske effektevaluering. Denne type evaluering påviser, at der er sammenhæng mellem indsats og opnået effekt. Man forsøger at isolere indsatsen fra andre påvirkninger ved at bruge en kontrolgruppe. Det bruges fx i sundhedsverdenen, når ny medicin skal afprøves. Det er ofte udfordrende at måle resultater af det samlede kompetenceudviklingsprojekt, fordi det kan være svært at påvise, at lige netop dét bestemte projekt har ført til et overordnet resultat om bedre kvalitet, service osv. Derfor er det ofte mere hensigtsmæssigt at benytte den procesbaserede tilgang, hvor man skridt for skridt sandsynliggør, at bestemte tiltag fører til bestemte resultater. 5

Indsamling af data i effektevalueringen I forbindelse med effektevalueringen skal I vælge, hvordan I vil hente dokumentation for de tegn og succeskriterier, som I har udpeget for projektet. Der er forskellige former for dataindsamlingsmetoder fx: Registreringer (faktuelle oplysninger, fx antal sager, deltagere, opgaver) Spørgeskema (kort temperaturmåling eller større skema) Fokusgruppeinterview Drøftelse på fællesmøde (fx personalemøde, SU/styregruppe, ledergruppe) Observationer (fx ved konsulent/leder/kollega) Fordele og ulemper ved de forskellige metoder kan ses i bilag 4, der er hentet fra Campus. Når I skal beslutte, hvilken metode I finder relevant til de enkelte dele af projektet, kan I tænke over følgende: Det er vigtigt, at I ikke tager bestemte metoder for givet. Overvej de metoder, der vil være bedst til at give jer viden om det pågældende skridt i grundidéen. Det bør være simpelt, og ressourceforbruget skal stå mål med værdien. Desuden må evalueringen ikke være et rutineagtigt mål i sig selv, hvor man evaluerer på det, man allerede ved. Er der allerede noget dokumentation til rådighed, som I kan bruge. Eksempelvis, anvender I allerede nogle faste målinger, der kan være relevante i den pågældende evalueringssammenhæng (fx APV, trivselsmålinger, ledervurderinger, brugerevalueringer, kvalitetsstandarder, sagsbehandlingstider mv). Ofte vil det give mening med en blanding af både kvantitative og kvalitative metoder for at få viden om opnåelse af de enkelte skridt. 6

Intern eller ekstern evaluator Den praktiske planlægning af evalueringsopgaven indeholder også en beslutning om ekstern eller intern evaluator. Det kan være et spørgsmål om tid, økonomi samt erfaringer fra tidligere evalueringsopgaver. Det kan være en god idé at udpege en intern tovholder, selvom I beslutter jer for at have en ekstern evaluator. Dermed vil I få en person, der kan stå for de drøftelser, der skal finde sted i SU. For den interne tovholder kan opgaven bl.a. være at: Facilitere drøftelsen i SU og høre om der er behov for særlige tiltag for at fastholde de opnåede resultater, eller om SU-medlemmerne har anbefalinger ved overgang til drift i tilfælde, hvor kompetenceudviklingen var et pilotprojekt. Fastholde og sammenskrive pointerne fra SU og få det med i en sammenskrevet evaluering, der kan drøftes på det næstkommende SU-møde. Kompetencesekretariatet De statslige overenskomstparters fælles sekretariat for Kompetenceudvikling. Vi tilbyder rådgivning, sparring og økonomisk støtte til kompetenceudvikling på statens arbejdspladser. Du kan finde værktøjer og inspiration på www.kompetenceudvikling.dk Vi er finansieret over den statslige overenskomst. Derfor er vores tilbud gratis for ansatte i staten. 7

Kristen Bernikows Gade 4, 4. sal 1105 København K T: 33 18 69 69 E: info@kompetenceudvikling.dk KS/10-2016

Bilag Effekt og evaluering i FUSA-støttede kompetenceudviklingsprojekter KOMPETENCEUDVIKLING.DK Kristen Bernikows Gade 4, 4. sal 1105 København K 33 18 69 69 info@kompetenceudvikling.dk KOMPETENCEUDVIKLING.DK

Projektdesign fokus på værdi og effekt (Programteori) Kerneopgaven Hvad er jeres kerneopgave? Har I defineret jeres kerneopgave? Har I et fælles billede af kerneopgaven? Hvordan bidrager forskellige medarbejdergrupper til kerneopgaven? Er der noget, der udfordrer jeres kerneopgave? Fx: Ny vision/strategi Politiske krav Ny lovgivning Budget-reduktioner Ny teknologi Nye samspil Spredte fagligheder Formål (Input) Hvad vil I gerne opnå med indsatsen? Hvordan skal kompetenceudviklingen bidrage til løsningen af kerneopgaven? Aktiviteter (Proces) Hvilke aktiviteter opfylder/ understøtter jeres formål? Uddannelse/kursus Workshop/seminar Sidemandsoplæring Jobrotation Refleksion med kolleger/coaching/ feedback Opgaver mellem uddannelsesmoduler Arbejdsgrupper om nye løsninger Videndeling Netværksgrupper Tegn på, at det virker (Output) Hvordan har jeres aktiviteter gjort en forskel? Reaktioner Er der tilfredshed med aktiviteten? Læring Er der skabt ny viden, indsigter og ideer til nye muligheder i arbejdet? Skift i adfærd Hvordan bliver det lærte brugt i arbejdet? Resultater Hvordan er jeres praksis nu? Forankring: Hvordan vil I inddrage medarbejdere og ledelse? (Involvering og forankring) Effekt på kerneopgaven (Outcome) Hvor vil I gerne hen? Konkrete eksempler på bedre løsning af kerneopgaven. Konkrete eksempler på værdi for medarbejderne af den faglige eller personlige opkvalificering/ kompetenceudvikling (employability) Minimum er SU- godkendelse eller godkendelse af ledelse og relevante tillidsrepræsentanter Følgegruppe eller styregruppe Ledelsens bevågenhed Personlige læringsmål Samtaler med egen leder Eksempler på evaluering (der er forskellige veje at gå): Før-efter-måling (APV, brugertilfredshed, social kapital) Simpel måling (deltagerfeedback, deltagertilfredshed) Interviews (med kolleger, chefer, deltagere, brugere) Læringslog (individuelle, organisatoriske) Dialog på møder og i SU Flere KS/08-2016

Kompetenceudviklingsprojekt Titel 2016 0. Hvilke udfordringer er baggrunden for kompetenceudvikling sinitiativet? 1. Hvilke aktiviteter skal gennemføres? 2. Hvilken ny fælles viden og holdninger skal deltagerne få? 3. Hvilke forandringer ses i hverdagen som følge af at deltagerne bruger det lærte? 4. Hvordan oplever interessenterne bedre opgaveløsning? Og hvordan er faglig spændvidde i enhed og på arbejdspladsen blevet udvidet? 5. Hvilke resultater (=mål) skaber det på kortere sigt? Og hvordan gavner det medarbejderne? 6. Effekt/ Overordnede resultater på langt sigt til gavn for både arbejdsplads og medarbejdere Tegn og succeskriterier Hvor vil I se hen, når I skal finde ud af om I opnår de ønskede resultater? Hvornår er I tilfredse? Dataindsamlingsmetoder Hvilken organisering for at understøtte ejerskab på hele arbejdspladsen? Tidshorisont

Skema med eksempler på opgavetype og effektindikatorer Oversigten er hentet fra Kurset effektmål i CAMPUS (rum for læring i staten) Opgavetype Effektindikator Begrundelser/beskrivelse Side 1 af 2 Sagsbehandlingstid Langsom sagsbehandling store økonomiske, sociale eller sundhedsmæssige konsekvenser værdi for sagsbehandlede Hurtig sagsbehandling retssikkerhed eller opfyldelse af servicegarantier værdi for sagsbehandlede Sagsbehandling Korrekt sagsbehandling Kvalitetsmåling Ukorrekt sagsbehandling store økonomiske, sociale eller sundhedsmæssige konsekvenser værdi for sagsbehandlede Korrekt sagsbehandling retssikkerhed eller opfyldelse af servicegarantier værdi for sagsbehandlede Kan fx måles som andelen af klagesager, hvor der gives medhold til den jeres sagsbehandling Den oplevede service fx i forhold til jeres kommunikation af proces og afgørelse værdi for sagsbehandlede Efterspørgsel Markedslignende vilkår/konkurrence efterspørgslens størrelse er udtryk for, at jeres målgruppe tillægger jeres viden værdi og at den dermed gør en forskel for dem Vidensproduktion Kendskab Vidensproduktion hvor formålet er oplysning at måling af målgruppen kendskab til jeres viden indikerer effekt Adfærdsændring Vidensproduktion hvor formålet er adfærdsændring kan I måle, om den adfærd, I ønsker ændret, reelt er ændret Kan typisk måles ved observationsanalyser eller opgørelser Rådgivning & tilsyn Adfærdsændring/ overholdelse af lovgivning Brugervurdering/ tilfredshed Formålet er ofte at sikre overholdelsen af gældende lovgivning mindsket andel af lovovertrædere, er en indikation af rådgivning og /eller tilsyn har en effekt Brugervurdering og brugertilfredshedsmålinger muligt at spørge jeres målgruppe, om jeres rådgivning skaber værdi og at den gør en forskel (Er jeres rådgivning et krav eller uønsket af målgruppen, bør du være påpasselig med at anvende brugervurderinger/-tilfredshed)

Skema med eksempler på opgavetype og effektindikatorer Oversigten er hentet fra Kurset effektmål i CAMPUS (rum for læring i staten) Opgavetype Effektindikator Begrundelser/beskrivelse Side 2 af 2 Efterspørgsel Markedslignende vilkår/konkurrence efterspørgslens størrelse er udtryk for, at jeres målgruppe tillægger jeres viden værdi og at den gør en forskel for dem Brugervurdering/- tilfredshed Brugervurdering og tilfredshedsmålinger muligt at spørge jeres målgruppe, om jeres service skaber værdi og at den gør en forskel (Er jeres service et krav eller uønsket af målgruppen, bør du være påpasselig med at anvende brugervurderinger/-tilfredshed) Kundeanbefaling At anbefale jeres service til andre fx i et spørgeskema eller interview at de tillægger jeres service værdi og at den gør en forskel for dem Offentlig serviceydelser Udrykningstid Langsom udrykningstid store økonomiske, sociale eller sundhedsmæssige konsekvenser Hurtig udrykningstid opfyldelse af servicegarantier Udrykningstiden kan fx måles op imod prædefinerede standarder Kapaciteten Forkert kapacitet store økonomiske, sociale eller sundhedsmæssige konsekvenser Rigtigt beredskab opfyldelse af servicekrav Kapaciteten kan fx måles op imod prædefinerede standarder eller ved at spørge til opdragsgivers tilfredshed med beredskabet Tryghed Formålet med beredskabet er at minimere risici og mindske bekymringen for konsekvenserne, hvis en given risiko skulle blive til en reel hændelser oplevelser af tryghed er en indikation af effekt

Skema med dataindsamlingsmetoder Oversigten er hentet fra Kurset effektmål i CAMPUS (rum for læring i staten) Dataindsamlingsmetode Fordele Ulemper Bredde/dybde Dokumentanalyse Giver hurtigt overblik over baggrund og kontekst for en indsats. Kan være meget økonomisk fordelagtig Fanger ikke altid den faktiske baggrund, funktion og kontekst for indsatsen. Vær opmærksom på om grundlaget er i orden Bredde Registerdata Giver et bredt og dækkende billede af indsatsens område. Indsamling og analyse kan være omkostningseffektiv og hurtig Fanger ikke altid den faktiske baggrund, funktion og kontekst for indsatsen. Vær opmærksom på om grundlaget er i orden Bredde Spørgeskemaundersøgelse Giver et hurtigt dækkende indblik i respondenternes oplevelser af indsatsten. Lav respondentbyrde. Kan ikke give en dybere forståelse af hvordan og på hvilken måde indsatsen fungerer. Kan være omkostningsfuld. Svær at anvende ved små populationer Bredde Fokusgruppe Kan udforske forskellige perspektiver/ scenarier og fungere som idé generator til fremtidig udvikling af indsatsten. Kan gennemøres forholdstvist omkostningseffektivt Gennemførelse og analyse kan være omkostningstung. Deltagerne er ikke nødvendigvis repræsentative. Høj respondentbyrde Bredde/dybde Interview (Individuel /gruppe) Giver en dyb forståelse af indsatsen og fortællinger om, hvordan indsatsen fungerer Gennemførelsen og analyse kan være omkostningstung. Høj respondentbyrde Dybde Observation Giver en dyb forståelse af, hvordan indsatsen fungerer i praksis. Omkostningstung og svært at strukturere i gennemførelse og analyse Dybde