Bilag 1 - Projektbeskrivelse

Bilag 1 - Projektbeskrivelse Undervisningsevaluering og virkningsevaluering af MED-grunduddannelsen Parternes Uddannelsesfællesskab (PUF), som består af KL, Danske Regioner og Forhandlingsfællesskabet, udviklede i 2014 en ny MED-grunduddannelse. Den ny MEDgrunduddannelse trådte i kraft den 1. januar 2015. PUF s bestyrelse har besluttet, at der skal ske en systematisk evaluering af MED-grunduddannelsen, så bestyrelsen kan få indblik i, om intentionerne med uddannelsen realiseres. PUF har på den baggrund bedt Danmarks Evalueringsinstitut (EVA) om at designe et evalueringskoncept til evaluering af MED-grunduddannelsen. Dato August 2015 Ref. sar/ml 1/5 EVA foreslår et koncept, der består af følgende elementer: Udvikling af redskaber til undervisningsevaluering på MED-grunduddannelsen Virkningsevaluering af MED-grunduddannelsen Evalueringskonceptet vil blive anvendt på de MED-grunduddannelser, som gennemføres af PUF, men udbydere af lokale MED-grunduddannelser kan også lade sig inspirere af konceptet. I denne projektbeskrivelse beskrives de enkelte elementer i evalueringskonceptet, og EVA fremlægger, hvordan opgaven vil blive løst. Projektbeskrivelsen indeholder desuden en tidsplan og et budget. Udvikling af redskaber til undervisningsevaluering på MED-grunduddannelsen Formålet med undervisningsevalueringen er undervejs og ved afslutningen af uddannelsen at få indblik i, i hvilken grad læringsmålene for MED-grunduddannelsen er nået, samt opnå viden om hvordan undervisningsformerne har fungeret. Herudover ønskes indsigt i kursisternes anvendelse af den tilegnede viden på længere sigt. Undervisningsevalueringen består af 5 aktiviteter: Løbende mundtlig evaluering undervejs og ved afslutning af forløbet. Evalueringsskema til kursisterne om uddannelsen ved afslutning af forløbet. Selvevaluering og tilbagemelding fra underviserne. Evalueringsskema til kursisterne om anvendelsen af uddannelsen 3-4 måneder efter endt kursusforløb Møde om anvendelse af data. Østbanegade 55, 3. 2100 København Ø T 3555 0101 E eva@eva.dk F 3555 1011 H www.eva.dk

Løbende mundtlig evaluering Formålet med den mundtlige evaluering er at kunne foretage umiddelbare justeringer af undervisningen på uddannelsen undervejs i det enkelte undervisningsforløb. Underviseren tager initiativ til en dialog med kursisterne om forventninger til uddannelsen, læringsmålene for uddannelsen og undervisningsformer. EVA udvikler på baggrund af input fra PUF-S og underviserne et redskab, som denne dialog kan baseres på. Redskabet testes blandt en udvalgt gruppe af undervisere og justeres evt. på baggrund heraf. Evalueringsskema til kursisterne om uddannelsen Formålet med evalueringsskemaet er at få et kvantitativt indblik i, om kursisterne har nået læringsmålene for MED-grunduddannelsen, samt få deres vurdering af undervisningen og undervisningsformerne. EVA videreudvikler det eksisterende evalueringsskema til kursisterne og drøfter et revideret udkast med PUF-S. Herefter pilottestes evalueringsskemaet blandt kursister på MED-grunduddannelsen. Pilottesten foregår ved, at EVA telefonisk kontakter fem kursister, der netop har gennemført uddannelsen, og interviewer dem om deres forståelse af skemaets spørgsmål og svarkategorier. EVA tilpasser herefter evalueringsskemaet, i det omfang det er nødvendigt. EVA s tilbud forudsætter, at PUF leverer kontaktoplysninger om de fem kursister med udgangspunkt i de udvælgelseskriterier, som EVA opstiller. EVA leverer det endelige spørgeskema til PUF, der selv varetager dataindsamlingen og den videre opfølgning. Undervisernes selvevaluering Formålet med selvevalueringen er, at få undervisernes blik på hvordan uddannelsen og undervisningen fungerer. EVA udvikler på baggrund af input fra PUF-S og underviserne et redskab til selvevaluering, som underviserne skal udfylde ved afslutningen af uddannelsen. Redskabet testes blandt en udvalgt gruppe af undervisere og justeres evt. på baggrund heraf. EVA forventer, at redskabet dels kan indeholde et kort spørgeskema, der giver et kvantitativt indblik, og dels en mere kvalitativ del, hvor der fx indsamles korte eksempler eller læringshistorier, der giver indblik i, hvad der fungerer bedst i undervisningen og hvad der er de største udfordringer. 2/5 Evalueringsskema til kursisterne om anvendelsen af uddannelsen EVA udvikler et evalueringsskema til kursisterne som kan udsendes 3-4 måneder efter kursisterne har gennemført uddannelsen. Formålet med evalueringsskemaet er, at belyse om kursisterne har anvendt uddannelsen i praksis og det belyses dermed om transfer har fundet sted inden for den pågældende tidsperiode. EVA udvikler evalueringsskemaet på baggrund af input fra PUF-S samt materiale omkring MED-grunduddannelsen. Herefter pilottestes evalueringsskemaet blandt kursister på MED-grunduddannelsen. Pilottesten foregår ved, at EVA telefonisk kontakter fem kursister, der netop har gennemført uddannelsen, og interviewer dem om deres forståelse af skemaets spørgsmål og svarkategorier. EVA tilpasser herefter evalueringsskemaet, i det omfang det er nødvendigt. EVA s tilbud forudsætter, at PUF leverer kontaktoplysninger om de fem kursister med udgangspunkt i de udvælgelseskriterier, som EVA opstiller. EVA leverer det endelige spørgeskema til PUF, der selv varetager dataindsamlingen og den videre opfølgning.

Analyse og opfølgning En forudsætning for at de påtænkte aktiviteter kan forventes at få en positiv betydning for kvaliteten på MED-grunduddannelsen er at resultaterne systematisk analyseres, og at der evt. foretages ændringer på baggrund heraf. EVA vil på et møde med PUF-S drøfte en hensigtsmæssig opfølgning og anvendelse af data. PUF vil varetage den efterfølgende opfølgning og implementering. Virkningsevaluering af MED-grunduddannelsen Virkningsevalueringen af MED-uddannelsen har til formål at 1) belyse, om målene med uddannelsen indfries som forventet, og 2) identificere muligheder for at videreudvikle MEDgrunduddannelsen. En virkningsevaluering repræsenterer en mere processuel tilgang til at studere effekter end den klassiske effektmåling, og den tager udgangspunkt i en række formulerede hypoteser om, hvordan en bestemt indsats tænkes at virke (en indsatsteori), for herefter at teste om det forholder sig, som indsatsteorien forudsiger: Hvordan virker indsatsen, for hvem, og under hvilke omstændigheder? Nedenfor præsenterer vi vores overvejelser over valg af design, og vi beskriver herefter, hvordan vi tænker at tilrettelægge og gennemføre evalueringen i to faser. Overvejelser over valg af design Intentionen med MED-grunduddannelsen er, som det fremgår af Underviserhåndbog for MED-grunduddannelsen, at kursisterne skal kunne bringe det, de har lært på uddannelsen, i spil, når de kommer tilbage på deres egen arbejdsplads. Man kan illustrere det grundlæggende ræsonnement bag MED-grunduddannelsen ved hjælp af nedenstående simple model: Indsats: MEDgrunduddannelse Delresultat (output): kursisterne indfrier de opstillede læringsmål for uddannelsen Resultat (outcome): kursister anvender læring på egen arbejdsplads 3/5 For at kunne få indblik i hvordan og under hvilke omstændigheder intentionerne med MED-grunduddannelsen bliver indfriet, vil vi interessere os for begge pile og alle tre kasser i ovenstående model. Vi vil både interessere os for, hvad der udspiller sig i selve MED-grunduddannelsesforløbet, og for hvilket udbytte kursisterne får af uddannelsen (delresultat/output), men vi vil også rette vores opmærksomhed mod, hvordan kursisterne sætter deres nye viden i spil, når de kommer tilbage på deres arbejdsplads (resultat/outcome). Endelig vil vi have blik for, at effekterne af en indsats ofte vil være stærkt kontekstafhængige, og vi vil derfor rette en opmærksomhed mod, at den praktiske anvendelse af uddannelsen fx kan afhænge af lokale forhold på den enkelte arbejdsplads. Det konkrete spørgsmål, evalueringen vil søge at besvare, er: Hvordan og under hvilke omstændigheder virker MED-grunduddannelsen på kursisternes praksis?

Evalueringen afgrænses til udelukkende at beskæftige sig med de virkninger, som kan identificeres indenfor den tidsperiode, hvor evalueringen gennemføres. Den vil altså ikke kunne sige noget om evt. virkninger, som måtte optræde på længere sigt. Fase 1: Opstilling og kvalificering af indsatsteori bag MED-grunduddannelsen Virkningsevaluering tager udgangspunkt i formuleringen af en række begrundede antagelser om, hvordan den indsats, der er i fokus, tænkes at lede til et bestemt resultat. Disse antagelser kaldes indsatsteorien (eller programteorien) bag indsatsen. I nogle tilfælde kan indsatsteorien udledes af forskellige dokumenter knyttet til indsatsen (i dette tilfælde fx ved hjælp af underviserhåndbogen for MED-grunduddannelsen). I de fleste tilfælde vil man, som vi ville tænke os at gøre i denne evaluering, også interviewe forskellige relevante aktører for at kunne beskrive, hvordan, hvornår og for hvem den konkrete indsats forventes at føre til de ønskede resultater. EVA s evaluering af MED-grunduddannelsen tilrettelægges med henblik på at identificere de antagelser om virkninger og sammenhænge, der indgår i udviklingen og implementeringen af MED-grunduddannelsen (indsatsteorien). Indsatsteorien bag MEDgrunduddannelsen vil blive opstillet af evaluator med udgangspunkt i følgende datakilder: Relevante dokumenter om MED-grunduddannelsen 3-4 Interviews med nøgleaktører bag udviklingen af MED-uddannelsen (PUF-S og PUF-A). 6 Interviews med kursister i både leder og medarbejderfunktioner (der tilstræbes variation i fht. relevante kriterier, fx motivation for at deltage, type af arbejdsplads, erfaringer fra MED-samarbejde mv) 6 Interviews med undervisere på MED-grunduddannelsen. Forskningsbaseret viden om arbejdet med at anvende ny viden i praksis. 4/5 Når EVA har opstillet en indsatsteori på baggrund af ovennævnte datakilder, vil vi afholde workshops for forskellige relevante aktører, der har bidraget i interviewene, herunder PUF- S. Formålet med disse workshops er at kvalificere og nuancere EVA s bud på de virkningsforestillinger bag MED-grunduddannelsen, som kom frem i interviewene. Fase 2: Dataindsamling Når indsatsteorien er formuleret, skal EVA lægge sig fast på, hvilke data, der skal indsamles, for at vi kan se nærmere på sammenhænge mellem indsatser og resultater: Hvor vil vi med afsæt i vores opstilling af indsatsteorien rette vores blik hen? Og hvilke kriterier skal vi tage afsæt i, når vi skal vælge de undervisere og kursister, der skal indgå i evalueringen? Det er ikke muligt at fastlægge hvilke data, der skal indsamles i en virkningsevaluering, før indsatsteorien er opstillet, og før evaluator har lagt en strategi for, hvor det er særligt vigtigt at intensivere sin dataindsamling. For at give et mere konkret billede af, hvordan en typisk dataindsamling kunne se ud, har vi nedenfor beskrevet følgende elementer. Vi vil dog gøre opmærksom på, at indsatsteorien og de indledende interviews og workshop vil være afgørende for, hvilke data vi vil have

brug for at indsamle for at kunne se nærmere på, om indsatsen er implementeret korrekt og om antagelserne bag indsatsen er holdbare. Evt. brug af eksisterende data Det er oplagt at inddrage eksisterende data i evalueringen, fx resultater fra kursisternes evalueringsskemaer og undervisernes selvevalueringer, såfremt de kaster lys over væsentlige led i indsatsteoriens antagelser om hvorvidt og hvordan MED-grunduddannelsen virker. Evt. kvalitativ interviewundersøgelse blandt kursister Det vil ligeledes være en oplagt mulighed, at EVA gennemfører to runder af kvalitative interviews, fx som telefoninterview, med kursister som har gennemført MEDgrunduddannelsen i 2016. Der vil blive gennemført to interviews med hver kursist. Første interview vil blive gennemført umiddelbart efter uddannelsens afslutning og vil have fokus på indfrielse af læringsmål og forventninger om, hvordan uddannelsen kan anvendes. Det andet (opfølgende) interview vil blive gennemført efter 1-2 måneder og har til formål at skabe indblik i, om og hvordan kursisterne anvender MED-grunduddannelsen i praksis. EVA foreslår, at der gennemføres 2 x telefoninterview med i alt 12 kursister, og at kursisterne udvælges og rekrutteres ud fra overvejelser om at sikre maksimal variation på de væsentligste parametre. De indsamlede data analyseres systematisk med henblik på at belyse de enkelte led i indsatsteorien. Resultaterne af den kvalitative analyse vil blive brugt som en datakilde i virkningsevalueringen. 5/5 Evt. kvalitativ interviewundersøgelse blandt undervisere Det vil endelig være muligt at gennemføre interviews med enkelte undervisere på MEDgrunduddannelsen. Formålet med disse interviews kunne fx være at få indblik i, hvad der ser ud til at have betydning for, at kursisterne engagerer sig og får et maksimalt udbytte af undervisningen. EVA s tilbud forudsætter, at PUF leverer relevante kontakt-og baggrundsoplysninger om de kursister, der har gennemført MED-uddannelsen. Endvidere forudsætter tilbuddet, at kursisternes evalueringsskemaer om uddannelsen og anvendelse kan tages i brug med henblik på at foretage en kriteriebaseret udvælgelse af interviewdeltagere. Produkt Resultaterne af virkningsevalueringen formidles i en rapport på max 30 sider.