Evaluering af Avu-didaktik og pædagogisk ledelse' Projektbeskrivelse fra EVA, maj 2015
Projektbeskrivelse Dette er Danmarks Evalueringsinstituts (EVA s) projektbeskrivelse for evaluering af et kompetenceudviklingsforløb for, som UC Lillebælt (UCL) har udarbejdet for Undervisningsministeriet (UVM). Projektbeskrivelsen viser evalueringens afsæt, formål, design og tidsplan 1. Baggrund UCL har på baggrund af et oplæg fra UVM udarbejdet et kompetenceudviklingsforløb for avulærere og -ledere. Forløbet hedder Didaktik for og finder sted i perioden august 2015- juni 2016 og omfatter efteruddannelse af op imod 200 og 50 avu-ledere. Kompetenceudviklingsforløbet tager sit afsæt i EVA s rapport Avu-fagevaluering Læreplaner, karakterer og gennemførelse på almen voksenuddannelse fra 2014, der pegede på en række udfordringer, som (og ledere) har mødt i kølvandet på avu-reformen fra 2009. Det drejer sig bl.a. om at tilrettelægge og udøve en målstyret undervisning, bringe bekendtgørelsens didaktiske principper i anvendelse, variere undervisningsformerne og løbende evaluere kursisternes læring. UCL s kompetenceudviklingsforløb skal styrke lærere, såvel som ledere, i håndteringen af disse udfordringer i mødet med kursisterne på avu. UCL s kompetenceudviklingsforløb er designet med inspiration fra aktionslæring og er strukturelt bygget op omkring tre konferencer, hvor der gives både tværfaglige og fagspecifikke input til deltagerne. Deltagerne skal arbejde med personligt opstillede læringsmål og tilrettelægge konkrete undervisningsforløb, som skal afprøves mellem konferencerne. Derudover vil der løbende være sparring i netværksgrupper og med UVM s avu-fagkonsulenter via virtuelle videndelingsfora. 2. Formål og spørgsmål Evalueringen skal give UVM og UCL indsigt i den oplevede udvikling for lærerne af kompetenceudviklingsforløbet og tydeliggøre, hvilke elementer der i særlig grad er udslagsgivende for, at lærerne/lederne oplever en ændring i tilgangen til udfordringerne og i lærernes undervisningspraksis. Evalueringen skal samtidig give UCL s undervisere og uddannelsestilrettelæggere det nødvendige input/feedback ift. at vurdere, hvordan et mere fast uddannelsestilbud fremadrettet kan designes. Evalueringen skal således overordnet besvare to hovedspørgsmål: 1. I hvilken grad og på hvilke måder oplever avu-lærerne og -lederne, at indsatsen har gjort en forskel ift. lærernes pædagogisk-didaktiske praksis? a) I hvilken grad oplever lærerne, at de har opnået deres individuelt formulerede læringsmål? b) Hvorvidt og på hvilke måder, føler lærerne sig bedre klædt på efter forløbet? c) I hvilken grad er de nye kompetencer blevet bragt i spil i den daglige praksis? d) I hvilken grad er samspillet mellem de deltagende lærere og deres ledelser blevet styrket i processen? e) I hvilken grad er samspillet mellem de deltagende lærere og deres kollegaer blevet styrket i processen? f) Har disse samspil bidraget til en oplevelse af en bedre håndtering af de pædagogiske udfordringer? 2. Hvordan vurderer og -ledere UCL s kompetenceudviklingsforløb i forhold til indhold og rammer/tilrettelæggelse? a) Hvordan vurderer lærere og ledere den indholdsmæssige side af forløbet (formuleringen af selvstændige læringsmål, oplæggenes relevans, kursets faglige niveau, karakteren og kvaliteten af sparringen i netværksgrupper og med fagkonsulenterne mv.)? Projektbeskrivelse 2
b) Hvordan vurderer lærere og ledere rammerne for forløbet (tilrettelæggelsen med inspiration fra aktionslæring, tilrettelæggelsen af konferencerne, omfanget af aktiviteter, former for deltagelse mv.) c) Vurderer lærere og ledere, at bestemte elementer i forløbet i særlig grad har været udslagsgivende for ændringer i deres undervisningspraksis? 3. Evalueringsdesign Evalueringen designes med to dataindsamlingsnedslag for at få afdækket, hvordan indsatsen (kompetenceudviklingsforløbet) og outputtet (den oplevede udvikling) hænger sammen. De to faser for dataindsamling beskrives i nedenstående. Fase 1: Opstartsfase Undersøgelsens første fase indeholder en kvalitativ og kvantitativ del: Den kvalitative del skal give et grundigt afsæt for evalueringen, der belyser deltageres såvel som arrangørers perspektiver på konferencens temaer og forventninger til udbyttet. Den kvantitative del skal danne grundlag for en vurdering af, hvorvidt lærerne oplever en effekt af forløbet. Fasen består af tre elementer: 1) Spørgeskema til (baseline) De tilmeldte, modtager medio juni 2015 et mindre spørgeskema. Spørgeskemaet vil fungere som en såkaldt baselinemåling. Det skal give en viden om lærernes arbejde med de didaktiske principper, målstyret undervisning mv. inden de begynder på kurset. Disse spørgsmål vil blive gentaget i en senere spørgeskemaundersøgelse for at følge den udvikling, der vil være i lærernes besvarelser. Spørgeskemaet til lærerne vil primært omfatte et antal udvalgte spørgsmål, som blev anvendt i EVA s undersøgelse Avu-fagevaluering Læreplaner, karakterer og gennemførelse på almen voksenuddannelse fra 2014. Ved at gentage disse spørgsmål får vi mulighed for at sammenligne deltagergruppen med den samlede gruppe af i 2014, herunder i forhold til fx deres syn på og brug af didaktiske principper og faglige mål. Eksempler på spørgsmål fremgår af boks 1. Boks 1 Eksempler på spørgsmål i spørgeskema, som fremgår i baselinemåling, og den efterfølgende spørgeskemaundersøgelse blandt lærerne I hvilken grad kender du de faglige mål, der er beskrevet i læreplanen? I hvilken grad tilrettelagde du undervisningen på dit hold efter de faglige mål i læreplanen? I hvilken grad kender du de didaktiske principper beskrevet i læreplanen? I hvilken grad gør du brug af de didaktiske principper i læreplanen? Er de didaktiske principper, der er beskrevet i læreplanen relevante i forhold til at nå de faglige mål? Hvilke af følgende arbejdsformer gjorde I brug af i undervisningen? [relevante undervisningsformer nævnes] Hvilke af følgende måder at inddrage it på, indgik i undervisningen? Desuden vil spørgeskemaet til lærerne indeholde enkelte spørgsmål om baggrundsoplysninger, såsom hvilket fag læreren underviser i, om læreren deltager i forløbet alene, med sin(e) kollega(er) og/eller sin leder, ligesom det vil være relevant ift. motivation at spørge, om de er tilmeldt på eget eller på deres leders initiativ. Spørgeskemaet sendes ud som et link pr. mail til deltagerne medio juni. Der vil være en svarfrist på 1 uge på skemaet, og der følges op med påmindelser i forhold til manglende besvarelser. 2) interview med undervisere og undervisningsplanlæggere fra UCL og udvikling af programteori Projektbeskrivelse 3
EVA gennemfører i september/oktober et fokusgruppeinterview på 3 timer med undervisere, der er tilknyttet kompetenceudviklingsforløbet og undervisningsplanlæggere fra UCL. Der er to overordnede formål med interviewet. For det første vil interviewet fungere som en programteoretisk afdækning, hvor vi systematisk blotlægger overvejelserne bag kompetenceudviklingsforløbet. Denne indsigt er central for at forstå intentionerne bag de forskellige indholds- og proceselementer: Hvorfor netop disse elementer, hvad er formålet med elementerne og hvilke forhold skal der være til stede før UCL vurderer, at formålene med forløbet er opfyldt? EVA udvikler på baggrund af interviewet en programteori over forløbet. Denne sendes til kommentering hos UCL, inden den færdiggøres af EVA. Programteorien vil blive anvendt igennem resten af evalueringen som et fundament for at undersøge de forskellige aspekter af kompetenceudviklingsforløbet. For det andet vil interviewet fungere som en mindre status på undervisernes vurdering af og refleksion over uddannelsesforløbet indtil nu, herunder startkonferencen og den spæde anvendelse af de virtuelle platforme, og samtalen vil kunne bidrage med indsigt ift. evt. justeringer af forløbet. Interviewet afholdes hos UCL. 3) Deltagelse i konference EVA vil deltagerobservere på de tre konferencer for at få et indtryk af indhold, form og interaktion mellem deltagerne indbyrdes såvel som mellem undervisere og deltagere. Den indsigt, der på denne måde bliver skabt, vil efterfølgende blive brugt i forbindelse med udviklingen af spørgeguides til fokusgruppeinterview og det afsluttende spørgeskema. Ingen afrapportering i denne fase EVA afleverer ingen selvstændig rapport på baggrund af denne fase. Fase 2: Summativ evaluering kort tid efter afslutning af forløb Undersøgelsens fase 2 indeholder både en kvantitativ- og en kvalitativ del, samt afsluttes med den endelige rapport. Fase 2 gennemføres, når kompetenceudviklingsforløbet er afsluttet, og indeholder fem elementer: Spørgeskemaundersøgelse blandt i maj- juni 2016 (follow up) EVA gennemfører en spørgeskemaundersøgelse blandt i maj-juni 2016, dvs. efter kompetenceudviklingsforløbets slutkonference. Formålet med denne spørgeskemaundersøgelse er at belyse lærernes vurderinger af, hvorvidt og hvordan deres kompetencer er blevet udviklet, og hvordan dette har ændret deres undervisningspraksis. Desuden skal spørgeskemaundersøgelsen give indblik i lærernes vurderinger af det samlede undervisningsforløbs indhold og form. Spørgeskemaet vil dels indeholde mange af de samme spørgsmål som i baselineskemaet, jf. boks 1, dels et antal nye spørgsmål, herunder i forhold til at belyse den enkelte lærers vurdering af udviklingen med hensyn til vedkommendes egne formulerede læringsmål samt spørgsmål om kompetenceudviklingsforløbets tilrettelæggelse. EVA udarbejder spørgeskemaet og pilottester det. Spørgeskemaet sendes ud i maj-juni 2016 som et link pr. mail til deltagerne. Der vil være svarfrist på 2 uger, og der følges op med påmindelser i forhold til manglende besvarelser. To fokusgruppeinterview med lærere I august 2016 afholdes to fokusgruppeinterview med i forlængelse af resultaterne af spørgeskemaundersøgelsen. Interviewene sætter fokus på lærernes vurderinger af ændringer i deres undervisningspraksis jf. deres læringsmål og hvilke elementer i forløbet, som lærerne vurderer, har haft en betydning for denne ændring. interviewene vil bidrage med en mere nuanceret og dybdegående viden om deltagernes læreprocesser i relation til formålet med forløbet. Projektbeskrivelse 4
interviewene vil vare ca. 2 timer og vil finde sted henholdsvis øst og vest for Storebælt. Øst for Storebælt vil interviewet afholdes hos EVA, vest for Storebælt kan placeringen fx være i mødelokaler på centralt placeret hotel i Østjylland. To fokusgruppeinterview med ledere I august 2016 afholdes to fokusgruppeinterview med ledere. Disse interview vil fokusere på kompetenceudviklingsforløbet set fra ledelsens synspunkt, herunder hvordan tilrettelæggelsen har fungeret for dem, hvilke evt. tiltag og aktiviteter de har søsat (videndeling, sparring, undervisningsobservation mv.) og på hvilke måder, de vurderer, at der har været en udvikling i lærernes undervisningspraksis. interviewene vil vare ca. 2 timer og vil finde sted henholdsvis øst og vest for Storebælt. Af planlægnings- og ressourcehensyn afholdes interviewene på samme dag og sted som fokusgruppeinterviewene med lærere. Afsluttende fokusgruppeinterview med uddannelsesplanlæggere og undervisere fra UCL s kompetenceudviklingsforløb I august 2016 afholdes et fokusgruppeinterview med underviserne og uddannelsesplanlæggere for også at inddrage deres oplevelser af og perspektiver på forløbet. Herunder undervisernes vurderinger af i hvilken grad deres intentioner med forløbet er blevet indfriet. Endelig rapport EVA afleverer en endelig rapport i november 2016. Rapporten besvarer samlet set evalueringens formål. Rapporten afleveres elektronisk til UCL og UVM. UCL og UVM får rapporten i høring, inden den endelige rapport afleveres. Desuden fremlægger EVA rapportens resultater på et møde med UVM og UCL i København. 4. Overblik over sammenhængen mellem evalueringsspørgsmål og metoder I skemaet nedenfor gengives et overblik over sammenhængen mellem evalueringsspørgsmål og metoder i det samlede design. Interviewene med undervisere fra UCL nævnes ikke her. De er fundamentet for resten af undersøgelsen. 1. I hvilken grad og på hvilke måder oplever avulærerne og -lederne, at indsatsen har gjort en forskel ift. lærernes pædagogisk-didaktiske praksis? a. I hvilken grad oplever lærerne, at de har opnået deres individuelt formulerede læringsmål? b. Hvorvidt og på hvilke måder, føler lærerne sig bedre klædt på efter forløbet? c. I hvilken grad er de nye kompetencer blevet bragt i spil i den daglige praksis? d. I hvilken grad er samspillet mellem de deltagende lærere og deres ledelser blevet styrket i processen? e. I hvilken grad er samspillet mellem de deltagende lærere og deres kollegaer blevet styrket i processen? f. Har disse samspil bidraget til en oplevelse af en bedre håndtering af de pædagogiske udfordringer? 2. Hvordan vurderer og -ledere UCL s kompetenceudviklingsforløb i forhold til indhold og rammer/tilrettelæggelse? a. Hvordan vurderer lærere og ledere den indholdsmæssige side af forløbet (formuleringen af selvstændige læringsmål, oplæggenes relevans, Spørgeskema () () ledere () () () () () Spørgeskema ledere () Projektbeskrivelse 5
kursets faglige niveau, karakteren og kvaliteten af sparringen i netværksgrupper og med fagkonsulenterne mv.)? b. Hvordan vurderer lærere og ledere rammerne for forløbet (tilrettelæggelsen med inspiration fra aktionslæring, tilrettelæggelsen af konferencerne, omfanget af aktiviteter, former for deltagelse mv.) c. Vurderer lærere og ledere, at bestemte elementer i forløbet i særlig grad har været udslagsgivende for ændringer i deres undervisningspraksis? () () Projektbeskrivelse 6