Aftalebeskrivelse Evaluering af Skoleudvikling i Praksis (SIP) på EUD Undervisningsministeriet (UVM) har iværksat kursusforløbet Skoleudvikling i Praksis (SIP), der er et forløb for alle uddannelsesinstitutioner, der udbyder erhvervsuddannelser. SIP er en del af aftalen om erhvervsuddannelsesreformen Bedre og mere attraktive erhvervsuddannelser fra februar 2014, og formålet med forløbet er at understøtte og inspirere skolernes implementering af reformen. I forbindelse med gennemførelsen af SIP har UVM bedt Danmarks Evalueringsinstitut (EVA) om at evaluere kursusforløbet. I denne projektbeskrivelse beskrives baggrund, formål og design for evalueringen. Dato 25.11.2014 Ref. kst 1/7 Skoleudvikling i Praksis baggrund og kontekst SIP omfatter i alt fire kursusdage i løbet af 2015, der planlægges og arrangeres af UVM. Kursusforløbet tilrettelægges i samarbejde med følgegruppen for SIP, som består af repræsentanter fra leder- og lærerorganisationerne: Danske Erhvervsskoler, Danske Landbrugsskoler, Danske SOSU-skoler, Foreningen af Forstandere og Direktører ved AMU-centre, Danmarks Lærerforening, Uddannelsesforbundet og HL. Kursusforløbets formål fremgår af afsnit 9.6.3. i Bedre og mere attraktive erhvervsuddannelser : Der gennemføres i 2014-15 et landsdækkende initiativ for lærere og ledere om skoleudvikling i praksis (SIP). Initiativet skal via blandt andet pædagogiske dage, temamøder og kollegasupervision inspirere til at styrke fokus på kvaliteten og give lærere konkrete redskaber i undervisningen. Omdrejningspunktet er, at institutionsudvikling skal sikre en udvikling, der er relevant, målrettet og dermed brugbar for den enkelte skole ud fra konkrete udfordringer. Derfor skal SIP spille sammen med lærernes og ledernes kompetenceudvikling jf. afsnit 9.2 og 9.6.1. Formålet med SIP-kursusforløbet er at understøtte den enkelte skoles proces med at implementere erhvervsuddannelsesreformen. Kursusforløbet skal i den forbindelse dels give kursusdeltagerne konkrete input og værktøjer til arbejdet med deres implementeringsplan, dels give deltagerene på tværs af skoler mulighed for at sparre med hinanden om deres arbejde med at implementere reformen. Østbanegade 55, 3. 2100 København Ø T 35 55 01 01 E eva@eva.dk F 35 55 10 11 H www.eva.dk
De fire kursusdage afvikles i januar (SIP-1), april (SIP-2), august (SIP-3) og november 2015 (SIP-4). De gennemføres i seks parallelle serier med en geografisk fordeling i hele landet. Det er hensigten, at skolerne sender minimum fire deltagere, udvalgt blandt både ledere og lærere. Antallet af deltagere fra hver skole beregnes efter skolens størrelse (antal årselever), dog max. 20 deltagere. Kursusdagene er bygget op som en kombination af videninput, samarbejde og gensidig sparring mellem skolerne. Fokus i kursusforløbet ligger på følgende temaer: Kursusdag 1: Tværfaglig og helhedsorienteret undervisning på grundforløbet (SIP-1) Kursusdag 2: Et attraktivt erhvervsrettet læringsmiljø (SIP-2) Kursusdag 3: Udvikling af modeller og metoder til differentiering (SIP-3) Kursusdag 4: Praksisorienteret undervisning - kobling mellem teori og praksis (SIP-4) UVM s læringskonsulenter på eud-området har en central rolle på og imellem kursusdagene. Imellem kursusdagene vil de være i kontakt med udvalgte skoler. Kontakten skal bidrage til, at der sker en lokal forankring af de udviklede initiativer. Formål med evalueringen Evalueringen har et dobbelt sigte: Dels at give UVM input til at kvalificere den løbende planlægning af kursusdagene undervejs i forløbet. Dels at følge op på anvendeligheden af kursusforløbet, dvs. om skolerne har kunnet anvende kursusforløbet og de temaer, der er taget op, i arbejdet med at implementere erhvervsuddannelsesreformen. Evalueringen har således både et formativt og et summativt sigte. 2/7 EVA vil på baggrund af evalueringen angive opmærksomhedspunkter, som UVM kan lade sig inspirere af i processen med at udvikle SIP-kursusforløbet og i forbindelse med fremtidige indsatser. Evalueringsdesign Figuren nedenfor viser en model for evaluering af kompetenceudvikling, som danner udgangspunkt for det foreslåede evalueringsdesign. Kursus afholdes Respons Udbytte Transfer Resultater i praksis
Respons er deltagernes umiddelbare tilfredshed med kurset, herunder praktisk tilrettelæggelse m.m. i dette tilfælde hver kursusgang. Udbytte handler om, hvad deltagerne får med sig hjem fra kurset i dette tilfælde de enkelte kursusgange. Transfer handler om, hvorvidt læringsudbyttet kan omsættes i praksis. Resultater kan undersøges på langt og kort sigt. På langt sigt kan man tale om egentlige effekter. I denne evaluering vil man kunne vurdere resultater på kort sigt, dvs.om SIP har ført til en ændret praksis. Denne model strukturerer evalueringsspørgsmålene som vist neden for: Tabel 1 Evalueringsspørgsmål Respons Hvordan er deltagernes tilfredshed med de enkelte kursusgange? - Organiseringen af kursusgangen (program, arbejdsformer mv) - Det faglige indhold og sammenhængen på dagen - Forberedelsesopgaven og forberedelsesmaterialet - De praktiske rammer - Sammenhæng og progression mellem de forskellige kursusgange 3/7 Udbytte Hvilket udbytte vurderer deltagerne, at de får med hjem fra de enkelte kursusgange? - Vurderer lederne, at de har fået konkrete værktøjer til og viden om implementering af reformen? - Vurderer lærerne, at de har fået konkrete værktøjer til udvikling af undervisningen? - Hvilket udbytte vurderer deltagerne, at de har fået af samarbejdet med andre skoler på kurserne? Transfer I hvilket omfang har skolerne på kursusdagene kunnet arbejde med udgangspunkt i egen praksis, og i hvilket omfang har skolerne kunnet omsætte læringsudbyttet af kurserne i praksis? Hvilke forhold har virket hhv. hæmmende og fremmende for at transfer kunne finde sted? - Forhold knyttet til kurset, der har virket hæmmende eller fremmende for transfer, herunder læringskonsulenternes rolle, indholdets relevans og mulighed for tilpasning i forhold til skolens konkrete problemstillinger (der hvor skolen er i processen med reformimplementering) og kursets fokus på anvendelighed - Forhold knyttet til skolen, herunder skolens udvælgelse af deltagere, forbere-
delse og efterfølgende opsamling på de enkelte kursusgange og udbredelse af viden og værktøjer i organisationen. Resultater I hvilket omfang og hvordan har SIP bidraget til skolernes arbejde med at implementere erhvervsuddannelsesreformen? - Hvilke konkrete resultater oplever deltagerne, at der er kommet ud af hver af de fire forskellige SIP-kursusgange på deres skole? - På hvilke områder oplever deltagerne at SIP særligt har medført praksisændringer eller udvikling på skolen? - I hvilken grad oplever deltagerne, at deres deltagelse i SIP kan have betydning for det fremadrettede arbejde med at implementere erhvervsuddannelsesreformen på deres skole? For at besvare evalueringsspørgsmålene foreslår EVA et evalueringsdesign, der kombinerer kvalitative og kvantitative metoder. Dataindsamlingen er desuden valgt, så den giver mulighed for at give input til UVM løbende. Nedenfor uddybes evalueringens datakilder. Kvantitative datakilder Der gennemføres i alt fire spørgeskemaundersøgelser i evalueringen blandt deltagerne på SIP-forløbet. 4/7 Der udsendes et spørgeskema til deltagerne umiddelbart efter hver af de tre første SIPkursusgange (Spørgeskema 1, 2 og 3). Disse spørgeskemaer er forholdsvis korte på 10-12 spørgsmål. De har til formål at få en kursusnær evaluering af hver af de tre SIP-kursusgange og deres forskellige indhold og tilrettelæggelse i forhold til deltagernes respons og udbytte. Desuden vil de også have fokus på deltagernes vurdering af deres mulighed for på kurset at arbejde med deres egen praksis og reformimplementeringsproces og dermed udgangspunktet for en transfer fra kursus til praksis. Der udsendes desuden et mere omfattende spørgeskema (spørgeskema 4) på ca. 25 spørgsmål tre måneder efter, at det samlede SIP-kursus er afsluttet. Dette spørgeskema har primært til formål at undersøge, hvordan deltagerne har kunnet anvende udbyttet fra kurserne efterfølgende i deres arbejde med at implementere reformen (transfer), og hvilke praksisændringer SIP-kurset har bidraget til (resultater på kort sigt). Spørgeskemaet sendes ud tre måneder efter, at hele forløbet er afsluttet, således at skolerne har haft noget tid til at arbejde med det lærte i praksis. Det sidste spørgeskema skal også omfatte deltagernes respons og udbytte af den sidste SIPkursusgang (SIP-4). Såfremt svarprocenterne på spørgeskema 1 til 3 er pæne, overvejes det, om spørgeskema 4 eventuelt skal deles op i to dele, en del der besvares umiddelbart efter SIP 4 (tilsvarende SIP 1, 2 og 3) og en del, der besvares efter tre måneder. Alle spørgeskemaerne udarbejdes sådan, at det bliver muligt at se på eventuelle forskelle i besvarelser i forhold til forskellige relevante baggrundsfaktorer, herunder fx SIP-serie, deltagertyper (hhv. ledere og lærere) og skolestørrelse.
Det vurderes at være værdifuldt for UVM at få deltagernes tilbagemeldinger for hver af de fire kursusgange, således at der kan foretages løbende forbedringer af kursusforløbet. UVM vil derfor løbende få adgang til resultaterne af spørgeskemaundersøgelserne i form af tabelrapporter. Det vurderes desuden at være vigtigt for kvaliteten af besvarelserne vedrørende deltagernes respons og udbytte af de enkelte kursusgange, at deltagerne besvarer spørgeskemaet umiddelbart efter hver kursusgang, og ikke blot når det samlede kursus er gennemført, hvorfor det er hensigtsmæssigt med flere spørgeskemarunder. Det er dog samtidig en vigtig overvejelse, at deltagerne ikke bliver evalueringstrætte, hvilket kan få betydning for svarprocenterne. For at undgå dette, og for at sikre så høj en svarprocent som muligt holdes spørgeskemaerne efter SIP1, SIP 2 og SIP 3 forholdsvis korte med ca. 10-12 spørgsmål. Deltagerne får tilsendt et link til spørgeskemaet på deres mail på selve kursusdagen, så det kan besvares umiddelbart efter kurset, eventuelt inden kursusstedet forlades, og deltagerne opfordres på kurset til at svare på skemaet. Spørgeskemaerne udarbejdes af EVA s projektgruppe på baggrund af formål, program og indhold for de enkelte kursusgange, som det fremgår af det skriftlige materiale og gennem interviewmøde med læringskonsulenterne. Alle spørgeskemaer sendes til kommentering hos UVM, så det sikres, at spørgsmålene rammer sigtet med de enkelte kursusgange og formålet med det samlede SIP-forløb. 5/7 Det første spørgeskema testes blandt deltagere ved den først afholdte SIP-dag (12. januar på Scandic Sydhavnen), idet EVA kontakter 3-4 deltagere og får deres feedback på spørgeskemaet. Det vurderes, at der vil være tale om mindre justeringer, som dog kan være vigtige at få med for at højne kvaliteten af spørgeskemaet. Spørgeskema 2 og 3 testes på samme vis, hvis det findes nødvendigt. For spørgeskema 4 foretages en almindelig pilottest forud for udsendelse. UVM sender en liste til EVA med samtlige deltagere med navn, titel, mailadresse, skole og tilmeldt SIP-serie, som bruges som udsendelsesliste. Kvalitative datakilder Evalueringen indeholder forskellige kvalitative datakilder: Telefoninterview med 12 kursusdeltagere Efter SIP 2 gennemføres 12 telefoninterview af ca. 20 minutters varighed med kursusdeltagere. Telefoninterviewene sammensættes sådan, at der interviewes to deltagere fra hver af de seks SIP-serier, en leder og en lærer. Desuden sikres en fordeling på små og store skoler og en fordeling, der tager hensyn til at dække de forskellige skoletyper. Deltagerne rekrutteres på baggrund af spørgeskemaet, hvor deltagerne spørges om vi må kontakte dem. Derudover udvælges de tilfældigt. Formålet med interviewene er at få uddybet resultaterne af spørgeskema 1 og 2. Ved at gennemføre telefoninterview er det muligt at få deltagernes forklaringer på, hvorfor de oplever at kurserne giver eller ikke giver- et udbytte, og disse forklaringer vil være væsentlige i arbejdet med at justere kurset. Der vil være særligt fokus på deltagernes respons på og udbytte af kursusdagenes enkelte elementer og deres umiddelbare vurdering af mulighederne for at omsætte det i praksis. Desuden vil der være fokus på at få deltagernes forslag til forbedringer af kursusgangene fremadrettet.
Telefoninterviewene gennemføres på baggrund af en semistruktureret spørgeguide som sendes til kommentering hos UVM. Møder med læringskonsulenterne Der afholdes to møder med læringskonsulenterne, et efter gennemførelsen af SIP 2, og et efter gennemførelsen af SIP 4. Møderne skal dels give mulighed for, at læringskonsulenternes erfaringer med arbejdet på kursusdagene og på udvalgte skoler mellem kursusdagene kan inddrages i evalueringen, dels give input til det sidste og afsluttende spørgeskema og interviewguides til interview med deltagere på skolerne. Interview med lærere og ledere der har deltaget i SIP på 12 skoler Efter den sidste spørgeskemaundersøgelse besøger EVA 12 skoler, der har deltaget i alle fire kursusdage. Besøget på skolen rummer et samlet interview med de repræsentanter fra skolens ledelse, der har deltaget i SIP-kurserne, og et samlet interview med de lærere, der har deltaget i SIP-kurserne. Der er dog mulighed for, at der gennemføres to ledergruppeinterview og to lærergruppeinterview, hvis dette viser sig hensigtsmæssigt i forhold til skolens organisering, størrelse og SIP-deltagelse 1. Skolerne udvælges således, at hver SIP-serie repræsenteres med to skoler. Desuden sikres en spredning på skolestørrelse og udbudte fagretninger. Endelig indgår mindst en skole, som kun udbyder hovedforløb for at få dækket oplevelsen af SIP-kurset fra dette perspektiv. Det endelige valg af skoler sendes til UVM til kommentering for at sikre en optimal dækning af skoletyper og fagretninger i det nye EUDlandskab. 6/7 Interviewene vil først og fremmest have fokus på, hvordan skolerne har arbejdet med at omsætte kurserne i deres praktiske arbejde med at implementere reformen, i hvilken grad og hvordan deltagerne oplever, at de har kunnet anvende kurserne i forhold til den proces, de står i, og hvilke konkrete resultater, de vurderer, at der er kommet ud af det. Interviewene vil i den forbindelse også komme omkring deltagernes vurderinger af det faglige udbytte på kurserne, men set i sammenhæng med muligheden for at anvende det i praksis. Desuden vil interviewene afdække om og hvordan deltagerne oplever, at deres deltagelse i SIP kan have betydning for det fremadrettede arbejde med at implementere reformen på deres skole. De kvalitative interview på skolerne giver mulighed for at afdække forskellige måder, hvorpå SIP-forløbet har haft betydning for skolernes praksis, og for at forstå hvilke sammenhænge deltagerne oplever mellem det, de har lært på kurserne, og hvordan de arbejder med at implementere reformen. Interviewene giver også mulighed for at få sat nogle ord og forklaringer på de kvantitative resultater fra spørgeskemaundersøgelsen. Gruppeinterviewene som interviewform giver deltagerne mulighed for at reflektere sammen og dermed nå et højere refleksionsniveau, samtidig med at de selv får en fælles drøftelse af, hvor de står i deres arbejde med at implementere viden og erfaringer fra kursusgangene. 1 Store skoler har fx mulighed for at dele sig op og deltage i forskellige SIP-serier.
Interviewene gennemføres på baggrund af en semistruktureret spørgeguide, som sendes til kommentering hos UVM forud for skolebesøgene. Analyser og afrapportering Efter SIP 2 udarbejder EVA et midtvejsnotat, som kan danne grundlag for UVM s kvalificering af de resterende to kursusgange. Notatet vil indeholde en analyse af besvarelserne fra spørgeskemaerne efter SIP1 og SIP 2 samt telefoninterview med 12 deltagere. Fokus for denne analyse vil primært være på deltagernes respons på og udbytte af SIP 1 og SIP 2 samt muligheder og barrierer for transfer. Efter hele forløbet udarbejder EVA en afsluttende analyse og evalueringsrapport. Her vil der være fokus på deltagernes respons på og udbytte af SIP 3 og SIP 4 samt udbyttet af det samlede kursus og mulighed for transfer og endelig resultater på kort sigt. Denne del baserer sig på spørgeskemaundersøgelserne efter SIP 3 og SIP 4, interviewene med lærere og ledere på 12 skoler, der har deltaget i hele kursusforløbet, og mødet med læringskonsulenterne. Skemaet nedenfor viser evalueringens datakilder, og hvordan de forskellige datakilder skal bidrage til at dække evalueringsspørgsmålene og indgå i analyserne. Tabel 2 Evalueringens datakilder 7/7 Datakilde Evalueringsspørgsmål Analyse efter SIP 1 efter SIP 2 Møde med læringskonsulenter efter SIP 2 efter SIP 3 efter SIP 4 Telefoninterview med 18 deltagere Møde med læringskonsulenter efter SIP 4 Interview med deltagere på 12 skoler (skolebesøg) Respons Udbytte Transfer Resultater Midtvejsnotat Slutrapport X X X X Produkter EVA udarbejder to skriftlige produkter: Et midtvejsnotat på 10-15 sider efter SIP 2, og en slutrapport på ca. 30 sider efter hele forløbet. Begge produkter udarbejdes i EVA s wire-oformat (A4) og leveres elektronisk til UVM. UVM modtager begge notater til kommentering inden de offentliggøres. Desuden leverer EVA tabelrapporter til UVM for hver af de fire spørgeskemaundersøgelser. Alle projektprodukter offentliggøres på EVA s hjemmeside.