DET ER NEMMERE AT FORLADE EN UDDANNELSE END ET FÆLLESSKAB

Transkript

1 MARTS 2017 REGION SJÆLLAND DET ER NEMMERE AT FORLADE EN UDDANNELSE END ET FÆLLESSKAB MIDTVEJSEVALUERING

2

3 ADRESSE COWI A/S Parallelvej Kongens Lyngby TLF FAX WWW cowi.dk MARTS 2017 REGION SJÆLLAND DET ER NEMMERE AT FORLADE EN UDDANNELSE END ET FÆLLESSKAB MIDTVEJSEVALUERING PROJEKTNR. A DOKUMENTNR. 158.M VERSION 0.2 UDGIVELSESDATO UDARBEJDET LMI KONTROLLERET MOBR GODKENDT MOBR

4

5 DET ER NEMMERE AT FORLADE EN UDDANNELSE END ET FÆLLESSKAB 5 INDHOLD 1 Resumé: Det er nemmere at forlade en uddannelse end et fællesskab 1 2 Fakta om projektet Projektets effektkæde Projektets kritiske succesfaktorer 3 3 Overordnet status 4 4 Projektets implementering 5 5 Fremdrift og målopnåelse Fremdrift ift. aktiviteter og milepæle Målopnåelse i forhold til output 9 6 Effektvurdering Forudsætninger for effektskabelse Indsatsens effektmål 12 7 Anbefalinger og læring 14

6

7 DET ER NEMMERE AT FORLADE EN UDDANNELSE END ET FÆLLESSKAB 1 1 Resumé: Det er nemmere at forlade en uddannelse end et fællesskab Projektets implementering Organisering & samarbejde Mål ift. aktiviteter Kvalitet Relevans Forankring Monitorering og opfølgning Gennemsnitlig score for implementering (skala: 0-5) 3,5 Samarbejdet mellem de tre uddannelsesinstitutioner sikrer adgang til et bredt udsnit af målgruppen, men der er behov for en tættere involvering af kontaktlæreren. Projektets brede vejledningsindsats skaber grundlag for at identificere målgruppen af sårbare unge, men det er ikke tydeligt, hvordan denne gruppe skal hjælpes i det videre forløb. Projektets aktiviteter styrker fællesskabet blandt GF1-elever, men målgruppen oplever, at aktiviteterne ikke i tilstrækkelig grad er tilpasset deres alder. De deltagende lærere har erhvervet sig kompetencer til at identificere og støtte sårbare unge, og det derfor centralt, at projketet fokuserer på, hvordan disse kompetencer anvendes og vedligeholdes. Slutteligt kan projketet skabe større udbytte af de gennemførte aktiviteter ved at følge værdiskabelsen hos målgruppen tættere. Målopnåelse Fremdrift (aktiviteter) Målopnåelse ift. output Budgetforbrug Tidsforbrug 49% 34% 38% 42% Projektets fremdrift er tilfredsstillende på aktivitetsniveau. På evalueringstidspunktet er 54 % af de opstillede aktivitetsmål opnået. Dette indebærer blandt andet, at 70 % af det ønskede antal GF1-elever har fået gruppevejledning. Fremdriften af på projektets outputmål er mariginalt under det ønskede niveau. Dette skyldes primært, at projektet ikke har kunnet opgøre outputmål målrettet sårbare unge, idet der endnu ikke er identificeret nogen. I forhold til projektets tidsforbrug hænger det lave budgetforbrug naturligt sammen med, at de mere omkostningstunge kompetenceudviklingsforløb for undervisere først iværksættes i sidste halvdel af projektet. Effektvurdering Projektet har skabt en række forudsætninger for, at styrke fællesskabet blandt GF1-elever og at øge sårbare unges trivsel og motivation til at gennemføre deres ungdomsuddannelse. Der tegner sig et billede af, at projektet kan skabe de ønskede effekter om at ruste underviserne til at støtte sårbare unge. Dog er den uklare procedure for håndtering af sårbare unge en barriere for at hjælpe og støtte denne gruppe til at gennemføre deres ungdomsuddannelse. Derfor anser vi det som urealistisk, at effektmålene omhandlende sårbare unge kan indfries.

8 2 DET ER NEMMERE AT FORLADE EN UDDANNELSE END ET FÆLLESSKAB 2 Fakta om projektet Dette afsnit indeholder en kort beskrivelse af projektets formål og baggrund samt en gengivelse af de vigtigste baggrundsoplysninger for projektet (tekstboks). Afsnittet afsluttes med en illustration af projektets 'effektkæde'. Overordnet projektbeskrivelse Projektets formål er at hjælpe sårbare, frafaldstruede unge med sociale og/eller psykiske udfordringer til at gennemføre deres ungdomsuddannelse. Den primære målgruppe er sårbare unge på tværs af GF1 på ungdomsuddannelserne på Campus Køge; SOSU Sjælland, Køge Handelsskole og EUC Sjælland. Det centrale virkemiddel i projektet er kompetenceudvikling af lærere, undervisere, fagog UU-vejledere, mentorer m.fl. er på Campus Køge, til at arbejde professionelt med målgruppen af unge. I den optik kan disse fagprofessionelle ses som en sekundær målgruppe for projektet. Projektet indebærer et tværfagligt og tværsektorielt samarbejde og omfatter en aktiv, koordineret indsats, der er et tillæg til de eksisterende, lokale aktiviteter, der skal hjælpe sårbare unge med at gennemføre deres uddannelse. I dag afrundes UU-vejledning som udgangspunkt i folkeskolen, men med projektet tilbydes unge på ungdomsuddannelserne UU-vejledning med henblik på at støtte, vejlede og derigennem fastholde frafaldstruede unge. De tre ungdomsuddannelser på Campus Køge, UngdomsUddannelsesVejledning (UUV) og Køge Kommune udarbejder et tilbud omkring angst og depression, der skal understøtte unges trivsel. Gennem blandt andet gruppevejledning og ungtil-ung arrangementer skal de unge indse, at de ikke er alene om at have personlige eller psykiske problemer. Dette fokus på at fremme fællesskabet på GF1 skal på sigt øge motivationen til at blive på en uddannelse og dermed sikre, at flere gennemfører en ungdomsuddannelse. Projektets hovedaktiviteter er delt op i fire faser: Kortlægning af best practice værktøjer til identifikation af sårbare unge Gruppevejledningsforløb for de sårbare unge og for alle GF1 elever Ung-til-ung arrangementer og mestringskurser Kompetenceudvikling af lærere, undervisere og vejledere Projektet er forankret i Campus Køge og bliver udført i tæt samarbejde med særligt de tre ungdomsuddannelser, Køge Kommunes deltagende afdelinger og UUV Køge Bugt. Figur 1 Kort info om indsatsen FAKTA-BOKS > Tilskudsmodtager: Campus Køge > Vækstforum: Region Sjælland > Sagsbehandler: Annica Bjørnlund Maharaj > Finansieringskilde: Socialfonden (ESF) > Indsatsområde: Erhvervsuddannelse for unge (ESF-4a) > Samlet budget: DKK 2,2 mio. > Bevillingsperiode:

9 DET ER NEMMERE AT FORLADE EN UDDANNELSE END ET FÆLLESSKAB Projektets effektkæde I dette afsnit beskrives hvilke effekter, det er hensigten at skabe med de bevilgede midler, samt hvordan disse effekter skal tilvejebringes. Effektkæden er udarbejdet på baggrund af projektansøgningen og efterfølgende tilrettet på baggrund af interviews med sagsbehandler og projektleder. Figuren nedenfor giver således et overblik over indsatsens primære aktiviteter, output af disse samt de effekter, som indsatsen på længere sigt forventes at bidrage til. Figur 2 Rationalet bag indsatsen illustreret via en effektkæde Hovedaktiviteter Output Effekter Kortlægning og identifikation af deltagere og deres behov, herunder sikring af best practices [1] Gruppevejledningsforløb: Øget vejledningsindsats over for GF1 elever. Nyt vejledningsforløb for sårbare unge [2] 'Ung-til-Ung fortællinger' fra hovedforløbselever etableres ifm. gruppevejledningen [3] Kompetenceudvikling af professionelle på GF1 [5] Metoder/værktøj til identifikation af sårbare og svage unge er udviklet De unge opnår nye værktøjer/strategier til at håndtere udfordringer ift. uddannelse Underviserne har opnået nye metoder at gribe undervisningen an på og er bedre rustet til at støtte sårbare elever Øget trivsel, motivation og fællesskab på uddannelsesinstitutioner Flere unge gennemfører en ungdomsuddannelse Øget veluddannet og kvalificeret arbejdskraft 2.2 Projektets kritiske succesfaktorer I dette afsnit beskrives projektets kritiske succesfaktorer, som er identificeret på opstartsmødet for evalueringen af projektet. De kritiske succesfaktorer illustrerer de væsentligste forhold i projektets omverden (kontekst), der på forhånd kan forventes at påvirke sammenhængen mellem projektets virkemidler og den ønskede effekt positiv eller negativt. Figur 3 Kritiske succesfaktorer for indsatsen Kritiske succesfaktorer Samarbejdet på tværs af fire forskellige uddannelsesinstitutioner. Adresseres ved at italesætte det over for alle partnere. Som udgangspunkt er uddannelsesinstituionerne reelt konkurrenter og har umiddelbart ikke interesse i uddannelsesskift hos de unge. Om de unge lader sig identificere og om de ønsker at tage imod tilbudene. Adresseres ved at tage hånd om den enkelte unge, så de følges rundt til projektets aktiviteter. Fællesaktiviteterne skal også medvirke til at afmystificere og bringe evt. problematikker hos de unge frem.

10 4 DET ER NEMMERE AT FORLADE EN UDDANNELSE END ET FÆLLESSKAB I forlængelse af pkt #3: de forskellige uddannelsesinstitutioner har også forskellige kulturer. Derfor skal der gøres en særlig indsats for forventningsafstemning. UU bliver nedlagt (jf. ny reform). Målgruppen: At udfordringerne ikke er så store, at de ikke kan adresseres gennem aktiviteterne i dette projekt. 3 Overordnet status Projektet har gennemført det forventede antal aktiviteter og fremdriften betragtes overordnet som tilfredsstillende. Projektet har oplevet udfordringer med at identificere sårbare, frafaldstruede unge. Dette er den primære årsag til, at projektet fremdrift af outputmål ligger en anelse under det ønskede niveau. På evalueringstidspunktet er der ikke sket væsentlige ændringer i projektets forudsætninger.

11 DET ER NEMMERE AT FORLADE EN UDDANNELSE END ET FÆLLESSKAB 5 4 Projektets implementering I dette afsnit præsenterer vi vores vurdering af projektets implementering ud fra seks faste evalueringsparametre. Figuren nedenfor giver et overblik over evalueringens konklusioner i forhold til de seks parametre. Organisering & samarbejde Mål ift. aktiviteter Kvalitet Relevans Forankring Monitorering og opfølgning Organisering og samarbejde Samarbejdet mellem de tre uddannelsesinstitutioner sikrer adgang til et bredt udsnit af målgruppen, men der er behov for en tættere involvering af kontaktlæreren. De tre involverede uddannelsesinstitutioner adskiller sig indbyrdes i forhold til elevsammensætning, kultur, uddannelsesforløb m.v. Det forskellige profiler vurderer vi har været en styrke for projektet, idet det indsatsen dermed rammer en bredere gruppe af elever. Overordnet er der en god opbakning til projektet blandt de deltagende lærere, UUvejledere m.v. som enstemmigt giver udtryk for, at projektet hviler på et stærkt rationale ift. at støtte sårbare unge. Men i praksis har en utilstrækkelig indledningsvis forventningsafstemning skabt uklarhed omkring ansvarsfordeling og skabt en række samarbejdsvanskeligheder. Særligt har samarbejdet mellem UUvejlederne og kontaktlærere været udfordret, hvilket flere lærere begrunder med uklarhed omkring rollefordelingen. Projektet har forsøgt at løse denne udfordring via løbende dialog om forventninger samt tilkobling af en medarbejder, der står for det koordinerende arbejde. Vi anser dette tiltag som en fornuftig tilpasning af indsatsen. Dog har den utilstrækkelige formalisering af ansvar været medvirkende til, at flere kontaktlærere har fundet gruppevejledningerne formålsløse særligt fordi det ikke har været tydeligt, hvad deres rolle i aktiviteterne var. De har af den grund haft en relativ negativ indstilling allerede inden aktiviteterne var påbegyndt. En central forudsætning for, at projektet kan indfri de opstillede mål er, at lærerne tager ejerskab for aktiviteterne og derigennem motiverer eleverne til at engagere sig i gruppevejledningerne (Se anbefaling 1). Sammenhæng ml. aktiviteter og mål Den brede vejledningsindsats rettet mod alle GF1-elever er med til at identificere sårbare unge, men det videre forløb for denne gruppe er ikke planlagt tilstrækkeligt grundigt. Gruppevejledningen har ifølge underviserne medvirket til, at en række unge har åbnet sig op og fortalt om problemer de oplever. Dette indikerer, at den brede vejledningsindsats er et virksomt redskab til at identificere unge, der har sociale og/eller psykiske problemer og som har reelt behov for støtte. Derfor anser vi den brede indsat for en central forudsætning for at identificere de sårbare unge, og anerkender værdien

12 6 DET ER NEMMERE AT FORLADE EN UDDANNELSE END ET FÆLLESSKAB af de aktiviteter projektet har gennemført. I forlængelse heraf giver lærerne udtryk for, at de via projektet har fået en række nye kompetencer til at arbejde med målgruppen af elever. Det har dog vist sig vanskeligt at involvere de sårbare unge i projektets aktiviteter. Dette bliver tydeligt når man ser fremdriften i aktivitetsmål A4 og A5, der er på 0, men forventeligt skulle have være cirka 7, hvis man tager højde for de elever, som lærerne er blevet opmærksomme på som følge af projektet. Dette tyder på, at ikke alle sårbare unge er blevet talt med i projektholdets målopgørelse. Projektet anvender WHO5-metoden til at identificere sårbare unge. Metoden består af en række spørgsmål, som den enkelte unge stilles til hver gruppevejledning, hvilket giver indblik i de unges trivsel og velbefindende. Via skemaets besvarelser har lærere og UU-vejledere udpeget unge, der har scoret højt i besvarelserne. De interviewede lærere fortæller ligeledes, at de ved hjælp af WHO5- skemaet er blevet opmærksomme på en række unge, der har udfordringer. De foreløbige erfaringer fra projektet viser også, at psykisk sårbarhed blot er en blandt en række faktorer, der øger risikoen for, at de unge falder fra deres uddannelse. Det er derfor vores vurdering, at projektet adresserer en central barriere for at nå det ønskede mål, men forklaringerne på frafaldet blandt eleverne også skal findes andre steder. Den største svaghed i projektets effektkæde er efter vores vurdering, at processen for, hvordan der skal tages hånd om de sårbare elever. Dette skaber usikkerhed om der reelt vil blive taget hånd om den enkelte elevs udfordringer. Vi noterer os, at projektet fremadrettet vil håndtere dette ved at følge mere systematisk opsamling på skemaerne efter vejledningerne (Se anbefaling 3). Kvalitet, målgruppens oplevelse Gruppevejledningerne giver en oplevelse af styrket fællesskab blandt GF1-elever, men aktiviteterne kan med fordel målrettes målgruppens alder. De deltagende GF1-elever giver overordnet udtryk for, at vejledningsforløbene været med til at skabe nye relationer mellem de unge og styrke fællesskabet i de enkelte klasser. Dette kan være med til at øge de unges trivsel og motivation for at gennemføre en ungdomsuddannelse. Endvidere fortæller to elever, at de har fået en bedre tilknytning til deres kontaktlærere som følge af vejledningsforløbende. Dette kan på sigt være værdiskabende, hvis eleverne får behov for støtte og selv opsøger læreren for at få hjælp. En række elever, som ikke er karakteriseret som sårbare oplever, at mange af aktiviteterne i vejledningsforløbene er "barnlige". Dette indikerer, at der kan være behov for at tilpasse aktiviteterne, således de unge i højere grad kan relatere til det og føler sig hørt og set. Relevans, målgruppens oplevelse Vejledningsforløbene skaber et forum, hvor sårbare elever føler sig trygge til at åbne op, men det er vanskeligt at adressere den brede målgruppes behov. I flere tilfælde har gruppevejledningen bidraget til en identifikation af unge, som har brug for hjælp. Ifølge underviserne ville dette ikke have været muligt foruden den målrettede vejledningsindsats. Således anser vi aktiviteterne som relevante for projektets primære målgruppe de sårbare unge. Som nævnt ovenfor er der stor forskel på i hvilket omfang udbyttet af vejledningen matcher elevernes behov. Det er dog vores vurdering, at den brede vejledningsindsats og screening af samtlige GF1-elever er nødvendig for

13 DET ER NEMMERE AT FORLADE EN UDDANNELSE END ET FÆLLESSKAB 7 at finde frem til de sårbare unge, der ikke melder sig selv til studievejlederne. På den baggrund vurderer vi, at det nærmere er aktiviteterne til vejledningsforløbene, der bør justeres med henblik på at øge effektpotentialet. Med udgangspunkt i de gennemførte interviews kan det potentielt øge mulighederne for at sikre relevans for alle deltagere, hvis vejledningsforløbene matcher eleverne aldersgruppe (Se anbefaling 1). Forankring af output Projektet har gjort sig fornuftige overvejelser omkring den fremadrettede forankring, men der brug for vedligeholdelse af lærernes nye viden, hvis deres kompetencer på dette felt ikke skal gå tabt. Projektet har udflyttet UU-vejledningen til de enkelte institutioner i stedet for at være placeret centralt ét enkelt sted. Vi vurderer, at dette tiltag, der kan køre videre efter projektafslutning, kan skabe større synlighed omkring muligheder for hjælp og støtte. Flere interviewede elever giver udtryk for, at gruppevejledningen givet indblik i, hvordan personlige udfordringer kan løses. Dog er det tvivlsomt, at aktiviteterne har givet eleverne konkrete værktøjer til at håndtere en eventuel fremtidig krise. I den henseende har projektet endnu ikke skabt bæredygtighed for de resultater, der er skabt. Det er imidlertid vores vurdering, at lærerne har erhvervet sig nye kompetencer ift. at identificere og arbejde med sårbare unge, og dermed kan adressere en del af behovet. En forudsætning for, at den nye viden kan forankres og komme i spil på længere sigt er, at de bliver vedligeholdt. Derfor er der brug for opfølgning og løbende sparring blandt lærerne, så de kan støtte de unge i at fastholde uddannelsen efter projektets udløb. Netop kompetenceudvikling af professionelle på Campus Køge er et aktivitetsmål i projektet, men var ikke påbegyndt da midtvejsevalueringen fandt sted. Projektet kan allerede nu afsøge muligheder for fremtidig, ekstern finansiering. Endelig kan de med fordel lave en prioriteret liste over, hvilke indsatser der skal løbe videre, så det kan blive en fast praksis. Monitorering og opfølgning Opfølgning med underviserne er som udgangspunkt en fast del af projektet aktiviteter, men der behov for mere systematisk monitorering af indsatsen. Hidtil har projektet fulgt op på projektets aktiviteter via en løbende dialog med de deltagende lærere. Dette har blandt andet givet anledning til at tilpasse tidspunkterne for de enkelte vejledningssessioner, således de passer bedre ind i institutionernes uddannelsesforløb. Projektet har dog ikke fulgt op på lærerne og elevernes udbytte af projektets aktiviteter. Det er vores vurdering, at dette er afgørende at få konkrete input til at justere indsatsen, hvis der skal skabes bedre sammenhæng i projektets effektkæde. Dette kan potentielt styrke projektets effektpotentiale. Derfor bør projektet i højere grad involvere lærere og elever ved at måle og evaluere indsatsen. Flere lærere efterspørger i de gennemførte interviews mere inddragelse, hvilket kun understreger behovet for øget opfølgning. Flere lærere giver udtryk for, at de har identificeret flere sårbare unge som følge af indsatsen. Dog har projektholdet ikke registreret nogle frafaldstruede unge i projektets målopnåelse. Vi kan derfor konstatere, at der ikke følges systematisk op på WHO5-skemaet, som netop anvendes til at identificere den frafaldstruede unge. Derfor kan projektet fordel fokusere mere på at systematisere brugen af skemaet med henblik på at sikre, at det nøjagtige antal identificerede, sårbare unge også registreres.

14 8 DET ER NEMMERE AT FORLADE EN UDDANNELSE END ET FÆLLESSKAB 5 Fremdrift og målopnåelse Afsnittet indeholder en kort fremstilling af status for projektets fremdrift i forhold til henholdsvis aktiviteter/milepæle og outputmål på evalueringstidspunktet. Nedenstående figur præsenterer den overordnede status på projektets fremdrift via fire overordnede indikatorer: fremdrift ift. aktiviteter, tid og budgetforbrug (afsnit 5.1) samt målopnåelse ift. outputmål (afsnit 5.2). Fremdrift (aktiviteter) 49% Målopnåelse ift. output 34% Budgetforbrug 38% Tidsforbrug 42% 5.1 Fremdrift ift. aktiviteter og milepæle Afsnittet beskriver kort projektets overordnede fremdrift i forhold til de aktiviteter og/eller milepæle, som er opsat for projektet. Status på evalueringstidspunktet er, at 49 % af de opstillede aktivitetsmål er nået, beregnet som et simpelt gennemsnit. Status på opnåelsen af aktivitetsmålene fremgår af tabellen nedenfor. Figur 4 Status ift. de opstillede aktivitetsmål på evalueringstidspunktet Aktivitetsmål Mål i projektperioden Status Målopnåelse i procent A1: Antal lærere, undervisere og vejledere der får kendskab til identifikation af frafaldstruede unge A2: Antal lærere, undervisere og vejledere som bliver i stand til at identificere frafaldstruede unge A3: Antal unge på GF1 som får gruppevejledning A4: Antal sårbare unge på GF1, som får gruppevejledning for sårbare unge % % % % A5: Antal unge som inviteres til ung-til-ung % A6: Antal lærere, undervisere og vejledere som deltager i kompetenceudvikling % Fremdriften i aktiviteterne er samlet set over det forventede niveau. Særligt har et høj antal fagprofessionelle fået kendskab til identifikation af frafaldstruede unge. Dette indebærer et kendskab til WHO5-metoden, som er blevet valgt som

15 DET ER NEMMERE AT FORLADE EN UDDANNELSE END ET FÆLLESSKAB 9 best practice til en fælles arbejdsgang. Samme antal lærere, undervisere og vejledere er derigennem blevet i stand til at identificere frafaldstruede unge i en tidlig fase hvilket svarer til en målopnåelse, der overstiger den ønskede målopnåelse (132 %). Selvom 70 % af det ønskede antal unge på GF1 har fået gruppevejledning, er der endnu ikke registreret nogen sårbare unge. Af den grund har det endnu ikke været muligt at gennemføre aktivitetsmål A4 og A5. På den baggrund er det efter vores vurdering ikke sandsynligt, at projektet vil nå at indfri projektets mål om, at 76 unge sårbare vil gruppevejledning og bliver inviteret til ung-til-ungarrangementer. Det er dog væsentligt at have for øje, at de interviewede lærere giver udtryk for, at de har identificeret en række sårbare unge undervejs i projektet. Således er der fundet unge i målgruppen, men projektet har ikke registreret dette. Derfor er målopnåelsen reelt højere end opgørelsen viser. Eftersom projektet påbegynder størstedelen af aktiviteterne omhandlende kompetenceudvikling for de fagprofessionelle efter midtvejsevalueringen, er det realistisk projektet vil nå dette aktivitetsmål. Budget- og tidsforbrug Nedenfor præsenteres projektets budget- og tidsforbrug på evalueringstidspunktet. Figur 5 Budget- og tidsforbrug på evalueringstidspunktet Total budget Forbrug d.d. Procentvist forbrug Budgetforbrug (mio. DKK) 2, % Tidsforbrug (måneder) % Projektets lave forbrug af de budgetterede midler følger det procentvise tidsforbrug. Vi forventer, at budgetforbruget stiger i takt med, at der afholdes flere kompetenceudviklingsforløb for fagprofessionelle, som er mere omkostningstunge. Disse iværksættes først i sidste halvdel af projektperioden[mo1]. 5.2 Målopnåelse i forhold til output Afsnittet beskriver kort status i forhold til de outputmål, som er opsat for projektet. På evalueringstidspunktet er 34% af de opstillede outputmål nået, beregnet som et simpelt gennemsnit. Status for de enkelte målsætninger er gengivet i tabellen nedenfor. Figur 6 Status ift. de opstillede outputmål på evalueringstidspunktet

16 10 DET ER NEMMERE AT FORLADE EN UDDANNELSE END ET FÆLLESSKAB B1: Metode/arbejdsgang til identifikation af sårbare unge B2: Antal nye indsatser til at støtte sårbare unge B3: Antal gruppevejledningsforløb/moduler for GF1 unge B4: Antal gruppevejledningsforløb/moduler for sårbare unge Målsætning Status på Procentvis evalueringstidspunktet målopnåelse % % % % B5: Antal ung-til-ung arrangementer % B6: Sårbare unge fastholder motivation for uddannelse (de unges oplevelse) B7: Lærere/vejledere anvender ny viden til at fastholde unge i uddannelse % % B8: Antal oplæg % B9: Antal workshops % Fremdriften i resultatskabelse for projektets outputmål er lidt under det ønskede niveau (34 %). Dette skyldes primært, at der ikke er blevet identificeret sårbare unge, hvorfor indsatserne målrettet denne gruppe ikke er blevet igangsat. Outputmålene, der omhandler fagprofessionelles tilegnelse af ny viden (B7) og oplæg og workshops (B8 og B9) forventer vi vil stige i takt med, at projektet iværksætter flere kompetenceudviklingsarrangementer.

17 DET ER NEMMERE AT FORLADE EN UDDANNELSE END ET FÆLLESSKAB 11 6 Effektvurdering I dette afsnit præsenterer vi evaluators samlede vurdering af mulighederne for, at indsatsen vil skabe de ønskede effekter eller for at nå specifikke effektmål. Der er gennemført en spørgeskemaundersøgelse med målgruppen. Den samlede vurdering bygger på brugbare data fra surveyet, gruppeinterviews med elever samt evaluators vurdering af projektholders arbejde med i forbindelse med implementering af indsatsen at sikre den størst mulige realisering af indsatsens effektpotentiale. Om spørgeskemaet I forbindelse med evalueringen har vi udsendt et elektronisk spørgeskema til de deltagende elever i indsatsen (via -liste fra projektholder). Undersøgelsen er sendt ud til 278 elever, hvoraf 17 respondenter har besvaret spørgeskemaet, hvilket giver en svarprocent på 6 %. I samarbejde med projektholdet har vi forlænget svarperioden og forsøgt at få underviserne til at engagere eleverne til at besvare spørgeskemaet. Grundet den lave svarprocent har vi valgt ikke at inkludere tabeller vedr. allerede opnået og forventet udbytte af indsatsen. 6.1 Forudsætninger for effektskabelse Indsatsens potentiale for effekter Det er ikke muligt på evalueringstidspunktet præcist at opgøre de effekter, som indsatsen vil skabe efter bevillingsperioden. For alligevel at give et billede af indsatsens potentiale for effektskabelse, som er mere retvisende og præcist end output-indikatorerne alene kan vise, præsenterer vi i dette afsnit, hvordan indsatsen konkret har bidraget for at styrke deltagernes forudsætninger for at omsætte deres udbytte af indsatsen til de ønskede effekter. Projektet har skabt en række forudsætninger for, at styrke fællesskabet blandt GF1-elever. I spørgeskemaet fremhæver fire elever, at sammenholdet og at lave noget sammen som klasse er projektets største styrke. Vi vurderer, at et styrket fællesskab er med til at øge den enkelte elevs trivsel og motivation og kan dermed fastholde sårbare unge i uddannelsen. En enkelt elev tilkendegiver, at vedkommende ved hjælp af projektet har lært at tackle udfordringer i hverdagen, hvis de skulle opstå. Dette bekræftes af de interviewede elever, som vurderer, at gruppevejledningsforløbet har givet dem nogle konkrete værktøjer til at håndtere udfordringer relateret til uddannelsen. Dette tyder på, at projektet har styrket elevernes forudsætningerne for at gennemføre deres ungdomsuddannelse. Samlet set er det vores vurdering, at projektet har formået at sikre centrale forudsætninger for, at øge trivslen og motivationen og fællesskabet på de tre ungdomsuddannelser. Det er dog væsentligt at være opmærksom på, at projektets ambitioner om, at flere unge gennemfører en ungdomsuddannelse er forbundet med usikkerhed og er afhængig af en række udefrakommende faktorer, som projektet ikke har direkte indflydelse på.

18 12 DET ER NEMMERE AT FORLADE EN UDDANNELSE END ET FÆLLESSKAB 6.2 Indsatsens effektmål Tabellen nedenfor viser fremdriften mod effektmålene for indsatsen. Figur 7 Status ift. de opstillede effektmål på evalueringstidspunktet Målsætning Procentvis i projektperiodeperiodeelse efter projekt- Status målopnå- C1: Undervisere, vejledere, UU vejledere og mentorer tilknyttet GF1 elever i stand - 75% - 0% til at identificere sårbare unge [1] C2: Flere sårbare unge der gennemfører deres grundforløb [1] - 50% - 0% C3: Andel af alle unge, som deltager i gruppevejledning, der oplever vejledningen som positivt ifht. deres - 80% - 0% uddannelsesforløb [2] C4: Flere sårbare unge der fastholdes på GF1 [2] - 50% - 0% C5: Sårbare unge der oplever gruppevejledning som positivit og som et element, der er med til at støtte og - 50% - 0% hjælpe dem med at gennemføre deres uddannelsesforløb [2] C6: Sårbare unge der får ny viden med fra arrangementerne [3] - 75% - 0% C7: Sårbare unge der oplever, at de har fået nyt perspektiv på deres egen situation og dermed fastholdes i - 75% - 0% uddannelse [3] C8: Lærere, undervisere og vejledere der oplever, at de har fået ny viden, der umiddelbart kan sættes i spil i deres - 80% - 0% relation til sårbare unge [4] Note: - angiver, at projektholdet endnu ikke er begyndt at samle data ind på denne indikator. Størstedelen af de interviewede lærere vurderer, at de har fået kendskab til nye værktøjer til at hjælpe sårbare unge. Vi noterer os derudover, at de fleste kompetenceudviklingsarrangementer først iværksættes efter evalueringstidspunktet, hvilket potentielt ruster lærerne yderligere til at hjælpe de sårbare elever. På den baggrund vurderer vi, at det er realistisk, at projektet til indfri effektmålene med fokus på at styrke undervisere, lærere og UU-vejlederes kompetencer til at identificere og støtte sårbare unge (C1 og C8). Hvad angår effektmålet om, at den brede målgruppe oplever gruppevejledningen som positivt i forhold til deres uddannelsesforløb, er det afgørende, at aktiviteterne i vejledningsforløbet justeres (C3). På nuværende tidspunkt angiver en række af de interviewede elever, at aktiviteterne ikke matcher deres aldersgruppe. Hvis aktiviteterne tilpasses de unges alder, finder vi det sandsynligt, at projektet kan nærme sig effektmålet efter projektperioden.

19 DET ER NEMMERE AT FORLADE EN UDDANNELSE END ET FÆLLESSKAB 13 Indfrielsen af effektmålene omhandlende sårbare unge (C2, C4, C5, C6 og C7) er afhængig af, at processen omkring identifikation og opfølgning på sårbare unge systematiseres yderligere. Vi kan på evalueringstidspunktet konstatere, at det er uklart, hvordan der skal tages hånd om den enkeltes unge, hvilket er en barriere for, at den unge får den støtte de har brug for, hvis de skal gennemføre uddannelsen. Selvom projektet er med til at skabe bedre forudsætninger for gennemførsel for sårbare unge, finder vi det usandsynligt, at projektet kan nå de fem mål omhandlende sårbare unge. Dette begrunder vi primært med den uklare procedure for håndtering af den enkelte sårbare unge efter de er blevet identificeret. Det er dog vores vurdering, at en mere systematisk opfølgning på de identificerede sårbare vil have positiv betydning for projektets endelige effektskabelse.

20 14 DET ER NEMMERE AT FORLADE EN UDDANNELSE END ET FÆLLESSKAB 7 Anbefalinger og læring Her præsenterer vi de vigtigste anbefalinger 1 og læringspunkter, som evaluator vil pege på med baggrund i evalueringen. Punkterne er ikke i prioriteret rækkefølge. Anbefaling 1 Styrk engagementet blandt de deltagende kontaktlærere. Flere af de interviewede lærere giver udtryk for, at ikke kan se meningen med gruppevejledningen af alle Gf1-elever. I relation hertil fortæller en række elever, at deres kontaktlærere har en negativ indstilling til gruppevejledningsforløbene, hvilket kan potentielt påvirke elevernes forventninger til forløbet. Dette er problematisk, og der er behov for, at kontaktlærerne i højere grad tager ejerskab af gruppevejledningen. For at imødekomme denne udfordring anbefaler vi, at projektholder tydeliggør formålet med indsatsen og arbejder for, at motivere lærerne til at tage del i at identificere og støtte sårbare unge. Dette vil potentielt gøre lærerne mindre forudindtaget og skabe en større opbakning til projektet. Alle de interviewede elever giver udtryk for, at legene og aktiviteterne til gruppevejledningerne er "barnlige". I relation hertil fortæller flere lærere, at en af årsagerne til, at flere lærere udviser modvilje til projektet skyldes, at aktiviteterne egner sig til yngre elever. Der kan være tale om, at lærerne har påvirket elevernes holdninger. Ikke desto mindre kan projektet med fordel tilpasse forløbene, så de svarer til elevernes alder. Projektet kan i den forbindelse tage udgangspunkt i, at eleverne er små voksne og ikke kan identificere sig med at deltage i børnelege. Anbefaling 2 Inddrag målgruppen i monitoreringen af indsatsen. En forudsætning for, at projektet kan realisere de forventede effekter er, at der måles på om de igangsatte aktiviteter virker efter hensigten. Det er vores vurdering, at projektholdet på evalueringstidspunktet ikke forholder sig til dette monitoreringselement i tilstrækkelig grad. Derfor bør projektet fremadrettet inddrage eleverne og lærerne i evalueringen af aktiviteterne. Vi anbefaler i den forbindelse, at projektet udsender spørgeskemaundersøgelser undervejs og/eller efter gruppevejledningsforløbene. Spørgsmålene i spørgeskemaet bør tage afsæt i de succeskriterier projektholdet ønsker at skabe ved hjælp af indsatsen. På den baggrund kan projektet få konkrete input til at justere aktiviteterne og potentielt skabe bedre sammenhæng i effektkæden. Et større fokus på opfølgning af aktiviteterne kunne forventeligt have indfanget de negative holdninger til gruppevejledningerne, som flere lærere og elever udviser. Anbefaling 3 Styrk samarbejdet mellem UU-vejlederne og lærerne. Midtvejsevalueringen har tydeliggjort samarbejdsvanskeligheder mellem kontaktlærerne og UUvejlederne. Vi anerkender, at projektet har forsøgt at løse denne udfordring ved at intensivere dialogen med og mellem de to parter. Vi anbefaler dog, at projektholdet iværksætter forventningsmøder mellem lærere og UU-vejledere forinden et gruppevejledningsforløb påbegyndes. Dette vil give lærerne et bedre indblik i indholdet i forløbet og temaerne for de enkelte sessioner, hvilket potentielt kan øge deres engagement til at deltage i aktiviteterne. Projektet vil derudover 1 Anbefalinger formidles kun i forbindelse med midtvejsevalueringer.

21 DET ER NEMMERE AT FORLADE EN UDDANNELSE END ET FÆLLESSKAB 15 kunne styrke samarbejdet ved at formalisere ansvarsfordelingen mellem UUvejledere og kontaktlærere, hvilket på evalueringstidspunktet fremstår uklart for særligt lærerne. Dette leder videre til nedenstående anbefaling. I relation til et styrket samarbejde mellem UU-vejledere og lærere, er en forudsætning for et vellykket videre forløb er, at de samarbejder tæt om en systematisk opfølgning på skemaerne gerne som en fast del efter hver gruppevejledning. En velfungerende dialog vil potentielt forbedre indsatserne for sårbare unge og på sigt fastholde flere i uddannelse. Endelig kan det være relevant at overveje om elevernes besvarelser skal valideres af en voksen og derigennem udfordre eleverne på deres vurdering af sig selv. Vi vurderer, at det kan være med til at nuancere elevernes besvarelser. Anbefaling 4 Udarbejd en beredskabsplan for de identificerede sårbare unge. Brugen af WHO5-skemaet har tydeliggjort, at en række elever har personlige og/eller psykiske problemer. De interviewede lærere giver i den forbindelse udtryk for, at det ikke er tydeligt, hvad der skal ske, hvis eleverne scorer lavt på skemaerne. Vi anser det som problematisk, at lærerne ikke ved om det er kommunen, skolens egne vejledere, UU-vejlederne eller andre, der skal tage sig af den unge. Projektet arbejder på en plan for de sårbare unges videre forløb, og vi anbefaler i den forbindelse at dette arbejde bliver fulgt til dørs. Det er vores vurdering, at der bør udarbejdes en konkret handleplan for, hvordan der skal tages hånd om de sårbare unge, når først de er identificeret. Projektet kan med fordel udvikle en generisk, overordnet handleplan, som kan tilpasses den enkelte unge ud fra individuelle behov. Handleplanen skal blandt andet tydeliggøre, hvem der skal kontaktes i forbindelse med planlægning af den unges videre forløb.

22 3. Effektvurdering (afsnit 6) 2. Målopnåelse (afsnit 5) 1. Implementering (afsnit 4) OVERORDNET 16 DET ER NEMMERE AT FORLADE EN UDDANNELSE END ET FÆLLESSKAB Bilag A Sådan scorer vi Alle scorer er udtryk for evaluators helhedsvurdering. Vurderingen er baseret på alle indsamlede data, herunder interviews med projekthold, sagsbehandler, partnere og deltagere samt evt. spørgeskemadata og statusrapporter m.v. I tilfælde med større usikkerhed i datagrundlaget foretager vi typisk et konservativt skøn. Projektets implementering vurderes på seks vurderingsparametre med en score fra 1-5, hvilket er præsenteret grafisk i et 'spiderweb' i rapportens afsnit 4.1. Den samlede implementeringsscore er baseret på gennemsnittet af de individuelle scorer for de seks parametre. Samlet Tildeling af scorer for hvert af de seks vurderingsparametre implementeringsscore Score Betydning Gennemsnit Trafiklys 5 Implementeringen er nyskabende og en inspiration for andre. 4 Implementeringen er meget tilfredsstillende. Få forbedringspotentialer. 3,5-5,0 [GRØN] 3 Implementeringen er tilfredsstillende. Visse forbedringspotentialer. 2,6-3,4 [GUL] 2 Implementeringen er utilfredsstillende. Store forbedringspotentialer. 1 Implementeringen er meget kritisabel. 1,0-2,5 [RØD] Vurderingen af projektets målopnåelse er primært baseret på fremdrift ift. outputmål og sekundært fremdrift ift. aktivitetsmål. Scoren tildeles på baggrund af en helhedsvurdering af projektets målopnåelse, men med udgangspunkt i projektets kvantitative målopnåelse på evalueringstidspunktet. Nedenstående tabel over sammenhæng mellem målopnåelse og trafiklysscore er vejledende. Midtvejsevaluering Trafiklys Betydning Slutevaluering [GRØN] Målopnåelsen er som ønsket eller bedre. 95 % + 45 % + [GRØN] Målopnåelsen er lidt under det ønskede niveau % % [GUL] Målopnåelsen er noget under det ønskede niveau % % [RØD] Målopnåelsen er meget under det ønskede niveau % % [RØD] Målopnåelsen er ikkeeksisterende eller tæt på % 0 14 % På baggrund af dataindsamlingen (interviews og spørgeskema) fastlægger evaluator en samlet vurdering af muligheden for at realisere det forventede effektpotentiale. Trafiklys [GRØN] [GUL] [RØD] Betydning Det er tilstrækkeligt sandsynliggjort, at projektet vil kunne realisere de forventede effekter. Det er ikke i tilstrækkelig grad sandsynliggjort, at projektet når sine effektmål. Evaluator vurderer dog, at projektet vil realisere mindst halvdelen af de forventede effekter. Projektet vurderes ikke at realisere en tilfredsstillende andel af de forventede effekter.