EVALUERINGSDESIGN: HOLMSTRUPGÅRDS BESKÆFTIGELSESRETTEDE INDSATS Baggrund og formål Holmstrupgård har siden 2012 haft et dagtilbud om beskæftigelsesrettede indsatser til unge med psykiatriske lidelser som f.eks. skizofreni eller personlighedsforstyrrelse, spiseforstyrrelse, ADHD, tourette, Aspergers syndrom, og andre sociale og eller emotionelle vanskeligheder, som har til hensigt at afklare de unge i forhold til fremtidig beskæftigelse, i form af erhvervsafklaring, uddannelsesafklaring eller klargøring til uddannelsesstart. Afklaringsprocessen foregår i samarbejde med jobcenteret, og der er fokus på at undersøge hvorvidt, og hvordan den unge kan blive sluset ind på arbejdsmarkedet. Beskæftigelsesindsatsen består af individuelt tilrettelagte forløb, hvor det realistisk målrettet søges afklaret hvilken type job den unge kan varetage, fx ordinært arbejde, fleksjob eller støttet job, eller hvilken erhvervs- eller uddannelsesretning der passer til den unge. Indsatsen hører under loven om aktiv beskæftigelse. Indsatsen baserer sig på en hypotese om, at beskæftigelsesindsatsen på sigt kan tilbyde en økonomisk besparelse for den anbringende kommune, på trods af at der er tale om en relativ omkostningstung indsats. I og med at de unge hurtigere end tidligere bliver afklarede i forhold til fremtidig beskæftigelse, sandsynliggøres det, at de unge i lavere grad er afhængige af offentlig passiv forsørgelse fx kontanthjælp. Samtidig er hypotesen, at indsatsen tilbyder en række kvalitative gevinster for de unge, som gennem afklaringsforløbet bliver opkvalificerede - fx i forhold til praktiske og sociale færdigheder samt faglige/uddannelsesmæssige kompetencer hvilket sandsynliggør, at de unges ressourcer og muligheder for aktivt at tage ansvar for egen tilværelse styrkes. Der foreligger imidlertid ingen dokumentation for, hvorvidt indsatsen er virksom til at opnå en styrket beskæftigelsesgrad på hverken kort eller længere sigt, ligesom der mangler dokumentation for hvorvidt, og hvordan indsatsen opleves som virksom af de unge. Holmstrupgård har i den forbindelse henvendt sig til Metodecentret om støtte til udarbejdelse af et evalueringsdesign for beskæftigelsesindsatsen. Holmstrupgård og Jobcenter Aarhus ønsker at evaluere Holmstrupgårds beskæftigelsesindsats med udgangspunkt i følgende evalueringsspørgsmål:
Lykkes det de unge at komme i beskæftigelse eller uddannelse? Og er dette en afledt effekt af Holmstrupgårds beskæftigelsesindsats? Hvad koster indsatsen? I det følgende vil Metodecentret præsentere et forslag til hvordan indsatsen kan evalueres. Evalueringsdesign Metodecentret har tilrettelagt et evalueringsdesign som følger tre spor: 1) en indledende kortlægning over de unge som allerede har afsluttet et beskæftigelsesforløb på Holmstrupgård 2) en procesevaluering og 3) en kvantitativ undersøgelse. Dette kalder på forskellige typer af dokumentation, som muliggør at belyse forskellige men gensidigt afhængige aspekter af beskæftigelsesindsatsen. I det følgende skitserer vi evalueringsdesignet, og uddyber efterfølgende hvad der er indeholdt heri. TID Evalueringsdel Data 2012-2016 (maj) 2015-2017 2017 I: Indledende kortlægning (over afsluttede unge i perioden 2012 2016) II: Procesevaluering (2016 2017) III: Kvantitativ undersøgelse del 1 I: Opfølgning på indledende kortlægning III: Kvantitativ undersøgelse del 2 IIII: Økonomisk analyse I: Dataudtræk fra Jobcenter Aarhus II: Sagsmateriale, mødereferater mm. + interview med sagsbehandlere, unge, kontaktlærer (6 forløb) III: Dataudtræk fra Jobcenter Aarhus (fx. status over de unges art af forsørgelse ved indskrivning, ydelser mm.) Spørgeskemaundersøgelse (tid 1: juni 2016) I: Dataudtræk fra Jobcenter Aarhus: (for nogle unges vedkommende vil der på dette tidspunkt være tale om 1 og 2 år efter endt beskæftigelsesforløb) III: Spørgeskemaundersøgelse (tid 2: november 2017)+ Dataudtræk fra Jobcenter Aarhus for nuværende
status over indskrevne unge i perioden 2015 2017 IIII: Dataudtræk fra Jobcenter Aarhus Del I: Indledende kortlægning Siden indsatsen startede i 2012 har omkring 20 unge gennemgået og afsluttet et beskæftigelsesrettet forløb. Et beskæftigelsesforløb varer typisk 2 til 3 år. Som indledning til evalueringen er det relevant at foretage en kortlægning over, hvordan det er gået de unge som allerede har været igennem et forløb i perioden 2012 til maj 2016. Baseret på dataudtræk fra Jobcenter Aarhus, afdækkes de unges art af forsørgelse, hvorvidt de er under uddannelse eller i beskæftigelse, og deres uddannelsesniveau ved begyndelse og afslutning af forløbet. Herudover vil der blive foretaget et nyt dataudtræk, for de samme unge ved evalueringens afslutning i 2017. For flere af de unges vedkommende vil det på dette tidspunkt være op til et og to år efter at de har endt deres beskæftigelsesforløb, og vi vil således have mulighed for at undersøge, hvorvidt de flytter sig yderligere over tid. Den indledende kortlægning skal anvendes til at illustrere de unges bevægelsesmønstre igennem forløbene, mens opfølgningen på kortlægningen skal anvendes til at undersøge, hvordan det går de unge efter endt beskæftigelsesforløb. Eftersom de unge er meget forskellige, både i forhold til diagnoser og sværhedsgraden heri, kan resultaterne fra denne indledende kortlægning ikke generaliseres til, hvordan andre unge vil bevæge sig igennem et forløb. Denne indledende kortlægning kan derimod anvendes til at belyse, hvorvidt det lykkes de unge at flytte sig fra en position til en anden igennem forløbene, men altså ikke om hvor meget vi kan forvente at fremtidige unge, som modtager indsatsen, vil udvikle sig. Denne kortlægning kan derfor ikke stå alene, men bør suppleres af en procesevaluering, som kan være med til at uddybe og nuancere hvad der sker under forløbene, og en kvantitativ undersøgelse, som blandt andet skal give svar på hvordan det går de unge, som er i gang med et indsatsforløb på Holmstrupgård, og hvordan de udvikler sig igennem forløbene.
Del II: Procesevaluering Procesevalueringen skal belyse hvordan indsatsen er blevet omsat fra teori til praksis. Disse beskrivelser skal anvendes til at besvare eller pege på, hvad der har været særligt virksomt i forhold til at opnå succes med beskæftigelsesindsatsen. I den forbindelse vil det være relevant at indsamle sagsmateriale, forløbsbeskrivelser og opfølgnings/statusrapporter, mødereferater mm. Med henblik på at indsamle mere uddybende beskrivelser af styrkerne og udfordringerne i forløbene, og hvordan indsatsen virker på de unge, vil det være relevant at foretage korte enkeltinterviews med sagsbehandlere og (fælles)interview med kontaktlærer og ung, om udvalgte unges beskæftigelsesforløb. Eftersom beskæftigelsesindsatsen henvender sig til unge med vidt forskellige behov, afhængigt af deres uddannelses- eller beskæftigelsesmæssige baggrund og diagnose samt sværhedsgrad, foreslår vi, at der udvælges forskellige forløb/unge som netop varierer på disse dimensioner. På den måde vil vi kvalitativt kunne pege på de eventuelle forskelle, der måtte være i forhold til succesraten på tværs af målgruppen. Dog afhænger antallet og dermed også variationen i forløbene af evalueringens omfang og ambitioner om udsigelseskraft. Uanset procesevalueringens omfang, er argumentet for at udvælge enkelte unges forløb som analyseenheder, at dette giver et tættere og dybere indblik i, hvordan indsatsen foregår og opleves af de involverede aktører. Herudover kan interviewene være med til at skabe en større indsigt i, hvordan Holmstrupgård og Jobcenter Aarhus interagerer og arbejder sammen om beskæftigelsesindsatsen. Interviewene kunne med fordel foretages i forbindelse med udarbejdelsen af de årlige statusrapporter og opfølgningen herpå, ved væsentlige hændelser (fx opstart i praktik eller lignende) samt ved afslutningen af beskæftigelsesindsatsen. Metodecenteret foreslår at følge 6 unge/forløb. Del III: Kvantitativ evaluering Den kvantitative evaluering har to milepæle i form af 1) en baseline-måling og 2) en gentagende måling ved evalueringens afslutning i 2017. Den kvantitative evaluering baserer sig på to datakilder i form af en spørgeskemaundersøgelse blandt de unge, og dataudtræk fra Aarhus Kommune. Spørgeskemaundersøgelsen foretages to
gange (første gang primo juni 2016) og gentages ved evalueringens afslutning (november 2017). Fokus for den kvantitative undersøgelse er de unge (ca. 23 personer (oplyst af Holmstrupgård)), som pt. er i gang med et beskæftigelsesindsatsforløb. I denne del af undersøgelsen inkluderes unge som allerede var i et indsatsforløb i 2015 (og endnu ikke har afsluttet det) og fremefter. Herudover inkluderes eventuelt nytilkomne unge i evalueringsperioden frem til december 2017. Spørgeskemaet vil blandt andet indeholde en måling af de unges generelle self-efficacy, som afspejler de unges selvtillid eller tro på egne evner til at kunne klare svære situationer i denne kontekst i forhold til at opnå en styrket tilknytning til arbejdsmarkedet. Herudover vil det være relevante at kortlægge de unges art af forsørgelse på nuværende tidspunkt, deres uddannelsesniveau, ligesom det er relevant at vide hvor længe de unge har været i beskæftigelsesforløbet, og om de oplever at beskæftigelsesindsatsen bevirker at de er afklarede i forhold til fremtidig beskæftigelse. Herudover skal et dataudtræk fra Jobcenter Aarhus blandt andet være med til at belyse hvilke ydelser de unge modtager på de to givne tidspunkter. Den forventede diskrepans mellem de gentagende målinger kan derfor anvendes til at besvare, hvorvidt de unge har flyttet sig fra typisk, at være afhængige af offentlig passiv forsørgelse til at være i beskæftigelse eller uddannelse og hvorvidt indsatsen har haft en positiv effekt. Med udgangspunkt i dataudtræk fra Jobcenter Aarhus, vil slutevalueringen desuden give svar på, hvad indsatsen har kostet, og hvorvidt det tyder på, at indsatsen er en god investering. I den forbindelse vil det være relevant at sammenholde indsatsens omkostninger i forhold til eventuelle besparelser for kommunen, fx i form af færre modtagere af overførselsindkomst blandt de unge. Afrapportering Som afslutning på projektet udarbejdes der en samlet rapport (februar 2018), der indeholder resultaterne af både den indledende kortlægning af tidligere elever, procesevalueringen og den kvantitative undersøgelse.
Budget Del I: kortlægning Konsulent Student I alt timer Konsulent Student I alt kr. dataanalyse 14 14 11.144 0 11.144 Del II: Procesevaluering 145 Interviewguides 10 7.960 0 7.960 Interview 35 27.860 0 27.860 Transskribering af interview 100 0 25.100 25.100 Del III: Kvantitativ undersøgelse 80 Spørgeskema og økonomisk analyse 40 40 31.840 10.040 41.880 Projektledelse 25 25 19.900 0 19.900 Dataanalyse 90 90 71.640 0 71.640 Afrapportering 60 60 47.760 0 47.760 I alt 274 140 414 218.104 35.140 253.244 796,- 251,-