Kamilla Bolt og Marie Jakobsen

Transkript

1 Evaluering af satspuljer socialt udsatte 2012-udmøntningen Evalueringen af Jobcenterprojekter Kamilla Bolt og Marie Jakobsen 1 SATSPULJEUDMØNTNING 2012 JOBCENTER

2 Agenda Kort om puljen Introduktion til evalueringen: Proces- og effektevaluering Tidsplan Forandringsteori, mål og indikatorer Opstilling af forandringsteori Opsamling 2

3 Indhold af indsatserne i jobcentrene puljeudmøntning 2012 Formålet med projekterne er at iværksætte en tidlig indsats ifht. hhv. alkohol og trivselsproblemer i jobcentrene Tidlig opsporing af skadeligt alkoholforbrug: Faxe, Odsherred, Vordingborg Tidlig opsporing af psykisk mistrivsel: Kolding Begge: Sønderborg, Hørsholm, Norddjurs. 3

4 Evaluering af SATS-puljer: 'Styrket sundhedsindsats for socialt udsatte og sårbare grupper' for SST Evaluering af udmøntningerne udmøntningen: bred puljebeskrivelse Tre temaer i 2010-udmøntningerne: Arbejdsmarked, borgere med kognitive funktionsbegrænsninger, børn og unge vokset op i familier præget af psykiske lidelser 2011-udmøntningen: målrettet borgere med kognitive funktionsbegrænsninger 2012-udmøntningen: tema 1 omhandler nøje beskrevne indsatser i jobcenteret (alkohol og trivsel) og tema 2 omhandler evidensbaserede indsatser i skoler. Kontinuitet i proces-evalueringerne: brug af gennemgående indikatorer 4

5 Evalueringens design Evalueringen består af en effektevaluering og en procesevaluering Effektevalueringen: Har indsatserne haft effekt på borgernes sundhedstilstand/alkoholforbrug/beskæftigelse? Registerbaseret undersøgelse, projekternes evalueringsnotater. Procesevalueringen: Hvilke læringer om implementeringen af hhv. WHO-5 og AUDIT, henvisning af borgere og gennemførelse af interventioner har projekterne haft? Elektroniske spørgeskemaer (løbende monitorering), projekternes evalueringsnotater og interviews. 5

6 Effektevaluering registerbaseret casekontrolundersøgelse Interventionsgruppe (borgere inkluderet i projektet) og kontrolgruppe Brug af cpr-numre for at identificere borgere der inkluderes i hhv. alkohol- og i trivselsinterventionerne (Datatilsynet) Etablering af kontrolgruppe der tilnærmelsesvist ligner kontrolgruppen på en række karakteristika: f.eks. køn, alder, uddannelse, ledighed, geografi Vurdering af, om interventionsgruppen kommer nærmere arbejdsmarkedet ifht. kontrolgruppe Succeskriterier i denne forbindelse kan være 1) Job eller uddannelse, 2) Delvist job, 3) Aktivt tilbud. Målingen sker vha. registertræk fra DREAM (Arbejdsmarkedsstyrelsen) og øvrige nationale registre ved projektafslutning 6

7 Effektevaluering Projekterne registrerer og indsender til COWI ved projektafslutning Borgernes cpr-numre alle der screenes Score i WHO-5 eller AUDIT ved screening Hvilke tilbud borgeren får Kort alkoholintervention Mindfulness og stresshåndtering Mentorforløb Henvisning til egen læge Påbegyndes tilbuddet? Hvornår Afsluttes tilbuddet? Hvornår I evalueringsnotatet beskrives eventuelle egne effektmål 7

8 Procesevaluering I Formålet er at evaluere de processer, der skal lede frem til målsætningerne og at vurdere fremdriften. Parametrene for procesevalueringen baserer sig på de overordnede evalueringskriterier, som bruges i de øvrige satspuljeevalueringer: Rekruttering Samspil Kompetenceudvikling Metodeudvikling Forankring Data indsamles ved monitoreringer og evalueringsnotatet. 8

9 Evalueringsnotat: Målopfyldelse Projekterne opstiller et evalueringsnotat med de væsentligste 5-10 målsætninger og indikatorer herfor. Hvert projekts målopfyldelse vurderes midtvejs og ved afslutningen i forbindelse med monitoreringen 9

10 Indsats fra projekterne Indsamling af data fra deltagerne Løbende erfa-grupper Monitorering sker årligt fra 2. kvartal 2014 til projektafslutning. Dataindsamling til brug for midtvejsrapport og afsluttende rapport Midtvejsmøde og et afsluttende møde 10

11 Tidsplan for evalueringen 2012-udmøntning Kick-off møde med projekterne april 11 Indsendelse af forandringsteori og evalueringsnotat 6. maj Monitorering x x x Erfa-grupper x x Dataindsamling, målopfyldelse. x I takt med projektafslutning Dataindsamling, interviews Midtvejsmøde Medio '14 I takt med projektafslutning Midtvejsrapport Medio '14 Indrapportering af cpr-numre x Analyse og bearbejdning x x x Afsluttende møde Ultim o '16

12 Forandringsteori Forandringsteorien: beskriver den forventede sammenhæng mellem input, aktiviteter, resultater og mål i projekterne hvilke aktiviteter skal der til for at opnå en given forandring og dermed Sundhedsstyrelsens overordnede mål: " At øge jobsøgendes muligheder for at komme i støttet eller ordinær beskæftigelse gennem tidlig opsporing og en differentieret indsats overfor mentale helbredsproblemer samt alkohol." 12

13 Input Ressourcer Aktiviteter Output Virkninger på kort sigt Virkning på mellemlang sigt Virkning på lang sigt Eksterne faktorer - faktorer, som ligger udenfor projektets kontrol, og som påvirker projektet

14 14

15 Mål Projektets mål effektmål og procesmål Målene kan med fordel være SMART'e specifikke (er det tydeligt hvad der skal ske, for hvem, hvad, hvor), målbare (hvordan ved man hvornår målet er opfyldt?), accepterede (interessenterne er enige i at det er et godt mål for projektets succes), realistiske (er det et muligt mål) og tidsafgrænsede (hvornår skal det måles, om succeskriteriet er nået? Er tidsfristen realistisk og opnåelig?) 15

16 Indikatorer Indikatorer til vurdering af om de planlagte mål er opnåede RACER-vurderingen: Relevant (måler de det de skal måle?) Accepterede (er indikatoren alment accepteret af de, der skal arbejde med den?) Credible troværdige (hvor troværdig er indikatoren for ikke-eksperter, er den entydig og let at fortolke?) Easy let (er den let at samle data på?) Robust (kan indikatoren blive manipuleret med?) En god indikator scorer højt på alle ovenstående, omend det ikke altid muligt. Kvantitative indikatorer er ofte nemmere at måle på end kvalitative indikatorer 16

17 Gruppearbejde Med udgangspunkt i hvert projekts mål, aktiviteter og resultater: Opstil forandringsteorien for jeres projekt. Hvad er projektets mål på lang sigt? Hvilke resultater på kort og længere sigt er forudsætninger for at opfylde målene? Hvilke aktiviteter og output skal der til for at opfylde resultaterne? Hvilke input skal der til for at kunne gennemføre aktiviteterne? 17

18 Evalueringsnotat Udvælgelse af de vigtigste mål for projektet. Operationalisering af indikatorer til hvert mål. Hvornår kan mål og indikatorer indrapporteres? 18

19 MÅL INDIKATOR METODE Mål 1: Alle nyledige i matchgruppe 2 skal i projektperioden tilbydes screening med AUDIT ved 1. samtale i jobcenteret. Antal nyledige der er blevet tilbudt screening ved deres 1. samtale i jobcenteret/antal nyledige der har haft en 1. samtale i jobcenteret Optælling Mål 2: 50% af de borgere, der i projektperioden er blevet screenet og henvist til alkoholbehandling, har fuldført behandlingen efter 4 måneder. Antal borgere, der er screenet, er henvist til alkoholbehandling og har gennemført behandlingen inden for 4 måneder/antal borgere, der er screenet og henvist til alkoholbehandling. Optælling Mål 3: De borgere, der har fuldført alkoholbehandling har reduceret deres alkoholforbrug 3 måneder efter afslutning. Score i borgerens AUDIT-måling 3 mdr. efter alkoholbehandlingens afslutning er lavere end scoren ved screeningen. AUDIT Før-efter måling Mål 4: 75 % af de borgere, der har fuldført alkoholbehandlingen, oplever sammenhæng og mening i kommunens beskæftigelses- og sundhedsfremmetilbud 75 % svarer positivt på spørgsmålet i spørgeskemaundersøgelse blandt alle, der har fuldført alkoholbehandlingen. Spørgeskemaundersøg else 19