Hvad virker for hvem på beskæftigelsesområdet? Hvordan kan det måles og evalueres? Thomas Bredgaard, lektor, ph.d. Julia Salado-Rasmussen, ph.d.-stipendiat Stella Mia Sieling, ph.d.-stipendiat FORSA Årsmøde, 3. oktober 2013
Program 1. Virkningsevaluering og programteori (Thomas) 2. Hvad virker for hvem i sygedagpengeindsatsen? (Stella) 3. Hvad virker for hvem i beskæftigelsesindsatsen for kontanthjælpsmodtagere? (Julia)
Evaluering af den aktive arbejdsmarkedspolitik Der er generelt gunstige effekter af aktiveringsindsatsen En højere andel af de ledige i løntilskudsjob i en privat virksomhed, i virksomhedspraktik eller i vejledning og uddannelse reducerer bruttoledighedsniveauet i både høj- og lavkonjunktur Et højere antal samtaler pr. ledig og måned reducerer bruttoledighedsniveauet i en højkonjunktur Der er ingen signifikant effekt af en højere andel af ledige i løntilskudsjob i en offentlig virksomhed på bruttoledighedsniveauet Der er ikke foretaget samfundsøkonomiske beregninger der inddrager omkostningerne ved forskellige aktiveringstyper Kilde: Det Økonomiske Råd (2012): Dansk økonomi efterår 2012 (kapitel 2).
Vidensbaseret resultatstyring Arbejdsmarkedsstyrelsen: Styring af beskæftigelsesindsatsen i Danmark, Notat dateret 16. maj 2011
Evidenshierarkiet Randomiserede kotrollerede forsøg (RCT) Systematisk meta-analyse Quasi-eksperimentelle studier Før-og-efter sammenligninger Tværsnitsstudier Surveys Procesevalueringer, formative studier, aktionsforskning Kvalitative casestudier og etnografisk forskning Deskriptive retningslinjer og eksempler på god praksis Professionelles og eksperters vurderinger Brugervurderinger Kilde: E. Vedung (2010): Four Waves of Evaluation diffusion, Evaluation, 16(3)
Virkningsevaluering som brobygger Eksperimentel evaluering Virkningsevaluering (realistisk evaluering) Konstruktivistisk evaluering Undersøgelsesspørgsmål Virker det? Hvad virker for hvem, hvorfor og under hvilke omstændigheder? Hvordan opleves og opfattes virkningerne? Fokus Overvejende effektorienteret Effekt og proces Overvejende procesorienteret Metode Overvejende kvantitativ Kvalitativ og kvantitativ Overvejende kvalitativ Teori om forbindelse mellem indsats og effekt Vidensideal Kausalteori Generativ teori Ingen Kontekstuafhængig Global viden Kontekst, mekanisme, outcome Beslutningsproces Rationelle valg Informere praktikere, deltagere og beslutningstagere samt udvikle deres programteorier Kontekstafhængig Lokal viden Lydhørhed overfor berørte interesser. Faclilitere deliberativ forhandlingsproces.
Definition af programteori En eksplicit teori eller model for, hvordan en intervention (program, indsats, politik, strategi m.v.) bidrager til en kæde af (mellemliggende) resultater og (intenderede eller observerede) effekter) En god programteori består af to dele: 1. Forandringsteori: De centrale processer eller drivere igennem hvilke forandring finder sted for individer, grupper eller samfund. Forskningsbaseret teori såvel som uudtalt forståelse af hvordan ting virker. 2. Handlingsteori: Forklarer hvordan programmer eller andre interventioner er konstrueret for at aktivere forandringsteorierne. Kilde: S.C. Funnell & P.J. Rogers (2011): Purposeful Program Theory, Josseybass
Evaluering uden programteori Program - Et æble om dagen Outcome - Forbedret helbred
Evaluering med programteori Inputs - Æbler Aktivitet - Æbler leveret Output - Bedre adgang til frisk frugt - Æbler spises Outcome (kort sigt) - Øget niveau af Vitamin C Outcome (langt sigt) - Forbedret helbred
Fortolkning af evalueringsresultater Æbler leveret Æbler spist Vitamin C niveau øget Sundhed forbedret Fortolkning Implementeringsfejl + Fejl i programmets evne til at engagere deltagere + + Teorifejl + + + Teorifejl + + + + Teori bestyrket + + +/ +/ Partiel teorifejl + + + Teorifejl
Realistisk evaluering (virkningsevaluering) C + M = O Context + Mechanism = Outcome Under hvilke omstændigheder? Hvorfor? Hvad virker? R. Pawson & N. Tilley (1997): Realistic Evaluation, Sage Publications.
Den realistiske evalueringscyklus Teori Kontekst (C) Mekanismer (M) Outcome (O) Program specifikation Hvad virker for, hvem under hvilke omstændigheder Hypoteser Hvad forventes at virke for hvem, under hvilke omstændigheder Observationer Multiple metoder og analyse af C,M,O Kilde: R. Pawson & M. Tilley (1997: 85): Realistic Evaluation, London: Sage.
Effekten af nikotinplastre? KONTEKST (C) Motivation Nikotinplastre Rygestop Nikotinsubstitution
Effekten af privat løntilskud? KONTEKST (C) Udsigt til ansættelse Privat løntilskud Ordinær beskætigelse Netværk
Øvelse: Byg en programteori og overvej evalueringsdesign!! Målgruppe Aktiviteter (indsatsen) Virksomme mekanismer Delmål Slutmål Hvad er de(t) realistiske succesmål for indsatsen? Hvem gælder indsatsen for? Hvilke kendetegn har målgruppen? Hvilke udfordringer og barrierer har målgruppen? Er der forskellige delmålgrupper? Hvilke formål med indsatsen? Hvilke er de væsentligste aktiviteter i indsatsen? Hvorfor er de væsentlige? Hvilke metoder og tilgange benyttes? Hvilke faktorer er afgørende for succes/fiasko? Hvorfor og hvordan fører en given indsats til et bestemt resultat? For hvem virker indsatsen og for hvem virker den Ikke? Hvilke delmål er forudsætninger for at nå slutmålene? Hvilke resultater er opnået på kort og mellemlangt sigt? Hvilke resultater er opnået på længere sigt?
Hvad virker for hvem i indsatsen overfor modtagere af sygedagpenge? Projektets formål At kortlægge, klassificere og evaluere virkningerne af beskæftigelsesrettede indsatser for borgere på sygedagpenge. Baggrund Stigning i antallet af langtidssygemeldte, med store sociale/økonomiske omkostninger samfundsmæssigt og personligt. Borgerne risikerer at falde for varighedsbegrænsninger og stå uden forsørgelse. Vi ved måske mere og mere om hvad der virker i forhold til beskæftigelseseffekt men ikke tilstrækkeligt om for hvem, hvorfor og under hvilke omstændigheder, forskellige indsatser virker.
Hvad virker for hvem i indsatsen overfor modtagere af sygedagpenge? Uddrag fra litteraturen: Der findes store mængder forskning på området. Dansk & internationalt. Også flere (systematiske) litteraturreview. Alligevel en vis tvetydighed i resultaterne og effekterne er ofte små, når man kigger på tilbagevenden til arbejde. Eksempel: Tværfaglige indsatser. Vanskeligt at afgrænse/sammenligne. Konkluderes positiv effekt af samarbejde med sundhedsvæsenet & arbejdsplads. Eksempel: Samtalebaserede indsatser. Normalt en forudsætning for indsats. Svært at adskille fra andre elementer i indsatserne. Modstridende viden om effekter. (Høgelund, 2012)
Eksempel: Kompas individuelt tilrettelagte forløb Beskrivelse af projektets målgruppe: Omfang: 20 borgere i 10 ugers forløb med mulighed for forlængelse. Borgere med psykiske lidelser: angst, stress, depression. Har svært ved at rumme kommunens normale tilbud (AHT). % Misbrug / psykose
Eksempel: Kompas individuelt tilrettelagte forløb Antagelser i projektet, om hvad der virker: Borgerne har gavn af individuelle samtaler og tæt tilknytning til én medarbejder, som tilrettelægger et tilpasset forløb. Forløbet tilrettelægges fleksibelt, aktivitetsniveau øges gradvist og i samarbejde med borgere. Projektets medarbejder indtager koordinerende rolle og sikrer tværfagligt samarbejde med sundhedssystemet, jobcenter, socialområdet, eller andre. Hvordan kan en programteori til brug i evaluering af en sådan indsats, formuleres?
Programteori for Kompas Eksempel på succesmål: 70 % af borgerne kommer videre til alment tilbud eller i virksomhedspraktik Målgruppe Aktiviteter (indsatsen) Virksomme mekanismer Kortsigtede mål Mellemsigtede mål Langsigtede mål Sygdagpengemodtagere med psykiske lidelser Typisk: stres, angst eller depression, og kombinationer Kendetegnet ved ikke at kunne indgå i kommunens sædvanelige tilbud Samtaleforløb: Individuelle samtaler med projektmedarbejde hhv. socialrådgiver og psykolog Jobspor & undervisning CV skrivning, samtaler om jobperspektiv og ønsker/muligheder Motion: Gratis adgang til svømmehal og/eller træning på yogahold /mindfullnes Relationsdannelse Motivationsarbejde Succesoplevelser Overblik over situation /udredning Afklaret arbejdsmarkeds perspektiv Forbedret Sundhedstilstand At gøre borger i stand til at deltage i kommunens almene tilbud (AHT), eller Alternativt i virksomhedspraktik Raskmelding til A-kasse, eller beskæftigelse
Hvad virker for hvem i indsatsen over for aktivitetsparate kontanthjælpsmodtagere? Formål Formålet med projektet er at kvalificere vores viden om, hvad der virker for hvem, under hvilke omstændigheder i beskæftigelsesindsatser for aktivitetsparate kontanthjælpsmodtagere. Baggrund Fordi vi ikke ved nok om, hvad der virker for hvem Fordi førtidspensions- og fleksjobreformen indebærer, at flere personer omfattes af en (ny) helhedsorienteret, individuel og koordineret indsats Fordi kontanthjælpsreformen indebærer, at alle ledige skal deltage i aktive tilbud Fordi der er store udgifter til den aktive arbejdsmarkedspolitik.
Hvad virker for indsatsparate ledige blandede resultater Rigsrevisionen (2010): Der kan ikke påvises nogen positiv effekt af deltagelse i indsatser over for indsatsparate ledige kontanthjælpsmodtagere i forhold til afgang til beskæftigelse i perioden 2006-2009 Rosholm og Svarer (2009): Mange effektstudier viser, at beskæftigelsesindsatser er mindst effektive over for marginaliserede ledige Graversen (2012): Privat jobtræning ser ud til at have en god effekt, mens offentlig jobtræning kun har en begrænset effekt over for gruppen Det økonomiske Råd (2012): Aktivering af ikke-arbejdsmarkedsparate kontanthjælpsmodtagere i vejledning og uddannelse, virksomhedspraktik og løntilskud i private virksomheder har en positiv effekt. 22
Virksomhedspraktik For svage grupper af kontanthjælpsmodtagere varer virksomhedspraktik i udgangspunktet 13 uger, men kan forlænges op til 26 uger og i særlige tilfælde også udover de 26 uger. I virksomhedspraktik skal arbejdsstedet ikke udbetale løn til den ledige, som fortsætter på kontanthjælp under forløbet. Ca. ¼ af de svage kontanthjælpsmodtagere er i virksomhedspraktik, svarende til knap 6.000 fuldtidsaktiverede. Flere undersøgelser peger på en generel positiv effekt af virksomhedspraktik på afgangen til beskæftigelse også for gruppen af svage kontanthjælpsmodtagere (Rosholm & Svarer 2011, AMS 2012 og DORS 2012). Men for hvem, hvordan og under hvilke omstændigheder virker virksomhedspraktik?
Den gode programteori 1. Skaber enighed mellem forskellige aktører 2. Identificerer forskellige legitime perspektiver 3. Synliggør tavs viden 4. Forbedrer planer 5. Fastsætter realistiske målsætninger 6. Bidrager til meningsfulde præstationsindikatorer 7. Er testbar 8. Identificerer hvor og hvorfor programmer fejler, hvad der får succesfulde programmer til at virke, samt hvordan de kan reproduceres andre steder 9. Er en ramme for læring på tværs af steder, projekter og evalueringer
Hvis du vil vide mere R. Pawson og N. Tilley (1997): Realistic Evaluation, Sage publications. R. Pawson (2006): Evidence-based policy A realist perspective, Sage Publications. R. Pawson (2013): The Science of Evaluation A Relaist Manifesto, Sage Publications. S.C. Funnell & P.J. Rogers (2011): Purposeful Program Theory, Josseybass. P. Dahler-Larsen & H.K. Krogstrup (2004): Nye veje i evaluering, systime Academic. H.K. Krogstrup (2011): Kampen om Evidens, Hans Reitzels Forlag. T. Bredgaard m.fl. (2011): Hvad virker i aktiveringsindsatsen, Beskæftigelsesregion Nordjylland.
Kontaktinformation Thomas Bredgaard, thomas@dps.aau.dk, tlf. 9940 2605 Julia Salado-Rasmussen, jsr@dps.aau.dk, tlf. 2065 4021 Stella Mia Sieling, stms@dps.aau.dk, tlf. 9940 2764 Forskningscenter for Evaluering (www.fce.aau.dk) Center for arbejdsmarkedsforskning (www.carma.aau.dk)