Fra effektmåling til evidensbaseret praksis - erfaringer fra Hurtigt i gang forsøget Michael Svarer Institut for Økonomi Aarhus Universitet
Det fundamentale evalueringsproblem Vi har et udfald, fx omfang af ledighed i en angivet periode, hvorpå vi ønsker at måle effekten af en indsats, fx deltagelse i virksomhedsrettet aktivering Effekten af indsatsen defineres på følgende måde: Effekt = Udfaldet for individer der deltager i indsatsen minus Udfaldet for de samme individer, hvis de ikke havde deltaget i indsatsen. SFI 13. marts 2012 2
Det fundamentale evalueringsproblem Vi observerer ikke udfaldet for de individer der deltog i indsatsen i den situation hvor de ikke havde deltaget i indsatsen. Dette uobserverede udfald kaldes kontrafaktum. Effektmåling går ud på at beregne et plausibelt kontrafaktum Udfaldet for personerne der deltog kender vi jo. SFI 13. marts 2012 3
Kontrollerede forsøg Fordel: Velegnet til programevaluering på grund af muligheden for tilfældig udvælgelse. Forbehold (udvalgte): Implementering uhyre vigtig: Ikke alle i deltagergruppen får indsatsen (frafald). Indsatsen kan også tilfalde kontrolgruppen (substitution). Dyre at udføre - små stikprøver. Ofte svært at sige noget statistisk om specifikke undergrupper. SFI 13. marts 2012 4
Kontrollerede forsøg Kontrollerede forsøg er velegnet til programevaluering, men det er vigtigt at have styr på faldgruberne. Derfor er informationsindsamlingen både kvalitativ og kvantitativt afgørende for fortolkningen af resultaterne af de kontrollerede forsøg. SFI 13. marts 2012 5
Hurtigt i gang Implementeret november 2005 Målgruppe Nyledige dagpengemodtagere Indsats (se næste side) Aktører: Storstrøm og Sønderjylland 6
Hurtigt i gang SFI 13. marts 2012 7
Hurtigt i gang Samtaleintensitet: Sønderjylland Storstrøm 0.5 0.5 0.4 0.4 Meeting intensity 0.3 0.2 Meeting intensity 0.3 0.2 0.1 0.1 0 0 5 10 15 20 25 30 35 40 45 50 0 0 5 10 15 20 25 30 35 40 45 50 Duration (weeks) Duration (weeks) Treatment Control Treatment Control SFI 13. marts 2012 8
Hurtigt i gang Effekt på afgangsraten fra ledighed: Sønderjylland og Storstrøm SFI 13. marts 2012 9
Hurtigt i gang Afgangsrate fra ledighed til selvforsørgelse 0,02,04,06,08 Smoothed hazard estimates 0 10 20 30 40 50 analysis time deltager = 0 deltager = 1 10
Hurtigt i gang Hovedkonklusion (Graversen & van Ours (2008) og Rosholm (2008)): Afgangsraten til beskæftigelse er 30% højere for behandlingsgruppen svarende til ca. 2,5 uger kortere ledighed. Effekten skyldes (formentlig) primært den intensiverede kontakt mellem sagsbehandler og den ledige. Det Økonomiske Råd (2007) finder, at HiG giver et samfundsøkonomisk overskud på ca. 15.000 DKK per påbegyndt ledighedsforløb. 11
Konsekvenser: Hurtigt i gang Regeringsgrundlag VKIII Beskæftigelsespolitikken Yderligere forsøg 12
Hurtigt i gang Regeringsgrundlag VKIII Tidlig og intensiv indsats Regeringen vil iværksætte yderligere forsøg med en tidlig indsats ( Hurtigt i gang II ) med henblik på kortlægning af, hvordan indsatsen bliver mest effektiv. Regeringen vil desuden foretage en gennemgang af reglerne på beskæftigelsesområdet med henblik på at justere regler, der medvirker til at øge korttidsledigheden eller fastholder personer i ledighed. 13
Hurtigt i gang Beskæftigelsespolitikken Understøttet en generel bevægelse mod en tidligere indsats. Fremrykket aktivering efter 9 måneder for >30 og efter 3 måneder for <30 Rettet fokus på effekten af at afholde samtaler. Har ført til fremrykning af den første samtale for unge fra 3 til 1 måned (i 2009). Rettet fokus på cost benefit gevinsten ved samtaler ift. aktivering (pga. mindre fastholdelse). 14
Hurtigt i gang Yderligere forsøg Hurtig i gang 2 Alle i gang Aktive hurtigere tilbage Unge - godt i gang På rette vej KVIK/KVIS (koordineret virksomhedsrettet indsats for kontanthjælps-/sygedagpengemodtagere... 15
Hurtigt i gang 2 Målgruppe Nyledige dagpengemodtagere Indsats (se næste side) Aktører: 11 forskellige jobcentre i 4 regioner 16
Hurtigt i gang 2 Projekt nr. Indhold Regioner Jobcentre A Intensivt og kollektivt Frederikshavn, Nordjylland kontaktforløb Brønderslev og Hjørring B Intensivt og Holbæk, Roskilde, Hovedstaden individuelt Gribskov, Ishøjog Sjælland kontaktforløb Vallensbæk, Vordingborg C Fremrykket aktivering Midtjylland Aarhus D Intensivt og kollektivt kontaktforløb samt fremrykket aktivering Syddanmark Esbjerg, Vejle 17
Hurtigt i gang 2 Effekter: Beskæftigelsesregion Hovedstaden og Sjælland: Samtaler hver anden uge Kvinder Mænd Effect on fraction employed 0.0 1.0 2.0 3.0 4.0 Effect on fraction employed 0.0 1.0 2.0 3.0 4.0 0 50 100 Time since start of experiment (weeks) 0 50 100 Time since start of experiment (weeks) Effect Accumulated effect Effect Accumulated effect SFI 13. marts 2012 18
Hurtigt i gang 2 Beskæftigelsesregion Nordjylland: Gruppesamtaler hver uge Kvinder Mænd Effect on fraction employed 0.0 1.0 2.0 3.0 4.0 Effect on fraction employed 0.0 1.0 2.0 3.0 4.0 0 50 100 Time since start of experiment (weeks) 0 50 100 Time since start of experiment (weeks) Effect Accumulated effect Effect Accumulated effect SFI 13. marts 2012 19
Alle i gang Kan de positive effekter fra HiG og HiG2 overføres til ledige længere væk fra arbejdsmarkedet? Målgruppe Kontant- og starthjælpsmodtager med mindst 26 ugers ledighedsanciennitet (som ikke fritages fra indsatsen). Indsats Ugentlige møder i 26 uger Aktører: 9 forskellige jobcentre SFI 13. marts 2012 20
Alle i gang Effekt på selvforsørgelse og aktiveringsomfang uger 9 7 5 3 1-1 -3 Høje Taastrup Lolland Næstved Bornholm Middelfart Nyborg Sønderborg Aarhus Akk. selvforsørgelseseffekt Akk. aktiveringseffekt Thisted Forsøget som helhed SFI 13. marts 2012 21
Cost benefit analyse Samlet gevinst pr. ledig. DKK Costbenefitanalyse, jobcenterniveau 10000 0-10000 -20000 Høje Taastrup -30000 Lolland Næstved Bornholm Middelfart Nyborg Sønderborg Aarhus Thisted Forsøget som helhed -40000-50000 22
Aktive hurtigere tilbage Kan de positive effekter fra HiG1 og HiG2 overføres til sygedagpengemodtagere? Målgruppe Sygemeldte. Indsats kombination af intensive kontaktforløb, forebyggende tilbud og aktivering. Aktører: 16 forskellige jobcentre. 23
Forsøget som helhed 6 5 4 3 2 1 Selvforsøgelse Delvis rask Aktivering Forebyggende Møder 0-1 Alt signifikant på nær selvforsørgelse 24
Cost benefit analyse aktive hurtigere tilbage Samlet gevinst pr. ledig. Udgifter Korrigeret for MCPF Alle Forskel, forsørgelse, kontrol-deltagergruppe 134 27 Forskel, drift, kontrol-behandlingsgruppe -950-1140 Udgiftsforskel, kontrolgruppe-behandlingsgruppe -816-1113 Akkumuleret forøget selvforsørgelse, uger -0,08 Værdi af øget produktion -522 Nettoresultat af cost-benefit analyse -1635 25
Unge godt i gang Formål : At unge ledige uden uddannelse får en erhvervskompetencegivende uddannelse eller sekundært et job via en aktiv indsats At unge ledige med en erhvervskompetencegivende uddannelse kommer i job hurtigst muligt via en aktiv indsats
Deltagere Forsøgspopulation: ledige kontanthjælpsog dagpengemodtagere under 30 Med uddannelse Uden uddannelse (3 undergrupperinger) 14 deltagende jobcentre Indsats: samtaler, mentorer, (virksomhedsrettet) aktivering
Resultat for unge med uddannelse Udvikling i beskæftigelsesandel Beskæftigelses andel 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0 10 20 30 40 50 Tid efter forsøgets start (uger) Deltagergruppen Kontrolgruppen
Resultat for unge med uddannelse Akkumuleret ekstra beskæftigelse i deltagergruppen Cost benefit analyse: overskud på ca. 4.000 kr. pr. ledig. Effekt formentlig primært drevet af øget samtaleintensitet.
Resultater unge uden Ekstra uddannelse i deltagergruppen uddannelse Andel i ordinær uddannelse, udvidet begreb 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0 10 20 30 40 50 Tid efter forsøgets start (uger) Effekt på andel i udvidet uddannelsesbegreb -2-1 0 1 2 3 4 5 6 0 10 20 30 40 50 Tid efter forsøgets start (uger) Deltagergruppen Kontrolgruppen Akkumuleret effekt med konfidensbånd
Resultater unge uden Ekstra beskæftigelse i deltagergruppen uddannelse Beskæftigelses andel 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0 10 20 30 40 50 Tid efter forsøgets start (uger) Effekt på beskæftigelsesandel -2-1 0 1 2 3 4 5 6 0 10 20 30 40 50 Tid efter forsøgets start (uger) Deltagergruppen Kontrolgruppen Akkumuleret effekt med konfidensbånd
Får deltagergruppen job på bekostning af kontrolgruppen?