Fra effektmåling til evidensbaseret praksis

Transkript

1 Fra effektmåling til evidensbaseret praksis - erfaringer fra Hurtigt i gang forsøget Michael Svarer Institut for Økonomi Aarhus Universitet

2 Det fundamentale evalueringsproblem Vi har et udfald, fx omfang af ledighed i en angivet periode, hvorpå vi ønsker at måle effekten af en indsats, fx deltagelse i virksomhedsrettet aktivering Effekten af indsatsen defineres på følgende måde: Effekt = Udfaldet for individer der deltager i indsatsen minus Udfaldet for de samme individer, hvis de ikke havde deltaget i indsatsen. SFI 13. marts

3 Det fundamentale evalueringsproblem Vi observerer ikke udfaldet for de individer der deltog i indsatsen i den situation hvor de ikke havde deltaget i indsatsen. Dette uobserverede udfald kaldes kontrafaktum. Effektmåling går ud på at beregne et plausibelt kontrafaktum Udfaldet for personerne der deltog kender vi jo. SFI 13. marts

4 Kontrollerede forsøg Fordel: Velegnet til programevaluering på grund af muligheden for tilfældig udvælgelse. Forbehold (udvalgte): Implementering uhyre vigtig: Ikke alle i deltagergruppen får indsatsen (frafald). Indsatsen kan også tilfalde kontrolgruppen (substitution). Dyre at udføre - små stikprøver. Ofte svært at sige noget statistisk om specifikke undergrupper. SFI 13. marts

5 Kontrollerede forsøg Kontrollerede forsøg er velegnet til programevaluering, men det er vigtigt at have styr på faldgruberne. Derfor er informationsindsamlingen både kvalitativ og kvantitativt afgørende for fortolkningen af resultaterne af de kontrollerede forsøg. SFI 13. marts

6 Hurtigt i gang Implementeret november 2005 Målgruppe Nyledige dagpengemodtagere Indsats (se næste side) Aktører: Storstrøm og Sønderjylland 6

7 Hurtigt i gang SFI 13. marts

8 Hurtigt i gang Samtaleintensitet: Sønderjylland Storstrøm Meeting intensity Meeting intensity Duration (weeks) Duration (weeks) Treatment Control Treatment Control SFI 13. marts

9 Hurtigt i gang Effekt på afgangsraten fra ledighed: Sønderjylland og Storstrøm SFI 13. marts

10 Hurtigt i gang Afgangsrate fra ledighed til selvforsørgelse 0,02,04,06,08 Smoothed hazard estimates analysis time deltager = 0 deltager = 1 10

11 Hurtigt i gang Hovedkonklusion (Graversen & van Ours (2008) og Rosholm (2008)): Afgangsraten til beskæftigelse er 30% højere for behandlingsgruppen svarende til ca. 2,5 uger kortere ledighed. Effekten skyldes (formentlig) primært den intensiverede kontakt mellem sagsbehandler og den ledige. Det Økonomiske Råd (2007) finder, at HiG giver et samfundsøkonomisk overskud på ca DKK per påbegyndt ledighedsforløb. 11

12 Konsekvenser: Hurtigt i gang Regeringsgrundlag VKIII Beskæftigelsespolitikken Yderligere forsøg 12

13 Hurtigt i gang Regeringsgrundlag VKIII Tidlig og intensiv indsats Regeringen vil iværksætte yderligere forsøg med en tidlig indsats ( Hurtigt i gang II ) med henblik på kortlægning af, hvordan indsatsen bliver mest effektiv. Regeringen vil desuden foretage en gennemgang af reglerne på beskæftigelsesområdet med henblik på at justere regler, der medvirker til at øge korttidsledigheden eller fastholder personer i ledighed. 13

14 Hurtigt i gang Beskæftigelsespolitikken Understøttet en generel bevægelse mod en tidligere indsats. Fremrykket aktivering efter 9 måneder for >30 og efter 3 måneder for <30 Rettet fokus på effekten af at afholde samtaler. Har ført til fremrykning af den første samtale for unge fra 3 til 1 måned (i 2009). Rettet fokus på cost benefit gevinsten ved samtaler ift. aktivering (pga. mindre fastholdelse). 14

15 Hurtigt i gang Yderligere forsøg Hurtig i gang 2 Alle i gang Aktive hurtigere tilbage Unge - godt i gang På rette vej KVIK/KVIS (koordineret virksomhedsrettet indsats for kontanthjælps-/sygedagpengemodtagere... 15

16 Hurtigt i gang 2 Målgruppe Nyledige dagpengemodtagere Indsats (se næste side) Aktører: 11 forskellige jobcentre i 4 regioner 16

17 Hurtigt i gang 2 Projekt nr. Indhold Regioner Jobcentre A Intensivt og kollektivt Frederikshavn, Nordjylland kontaktforløb Brønderslev og Hjørring B Intensivt og Holbæk, Roskilde, Hovedstaden individuelt Gribskov, Ishøjog Sjælland kontaktforløb Vallensbæk, Vordingborg C Fremrykket aktivering Midtjylland Aarhus D Intensivt og kollektivt kontaktforløb samt fremrykket aktivering Syddanmark Esbjerg, Vejle 17

18 Hurtigt i gang 2 Effekter: Beskæftigelsesregion Hovedstaden og Sjælland: Samtaler hver anden uge Kvinder Mænd Effect on fraction employed Effect on fraction employed Time since start of experiment (weeks) Time since start of experiment (weeks) Effect Accumulated effect Effect Accumulated effect SFI 13. marts

19 Hurtigt i gang 2 Beskæftigelsesregion Nordjylland: Gruppesamtaler hver uge Kvinder Mænd Effect on fraction employed Effect on fraction employed Time since start of experiment (weeks) Time since start of experiment (weeks) Effect Accumulated effect Effect Accumulated effect SFI 13. marts

20 Alle i gang Kan de positive effekter fra HiG og HiG2 overføres til ledige længere væk fra arbejdsmarkedet? Målgruppe Kontant- og starthjælpsmodtager med mindst 26 ugers ledighedsanciennitet (som ikke fritages fra indsatsen). Indsats Ugentlige møder i 26 uger Aktører: 9 forskellige jobcentre SFI 13. marts

21 Alle i gang Effekt på selvforsørgelse og aktiveringsomfang uger Høje Taastrup Lolland Næstved Bornholm Middelfart Nyborg Sønderborg Aarhus Akk. selvforsørgelseseffekt Akk. aktiveringseffekt Thisted Forsøget som helhed SFI 13. marts

22 Cost benefit analyse Samlet gevinst pr. ledig. DKK Costbenefitanalyse, jobcenterniveau Høje Taastrup Lolland Næstved Bornholm Middelfart Nyborg Sønderborg Aarhus Thisted Forsøget som helhed

23 Aktive hurtigere tilbage Kan de positive effekter fra HiG1 og HiG2 overføres til sygedagpengemodtagere? Målgruppe Sygemeldte. Indsats kombination af intensive kontaktforløb, forebyggende tilbud og aktivering. Aktører: 16 forskellige jobcentre. 23

24 Forsøget som helhed Selvforsøgelse Delvis rask Aktivering Forebyggende Møder 0-1 Alt signifikant på nær selvforsørgelse 24

25 Cost benefit analyse aktive hurtigere tilbage Samlet gevinst pr. ledig. Udgifter Korrigeret for MCPF Alle Forskel, forsørgelse, kontrol-deltagergruppe Forskel, drift, kontrol-behandlingsgruppe Udgiftsforskel, kontrolgruppe-behandlingsgruppe Akkumuleret forøget selvforsørgelse, uger -0,08 Værdi af øget produktion -522 Nettoresultat af cost-benefit analyse

26 Unge godt i gang Formål : At unge ledige uden uddannelse får en erhvervskompetencegivende uddannelse eller sekundært et job via en aktiv indsats At unge ledige med en erhvervskompetencegivende uddannelse kommer i job hurtigst muligt via en aktiv indsats

27 Deltagere Forsøgspopulation: ledige kontanthjælpsog dagpengemodtagere under 30 Med uddannelse Uden uddannelse (3 undergrupperinger) 14 deltagende jobcentre Indsats: samtaler, mentorer, (virksomhedsrettet) aktivering

28 Resultat for unge med uddannelse Udvikling i beskæftigelsesandel Beskæftigelses andel Tid efter forsøgets start (uger) Deltagergruppen Kontrolgruppen

29 Resultat for unge med uddannelse Akkumuleret ekstra beskæftigelse i deltagergruppen Cost benefit analyse: overskud på ca kr. pr. ledig. Effekt formentlig primært drevet af øget samtaleintensitet.

30 Resultater unge uden Ekstra uddannelse i deltagergruppen uddannelse Andel i ordinær uddannelse, udvidet begreb Tid efter forsøgets start (uger) Effekt på andel i udvidet uddannelsesbegreb Tid efter forsøgets start (uger) Deltagergruppen Kontrolgruppen Akkumuleret effekt med konfidensbånd

31 Resultater unge uden Ekstra beskæftigelse i deltagergruppen uddannelse Beskæftigelses andel Tid efter forsøgets start (uger) Effekt på beskæftigelsesandel Tid efter forsøgets start (uger) Deltagergruppen Kontrolgruppen Akkumuleret effekt med konfidensbånd

32 Får deltagergruppen job på bekostning af kontrolgruppen?