Effektmåling 2 Hurtigt i gang Evaluering af et forsøg med en tidlig og intensiv beskæftigelsesindsats
Effektmålinger Formål med pjecerne Der er i dag et stigende fokus på effekterne af de offentlige indsatser, der iværksættes på forskellige områder. Det gælder inden for social-, beskæftigelses- og uddannelsespolitik og flere andre politikområder. Har indsatserne den ønskede virkning, eller gør de i virkeligheden ingen forskel? SFI specialiserer sig i effektmålinger inden for velfærdsområdet. Vores effektpjecer præsenterer eksempler på konkrete forskningsbaserede effektmålinger. Der er en række særlige udfordringer forbundet med effektmålinger inden for velfærdsområdet, og hver pjece beskriver, hvordan de er blevet løst i den konkrete måling. Formålet med pjecerne er at opbygge et katalog med eksempler på effektmålinger, som kan tjene til inspiration for SFI s kunder og brugere, når der skal planlægges fremtidige effektmålinger. Denne pjece er nummer to i rækken. Effektmålingens fire spørgsmål Alle effektmålinger skal kunne besvare fire fundamentale spørgsmål: 1. Hvad er indsatsen? 2. Hvordan virker indsatsen? 3. Hvordan er personer blevet placeret i indsats- og kontrolgruppen? 4. Hvad ville situationen have været for personerne indsatsgruppen, hvis de i stedet havde været i kontrolgruppen?
Hvad er indsatsen? Det første spørgsmål vedrører indsatsens indhold og omfang. Modsat medicinske eksperimenter, hvor indsats og omfang er kendt (fx en behandling med et bestemt præparat i en bestemt dosering), er dette ikke altid tilfældet inden for fx social- og uddannelsesområdet. Undertiden består en indsats i praksis af forskellige interventioner uden en præcis dokumentation af indhold og omfang i forhold til den enkelte modtager af indsatsen. I så fald har effektmåling ikke megen mening, da årsagen til en evt. målt effekt er ukendt. Effektmålinger forudsætter, at indsatsens indhold og omfang kan beskrives præcist. Hvordan virker indsatsen? Det andet spørgsmål vedrører, hvad indsatsen har en effekt på, dvs. hvad formålet med indsatsen er. I medicinske eksperimenter kan effekten af en indsats fx måles i forhold til, om en patient bliver rask eller dør. I beskæftigelsespolitikken vil det ofte være relevant at måle effekten på, hvor hurtigt deltagerne får et arbejde og evt. til hvilken løn. For socialpolitiske indsatser kan det være mere diffust, hvad formålet er, og dermed hvordan en effekt skal måles. Det kan fx handle om, at personer, som modtager indsatsen, får forbedret deres livskvalitet, bliver socialt integreret eller får mindsket konsekvenserne af et handikap. Effektmålinger forudsætter, at formålet er klarlagt, og at der kan defineres klare udfaldsmål for indsatsen, dvs. indikatorer, der kan give et kvantitativt mål for, i hvilken grad indsatsen har en effekt på, fx om modtagerne af indsatsen er blevet bedre socialt integreret. For at måle effekterne af en indsats skal der indsamles data, der beskriver udfaldsmålene for både indsats- og kontrolgruppen.
Hvem er i indsats- og kontrolgruppen? Det tredje spørgsmål handler om, hvilke principper der bruges, når personerne skal placeres i indsats- og kontrolgruppen. Effektmålinger går ud på at sammenligne udfaldsmålet i en indsatsgruppe, som modtager indsatsen, med udfaldet i en kontrolgruppe, som ikke modtager indsatsen eller som modtager en alternativ indsats. Effekten af indsatsen resultatet findes som den gennemsnitlige forskel i udfaldsmålet mellem indsats- og kontrolgruppen. I medicinske forsøg fordeles personer oftest til indsats- og kontrolgruppen ved lodtrækning, dvs. ud fra et tilfældighedsprincip. Den metode kan nogle gange også anvendes på social- og beskæftigelsesområdet. Lodtrækning har den store fordel, at personerne ikke selv har indflydelse på, om de kommer i indsatsgruppen eller kontrolgruppen. Derfor vil den eneste systematiske forskel mellem de to grupper være den forskellige indsats. Det betyder, at man med en relativ stor sikkerhed kan bruge forskellen i udfaldsmål mellem de to grupper som mål for effekten af indsatsen. Under visse betingelser kan der måles effekter uden lodtrækning. Problemet heri er, at personer bliver placeret i indsats- eller kontrolgruppen på baggrund af årsager, som ikke er oplyst. Indsats- og kontrolgruppen kan derfor være systematisk forskellige af årsager, som ikke har noget med indsatsen at gøre. Forskellen mellem indsatsog kontrolgruppe kan i så fald fejlagtigt blive tilskrivet indsatsen, selv om det i virkeligheden handler om, at de to grupper er forskellige af helt andre årsager. For at undgå det, kræves en ret detaljeret beskrivelse af personerne i henholdsvis indsatsgruppe og kontrolgruppe, så det gennem statistiske analyser er muligt at søge at tage højde for eventuelle systematiske forskelle mellem personerne i de to grupper, der ikke har med indsatsen at gøre. Uanset metode er det altid meget vigtigt, at der er fuld klarhed over, hvordan personer er fordelt til indsatsog kontrolgruppen.
Hvad ville det kontrafaktiske udfald have været? Det fjerde spørgsmål vedrører, hvordan udfaldet ville have været for personer i indsatsgruppen, hvis de i stedet havde været i kontrolgruppen? En person kan kun optræde i enten indsats- eller kontrolgruppen, og man observerer derfor kun det realiserede udfald og ikke det kontrafaktiske udfald (det udfald, som netop denne person ville have haft, hvis vedkommende havde været i den anden gruppe). Af denne årsag kan man aldrig beregne effekten af en indsats på individniveau, men alene den gennemsnitlige effekt for en gruppe af personer. Når der ikke er systematiske forskelle mellem de to grupper af personer i henholdsvis indsatsgruppe og kontrolgruppe bortset fra den indsats, der skal undersøges kan det kontrafaktiske udfald for indsatsgruppen defineres som det gennemsnitlige udfaldsmål for kontrolgruppen. En vigtig udfordring i alle effektmålinger er derfor at gøre sammensætningen af indsatsgruppen og kontrolgruppen så ens som muligt. Det stiller krav om en meget omhyggelig tilrettelæggelse og gennemførelse af forsøg og dataindsamling. En effektmåling skal altid definere det kontrafaktiske udfald og undersøge, i hvilket omfang personer i indsats- og kontrolgruppen er sammenlignelige.
Hurtigt i gang Evaluering af et forsøg med en tidlig og intensiv beskæftigelsesindsats Brian Krogh Graversen
Baggrund Der har i de senere år været mangel på arbejdskraft i mange brancher. Derfor har der været stort fokus på, hvordan man kan indrette den offentlige beskæftigelsesindsats, så ledige kommer hurtigere i arbejde. OECD har fx anbefalet, at der afsættes flere ressourcer til at hjælpe ledige med at søge job, at aktiveringsindsatsen fremrykkes, og at aktiveringsforløbene gøres kortere. Formål Arbejdsmarkedsstyrelsen iværksatte i 2005 et forsøg i de to tidligere Arbejdsformidlings(AF)-regioner Storstrøm og Sønderjylland. Formålet med forsøget var at undersøge, om man gennem en intensiv indsats tidligt i ledighedsforløbet kunne få de ledige hurtigere i arbejde. I forsøget fik den ene halvdel af de ledige den tidlige og intensive beskæftigelsesindsats, mens den andel halvdel fik den almindelige beskæftigelsesindsats. SFI har evalueret forsøget. I evalueringen undersøges det, om den særlige indsats har en gunstig beskæftigelseseffekt dvs. om ledige, der modtager den tidlige indsats, hurtigere kommer i beskæftigelse end ledige, der modtager den almindelige indsats. Der foretages også beregninger af, om den mere intensive beskæftigelsesindsats samfundsøkonomisk set er pengene værd. Datagrundlag Deltagerne i forsøget var alle forsikrede nyledige, der tilmeldte sig AF som ledige i AF-regionerne Storstrøm og Sønderjylland i perioden fra 1. november 2005 til 28. februar 2006. Nyledige er personer, som påbegynder et ledighedsforløb, men som inden for det seneste år ikke har været ledige eller kun har været ledige i korte perioder. Godt 4.500 personer indgår i effektanalyserne. Analyserne er baseret på oplysninger fra AF s administrative registre og Arbejdsmarkedsstyrelsens DREAM-database.
Undersøgelsens opbygning Hvad er indsatsen? Den særlige indsats bestod af tre hovedaktiviteter: (1) et to-ugers afklarings- og jobsøgningsforløb efter 5-6 ugers ledighed, (2) kontaktsamtaler med en sagsbehandler hver uge (Storstrøm) eller hver anden uge (Sønderjylland) og (3) aktivering i minimum tre måneder efter højst fire måneders ledighed. Den almindelige indsats bestod af kontaktsamtaler hver tredje måned og aktivering efter højst 12 måneders ledighed. Både i den særlige og den almindelige indsats indgik desuden en CV-samtale senest efter 1 måneds ledighed, der bl.a. har til formål at sikre kvaliteten af den lediges elektroniske CV. Sammenlignet med den almindelige beskæftigelsesindsats er den særlige indsats derfor karakteriseret ved, at de ledige deltager i flere beskæftigelsesfremmende aktiviteter og aktiveres tidligere. Hvordan virker indsatsen? Formålet med den særlige indsats er, at de ledige kommer hurtigere i beskæftigelse. Desværre er oplysninger om beskæftigelse mangelfulde i de administrative registre og offentliggøres med forsinkelse. Derfor benytter evalueringen oplysninger om, hvorvidt deltagerne i forsøget modtager offentlige forsørgelsesydelser som indikator for, om de er kommet i beskæftigelse. Hvis en person ikke længere modtager arbejdsløshedsdagpenge eller anden offentlig forsørgelse og heller ikke deltager i aktivering, antages det, at personen er kommet i beskæftigelse.
Hvem er i indsats- og kontrolgruppen? Udvælgelsen af personer til indsats- og kontrolgruppen er baseret på de lediges fødselsdato, og har karakter af et lodtrækningsforsøg. I forsøget blev ledige, der er født i den første halvdel af en måned, dvs. mellem den 1. og den 15., placeret i forsøgets indsatsgruppe, mens ledige, der er født den 16. eller en senere dag i en måned, blev placeret i kontrolgruppen. Da der ikke er nogen grund til at tro, at en persons fødselsdag har betydning for, hvor hurtigt personen kommer i arbejde, har forsøget samme egenskaber som et lodtrækningsforsøg.
Hvad ville det kontrafaktiske udfald have været? På grund at udvælgelsesproceduren til indsats- og kontrolgruppen, som har karakter af et lodtrækningsforsøg, er personer i indsatsgruppen gennemsnitligt sammenlignelige med personer i kontrolgruppen. Hvis en person i indsatsgruppen var blevet placeret i kontrolgruppen, ville personen derfor gennemsnitligt set have oplevet den samme beskæftigelsesudvikling som de personer, der faktisk er placeret i kontrolgruppen. Beskæftigelseseffekten kan derfor helt enkelt bestemmes ved at sammenligne beskæftigelsesfrekvensen for personer i indsatsgruppen med beskæftigelsesfrekvensen for personer i kontrolgruppen. Hovedresultater Evalueringen af forsøget viser, at den særlige indsats under Hurtigt i gang har en positiv beskæftigelseseffekt. De ledige, der får den særlige indsats, finder således hurtigere beskæftigelse end de ledige, der får den almindelige indsats. Tre måneder efter første ledighedsdag er 52 pct. af personerne i indsatsgruppen i beskæftigelse, mens andelen kun er 44 pct. i kontrolgruppen. Allerede før den særlige indsats går i gang dvs. før afklarings- og jobsøgningsforløbet er andelen, der finder beskæftigelse, større i indsatsgruppen end i kontrolgruppen. Dette resultat tyder på, at nogle ledige, som bliver tilbudt den særlige indsats, hurtigere finder beskæftigelse for at undgå at deltage i de aktiviteter, der indgår i indsatsen. Evalueringen viser også, at den ekstra indsats koster mindre end det beløb, der spares i arbejdsløshedsdagpenge og andre forsørgelsesydelser som følge af indsatsens beskæftigelseseffekt. Med andre ord er den særlige indsats pengene værd.
Referencer Graversen, Brian Krogh, Anders Rosdahl & Bodil Damgaard (2007): Hurtigt i gang Evaluering af et forsøg med en tidlig og intensiv beskæftigelsesindsats for forsikrede ledige. København: SFI rapport 07:10. Graversen, Brian Krogh & Jan van Ours (2008): How to help unemployed find jobs quickly: Experimental evidence from a mandatory activation program, Journal of Public Economics, Vol. 92, 2020-2035.
Hvad virker på social- og velfærdsområdet? Har de offentlige indsatser den effekt, man ønsker virker de efter hensigten? Det er centrale spørgsmål på den velfærdspolitiske dagsorden. SFI specialiserer sig i effektmålinger inden for velfærdsområdet, som kan svare på disse spørgsmål. SFI s pjecer om effektmåling præsenterer en række konkrete forskningsbaserede effektmålinger. I pjecerne tematiseres de særlige udfordringer, der ligger i at måle effekter af sociale indsatser og andre tiltag på velfærdsområdet. ISBN 978-87-7487-938-1 Design: www.heddabank.dk / Tryk: Schultz Grafisk A/S