Evaluering af Tidlig Indsats Livslang Effekt. Uddybende beskrivelse af evalueringen af KEEP

Transkript

1 Evaluering af Tidlig Indsats Livslang Effekt Uddybende beskrivelse af evalueringen af KEEP

2 Indholdsfortegnelse Evaluering af KEEP... 3 Implementering... 3 Effekt... 3 Økonomi... 4 Februar 2015 Socialstyrelsen Edisonsvej 18, Odense C Tlf: socialstyrelsen@socialstyrelsen.dk 2

3 Evaluering af KEEP Et konsortium bestående af Oxford Research, CEBR/CBS og PwC står for at evaluere KEEP. Implementering En succesfuld implementering af KEEP i Danmark afhænger af to overordnede faktorer. Metodefidelitet Løsninger på konkrete implementeringsudfordringer i dansk kontekst Implementeringsevalueringen består således af to analyser af henholdsvis implementerings-outcomes via metodefideliteten og meningstilskrivelsen af det evidensbaserede program til den danske kontekst. Implementeringsevalueringen har dermed sit fokus på den evige balance mellem metodefideliteten og fleksibilitet i den tilpasning, som enhver kontekst fordrer. Det er i denne balancering, at evalueringen skal vurdere, om og hvor der foreligger implementeringsudfordringer samt udpege og beskrive gode løsninger gennemført i de deltagende kommuner og organisationer. Herved bliver vurderingen af implementeringen både at evaluere på implementerings-outcomes og at kunne udlede implementeringsunderstøttende anvisninger til fremtidig udbredelse af KEEP. Implementeringsevalueringen beror på otte dybdegående casestudier, hvor det enkelte KEEP-team og dets arbejder udgør en case. Casestudierne er opbygget med en række kvalitative greb og indikatorer, der afdækker hele konteksten omkring implementeringen af KEEP: Organisering af projektet (Kommunal enhed, ledelse) Medarbejderne i projektet (erfaring, uddannelse, ansættelsesforhold) Rekruttering til projektet Projektets samspil med øvrige lignende indsatser i kommunen Ledelse I de otte cases vil alle nøglepersoner og uddannede kursusledere blive interviewet to gange, mens et antal plejefamilier (op til 16 i alt, udvalgt på tværs af cases) også vil indgå i dataindsamlingen. Effekt Designet for effektmåling fanger den samlede effekt af KEEP, på det højest mulige evidensniveau og med brug af et valideret instrument. Ligesom det er tilfældet med den foreslåede dataindsamling i implementeringsevalueringen, er der her tale om et tillæg til den eksisterende viden og indbyggede data i KEEP. De forventede outcomes af KEEP er ikke blot rettet mod plejebørnene i de familier, der gennemgår et KEEP-forløb, men også mod familierne selv. Derfor skal outcomes måles for begge målgrupper. Disse kan selvsagt ikke adskilles, idet plejeforældrenes adfærd har effekt på plejebarnet og vice versa. Effektdesignet indeholder således to 3

4 måleinstrumenter: Et på familien (Parent Daily Report, PDR) og et på plejebarnet (Strength and Difficulties Questionnaire, SDQ). Som et led i KEEP er der udviklet en integreret metode - Parent Daily Report (PDR) - til at måle outcomes i hele den periode KEEP pågår. PDR består af et spørgeskema med en lang række items, hvor plejeforældre for hvert udsagn vedrørende problemadfærd hos plejebarn kan angive om adfærden har fundet sted, og om den i så fald har virket stressende og ubehagelig. Rapporten udfyldes hver uge under et KEEP forløb. PDR suppleres med en før og efter måling med Strength and Difficulties Questionnaire (SDQ). SDQ er et valideret instrument, der er velegnet til at måle børn og unges trivsel, herunder emotionelle symptomer, præstation, hyperaktivitet, relations-problemer og prosocial adfærd, som er relevante konstruktioner i evalueringen. I og med at SDQ anvendes bredt i sociale indsatser rettet mod sårbare børn, gør anvendelsen af SDQ i evalueringen af KEEP det yderligere muligt at vurdere effekten af KEEP op imod effekter af andre indsatser. Effekterne af KEEP måles i et kontrolgruppedesign, hvor den løbende opstart af KEEP-familierne udnyttes, således at senere hold benyttes som kontrolgruppe for tidligere hold. Det løbende optag vurderes ved en difference-in-difference estimation, hvori der kun tillægges effekt til en indsats, såfremt indsatsgruppen udvikler sig anderledes end kontrolgruppen over tid. Analysen af effekt vil ske med udgangspunkt i det foreslåede design med sammenligningsgruppen inden for KEEP-familierne. Da analysen er afhængig af den løbende opstart, vil det primært være i slutevalueringen effekten af KEEP kan vurderes. Økonomi Viden om indsatsers ressourceeffektivitet er en væsentlig del af et beslutningsgrundlag for kommuner eller andre, der fremadrettet overvejer at implementere KEEP. Analysen skal derfor belyse, hvad det koster at implementere og drive et KEEP-team, og hvorvidt KEEP kan anses for at være ressourceeffektiv. Ved opgørelsen af omkostninger forbundet med en ny indsats er det essentielt at overveje, om indsatsen er substituerende eller komplementerende i forhold til den hidtidige indsats. KEEP er at betragte som komplementær, hvilket betyder, at det ikke er nødvendigt at opgøre omkostningerne til den eksisterende indsats, idet opgørelsen af omkostninger forbundet med KEEP vil være udtryk for de reelle meromkostninger. Den samlede økonomiske evaluering vil indeholde: En opgørelse af kommunale omkostninger forbundet med implementering og drift af KEEP Analyse af projektøkonomien Budgetøkonomisk analyse af forskellige implementeringsscenarier En cost-effectiveness analyse En vurdering af barrierer for forankring og udbredelse af KEEP Analysen af projektøkonomien og opgørelse af omkostninger er baseret på en stringent metode til omkostningsanalyse, der indeholder følgende trin: 1) fastlæggelse af omkostningselementer, 2) opstilling af aktiviteter, 3) analyse af 4

5 aktiviteter, 4) tidsestimering af aktivitetsblokke og slutteligt 5) beregning af projektøkonomi. Metoden er en fleksibel og gennemførbar tilgang til evalueringen, som vil give et solidt fundament for at vurdere projektøkonomien. Tilgangen gør det muligt at vurdere både totalomkostninger, enhedsomkostninger samt marginalomkostningerne for en given indsats. Den samlede økonomiske analyse vil blive afrapporteret i slutevalueringen. Denne vil først og fremmest rumme en detaljeret og standardiseret opgørelse af omkostningerne hos hver af de afprøvende KEEP-teams. Ligeledes vil den rumme et antal budgetscenarier med udgangspunkt i forskellige implementeringsscenarier. Omkostningseffektivitetsanalysen vil blive suppleret med usikkerhedsanalyse og følsomhedsanalyse. Herudover vil der blive fortolket på de forskellige resultater og givet fremadpegende anbefalinger til god økonomistyring af KEEP samt eventuelle identificerede løsningsforslag til at overkomme økonomiske barrierer for KEEP. 5