Evaluering af Tidlig Indsats Livslang Effekt Uddybende beskrivelse af evalueringen af 7 indsatser
Indholdsfortegnelse Evaluering af 7 indsatser... 3 Implementering... 3 Effekt... 3 Økonomi... 4 Februar 2015 Socialstyrelsen Edisonsvej 18, 1. 5000 Odense C Tlf: 72 42 37 00 E-mail: socialstyrelsen@socialstyrelsen.dk www.socialstyrelsen.dk 2
Evaluering af 7 indsatser Oxford Research og KORA skal i samarbejde med CEBR og med underleverandøren EG A/S evaluere 7 indsatser under Tidlig Indsats Livslang Effekt : De Utrolige År Baby, De Utrolige År Småbørn, De Utrolige År Dagpleje, De Utrolige År Vuggestue, De Utrolige År Børnehave, VIDA (Vidensbaseret indsats over for udsatte børn i dagtilbud) samt Model for tidlig opsporing. Implementering Implementeringsevalueringen bidrager både til fortolkningen af effekter og er samtidigt et helt centralt selvstændigt evalueringsbidrag, der både identificerer indsatsernes interne og eksterne faktorer med enten hæmmende eller fremmende indvirkning på implementeringsgraden. Evalueringsmodellen bygger bl.a. på forskning inden for implementering og transfer. Herfra ved vi, at der er mange elementer, som bør studeres nærmere for at afgøre, om der er tale om et succesfuldt kompetenceudviklingsforløb og en loyalt implementeret indsats (implementering med fidelitet). Implementeringsevalueringen designes med blik for hver enkelt indsats. For hver indsats gennemføres en forandringsteoretisk analyse i samråd med eksperter, så vi sikrer, at evalueringen bygger oven på den eksisterende viden. Den forandringsteoretiske analyse af hver indsats bidrager til at fastsætte implementeringsindikatorerne for den enkelte indsats. Samtidig vil vi inddrage generiske, tværgående implementeringsindikatorer på tværs af indsatserne, bl.a. fra de deltagende kommuners parathedsanalyser. Dermed vil implementeringsevalueringen have blik for både tværgående, generiske og indsatsspecifikke empiriske evalueringsspørgsmål. De centrale datakilder til implementeringsevalueringen består af både kvantitative implementeringsfaktorer og kvalitative casestudier med observationer og interviews hos et større antal udvalgte organisatoriske enheder. Derudover sigter implementeringsevalueringen mod at skabe både formativ, løbende læring og processtøtte ved at kommunikere klart og tydeligt med de deltagende kommuner og organisatoriske enheder. Vi skaber tydelige guidelines for implementeringen, afholder netværksmøder og understøtter processen med en implementerings-hotline og et velfungerende og underbyggende datasystem, der giver projekterne mulighed for at få let tilgængelig indsigt i egne data og processer. Effekt Effektmålingerne er designet så de dels når det højest mulige evidensniveau, for derved bedst muligt at kunne knytte årsag-virkningsfortolkninger til målingerne, og dels så de kan kombineres med forandringsteorianalysens kernelementer og implementeringsanalysen. Effektevalueringen skal både måle indsatsernes effekter med et fælles tværgående instrument og måle udvalgte indsatsspecifikke outcomes. 3
Der udføres derfor tværgående effektmålinger på flere måder: Børnenes adfærdsproblemer måles med af ét fælles instrument på tværs af alle indsatser og forebyggende foranstaltninger (SEAM) Børnenes adfærdsproblemer måles med registeroplysninger om forebyggende foranstaltninger, specialtilbud og anbringelser Effekterne for forældre måles med et fælles instrument på tværs af de forældrerettede indsatser (PSS) Effekterne for de fagprofessionelle måles med antal og alder ved opsporing samt et fælles instrument på tværs af de institutionsrettede indsatser Brugen af tværgående instrumenter for flere af indsatserne giver mulighed for sammenligninger på tværs af indsatser med samme målgruppe. Til måling af progression hos de berørte børn anvendes Social Emotional Assessment Measure (SEAM). SEAM er et ny-udviklet instrument, der pt. bliver valideret af Rambøll i en dansk version i forbindelse med evaluering af Fremtidens dagtilbud. Der er opnået gode erfaringer ift. personales anvendelse, den er nem at forstå og ressourceorienteret. Til måling af forældrekompetencer i de to forældrerettede indsatser anvendes Parenting Stress Scale (PSS). Den er internationalt anerkendt, findes på dansk, har gode psykometriske egenskaber og er blandt de anbefalede i Socialstyrelsens liste over validerede instrumenter i forhold til måling af forældreadfærd. PSS suppleres med spørgsmål til forældrenes self-efficacy, da det er et centralt omdrejningspunkt i flere af indsatserne. Designet af effektmålingerne optimerer muligheden for at opnå valide dataindsamlinger med størst mulige præcision, robusthed og statistisk styrke. Vi foretager kvantitative effektmålinger med et før-efter design med sammenligningsgrupper (difference-in-difference design) for alle indsatserne. Sammenligningsgrupperne består af børn fra de rekrutterede kommuner, som ikke får indsatsen, men får treatment as usual (TAU). Økonomi Viden om indsatsers ressourceeffektivitet er en væsentlig del af beslutningsgrundlaget for kommuner, der i fremtiden overvejer at implementere en eller flere indsatser. Den økonomiske evaluering belyser derfor, hvad det koster at drive og implementere indsatserne i en kommunal kontekst, og dokumenterer indsatsernes ressourceeffektivitet. Derudover vil også de samfundsøkonomiske konsekvenser af indsatserne blive belyst. Vi vil derfor foretage tre typer af analyser: En opgørelse af kommunale omkostninger forbundet med drift og implementering af indsatserne Budgetøkonomisk opgørelse af konsekvenser for kommunale og statslige kasser En cost-effectiveness analyse med samfundsøkonomisk perspektiv Opgørelsen af omkostninger kan med fordel opdeles i henholdsvis implementeringsomkostninger og driftsomkostninger. Opgørelsen af de forskellige omkostninger baseres på: Omkostningsdagbøger Løndata 4
På baggrund af de indsamlede omkostningsdata beregnes enhedspriser for de forskellige indsatsers etablering og drift. For alle indsatser opgøres enhedspriserne som omkostninger pr. barn pr. forløb, så omkostningerne ved de forskellige indsatser kan sammenlignes. For at kunne vurdere omkostningseffektiviteten af indsatserne i forebyggelsespakken, er det nødvendigt, at de kommunale omkostninger til Treatment-as-usual (TAU) også estimeres. Omkostninger til alternative indsatser estimeres i 4 skridt: 1. Kortlægning af alternativer via telefoninterviews med centrale ledelsesrepræsentanter i 10 indsatskommuner. 2. For hver alternativ indsats indsamles oplysninger om ressourceforbrug til hhv. implementering og drift via interviews med kommunerne. Der gennemføres en interviewdag i hver af de 10 kommuner, hvor oplysninger om alle alternative indsatser så vidt muligt indsamles fra de forskellige indsatsers projektledere. 3. Det oplyste ressourceforbrug fra interviewene suppleres med oplysninger om gennemsnitslønninger fra KRL og overheadsats, og på denne baggrund beregnes enhedspriser for hver af de alternative indsatser opgjort som omkostning pr. barn pr. forløb. 4. Herefter indhentes oplysninger fra kommunerne om, præcis hvilke børn der modtager de forskellige alternative indsatser, som tilbydes i den enkelte kommune. På baggrund af disse oplysninger, samt de estimerede enhedspriser for de alternative indsatser, opgøres omkostningsniveauet for børnene i de forskellige TAU-grupper. Opgørelsen af ressourceeffektiviteten i vores cost-effectiveness analyse udgøres af flere elementer. De væsentligste offentlige input vil være efteruddannelse og arbejdstid for fagprofessionelle. Effekter for børn og forældre forventes på kort sigt at være ændringer i børnenes adfærdsproblemer og forældrekompetencer samt forældre-barn relationer. Effekter for det offentlige er på kort sigt faglige kompetencer samt ændret brug af forebyggende indsatser og specialtilbud. På lidt længere sigt kan det forventes, at indsatserne via de kortsigtede effekter for børnene har betydning for børnenes brug af sundhedsydelser samt på anbringelser af børn og unge. Disse effekter sammenholdes med de opgjorte omkostninger. Der præsenteres både en samlet samfundsøkonomisk evaluering samt en specifik opdeling af hvilke gevinster og omkostninger, der tilfalder kommuner, stat og borgere. 5