HVAD VIRKER I SOCIAL FOREBYGGELSE? METTE DEDING, SFI CAMPBELL

Transkript

1 HVAD VIRKER I SOCIAL FOREBYGGELSE? METTE DEDING, SFI CAMPBELL

2 DISPOSITION 1. INTRODUKTION 2. EFFEKTMÅLING RANDOMISEREDE KONTROLLEREDE FORSØG 3. VIDEN FRA DANMARK OG SKANDINAVIEN 4. EFFEKTMÅLING I TIDEN HVAD VIRKER I SOCIAL FOREBYGGELSE, METTE DEDING, 25. JANUAR

3 INTRODUKTION HVAD VED VI OM HVAD DER VIRKER I DEN SOCIALE FOREBYGGELSE? Alt for lidt Mere viden er på vej, men vi har brug for en meget mere målrettet indsats i forhold til hvad virker viden HVAD VIRKER I SOCIAL FOREBYGGELSE, METTE DEDING, 25. JANUAR

4 INTRODUKTION HVEM ER JEG? Baggrund: Økonom, forsker på SFI siden 1999 Nu: Leder af SFI Campbell Arbejder med : Systematiske Campbell forskningsoversigter sammenfatning af alle tilgængelige effektstudier, der undersøger en bestemt intervention HVAD VIRKER I SOCIAL FOREBYGGELSE, METTE DEDING, 25. JANUAR

5 INTRODUKTION Det sociale område kan betragtes som et stort ukontrolleret forsøg Store mængder penge bliver brugt på indsatser som vi ikke kender effekten af. Hvad får vi for pengene? Hvad virker/virker ikke? Og hvad virker bedre/dårligere end andet? Behov for viden om hvad der virker bedst - for at kunne bruge knappe ressourcer bedst muligt og give den optimale indsats til borgerne HVAD VIRKER I SOCIAL FOREBYGGELSE, METTE DEDING, 25. JANUAR

6 INTRODUKTION Om en indsats virker eller ej er et meget seriøst spørgsmål, som kræver et meget seriøst svar For hvis indsatsen virker, er målet at implementere den andre steder med samme positive effekter (generaliserbarhed) Det kræver, at vi er meget sikre på, at resultatet skyldes indsatsen og ikke alle mulige andre ting (kausal effekt): Hvordan går det (i gennemsnit) personer, der modtager en specifik indsats, i forhold til hvordan det ville være gået, hvis de ikke havde modtager indsatsen HVAD VIRKER I SOCIAL FOREBYGGELSE, METTE DEDING, 25. JANUAR

7 FØR-EFTERMÅLING AF LÆSE INTERVENTION Indsats Kontrol Før Efter Statistisk signifikant forskel p < HVAD VIRKER I SOCIAL FOREBYGGELSE, METTE DEDING, 25. JANUAR

8 FØR-EFTERMÅLING AF LÆSE INTERVENTION Indsats Kontrol Før Efter Forskel mellem grupper er IKKE signifikant HVAD VIRKER I SOCIAL FOREBYGGELSE, METTE DEDING, 25. JANUAR

9 HVAD ER PROBLEMET MED FØR-EFTER MÅLINGER? Man ved ikke om ændringen skyldes indsatsen eller noget helt andet Ændringerne kan skyldes: Modning/spontan remission Regression mod gennemsnittet HVAD VIRKER I SOCIAL FOREBYGGELSE, METTE DEDING, 25. JANUAR

10 FØR-EFTERMÅLINGER Kan bruges til at dokumentere en indsats Hvis det bliver gjort med velegnede måleredskaber er det bedre end ikke at gøre noget Men er ikke egnet til effektmålinger HVAD VIRKER I SOCIAL FOREBYGGELSE, METTE DEDING, 25. JANUAR

11 HVORFOR RCT (RANDOMISEREDE KONTROLLEREDE FORSØG)? Det er det design, der teoretisk set er bedst til at måle effekt Det særlige ved RCT er den tilfældige fordeling til indsats- og kontrolgruppe. HVAD VIRKER I SOCIAL FOREBYGGELSE, METTE DEDING, 25. JANUAR

12 HVORFOR RCT? Målgruppen Randomisering A B Indsats Måle udfald/outcome HVAD VIRKER I SOCIAL FOREBYGGELSE, METTE DEDING, 25. JANUAR

13 HVORFOR RCT? Når man fordeler personerne tilfældigt til de to grupper (eller flere) vil både de kendte og de ukendte forhold fordele sig ligeligt i grupperne Det vil sige at ved randomisering sikrer vi os at indsatsgruppe og kontrol gruppe er sammenlignelige Og dermed får vi mulighed for at sige noget om det kontrafaktiske forløb og om effekten af interventionen HVAD VIRKER I SOCIAL FOREBYGGELSE, METTE DEDING, 25. JANUAR

14 HVORFOR RCT? Vi kan ikke blot se en sammenhæng eller korrelation mellem indsats og effektmål. Fordi vi ved, at den eneste forskel på indsats- og kontrolgruppe er indsatsen, kan vi fastslå et kausalitetsforhold HVAD VIRKER I SOCIAL FOREBYGGELSE, METTE DEDING, 25. JANUAR

15 EKSEMPLER PÅ RCT S I DANMARK Ringstedforsøget: Forebyggelse af risikoadfærd ved unge Hypotese: At man ved at reducere de sociale overdrivelser kan påvirke de unges adfærd Målgruppe: 5. og 6. klasser i Ringsteds skoler Indsatsgruppe: Klassediskussion m.v. Kontrolgruppe: Ingen indsats Resultater: Reducerer social overdrivelse samt risikoadfærd HVAD VIRKER I SOCIAL FOREBYGGELSE, METTE DEDING, 25. JANUAR

16 EKSEMPLER PÅ RCT S I DANMARK ETIBA: Førskoletilbud til børn med autismesprektrumforstyrrelser Hypotese: At den intensive træning i ABA-metoden (Applied Behavior Analysis) er mere effektiv end andre metoder Målgruppe: Børn med autismesprektrumforstyrrelser Indsatsgruppe: ABA i kommunal børnehave eller special børnehave Kontrolgruppe: Kommunal børnehave Resultater: ABA er bedre på nogle parametre, men dårligere på andre. ABA er væsentligt dyrere end det almindelige tilbud HVAD VIRKER I SOCIAL FOREBYGGELSE, METTE DEDING, 25. JANUAR

17 EKSEMPLER PÅ RCT S I DANMARK Forebyggende hjemmebesøg: Forebyggende hjemmebesøg hos gamle mennesker Hypotese: At forebyggende hjemmebesøg har positiv effekt på funktionsevnen hos gamle mennesker Målgruppe: Ældre borgere på 75 eller 80 år Indsatsgruppe: Tværfaglig undervisning i udførelse af forebyggende hjemmebesøg af alle faggrupper Kontrolgruppe: Ingen uddannelse Resultater: Positive resultater, særligt for kvinder og særligt for 80-årige. Undervisningsindsatsen er omkostningsneutral HVAD VIRKER I SOCIAL FOREBYGGELSE, METTE DEDING, 25. JANUAR

18 EKSEMPLER PÅ RCT S I NORGE OG SVERIGE PMTO NORGE: Parent Management Training efter Oregon modellen Formål: Forældre bliver bedre til at opdrage børnene Indsats: Individuel terapi ved certificeret terapeut Resultat: Gode resultater for både forældre og børn MST SVERIGE: Målgruppe: årige unge med alvorlige adfærdsproblemer Indsats: Intensiv familie terapi (multisystemisk terapi) Resultat: Gode resultater, men ikke bedre end almindelig behandling. Dyrere end almindelig behandling HVAD VIRKER I SOCIAL FOREBYGGELSE, METTE DEDING, 25. JANUAR

19 IGANGVÆRENDE DANSKE RCT S EKSEMPLER HVOR SFI ER INVOLVERET: Udsatte børnefamilier (6 kommuner, familiebehandling overfor praktisk pædagogisk tiltag) Forhindre faldskader ved træning af ældre (Gladsaxe kommune) IT-støtteredskab CD-ord i folkeskole (Horsens kommune) PMT-O for udsatte børnefamilier HVAD VIRKER I SOCIAL FOREBYGGELSE, METTE DEDING, 25. JANUAR

20 EFFEKTMÅLING I PRAKSIS: ER DET ETISK FORSVARLIGT AT TRÆKKE LOD? Men er det overhovedet etisk forsvarligt at trække lod på det sociale område? - JA, det mener jeg bestemt at det er Faktisk kan man sige, at vi har en etisk forpligtelse til at undersøge om de indsatser vi tilbyder borgerne har en effekt, og som minimum sikre os at der ikke er en negativ effekt at indsatsen ikke gør dem dårligere HVAD VIRKER I SOCIAL FOREBYGGELSE, METTE DEDING, 25. JANUAR

21 UETISKE FORSØG Men det afhænger selvfølgelig af det konkrete eksempel om der er mulighed for lodtrækning. Man kan nemt finde på uetiske forsøg fx: Rygning Tvangsfjernelse Overvægt HVAD VIRKER I SOCIAL FOREBYGGELSE, METTE DEDING, 25. JANUAR

22 FORSKELLIGE EFFEKTMÅLINGSMETODER Lodtrækningsforsøg Studier med indsats- og kontrolgruppe, men uden lodtrækning Økonometriske metoder Før- og eftermåling Eftermåling Tilfredshedsundersøgelser HVAD VIRKER I SOCIAL FOREBYGGELSE, METTE DEDING, 25. JANUAR

23 HVORDAN KOMMER MAN I GANG? Det er selvfølgelig ikke altid muligt at rulle det store lodtrækningsdesign/effektdesign ud Men resultatdokumentation er naturligvis bedre end ingenting: Klar hypotese Klar formulering af succeskriterier/resultatmål Dokumentation af deltagere og resultater (før/efter) Muliggør eventuel effektmåling sidenhen HVAD VIRKER I SOCIAL FOREBYGGELSE, METTE DEDING, 25. JANUAR

24 EFFEKTMÅLING I TIDEN Effektmåling er noget, der er oppe i tiden Vi vil gerne vide om de ting vi gør virker Alle taler om effekter Og kan mene noget meget forskelligt Effektmåling har sin klare berettigelse Og sin begrænsning HVAD VIRKER I SOCIAL FOREBYGGELSE, METTE DEDING, 25. JANUAR

25 EFFEKTMÅLING I TIDEN Ordentlige effektstudier tager tid og kræver god planlægning Hvis man vil vide noget om langtidseffekter, er man nødt til at vente Tålmodighed er en dyd! HVAD VIRKER I SOCIAL FOREBYGGELSE, METTE DEDING, 25. JANUAR

26 EFFEKTMÅLING I TIDEN Effektmåling forbedrer beslutningsgrundlaget betydeligt, men kan ikke stå alene Andre typer viden kan og skal selvfølgelig også bruges Hver især er de nødvendige brikker i det samlede puslespil HVAD VIRKER I SOCIAL FOREBYGGELSE, METTE DEDING, 25. JANUAR

27 HVAD VIRKER I SOCIAL FOREBYGGELSE, METTE DEDING, 25. JANUAR