Hvordan måler vi effekten af forebyggelse? Ulf Hjelmar

Transkript

1 Hvordan måler vi effekten af forebyggelse? Ulf Hjelmar forskningsprogramleder Anvendt KommunalForskning (AKF)

2 Agenda 1. Hvordan måles effekt? 2. Effekt af forebyggende hjemmebesøg 3. Opsummering og perspektivering SOFU 2011

3 1. Hvordan måles effekt? SOFU 2011

4 Evidenshierarkiet Meta-analyse Kontrollerede lodtrækningsforsøg (RCT) Kontrollerede forsøg uden lodtrækning Registeranalyser baseret på tidsserier Tværsnitsundersøgelser Kvalitative case studier Fagprofessionelles opfattelse Brugeres opfattelse

5 Evidenshierarkiet for/imod Argumenter for: Mest sikker viden om årsag-virkning ved randomisering og kontrolgruppe Randomisering er den eneste fremgangsmåde, der sikrer, at man kan kontrollere for ukendte og ikke målte andre mulige årsager end indsatsen. Argumenter imod: sociale indsatser gennemføres under meget kontekstspecifikke vilkår; de er sammensatte, ikkestandardiserede; og årsagsvirkningskæderne er komplekse og dynamiske.

6 Hierarki eller typologi

7 Meta-analyse (forskningsoversigt) Sammenfatter resultaterne af flere studier, udvalgt og vurderet efter fastlagte kriterier. Forskningsoversigter giver et overblik over resultater fra mange undersøgelser, evalueringer og forskningsprojekter. Kan give en større indsigt og bedre resultater end en svag undersøgelse baseret på utilstrækkelige data. Kræver indsatserne er ens på tværs af de enkelte undersøgelser.

8 Kontrollerede undersøgelser (RCT) Når det skal afgøres, hvor stor effekt en indsats har for de personer, der har været udsat for indsatsen (indsatsgruppen), er det helt afgørende at kunne identificere en tilsvarende gruppe mennesker, som ikke har været udsat for indsatsen (kontrolgruppe). Hvis ikke indsats- og kontrolgruppe er ens, tales der om et såkaldt selektionsproblem. Forskelle i forhold til ting som alder og køn kan man godt håndtere, men forskelle i forhold til svært målbare ting som motivation er straks vanskeligere at tage hånd om. SOFU 2011

9 Gode råd (RCT) Det er vigtigt allerede fra starten at få defineret relevante og ikke mindst målbare succeskriterier. Ved hjælp af administrative registre kan man få adgang til alle relevante personer både dem der har været udsat for indsatsen og kontrolgruppen. SOFU 2011

10 Effekt i formler Lad Y benævne en udfaldsvariabel For hver enhed, i, forestiller vi os to verdener. En verden, hvor enhed i deltager, og en verden hvor enheden ikke deltager. I verden med deltagelse benævnes udfaldet Y 1i I verden uden deltagelse benævnes udfaldet Y 0i Effekten af et program for person i er givet ved D i = Y 1i - Y 0i Hvis de personer, der har modtaget tilbuddet, klarer sig bedre end den anden gruppe, har tilbuddet haft en effekt for de deltagende personer, og størrelsen af effekten kan beregnes.. SOFU 2011

11 Andre evalueringsmodeller Andre former for resultatevalueringer (outcome). CT og registerbaserede analyser. Målopfyldelses-evaluering (output). I hvilken grad er indsatsens mål opfyldt? Har indsatsen bidraget til målopfyldelsen? Procesevaluering (evaluering af processen fra indsatsens start til modtagelse hos målgruppe) Hvordan gennemføres indsatsen?

12 2. Effekt af forebyggende hjemmebesøg SOFU 2011

13 Effekt af forebyggelse arbejder vi i blinde? Mette Wier, formand for Forebyggelseskommisionen: Ingen aner, om vi får nok for pengene. Vi kan risikere, at det er skønne spildte kræfter. Kommunerne bruger penge på de velstillede og veluddannede og dem, der kan selv. Hvis politikerne skal vælge det, der virker bedst for at få færre rygere, flere slanke og knap så alkoholiske borgere, så skal de satse på at gøre det usunde dyrt og svært at få fat i.

14 Et kommunalt råderum Rammerne for forebyggende hjemmebesøg er fastlagt i loven (1996) og Socialministeriets vejledning (1998) Den enkelte kommune kan selv fylde rammerne ud, styre indsatsen så den får en større effekt: Administration af ordningen Den konkrete gennemførsel Personale Effektvurdering og udvikling

15 Effektmål for forebyggende hjemmebesøg Effektmål (hårde mål, ikke tilfredshed, forøget tryghed etc.): Funktionsniveau Brug af praktiserende læge Indlæggelser/sengedage Plejehjemsindflytninger Offentlig hjælp og hjælpemidler Selvvurderet helbred Dødelighed

16 Evidens ift. forebyggende hjemmebesøg Problem med forskelle mellem de enkelte kontrollerede forsøg ift. målgruppe (svage ældre), personale (læge/spec.læge), hyppighed af besøg. Udvalgte resultater: Rødovre-undersøgelsen (1984): højere besøgsfrekvens. Færre sengedage, lavere dødelighed. Meta-analyse (1993): Plejehjemsindflytning mindre, særlig ved speciallægevurdering RCT-forsøg (1997): Signifikante men blandede resultater. Sundhedsfagligt personale, hyppigere end årligt, helhedsorienteret samtale.

17 Evidens ift. forebyggende hjemmebesøg (2) Udvalgte resultater: RCT-forsøg (2000): Blandede men positive resultater. Målgruppen central for effekt. Meta-analyse (2001): Signifikante resultater. Lavere dødelighed, færre plejehjemsanbringelser. Konklusion: effekt på dødelighed, plejehjemsanbringelser, øget offentlig hjælp. Intensiv og målrettet indsats virker. Udfordring ift. målgruppe, personale, indhold af besøg, koordination mellem aktører. Effekt ikke fuldt dokumenteret.

18 Andre målinger af effekt Udvalgte resultater: Rødovre-undersøgelsen (1984), Randers (1990): øget tryghedsfølelse Århus (1990), Naksskov (1991): større følelse af glæde Rødovre-undersøgelsen (1984): få bivirkninger krænkelse af privatlivet

19 3. Opsummering og perspektivering SOFU 2011

20 Effekt en opsummering Evidenshierarki eller typologi: nødvendigt at vurdere kontekst og formål i valget af effektmåling Brug eksisterende viden (meta-analyser, RCT ) til at tilrettelægge indsatsen og evt. måling af effekt. Hvornår er der tilstrækkelig evidens ift. at anbefale en særlig metode? Effekten af forebyggende hjemmebesøg er delvist dokumenteret dog stadig uklare punkter Kommunerne kan med fordel arbejde mere systematisk med at højne effekten af forebyggende hjemmebesøg

21 Hvordan kan kommunerne arbejde med effekt? Evaluering: skabe en god evalueringspraksis, så man i højere grad kan dokumentere og sammenligner indsatser over tid og på tværs af forvaltninger og kommuner Forandringsteori: arbejde mere systematisk med forventede effekter af en indsats, og hvordan man bedst muligt tilrettelægger en indsats for at realisere effekterne