Effektevaluering hvorfor og hvordan? Seminar i forskningsnetværket Etniske Minoriteters Sundhed d. 24. maj 2011 Susan Andersen
Kandidat i folkesundhedsvidenskab Siden november 2010 ansat på projekt Trivsel, fællesskab & Faglighed som har til formål at udvikle, afprøve og evaluere en indsats, der skal reducere frafald og rusmiddelbrug blandt elever på tekniske skoler Har udviklet design af effektevalueringen Ved at blive indskrevet som ph.d. studerende Forskningsnetværket Etniske Minoriteters Sundhed 24. maj 2011 Susan Andersen Side 2
Formål med effektevaluering Finde effekter/virkninger af en indsats Finde relevante målepunkter i forhold til projektets målsætninger og sandsynliggøre at en funden ændring kan tilskrives den konkrete intervention Bevillingsgivere Forskningsnetværket Etniske Minoriteters Sundhed 24. maj 2011 Susan Andersen Side 3
Hvad kan effektevaluering ikke sige noget om? Hvorfor noget virker ikke virker. Hvordan modtagerne oplever indsatsen. Forskningsnetværket Etniske Minoriteters Sundhed 24. maj 2011 Susan Andersen Side 4
Hvad kræver det at gennemføre en effektevaluering? Overvej effektmål grundigt: Hvilke effekt(er) skal måles? (evt. programteori) Hvordan måles det? (hvilke spørgsmål eller test) Hvad er en relevant forskel? (hvordan evaluerer vi effektmålet hvornår er en effekt fundet) Hvornår måles det? (Lipsey MW, Cordray DS. Evaluation methods for social intervention. Annu.Rev.Psychol. 2000.51:345-375) Forskningsnetværket Etniske Minoriteters Sundhed 24. maj 2011 Susan Andersen Side 5
Hvad kræver det at gennemføre en effektevaluering? Vigtigt at udarbejde en forsøgsprotokol: Hvad skal evalueres? Hvilken effekt forventes at finde? Hvor mange personer skal med (styrkeberegninger)? Valg af kontrolgruppe? Hvilke metoder? Forskningsnetværket Etniske Minoriteters Sundhed 24. maj 2011 Susan Andersen Side 6
Hvilket design er velegnet til at dokumentere effekter af en indsats? Så langt op ad evidenshierarkiet som muligt? Forskningsnetværket Etniske Minoriteters Sundhed 24. maj 2011 Susan Andersen Side 7
Eksempel på evidenshierarki 1. Randomiserede, kontrollerede eksperimenter (RCT) 2. Kontrollerede studier 3. Før-efter måling, uden sammenligningsgruppe 4. Tværsnitsundersøgelser 5. Kvalitative undersøgelser (Olaf Rieper og Hanne Foss Hansen (2007). Metodedebatten om evidens. AKF) Forskningsnetværket Etniske Minoriteters Sundhed 24. maj 2011 Susan Andersen Side 8
RCT Tilfældig udvælgelse til interventionsgruppe og kontrolgruppe Fordel: Mest sikker viden om årsag-virkning Muligt at kontrollere for ukendte og ikke målte andre mulige årsager end indsatsen. Ulemper: RCT forudsætter en veldefineret, ensartet og stabil indsats, men indsatser kan være sammensatte og ikke muligt at standardisere Kan have lav generaliserbarhed Forskningsnetværket Etniske Minoriteters Sundhed 24. maj 2011 Susan Andersen Side 9
Kontrollerede studier med sammenligningsgruppe Tilfældig udvælgelse til indsats- og kontrolgrupper kan ikke altid lade sig gøre af etiske og praktiske grunde Vælg kontrolgruppe der ligner indsatsgruppe Efterfølgende korrigere for forskelle i de statistiske analyser Forskningsnetværket Etniske Minoriteters Sundhed 24. maj 2011 Susan Andersen Side 10
Før-efter målinger Ingen kontrolgruppe Dette design kan bruges, hvis man ikke ønsker at afholde nogen fra interventionen. Krav om kontrolgruppe kan være svært at gennemføre i praksis (fx manglende ressourcer) Men uden kontrolgruppe er det ikke muligt at vurdere, om eventuelle ændringer skyldes andre forhold end indsatsen Vigtigt med programteori om hvordan indsatsen virker Forskningsnetværket Etniske Minoriteters Sundhed 24. maj 2011 Susan Andersen Side 11
Eksempel fra KRAM Alkoholstorforbrug Inklusionskriterier: Alle storforbrugere Indsatsgruppe: Kort motiverende samtale + to foldere Kontrolgruppe: To foldere Selvrapporterede målinger efter ½ år og 1 år Resultat: Nedgang i begge grupper (ca. 7 genstande)! Forskningsnetværket Etniske Minoriteters Sundhed 24. maj 2011 Susan Andersen Side 12
Hvad kan forklare resultatet? Selekterede population alle storforbrugere selekteret population i KRAM pga. selv har tilmeldt sig Effekt af at deltage i intervention Effekt af at svare på spørgeskema om alkohol Ikke ren kontrolgruppe Forskningsnetværket Etniske Minoriteters Sundhed 24. maj 2011 Susan Andersen Side 13
Faktorer, der kan påvirke fortolkninger af resultater Dårlig implementering Den samme indsats påvirker deltagerne forskelligt Svært at fastholde deltagere i indsats- og kontrolgrupperne Frafald eller ufuldstændige follow-up målinger Opfølgning og svarprocent kræver nøje overvejelser (Lipsey MW, Cordray DS. Evaluation methods for social intervention. Annu.Rev.Psychol.2000.51:345-375) Forskningsnetværket Etniske Minoriteters Sundhed 24. maj 2011 Susan Andersen Side 14
Konklusion Forsøgsprotokol Grundig overvejelse af effektmål RCT kan fastlægge årsags-virkningsforhold Men der kan være problemer med ekstern validitet om det virker i den virkelige verden Ressourcekrævende med kontrolgruppe Forskningsnetværket Etniske Minoriteters Sundhed 24. maj 2011 Susan Andersen Side 15
Tak for opmærksomheden! Forskningsnetværket Etniske Minoriteters Sundhed 24. maj 2011 Susan Andersen Side 16