Evalueringsdesigns. Teresa Holmberg Adjunkt, Ph.d., cand.scient.san.publ. Forskningsprogrammet for Sundhed og Sociale forhold

Transkript

1 Evalueringsdesigns Teresa Holmberg Adjunkt, Ph.d., cand.scient.san.publ. Forskningsprogrammet for Sundhed og Sociale forhold Minikursus i dokumentation og evaluering af sundhedsfremme- og forebyggelsesindsatser Centret er støttet af TrygFonden og Kræftens Bekæmpelse

2 Disposition 1. Valg af evalueringsdesign 2. Procesevaluering 3. Effektevaluering

3 Evidenshierarki vs. evidenstypologi? (hvilke designs er gode til at besvare på bestemte typer af spørgsmål) Systematiske reviews og meta-analyser Randomiserede kontrollerede forsøg Kvasi-eksperimentelle studier Forløbsstudier (fx kohorte) Tværsnitsundersøgelser Procesevalueringer Kvalitative og etnografiske studier God praksis, ekspertvurderinger og brugervurderinger

4 Valg af evalueringsdesign afhænger af det spørgsmål, du ønsker svar på De forskellige designs har hver især fordele og ulemper

5 Evaluerings-model Effektevaluering Procesevaluering Hovedspørgsmål I hvilken grad er indsatsens formål opfyldt? Har indsatsen bidraget til målopfyldelsen? Hvordan gennemføres indsatsen? Hvordan forklares (mangel)fuld proces/implementering?

6 Disposition 1. Typer af evalueringsdesign 1. Procesevaluering 2. Effektevaluering

7 Procesevaluering Er programmet blevet implementeret som planlagt Som evaluering, der står alene eller som en del af en samlet evaluering Andre betegnelser: implementeringsevaluering, procesmonitorering, udviklingsevaluering

8 Formål med procesevaluering Hvad virker, for hvem, hvornår, hvordan, hvorfor, under hvilke betingelser? Undgå black box evaluering Implementeringsfejl eller teorifejl Adskille effekt af indsatskomponenter Summativt/formativt sigte

9 Metodemæssige tilgange til evalueringer Effektevaluering Procesevaluering Formativ (proces)evaluering Evaluerings-sigte Beskrive Forklare Forstå Fortolke Forstå, fortolke, udvikle og justere indsats Metode Kvantitativ, fx Registeranalyser Spørgeskemaer Flere, vælges efter behov. Ofte vil det dog være kvalitative metoder Flere, vælges efter behov. Ofte vil det dog være kvalitative metoder Evaluators rolle Neutral Distanceret Deltagende observatør Interviewer Involveret Proceskonsulent Rådgiver Anvendelse Instrumentel kontrol af målopnåelse og utilsigtede effekter Indsigtsgivende Støtte og forbedre indsats i samspil med aktører i indsatsen

10 Nogle begreber 1. Context 2. Reach 3. Dose delivered 4. Dose received 5. Fidelity 6. Implementation 7. Recruitment Steckler & Linnan: Process evaluation for public health interventions and research. San Fransisco: Jossey-Bass; 2002

11 Context De fysiske, sociale og politiske omgivelser som direkte eller indirekte kan påvirke en intervention Reach I hvilken grad deltager målgruppen i interventionen? Hvilke subgrupper deltager?

12 Dose delivered Hvor stor en andel af den planlagte intervention blev leveret til målgruppen? Bestemmes af, hvad dem, der implementerer interventionen, gør Dose received Hvor stor en del af interventionen blev modtaget af målgruppen, og hvor stor en del blev anvendt?

13 Fidelity Kvaliteten af selve implementeringen af interventionen Blev interventionen implementeret efter hensigten (i interventionens ånd) og i overensstemmelse med implementeringsmanualen/programmet

14 Implementation En kombination af reach, dose delivered, dose received og fidelity På forhånd beslutte hvordan implementering skal måles og hvilket niveau der skal stræbes efter (Rossi et al. 2004: s ) ~ implementeringsgrad (level/degree of implementation)

15 Recruitment Proceduren med at rekruttere deltagere Hvem sagde ja? Hvorfor sagde nogle nej tak? Samme rekrutteringsproces?

16 Andre procesevalueringsbegreber Acceptability I hvilken grad dem, der implementerer og modtager interventionen, finder den relevant, rimelig og fornuftig Appreciation I hvilken grad de synes godt om interventionen Contamination Forhold, der forurener interventionen

17 Når man laver procesevalueringsplan bør man overveje nice to know og need to know.. De praktiske forhold har betydning: Tid Ressourcer Personale Hvor meget kan man kan bede deltagere om (burden of participants) Overvejelser om selektions- og informationsbias

18 Eksempler fra jeres praksis. Kan I relatere procesevalueringsbegreberne til jeres arbejde med at implementere indsatser?

19 Eksempel: Projekt PEER Evaluering af indsats vedr. uddannelse af peerformidlere og opsporing af mænd i risiko for udvikling af type 2 diabetes - Formativ procesevaluering Evaluator giver feedback undervejs i til de implementerende parter, således at design og praksis kan tilpasses - Især fokus på den sociale kontekst

20 Nogle evalueringsspørgsmål Hvordan defineres de arenaer, mænd i risikogruppen skal opsøges i og hvad karakteriserer disse arenaer? Hvilke udfordringer og potentialer er der i at nå mænd i risikogruppen for peer-mentorerne? Hvordan oplever mænd i risikogruppen peer-kontakten? Skaber kontakten med peer-korpset nye opmærksomheder, netværk, eller andre forandringer i hverdagslivet for mænd i risikogruppen, ifølge mændene selv?

21 Metode og resultater Kombination af forskellige kvalitative datagenereringsmetoder, inklusive deltagerobservation, semistrukturerede dybdegående interviews og fokusgruppeinterviews Der gives input vedrørende litteraturen omkring peeruddannelse rettet mod mænd i risikogruppen i starten af projektet, midtvejsanalyse med forslag til potentielle justeringer og en evalueringsrapport efter et år

22 Disposition 1. Typer af evalueringsdesign 2. Procesevaluerings 3. Effektevaluering

23 Metodemæssige tilgange til evalueringer Effektevaluering Procesevaluering Formativ (proces)eval uering Evaluerings-sigte Beskrive Forklare Forstå Fortolke Forstå, fortolke, udvikle og justere indsats Metode Kvantitativ, fx Registeranalyser Spørgeskemaer Flere, vælges efter behov. Ofte vil det dog være kvalitative metoder Flere, vælges efter behov. Ofte vil det dog være kvalitative metoder Evaluators rolle Neutral Distanceret Deltagende observatør Interviewer Involveret Proceskonsulent Rådgiver Anvendelse Instrumentel kontrol af målopnåelse og utilsigtede effekter Indsigtsgivende Støtte og forbedre indsats i samspil med aktører i indsatsen

24 Effektevaluering Effekt af interventionen på det sociale/sundhedsmæssige problem, der skal forebygges Må ikke skyldes andre forhold end indsatsen

25 Effektevaluering Effektevalueringens spørgsmål: Hvordan går det personer, der modtager indsatsen, i forhold til, hvordan det ville være gået, hvis de ikke havde modtaget indsatsen? Er samtidig effektevalueringens kerneproblem: Vi ved ikke, hvordan det ville være gået personerne, hvis de ikke havde modtaget indsatsen (det kontrafaktiske spørgsmål)

26 Effektevaluering Effektevalueringsspørgsmål skal være fornuftige og hensigtsmæssige og skal kunne besvares Systematik og test Niveau (individ vs. cluster) Powerberegninger

27 Det randomiserede kontrollerede forsøg RCT (lodtrækingsforsøg) Formålet er at måle effekt af en intervention ved at sammenligne en indsatsgruppe med en kontrolgruppe The gold standard

28 RCT Baggrundsbefolkning Randomisering Eksklusionskriterier Studiepopulation Interventionsgruppe + Udfald - Udfald + Udfald Kontrolgruppe - Udfald Undersøgelsesretning 28

29 Kendetegn Kendte og ukendte forhold, der kan påvirke udfaldet, fordeles ligeligt i indsats- og kontrolgruppe Omstændighederne er kontrollerede så alle deltagere bliver behandlet ens bortset fra indsatsen

30 RCT s i praksis Kommunale sundhedsindsatser er ofte komplekse med flere samtidige indsatselementer Den forventede effekt kan være svær at måle Der er ofte få enheder til randomisering Afsmitning mellem indsats- og kontrolgruppe Menneskers handlen kan ikke let kontrolleres Man lærer undervejs i perioden og vil gerne ændre indsatsen løbende Virkeligheden står ikke stille; andre samtidige indsatser, ændring i lovgivning etc.

31 Kvasi-eksperimentielle studier Det ligner eksperimentelle design (RCT) Der mangler den tilfældige tildeling af intervention og kontrol

32 Intervention versus kontrol (ikke-randomiseret) Udvælge grupper, som er så sammenlignelige, som muligt vha. matchning (Personer, der har modtaget en indsats, matches med personer, der ikke har modtaget indsatsen) The stepped wedge design

33 Andre tilgange Dækker fx over studier, der ikke bygger på forsøg, men på forskellige typer observationsstudier: Survey data (fx tværsnit etc.) Registerdata Før- og eftermålinger uden kontrolgruppe Dog skal man tage højde for andre faktorer med betydning for effekten i analyserne

34 TFF- Trivsel, Fælleskab og Faglighed Fra program teori til evaluering

35 Baggrund Halvdelen af elever, der starter på en erhvervsuddannelse, gennemfører ikke uddannelsen Større rusmiddelbrug blandt elever på tekniske erhvervsuddannelser end på øvrige ungdomsuddannelser

36 Interventionen Første dag på skolen Møde før skolestart Velkomstaktiviteter første skoledag Forståeligt skema og undervisningsplan Hverdagen på skolen Dagligt morgenmøde med elever og en lærer Faste pauser Et rart ikke-ryger område

37 (aktiviteter) (projektets mål) (projektets formål)

38 Non-randomised controlled study design Kontrolskoler valgt ud fra karakteristika ved interventionsskoler: - Fag - Størrelse - Urban/suburban - Geografisk spredning

39 Nogle udfaldsmål Student wellbeing School connectedness Fx: Jeg føler, at jeg hører til på min skole Student support Teacher relatedness Valuing the profession Fx: Fx: Når en elev på mit hold er trist eller i dårligt humør, er der en af de andre, der prøver at hjælpe Jeg føler, at mine lærere kan lide mig Fx: Jeg er glad for at lære noget om faget Dato - Af Xxxx Xxxx

40 Litteratur Rossi et al Evaluation: a Systematic Approach Vallgårda S et al Sygdomsforebyggelse. Kap 8: Evaluering Steckler & Linnan Process evaluation for public health interventions and research