Virkningsevaluering en metode til monitorering og evaluering af patientuddannelse Michaela Schiøtz Cand.scient.san.publ., Ph.d.
Agenda 1 Hvordan forstås forandringer? Hvad er virkningsevaluering? Køreplan for virkningsevaluering Eksempel Evaluering af et dialogbaseret patientuddannelseskoncept Eksempel - Evaluering af Diabetesskolen på OUH Workshop med øvelser Opsamling
Hvordan forstås forandringer? 2 Efterspørgsel på at bevise og forbedre interventioner hvordan balanceres disse behov? Hvorfor virker interventioner på et sted, eller for en gruppe af deltagere, men ikke for andre? P. Dahler-Larsen & H.K. Krogstrup, Nye Veje i Evaluering, Academia, 2009
Hvordan forstås forandringer? 3 Hvis en intervention virker, hvordan ved vi så, hvad vi skal replicere og hvad vi skal ændre, når det overføres til en anden setting? Hvordan finder vi ud af, hvad det er ved konteksten der gør forskellen? Hvordan finder vi mening i et komplekst mønster af resultater? P. Dahler-Larsen & H.K. Krogstrup, Nye Veje i Evaluering, Academia, 2009
Hvad er virkningsevaluering? 4 Alternativ til og en kritik af randomiserede forsøg og tænkning af kausale effekter Har konteksten og forståelse for aktørerne som centrale fokuspunkter Fra virker programmet til hvad er det ved programmet, der får det til at virke og for hvem?
Hvad er virkningsevaluering? 5 Tager udgangspunkt i forestillinger om, hvordan og hvorfor en indsats virker - programteorien Programteorien giver en forklaring på, hvordan indsatsen omsættes til resultater Kan vi bekræfte, afkræfte eller udvikle programteorien alt sammen med henblik på en løbende forbedring af indsatsen? P. Dahler-Larsen & H.K. Krogstrup, Nye Veje i Evaluering, Academia, 2009
Køreplan for virkningsevaluering 6 Stille evalueringsspørgsmålet (afgræns tid og sted) Eksemple: Hvad er virkningerne for personer med type 2 diabetes, der deltager i patientuddannelse, hvor konceptet I balance med kronisk sygdom bliver brugt i perioden 1. august 2013 til 31. januar 2014? P. Dahler-Larsen & H.K. Krogstrup, Nye Veje i Evaluering, Academia, 2009
Køreplan for virkningsevaluering 7 Finde kilder til programteorien Hvordan og hvorfor kan indsatsen tænkes at virke? Opstille programteorien Tegn context-mechanism-outcome diagrammer P. Dahler-Larsen & H.K. Krogstrup, Nye Veje i Evaluering, Academia, 2009
CMO er (context-outcome-mechanisms) 8 Projektformål og idé Målgruppe Evalueringsgenstanden -Interventionens komponenter -De tilgængelige ressourcer for projektet Formål - Som beskrevet i projektets handlingsplaner Virkningsmekanismer - Underliggende mekanismer, der påvirker aktørernes handlinger i projektet Procesmål - Resultater på kort sigt Effekter - Effekter på lang sigt Kontekst -Hvad er det for en kontekst projektet udspiller sig i er der forskellige kontekster i spil?
Evalueringsgenstand Formål Virkningsmekanismer Procesmål Effekter Beskrivelse af de kompetencer en god underviser skal have Beskrivelse af personer med kroniske sygdomsbehov Refleksion og erfaring -Hvem er jeg? -Mit humør i dag -Min motion -Min favoritrestaurant -Krop(u)mulig -Balancekort -Hvad kan X gøre -Min sygdom og mig -Mine sociale relationer -Etc. Motivation og mål Målspil Mine spisevaner Motionsudfordringer Betydning og tiltro Etc. At underviseren kender til fire roller som undervisningen (ifølge udvikler) kræver, får idé om hvilke kompetencer underviseren har brug for, kender til principperne for den motiverende samtale, har indblik i læringsstile, forstå gruppedynamik Etablere grundlag for, at patientundervisning tager udgangspunkt i den enkeltes situation, behov og problemer At få deltagerne til at reflektere over og tale om deres følelser af ubalance og efterfølgende bruge deres erfaringer fremadrettet At fremme deltagernes indre motivation Hvis underviseren formår at jonglere med de forskellige roller vil deltagerne føle sig set og hørt, lade sig inspirere og blive motiverede og kompetence til at handle sundhedsfremmende At give underviseren et indblik i patienternes tanker og følelser gør det muligt at identificere en række behov og hjælpe deltagerne på vej Man kvalificerer sine erfaringer ved at reflektere over dem og dele dem med andre. Motivation er drivkraften bag deltagernes lyst til at ændre adfærd. Hvis man fremmer indre motivation er man mere tilbøjelig til at arbejde hen imod målet fordi man oplever en højere grad af selvbestemmelse. -Underviser har kendskab til og kan jonglere med de fire roller -Deltagere føler sig set og hørt og lader sig inspirere til at handle sundhedsfremmen de Undervisere føler de har indblik i patienternes tanker og følelser Deltagere reflekterer over deres erfaring og deler den med andre Deltagernes niveau af indre motivation øges Sundhedsfremmende adfærd God livskvalitet Balance i livet Deltagerne bliver bedre til at nå egne mål Viden og læring -Forandringshjulet -Tipskupon mv. Opnå viden om forandringsprocesser, fordele ved motion og/eller andre livstilsændringer, og hvad der er sundt Viden hos den enkelte dannes på baggrund af de info man selv har fået og bearbejdet. Handlekompetence kan opnås gennem viden og læring Deltagernes vidensniveau øges Deltagerne får styrket deres handlekompetence Krop og sanser -Mærke kroppen -Holde balancen -Smage rosinen At kende kroppens signaler for at blive bevidst om forskellige vaner og for at kunne tage de hensyn der kan være nødvendige. Ved at arbejde med kroppen kan man udvikle sig og skabe balancer og gennem kroppen finde sin egen identitet. Deltagerne arbejder med kroppen Deltagernes identitet styrkes
Køreplan for virkningsevaluering 10 Gøre programteorien klar til evaluering Vælge metoder Indsamle data P. Dahler-Larsen & H.K. Krogstrup, Nye Veje i Evaluering, Academia, 2009
Metoder Slide no 11 Kontrolleret studie Kvantitative data indsamles ved: Spørgeskemaundersøgelser (før deltagerne påbegynder undervisning, ved undervisningens afslutning samt tre mdr. og 12 mdr. efter afsluttet undervisning) Data fra kliniske databaser (Datafangstmodulet) (før deltagerne påbegynder undervisning samt tre mdr. og 12 mdr. efter afsluttet undervisning)
Metoder Slide no 12 Kvalitative data indsamles ved: Deltagerobservation af undervisning Kvalitative interviews med deltagere Strukturerede telefoninterviews med undervisere
Hvad der skal spørges til: Spørgeskema Effekt Ændrede spisevaner Vægttab Rygevaner Fysisk aktivitet Daglige aktiviteter Alkohol Sexliv Diabetes distress Livskvalitet Self-efficacy Handlekompetence Styrket identitet Medicin compliance Problemhåndtering Socialt netværk Proces Føler sig set og hørt Motivation Reflekteret over egne erfaringer og er blevet inspireret af andre Øget vidensniveau Interview deltagere Stemning Effekt Har reflekteret over egne erfaringer og er blevet inspireret af de andre deltagere Livsstilsændringer Evnen til at sætte mål og handle Livskvalitet Andet Proces Øget vidensniveau Oplevelse af undervisningen Oplevelse af holdet Interview undervisere Holdsammensætning Fremmøde Indhold på kurset Andre tilbud til deltagerne Føler de har fået indblik i deltagernes tanker og følelser Tidsforbrug Har reflekteret over egne erfaringer og er blevet inspireret af de andre deltagere Kontakt til deltagernes praktiserende læge Hvordan er deltagerne henvist Sættes mål op deltagerne? Sættes der mål og af hvem? Overordnede formål med undervisningen Lokalerne Stemning Holddynamik Observation Holdsammensætning Indhold i undervisningen Underviser taletid Underviserens rolle (de fire roller) Deltagerne deler erfaringer Livsstilsændringer Har reflekteret over egne erfaringer og er blevet inspireret af de andre deltagere De pårørendes rolle For interventionssites: Hvordan bruges øvelserne Hvem har glæde af øvelserne
Køreplan for virkningsevaluering 14 Analysere og konkludere Marchal et al. 2012
Eksempel på evaluering af et patientuddannelsesprogram 15 Programteori: Hvis en person med diabetes tager kurset og Hvis kurset tager en særlig tilgang til undervisningen Deltagerorienteret Integrerer kognitive, følelsesmæssige og kropslige elementer Understøtter erfaringsudveksling Så vil personen opnå øget viden og blive bedre til at håndtere sin sygdom, få øget autonomi og forbedret livskvalitet Schwennesen et al. 2013
Dataindsamling 16 Gennemfører de rekrutterede deltagere kurset? Hvis ikke, hvad er de største barrierer? Analyse af ikkedeltagere Er den pædagogiske tilgang implementeret? Hvis ikke, hvad er de største barrierer? Analyse af kurset Oplever deltagerne at have fået mere viden og bedre kunne håndtere deres sygdom, fået øget autonomi og forbedret livskvalitet? Analyse af de oplevede effekter af kurset Schwennesen et al. 2013
Dataanalyser 17 Er forudsætningerne opfyldt for at programteorien kan blive testet? Ikke helt: 25% af de rekrutterede deltagere gennemførte ikke kurset Den pædagogiske tilgang var ikke implementeret fuldt ud De oplevede effekter var forskellige Schwennesen et al. 2013
Dataanalyser Ideelt er der brug for en anden runde med dataindsamling og dataanalyse for at undersøge om: Programteorien ikke er tilstrækkelig specifik Programteorien er forkert Programteorien er korrekt men interventionen ikke er implementeret ordentligt De kvalitative forskningsmetoder skal suppleres af kvantitative metoder 18 Schwennesen et al. 2013
Hvad er det vi vil? Gør vi det, vi tror vi gør? Og opnår vi det, vi vil? 19 1. Vælg et program/en indsats fra jeres arbejde med patientuddannelse som I skal forestille jer, at I skal evaluere 2. Stil evalueringsspørgsmålet: 1. Hvad er formålet med evalueringen? 2. Hvad er tidsrammen for evalueringen? 3. Hvor skal evalueringen finde sted? 3. Diskuter hvordan og hvorfor indsatsen kan tænkes at virke 1. Tal også om, fra hvilke kilder, der skal indhentes information fra (fx fra programudviklere, deltagere, litteratur etc.) 4. Opstil programteorien udfyld kasserne på A3 arket
Programteori og projektanalyse 20 Projektformål og idé Målgruppe Evalueringsgenstanden -De tilgængelige ressourcer for projektet Formål - Som beskrevet i projektets handlingsplaner Virkningsmekanismer - Underliggende mekanismer, der påvirker aktørernes handlinger i projektet Procesmål - Resultater på kort sigt Effekter - Effekter på lang sigt Kontekst -Hvad er det for en kontekst projektet udspiller sig i er der forskellige kontekster i spil?
Workshop øvelse (forsat) 21 5. Diskuter med afsæt i CMO-diagrammerne, hvilke metoder, der skal benyttes til dataindsamling for at få oplysninger om de forventede effekter 6. Diskuter fordele og ulemper ved at bruge virkningsevaluering som evalueringstilgang indenfor patientuddannelsesområdet
Hovedpointer o Virkningsevaluering fokuserer på at teste og forfine programteorien o Virkningsevaluering udvikler og tester CMO er (hypoteser) empirisk o Virkningsevaluering anvender alle relevante tilgange og redskaber til at teste programteorien o Virkningsevaluering kan være en tidskrævende proces der er ingen kriterier for hvornår processen afsluttes