DEN SYSTEMATISKE INTERVENTION -FRA TEORI TIL PRAKSIS

Transkript

1 DEN SYSTEMATISKE INTERVENTION -FRA TEORI TIL PRAKSIS ERFA-MØDE OM KVALITETSSIKRING AF PATIENTUDDANNELSE BENTE BJØRNHOLT CENTER FOR FORSKNINGSBASERET EVALUERING AALBORG UNIVERSITET

2 HVEM ER JEG? Lektor i organisation, ledelse, evaluering og styring Studieleder MPA & MPG Ph.D. om initiering og anvendelse af kvalitets-undersøgelser på tværs af offentlige serviceområder

3 PROGRAMMET I DAG 1. Evalueringsteorier -baggrund og overblik 2. Evalueringens forudsætninger og formål 3. Effekt og evidens? 4. Udfordring: Evaluering og kvalitetssikring af komplekse forløb

4 1. EVALUERINGSTEORIER - BAGGRUND OG OVERBLIK 4

5 1. EVALUERINGSBØLGER 1) Den videnskabelige bølge (1960 erne) Instrumentelle (rationelle) evalueringer (effektstudier) 2) Dialogorienterede bølge (midt 1970 erne) Responsive eller demokratiske evalueringer (postpositivistisk evaluering) 3) Neo-liberal bølge (1980 erne) Mål og resultatbaserede evalueringer (målinger) 4) Evidens baserede evalueringer (2000 erne) Relancering af det klassiske eksperiment Inspireret af Evert Vedung, 2011

6 1. POLICY-PROCESSEN Præstationer Resultat

7 2. MULIGE EVALUERINGSSPØRGSMÅL Spørgsmål Proces Output Outcome Effekt Beskrivelse Helt overordnet spørger man til, hvad der sker ved indsatsen. Det kan være om projektet/indsatsen gør det, det forventes at gøre (eks. tiltrækker uddannelsen patienter? Hvor mange og hvem uddannes?). Spørgsmålet er: Hvad sker ved indsatsen? Spørgsmål vedrørende output vedrører de umiddelbare præstationer som leveres. Af en organisation eller i et program. Det kan være uddannelsens umiddelbare kvalitet. Her sættes der fokus påkonsekvenserne for indsatsens målgruppe. Der kan være fokus påforandringer i målgruppens situation (adfærd, status, helbred mv.). Kilden til spørgsmål findes typisk i de officielle målformuleringer for indsatsen: Hvad forventes indsatsen at opnå? Spørgsmål vedrørende effekt handler om at klarlægge årsagsvirkningssammenhænge; at ændringer i outcome kan tilskrives indsatsen (eks. sikrer patientuddannelsen bedre helbredstilstand?). Evalueringen vil her lægge vægt påspørgsmål, som klarlægger hvorvidt en indsats medfører/fører til/er årsag til en ønsket effekt. Ogsåfokus påat belyse bieffekterne (negative såvel som positive).

8 2. EVALUERINGSMODELLER Kilde: Hanne Kathrine Krogstrup, 2008

9 2.EVALUERINGENS FORUDSÆTNINGER OG FORMÅL - ER DET EN GOD IDE AT EVALUERE? 9

10 2. CENTRALE SPØRGSMÅL FORUD FOR EN EVALUERING Har formålet med evalueringen tilstrækkelig betydning eller vigtighed til at berettige en formel evaluering? Er indsatsen stærkt implementeret? Er indsatsen eller målgruppen velbeskrevet? Er der klare mål for indsatsen? Er der formuleret en klar forandringsteori eller forventede sammenhænge? Er de (klart og præcis) beskrevne beslutningstagere klar til og i en position til at træffe beslutninger påbaggrund af evalueringen?

11 2. FORSKELLIGE FORMÅL Dokumentation/accountability: Er ressourcerne blevet (behørigt) anvendt til at opnåønskede resultater? Effektfokus: I hvilket omfang kan det sandsynliggøres, at indsatsen har medført de dokumenterede resultater (outcomes). Kontekst fokus: Hvordan er det miljø, hvor programmet opererer politisk, socialt, økonomisk, kulturelt og videnskabeligt? Og hvordan påvirker denne kontekst indsatsens effektivitet? Deskriptivt fokus Hvad sker der ved indsatsen? (ikke hvorfor eller årsags-virkningsanalyser) Målbaseret: I hvilket omfang er målene for indsatsen blevet opfyldt?

12 2. FORMÅL OG ANVENDELSE Evalueringstype Summativ Formativ Beskrivelse Evalueringen har her til formål at rapportere om indsatsenfrem for at bidrage med viden til indsatsen. Med andre ord anvendes summative evalueringer ikke til at forbedre indsatsen, men til at vurdere indsatsens samlede effektivitet. Summative evalueringer spiller en særlig vigtig rolle i forhold til at træffe beslutninger om at fortsættel/udbrede eller afslutte et demonstrationsprojekt (udvikling og afprøvning) eller pilotprojekt (eksperiment). En formativ evaluering foretages i forbindelse med udviklingeller udførslen af en indsats, og har til hensigt at give feedbacktil forbedring af evaluanden (det, der evalueres). Typisk er der fokus på, om en indsats udføres som planlagt, at identificere muligheder og barrierer, identificere midtvejs-korrektioner, som vil øge sandsynligheden for projektets succes. Det er en systematisk måde, at give projektmedarbejdere (beslutningstagere) viden til at forbedreprojektet og implementeringen. Formative evalueringer gennemføres for at træffe databaseret beslutninger. Inspireret af servicestyrelsen

13 2. FORMÅL OG ANVENDELSE Formål Anvendels e Modtager Rammer Typiske spørgs mål Formativ evaluering Læring og udvikling af indsatsen Bidrag til at udvikle filosofien bag en indsats, forbedre impl. af indsatsen, afhjælpe fejl, skabe ideer til bedre måder at gøre tingene på osv. (feedback) Projektledere og projektansatte (undervisere) Hvilket vidensbehov er der? Og hvornår? Hvad virker? Hvad har behov for at blive forbedret? Hvordan kan det forbedres? Kontrol/dokumentation/ accountability Bidrag til at afgøre, om en bestemt indsats lever op til de eksternt stillede krav (ofte politiske styringskæde). (beslutning om fremtid) Politikere og øvrige beslutningstagere Hvilke kriterier og standarder vil blive brugt til at træffe beslutning? Virker indsatsen (det centrale effektspørgsmål)? Summativ evaluering Videnopbygning/udvikling Bidrage til vidensudvikling også hos personer og instanser, der ikke direkte er involverede i projektet (udbredelse) Typisk politikere og beslutningstagere uden for org. Men i princippet alle med interesse i indsatsen Hvad virker? Virker indsatsen (effektspm)? Hvad er resultaterne/effekterne af indsatsen? For hvem? Under hvilke betingelser? Med hvilke aktiviteter? Og til hvilke omkostninger?

14 2. ÅRSAGSFORKLARING OG FORANDRING Logisk Model En oversigt over komponenterne input, aktiviteter, output og outcome. Viser en liniær sammenhæng, men indholder IKKE forestillinger (teori) om hvorfor indsatsen tænkes at virke. Program teori Er nogle begrundede forestillinger (teori) om hvorfordenneindsats skulle have disse konsekvenser for denne gruppe mennesker i denne situation. Men også fokus på, hvad der ellers sker (bieffekter). Programteorien sætter fokus på menneskers reaktion på indsatsens aktiviteter. Forandringsteori Kombinationen af implementeringsteori og programteori er indsatsens forandringsteori. Implementeringsteorien er teorien om, hvad der skal til for at omsætte mål til løbende servicelevering og drift. Lidt forsimplet kan man sige at en logisk model og en programteori tilsammen udgør forandringsteorien. Inspireret af Carsten Strømbæk Pedersen, 2010

15 2. FRA EVALUERING TIL RESULTATMÅLINGER Præstationsmålinger/tilfredshed: Vurdering af indsatsen gennem et begrænset antal præstationskriterier, som oftest er defineret i toppen af organisationen inden output-målingen påbegyndes mhp. gennemførelse af regelmæssige kvantitative målinger. Formål: Monitorering af ansvarlighed i opgavevaretagelse Monitorering oversigt og ansvarlighed Evaluering forbedring og udvikling

16 SUMMEØVELSE DISKUTER 5 MINNUTTER MED SIDEMANDEN 1. Hvad er de 3 vigtiste mål med patientuddannelsen? 2. Er der tale om proces, output, outcome mål? 3. Hvad er forandringsteorien til realisering af disse mål (årsagvirkning)

17 3. EFFEKT OG EVIDENS 17

18 3. DEFINITION PÅ EVIDENS når du bygger dine beslutninger påen omhyggelig, udtrykkelig og kritisk brug af den aktuelt bedsteviden, når DU træffer beslutninger om andre menneskers velfærd Kronik af Olaf Rieper og Hanne Foss Hansen

19 3. EVIDENSHIERARKIET

20 KRITIK AF THE GOLDEN STANDARD Forskningsresultater giver ikke sikker viden Eksperimentelle og ikke-eksperimentelle studier giver samme resultater Samme intervention udsat for forskellige RKT giver forskellige resultater Kontrol -og indsatsgrupper er i mange sammenhænge ikke mulige at etablere Der er lavet mange årsagsforklaringer uden involvering af eksperimenter Social viden er ikke rationel og entydig men: Fortolket, kontekstuel og dynamisk, midlertidig, inkluderer værdi og ideologi Gennemsnitsviden kan være interessant, men behøver ikke at være det Politik, demokrati og eksperter Inspireret af Hanne Kathrine Krogstrup, 2011

21 4. UDFORDRING: EVALUERING OG KVALITETSSIKRING AF KOMPLEKSE FORLØB 21

22

23 4. HVAD ER KVALITET? Afhænger af mål og visioner Men målene og visionerne for kvalitet kan være mange.rigtig mange Især når der er mange interessenter og når opgaven er kompleks Og komplekse årsags forklaringer Hvad er kvalitet for hvem, hvornår og under hvilke omstændigheder? Og hvordan skaber og udvikler man mere og/eller bedre kvalitet?

24 ORGANISERING AF DEMENSINDSATS AABORG KOMMUNE Aalborg Sygehus Brønderslev psyk. sygehus Praktiserende speciallæger Geriati./ teamfunktion Neurolog/ ambulatorium Genontopsyk./ teamfunktion Sekundærsektor Radiologi/ CT-scanning Lokalområder L 99 læger 69 praksis Primærsektor Kilde: Seemann & Antoft, 2002

25 4. MÅLING AF KVALITET Kan kvalitet overhovedet måles? Både-og man kan i hvert fald indfange nogle kvalitetsperspektiver Men forskellige typer af kvalitet..og man får (delvis) hvad man måler. Men målinger skaber ikke i sig selv kvalitet det gør kun handling Forudsætninger: At man definerer hvad der er kvalitet og for hvem -> prioritering Overensstemmelse ml det man måler og det man ønsker at opnå En ide om hvorfor og hvordan en indsats virker for en bestemt gruppe -> programteori

26 4 KRITISKE SAMARBEJDSRELATIONER Uenighed om hvem der skal gøre hvad Domænekonflikter, der typisk referer til uklar arbejdsdeling Uenighed om behandlingsideologi, arbejdsmetoder og principper Teknologikonflikter, der typisk skyldes forskelle i professions- og sektorlogikker Uenighed om mål og vurderingskriterier Parternes gensidige beklagelser over hinandens resultater/outputog eks. definitionen af færdigbehandling Forskelle i strukturer, kulturer og processer Gør det vanskeligt for parterne at nåhinanden ogsåselvom der ikke er behandlingsideologiske modsætninger Forskelle i parternes ønsker om samarbejdsform f.eks. om mødehyppighed; stram eller ad hoc udforme tværgående mødestruktur

27 SUMMEØVELSE DISKUTER 5 MINNUTTER MED SIDEMANDEN 1. Er standardisering af patientuddannelsen løsningen? 2. Hvad ser I som de største udfordringer ifht. samarbejde om patientuddannelsen