Effektmåling Workshop Ulf Hjelmar forskningsprogramleder Anvendt KommunalForskning (AKF) www.akf.dk
Agenda 1. Hvordan skabes en god evalueringspraksis, så man i højere grad kan dokumentere og sammenligner indsatser over tid og på tværs af forvaltninger og kommuner? 2. Forandringsteori: Hvordan kan man arbejde mere systematisk med forventede effekter af en indsats og bedst muligt tilrettelægge en indsats for at realisere effekterne? 3. Øvelse og fremlæggelse fra deltagerne www.akf.dk SOFU 2011
1. God evalueringspraksis www.akf.dk SOFU 2011
En introduktion Dansk Evalueringsselskab Evaluering af forebyggelses- og sundhedsfremmeprojekter, sundhedsstyrelsen 2007. Samarbejde mellem forskning og praksis på forebyggelsesområdet, Sundhedsstyrelsen 2009. Implementeringsforskning om forebyggelse, Sundhedsstyrelsen 2010 - Vi skal blive bedre til at bruge den viden og de erfaringer, der skabes i de mange indsatser på området. Virker indsatsen efter hensigten?
Overordnede overvejelser Er det nødvendigt med en egentlig evaluering eller er sammenhænge og effekter veldokumenterede? Er der krav om evaluering puljer og tidsbegrænsede midler? Skal vi selv stå for dokumentation og evaluering eller skal vi inddrage en ekstern part? Lokal interesse eller valide forskningsresultater? Hvilket evalueringsdesign skal vi vælge: er formålet kontrol (effekt og ressourcer) eller læring (proces)? Hvordan inddrager vi bedst muligt interessenterne i design og diskussion af evalueringen (f.eks. workshop/seminar) evalueringen skal gøre en forskel.
Målevaluering og effektevaluering Målevaluering undersøger om nogle på forhånd opstillede procesmål er opfyldt (output). Procesmål (indikatorer for målopfyldelse) handler typisk om viden, holdninger og adfærd. Eks: motion. Effektevaluering afdækker slutresultaterne af indsatsen (outcome). Slutresultaterne kan opgøres på kortere eller længere sigt. Eks: helbredstilstand.
Efter evalueringen opfølgning og implementering Det tager tid og kræver fokus at få et nyt tiltag (evidensbaseret?) integreret i daglig praksis Implementeringsforskningen peger på en række opmærksomhedspunkter: Fidelity og adaption Simple tiltag? Ledelsesmæssig opbakning (koordinationsproblematikker) Frontpersonalets viden, ressourcer og motivation Dokumentation af implementeringsprocesen
2. Forandringsteori www.akf.dk SOFU 2011
Forandringsteori Definition og formål En forandringsteori (programteori) er en beskrivelse af, hvordan en indsats antages at virke, dvs hvad gør man? hvordan opnår man effekt? og under hvilke vilkår? Formålet for indsatsens medarbejdere er, at blive opmærksom på, hvordan indsatsen bedst tilrettelægges og gennemføres, herunder at identificere og forbedre svage led. Formålet for evaluator er, at kunne fokusere på de mekanismer, hvor der er mest behov for information og på det grundlag udvikle relevante evalueringsspørgsmål, dataindsamling og analyser af indsatsens gennemførelse og effekt.
Forandringsteoriens hjælp til indsatsens medarbejdere o.a. Sammenfatter og tydeliggør indsatsens medarbejderes og andre interessenters forståelse af indsatsens virkningsmekanismer, dvs. hvad der skal gøres for at opnå effekt. Et strategisk redskab til at præcisere, afgrænse og begrunde hvordan indsatsen antages at virke, herunder andre forholds betydning for gennemførelse og effekt. Bidrager til at indsatsens aktører kan forbedre svage led i gennemførelsen af indsatsen. www.akf.dk
Forandringsteoriens hjælp til evaluator Sammenfatter forskernes/evalutorernes forståelse af indsatsens virkningsmekanismer, dvs. hvad der skal gøres for at opnå effekt. Understøtter formulering af evalueringsspørgsmål og hjælper til at identificere behov for evalueringsinformation. Kan bidrage til samarbejdet mellem evaluator og indsatsens aktører. Kan sammenfatte og generalisere konkrete evalueringers resultater. www.akf.dk
Hvad forandringsteorien IKKE kan Den kan ikke gengive virkeligheden den er et forenklet billede som alle modeller. Den kan ikke erstatte grundig problemanalyse og projektovervejelser forandringsteorien forudsætter faktisk dette. Den kan ikke beskrive indholdet i en evaluering, men nok fokuspunkter. www.akf.dk
Teori- eller implementeringsfejl? Indsatsen er implementeret korrekt Indsatsen er ikke implementeret korrekt www.akf.dk Resultatet er indtruffet Forandringsteorien er bestyrket. Andre forhold end indsatsen forklarer resultatet. Ingen ændring i tiltroen til teorien. Resultatet er udeblevet Teorifejl. Implementeringsfejl og muligvis teorifejl. (Dahler-Larsen, 2004, s. 75)
Den logiske model www.akf.dk Notat om den logiske model www.krevi.dk
Eksempel på en logisk model www.akf.dk Notat om den logiske model www.krevi.dk
Eksempel på forandringsteori: Café Væxt (Rambøll Management 2007)
Ambitionen er at opstille en forandringsteori hvordan kan man gøre? Starte med de indsatser, man ved, man vil igangsætte, og så i samarbejde formulere en logisk model og derefter diskutere og formulere mekanismerne. Starte med de tilsigtede mål med indsatsen, og så i samarbejde beslutte hvilke præstationer og indsatser det fordrer. Og hvilke mekanismer, der antages at virke. i samarbejde mellem hvem? Det kan være mellem indsatsens leder og medarbejdere, mellem indsatsens leder og eksterne samarbejdspartnere og interessenter Forandringsteori som et dynamisk værktøj.
3. Øvelse www.akf.dk SOFU 2011
Spørgsmål Tænke baglæns: Hvad er den ønskede effekt af forebyggende hjemmebesøg på mellemlangt og langt sigt? Passer indsatsen i forhold til de ønskede effektmål? Opstil nogle kasser