FRIT VALG PÅ ALLE HYLDER? OM AT VÆLGE EVALUERINGSMODEL MED OMHU

Transkript

1 FRIT VALG PÅ ALLE HYLDER? OM AT VÆLGE EVALUERINGSMODEL MED OMHU T H OMAS BREDGAARD & J U L I A S A L A D O - R A S M U S SEN D E S GÅ- H J E M - M Ø D E, K O R A, Å R H U S 2 6 O K T O B E R

2 Dagens program Frit valg på alle hylder? Om valg af evalueringsmodel Tre klassiske evalueringsmodeller Målopfyldelsesevaluering Effektevaluering Virkningsevaluering Spørgsmål og dialog

3 Skabelsesberetningen Set med en evaluators øjne Og med inspiration fra Michael Quinn Patton

4 Hvad er evaluering? Definition: E n o mhyggelig tilbageskuende b e d ø mmelse af værdien a f e f f e k t e r, resultater, f o r v a l t n i ng o g beslutningsindhold samt o rganisering a f o f f e n t l i g v i r k s o mhed, s o m t æ n k e s a t s p i lle e n r o l l e i praktiske b e s l u t n ingssituationer K i l d e : E v e r t V e d u n g ( : 2 2 ) : U t v ä r d e r i n g i p o l i t i k o c h f ö r v a l t n i n g ( S t u d e n t l i t t e r a t u r ). 1. E v a l u ering e r tilbageskuende b e d ø m m e l s e 2. E v a l u ering e r e n o m h yggelig ( s ys t e m a t i s k ) b e d ø m m e l s e 3. E v a l u ering v e d r ø r e r o ff e n t l ig v i rksomhed i bred forstand 4. E v a l u ering o m h a n d l e r e ff e k t e r, resultater, f o r v a l t n i ng o g b e s l u t n ingsindhold s a m t o rganisering 5. E v a l u ering s k a l s p i l le en r o l l e i praktiske b e s l u t n ingssituationer

5 Hvorfor evaluere? 1.Kontrol 2.Læring 3.Oplysning 4.Strategisk 5.Symbolsk 6.Konstitutiv

6 (Syv udvalgte) Evalueringsmodeller Evalueringsmodel Problemstilling Evalueringskriterium Procesevaluering Hvordan forløb implementeringen af indsatsen? Udledes af indsatsens mål eller i dialog med interessenter undervejs Interaktiv evaluering Brugerevaluering Målopfyldelsesevaluering Hvad er interessenternes oplevelse af indsatsen? Hvad er brugernes oplevelse af indsatsen? I hvilken grad er målsætningen realiseret? Udledes i interaktion mellem evaluator og interessenter Udledes ud fra brugerens behov og ønsker Udledes af indsatsens målsætninger Effektevaluering Hvilke effekter har indsatsen? Udledes af indsatsens (tilsigtede og utilsigtede) målsætninger Økonomisk evaluering Virkningsevaluering Er produktivitet, effektivitet og nytte tilfredsstillende? Hvad virker for hvem, under hvilke omstændigheder? Output, effekt og nytte måles ift. indsatsens omkostninger Udledes af (program)teori og praksis på feltet T. Bredgaard (2016), red. Evaluering af offentlig politik og administration, Hans Reitzels forlag.

7 Evidenshierarkiet Randomiserede kontrollerede forsøg (RCT) Systematisk meta-analyse Quasi-eksperimentelle studier Før-og-efter sammenligninger Tværsnitsstudier Surveys Procesevalueringer, formative studier, aktionsforskning Kvalitative casestudier og etnografisk forskning Deskriptive retningslinjer og eksempler på god praksis Professionelles og eksperters vurderinger Brugervurderinger Kilde: E. Vedung (2010): Four Waves of Evaluation diffusion, Evaluation, 16(3)

8 Målopfyldelsesevaluering D e n klassiske e v a l u eringsmodel F o r t s a t en af de mest anvendte e v a l u e r ingsmodeller U n d e r s ø g e r g r a d e n af overensstemmelse m e l l e m m å l s æ t n i nger o g r e s u l t a t e r ( i m p l e m e n t e r ingsanalys e ) Opblomstring m e d NPM (mål - o g r e s u l t a t s t yring) M å l s æ t n i n gerne e r indsatsens/programmets e g n e mål H ø j m å l o p f yl d e l se = S u c c e s = F o r s æ t i n d s a t s L a v / i n g en m å l o p f yl d e l se = Fiasko = Nedlæg i n d s a t s

9 Målopfyldelsesevaluering E r r e s u l t a t e r n e i overensstemmelse m e d målsætningerne? I d e n t i f i c e r p r o g r a m m e t s målsætninger R a n d o r d e n d e m I d e n t i f i cer m å l b a re i n d i katorer U n d e r s ø g o m m å l e n e e r realiseret Målrealisering? Program Kausal forbindelse? Opnåede resultater

10 Fordele og ulemper ved målopfyldelsesevaluering Fordele Anerkender det repræsentative demokrati og den parlamentariske styringskæde Objektiv Enkel Ulemper Overser uklare, tvetydige, komplekse og skjulte målsætninger Overser bieffekter Undersøger ikke kausalitet

11 Kausalitet det kontrafaktiske problem T = Tid. O = Observation. Kilde: Vedung (2009: 216, oversættelse red.).

12 Evidensstigen TrygFondens Børneforskningscenter

13 Metoder til at undersøge effekter 1. E k s p e r i m e n t m e d t i l f æ l d i g k o n t r o l ( l o d t r æ k n i n g s f o r s ø g e t, b l i n d f o r s ø g, R a n d o m i s e d C o n t r o l l e d Tr i a l RCT) Ti l f æ l d i g f o r d e l i n g a f m o d t a g e r n e i e n e k s p e r i m e n t g r u p p e o g k o n t r o l g r u p p e. 2. E k s p e r i m e n t m e d m a t c h e t k o n t r o l ( t v i l l i n g e f o r s ø g e t ) I k k e t i l f æ l d i g f o r d e l i n g a f e k s p e r i m e n t g r u p p e o g k o n t r o l g r u p p e. K o n t r o l g r u p p e k o n s t r u e r e s s å l e d e s a t d e n b l i v e r æ k v i v a l e n t m e d e k s p e r i m e n t g r u p p e n i t e o r e t i s k h e n s e e n d e. 3. G e n e r i s k k o n t r o l D e l t a g e r g r u p p e n s a m m e n l i g n e s m e d h v a d d e r g e n n e m s n i t l i g t e l l e r t y p i s k e r t i l f æ l d e t i n d e n f o r e n s t ø r r e p o p u l a t i o n s o m d e l t a g e r g r u p p e n k a n s i g e s a t t i l h ø r e. 4. R e f l e k s i v k o n t r o l ( f ø r - e f t e r m å l i n g ) D e l t a g e r e s a m m e n l i g n e s m e d s i g s e l v f ø r i n t e r v e n t i o n e n 5. S k y g g e k o n t r o l D e l t a g e r e s a m m e n l i g n e s m e d a n d r e s v u r d e r i n g e r a f, h v a d d e r v i l l e v æ r e s k e t, h v i s d e r i k k e h a v d e v æ r e t e n i n t e r v e n t i o n ( f x e k s p e r t e r, p r o g r a m l e d e r e o g m e d a r b e j d e r e o g a n d r e d e l t a g e r e )

14 Virkningsevaluering Vi rkningsevaluering e r en e v a l u eringsmetode, d e r søger, at b e s v a r e, h v i l ke i n d s a t ser ( i n t e r v e n t ioner) d e r v i r k e r f o r h v e m, u n d e r hvilke o m s t æ n d i g h e der I v i r k n i ngsevaluering k o n s t r u e r e s o g t e s t e s p r o g r a m t e o r i e r ( i n t e r v e n t i onsteorier/indsatsteorier), s o m e r e k s p l icitte a n t a g e l ser o m, h v a d d e r virker for hvem under hvilke o m s t ændigheder Vi r k n ingsevaluering e r v e l e g n et t i l a t u n d e r s ø g e h v o r f o r o g hvordan e n indsats v i r k e r Vi r k n ingsevaluering k a n både v æ r e e n k r i t i k o g et supplement t i l e k s p e r i m e ntelle o g q u a s i - e ksperimentelle e v a l u e ringsmetoder

15 Evaluering uden programteori Program - Et æble om dagen Outcome - Forbedret helbred

16 Evaluering med programteori Inputs - Æbler Aktivitet - Æbler leveret Output - Bedre adgang til frisk frugt - Æbler spises Outcome (kort sigt) - Øget niveau af Vitamin C Outcome (langt sigt) - Forbedret helbred

17 Virkningsevaluering som brobygger Effektevaluering Virkningsevaluering Procesevalueringer Undersøgelsesspørgsmål Virker det? Hvad virker for hvem, hvorfor, under hvilke omstændigheder? Hvordan opleves og opfattes virkningerne? Fokus Overvejende effektorienteret Effekt og proces Overvejende procesorienteret Metode Teori om forbindelse mellem indsats og effekt Viden Kvantitative metoder: Foretrækker randomiserede kontrollerede forsøg Multimetodologisk: Anvender både kvantitative og kvalitative metoder Kvalitative metoder: Foretrækker casestudier og brugerevalueringer Kausalteori Generativ teori Ingen (søger ikke at forklare forholdet ml. årsag og virkning) Kontekstuafhængig Global viden Kontekstafhængig, men overførbar viden Kontekstafhængig Lokal viden Beslutningsproces Antager at beslutningstagere foretager rationelle valg mellem de mest effektive midler ti at opnå mål Evaluator søger at informere interessenter og udvikle deres programteorier Evaluator vægter lydhørhed overfor interessenter og informere beslutningstagere om hvordan interventioner opleves og anvendes Kilde: T. Bredgaard (2016), red. Evaluering af offentlig politik og administration, Hans Reitzels Forlag (kapitel 14: Virkningsevaluering)

18 Realistisk evaluering C + M = O C o n t e xt + M e c h a n i sm = Outcome H v a d v i r k e r f o r h v e m, under hvilke o m s t æ n d i g h eder?

19 Nøglebegreber M e k a n i sme (virkningen) D e indre forhold s o m får programmer til a t v i r k e, n å r d e v i r k e r E n hypotese (forklaring) o m, h v o r f o r der (potentielt) e r f o r b i n d e lse mellem p r o g r a m o g eff e k t Ofte skjulte u n d e r overfladen o g følsomme o v e r f o r v a r i a t ioner i k o n t e k s t e n S a m s p i lle t m e l l e m d e ressourcer s o m indsatsen s t i l ler t i l r å d i g h e d o g p r o g r a m d e l t a g ernes reaktion. K o n t e k s t ( m o d e r a t o r e r ) D e forhold s o m a k t i v e r e r m e k a n i s m e r, u n d e r bestemte o m s t ændigheder E n antændingsmekanisme, s o m regulerer et andet k a u s a lforholds s t yrke og retning E ff e k t e r ( o u t c o m e s ) Intenderede og uintenderede konsekvenser af programmer R e s u l t a t er, s o m programmer har en realistisk m u l i g h ed f o r at opnå

20 Den realistiske evalueringscyklus Teori Kontekst (C) Mekanismer (M) Outcome (O) Program specifikation Hvad virker for, hvem under hvilke omstændigheder Hypoteser Hvad forventes at virke for hvem, under hvilke omstændigheder Observationer Multiple metoder og analyse af C,M,O Kilde: R. Pawson & M. Tilley (1997: 85): Realistic Evaluation, London: Sage.

21 Køreplan i virkningsevaluering 1. S t i l le evalueringsspørgsmålet 2. F i n d e k i l der t i l p r o g r a m t e o r i e n 3. Opstille p r o g r a m t e o r i e n 4. Gøre programteorien k l a r t i l e v a l u e r ing 5. V ælge m e t o d e og indsamle d a t a 6. A n a l ys e r e o g k o n k l u dere K i l d e : P. D a h l e r - L a r s e n ( ) : E v a l u e r i n g a f p r o j e k t e r o g a n d r e t i n g, s o m i k k e e r t i n g, S y d d a n s k U n i v e r s i t e t s f o r l a g ( s. 120)

22 Eksempel: Uddeling af nikotinplastre på sygehuse KONTEKST (C) Moderator Motivation Intervention Nikotinplastre Outcome/effekt Rygestop Mekanisme Nikotinsubstitution

23 Teori- eller implementeringsfejl? Resultatet er indtruffet Resultatet er udeblevet Indsatsen er korrekt implementeret 1. Programteorien er bestyrket 2. Teorifejl Indsatsen er ikke korrekt implementeret 3. Andre forhold end indsatsen forklarer resultatet 4. Implementeringsfejl og muligvis teorifejl P. Dahler-Larsen & H.K. Krogstrup (2004): Nye veje i evaluering, Systime Academic, s. 75.

24 Konstruktion af programteori Målgruppe Aktiviteter (indsatsen) Mekanismer og Moderatorer Delmål (output) Slutmål (outcome) Hvem gælder indsatsen for? Hvilke kendetegn har målgruppen? Hvilke udfordringer og barrierer har målgruppen? Er der forskellige delmålgrupper? Hvilke er de væsentligste aktiviteter i indsatsen? Hvordan er sammenhængen mellem indsatserne? Er der forskellige indsatser til forskellige målgrupper? Hvilke mekanismer får indsatserne til at virke? Hvilke betingelser er nødvendige for at indsatserne virker (moderatorer)? Hvordan virker mekanismer og moderatorer på forskellige målgrupper? Hvilke delmål er forudsætninger for at nå slutmålene? Hvilke mål sigter indsatserne efter på kort og mellemlangt sigt Hvilke mål sigter indsatserne efter på langt sigt?

25 Eksempel: Virkningsevaluering af CAB

26 Målgruppe Aktivitet Moderator og mekanismer Output 1 Output 2 Outcome Samtaler med konsulent Udslusningsdata Være samme med ligesindede Overblik over uddannelsesmuligheder og erhvervsvalg Ledige med fysiske udfordringer og evt. smerter Ledige med psykiske/sociale udfordringer Ledige med mangelfulde kompetencer til jobsøgning Fysisk træning Varmtvandsbassin Kostvejledning Ergonomi Fysioterapeutisk Delundersøgelse CV og jobsøgning Psykoedukation Psykologfaglig afklaring Mindfulness Værksteder Ledige med mangelfuldt overblik over erhvervs- og uddannelsesmuligheder Funktionsbeskrivelse Relationsarbejde Tid, mødes i øjenhøjde, forståelse for borgernes situation, høj grad af borgerinddragelse Mening for borgeren Opfølgning, fokus på successer, tydelighed ifht. mål og tværfaglighed Bevidst om egne kompetencer (socialt og fagligt) Bevidst om psykiske barrierer og udfordringer Bevidst om fysiske skånehensyn Vægttab & livsstilsændring Øget psykisk og fysisk energiniveau og kapacitet Øget struktur og stabilitet i hverdagen Nye kompetencer til udformning af CV og til jobsøgning Praktik Ordinær beskæftigelse Ordinær uddannelse Progression Øget koncentrationsevne og egenomsorg Observation Progressionsmålinger Interview med medarbejdere og borgere Udslusningsdata Fremtid

27 Udslusningsdata deskriptiv statistik Fratrædelsesårsag Total Procent Ordinært job 102 7,3 % Uddannelse/kursus 104 7,4 % Løntilskud 1 0,1 % Praktik ,6 % Fleksjob 29 2,1 % Revalidering (4) og rehabiliteringsteam (44) 48 3,4 % Raskmeldt 68 4,9 % Afsluttet grundet: Udeblivelse (97), sygemeldt (164), barsel (13), forlænges (2), enkeltstående (56), andet tilbud (75), afsluttet (1), ikke angivet (26), tilbagevisiteres (289) ,6 % Fraflyttet kommunen 21 1,5 % Pension 3 0,2 % I alt ,0 %

28 Refleksiv kontrol (før-efter måling) 5,0 Progression CAB 4,0 3,0 2,0 3,3 3,1 2,4 2,7 3,5 3,5 3,6 3,6 3,3 2,8 2,8 2,5 3,4 3,7 2,9 3,0 2,8 2,6 Første måling Seneste måling 1,0

29 Generisk kontrol Hverdagsmestring Kompetencer CAB Jobcenter CAB Jobcenter

30 Revideret programteori Målgruppe Aktivitet Moderator og mekanismer Output 1 Output 2 Outcome Ledige med fysiske udfordringer og evt. smerter Ledige med psykiske/sociale udfordringer Ledige med mangelfuldt overblik over erhvervs- og uddannelsesmuligheder Ledige med mangelfulde kompetencer til jobsøgning Samtaler med konsulent Fysisk træning Varmtvandsbassin Kostvejledning Ergonomi Fysioterapeutisk Delundersøgelse CV og jobsøgning Psykoedukation Psykologfaglig afklaring Mindfulness Værksteder Funktionsbeskrivelse Være samme med ligesindede, tillid og tiltro Relationsarbejde Fortrolighed, respekt, tid, mødes i øjenhøjde, forståelse for borgernes situation, høj grad af borgerinddragelse Mening for borgeren Små skub, Opfølgning, fokus på successer, tydelighed ifht. mål og tværfaglighed Overblik over uddannelsesmuligheder og erhvervsvalg Bevidst om egne kompetencer (socialt og fagligt) Bevidst om psykiske barrierer og udfordringer Bevidst om fysiske skånehensyn Vægttab & livsstilsændring Øget psykisk og fysisk energiniveau og kapacitet Øget struktur og stabilitet i hverdagen Nye kompetencer til udformning af CV og til jobsøgning Praktik 21,6 pct. Ordinær beskæftigelse 7,3 pct. Ordinær uddannelse 7,4 pct. Progression Øget koncentrationsevne og egenomsorg

31 10 fordele ved virkningsevaluering 1. V i r k n i n g s e v a l u e r i n g strukturerer evalueringsarbejdet på en måde, som mange finder god 2. V i r k n i n g s e v a l u e r i n g forbinder indsats, proces og resultat o g g i v e r d e r m e d e t bud på, hvordan man kan møde samfundets krav om effekter 3. V i r k n i n g s e v a l u e r i n g t i l b y d e r e f f e k t e v a l u e r i n g o g s å i d e m a n g e s i t u a t i o n e r, h v o r k o n t r o l l e r e d e e k s p e r i m e n t e r i k k e e r m u l i g e e l l e r e g n e d e, eller hvor man i ø v r i g t i k k e h a r t i l s t r æ k k e l i g k o n t r o l o v e r i n d s a t s e n t i l a t s i k r e e t v a r i a n s b a s e r e t d e s i g n. E t v a r i a n s b a s e r e t d e s i g n k a n s å g a r v æ r e b l o k e r e t a f m o d s t a n d e r e a f e v a l u e r i n g e n 4. V i r k n i n g s e v a l u e r i n g l a d e r fagfolks viden komme til orde, når de er med til at formulere programteorien 5. V i r k n i n g s e v a l u e r i n g m e d v i r k e r t i l a t g ø r e e v a l u e r i n g s k r i t e r i e r n e k v a l i f i c e r e d e 6. V i r k n i n g s e v a l u e r i n g kan inddrage bieffekter 7. V i r k n i n g s e v a l u e r i n g g ø r d e t m u l i g t a t skelne mellem teorifejl og implementeringsfejl 8. V i r k n i n g s e v a l u e r i n g g i v e r a n l e d n i n g t i l b e g r u n d e d e a n b e f a l i n g e r 9. V i r k n i n g s e v a l u e r i n g g i v e r m u l i g h e d f o r g e n e r a l i s e r i n g a f e v a l u e r i n g s r e s u l t a t e r, men beskriver også spillereglerne og begrænsningerne v e d g e n e r a l i s e r i n g 10. V i r k n i n g s e v a l u e r i n g k a n b r u g e s b å d e formativt og s u m m a t i v t. K i l d e : P. D a h l e r - L a r s e n ( ) : Evaluering af projekter o g a n d r e t i n g, s o m i k k e e r t i n g, S y d d a n s k U n i v e r s i t e t s f o r l a g ( s )

32 Udfordringer i virkningsevaluering 1. A f v e j n ing a f p rogramteori s o m virkelighedsbeskrivelse e l l e r e v a l u e r ingsredskab ( k o m p l e k s e e l l e r s i m p l e p r o g r a m t e o r i e r ) 2. H v o r d a n i d e n t i f icerer m a n g e n e r a t i v e m e k a n i s m er? 3. H v o r d a n a f g r æ n s e s k o n t e k s t e r (moderatorer)? 4. B l i ver e v a l u a t o r b l i nd f o r u f o r u d s e t e b i - e ff e k t e r? 5. H v a d h v i s d e r er flere aktører med flere programteorier s a m t i d i g? 6. H v a d h v i s p r o g r a m m e t er et dynamisk u d v i k lingsprojekt? 7. Vi r k n ingsevaluering s o m alternativ eller s u p p l e m e nt t i l e ff e k t e v a luering? ( k v a l itative o g k v a n t i t a t ive m e t o d e r ).

33 Kriterier for valg af evalueringsmodel D e t a f h æ n g e r a f d i t e v a l u e r i n g s s p ø r g s m å l : M å l o p f y l d e l s e s e v a l u e r i n g : B l e v m å l e n e n å e t? P r o c e s e v a l u e r i n g : H v a d s k e t e d e r? B r u g e r e v a l u e r i n g : H v a d s i g e r b r u g e r n e? E f f e k t e v a l u e r i n g : V i r k e d e d e t? V i r k n i n g s e v a l u e r i n g : H v a d v i r k e r f o r h v e m, u n d e r h v i l k e o m s t æ n d i g h e d e r? D e t a f h æ n g e r a f, h v i l k e n d e l a f p o l i c y - k æ d e n, d e r s k a l u n d e r s ø g e s B e s l u t n i n g s p r o c e s, i m p l e m e n t e r i n g s p r o c e s, o r g a n i s e r i n g / f o r v a l t n i n g, r e s u l t a t e r e l l e r e f f e k t e r D e t a f h æ n g e r a f p r o b l e m e t s o g s i t u a t i o n e n s k o m p l e k s i t e t s g r a d S i m p l e, k o m p l i c e r e d e o g k o m p l e k s e p r o b l e m e r D e t a f h æ n g e r a f t i d, r e s s o u r c e r, d a t a o s v. D e f l e s t e g o d e e v a l u e r i n g e r k o m b i n e r e r f o r s k e l l i g e e v a l u e r i n g s m o d e l l e r p å s a m m e t i d