EVALUERING AF OFFENTLIG POLITIK OG ADMINISTRATION TENDENSER OG UDFORDRINGER T H O M A S B R E D G A A R D & J U L I A S A L A D O - R A S M U S S E N F O R S K N I N G S C E N T E R F O R E VA L U E R I N G ( F C E ) A A L B O R G U N I V E R S I T E T D A N S K E VA L U E R I N G S S E L S K A B, 2 9. A U G U S T 2 0 1 5 C O M W E L L, K O L D I N G
Tre formål med sessionen 1. A t d i s k utere n yere tendenser i evaluering a f o ff e n t l i g p o l i t ik o g o r g a n i s a t ion 2. A t d i s k utere h v o r d a n m a n f o r e t a g e r e t k v a l ificeret v a l g a f e v a l u e r ingsmodel 3. A t n å det hele p å 4 5 minutter en lørdag formiddag i Kolding
Lærebog undervejs på Hans Reitzels forlag T i t e l : E v a l u e r i n g a f o f f e n t l i g p o l i t i k o g o r g a n i s a t i o n ( r e d. a f T h o m a s B r e d g a a r d ), u d k o m m e r u l t i m o 2 0 1 5 e l l e r p r i m o 2 0 1 6. D e l 1. E v a l u e r i n g o g e v i d e n s K a p i t e l 1. E v a l u e r i n g, p o l i t i k o g o r g a n i s a t i o n ( T h o m a s B r e d g a a r d ) K a p i t e l 2. F i r e e v a l u e r i n g s b ø l g e r ( E v e r t V e d u n g ) K a p i t e l 3. M e t a e v a l u e r i n g o g e v i d e n s ( H a n n e K a t h r i n e K r o g s t r u p o g K e l v i n B a a d s g a a r d ) K a p i t e l 4. E v a l u e r i n g s s t y r i n g ( H a n n e F o s s H a n s e n ) K a p i t e l 5. P e r f o r m a n c e M a n a g e m e n t ( M o r t e n B a l l e H a n s e n ) K a p i t e l 6. P o l i t i k o g e v a l u e r i n g ( P e t e r D a h l e r - L a r s e n ) D e l 2. E v a l u e r i n g s m o d e l l e r K a p i t e l 7. P r o c e s e v a l u e r i n g o g f ø l g e f o r s k n i n g ( A n e t t e R a s m u s s e n o g P a l l e R a s m u s s e n ) K a p i t e l 8. I n t e r a k t i v e v a l u e r i n g ( K e l v i n B a a d s g a a r d o g H a n n e K a t h r i n e K r o g s t r u p ) K a p i t e l 9. B r u g e r e v a l u e r i n g ( B e n t e B j ø r n h o l t ) K a p i t e l 1 0. M å l o p f y l d e l s e s e v a l u e r i n g o g e f f e k t e v a l u e r i n g ( T h o m a s B r e d g a a r d, I n a D r e j e r o g K r i s t i a n N i e l s e n ) K a p i t e l 1 1. Ø k o n o m i s k e e v a l u e r i n g e r ( I n a D r e j e r o g K r i s t i a n N i e l s e n ) K a p i t e l 1 2. V i r k n i n g s e v a l u e r i n g ( T h o m a s B r e d g a a r d, J u l i a S a l a d o - R a s m u s s e n o g S t e l l a S e i l i n g - M o n a s ) D e l 3. A n v e n d e l s e a f e v a l u e r i n g K a p i t e l 1 3. R e s u l t a t s t y r i n g o g p o l i t i s k e b e s l u t n i n g s p r o c e s s e r ( F l e m m i n g L a r s e n ) K a p i t e l 1 4. E v a l u e r i n g s a n v e n d e l s e ( P e t e r D a h l e r - L a r s e n )
Grundbegreber i evaluering Målsætninger Indsatser Resultater Effekter
Evalueringsmodeller Evalueringsmodel Problemstilling Evalueringskriterium Procesevaluering Hvordan forløb implementeringen af indsatsen? Udledes af indsatsens mål eller i dialog med interessenter undervejs Interaktiv evaluering Brugerevaluering Målopfyldelsesevaluering Hvad er interessenternes oplevelse af indsatsen? Hvad er brugernes oplevelse af indsatsen? I hvilken grad er målsætningen realiseret? Udledes i interaktion mellem evaluator og interessenter Udledes ud fra brugerens behov og ønsker Udledes af indsatsens målsætninger Effektevaluering Hvilke effekter har indsatsen? Udledes af indsatsens (tilsigtede og utilsigtede) målsætninger Økonomisk evaluering Virkningsevaluering Er produktivitet, effektivitet og nytte tilfredsstillende? Hvad virker for hvem, under hvilke omstændigheder? Output, effekt og nytte måles ift. indsatsens omkostninger Udledes af (program)teori og praksis på feltet
Valg af evalueringsmodel og evalueringsdesign 1. P r o b l e m : H v a d er det grundlæggende problem som evalueringen u n d e r s ø g e r? H v a d e r e v a l u e r ingens formål (fx læring, k o n t r o l, v i d e n e l l e r s t r a t e g i s k formål)? 2. Organisering: H v e m s k a l h a v e a n s v a r e t f o r e v a l u e r ingen o g h v o r d a n s k a l d e n organiseres? 3. B e d ø m m e l s e : U d fra hvilke værdikriterier s k a l i n t e r v e n t ionen b e d ø m m e s? H v i lke s t a n d a r d e r på disse v æ r d i k r i t e r ier u d g ø r s u c c e s e l l e r f i a s k o? 4. Af g r æ n s n i ng o g implementering : H v o r d a n kan evalueringen a f g r æ n s e s og beskrives? Er interventionen e t m å l eller m i d d e l? H v i s m i d d e l, h v o r d a n s e r i m p l e m e nteringen s å u d f r e m t i l r e s u l t a t e r n e? 5. R e s u l t a t e r og effekter: H v i l ke ( t i l s igtede o g u t i l sigtede) k o n s e k venser har interventionen? 6. An ve n d e l s e : A f h v e m og på hvilken m å d e s k a l e v a l u eringen a n v e n d e s? Med inspiration fra Evert Vedungs 11-punkt program for evaluering (jf. Vedung, 2009: s. 159)
Dansk evalueringshistorie kort fortalt 1960-1970erne Ad hoc evalueringer på udvalgte politikområder, især socialpolitik, ulandsbistand og forskningsområdet 1980erne Spredning af evaluering til andre politikområder, fx arbejdsmarked og erhvervsfremme Institutionaliseing på bistandområdet, oprettelse af "evalueringsenhed" i Danida 1990erne Fortsat spredning til nye politikområder, fx undervisningsområdet, socialområdet, udviklingsbistand Internalisering af løbende evaluering i offentlige organisationer gennem mål-og resultatstyring 2000erne Sektorministerier udvikler egne evalueringspolitikker med formålet at skabe en mere "evidensbaseret politik og praksis", fx indenforudviklingsbistand, social- og beskæftigelsespolitikken Evidensbevægelsen medfører oprettelse af samarbejder på socialområdet (Campbell) og sunhedsområdet (Cochrane)
Fire evalueringsbølger og et evidenshierarki 1. D e n vi d e n s k a b e l i g e b ø l g e (1950-1 9 7 0 ) I n g e n i ør m o d e l l e n, r a t i o n a l i t e t, p l a n l æ g n i n g o g i n s t r u m e n t e l b r u g a f e va l u e r i n g 2. D i a l o g o r i e n t e r e d e b ø l g e (1970-1 9 8 0 ) S t a k e h o l d e r e va l u e r i n g, p a r t i c i p a t o r i s k, e m p o we r m e n t o g d e m o k r a t i s k e va l u e r i n g 3. D e n n yl i b e r a l e b ø l g e ( 1 9 8 0 -?) N e w Public M a n a g e m e n t, r e s u l t a t b a s e r e t l e d e l s e, u d l i c i t e r i n g, k u n d e o r i e n t e r i n g 4. D e n e vi d e n s b a s e r e d e b ø l g e ( 2 0 0 0 -?) K o n t r o l l e r e d e e k s p e r i m e n t e r, l o d t r æ k n i n g s f o r s øg, m e t a e va l u e r i n g Vi r k n i n g s e va l u e r i n g Kilde: E. Vedung, kapitel 2 i lærebogen.
En bølgeskvulp af programteori? E v i d e ns h v a d v i r k e r? M e n o g s å e f t e rspørgsel e f t e r h v o r d a n o g h v o r f o r o ff e n t l i ge i n t e r v e n t ioner v i rker. S t i g e n d e i n t e r e s s e f o r d e antagelser ( p r o g r a m t e o r i e r ), s o m o ff e n t l i ge i n t e r v e n t ioner b ygger på. Ve d u n g ( 2 0 0 9 ) F u n n e l l og Rogers (2011) P a ws o n & Ti l ley (1997), P a ws o n ( 2 0 0 6 ), P a ws o n ( 2 0 1 3 ) P e t e r D a h l e r - L a r s e n ( 2 0 1 3 ).
Resultater i Google Scholar 90 Søgning på "programteori" 80 70 60 50 40 Antal 30 20 10 0 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014
Diskussion 3 min. med sidemand H v o r d a n v æ l g e r m a n d e n rette evalueringsmodel? E r e v i d e nsbølgen s l å e t m o d l a n d? H v a d b l i v er d e n næste bølge?