EVALUERING AF OFFENTLIG POLITIK OG ADMINISTRATION TENDENSER OG UDFORDRINGER

Transkript

1 EVALUERING AF OFFENTLIG POLITIK OG ADMINISTRATION TENDENSER OG UDFORDRINGER T H O M A S B R E D G A A R D & J U L I A S A L A D O - R A S M U S S E N F O R S K N I N G S C E N T E R F O R E VA L U E R I N G ( F C E ) A A L B O R G U N I V E R S I T E T D A N S K E VA L U E R I N G S S E L S K A B, 2 9. A U G U S T C O M W E L L, K O L D I N G

2 Tre formål med sessionen 1. A t d i s k utere n yere tendenser i evaluering a f o ff e n t l i g p o l i t ik o g o r g a n i s a t ion 2. A t d i s k utere h v o r d a n m a n f o r e t a g e r e t k v a l ificeret v a l g a f e v a l u e r ingsmodel 3. A t n å det hele p å 4 5 minutter en lørdag formiddag i Kolding

3

4 Lærebog undervejs på Hans Reitzels forlag T i t e l : E v a l u e r i n g a f o f f e n t l i g p o l i t i k o g o r g a n i s a t i o n ( r e d. a f T h o m a s B r e d g a a r d ), u d k o m m e r u l t i m o e l l e r p r i m o D e l 1. E v a l u e r i n g o g e v i d e n s K a p i t e l 1. E v a l u e r i n g, p o l i t i k o g o r g a n i s a t i o n ( T h o m a s B r e d g a a r d ) K a p i t e l 2. F i r e e v a l u e r i n g s b ø l g e r ( E v e r t V e d u n g ) K a p i t e l 3. M e t a e v a l u e r i n g o g e v i d e n s ( H a n n e K a t h r i n e K r o g s t r u p o g K e l v i n B a a d s g a a r d ) K a p i t e l 4. E v a l u e r i n g s s t y r i n g ( H a n n e F o s s H a n s e n ) K a p i t e l 5. P e r f o r m a n c e M a n a g e m e n t ( M o r t e n B a l l e H a n s e n ) K a p i t e l 6. P o l i t i k o g e v a l u e r i n g ( P e t e r D a h l e r - L a r s e n ) D e l 2. E v a l u e r i n g s m o d e l l e r K a p i t e l 7. P r o c e s e v a l u e r i n g o g f ø l g e f o r s k n i n g ( A n e t t e R a s m u s s e n o g P a l l e R a s m u s s e n ) K a p i t e l 8. I n t e r a k t i v e v a l u e r i n g ( K e l v i n B a a d s g a a r d o g H a n n e K a t h r i n e K r o g s t r u p ) K a p i t e l 9. B r u g e r e v a l u e r i n g ( B e n t e B j ø r n h o l t ) K a p i t e l 1 0. M å l o p f y l d e l s e s e v a l u e r i n g o g e f f e k t e v a l u e r i n g ( T h o m a s B r e d g a a r d, I n a D r e j e r o g K r i s t i a n N i e l s e n ) K a p i t e l 1 1. Ø k o n o m i s k e e v a l u e r i n g e r ( I n a D r e j e r o g K r i s t i a n N i e l s e n ) K a p i t e l 1 2. V i r k n i n g s e v a l u e r i n g ( T h o m a s B r e d g a a r d, J u l i a S a l a d o - R a s m u s s e n o g S t e l l a S e i l i n g - M o n a s ) D e l 3. A n v e n d e l s e a f e v a l u e r i n g K a p i t e l 1 3. R e s u l t a t s t y r i n g o g p o l i t i s k e b e s l u t n i n g s p r o c e s s e r ( F l e m m i n g L a r s e n ) K a p i t e l 1 4. E v a l u e r i n g s a n v e n d e l s e ( P e t e r D a h l e r - L a r s e n )

5 Grundbegreber i evaluering Målsætninger Indsatser Resultater Effekter

6 Evalueringsmodeller Evalueringsmodel Problemstilling Evalueringskriterium Procesevaluering Hvordan forløb implementeringen af indsatsen? Udledes af indsatsens mål eller i dialog med interessenter undervejs Interaktiv evaluering Brugerevaluering Målopfyldelsesevaluering Hvad er interessenternes oplevelse af indsatsen? Hvad er brugernes oplevelse af indsatsen? I hvilken grad er målsætningen realiseret? Udledes i interaktion mellem evaluator og interessenter Udledes ud fra brugerens behov og ønsker Udledes af indsatsens målsætninger Effektevaluering Hvilke effekter har indsatsen? Udledes af indsatsens (tilsigtede og utilsigtede) målsætninger Økonomisk evaluering Virkningsevaluering Er produktivitet, effektivitet og nytte tilfredsstillende? Hvad virker for hvem, under hvilke omstændigheder? Output, effekt og nytte måles ift. indsatsens omkostninger Udledes af (program)teori og praksis på feltet

7 Valg af evalueringsmodel og evalueringsdesign 1. P r o b l e m : H v a d er det grundlæggende problem som evalueringen u n d e r s ø g e r? H v a d e r e v a l u e r ingens formål (fx læring, k o n t r o l, v i d e n e l l e r s t r a t e g i s k formål)? 2. Organisering: H v e m s k a l h a v e a n s v a r e t f o r e v a l u e r ingen o g h v o r d a n s k a l d e n organiseres? 3. B e d ø m m e l s e : U d fra hvilke værdikriterier s k a l i n t e r v e n t ionen b e d ø m m e s? H v i lke s t a n d a r d e r på disse v æ r d i k r i t e r ier u d g ø r s u c c e s e l l e r f i a s k o? 4. Af g r æ n s n i ng o g implementering : H v o r d a n kan evalueringen a f g r æ n s e s og beskrives? Er interventionen e t m å l eller m i d d e l? H v i s m i d d e l, h v o r d a n s e r i m p l e m e nteringen s å u d f r e m t i l r e s u l t a t e r n e? 5. R e s u l t a t e r og effekter: H v i l ke ( t i l s igtede o g u t i l sigtede) k o n s e k venser har interventionen? 6. An ve n d e l s e : A f h v e m og på hvilken m å d e s k a l e v a l u eringen a n v e n d e s? Med inspiration fra Evert Vedungs 11-punkt program for evaluering (jf. Vedung, 2009: s. 159)

8 Dansk evalueringshistorie kort fortalt erne Ad hoc evalueringer på udvalgte politikområder, især socialpolitik, ulandsbistand og forskningsområdet 1980erne Spredning af evaluering til andre politikområder, fx arbejdsmarked og erhvervsfremme Institutionaliseing på bistandområdet, oprettelse af "evalueringsenhed" i Danida 1990erne Fortsat spredning til nye politikområder, fx undervisningsområdet, socialområdet, udviklingsbistand Internalisering af løbende evaluering i offentlige organisationer gennem mål-og resultatstyring 2000erne Sektorministerier udvikler egne evalueringspolitikker med formålet at skabe en mere "evidensbaseret politik og praksis", fx indenforudviklingsbistand, social- og beskæftigelsespolitikken Evidensbevægelsen medfører oprettelse af samarbejder på socialområdet (Campbell) og sunhedsområdet (Cochrane)

9 Fire evalueringsbølger og et evidenshierarki 1. D e n vi d e n s k a b e l i g e b ø l g e ( ) I n g e n i ør m o d e l l e n, r a t i o n a l i t e t, p l a n l æ g n i n g o g i n s t r u m e n t e l b r u g a f e va l u e r i n g 2. D i a l o g o r i e n t e r e d e b ø l g e ( ) S t a k e h o l d e r e va l u e r i n g, p a r t i c i p a t o r i s k, e m p o we r m e n t o g d e m o k r a t i s k e va l u e r i n g 3. D e n n yl i b e r a l e b ø l g e ( ?) N e w Public M a n a g e m e n t, r e s u l t a t b a s e r e t l e d e l s e, u d l i c i t e r i n g, k u n d e o r i e n t e r i n g 4. D e n e vi d e n s b a s e r e d e b ø l g e ( ?) K o n t r o l l e r e d e e k s p e r i m e n t e r, l o d t r æ k n i n g s f o r s øg, m e t a e va l u e r i n g Vi r k n i n g s e va l u e r i n g Kilde: E. Vedung, kapitel 2 i lærebogen.

10 En bølgeskvulp af programteori? E v i d e ns h v a d v i r k e r? M e n o g s å e f t e rspørgsel e f t e r h v o r d a n o g h v o r f o r o ff e n t l i ge i n t e r v e n t ioner v i rker. S t i g e n d e i n t e r e s s e f o r d e antagelser ( p r o g r a m t e o r i e r ), s o m o ff e n t l i ge i n t e r v e n t ioner b ygger på. Ve d u n g ( ) F u n n e l l og Rogers (2011) P a ws o n & Ti l ley (1997), P a ws o n ( ), P a ws o n ( ) P e t e r D a h l e r - L a r s e n ( ).

11 Resultater i Google Scholar 90 Søgning på "programteori" Antal

12 Diskussion 3 min. med sidemand H v o r d a n v æ l g e r m a n d e n rette evalueringsmodel? E r e v i d e nsbølgen s l å e t m o d l a n d? H v a d b l i v er d e n næste bølge?