Evaluering. Kolding 9. juni 2011 Professor Peter Dahler-Larsen, PhD Institut for Statskundskab Syddansk Universitet, Odense

Transkript

1 Evaluering Kolding 9. juni 2011 Professor Peter Dahler-Larsen, PhD Institut for Statskundskab Syddansk Universitet, Odense

2 Evalueringens Bermuda-trekant:

3 Evaluering Systematisk, metodisk Vurdering af Ide, gennemførelse, præstationer (output) og udfald (outcome) vedr offentlig indsats som Tænkes at spille i rolle i praktiske anvendelsessituationer

4 Situationsanalyse

5 Evaluering kan være mere eller mindre Designdrevet Teoridrevet Værdidrevet Forståelsesdrevet Problemdrevet Anvendelsesdrevet

6 Eksempler på anvendelser Vælge mest effektive behandlingsmetode Fremme intern udvikling af projekt (erfaringer undervejs, mail 10 maj s. 1) Ex via forbedret samarbejde Ex via øget tilpasning til brugeres ønsker, forventninger og behov Fremme basisorganisations læring Fremme overlevelsesmuligheder for projekt i fht eksterne parter Fremme vidensudvikling og læring i felt Sikre rapport til ministeriet (TS s. 5)

7 Situationsanalyse

8 Evaluability Assessment: Veldefineret indsats? Klare mål? Klar programteori? Ved man indsatsen er svagt implementeret? Data inden for rækkevidde? Veldefinerede beslutningstagere klar til at tage beslutning pga evaluering?

9 evalueringsmodeller Effektevaluering Brugerorienteret evaluering Participatorisk evaluering

10 effektevaluering Variansbaserede tilgange Hierarki af designs, hvor RCT er øverst Procesbaserede tilgange

11 Hvorfor procesbaseret tilgang? Variansbaseret analyse evt umulig pga Etik, politik eller praktiske forhold Ikke standardiseret indsats Ikke kontrolgruppe For sent Betydningen af kontekst Indsatsens karakter Kultur og institutioner Mening og engagement Der er manglende effekt. Hvorfor? Implementeringsfejl eller teorifejl?

12 Troværdighed i procesbaseret effektanalyse? En stor del af vores viden om kausale forhold er ikke baseret på eksperimentelle designs Vi drager faktisk seriøse konklusioner pba procesanalyser

13 Virkningsevaluering Holder programteorien? Programteorien = nogle begrundede forestillinger om, hvorfor denne indsats skulle have disse resultater for denne gruppe mennesker i denne situation

14 Med programteori kan vi : Formulere indsatsen præcist Indledende eval ved logisk/kritisk tænkning Præcisere virkningsmekanismer Styrke tiltro til indsatsen Hvilke dele af indsatsen virker Kvalificere outcome-mål Præcisere betydning af kontekst Skelne teorifejl/implementeringsfejl

15 Kilder til programteori Teori & forskning Faglig teori Organisationsteori Rapporter, evalueringer Observationer fra praksis Udsagn fra folk i marken Interaktive metoder

16 Principper i virkningsevaluering Problemet opstår fordi Velbeskrevet indsats (eks blød funktion?) Teori om hver fase (eks: hvad gør ernæringsepikrisen) aktør-verbum-ting, ting-verbum-aktør Nødvendighed og specificitet i empiriske tegn Outcome så logisk koblet som muligt til filosofien i indsatsen (eks tegn på god koordination)

17 Problemerne opstår fordi Der findes uhensigtsmæssige sygehuskontakter fordi Patientforløb her kan være dårligt koordinerede fordi

18 Principper i virkningsevaluering Problemet opstår fordi Velbeskrevet indsats (eks blød funktion?) Teori om hver fase (eks: hvad gør ernæringsepikrisen) Aktør-verbum-ting, ting-verbum-aktør Nødvendighed og specificitet i empiriske tegn Outcome pindet ud og logisk tæt koblet til filosofien i indsatsen (eks tegn på god koordination)

19 evalueringsmodeller Effektevaluering Brugerorienteret evaluering Participatorisk evaluering

20 Brugerorienteret evaluering iflg BIKVA-modellen

21 evalueringsmodeller Effektevaluering Brugerorienteret evaluering Participatorisk evaluering

22 Participatorisk evaluering Forskellighed Magtdistance Dybde Tid Styrbarhed

23 Situationsanalyse

24 Lidt mere om kontekst X Y

25 Z X Y

26 Moderator M Z X Y

27 Moderator Hvis M = 1, så X -> Y Hvis M = 0, så ikke: X -> Y M Z X Y

28 Moderatorer varierer pr def fra kontekst til kontekst Cross-section, geografisk, sektor osv. Over tid NB: moderatoren kan bringes til at variere eller ej hvilket har indlysende konsekvenser for programteoriens sandhedsværdi

29 Er man interesseret i Effekt? Programteori? Indsats? Moderator?

30 Fortsatte udfordringer Enkle modeller vs stor kompleksitet Flere indsatser, flere niveauer Systemiske og dynamiske effekter Kontekst betyder noget på tre måder For virkning For data For forestillinger om virkning (historisk, socialt) Sikkerhed i effektvurdering? Langt fra effektvurdering til brug af eval Effektspørgsmål vs værdispørgsmål