Evaluering Kolding 9. juni 2011 Professor Peter Dahler-Larsen, PhD Institut for Statskundskab Syddansk Universitet, Odense
Evalueringens Bermuda-trekant:
Evaluering Systematisk, metodisk Vurdering af Ide, gennemførelse, præstationer (output) og udfald (outcome) vedr offentlig indsats som Tænkes at spille i rolle i praktiske anvendelsessituationer
Situationsanalyse
Evaluering kan være mere eller mindre Designdrevet Teoridrevet Værdidrevet Forståelsesdrevet Problemdrevet Anvendelsesdrevet
Eksempler på anvendelser Vælge mest effektive behandlingsmetode Fremme intern udvikling af projekt (erfaringer undervejs, mail 10 maj s. 1) Ex via forbedret samarbejde Ex via øget tilpasning til brugeres ønsker, forventninger og behov Fremme basisorganisations læring Fremme overlevelsesmuligheder for projekt i fht eksterne parter Fremme vidensudvikling og læring i felt Sikre rapport til ministeriet (TS s. 5)
Situationsanalyse
Evaluability Assessment: Veldefineret indsats? Klare mål? Klar programteori? Ved man indsatsen er svagt implementeret? Data inden for rækkevidde? Veldefinerede beslutningstagere klar til at tage beslutning pga evaluering?
evalueringsmodeller Effektevaluering Brugerorienteret evaluering Participatorisk evaluering
effektevaluering Variansbaserede tilgange Hierarki af designs, hvor RCT er øverst Procesbaserede tilgange
Hvorfor procesbaseret tilgang? Variansbaseret analyse evt umulig pga Etik, politik eller praktiske forhold Ikke standardiseret indsats Ikke kontrolgruppe For sent Betydningen af kontekst Indsatsens karakter Kultur og institutioner Mening og engagement Der er manglende effekt. Hvorfor? Implementeringsfejl eller teorifejl?
Troværdighed i procesbaseret effektanalyse? En stor del af vores viden om kausale forhold er ikke baseret på eksperimentelle designs Vi drager faktisk seriøse konklusioner pba procesanalyser
Virkningsevaluering Holder programteorien? Programteorien = nogle begrundede forestillinger om, hvorfor denne indsats skulle have disse resultater for denne gruppe mennesker i denne situation
Med programteori kan vi : Formulere indsatsen præcist Indledende eval ved logisk/kritisk tænkning Præcisere virkningsmekanismer Styrke tiltro til indsatsen Hvilke dele af indsatsen virker Kvalificere outcome-mål Præcisere betydning af kontekst Skelne teorifejl/implementeringsfejl
Kilder til programteori Teori & forskning Faglig teori Organisationsteori Rapporter, evalueringer Observationer fra praksis Udsagn fra folk i marken Interaktive metoder
Principper i virkningsevaluering Problemet opstår fordi Velbeskrevet indsats (eks blød funktion?) Teori om hver fase (eks: hvad gør ernæringsepikrisen) aktør-verbum-ting, ting-verbum-aktør Nødvendighed og specificitet i empiriske tegn Outcome så logisk koblet som muligt til filosofien i indsatsen (eks tegn på god koordination)
Problemerne opstår fordi Der findes uhensigtsmæssige sygehuskontakter fordi Patientforløb her kan være dårligt koordinerede fordi
Principper i virkningsevaluering Problemet opstår fordi Velbeskrevet indsats (eks blød funktion?) Teori om hver fase (eks: hvad gør ernæringsepikrisen) Aktør-verbum-ting, ting-verbum-aktør Nødvendighed og specificitet i empiriske tegn Outcome pindet ud og logisk tæt koblet til filosofien i indsatsen (eks tegn på god koordination)
evalueringsmodeller Effektevaluering Brugerorienteret evaluering Participatorisk evaluering
Brugerorienteret evaluering iflg BIKVA-modellen
evalueringsmodeller Effektevaluering Brugerorienteret evaluering Participatorisk evaluering
Participatorisk evaluering Forskellighed Magtdistance Dybde Tid Styrbarhed
Situationsanalyse
Lidt mere om kontekst X Y
Z X Y
Moderator M Z X Y
Moderator Hvis M = 1, så X -> Y Hvis M = 0, så ikke: X -> Y M Z X Y
Moderatorer varierer pr def fra kontekst til kontekst Cross-section, geografisk, sektor osv. Over tid NB: moderatoren kan bringes til at variere eller ej hvilket har indlysende konsekvenser for programteoriens sandhedsværdi
Er man interesseret i Effekt? Programteori? Indsats? Moderator?
Fortsatte udfordringer Enkle modeller vs stor kompleksitet Flere indsatser, flere niveauer Systemiske og dynamiske effekter Kontekst betyder noget på tre måder For virkning For data For forestillinger om virkning (historisk, socialt) Sikkerhed i effektvurdering? Langt fra effektvurdering til brug af eval Effektspørgsmål vs værdispørgsmål