Hvorfor forsvinder meget godt og nødvendigt evalueringsarbejde i Bermuda-trekanten og er der noget at gøre ved det? KL s Sundhedskonference 2013 Professor Peter Dahler-Larsen, PhD Institut for Statskundskab Syddansk Universitet, Odense
Evalueringens Bermuda-trekant: Et effektspørgsmål
Evalueringens Bermuda-trekant: Et effektspørgsmål Forestilling om et optimalt design
Evalueringens Bermuda-trekant: Et effektspørgsmål Forestilling om et optimalt design Designet kan ikke lade sig gøre i virkeligheden
Almindelige problemer i evaluering Forsvinder i Bermudatrekanten Evalueringsrapport: store løfter bliver til proces er i gang Glat beskrivelse uden rå virkelighed
Sundhedsindsatser i dag: Observationer Sundhedssystemet specialisering, arbejdsdeling, tværfaglighed organisationalisering dynamik Patienter kultur og livsstil forventninger flere diagnoser Formål kvalitet sikkerhed hensigtsmæssighed
Komplekse interventioner Socialt kompliceret 3 4: Kompleks 2 1 Teknisk kompliceret
Den mest almindelige fejl i projektarbejde er at fokusere for snævert på projektets praktiske eller tekniske outcome Andersen 2008: 31
Ledetråde Metodestyring kan være overstyring Tænk evaluering tidligt Brug projektets hovedide som ressource i evalueringen At evaluere er at argumentere Tænk anvendelse tidligt
Evaluering kan være mere eller mindre Metodedrevet Teoridrevet Forståelsesdrevet Anvendelsesdrevet
Ledetråde Metodestyring kan være overstyring Tænk evaluering tidligt Brug projektets hovedide som ressource i evalueringen At evaluere er at argumentere Tænk anvendelse tidligt
Tænk evaluering tidligt Viden Organisering Indsats
Ledetråde Metodestyring kan være overstyring Tænk evaluering tidligt Brug projektets hovedide som ressource i evalueringen At evaluere er at argumentere Tænk anvendelse tidligt
Programteori om uddannelse af forældre til udsatte børn I Forældrene skal blive bedre til at reflektere
Programteori om uddannelse af forældre til udsatte børn II Uddannelse af forældre Forældre får redskaber de oplever som relevante Forældre bruger redskaber i familien Børn oplever ny forældreadfærd Børns situation ændres Undgå anbringelse og indlæggelse
Teori om forløbsprogram i lag Organisationens brug af forløbsprogram Udvikle, godkende, implementere, evaluere) Teori om forløbsprogram som virkemiddel Hvad kan aftaler og planer (arbejdsdel og koordin)? Teori om et givet forløbsprogram Indhold/Type af aftale/plan?
Virkemidler Formelt dokument med ansvarsfordeling Planer så som genoptræningsplaner Forløbskoordinatorer Tovholder Incitamenter Uformel koordinering Udførereffekter
I det nære sundhedsvæsen er standardisering vanskelig, fordi Indsats + udfører + sundhedssystem + borger + pårørende + miljø = resultat Indsats
Ledetråde Metodestyring kan være overstyring Tænk evaluering tidligt Brug projektets hovedide som ressource i evalueringen At evaluere er at argumentere Tænk anvendelse tidligt
situationisme eksperimentalisme humanisme Evidens? variationisme systemisme mekanisme
Argumentation og anvendelse: konflikt 2 4 1 3 forandringspres
Forudsigelse: Hvis mængden af indsatser stiger mindst lige så hurtigt som antallet af evidensbaserede indsatser, så fald stiger andelen af evidensbaserede indsatser ikke. Den dag, hvor alle betydningsfulde forandringer i det danske sundhedsvæsen baseres på evidens, indtræffer ikke på denne side af sommeren
Ledetråde Metodestyring kan være overstyring Tænk evaluering tidligt Brug projektets hovedide som ressource i evalueringen At evaluere er at argumentere Tænk anvendelse tidligt
Eksempler på anvendelser Fremme læring inden for projekt Vinde støtte i fht eksterne parter for at fremme projektets overlevelsesmuligheder Vælge mest effektive interventionsmetode Fremme vidensudvikling og læring i felt Monitorere evidensbaseret praksis Opdage bieffekter af evidensbaseret praksis Sikre rapport til ministeriet
Interessenter i evaluering Ministeriet Politikere Hospitals-ledelse Afdelinger Praktiserende læger Kommuner Personalegrupper Forløbskoordinatorer Andre regioner Design Finans Støt Implem Lære Modstand
Analyse Beslutning Implementering Evaluering
Beslutning Analyse Implementering Evaluering
Analyse Procesdesign og læringsramme Feedback Involvering Reaktion fra brugere Pilotprojekt Tilpasning Formativ evaluering Monitorering Udbredelse i større skala Drift Evaluering
Ledetråde Metodestyring kan være overstyring Tænk evaluering tidligt Brug projektets hovedide som ressource i evalueringen At evaluere er at argumentere Tænk anvendelse tidligt
Peter Dahler-Larsen: Kvalitetens Beskaffenhed, Syddansk Universitetsforlag 2009 Peter Dahler-Larsen: Evaluering af projekter og andre ting, som ikke er ting. Syddansk Universitetsforlag 2013 (på vej).