Fra regnskapspligt og resultatstyring til opbygning af evalueringskapacitet

Transkript

1 Fra regnskapspligt og resultatstyring til opbygning af evalueringskapacitet Professor Peter Dahler-Larsen, PhD Institut for Statskundskab, Københavns Universitet

2 Disposition Evalueringskapacitet i kontekst Forberedelse: Evaluability assessment Syv ledetråde Den organisatoriske side Anvendelse Opsamling: Tag med hjem

3 Evaluering i samfundet Begreb (eks kvalitet i skolen) Konstrueret Konstruerende Dokumentationspraksis

4 Evalueringsparadokset Undervisning er en vanskelig evaluand Uddannelse/dannelse Udførereffekt To-sidig! Lighed/forskellighed Svært at lave evaluering, der er Valid, relevant, accepteret, brugbar MEN Samfundet venter ikke på perfekt evaluering Viden er produktivkraft

5 Evaluering i samfundet Begreb (eks kvalitet i skolen) Konstrueret Konstruerende Dokumentationspraksis

6 Evaluering i samfundet Begreb (eks kvalitet i skolen) Konstrueret Evalueringskapacitet Konstruerende Dokumentationspraksis

7 Evaluability Assesment Er indsatsen veldefineret Hvilket problem er indsatsen rettet mod Er målene klare Er teorien om virkemiddel klar Er indsatsen implementeret Er data inden for rækkevidde Er nogen klar til at bruge evalueringens resultater

8 Ledetråde: Metodestyring er ofte overstyring Stil et spørgsmål, der kan besvares Fokuser på primær tilsigtet anvendelse Åbenhed over for eksperimenter Fra tavs viden til eksplikation Viden forudsætter organisering Giv aktiv ledelsesstøtte til evaluering

9 Pædagogisk indsats for mobbeofre Mobbeofre ved hvordan man siger fra Mobbeofre siger fra i konkrete situationer Pædagogisk indsats for mobbere Mobbere lærer at høre et nej Mobbere stopper når der bliver sagt fra

10 Virkningsevaluering Programteorien = nogle begrundede forestillinger om, hvorfor denne indsats skulle have disse resultater for denne gruppe mennesker i denne situation Kriterier er velvalgte ud fra teorien

11 Programteori om handleplan BST handleplan - Ledelse ændr - Pædag ændr - Ergon ændr Færre belastninger Færre sygedage pga belastninger

12 Typer af tegn Nødvendige (fravær falsicerer) Specifikke (tilstedeværelse bestyrker)

13 Eksempel: Når vi arbejder med konkrete cases i undervisning Vil de studerende opleve følgende De vil synes, det er sjovt De bliver aktive gennem diskussion Det vil give øget forståelse for relevansen af teori Det vil give følgende læringsresultater Men kun hvis Casene er kortfattede Alle er forberedt Læreren er trænet i case-undervisning Og læreren samler en konklusion op

14 Ledetråde: Metodestyring er ofte overstyring Stil et spørgsmål, der kan besvares Fokuser på primær tilsigtet anvendelse Åbenhed over for eksperimenter Fra tavs viden til eksplikation Viden forudsætter organisering Giv aktiv ledelsesstøtte til evaluering

15 Hvordan passer evaluering ind i organisationen? Høj specialisering Stærk ledelsesopbakning Svag ledelsesopbakning Lav specialisering

16 Undervisningsevaluering som del af et organisatorisk system Efterspørgsel efter evaluering Undervisningens målsætninger Ledelsesstøtte Faglighed Undervisningsevaluering Organisationsudvikling Kollegialt samarbejde og læringsfora

17 Den organisatoriske side Evalueringssystem Evalueringsportefølje Evalueringskompetence Evalueringsefterspørgsel Organisatorisk mainstreaming Strukturelle Kulturelle Kapacitetsopbygning: Planbaseret Praksisbaseret

18 Anvendelsesformer Kontrol (summativ) Læring (formativ) Oplysning Strategisk Taktisk Symbolsk Konstitutiv

19 Hvis evaluering skal bruges til læring: Hvem lærer team organisation Hvad Eksplicit problem: evalueringsmodel Eksplicit teori: f.eks om virkemidler Hvordan Læringsfora, f.eks supervision eller kvalitetscirkler Forbedrings- og udviklingsmuligheder Hvorfor Ledelsesmæssige og pædagogiske begrundelser Incitamentstrukturer f.eks via teaching portfolios

20

21

22 Anvendelse sker i kontekst af: Problemanerkendelse/definition Forandringspres Konfliktniveau Involvering, accept Evalueringskvalitet Nyhedsværdi

23 Tag syv ting med hjem Vær klar på problem Anvendelse kræver delagtiggørelse og viden Eksplikation! Minimale obligatoriske systemer: rygsæksyndromet Hjælp og sparring til mere Evaluering + organisation = kapacitet Meta-evaluer evalueringssystemet

24 Evaluering i samfundet Begreb (eks kvalitet i skolen) Konstrueret Evalueringskapacitet Konstruerende Dokumentationspraksis

25 Mere viden om evaluering Peter Dahler-Larsen: Evalueringskultur. Syddansk Universitetsforlag Peter Dahler-Larsen: The Evaluation Society. Stanford University Press Peter Dahler-Larsen: Kvalitetens Beskaffenhed. Syddansk Univ-forlag Peter Dahler-Larsen: Evaluering af projekter. Syddansk Universitetsforlag 2013

26 situationisme eksperimentalisme humanisme Evidens? variationisme systemisme mekanisme

27 Systematisk situationsanalyse værdier viden/ metode evaluering anvendelse evaluand