Findes den gode evaluering?

Transkript

1 1 Findes den gode evaluering? Fyraftensmøde i Dansk Magisterforening, 4. december 2014

2 Aftenens program Helt kort om mig og EVA Kendetegn ved en god evaluering Pause (30 minutter) Anvendelse af evalueringer 2

3 Kort om EVA Danmarks Evalueringsinstitut (EVA) er en selvstændig statslig organisation. EVA s formål er at udforske og udvikle kvaliteten inden for dagtilbud, skole og uddannelser, gennem evalueringer, analyser og redskaber. 3

4 EVA s områder EVA s fem områder dækker hele uddannelsessystemet. Området for dagtilbud Området for grundskole Området for ungdomsuddannelse Området for videregående uddannelser Området for voksen- og efteruddannelse Vores enhed for metode udvikler sammen med områderne evaluerings- og undersøgelsesdesigns og kvalitetssikrer EVA s anvendelse af samfundsvidenskabelige metoder.

5 En definition på evaluering Evaluation is an applied inquiry process for collecting and synthesizing evidence that culminates in conclusions about the state of affairs, value, merit, worth, significance or quality of a program, product, person, policy or plan. Conclusions made in evaluations encompass both an empirical aspect (that something is the case) and a normative aspect (judgments about the value of something). (Encyclopedia of Evaluation, egen oversættelse) )

6 Ingen evaluering uden vurderinger Empirisk aspekt Undersøgelse Normativt aspekt Empirisk aspekt Evaluering Vurderingsgrundlag/ evalueringskriterier

7 Evalueringsparadigmer (Foss-Hansen 2003, p. 24) Anskuelse: Paradigme: Evalueringsopgavens indhold Evalueringens organisatoriske og samfundsmæssige rolle Det analytiske fokus i evaluering Metode Evaluators rolle Positivistisk Beskrive, måle, vurdere og forklare Social ingeniørkunst med afsæt i kontrol af hidtidig indsats Adfærd og effekt Kvantitativ Neutral, distanceret observatør Hermeneutisk Forstå og fortolke processer, situationer og kontekster Bidrage til indsigt og oplysning Mening Kvalitativ Deltagende observatør Kritisk Problematisere Provokere, omvælte, ændre værdier Sociale, politiske mønstre Multiple vælges efter behov Aktivist Deltagelsesbaseret Udvikle praksis og problemløsning Empowerment Interessenters opfattelse af problemer og løsninger Selvevaluering, dialog, konfrontation og forhandling Proceskonsulent Pragmatisk Besvare spørgsmål, tilgodese informationsbehov Gøre en forskel, nytte afhænger af kontekst Problemstillinger, svar Multiple vælges efter behov Professionel

8 Et tydeligt formål med evalueringen En ledestjerne, der viser, hvorfor evalueringen er sat i verden. Den klassiske skelnen: Formative evalueringer Summative evalueringer Eksempler på mere konkrete formål: input til konkrete forandringer, mangel på viden, krav om evaluering, monitorering 8

9 Når kokken smager på suppen er det evaluering Når gæsten smager på suppen er det evaluering Suppe eksemplet Når kokken smager på suppen er det evaluering Når gæsten smager på suppen er det evaluering

10 Hjælp til afgrænsning af formål - Hvorfor stiller du lige netop disse spørgsmål? - Hvordan forventer du, evalueringen vil blive brugt? - Hvem skal have gavn af evalueringen? 10

11 Et godt og klart evalueringsspørgsmål er Velbegrundet du bliver nysgerrig på at kende svaret Hænger logisk sammen med formålet Præcist og velformuleret - du ved, hvilke svar og data, du skal være på jagt efter Logisk opbygget evt. med hovedspørgsmålet og delspørgsmål 11

12 Hjælp til formulering af spørgsmål Afsæt tid og engagement. Forhold dig udforende og kritisk til dine spørgsmål. Brug tjeklisten på forrige slide. Test evalueringsspørgsmål på brugere og interessenter 12

13 Et stærkt metodisk design Kalder dine spørgsmål på kvantitative eller kvalitative svar? Kvantitative metoder: afdække hvor mange der. Afdække hvilke faktorer der kan forklare et fænomen Undersøge om en indsats virker Kvalitative metoder: Udforske ukendte områder Forklaringer og uddybninger Identificere variationer Undersøge hvorfor, hvordan og under hvilke omstændigheder en indsats virker 13

14 Soliditet i dataindsamling og analyse Uden en god operationalisering er resten jo bare et sminket lig Sampling: repræsentativitet vs. variation Indsamle data Skabe orden i data Skabe mening i data 14

15 Formidling der passer til målgruppen Vend tilbage til dit formål - hvem skal bruge evalueringen og til hvad? Hvordan skal resultaterne formidles for at være brugbare for målgruppen? Er det nødvendigt med en rapport? 15

16 Anvendelse af evalueringer

17 5 typer anvendelse af evalueringer Instrumentel Konceptuel Interaktiv Legitimering Taktisk Evert Vedung ( 1997) 17

18 Intended use by intended users Evaluations should be judged by their utility and actual use; therefore evaluators should facilitate the evaluation proces and design any evaluation with careful consideration of how everything that is done, from beginning to end, will affect use Michael Q. Patton (2000) 18

19 Hvad påvirker om en evaluering bliver brugt? Diskuter med sidemanden Hvad har betydning for om en evaluering bliver brugt? Brug

20 Forskellige perspektiver på anvendelse Evaluering Anvendelse Anvendelse = evalueringens DNA 20

21 Strategier for anvendelse Spredningsstrategi: mere effektiv kommunikation fra evaluator til brugere Produktionsstrategi: højne evalueringens kvalitet og relevans Modtagerstrategi: gøre potentielle brugere mere modtagelige for anvendelse af evalueringer Evert Vedung ( 1997) 21

22 Udviklingsorienteret evaluering Mål = understøtte udvikling Evaluator er en del af teamet og bidrager med evalueringslogik Teamet samarbejder om at understøtte den ønskede udvikling

23 Eksempel: Det pædagogiske arbejde med børneperspektiver Pædagoger og ledere: lære, afprøve, udbrede til kollegaer EVA: facilitere proces, indsamle data, analysere, udbrede til pædagoger i hele Danmark, I fællesskab: udvikling af tilgangen 23

24 Traditionel evaluering Udviklingsorienteret evaluering Formativ: forbedre Summativ: teste, bevise, validere Fastsatte mål og metoder Designet er baseret på lineær kausalitet Producere generaliserbar viden Understøtte udvikling og tilpasning af indsatser Mål og metoder tilpasses undervejs Designet kan rumme komplekse non-lineære dynamikker Producere kontekst-specifik viden

25 Evaluators rolle Uafhængighed er afgørende Fokus på foruddefinerede kriterier og eksterne aktørers mål Fastlægger evalueringsdesignet Kontrollerer evalueringen En del af teamet Faciliterer og coacher læringsprocesser Fokus på udviklerne og deres ideer og behov Samarbejder med teamet om at designe evalueringen

26 Opbakning og ejerskab Spændene, engagerende og udviklende Evalueringer bliver levende Muligheder og udfordringer ved anvendelsesorienteret evaluering Opbakning og ejerskab Spændende, engagerende og udviklende Evalueringer bliver levende Krav til brugerne Risiko for udskiftning blandt brugere Ressource og tidskrævende Balancegang i forhold til evaluators uafhængighed 26

27 27