Evaluering i praksis. Sund By Temadag om dokumentation og evaluering den 2. november. Ineva Innovativ Evaluering ineva.dk

Transkript

1 Evaluering i praksis Sund By Temadag om dokumentation og evaluering den 2. november

2 Hvad skal vi sammen de næste 1,5 time? Formål: Få viden om evaluering i hverdagen Få præsenteret og afprøvet et helt konkret redskab til evaluering i hverdagen Roller og rammer Jeg forklarer I afbryder og stiller spørgsmål Tid Vi har 1,5 time inkl. kaffepause

3 Dagsorden 1. Kort intro til Innovativ evaluering en tilgang til evaluering 2. Gode mål og hvordan vi laver gode mål 3. Antagelser som guidende for vores evaluering 4. KAM-modellen

4 Verdens første evaluering I Begyndelsen skabte Gud Himmelen og Jorden. Og Jorden var øde og tom, og der var Mørke over Verdensdybet. Men Guds Ånd svævede over Vandene. Og Gud sagde: "Der blive Lys!" Og der blev Lys. Og Gud så, at Lyset var godt, og Gud satte Skel mellem Lyset og Mørket, og Gud kaldte Lyset Dag, og Mørket kaldte han Nat. Og det blev Aften, og det blev Morgen, første Dag.

5 Et andet perspektiv På den syvende dag hvilede Gud sig og så på det gode han havde skabt. Hans ærkeengel kom til ham og sagde: Gud, hvordan ved du, at det du har skabt er godt? Hvad er dine kriterier i denne bedømmelse? På hvilket datagrundlag har du foretaget din vurdering? Er du ikke for tæt på hele situationen til at foretage en fair og upåvirket evaluering? Gud tænke på disse spørgsmål hele dagen og hans hviledag var derfor forstyrret. På den ottende dag sagde Gud til ærkeenglen Lucifer, go to hell.

6 Et krydspres Myndighed Evaluering Praksis

7 Innovativ evaluering handler om At lave evalueringer, der faktisk kan bruges fremadrettet (improve frem for proveevalueringer) At måle på det relevante Hvad ønsker vi at blive klogere på? (efterspørgsel) Hvordan vil vi anvende den viden? (reel efterspørgsel) At få evaluering til at blive en interessant og livgivende proces

8 Innovativ evaluering Er en evalueringstænkning og tilgang Er ikke en evalueringsmetode med klart beskrevne steps Har inddragelse af praktikere og medtagelse af kontekst som centrale temaer Har fokus på at gå fra evalueringsfærdigheder til evalueringskompetencer

9 Anvendelse og indflydelse Innovativ evaluering er optaget af at drive innovation af praksis Evalueringens indflydelse sker ikke kun efter men også undervejs i evalueringen Indflydelsen undervejs opstår igennem: Dobbelt-aktiviteter hvor man indsamler evalueringsdata og skaber forandring samtidig Løbende dialog og refleksion med praktikerne om evalueringens resultater

10 Evalueringskapacitet Realistisk evaluering Systemisk teori og praksis Yderligere praksis Yderligere teori INNOVATIV EVALUERING

11 Teoretisk fundament Systemisk teori og praksis: Paradigme og epistemologisk ståsted Bidrager med grundbegreber om menneskelig erkendelse, udvikling og interaktion Realistisk evaluering: Evalueringsmetodologi Bidrager med forklaringer på hvad der er relevant og muligt at vurdere i en evaluering, herunder kontekstens betydning Fokus på hvad der virker, for hvem, under hvilke omstændigheder Evalueringskapacitet: Bidrager med forståelse for, at uden en refleksiv og kompetent ramme for evalueringer, er der ikke mulighed for at drive innovation på baggrund af dem

12 Forandringspotentialet 15 Brugernes egne ressourcer Partnerskab ml. bruger og professionel Den anvendte metode 30 Forventning om forbedring Kilde: Vedung & Dahlberg, 2013

13 Evaluering som forstyrrelser (systemiske pointer) Innovativ evaluering er ikke objektiv Evaluering skal vise bredden af perspektiver Der skal skabes tilpasse forstyrrelser

14 Kontekst (Realistisk evaluering) Kontekst er de forudsætninger, som indsats/projekt/praksis lever i: Organisationens størrelse Socioøkonomiske forhold Borgersammensætning Personalesammensætning/anciennitet Lokalitet aktiviteterne foregår i: i offentligt rum/naturen/i virksomhed Fokus på hvad der virker, for hvem, under hvilke omstændigheder

15 Konteksten og forandringer 15 Brugernes egne ressourcer Partnerskab ml. bruger og professionel Den anvendte metode 30 Forventning om forbedring

16 Mekanismer/holdninger (Realistisk evaluering) Mekanismer er aktørernes holdninger og forestiller om indsats/projekt/praksis: Medarbejderens forståelse af deres profession Ledelse og kultur i organisationen Borgernes forståelse af det de deltager i Modstand Motivation

17 Mekanismer og forandringer 15 Brugernes egne ressourcer Partnerskab ml. bruger og professionel Den anvendte metode 30 Forventning om forbedring

18 Kontekster og mekanismer kan hæmme eller fremme opnåelse af effekter i et projekt/en indsat Indsats

19 Definition på Innovativ evaluering Innovativ evaluering er en refleksiv relationel proces, hvor kontekstbestemt viden om fortiden og nutiden anvendes til fremadrettede handlinger, der understøtter aktørerne i at skabe nye muligheder og forbedret praksis parallelt med, at eksterne krav om dokumentation opfyldes.

20 Mål

21 Mål Ofte taler vi om mål som forudsætning for at kunne følge op og evaluere Det kan være en udfordring at adskille mål og ydelse/aktivitet

22 SMARTE mål = SARTE mål S - Specifikke, således at alle er klar over, hvad der refereres til, og hvad målet vedrører A - Attraktive. Målet skal være vigtigt, interessant og relevant for alle R - Realistiske. Målet skal være realistisk, dvs. målet skal være inden for rækkevidde T - Tidsbestemte. Det skal være klart, hvor lang tid man ønsker at arbejde på at nå dette mål E - Evaluerbare. Det skal være klart, hvornår og hvordan man ønsker at følge op på sine mål. M - Målbare. Målet skal formuleres i målbare termer, så der let kan følges op på, om målet er nået Man kan ligeledes løbende måle indsatsens resultater og holde det op imod målsætningen

23 Andre huskeregler i formulering af mål Målet/målene skal være: Påvirkelig af indsatsen Relevant i forhold til kerneopgaven Adskilt fra indsatsen eller dele af indsatsen

24 SARTE mål giver mulighed for: at tilrettelægge en god proces, når målsætningerne for et projekt/borgerforløb skal fastlægges at nedbryde afdelingens/projektets overordnede målsætninger til målbare mål at sikre, at afdelingens/projektets mål er relevante for andre, f.eks. borgere og samarbejdspartnere at strukturere opfølgning og evaluering af afdelingens/projektets mål og resultater

25 Effekter: Resultater og virkninger Resultater: Resultater kan måles i umiddelbar forlængelse af et projekt Resultater kan måles på forskellig vis: Direkte gennem output (eksempelvis antal deltagere/oplevet tilfredshed) Igennem indikatorer (hvor indikatoren er et tegn på at effekten er opnået) Virkninger Er de langsigtede resultater af et projekt Har ofte en mere visionær karakter og kan typisk først identificeres forskudt af projektet

26 Gode/dårlige mål? 1. Projektet skal støtte de unge positive refleksioner over sundhed, herunder har sat fokus på deres egne mulighed og ressourcer 2. Projektet inddrager alle borgere i Bøgemarken 3. Indsatsen har som mål at skabe øget mental trivsel for borgerne i Bøgemarken, herunder at fremme trivsel, sammenhold og fællesskab 4. Der tilbydes rygestopkursus for mindst 100 rygere i området 5. Få præsenteret og afprøvet en helt konkret træningsform, som kan anvendes hjemme

27 Antagelser som guidende for vores evaluering

28 Antagelser Hvad tror vi der kommer til at virke for hvem under hvilke omstændigheder? Hvordan kan vi komme fra forestillinger til antagelser? Forestillinger er ideer og refleksioner Hypoteser er data- og vidensinformeret At arbejde med antagelser kan både foregå meget struktureret, ligesom det kan være en del af hverdagspraksis Antagelser bruges som afsæt for vores evalueringsspørgsmål og dermed den løbende dataindsamling, analyse og opbygning viden

29 Efterspørgsel og forsyning Hvad er det, vi gerne vil vide? (efterspørgsel) Hvordan skal den viden anvendes? (reel efterspørgsel)

30 Afprøvning af konkret evalueringsgreb KAM-modellen

31 K Kontekst A Antagelser M - Mekanismer Antagelser: Vi opstiller antagelser, som efterprøves i dataindsamlingen Antagelserne sætter retning Antagelserne justeres undervejs i evalueringen

32 KAM-modellen Enkel og praksisnær måde at arbejde med evaluering i hverdagen Er simpel men anerkender at verden er kompleks Vi medtager antagelser i afsættet for evaluering Vi forholder og til kontekster og mekanismer i evalueringen (hæmmere og fremmere) Forudsætter at der er en naturlig før-situation og efter-sitatuation

33 KAM-modellens logik Før-situation Indsats/projekt inkl. dataindsamling Efter-situation

34 Evaluering af kage Gennemførsel af øvelse på temadag

35 KAM-øvelse Gå sammen i grupper af 3-4 Udfyld før-skemaet med afsæt i følgende indsat: Spisning af kager i kaffepausen til temadag Gå til kaffepause og spis kage/kager Såfremt du ikke har lyst til at spise kage, så observer de øvrige deltageres oplevelse med at spise kagen Udfyld efterskemaet efter pausen Vi samler op i fællesskab

36 Spisning af kage til temadag

37 Spisning af kage til temadag

38 Det var alt Følg Ineva på LinkedIn Tilmeld dig Inevas nyhedsbrev