Innovativ evaluering og KAMmodellen. kontekst med afsæt i specifikke cases

Transkript

1 Innovativ evaluering og KAMmodellen i en kommunal kontekst med afsæt i specifikke cases Sund By Temadag om dokumentation og evaluering den 31. januar

2 Dagsorden 1. Et par ord om Innovativ evaluering en tilgang til evaluering 2. KAM-modellen og dens logik 1. Kontekster 2. Antagelser 3. Data 1. Hvad er data? 2. Hvilke data har vi behov for, for at kunne evaluere vores indsats?

3 Innovativ evaluering handler om At lave evalueringer, der faktisk kan bruges fremadrettet (improve frem for prove-evalueringer) At måle på det relevante Hvad ønsker vi at blive klogere på? (efterspørgsel) Hvordan vil vi anvende den viden? (reel efterspørgsel) At få evaluering til at blive en interessant og livgivende proces

4 Innovativ evaluering Er en evalueringstænkning og tilgang Er ikke en evalueringsmetode med klart beskrevne steps Har inddragelse af praktikere og medtagelse af kontekst som centrale temaer Har fokus på at gå fra evalueringsfærdigheder til evalueringskompetencer

5 KAM-modellen Enkel og praksisnær måde at arbejde med evaluering i hverdagen Er simpel men anerkender at verden er kompleks Vi medtager antagelser i afsættet for evaluering Vi forholder og til kontekster og mekanismer i evalueringen (hæmmere og fremmere) Forudsætter at der er en naturlig før-situation og efter-sitatuation med indsats og dataindsamling mellem

6

7 Mål Ofte taler vi om mål som forudsætning for at kunne følge op og evaluere Det kan være en udfordring at adskille mål og ydelse/aktivitet

8 Vision og mål Vision er udtryk for en fremtidig ønskværdig tilstand eller et forventet fremtidigt resultat skabt af vor organisation Målet er udtryk for operationaliseringen af drømmen

9 Dr. Martin Luther King Junior en drøm en JegJeg harhar formuleret række SMARTE mål

10 Jeg har en drøm Jeg har en drøm om, at en dag vil denne nation rejse sig og leve op til den sande betydning af sin trosbekendelse: Vi anser disse sandheder for selvindlysende, at alle mennesker er skabt lige'. Jeg har en drøm om, at en dag vil sønnerne af tidligere slaver og sønnerne af tidligere slaveejere kunne sidde sammen omkring broderskabets bord på Georgias røde bakker; jeg har en drøm Om at en dag vil selv staten Mississippi; en stat, der er ved at kvæles i uretfærdighedens hede, der er ved at gå til af undertrykkelsens hede, forvandles til en oase af frihed og retfærdighed; jeg har en drøm Om at min fire små børn en dag vil leve i en nation, hvor de ikke vil blive bedømt på deres hudfarve, men på, hvordan de er som mennesker; jeg har en drøm i dag. Jeg har en drøm om, at en dag nede i Alabama, med dens ondsindede racister, med dens guvernør, hvis læber drypper af tomme løfter om indgriben og ophævelse, en dag, netop her i Alabama, vil små sorte drenge og sorte piger kunne tage små hvide drenge og hvide piger i hånden som søstre og brødre; jeg har en drøm i dag. (Dr. Martin Luther King Jr. oversættelse i Garbers Høgel (1996))

11 Typer af mål Resultatmål Resultatmålet er udtryk for det egentlige mål der hvor det får reel betydning for kerneopgaven. Procesmål/ indsatsmål Procesmål er udtryk for den indsats, vi antager at vi skal i mål med, for at resultatmålet indfries.

12 SMARTE mål = SARTE mål S - Specifikke, således at alle er klar over, hvad der refereres til, og hvad målet vedrører A - Attraktive. Målet skal være vigtigt, interessant og relevant for alle R - Realistiske. Målet skal være realistisk, dvs. målet skal være inden for rækkevidde T - Tidsbestemte. Det skal være klart, hvor lang tid man ønsker at arbejde på at nå dette mål E - Evaluerbare. Det skal være klart, hvornår og hvordan man ønsker at følge op på sine mål. M - Målbare. Målet skal formuleres i målbare termer, så der let kan følges op på, om målet er nået Man kan ligeledes løbende måle indsatsens resultater og holde det op imod målsætningen

13 Antagelser Hvad tror vi der kommer til at virke for hvem under hvilke omstændigheder? Hvordan kan vi komme fra forestillinger til antagelser? Forestillinger er ideer og refleksioner Hypoteser er data- og vidensinformeret At arbejde med antagelser kan både foregå meget struktureret, ligesom det kan være en del af hverdagspraksis Antagelser bruges som afsæt for vores evalueringsspørgsmål og dermed den løbende dataindsamling, analyse og opbygning viden

14 Efterspørgsel og forsyning Hvad er det, vi gerne vil vide? (efterspørgsel) Hvordan skal den viden anvendes? (reel efterspørgsel)

15

16 Hvad virker? Datainformerede forklaringer af hvorvidt og på hvilken måde aktiviteten levede op til målsætninger Vi vender tilbage til data J

17 For hvem? Mekanismer er aktørernes holdninger og forestiller om indsats/projekt/praksis: Medarbejderens forståelse af deres profession Ledelse og kultur i organisationen Borgernes forståelse af det de deltager i Modstand Motivation

18 For hvem er forklaringer på: Hvilke mekanismer er blevet identificeret igennem data? Eksempelvis: Data peger på, at indsatsen giver større resultater for de familier, som har erkendt deres udfordringer og som er motiverede for at modtage støtte Data peger på, at medarbejderne udviser forskellig grad af tillid til og overbevisning om, at indsatsen kan lykkes med at understøtte målgruppe. Dette afspejler sig i resultaterne - der hvor samarbejdet er båret af høj tillid til og tro på målgruppen fungerer indsatsen bedst. Indsatsen er afhængig af en høj grad af indsigt i og forståelse for, hvad indsatsen indebærer. Data peger på, at der opstår store variationer ift. borgernes oplevelse af, om indsatsen er den rigtige for dem. Nogen efterspørger noget, som ligger uden for indsatsen, hvilket aktiverer frustration og dermed manglende motivation.

19 Kontekst Kontekst er de forudsætninger, som indsats/projekt/praksis lever i: Organisationens størrelse Socioøkonomiske forhold Borgersammensætning Personalesammensætning/anciennitet Lokalitet aktiviteterne foregår i: i offentligt rum/naturen/i virksomhed Fokus på hvad der virker, for hvem, under hvilke omstændigheder

20 Under hvilke omstændigheder: Eksempelvis: Der er borgere, der har vanskeligt ved at deltage pga. transportudfordringer/afstand til tilbuddet Der er forskel på organiseringen i de involverede afdelinger/kommuner. Organisering X synes at understøtte projektet, hvorimod organisering Y hæmmer på Z måde. Der viser sig store forskelle på den ledelsesmæssige opbakning til projektet Den høje medarbejderanciennitet og dermed store kendskab til målgruppen vurderes at være en fremmende faktor i indsatsen Der er store socioøkonomiske forskelle i de involverede områder. Der hvor borgersammensætningen er karakteriseret ved X påvirker det indsatsen på X måde. Den regionale sundhedsaftale (eller anden strategisk/politisk rammesætning) fungerer som baggrundstæppe for projektet, hvilket påvirker på X og Y måde

21 Kontekster og mekanismer kan hæmme eller fremme opnåelse af effekter i et projekt/en indsat Indsats

22 KAM-modellens logik Førsituation Indsats/projekt inkl. Dataindsamling Eftersituation

23 Data er Information i rå og uordnet form som refererer til eller repræsenterer betingelser, ideer eller objekter. Data er uden grænser og repræsenterer alt i universet. (Datainformed leadership, min oversættelse) Data er dermed: Observationer (ikke strukturerede og strukturerede) Registreringer og monitoreringer (eks. registreringer af hvor mange unge, der deltager i en særlig aktivitet) Undersøgelser, der har et spørgsmål og et svar Kvalitative (eks. interviews) Kvantitative (eks. APV/forældretilfredshedsundersøgelser) Ikke alt, der kan tælles, tæller, og ikke alt, der tæller, kan tælles. (Einstein)

24 Data er ikke Fortolkninger Holdninger Synsninger Vurderinger Analyser Vi har selektiv perception nogle af os har rosenfarvede briller, andre har tristhedsbriller på. Vi er ikke neutrale; der er følelsesladet indhold i informationer. Vi har derfor brug for systematiske teknikker til at blive i stand til at trække os tilbage fra hverdagens verden og virkelig være i stand til at se, hvad der foregår. Vi har brug for teknikker, der gør os i stand til at træde tilbage fra vores tendens til at have fordomme og forudfattede holdninger. (Waldick, min oversættelse)

25 Datahybriden Datatype Demografiske data Resultatdata Procesdata Perceptuelle data Forklaring Demografiske data er alle data, der refererer til demografi og socioøkonomiske forhold. Demografiske data er altså befolkningsbeskrivelser ift. sammensætning. Resultatdata referer til en indsats resultater. Resultatdata er dermed outcome-data, der siger noget om en ændring i eksempelvis viden, adfærd, kompetencer, motivationer, planer, praksis, policy eller økonomi. Data der er indsamlet undervejs i et projekt eller en indsats. Procesdata giver viden og indsigt om netop processen, altså hvilke aktiviteter der er gennemført Perceptuelle data er fastholdelse af perceptioner, altså observationer og indsamling af andres observationer og fornemmelser, holdninger og oplevelser.

26 Niveauer og datakvalitet NIVEAU 2 Data indsamlet bevidst, eks.: Billeder taget af specifikke situationer Løbende registrering og monitorering med bestemt formål Planlagte observationer med særligt fokus Interviews Kvantitative undersøgelser NIVEAU 1 Data indsamlet ubevidst over tid, eks.: Løbende observationer Billeder taget af aktiviteter Referater fra møder Bevidst Systematik er i indsamlingen af data (og analyse) Bevidste hypoteser Tydelig efterspørgsel på viden Ubevidst Systematik kommer efter dataindsamling (i analyse) Ingen bevidste hypoteser Ingen bevidst efterspørgsel på viden Højere datakvalitet på niveau 2 end niveau 1 Trickere af dataindsamling: Fornemmelse forestillinger

27 Kvalitative og kvantitative data Kvantitativ data Den kvantitative metode går ud på at indsamle et kæmpemateriale, så man kan aflæse sammenhænge og tendenser, kortlægge udbredelsen af folks holdninger eller finde ud af, hvor mange patienter der bliver syge af en særlig medicin. Hård data Kortlægning af at noget sker (deskriptive) Generaliserbarhed og testbarhed Viden i bredden Kvalitativ data Den kvalitative forskning undersøger man ikke udbredelsen af noget. Man forsøger i stedet at afdække mønstre i vores forståelse og praksisser og hvordan de hænger sammen med de situationer, de kommer frem i. Blød data Afdækning af hvorfor noget sker (elaborative) Realisme Viden i dybden Kilder: Harboe, 2006 og Hoffmann, 2013

28 Validitet Opstilling af en almen regel på baggrund af enkelttilfælde Overførbare resultater Generaliserbarhed enhed Realisme variation Laboratorium præcision Lukket undersøgelsesrum Konteksten lukkes ude Præcist og afgrænset felt Nuancer, detaljer Forskellige fortællinger Kontekster, mekanismer

29 At stille sig kritisk over for data

30 Indsamling af data Indsamling af relevant data Data, der allerede findes i organisationen (data warehouse) Data, der allerede findes uden for organisationen (forskning, medier, DS osv.) Data, der skal indsamles til at informere efterspørgslen af viden på hypoteser Kvalitativt Kvantitativt

31 Analyse Systematisk analyse med afsæt i hypoteser

32 Fra data til viden (processen i efter i KAM Data er ikke noget i sig selv men kan være afsæt for videre undersøgelse Data bliver information når nogen analyserer og opsummerer dem. Med andre ord er information data med mening, og det bliver til viden når informationen er sammenfattet og prioriteret. (Datnow og Park, 2014, min oversættelse)

33 Workshop Vælg hvilken af de tre cases, du ønsker at arbejde med: 1. Kompetenceudvikling af frontmedarbejdere 2. Proaktiv rekruttering og tidlig opsporing 3. Styrket sundhedsfremmeindsats i et afgrænset lokalområde Find sammen i mindre grupper 4-5 deltagere Arbejd med afsæt i casen FØR-skemaet i KAM-modellen Lav et evalueringsdesign beslut hvilken data der kan informere det, I har identificeret i FØR-skemaet Forhold jer til, hvordan I kan indsamle data, der sikrer at I kan svare kvalificeret på alle dele af EFTER-skemaet Drøft hvordan I vil håndtere at få udfyldt EFTER-skemaet Hvem skal involveres? Hvornår skal det gøres? Indlæg alle de forudsætninger, I har brug for i workshoppen er der noget I ikke ved, så find på noget med afsæt jeres egen praksis/viden

34 Bliv innovativ evaluator VIA og Ineva udbyder i samarbejde diplomforløb fra august års forløb 2 diplommoduler 2 eksaminer 10 ECTS point Kompetencer til at: Lede programmer, projekter og indsatser og understøtte dem frem imod størst mulig effekt Evaluere programmer, projekter og indsatser med fokus på hvad der virker for hvem under hvilke omstændigheder Omsætte viden fra evalueringer til innovation og udvikling i praksis Læs mere på ineva.dk/innovativevaluator eller ring på /skriv på msd@ineva.dk

35 Det var alt J Følg Ineva på LinkedIn Tilmeld dig Inevas nyhedsbrev