Evaluering og dokumentation som et strategisk værktøj i kommunerne

Transkript

1 Evaluering og dokumentation som et strategisk værktøj i kommunerne Region Syddanmark 7. Maj 2008 Olaf Rieper Forskningschef i AKF Anvendt KommunalForskning

2 Disposition Begreber Forskellige former for evaluering Anvendelse af evaluering - strategier

3 Begreber dokumentation Alle metoder, som kan anvendes til at synliggøre forebyggelsesindsatser (KL 2008: Dokumentation af de kommunale forebyggelsesopgaver). Regelmæssig indhentning af oplysninger om indsatsers gennemførelse, præstationer eller effekter (monitorering). Med praktisk anvendelse for øje. Ofte internt monitoreringssystem.

4 Begreber evaluering Evaluering er en systematisk vurdering af gennemførelse, præstation og effekt af indsatser med henblik på praktisk anvendelse. Evaluering er ofte en enkeltstående undersøgelse. Evaluering har ofte som ambition at forstå/forklare sammenhænge mellem indsatsen, dens præstationer og dens effekter. Evaluering kan foretages både som intern og ekstern evaluering.

5 Forskellige former for evaluering effektevalueringer Effektevalueringer: fokus på virkninger på slutbrugerne (alle metoder tilladt). Raskijob: Indsatser for at forebygge og reducere sygdomme og mistrivsel og dermed sygefravær blandt medarbejdere i kommunernes ældrepleje. Randomiseret eksperiment design plus kvalitative interview. Strukturreformens betydning på handicapområdet: interview med udvalgte brugere, medarbejdere og ledere på tilbud inden for handicapområdet hvert år fra

6 Forskellige former for evaluering proces- og formativ evaluering Model Forklarende proces-evaluering Formativ evaluering Problemstilling Er aktivitetsniveauet tilfredsstillende? Er der implementerings-fejl? Gennemføres processerne som planlagt? Hvordan forbedres indsatsen under opbygning? Procesmonitorering Evalueringskriterium Indsatsen analyseres fra ide over beslutning og implementering Igangværende processer checkes mod processtandarder Sker der forbedringer under indsatsens udvikling

7 Forskellige former for evaluering eksempel på en formativ evaluering Projekt behandlerteam, Scleroseforeningen i Danmark ( ). Formål: 1) At udvikle samarbejdet mellem etablerede og alternative behandlere og 2) at sondere muligheder for at forbedre effekten af behandling for mennesker med MS. På basis af kundskaber om hinandens behandlingsmodeller arbejdes med kundskaber om hvilke behandlinger, der virker/ikke virker for brugerne. Behandlingsindsats sammensættes ift. den enkelte brugers behov og mål, med brugerindflydelse.

8 Metoder i projekt behandlerteam Dokumentariske metoder Behandlernes udfyldte IMKO-skemaer diskuteres på seminarer Patient-ejet vandrejournal Afrapportering fra visiteringsteam Dagsordener og referater fra behandler-forskerseminarer Spørgemetoder Spørgeskemaer til i alt 180 MmMS (5 skemaer over 18 måneder) Quality of life skema (FAMS) Kvalitative interviews med udvalgte MmMS (ca. med 60 personer) Interviews med behandlerne

9 Redskab til udvikling og evaluering af team-baseret behandling: IMKO-skema, som udfyldes af behandler for hver bruger Intervention Mekanismer Kontekster Forventede outcomes Opnåede outcomes

10 Fem perspektiver på anvendelse af evaluering (strategier) Det klassiske perspektiv Det nyklassiske perspektiv Det politiske perspektiv Det processuelle perspektiv Et indflydelses perspektiv

11 Det klassiske perspektiv: den instrumentelle strategi Evaluering skaber ny viden, der kan anvendes umiddelbart som et instrument typisk i relation til kontrol og læring. Betragter evaluerings- og anvendelsesproces som klart adskilte faser, anvendelse sker ex-post. Fokus er med andre ord på slutanvendelse. Opstiller anbefalinger for hvordan evaluering kan tilrettelægges så anvendelse fremmes. Bygger på rationel beslutnings- og organisationsteori.

12 Det nyklassiske perspektiv: den langsigtede kloge-strategi Tager ad notam at mange evalueringer ikke umiddelbart anvendes instrumentelt til kontrol eller læring. Ser på anvendelse som en mere generel og langsigtet proces: Konceptuel/begrebslig og oplysende anvendelse. Har - som det klassiske perspektiv - fokus på evaluering som kilde til ny viden samt på slutanvendelse.

13 Proces perspektivet: vi lærer ved at være med Fokus er på procesanvendelse, d.v.s. de former for anvendelse, der sker undervejs i evalueringsprocessen. Argumenterer for intern evaluering, deltagelsesbaseret evaluering samt formativ evaluering. Beslægtet med aktionsforskning, praksisforskning

14 Begreber for anvendelse af evalueringsresultater (Nutley et al 2007)

15 Det politiske perspektiv: de strategier undgår vi helst Evaluering som snæver interessevaretagelse Fokus på strategisk anvendelse (forsvar, angreb, legitimering og delegitimering) og taktisk anvendelse (syltekrukke) Evaluering som en proces, der dokumenterer allerede eksisterende viden.

16 Evalueringer kan have indflydelse: men uden at det handler om kundskaber fra evaluering Evalueringer har indflydelse gennem det sprog og design samt de værdikriterier de benytter sig af, snarere end gennem den viden der evt. fremkommer. Indflydelse er et videre begreb end anvendelse; inkluderer utilsigtede følger af evaluering, fx evalueringstræthed.

17 Fem gode råd Hvem skal evalueringen være relevant for: hvem forventes at anvende evalueringens resultater? til hvad? og hvornår? Fokus på proces eller effekt eller det hele? Kan eksisterende data anvendes? Skal nye data indhentes? Af hvem? Hvordan? Hvad kan gå galt?

18 Husk: vi laver evaluering om og med mennesker God fornøjelse med praksis! Tak for jeres opmærksomhed