Guide til. Evaluering. - inspiration til det praktiske arbejde

Transkript

1 Guide til Evaluering - inspiration til det praktiske arbejde 2007

2 Baggrund og formål 4 Hvad er evaluering? 5 Evalueringsplan 6 Fase 1. Formål med evalueringen? 6 Fase 2. Organisering og ressourcer 7 Fase 3. Evalueringsspørgsmål 9 Fase 4. evalueringsmodeller 11 Fase 5. metodevalg 13 Fase 6. Kommunikation/formidling 14 Fase 7. implementering og opfølgning 16 Bilag: Generelle evalueringsmodeller 17 Her kan du læse mere 23

3 Baggrund og formål Esbjerg Kommune har vedtaget Politik for evaluering samt Retningslinjer og handleplan for evaluering, hvor sidstnævnte bl.a. indeholder en beskrivelse af en række etiske retningslinjer for arbejdet med evaluering, hvor hovedpunkterne omhandler: Ærlighed i evalueringsprocessen. Offentlighed og gennemskuelighed. Metodisk kompetence. Respekt for mennesker. Hensyn til kommunen som helhed. Guiden er tænkt som et opslagsværk til arbejdet med evalueringer og hjælp og inspiration til dig, der er leder af en skole, ældrecenter eller lignende og som arbejder med eller skal til at arbejde med evaluering. Det er en overordnet tværgående guide, som kan anvendes i alle kommunens forvaltninger. Herudover kan de enkelte fagforvaltninger have mere fagspecifikke redskaber til evaluering. Du er velkommen til at kontakte Udvikling & Evaluering, såfremt du har spørgsmål eller kommentarer til guiden eller behov for sparring i forbindelse med en konkret evaluering. 4

4 Hvad er evaluering? En evaluering foretages typisk ved ophøret af, eller undervejs ved implementeringen af en indsats eller et projekt. Evalueringen kan anvendes til at give indsigt i, hvordan et projekt eller indsats er forløbet, og hvilken effekt det/den har haft. En evaluering kan være alt fra et kort spørgeskema efter et møde eller kursus til en omfattende vurdering af en flerårig indsats. Som det fremgår af definitionen, er det særligt væsentligt, at evaluering sker for at skabe viden og læring, og at det sker på baggrund af systematisk indsamling af data og informationer. Ligeledes er det vigtigt at evaluering gennemføres med henblik på praktisk anvendelse. Esbjerg Kommune definerer evaluering på følgende måde: Evaluering er systematisk indsamling af informationer og data, der giver grundlag for at skabe viden om gennemførelse, organisering og virkninger af de indsatser, der er sat i værk for at påvirke forhold i kommunen Evaluering gennemføres med henblik på praktisk anvendelse, hvilket kan ske gennem formidling af resultater undervejs eller efter at evalueringen er gennemført. Evalueringer gennemføres for at skabe grundlag for læring og udvikling i organisationen. 1 1 Til vores begrebsafklaring af evaluering har vi bl.a. hentet inspiration i Håndbog i evaluering af Olaf Rieper m.fl. 5

5 Evalueringsplan Formålet med nedenstående evalueringsplan er at give et overblik og et styringsredskab i forhold til evalueringsarbejdet. Ved at gennemgå alle faserne i evalueringsplanen vil man automatisk komme igennem overvejelser, som er relevante i relation til enhver evaluering. Man behøver ikke nødvendigvis at følge faserne stringent, men tværtimod kan det være en god idé at hoppe lidt frem og tilbage i mellem faserne, når man forbereder og gennemfører sin evaluering. Dine overvejelser kan samles i et kommissorium/projektbeskrivelse. Evalueringsplan Fase 1. Formål med evalueringen? Fase 2. Organisering og ressourcer Fase 3. Evalueringsspørgsmål Fase 4. Evalueringsmodeller Fase 5. Metodevalg Fase 6. Kommunikation/formidling Fase 7. Implementering og opfølgning Fase 1. Formål med evalueringen? I denne fase er det først og fremmest vigtigt at gøre sig klart, hvad der skal evalueres samt hvad evalueringen skal bruges til og af hvem og hvornår. Afklaringen af evalueringens formål er meget vigtig og vil gøre det lettere at tilrettelægge resten af evalueringen. Man kan derfor med fordel overveje: Hvad er emnet for evalueringen? Hvilke spørgsmål vil evalueringen forsøge at besvare? Har man i evalueringen valgt at fokusere på bestemte emner/dele af projektet/ indsatsen frem for andre og hvorfor? Hvad skal evalueringen bruges til og af hvem? Hvad er det vigtigste at få noget at vide om ved hjælp af evalueringen? Hvad er konteksten (omgivelserne)? Formålet med evalueringen er i store træk enten kontrol/dokumentation eller læring. Kontrol/dokumentation sigter mod at undersøge, i hvilket omfang aftalte handlinger udføres. Et eksempel er udførelsen af rengøring i hjemmeboende ældres hjem. Støvsuger hjemmehjælperen med den frekvens og den kvalitet, som er foreskrevet? Et eksempel på dokumentation kunne være, at kommunen skal dokumentere i hvilken grad, kommunen nåede sit mål om, at 90 % af forældrene skulle være tilfredse med servicen i daginstitutionerne? Læring ser i denne sammenhæng på, hvorfor en given indsats virkede, og for hvem den har skabt læring, samt hvordan denne viden og erfaringer kan bruges til at forbedre praksis og opnå endnu bedre resultater (udvikling). Uanset evalueringens sigte og anvendelse er det Esbjerg Kommunes politik, at evalueringer skal gennemføres med en professionel og konstruktiv indfaldsvinkel med udvikling for øje. Formålet med evaluering bør derfor i høj grad ses som et redskab til at udvikle organisationer med fokus på de positi 6

6 ve elementer. Det kræver også, at der bliver handlet på baggrund af evalueringen. Eksempler på forskellige formål Vil man undersøge hvad (fx metoder) der virkede og ikke virkede i projektet? (Børn & Familie har fx evalueret forsøg med forskellige læringsstile i skolen). Vil man undersøge hvad interessen-terne har fået ud af projektet? (Fx undersøge om servicen er blevet bedre som følge af en given omlægning) Vil man undersøge hvad der gik godt/ galt i projektets forløb og design? (Teknik & Miljø evaluerer fx et forsøgsprojekt, som går ud på at nedbringe CO2 udslip i Guldager. Her er spørgsmålet bl. a., om informationskampagnen har virket eller hvorfor ikke, og om der er noget der kan justeres undervejs i projektet). Vil man undersøge tilfredsheden hos interessenterne/brugerne? (Borgerservicecentrene evalueres for at se om borgerne/interessenterne er tilfredse med servicen og den nye struktur). Hvilke andre aktører skal inddrages og hvordan? (fx brugerne, MED-system og politikerne). Hvis der er tale om en større evaluering, kan man med fordel organisere evalueringen som et projekt med en projektleder (leder og styrer projektet) og projektgruppe (nedsættes ad hoc i forhold til den konkrete evaluering) samt fx andre mindre arbejdsgrupper. Fordelen herved er bl.a., at der er en klar rollefordeling mellem hvem der gør hvad, og man vil herved være rimelig sikker på fremdriften i evalueringen. I Esbjerg Kommune kunne det fx være en forvaltning eller afdeling, der er projektleder, og Udvikling & Evaluering der deltager sammen med forvaltningen eller afdelingen i en projektgruppe. Herudover kan der trækkes ad hoc bistand fra eksempelvis Økonomi og Juridisk kontor. Fase 2. Organisering og ressourcer Her i anden fase af evalueringen er det en god idé at gøre sig nogle overvejelser om, hvordan evalueringen skal organiseres og hvilke ressourcer der er til rådighed. Organisering Man kan gøre sig følgende overvejelser: Hvem skal deltage og hvem skal gøre hvad? Hvem har hovedansvaret for gennemførelsen af evalueringen? Hvem kan anvende evalueringens resultater? (fx medarbejdere og forvaltninger). 7

7 Intern og ekstern evaluering Intern evaluering En intern evaluering gennemføres af medarbejdere i samme organisation, som er ansvarlig for den indsats, der evalueres. En intern evaluering kan også foretages af interne eksperter fra andre dele af organisationen (forvaltningen). Ekstern evaluering Ekstern evaluering varetages af medarbejdere fra en anden organisation (eksempelvis Udvikling & Evaluering) eller eksternt konsulentfirma. Evaluator ikke har haft medansvar for den indsats der skal evalueres. Kombination af intern og ekstern evaluering En kombination af intern og ekstern evaluering er også ofte anvendt, hvor fx en ekstern leverandør gennemfører bestemte dele af dataindsamlingen og analysearbejdet. Hvem skal gennemføre evalueringen? Såfremt man ikke selv har de nødvendige kompetencer i evaluering, kan det overvejes, om der andre steder i forvaltningen er erfaring. Der er også mulighed for at rekvirere hjælp fra en ekstern konsulent i eller udenfor kommunen. Alt efter hvem der laver evalueringen vil man skelne mellem, om det er intern evaluering eller ekstern evaluering. Væsentligste fordele og ulemper En intern evaluering er med egne kræfter og ressourcer: En fordel når der skal gennemføres en evaluering af selve gennemførelsen af en indsats, som skal bruges til videre implementering. Bedre oversigt over alle detaljer kan dog også være en hindring for at skabe sig et helhedsbillede. Stort udviklings- og læringspotentiale som bliver i organisationen. Mulighed for at arbejde ud fra eget værdigrundlag. En ekstern evaluering lægger opgaven over på andre hænder: Evalueringen er måske af en karakter, hvor der forventes en objektivitet, som man ikke selv kan levere. En ekstern evaluator har som regel godt kendskab til forskellige mulige evalueringsmetoder, men mindre kendskab til det pågældende felt med risiko for, at evalueringen bliver overfladisk. Brug af en ekstern evaluator kan give legitimitet. Ressourcer (tid, penge, energi, kompetencer) Det er også væsentligt at få et klart overblik over, om der er sammenhæng mellem forventninger til evalueringen og de ressourcer, der er til rådighed. Ofte vil en evaluering nemlig være mere ressourcekrævende end man lige forventede, og det er derfor vigtigt at få et klart overblik over tid, arbejdskraft og økonomiske ressourcer. Desuden er det vigtigt at gøre sig klart, om man har de fornødne kompetencer til rådighed, eller om

8 man måske skal have hjælp og sparring til at gennemføre evalueringen. Skab derfor overblik over: Antallet af timer og penge der er afsat til evaluering? Mængden af arbejdskraft fx også fra samarbejdspartnere. Tiden det tager at gennemføre evalueringen og de forskellige faser. Lav evt. et delbudget for evalueringens faser, så du ikke glemmer udgifter til fx trykning og forsendelse af spørgeskema, rykkerprocedure mv. Fase 3. Evalueringsspørgsmål På baggrund afklaringen omkring evalueringens formål og organisering er det nu tid til at fastlægge de evalueringsspørgsmål eller problemstillinger, som evalueringen skal give svar på. I denne fase skal de konkrete evalueringsspørgsmål bestemmes. Et evalueringsspørgsmål er et spørgsmål, som man ønsker at besvare gennem en systematisk indsamling og analyse af data. Et evalueringsspørgsmål angiver en problemstilling, der skal belyses inden for et givet fokusområde og er ikke nødvendigvis ordret et spørgsmål, der skal stilles til personer i evalueringen men typisk mere overordnet. For hver evaluering vil der i princippet kunne formuleres flere evalueringsspørgsmål. Det er derfor vigtigt, at formuleringen af evalueringsspørgsmål sker: Systematisk, således at man er bevidst om, hvilken type evaluerings-spørgsmål man stiller, og alle væsentlige aspekter er omfattet. Prioriteret, således at man kritisk spørger, hvad formålet er med et givent evalueringsspørgsmål og hvem, der skal bruge svaret. Eksempel på formulering af formål og mulige evalueringsspørgsmål: At introducere og udvikle et IT værktøj i folkeskolen og gøre eleverne bekendte med IT-værktøjet Formål Drivkræfter bl.a.: Dialog og samarbejde med skolens interessenter Implementering bl.a.: At udvikle undervisningsmidler i skoleåret Effekter bl.a.: At lærer og elever i udviklingsprojektets netværk opnår indsigt i beherskelse af simple IT værktøjer? Mulige evalueringsspørgsmål - Har erhvervsliv og myndigheder været tilfredse med projektets faglige indhold - Hvordan kan brugen af erhvervsliv og myndigheder styrkes i fremtidige projekter - Har de afsatte tidsmæssige ressourcer til kurset/introduktionen været tilstrækkelige? - Oplever lærerne i de respektive naturvidenskabelige fag, at de har haft tilstrækkelig indflydelse på at udvikle møder for anvendelsen af værktøjet? - Har lærerne fået indsigt i værktøjet, således at de kan anvendes det til at understøtte forløb hvor eleverne anvender IT værktøjet

9 Model til at formulere spørgsmål og mål Ovenfor er vist en model, som handler om at formulere mål og gøre målene konkrete og handlingsorienterede. Det kan gøres ved at nedbryde evalueringsspørgsmålene i aktiviteter, succeskriterier, indikatorer og målemetoder. Fordelen ved at anvende modellen er at: Den klargør de enkelte elementer af en indsats. Den giver et skematisk billede af, hvordan de enkelte aktiviteter spiller sammen. Den viser sammenhængen mellem de aktiviteter, der sættes i værk og de forventede resultater. Den hjælper med til at identificere de vigtigste spørgsmål, en eventuel måling skal give svar på. Den identificerer de områder, der skal måles på. Den definerer de succeskriterier, som der skal tages ansvar for. Overordnet mål: Fx Én indgang for borgeren til det offentlige Evalueringsspørgsmål Det betyder, at Aktiviteter Det vil vi gøre, ved at Succeskriterier Det er succes, når Indikatorer Jeg kan se det, når jeg kigger på Målemetoder Jeg vil måle det ved at Siger noget om; - Hvad tænker vi på når vi tænker på vores overordnede mål. - Det betyder, at.. - Indkredser situationer, hvor man arbejder med målet. Indsatser/ metoder/ beskriver - Hvordan gør vi så? - Hvad vil vi konkret gøre for at opnå målet i den givne situation? Beskriver helt konkret, hvad man vil have der skal ske. Succeskriterierne forholder sig til målene. Hjælper med at indkredse, hvordan man så kan måle, om man har fået succes. De relaterer sig direkte til succeskriterierne. Her vælger man den eller de metoder, man vil bruge til at samle data ind og altså lave sin konkrete måling hvis det er aktuelt at lave en måling. Eksempel: a. Oplever borgeren at han kan henvende sig ét sted om hvad som helst, som har med det offentlige at gøre Eksempel: a. Det skal afklares, hvilke konkrete ting, der kan løses i borgerservice. Eksempel: a. At borgeren får løst de henvendelser, de kommer med eller bliver relevant henvist. a. At borgerne er tilfredse m.fl. a. Borgerservice bruges som den første indgang Eksempel: a. Borgeren må opleve max 2. trin i henvendelse. a. Borgeren kommer ikke igen med samme opgave. a. X procent af henvendelserne løses umiddelbart Eksempel: a. Registrere antallet af trin i henvendelsen a. Spørge borgeren om vedr. skal henvende sig flere gange med samme opgave. 10

10 Fase 4. Evalueringsmodeller I de tidligere faser har man bl.a. fundet ud af hvad formålet med evalueringen er, og hvilke spørgsmål evalueringen skal give svar på, og det er derfor tid til at fastlægge en evalueringsmodel. En evalueringsmodel er et redskab til at systematisere evalueringen med og vejleder desuden i, hvordan man træffer de valg, som et evalueringsforløb indebærer. Det er vigtigt at vide og være opmærksom på, at der ikke er én måde at evaluere på, men mange. Det gælder derfor om at foretage et bevidst valg mellem de forskellige typer af evalueringer, der er til rådighed. Evalueringsmodeller og metoder Der skelnes typisk mellem to overordnede typer af evalueringer: Karakteristik Sigtepunkter Typiske data og metoder Summative/Hårde evalueringer Fokus på præstationer og effekter Tilstræbes at være objektive, neutrale og uafhængige af aktørerne Ofte kontrolorienteret med fokus på vurdering af effekter og resultater Typisk kvantitative metoder som handler om at skaffe informationer ved hjælp af tal (fx spørgeskema) Formative/Bløde evalueringer Bruges til at forbedre og færdigudvikle en indsats, med fokus på processen Evalueringen søger at give feedback, og få indflydelse på udviklingen undervejs via feedback Ofte læringsorienteret anvendelse Vurderende og bløde evalueringer med fokus på implementerings- og udviklingsprocesser Typisk kvalitative metoder som handler om at skaffe informationer ved hjælp af ord (fx interview) 11

11 I denne vejledning er valgt at beskrive følgende modeller som kan ses i nedenstående oversigt. det er for en model, hvornår den med fordel kan anvendes og hvordan den kan anvendes. I bilaget kan du læse mere om de enkelte modeller, hvor der er en beskrivelse af hvad Evalueringstyper Hovedfokus Fordele ved modellen Effektevaluering Målopfyldelses-evaluering Virkningsevaluering Bruger-evaluering (eks. BIKVA-model) Kompetence-evaluering Selvevaluering Vurdere om den opnåede effekt svarer til den forventede. Effektevaluering (eller resultatevaluering) er en afsluttende bedømmelse af indsatsens effekt. Er indsatsens mål opfyldt. Modellen anvendes oftest i forbindelse med kontrol og dokumentation af en bestemt ydelse eller indsats. Modellen er udviklet med henblik på at sikre systematisk indsamling af viden om sammenhænge mellem indsats, processer og resultater. Udgangspunkt: Forestillinger om hvad der virker for hvem, hvornår og under hvilke betingelser. Brugernes vurdering af indsatsen Modellen er en proces til kvalitetsudvikling, der inddrager medarbejderne i udviklingen af nye idéer og strategier for opgavevaretagelsen. I selvevalueringer foretager deltagerne en kritisk evaluering af indsatser ( det vi gør ) og resultater ( det vi opnår ), sådan at der opnås et samlet og afstemt billede af styrker ( hvor vi præsterer godt ) og forbedringsområder ( hvor kan vi blive bedre ). Vil kunne bidrage med retningsgivende viden om hvad der virker og dermed medvirke til en forbedret indsats. Kan evt. danne baggrund for evidensbaseret viden. Er god til at dokumentere om fx en kommune lever op til opstillede mål. Evalueringen giver bl.a. indsigt i, hvordan en indsats konkret fungerer, og dermed hvad der er årsag til evt. effekter. Vurderingen af hvad der virker sker med inddragelse af aktørerne Da brugerne er indsatsens målgruppe, er deres vurdering vigtig. Kobler systematisk metodeudvikling og evaluering, og kan i princippet foregå på medarbejdermøder. Stort udviklings og læringspotentiale i organisationen. 12

12 Fase 5. Metodevalg Nu er det tid til at få taget stilling til valg af metoder. Grundlæggende sondres der mellem kvalitative og kvantitative metoder til at skaffe sig informationer. Kvantitative og kvalitative metoder kan bruges hver for sig, men det vil ofte vil være en fordel af kombinere metoderne for herved både at få bredde og dybde i undersøgelsen. Kvantitative metoder Med kvantitative undersøgelser foretages en måling, som ofte består af tal. Det kan enten være tal man selv samler sammen, eller data man får andre steder fra fx nøgletal, registerdata, statistikker o.l. Ved brug af statistiske analyser (f.eks. beregning af gennemsnit) udledes det, hvad resultaterne viser om problemstillingen. Resultaterne kan fx illustreres med tabeller og diagrammer. Kvalitative metoder Kvalitative undersøgelser er velegnede til at skabe viden om menneskers subjektive synspunkter. Kvalitative metoder lader personerne tale med egen stemme og på egne præmisser. Gennem kvalitative undersøgelser kan man opnå en helhedsforståelse og gå i dybden med en problemstilling. Man kan få viden om, hvordan begivenheder, handlinger mv. er blevet opfattet af og har påvirket de adspurgte. Kvalitative undersøgelser kan således være værdifulde til at skabe forståelse for årsagssammenhænge. Metoderne vil ofte lægge vægt på fortolkning og indlevelse. Herunder er en skematisk præsentation af de to metoder: Formål Fokus Kvantitativ metode At komme i bredden Repræsentativt overblik over generelle forhold Fokus på generelle tendenser og statistiske sammenhænge Kvalitativ metode At komme i dybden Helhedsforståelse af specifikke forhold Fokus på meninger, sociale mønstre, forstå-elser og kompleksitet og nuanceret måde Formidling Tabeller med tilhørende forklarende tekst Fortællende stil, illustration ved brug af citater Undersøgelsesmetode Datamateriale Potentiale Spørgeskema Statistisk materiale Hårde data Problemfeltet er fastlagt Relevante data fastlægges på forhånd Respondenter er et repræsentativt udsnit Skaber overblik Mulighed for at udlede generelle tendenser Mulighed for at af- eller bekræfte Interview (enkeltperson el. fokusgruppe) Deltagerobservation Casestudier Logbog Bløde data Behov for at dataindsamling udvikles undervejs Respondenter er nøglepersoner Plads til refleksion og dybde Mulighed for analyse af komplekse sammenhænge Mulighed for løbende at udvikle og revidere sin forståelse 13

13 Fase 6. Kommunikation/formidling I denne fase bestemmes hvem evalueringens resultater skal formidles til. Som det kan ses i nedenstående figur, er der mange forskellige måder at præsentere sine resultater på, og det er hele tiden vigtig at gøre sig tanker om, hvad præsentationen skal gøre for modtagere. Andet PowerPoint Rapport Faglig artikel Hvad skal det gøre for modtagere DVD Tal og grafer Bog med små historier For at interessenterne føler ejerskab til evalueringen og resultaterne, er det vigtigt, at der bliver kommunikeret rigtigt. Esbjerg Kommune lægger derfor også stor vægt på, at der foregår en god og relevant kommunikation på alle niveauer i organisationen, herunder fx til: Relevante medarbejdere. MED-systemet. Din forvaltning eller andre forvaltninger fx i form af nyhedsbrev. Pressen. Borgerne eller brugerne. Politikere. Generelt er der mulighed for både mundtlig og skriftlig formidling. Hvor mundtlig formidling især egner sig til hvis undersøgelsen skal præsenteres for en større personkreds, som ikke kan forventes at have tid eller fornøden interesse i undersøgelsen til at læse en længere rapport. Et eksempel herpå kunne være en institution, der indkalder brugerne til et informationsmøde hvor der orienteres om resultater, og det forklares, hvilke initiativer institutionen vil tage for at anvende og imødekomme brugernes tilkendegivelser. Skriftlig formidling giver mulighed for en detaljeret og dækkende gennemgang af undersøgelsens baggrund, metode og resultater. Som regel bør der udarbejdes en rapport, som beskriver undersøgelsens elementer. Rapporten der bør være så præcis, struktureret og kort som mulig kan fx indeholde en beskrivelse af: 14

14 Oversigt over rapportskabelon 1. Resumé Hvis der er tale om en længere rapport er det en god idé med et kort resumé med evalueringens resultater og konklusioner samt evt. indstilling. Skal kunne læses som en selvstændig tekst. 2. Indledning Kort introduktion til rapporten - Baggrund for evalueringen? - Hvad er det for en indsats/projekt som evalueres? - Hvordan er rapporten opbygget? (læsevejledning) 3. Metodevalg Beskrivelse af metodemæssige overvejelser fx vedr. valg af evalueringsmodel, metodevalg og overvejelser i denne forbindelse samt beskrivelse af andre til og fra valg i evalueringen. 4. Analyse/gennemgang af resultater af resultaterne fx med visuel præsentation af grafer, billeder eller lignende 5. Opsamling, konklusioner 6. Implementering Evt. forslag til hvordan resultaterne skal implementeres i organisationen hvordan og hvornår m.v. 15

15 Fase 7: Implementering og opfølgning Vurdering, implementering og opfølgning af resultaterne fra en evaluering er et sidste men et meget afgørende led i kredsløbet. Når der igangsættes en evaluering, er det vigtigt, at der følges op på resultaterne.institutionen skal bruge evaluering til at følge op på de aktiviteter, der er igangsat, og vurdere hvilke der skal fortsætte, hvilke der skal følges op af nye aktiviteter, og hvilke der skal stoppes. Det er vigtigt, at resultaterne bruges til at justere arbejdet eller indsatsen med, så evalueringen bidrager til institutionens udvikling. Implementering betyder, at: Komme fra ide til adfærd. Omskrive tanke til handling. Omskrive hvad til hvem, hvordan, hvornår. Afslutte en sag. Fuldføre. Denne fase handler derfor om de handlinger der sættes i gang som følge af evalueringen, og er vigtig for om resultaterne af evalueringen overhovedet kommer til at gøre nogen forskel, eller om rapporten eller hvad det nu måtte være, bare ligger og samler støv på hylden. men der handles ikke derefter. Det kan føre til en dårlig stemning i stedet for udvikling, som jo er formålet. Man kan med fordel lave en handlingsplan over, hvad der skal ske og hvem der skal involveres. Handlingsplanen kan evt. opdeles i hvad der skal ske på kort sigt og som måske er lige til at gå til, samt i hvad der skal ske og følges op på, på lidt længere sigt. Anbefalinger til en succesfuld implementering og opfølgning: Transformer gamle styrker og kompetencer til nye. Lav en god tidsplan med milepæle for implementeringen (evt. på kort og lang sigt). Sørg for en stærk og visionær kommunikation. Gennemfør en løbende dialog om processens forløb. Få skabt et overblik over hvem der skal stå for implementeringen og opfølgningen. Følg løbende op på målene i handlingsplanen. Skab synlighed om de løbende resultater. Hvis der ikke følges op på evalueringen, kan det virke direkte demotiverende, særligt i de tilfælde hvor de ansatte har været involverede i evalueringen. Det er blevet konstateret at noget bør gøres anderledes, 16

16 Bilag Generelle evalueringsmodeller I dette bilag er en introduktion til seks generelle evalueringsmodeller. Effektevaluering Hvad? Effektevaluering (eller resultatevaluering) er en afsluttende bedømmelse af indsatsens effekt. Indsatsens mål Blev de forventede resultater nået? Har andet end den planlagte indsats påvirket resultatet og hvordan kan evt. afvigelser fra de planlagte aktiviteter forklares? Hvordan forklares evt. negative resultater? 2 Hvornår? Formålet vil typisk være at vurdere, om den opnåede effekt svarer til den forventede. Et særligt problem herved kan være, at der ofte er tale om langsigtede effekter, som ikke eller vanskeligt lader sig måle ved indsatsens afslutning. Hvordan? I effektevalueringer anvendes ofte kvantitative metoder som spørgeskema eller indsamling af anden statistisk materiale (fx nøgletal) som kan bearbejdes statistisk, men man kan også med fordel kombinere kvantitative metoder med kvalitative. Planlægning af evalueringsprocessen Hvilke evalueringsspørgsmål skal der måles på? Valg af metode og gennemfør dataindsamlingen. Analyser på data. Hvordan virkede indsatsen, sammenlignet med projektets mål Vurder udbyttet af indsatsen og om indsatsen har ført til andre (ikke planlagte) effekter, fx om indsatsen har påvirket andre målgrupper end de planlagte og evt. hvordan? 2 Læs mere om Effektevaluering: Hanne Kathrine Krogstrup, Evalueringsmodeller,

17 Målopfyldelses-evaluering Hvad? (se figur) I modellen stilles spørgsmålene: 1) Stemmer udfaldet overens med de oprindelige mål? 2) Og hviler det i så fald på indsatsen? Modellen forholder sig fx til, at politikere har et nødvendigt og legitimt behov for at kontrollere, om administration og frontmedarbejdere lever op til politikernes målsætninger. De relevante mål kan dog også være formuleret på lavere udførende niveauer fx på et ældrecenter. Hvornår? Modellen anvendes når der er forholdsvis klare mål bag indsatsen. Modellen anvendes ofte, når anvendelsen af evalueringen er af kontrollerende og dokumenterende art. Hvordan? En køreplan for denne model kan se ud som følger: Hvem skal inddrages i evalueringsarbejdet? Det vil typisk være opdragsgiver eller den, der har bestilt evalueringen. Stemmer de opnåede resultater overens med målene for indsatsen? Indsats? Kobling? Opnåede resultater i målområdet Valg af metode Her kan både vælges kvantitative og kvalitative metoder. Valg af metode bør dog altid afhænge af evalueringsspørgsmålet. Analyse og afrapportering Hvad? Målene sammenlignes med de indsamlede data, og det konkluderes om målene er indfriede. 3 Målsætninger identificeres og evalueringsspørgsmålet formuleres og præciseres Hvis målene er uklare, kan det i nogle tilfælde være nødvendigt, via de involverede aktører/politikere mv., at spørge sig frem til, hvad målene er. Målene præciseres Når målene er fundet skal de præciseres. Hvilke tegn eller indikatorer kan indikere, om målet er indfriet? 3 Læs mere om evaluering af mål (mål-opfyldelseseveluering): Peter Dahler-Larsen, Selvevalueringens hvide sejl,

18 Virkningsevaluering Hvad? Modellen tager udgangspunkt i forestillingerne om, hvorfor en indsats virker (årsagvirkningssammenhænge). Spørgsmålet er: Hvad er det der virker for hvem hvornår og under hvilke betingelser? Modellen er en test af, hvorvidt en indsats faktisk omsættes til de resultater, man forventede (se figur). Hvad virker for hvem, hvordan og under hvilke betingelser? Indsats? Kobling? Kontekst/betingelser Resultater I modellen evalueres både processen og effekten. Processen gennemgås trin for trin for at undersøge, om alle elementer i indsatsen havde den forventede effekt. Endvidere undersøges det, om indsatsen som helhed havde den forventede effekt. Modellen bygger således bro mellem effekt og proces. at gængse og tilsyneladende rigtige forestillinger ikke stemmer i praksis. Hvornår? Man skal vælge modellen, hvis spørgsmål om virkning er afgørende. Hvordan? Afklaring at evalueringsspørgsmålet Kildesøgning Find kilder, der beskriver de forventede sammenhænge. Afklaring af, hvilken forventet sammenhæng mellem årsag og virkning, der ligger til grund for indsatsen Metodevalg Både kvalitative og kvantitative metoder kan anvendes til at belyse sammenhæng mellem årsag og virkning. Analyse og konklusion Er indsatsen blevet korrekt implementeret? Er resultaterne indtruffet - hvorfor/hvorfor ikke? Skal indsatsen fortsætte/nedlægges/ justeres? 4 Med modellen arbejder man med at teste forestillinger om, hvordan indsats og effekt hænger sammen. Man kan således bekræfte en forestilling om, hvilken indsats der giver bestemte resultater. Eller man kan vise, 4 Læs mere om evaluering af virkninger (virkningsevaluering): Dahler-Larsen, P. & Hanne Kathrine Krogstrup, Nye veje i evaluering,

19 Brugerevaluering (eks. BIKVA modellen) Hvad? BIKVA står for Brugerinddragelse I KVAlitetsvurdering Karakteristika for BIKVA-modellen - Problemstillingerne defineres af brugerne. - Indsatsen vurderes af brugerne på baggrund af egne oplevelser. - Relevante interessenter forholder sig til brugerens udsagn. - Modellen bidrager til løbende dialog og udvikling. Hvornår? Den grundlæggende tanke bag BIKVA-modellen er at brugerne besidder en viden, der kan være med til at kvalitetsudvikle den offentlige indsats - med særlig henblik på det udførende led. brugernes udsagn. Brugernes oplevelse drøftes. Hensigten er, at frontmedarbejderne skal reflektere over egen praksis og samtidig kan eksempelvis bidrage med at identificere væsentlig lovgivning samt vigtige aktører. Gruppeinterview med ledelsen Udsagn fra gruppeinterview med brugere og frontmedarbejdere forelægges ledelsen. Frontmedarbejdere og brugeres oplevelse drøftes. lnddragelse af det politiske niveau Udsagn fra gruppeinterview med brugere, frontmedarbejdere og ledelse kan forelægges det politiske niveau med henblik på at få en politisk vurdering af udsagn og problemstilling. Politikerne kan på baggrund af de fremlagte oplysninger beslutte, at nuværende praksis skal fortsætte/ændres. 5 Hvordan? Der gennemføres en række fokusgruppeinterview. Indholdet af interviewet kan opsamles i enten et referat eller i en række udsagn, der danner udgangspunkt for udarbejdelsen af en interviewguide til brug ved de efterfølgende fokusgruppeinterview. Gruppeinterview med brugere Modellen indledes med gennemførelsen af et gruppeinterview, hvor 4-6 udvalgte deltagere gør rede for deres oplevelse af indsatsen. Hvad er positivt, og hvad er negativt? Gruppeinterview med frontmedarbejdere Frontmedarbejderne konfronteres med 5 Læs mere om BIKVA-modellen (brugerinddragelse i evaluering), Hanne Kathrine Krogstrup, Evalueringsmodeller, 2006 og Dahler-Larsen, P. & Hanne Kathrine Krogstrup, Nye veje i evaluering,

20 Kompetence-evaluering Modellen er en proces til kvalitetsudvikling, der inddrager medarbejderne i udviklingen af nye idéer og strategier for opgavevaretagelsen. Hvad? Hensigten med gennemførelsen af en kompetence-evaluering er at styrke medarbejdernes kompetencer i forhold til opgavevaretagelsen. Formålet er samtidig at skabe ejerskab og engagement. Hvornår? Modellen kan bidrage til at fremme en organisationskultur, der styrker evnen til vedvarende forandring og læring. Formen er velegnet til anvendelse i institutioner med 5-20 medarbejdere. Det er en meget simpel evalueringsmodel, der kan anvendes som løbende selvevaluering og metodeudvikling. Hvordan? Udvikling af delmål for institutionens arbejde. Medarbejderne inddrages i formuleringen af institutionens mål. Hensigten er, at deltagerne kender deres arbejdsområde og roller og får nye idéer til, hvordan opgaverne kan løses. Styrker og svagheder i forhold til de definerede delmål Der udarbejdes en oversigt over eksisterende aktiviteter, og medarbejderne inddrages i en prioritering af, hvilke aktiviteter der er nøgleaktiviteter i forhold til de opstillede delmål. Der fastlægges detaljerede delmål i tilknytning til nøgleaktiviteterne - En strategi til indfrielse af delmålene fastlægges, og det defineres, hvordan resultaterne skal dokumenteres. - Hvilke delmål ønskes opnået? - Hvilke strategier/indsatser er nødvendige for at opnå målene? - Hvordan skal vurdering og dokumentation foregå? Opfølgning/evaluering I medarbejder-evaluering sker der en løbende opfølgning i forhold til resultaterne. Brugerinddragelse Brugerperspektivet kan eksempelvis bruges i følgende situationer: Hvis evalueringen har til formål at styrke brugerindflydelsen, er det oplagt at inddrage brugerne i en opfølgning på målet. Brugerne kan deltage i medarbejder-evalueringen på lige fod med medarbejderne. Denne inddragelse vil ofte påvirke medarbejdernes orientering mod brugerne. Samtidig kan brugernes deltagelse styrke deres forståelse at frontmedarbejdernes dispositioner. Brugerne kan bidrage med data til nogle af faserne i evalueringen, for eksempel kan brugerne interviewes om styrker/ svagheder i forhold til delmålene. 6 6 Læs mere om medarbejder-evaluering (kompetenceevaluering): Hanne Kathrine Krogstrup, Evalueringsmodeller,

21 Model til selvevaluering 7 Modellen som er oprindelig tænkt som et selvevalueringsredskab i folkeskolen, men kan også anvendes i andre sammenhænge. nødvendigt at arbejde med for at realisere den fremtidige praksis? Modellen er tænkt som et redskab der kan anvendes igen og igen for at udvikle en given indsats. Hvad og hvornår? Modellen har to formål: At sætte fokus på praksis og stimulere dialogen ved at spørge Hvorfor gør vi som vi gør. At skabe ny praksis ved at spørge Hvad kan vi ændre, hvad vil vi ændre og hvordan gør vi det så? Hvordan? Som det fremgår af nedenstående model, indeholder modellen en række faser. Fase A Overvejelser/drøftelse af hvordan vi gør lige nu? Hvad er der besluttet i institutionen (mål, regler, værdier m.v.) Hvilke uskrevne regler og holdninger påvirker praksis? Fase B Overvejelser/drøftelser af hvorfor praksis/indsatsen udvikler sig som den gør, og hvordan ser den fremtid ud som man gerne vil være med til at skabe hvis alt var muligt? Hvordan vil man gøre i en fremtidig praksis? Fase C Hvilke nedskrevne mål, rammer osv. skal revideres i forhold til at ændre indsatsen til det ønskede? Hvilke uskrevne regler og normer er det 7 Læs mere om selvevalueringsmodellen i Nøgler til forandring på 22

22 Her kan du læse mere Albæk, Erik (1988): Fra sandhed til information. Akademisk forlag Asmussen, Nils (2001): Evaluering i praksis. Merko. Gyldendal Uddannelse Dahler-Larsen, Peter (1998): Den Rituelle Refleksion om evaluering i organisationer. Odense Universitetsforlag Dahler-Larsen, Peter (2002): Evaluering Kortlagt. Systime Dahler-Larsen, Peter (2006): Evalueringskultur - et begreb bliver til. Syddansk Universitetsforlag Dahler-Larsen, Peter og Krogstrup, Hanne Kathrine (2004): Nye Veje i Evaluering. Systime Academic Dahler-Larsen, Peter og Krogstrup, Hanne Kathrine (red) (2005): Tendenser i evaluering. Syddansk Universitetsforlag Dahler-Larsen, Peter m.fl. (2003): Selvevalueringens hvide sejl. Syddansk Universitetsforlag Danmarks Evalueringsinstitut (2001): Nøgler til forandring. Finansministeriet m.fl. (2002): Vejledning om brugerundersøgelser. Schultz information Hansen, Hanne Foss (2003): Evaluering i staten. Samfundslitteratur Kjeldsen, Lars Peter Bech m.fl. (2005): Teamets arbejde med Evaluering og Kvalitetsudvikling af undervisningen. Kroghs Forlag Krogstrup, Hanne Kathrine (2. udgave 2006): Evalueringsmodeller. Academica Kvale, Steiner Kvale(1997): Interview. Hans Reitzels Forlag Nielsen, Peter (1994): Produktion af viden. Teknisk forlag Nygaard, Bjørn m.fl. (2006): Evaluering som ledelsesredskab i det offentlige. Børsen Olsen, Henning (2005): Fra spørgsmål til svar. Akademisk forlag Rieper, Olaf m.fl. (2004): Håndbog i Evaluering. AKF Forlaget Vedung, Evert (1998): Utvärdering i politik och förvaltning. Studentlitteratur Winther, Søren (1994): Implementering og effektivitet. Systime 23

23 Fællesforvaltning Udvikling & Evaluering Peter Hillerup (login: phi) Tlf: Marie Wulff Hansen (login: maih) Tlf Torvegade Esbjerg