Evalueringsguide Denne guide er udarbejdet af Region Sjælland, Regional Udvikling, som inspiration til at evaluere og effektmåle projekter gennemført med tilskud fra de regionale udviklingsmidler. Evalueringsguiden er alene en vejledning, der er tænkt som støtte til alle der søger og får tilskud fra Region Sjælland, således at ansøger bedre kan udfylde Regional Udviklings ansøgningsskema og senere evalueringsskemaet. Formålet er at støtte en kvalitetssikring i forberedelsen, gennemførelsen, evalueringen og afrapporteringen af projekterne. Evalueringsguiden bygger på uddrag af Erhvervs- og Byggestyrelsens Evalueringsguide, der er udarbejdet til inspiration for evaluering og effektmåling i de regionale vækstfora (med støtte fra Den Europæiske Socialfond og Den Europæiske Fond for Regionaludvikling). Guiden giver anvisninger til, hvordan man kan evaluere projekter Guiden giver anvisninger til, hvordan man med fordel kan anvende effektmåling i projekter. Guiden indeholder en række gode råd til, hvordan man løbende kan vurdere, om formålet med et projekt er opnået, og om indsatsen har den ønskede effekt. Hvad er en evaluering? OECD definerer evaluering som en proces, der så systematisk og objektivt som muligt søger at afgøre relevansen, effektiviteten og effekten af en aktivitet i forhold til dens formål 1. Der er fire faser ved en evaluering: 1. Opstart af indsats: Udarbejdelse af notat om effektmåling 2. Tilrettelæggelse: Evalueringens formål og fokus, valg af evalueringsmodel 3. Gennemførelse 4. Anvendelse, formidling og læring af evalueringen. Fase 1: Opstart af evalueringsindsats Indledningsvis kan man med fordel stille følgende spørgsmål til projektet: 1. Hvad er formålet med projektet? Hvorfor er der brug for en indsats? 2. Hvornår har projektet været en succes? 3. Hvornår har projektet været en fiasko? 4. Hvilke ændringer (resultater) forventes på kort sigt (efter et år)? 5. Hvilke ændringer (effekter) forventes på lang sigt (efter 2-3 år)? 6. Hvordan vil projektets aktiviteter konkret føre til indfrielse af formålet med projektet? 7. Hvilke data skal indsamles for at kunne identificere projektets ændringer/resultater? 8. Er der brug for at indsamle data om personer/virksomheder, som ikke deltager i projektet? 9. Er der brug for løbende opfølgning på projektets fremdrift, og hvordan skal dette ske? 10. Hvordan skal projektet evalueres, og er der afsat midler hertil? 1 OECD Framework for the Evaluation of SME and Entrepreneurship Policies and Programmes (2007). 1
Et af de centrale forhold i forbindelse med at udarbejde et notat om effektmåling er, at man har en klar teori om en årsagssammenhæng mellem indsatsen og de ændringer, som man forventer at kunne identificere som følge af indsatsen. Man bør således opstille en årsagssammenhæng for, hvordan et mål nås, hvilke resultater der kræves, hvilke aktiviteter, der skal til for at opnå resultaterne, og hvilke ressourcer disse aktiviteter kræver. Når man måler effekten af en indsats, kaldes det effektmåling. Tjekliste for kvalitetssikring af mål efter SMART-modellen: S: Specifikt Et mål skal være konkret og utvetydigt formuleret, fokuseret og klart defineret. Målet skal være ligefremt, handlingsorienteret. HV-spørgsmål kan hjælpe med at gøre målet tilstrækkeligt specifikt. M: Målbart Et mål skal kunne måles. Hvordan kan man vide, at målet er nået? (ændringen er indtrådt). Kan man gennemføre en måling? A: Accepteret Er der enighed om målet blandt de vigtigste aktører? Og i målgruppen? Er det et godt mål for, hvad der vil blive opfattet som en succes? Er der evt. nogen, som vil modarbejde, at målet opfyldes? R: Realistisk Er det sandsynligt, at målet kan nås med de ressourcer, der er til rådighed? Er målet mere udtryk for en drøm? Eller er der en klar og logisk sammenhæng mellem mål og midler? T: Tidsafgrænset Hvornår skal det måles, om målet er nået? Tidsfristen skal være realistisk. Identifikation af en referencegruppe Det anbefales, at alle projekter vurderer behovet og mulighederne for etablering af en referencegruppe. Etablering af en referencegruppe gør det muligt at sammenholde udviklingen i målgruppen med udviklingen i en sammenlignelig gruppe, der ikke er berørt af projektets aktiviteter, og dermed vurdere, om projektet har den ønskede effekt. Uden en referencegruppe er det svært at vurdere, om en positiv udvikling i f.eks. beskæftigelsen rent faktisk skyldes, at man deltager i indsatsen, eller om det skyldes andre faktorer. Referencegruppen bruges således til at identificere den effekt, som skyldes, at man har deltaget i programmet. En god referencegruppe ligner de personer (eller virksomheder), som man ønsker at evaluere effekten for. Ofte vil man kunne få f.eks. Danmarks Statistik til at opstille en gruppe af personer eller virksomheder med samme karakteristika, for derefter at følge udviklingen i denne referencegruppe i en given periode. I så fald er det imidlertid en forudsætning, at man har indsamlet 2
CPR-numre på de personer (eller CVR-numre på virksomheder), som deltager i den pågældende indsats. Fase 2: Tilrettelæggelse af evalueringen Hovedelementerne i tilrettelæggelsen af en evaluering er: Evalueringsformål for fokus Timing af evalueringen Evalueringens kontekst Valg af evalueringsmodel Ligesom projektets mål med fordel kan testes ud fra den beskrevne SMART-model, kan man også med fordel gennemgå de mål man har med evalueringen ud fra modellen. Valg af evalueringsmodel En evalueringsmodel af en sammenhængende model for produktion af viden om evalueringsobjektet (dvs. selve indsatsen i projektet), de styrende værdier bag projektet, evalueringens metode og evalueringens anvendelse. Der findes en række forskellige evalueringsmodeller, hvor nogle er indbyrdes overlappende, og der findes ikke én autoritativ udlægning af, hvilke modeller der findes, og hvad de hedder. Blandt de mest anvendte modeller er: Mål(opfyldelses)evaluering Denne metode har til formål at teste og kontrollere resultater. Metoden bruges til at vurdere specifikke resultater og målopfyldelse, gennem fremlæggelse af faktuelle oplysninger. Metoden kan kun anvendes, hvis man fra starten af projektet har opstillet klare om målbare mål. Denne evalueringsmetode kan kun påvise, om de fastlagte mål er nået eller ej, men ikke om der har været andre positive eller negative sideeffekter. Effektevaluering Som målevalueringen har denne metode til formål at teste og kontrollere resultater/effekter, men her måles både tilsigtede og utilsigtede effekter. Desuden måles langtidseffekter af indsatsen og den fortsatte forankring af indsatsen. Effektevaluering benyttes typisk, når man ønsker viden om de samlede samfundsmæssige konsekvenser af en større indsats. Procesevaluering Denne evalueringsmetode fokuserer på, hvordan en given proces gennemføres, og om processen kan forbedres. Derfor vil der ofte være et løbende læringsaspekt forbundet med procesevaluering, typisk hvor en bestemt organisation følges i en periode. Fordelen ved procesevaluering er, at man opnår en stor viden om organisationens processer og dynamik. Omvendt er ulempen, at modellen ikke fokuserer på effekter. Virkningsevaluering Denne type evaluering vurderer både på proces og effekter. Metoden bruges til at bekræfte, afkræfte eller udvikle en afgrænset indsats (eller rettere, den type aktiviteter, som indsatsen består af). Evalueringen kan påpege, hvor justeringer bør sættes ind. Metoden er ikke egnet til at evaluere tidsafgrænsede projekter eller aktiviteter. 3
Aktørevaluering Aktørevaluering kaldes også brugerevaluering, kollegial evaluering eller interesentevaluering. Her anvendes aktørernes egne kriterier som vurderingskriterium, f.eks. brugernes tilfredshed med en specifik aktivitet. Ulempen ved denne form for evaluering er dels, at aktørernes egen vurdering næsten altid vil være overvejende positiv, at at evalueringen risikerer at ende som en simpel tilfredshedsundersøgelse. Fase 3: Gennemførelse af evalueringen Den tredje faste i evalueringsprocessen vedrører gennemførelsen af evalueringen. Hovedelementerne i gennemførelsesfasen er: Hvem skal gennemføre evalueringen, hvilke hensyn skal tages ved valg af evaluator Afklaring af, om evalueringen skal sendes i udbud, hvis der anvendes en ekstern evaluator Udbudsmateriale og valg af tilbud Metodiske overvejelser I forhold til valg af evaluator vil følgende hensyn typisk være centrale: 1) evalueringskompetencer og ressourcer, 2) viden om evalueringsobjektet, samt 3) uafhængighed. Det er en konkret afvejning, hvilke hensyn der vægter højest ved en given evaluering. Hvis der anvendes en ekstern evaluator skal reglerne for offentlig licitation/udbud overholdes. For nærmere oplysninger om udbud og tilbudslovens regler henvises til: www.ks.dk/udbudsomraadet/regler. Hvis evalueringen skal i udbud, skal udbudsmaterialet typisk indeholde følgende oplysninger: Evalueringens formål og genstandsfelt Metodevalg og tilrettelæggelse Krav til slutprodukter og eventuel offentliggørelse af resultaterne Eventuelt prisloft eller prisramme Tilbuddets disposition og længde Behandling af spørgsmål til udbudsmaterialet Tilbudsfrist og efterfølgende behandling af indkomne tilbud Afklaring af forskellige juridiske forhold Metodiske overvejelser Gennemførelse af selve evalueringen indebærer en række metodiske valg vedrørende datagrundlag, dataindsamling, analyse og fortolkning. De vigtigste metodiske overvejelser er: Hvilke data foreligger allerede Hvilke nye informationer/data er der behov for? Hvordan kan de nye data bedst og billigst indsamles? Interviews, fokusgruppe, spørgeskemaundersøgelse, observation, skriftligt materiale m.v.? Hvem og hvor mange skal interviewes eller observeres? Hvordan sikres repræsentativitet? Hvor og hvornår skal dataindsamlingen finde sted? Hvordan skal data efterfølgende behandles, analyseres og fortolkes? Hvordan skal resultaterne afrapporteres og dokumenteres? 4
Hvem skal anvende de endelige resultater og til hvad? Hvilke krav stiller dette til evalueringens design? Fase 4: Evalueringens anvendelse, formidling og nyttiggørelse Evalueringens fjerde og sidste fase består i at give sig selv og andre mulighed for at lære af de erfaringer, som man har gjort sig i evalueringen. Det primære resultat ved en evaluering er de aktiviteter, som evalueringen sætter i gang ikke selve evalueringsrapporten. Desværre sker det tit, at evalueringsrapporten ikke anvendes til at skabe de ændringer, som evalueringsrapporten kunne give anledning til. Forklaringen kan være mangel på ledelsesopbakning eller uenighed blandt de involverede projektparter. En anden almindelig forklaring er, at evalueringsrapportens anbefalinger ofte er vage, abstrakte og holder sig på et meget generelt niveau. Derfor er det vigtigt på forhånd at aftale med evaluator, at anbefalingerne skal være så anvendelsesorienterede som muligt, de bør være tilpasset den konkrete kontekst, og de bør kunne implementeres uden uforholdsmæssigt store omkostninger. Udover at sikre, at evalueringen er af høj kvalitet, bør der også altid laves en handlingsplan for opfølgning på en evaluering. En måde at sikre en opfølgning på er det såkaldte "følg eller forklar" princip. Det indebærer, at den aktør, som en anbefaling retter sig imod, har valget mellem at følge anbefalingen eller alternativt at forklare, hvorfor anbefalingen ikke følges. Tjekliste til anvendelse, formidling og nyttiggørelse af evalueringen Anvendelse: Det bør tilstræbes, at anbefalinger er så præcise og operationaliserbare som muligt, ligesom grundlaget for anbefalingerne bør være så gennemsigtigt som muligt Ledelsen for den evaluerede organisation eller indsats bør drøfte og træffe beslutning om, hvilke anbefalinger, der skal implementeres, og hvordan Formidling: Evalueringsrapporten bør altid indeholde et resume, der kort opridser de væsentligste konklusioner og anbefalinger Det bør overvejes, hvorvidt der med fordel kan anvendes andre eller supplerende evalueringsformer end den gængse skriftlige evalueringsrapport, f.eks. et gå-hjem-møde eller et seminar Nyttiggørelse: Evalueringen bør suppleres med en kommunikationsplan, der udarbejdes og anvendes sideløbende med selve evalueringen En handlingsplan for opfølgning kan være med til at sikre, at evalueringens resultater anvendes Evalueringens resultater bør i de tilfælde, hvor der kan uddrages en generel læring, udbredes så meget som muligt f.eks. via en fælles evalueringsdatabase eller hjemmeside. 5