Evalueringsguide. Til inspiration for evaluering og effektmåling i de regionale vækstfora. temahæfte fra Erhvervsog Byggestyrelsen

Transkript

1 temahæfte fra Erhvervsog Byggestyrelsen Evalueringsguide Til inspiration for evaluering og effektmåling i de regionale vækstfora Vi investerer i din fremtid

2 02 Indholdsfortegnelse Indledning 04 Hvad er en evaluering? 04 De fire faser ved evalueringer 05 Fase 1: Opstart af indsats 06 Udarbejdelse af notat om effektmåling 06 Identifikation af succeskriterier og forventede ændringer 08 Valg af monitoreringssystem til indsamling af data 08 Identifikation af referencegruppe 09 Fase 2: Tilrettelæggelse 12 Evalueringens formål og fokus 12 Timing af evalueringen 12 Evalueringens sammenhæng 12 Valg af evalueringsmodel 13 Fase 3: Gennemførelse 14 Hensyn ved valg af evaluator 15 Afklaring af, om evalueringen skal sendes i udbud 15 Udbudsmateriale og valg af tilbud 15 Kontrakt 16 Metodiske overvejelser 16 Fase 4: Anvendelse, formidling og nyttiggørelse 17 Anvendelse 17 Formidling og offentliggørelse 18 Nyttiggørelse 17 Appendiks 1. Skabelon for notat om mål og måling 19

3 03 Forord Erhvervs- og Byggestyrelsen, de regionale vækstfora og Danmarks Vækstråd har en fælles am bition om at blive bedre til at måle, hvad der kommer ud af de penge, som bliver brugt på regionaludvikling i Danmark. Det fremgår bl.a. af tillæggene til de seks regionale partnerskabsaftaler mellem regeringen og de regionale vækstfora, som blev indgået i maj-juni Visionen er, at effektmåling bliver en naturlig og integreret del af den regionale indsats. Ideelt set bør alle projekter opstille succeskriterier, som er målbare og som bliver målt. Effektmåling skal ikke bruges til kontrol, men til at øge vores viden om, hvilke typer af indsatser der virker godt og mindre godt. En effektiv forankring af effektmåling regionalt kræver en indsats fra alle aktører. Derfor har Erhvervs- og Byggestyrelsen udarbejdet denne evalueringsguide, som vi håber kan inspirere til endnu bedre effektmålinger. Guiden skal bidrage med inspiration til og viden om alle faser i et effektmålingsforløb og medvirke til, at overvejelser omkring effektvurderinger bliver indarbejdet allerede ved opstarten af de regionale projekter. Således skal det f.eks. sikres, at formålet er tilstrækkeligt præcist defineret, så projekterne senere kan effektvurderes. Guiden er tænkt som et levende dokument, som vi løbende vil opdatere med nye eksempler. Kommentarer er derfor mere end velkomne. Anders hoffmann vicedirektør, erhvervs- og byggestyrelsen God læselyst. Anders Hoffmann Vicedirektør Erhvervs- og Byggestyrelsen

4 04 Indledning Guiden er udarbejdet af Erhvervs- og Byggestyrelsen som inspiration til at evaluere og effektmåle strukturfondsindsatsen i vækstforaene. Guiden tjener følgende formål: Den giver anvisninger til, hvordan man med fordel kan indtænke effektmåling i projekter/indsatser Den giver anvisninger til, hvordan man kan evaluere projekter. Guiden indeholder en række gode råd til, hvordan man løbende kan vurdere, om formålet med et projekt er opnået, og om indsatsen har den ønskede effekt. Samtidig giver guiden undervejs en række eksempler på, hvordan man forbereder og gennemfører evalueringer og effektmålinger. Hensigten med guiden er ikke at kontrollere, men at bistå vækstfora i arbejdet med effektmåling med henblik på at øge fokus på, at der skabes mest mulig vækst og erhvervsudvikling for strukturfondsmidlerne. Målgruppen for guiden er vækst forumsekretariaterne og projektansøgere, og kan med fordel anvendes, hvor man i mindre omfang har erfaringer med effektmålinger eller evalueringer, eller hvor evalueringer gennem føres på ad hoc basis. Guiden er bygget op omkring de fire faser, som en evaluering normalt gennemløber med 1) opstart af indsats 2) tilrettelæggelse af evaluering 3) gennemførelse af en evaluering 4) anvendelse, formidling og nyttiggørelse Hovedfokus i denne guide er på den første fase, hvor en ny indsats startes op. Man kan med fordel orientere sig i alle fire faser, idet de tidlige faser får betydning for mulighederne for at gennemføre de efterfølgende faser. De fire faser ses i figur 1. I appendiks 1 findes en skabelon med de spørgsmål, som man med fordel kan overveje ved opstart af en indsats. Det anbefales, at skabelonen indgår i et notat med overvejelser omkring effektmåling, som man bør udarbejde i forbindelse med iværksættelsen af en indsats. Hvad er en evaluering? OECD definerer evaluering som en proces, der så systematisk og objektivt som muligt søger at afgøre relevansen, effektiviteten og effekten af en aktivitet i forhold til dens formål, herunder også implementeringen og administrationen af aktiviteten. 1 Evaluering er en løbende og integreret proces for at forbedre offentlige tiltag og ikke en enkeltstående begivenhed. Samtidig bør evalueringen være objektiv og uafhængig af de interessenter, som leverer eller modtager aktiviteten. I forhold til OECD s definition er det en 1 Se OECD Framework for the Evaluation of SME and Entrepreneurship Policies and Programmes, OECD 2007.

5 05 forudsætning for at kunne lave en evaluering, at indsatsen har et klart formål. I praksis vil dette nogle gange ikke være tilfældet, hvorfor en af evaluatorens opgaver ofte er at formalisere formålet med indsatsen efterfølgende. For at undgå dette er det nødvendigt allerede i udviklingen af en indsats at opstille klare mål og overveje, hvordan man tilvejebringer data der belyser målopfyldelsen. Det vil ofte være et krav, at evalueringer skal være baseret på etablerede videnskabelige metoder. Det betyder, at alle faser i evalueringsprocessen som f.eks. dataindsamling eller fortolkning skal tage udgangspunkt i de alment accepterede videnskabelige principper inden for den tradition, som evalueringen er baseret på. Evaluering og effektmåling bør generelt være et udgangspunkt for diskussion om mulige forbedringer af målsætningerne eller visionerne for en indsats. De fire faser ved evalueringer Opstartsfasen, hvor en ny indsats bliver udformet, har stor betydning for en efterfølgende evaluering. I opstartsfasen skal man f.eks. beslutte, hvilke data man løbende skal indsamle for at kunne lave en god evaluering. Herudover skal man afklare, hvad succeskriterierne er, hvilke ændringer der skal indtræffe, for at indsatsen kan siges at være en succes, og om der er behov for en nulpunktsmåling, så effekten kan dokumenteres. Når man efterfølgende skal gennemføre en evaluering, følger de fleste evalueringer tre faser henholdsvis tilrettelæggelse, gennemførelse og formidling. I disse faser afklares det f.eks., hvornår evalueringen skal gennemføres, hvem der skal gennemføre den, herunder om det skal være en intern eller ekstern evaluator, samt hvordan resultaterne skal formidles. I det følgende gennemgås de fire faser, som er skitseret i figur 1. Figur 1: De fire faser ved evalueringer 1: Opstart af indsats 2: Tilrettelæggelse 3: Gennemførelse 4: Anvendelse, for midling og læring Udarbejd et notat om effektmåling allerede i opstarts fasen Identificer succeskriterier og forventede ændringer Vælg et monitoreringssystem Evalueringens formål og fokus Timing af evalu eringen Evalueringens kontekst Valg af evalueringsmodel Hensyn til valg af evaluator Afklaring af, om evalueringen sendes i udbud Udbudsmateriale og valg af tilbud Kontrakt Metodiske over vejelser Anvendelse Formidling Offentliggørelse Nyttiggørelse Identificer en referencegruppe Afsæt ressourcer til evalu eringen

6 06 Fase 1: Opstart af indsats Allerede når en ny indsats bliver udformet, bør man udarbejde et notat om effektmåling, hvor man afklarer, hvilke parametre indsatsen skal vurderes på. Herved bliver det muligt allerede fra starten at overveje hvilke data, der er nødvendige at indsamle for efterfølgende at gennemføre en god evaluering, og man risikerer ikke, at data ikke er tilgængelige, når evalueringen igangsættes. For at skabe et godt grundlag for en evaluering skal man i denne fase overveje indsatsens succeskriterier og hvilket monitoreringssystem, der løbende skal anvendes til at indsamle data. Hovedelementerne i opstart af indsats er således: Udarbejdelse af notat om effektmåling I dentifikation af succeskriterier og forventede ændringer Valg af monitoreringssystem til indsamling af data Identifikation af referencegruppe Man bør i forbindelse med notatet om effektmåling desuden overveje, hvor omfattende en evaluering, man ønsker at gennemføre, herunder særligt om resultatet af en sådan evaluering står mål med indsatsen om projektets omfang nødvendiggør en stor og avanceret evaluering. Udarbejdelse af notat om effektmåling Man bør allerede på et tidligt tidspunkt overveje, hvordan man løbende indsamler data til brug i en efterfølgende evaluering. Ellers risikerer man senere, at man ikke længere kan skaffe de data, som man har brug for. Det kan f.eks. være svært at få informationer om virksomheders omsætning mv., hvis man ikke har indsamlet CVR-numre. Når data til brug for evalueringen indsamles undervejs, kan man samtidig lettere justere aktiviteterne og løbende forbedre indsatsen. Boks 1: Tjekliste for årsagssammenhæng Hvad er problemet? Beskriv det problem, der skal løses. Hvem er målgruppen? Beskriv målgruppen konkret og afgrænset. Hvad er virkningen på lang sigt? Hvad er virkningen på mellemlang sigt? Hvad er de umiddel bare resultater? Hvilket resultat på lang sigt skal man nå for at løse problemet? Hvilke delmål skal man nå, som vil føre til, at man på lang sigt løser problemet? Hvad skal der til for at nå det mellemlange mål? Hvad skal det umiddelbare produkt af aktiviteterne føre til? Hvad sker umiddelbart, når aktiviteterne slutter? Hvad er outputtet? Hvilket output kræves, før de umiddelbare resultater kan opnås? Hvad er aktiviteterne? Hvilke aktiviteter skal gennemføres for at få det ønskede output, der er nødvendigt for at opnå de ønskede resultater? Hvad er inputtet? Hvilke ressourcer skal der til for at få det ønskede output, der er nødvendigt for at opnå de ønskede resultater? Kvalitetstjek af årsag/ virkningskæde Hvis vi gør sådan Så fører det til sådan Fordi aktivitet x vil få person eller virksomhed y til at agere sådan og sådan. Kilde: Taget i uddrag fra Effektmåling i Integrationsministeriets puljestyring, Rambøll okt

7 07 Det kan også være nødvendigt at gennemføre en nulpunktsmåling (det gælder især, hvis der ikke er en naturlig referencegruppe at holde projektdeltagerne op imod, jf. det senere afsnit om referencegrupper). I den situation er det ligeledes vigtigt, at man har overvejet, hvordan man måler udgangspunktet (nulpunktet). I appendiks 1 findes en skabelon med en række spørgsmål, som bør indgå i et notat om effektmåling. Et af de centrale forhold i forbindelse med at udarbejde et notat om effektmåling er, at man har en klar teori om en årsagssammenhæng mellem indsatsen og de ændringer, som man forventer at kunne identificere som følge af indsatsen. Man bør således opstille en årsagssammenhæng for, hvordan et mål nås, hvilke resultater der kræves, hvilke aktiviteter, der skal til for at opnå resultaterne, og hvilke ressourcer disse aktiviteter kræver. I boks 1 er opstillet en tjekliste for opstilling af årsagssammenhæng for, hvordan mål nås. Foruden overvejelser omkring årsagssammenhæng bør et notat om effektmåling indeholde overvejelser omkring hvilke evalueringsmål, man vil måle indsatsen på. Målene vil ofte være relateret til forholdet mellem input, output, aktiviteter og effekt. I boks 2 er forskellige evalueringsmål skitseret. Aktivitetsmål udtrykker forholdet mellem aktiviteter og input og om man har igangsat de aftalte aktiviteter. Produktivitet er forholdet mellem outputtet og de omkostninger, som man har haft med at producere dem. Produktiviteten anvendes ofte til at evaluere, hvor godt ressourcerne i et givent program er blevet udnyttet. Hvis man ønsker at evaluere effekten af hele projektet fra start til slut, skal man sætte effekten i forhold til de totale input. Når man måler effekten af en indsats, kaldes det effektmåling. Ideelt set bør man opstille alle tre måltyper i en evaluering. Boks 2: Forskellige evalueringsmål Effektmål Input Aktiviteter Output Effekt Aktivitetsmål Produktivitetsmål Feedback på udformning af indsats Har man igangsat de aftalte aktiviteter: aktiviteter/input = aktivitetsmål Har aktiviteterne været produktive: output/input = produktivitet Hvad er effekten af indsatsen i sidste ende: effekt/input = effektmål

8 08 Identifikation af succeskriterier og forventede ændringer Man bør nøje overveje, hvornår en ny indsats har været en succes samt hvilke ændringer, man forventer at se som følge af indsatsen på kort og langt sigt. Det vil ofte være en fordel for den efterfølgende evaluering, hvis man allerede i opstartsfasen har overvejet hvilke adfærdsændringer, man forventer at se hos borgere eller virksomheder som følge af indsatsen samt ad hvilke kanaler, denne adfærdsændring opnås. Dette kan bruges til at vurdere, om indsatsen har været en succes eller ej. Det bør også være muligt at afklare, hvornår en indsats har været en fiasko. I boks 3 er opstillet en tjekliste for kvalitetssikring af mål efter SMART-modellen. Valg af monitoreringssystem til indsamling af data Når man har identificeret succeskriterier og de ændringer, som man forventer at se som følge af indsatsen, skal man overveje, hvordan man vil lave en løbende monitorering. En monitorering er en regelmæssig registrering, som kan anvendes til at kontrollere og måle fremdriften i indsatsen undervejs. Når man har et monitoreringssystem på plads, kan man lettere lave løbende justeringer af indsatsen. Samtidig kan man lettere dokumentere, om indsatsen har haft den ønskede effekt. Ofte vil vækst i virksomhedernes omsætning og ansatte være en god parameter at vurdere et virksomhedsrettet program på, da de er bredt accepterede målsætninger for den offentlige politik (og da det er nemt at finde troværdige data). I boks 4 er opstillet en tjekliste for kvalitetssikring af indikatorer efter RACER-modellen. Der bør altid indsamles CVR- og CPR-numre. Disse oplysninger skal ikke kun indhentes for tilskudsmodtagere, men for alle de virksomheder og personer, der kunne tænkes at blive påvirket af indsatsen. Derudover vil det ofte være en god idé at indsamle data både før og efter en indsats igangsættes, så man kan dokumentere effekten ved at sammenligne før og efter. Samtidig vil det ofte være en god ide at sammenligne med virksomheder eller personer, der ikke har deltaget i projektet. Nogle af de variabler, som man ofte måler på, er virksomhedernes beskæftigelse, omsætning, værditilvækst, eksport, personers arbejdsmarkedsstatus, indkomst og uddannelsesniveau. Hvis man har foretaget en regelmæssig og omhyggelig registrering af de relevante CVR- og CPRnumre, vil mange socioøkonomiske data kunne indhentes hos Danmarks Statistik. Der vil dog også ofte være behov for mere kvalitative data, når man skal evaluere et projekt. Boks 3: Tjekliste for kvalitetssikring af mål efter SMART-modellen S M A R T SPECIFIKT Konkret og utvetydigt formuleret, fokuseret og klart defineret. Målet eller målsætningen skal være ligefrem, handlingsorienteret og klart udtrykke det forventede mål. Hvem er involveret? Hvad skal der ske? Hvorfor er det vigtigt? Hvordan skal det ske? Hv-spørgsmål kan hjælpe med at gøre målet tilstrækkeligt specifikt. MÅLBART Et mål skal kunne måles. Hvordan kan man vide, at ændringen er indtrådt? Kan målingen gennemføres? ACCEPTERET Er der enighed om målet blandt de vigtigste aktører? Og i målgruppen? Er det et godt mål for, hvad der vil blive opfattet som en succes? Er der evt. nogen som vil modarbejde, at målet opfyldes? REALISTISK Et accepteret mål er ikke nødvendigvis realistisk. Er det sandsynligt, at målet kan nås med de ressourcer, der er til rådighed? Er målet mere udtryk for en drøm? Eller er der en klar og logisk sammenhæng mellem mål og midler? TIDSAFGRÆNSET Hvornår skal det måles, om målet er nået? Tidsfristen skal være realistisk og opnåelig. Jo flere af kriterierne der er opfyldt, jo lettere er det at arbejde med målsætningen.

9 09 Identifikation af referencegruppe Den engelske evalueringsekspert David Storey har i sin evalueringstilgang, som han benævner Six Steps to Heaven, rangeret forskellige evalueringstyper, som varierer i forklarings- og analysestyrke. Ifølge David Storey er det altid nødvendigt at sammenligne deltagende virksomheder (eller personer) i et offentligt program med virksomheder (personer), som ikke har deltaget i programmet. 2 Dette kaldes en referencegruppe. Undersøgelser af eksempelvis brugertilfredsheden uden en referencegruppe kan ifølge David Storey ikke kaldes evaluering. Rigsrevisionen anbefaler ligeledes i Beretning til Statsrevisorerne om effekten af erhvervsfremmeindsatsen på innovations- og iværksætterområdet fra 2008, at Økonomi- og Erhvervsministeriet vurderer behovet og mulighederne for etablering af en referencegruppe i forbindelse med gennemførelsen af effektundersøgelser. Etablering af en referencegruppe gør det muligt at sammenholde udviklingen i målgruppen med udviklingen i en sammenlignelig gruppe, der ikke er berørt af ordningens aktiviteter, og dermed vurdere, om ordningen har den ønskede effekt. Uden en referencegruppe er det svært at vurdere, om en positiv udvikling i f.eks. omsætning eller beskæftigelse rent faktisk skyldes, at man deltager i indsatsen, eller om det skyldes andre faktorer. Referencegruppen bruges således til at identificere den effekt, som skyldes, at man har deltaget i programmet. En god referencegruppe ligner de virksomheder (eller personer), som man ønsker at evaluere effekten for. Eksempler på karakteristika ved udvælgelse af en referencegruppe er branche, antal medarbejdere, omsætning og alder. Ofte vil man kunne få f.eks. Danmarks Statistik til at opstille en gruppe af virksomheder eller personer med samme karakteristika, for derefter at følge udviklingen i denne referencegruppe i en given periode. I så fald er det imidlertid en forudsætning, at man har indsamlet CVR-numre på de virksomheder (eller CPR-numre på de personer), som deltager i den pågældende indsats, jf. ovenfor. 2 Six Steps to Heaven: Evaluating the Impact of Public Policies to Support Small Business in Developed Economies, D.J. Storey Boks 4: Tjekliste for kvalitetssikring af indikatorer efter RACER-modellen R A C E R RELEVANT Er indikatoren relevant for projektets mål? Er der overensstemmelse mellem indikatoren og projektets mål? ACCEPTERET Er indikatoren almindelig accepteret af dem, der skal arbejde med den? CREDIBLE (TROVÆRDIG) Er indikatoren entydig og let at fortolke? Er den troværdig for ikke-eksperter? EASY (LET AT INDHENTE) Er det let at indsamle data på indikatoren? Står omkostningerne ved dataindsamlingen mål med værdien af data? ROBUST Kan indikatoren blive misbrugt? Manipuleret med? En god indikator bør score højt på alle ovennævnte parametre men det kan være nødvendigt at gå på kompromis med en eller flere parametre

10 10 En særlig udfordring i forhold til at identificere en referencegruppe er, at der kan optræde selektionsbias. Det vil sige, at de virksomheder, der eksempelvis har sendt en ansøgning vedrørende et erhvervsstøtteprogram ikke bare kan sammenlignes med virksomheder, der ligner dem på omsætning mv. Der kan nemlig være specielle grunde til, at netop de virksomheder har sendt en ansøgning (f.eks. bedre information eller motivation), eller at de er blevet udvalgt til at modtage støtte (f.eks. bedre forretningsplan). I dette tilfælde vil man kunne overvinde selektionsbiasen ved at indsamle data om de firmaer, som har ansøgt om at deltage i programmet, men som (netop) ikke har fået tilsagn. Alternativt kan man designe indsatsen/projektet, så man rent faktisk kan måle effekten hos deltagerne. Hvis man eksempelvis vil evaluere effekten af et kursus, kan man udbyde kurset i henholdsvis to dage, en uge eller to uger. På den måde kan man måle, om der reelt viser sig nogen forskel i deltagernes evner inden for det pågældende område. Hvis man kun udbyder kurset i eksempelvis en uge, ville man ikke på samme måde kunne evaluere effekten af kurset uden bias. I boks 5 findes en oversigt over David Storeys evalueringstilgang Six Steps to Heaven. I boks 6 er beskrevet et konkret projekt, som har opstillet et klart projektformål og evalueret det. I boks 7 er opstillet en opsummerende tjekliste, som kan anvendes i forbindelse med opstarten. Boks 5: Six Steps to Heaven Den engelske evalueringsekspert David Storey har udviklet den såkaldte Six Steps to Heaven tilgang. Tilgangen rangerer forskellige former af evaluering lige fra en monitorering af deltagernes holdninger til indsatsen (svagt) til, at man estimerer effekten af indsatsen i forhold til en referencegruppe (stærkt). Ifølge David Storey får man den bedste evaluering, når man bruger kvantitative data, og når en referencegruppe er identificeret. Ifølge Storey er der ikke tale om en evaluering, når man spørger deltagerne i en indsats om deres egen vurdering af indsatsen, da de næsten altid vil være positive, og fordi man ikke herved måler effekten af indsatsen. Dette kalder forfatteren i stedet for monitorering. Man får derimod den bedste evaluering, når man tager højde for selektionsbias i sammenligningen mellem virksomheder/personer, der indgår i en indsats på den ene side og på den anden side virksomheder/personer, der ikke deltager. Monitorering STEP I Registrering af de igangsatte aktiviteter i indsatsen STEP II Registrering af deltagerens mening om indsatsen STEP III Registrering af deltagernes vurdering af forskellen som følge af indsatsen Evaluering STEP IV Sammenligning af præstationer for deltagere i indsatsen med typiske virksomheder/personer STEP V Sammenligning af præstationer for deltagere i indsatsen med matchede virksomheder/personer STEP VI Sammenligning af præstationer for deltagere i indsatsen med matchede virksomheder/personer, hvor der tages højde for selektionsbias Kilde: Six Steps to Heaven: Evaluating the Impact of Public Policies to Support Small Business in Developed Economies, D.J. Storey 2000.

11 11 God planlægning øger sandsynligheden for en effektiv evaluering og et godt resultat. Når man har udarbejdet et notat om effektmåling og afklaret, hvilke parametre indsatsen skal vurderes på, har man skabt sig et godt grundlag for en evaluering, og næste fase vil være at tilrettelægge evalueringen. Boks 6: Nordjysk Iværksætter Netværk (NIN) Iværksætterprojektet Nordjysk Iværksætter Netværk (NIN) har eksisteret siden 2002 og er i dag koordineret af Væksthus Nordjylland, der sammen med de lokale erhvervskontorer tilbyder rådgivning og sparring til iværksættere og virksomheder i hele Region Nordjylland, før, under og efter start. Formålet (effektmålet) med NIN har fra starten været klart defineret: At øge overlevelsesraten og skabe øget vækst i de nystartede virksomheder i Region Nordjylland. NIN har dog ikke nærmere kvantificeret hverken målet om overlevelse eller målet om vækst, hvilket alt andet lige ville have været en fordel, når man skal effektmåle projektet. F.eks. kunne man have et effektmål om, at 80 pct. af de rådgivne virksomheder fortsat skal eksistere tre år efter opstart. Dette mål efter lever SMART-kriterierne i boks 4. Et muligt aktivitetsmål kunne være, at NIN skal rådgive mindst 800 virksomheder og personer årligt. Et eksempel på outputmål kunne være, at de rådgivne virksomheder og personer skal udarbejde mindst 500 forretningsplaner i alt. NIN-aktiviteterne er justeret lidt over årene, men har hele tiden bestået i a) en gratis basisrådgivning til alle potentielle nordjyske iværksættere og nystartede virksomheder (undtagen landbrug, fiskeri, pelsdyravl og skovbrug) og b) tilskud til køb af private rådgivningsydelser (revisor, advokat, reklamebureau mv.). NIN s administrator har løbende registreret, hvilke personer (CPR NR) og virksomheder (CVR NR) der har modtaget de forskellige typer af rådgivning. Denne omhyggelige registrering er sammen med et klart projektformål en forudsætning for at kunne effektmåle projektet. NIN har selv foretaget en effektmåling af projektet, som viser, at de rådgivne virksomheder har en relativt høj overlevelsesrate sammenlignet med Nordjylland generelt. AKF har for Erhvervs- og Byggestyrelsen udbygget og forfinet evalueringen af NIN. Boks 7: Tjekliste for opstartsfasen Succeskriterier Der bør udarbejdes et notat med overvejelser omkring effektmåling allerede ved opstarten af et nyt projekt/ny indsats. Man bør overveje, hvorfor der er brug for projektet/indsatsen, samt hvornår en indsats/ et projekt har været en succes, og hvornår det har været en fiasko. Man bør overveje, hvilke ændringer man forventer at se som følge af projektet/ indsatsen efter 1 år, efter 2 år og på lang sigt. Man bør kunne identificere en klar årsagssammenhæng mellem målet med projektet/ indsatsen og de ændringer, man forventer at se. Monitoreringssystem Man skal afklare, hvordan man vil indsamle data om de personer og/eller virksomheder, som vil blive berørt af indsatsen, og som gør det muligt at identificere ændringerne. Man bør overveje, om der er brug for at indsamle data om de personer eller virksomheder, som ikke bliver berørt af indsatsen (referencegruppe). Man bør overveje, om man løbende skal følge op på indsatsen, og hvordan det skal ske. Man bør overveje, om der skal afsættes midler til en efterfølgende evaluering.

12 12 Fase 2: Tilrettelæggelse Når det er blevet besluttet at gennemføre en evaluering, skal der træffes en række indledende beslutninger om evalueringens formål og fokus, timing af evalueringen, hvad formålet er og hvilken evalueringsmodel, der skal anvendes. Alle disse valg har betydning for evalueringens resultater, idet de afgrænser evalueringen. Hovedelementerne i tilrettelæggelsesfasen er således: Evalueringsformål og fokus Timing af evalueringen Evalueringens kontekst Valg af evalueringsmodel Evalueringens formål og fokus Det er vigtigt at klargøre formålet med evalueringen. Ofte vil evalueringen kunne svare på flere spørgsmål. Med mange delmål risikerer man dog, at evalueringen ikke kommer i dybden med det egentlige formål. Derfor er det vigtigt at afveje hensynet mellem dybde og bredde ved evalueringen. Hvis der er flere formål, bør disse endvidere prioriteres. Formålet med evalueringer skal gerne fremgå klart, hvorved eksempelvis indsamle erfaringer vil være for vagt et formål. Fokus i forhold til evalueringskriterier bør også afklares. Det kan f.eks. være mål for kvaliteten eller produktiviteten eller brugernes tilfredshed. Disse evalueringskriterier bør være så konkrete som muligt, og det bør fremgå tydeligt, hvordan kriterierne er udvalgt. Evalueringer kan være omkostningstunge. Rigsrevisionen angiver derfor, at man bør overveje, om der findes et billigere alternativ. Hvis målet med evalueringen f.eks. er at opnå ledelsesinformation, bør man overveje, om en løbende opfølgning og dataindsamling som beskrevet ovenfor kan være en billigere løsning. Generelt bør man også overveje, om evalueringen forventes at give relevant og aktuel information, der vil gøre en forskel for den aktuelle indsats. Timing af evalueringen Det skal i tilrettelæggelsesfasen overvejes, hvordan man tidsmæssigt vil gennemføre evalueringen, herunder, om evalueringen skal være løbende, om man vil gennemføre en eller flere evalueringer i projektperioden eller udelukkende vil gennemføre en slutevaluering. Evalueringens sammenhæng Konteksten for den enkelte evaluering er med til at forme evalueringen. Det kan f.eks. være retningslinier og normer for udformning af evalueringer inden for et givent område, eller det kan være interessenter og den politiske bevågenhed. Derfor er det vigtigt at tage højde for den konkrete kontekst i evalueringsdesignet.

13 13 Samtidig er det vigtigt at få identificeret målgruppen. Nyttiggørelsen af evalueringen hænger tæt sammen med, om resultaterne er let tilgængelige for de faktiske brugere af evalueringen. Derfor gælder det om at få lagt en plan for information og kommunikation med evalueringens interessenter om formål, metode, anbefalinger mv. Udarbejdelsen af en kommunikationsplan beskrives under fase fire vedrørende formidling. Valg af evalueringsmodel En evalueringsmodel kan karakteriseres som en sammenhængende model for produktionen af viden om evalueringsobjektet, de styrende værdier og metode og evalueringens anvendelse. Der findes en række forskellige evalueringsmodeller, som kan anvendes. I praksis vil de forskellige modeller ofte blive kombineret, ligesom der findes mere specifikke former inden for hver model. I det følgende gennemgås fire typiske evalueringsmodeller: Målopfyldelsesevaluering Effektevaluering Procesevaluering Aktørevaluering Målopfyldelsesevaluering har til formål at undersøge, om de opstillede mål for en indsats er realiseret. Dette kan som tidligere nævnt kun lade sig gøre, hvis man allerede i fase 1 har opstillet klare og målbare mål. Ofte søger man hermed at besvare følgende to spørgsmål: 1) Er de opstillede mål realiseret? 2) Har indsatsen bidraget til målopfyldelsen? Ideelt set bør alle projekter som minimum kunne gennemføre en målopfyldelsesevaluering, forudsat at man har opstillet præcise og entydige mål. Målopfyldelsesevalueringen kan imidlertid kun påvise, om de fastlagte mål er opfyldte eller ej, men ikke om der har været andre positive eller negative sideeffekter. Effektevaluering søger at afdække de samlede effekter ved en indsats, herunder både de tilsigtede og de utilsigtede effekter. Derfor benyttes effektevaluering ofte, når man ønsker viden om de samlede samfundsmæssige konsekvenser af en større indsats. Fordelen ved effektevaluering er, at man får alle effekter afdækket, og at man får viden om effekten af indsatsen. Ulempen ved modellen er omvendt, at det kan være meget svært at isolere effekten af indsatsen uden eksempelvis en referencegruppe, som beskrevet ovenfor. Procesevaluering fokuserer på, hvordan en given proces gennemføres, og om processen kan forbedres. Derfor vil der ofte være løbende læringsaspekt forbundet med en procesevaluering, især hvis en institution eller organisation følges i en periode. Mens fordelen ved procesevaluering er en stor viden om organisationens processer og dynamik, er ulempen omvendt, at modellen ikke fokuserer på effekter som ved effektevaluering. Aktørevaluering er endelig en samlebetegnelse for brugerevaluering, interessentevaluering og kollegial evaluering. Ved aktørevaluering anvendes aktørernes egne kriterier som vurderingskriterium (f.eks. brugernes tilfredshed eller professionelle kollegiale kriterier). Ulempen ved ak tørevaluering er, at evalueringen risikerer at ende i en simpel tilfredshedsundersøgelse. 3 Som nævnt fraråder nogle evalueringseksperter at anvende aktørernes egen vurdering af en indsats, da de næsten altid vil være overvejende positive. 3 Finansministeriet, KL og Amtsrådsforeningen har i 2002 udgivet pjecen Vejledning om brugerundersøgelser, der drøfter de metodiske og designmæssige forhold ved brugerundersøgelser.

14 14 I boks 8 er opstillet en tjekliste, som kan anvendes i forbindelse med tilrettelæggelse af evalueringer. Når man i tilrettelæggelsen har fået afgrænset evalueringen med hensyn til formål og fokus, timing, sammenhæng og valg af evalueringsmodel, har man et godt grundlag for at igangsætte gennemførelse af evalueringen. Boks 8: Tjekliste for tilrettelæggelse af evalueringer Formål, fokus og kontekst Hvis der er flere formål med evalueringen, bør prioriteten være klar. Man bør overveje, om evalueringen passer med den strategiske ramme f.eks. med resultatkontrakter eller lignende. Evalueringens fokus og evalueringskriterier bør være så konkrete som muligt, og det bør tydeligt fremgå, hvordan kriterierne er udvalgt. Når evalueringen tilrettelægges, bør man overveje konteksten f.eks. i forhold til evalueringsnormer på området, politisk bevågenhed mv. Valg af evalueringsmodel Målopfyldelsesevaluering bør kun anvendes, hvis der er relativt præcise og veldefinerede mål Effektevaluering kan anvendes, hvis man ønsker at belyse både de tilsigtede og utilsigtede effekter. Procesevaluering kan overvejes, hvis evalueringens formål er læring. Aktørevaluering kan anvendes, hvis aktørernes viden og kompetencer er centrale for evalueringens formål og legitimitet. Fase 3: Gennemførelse Den tredje fase i evalueringsprocessen vedrører gennemførelsen af evalueringen. Her skal der træffes afgørelse om, hvem der skal gennemføre evalueringen, og hvordan evalueringen i praksis skal organiseres. Det skal også afgøres, om evalueringen skal sendes i udbud, og om der skal udarbejdes en kontrakt. Foruden organiseringen af evalueringen skal det afgøres, hvordan den praktiske dataindsamling og databehandling skal foregå. En ekstern evaluator har ofte særlige kompetencer, som med fordel kan inddrages i udformningen af evalueringen. Det er dog også vigtigt, at opdragsgiveren har en forståelse for de metodiske problemstillinger, idet de forskellige valg i forbindelse hermed har betydning for evalueringens resultater og omkostningerne ved evalueringen. Hovedelementerne i gennemførelsen er således: Hensyn ved valg af evaluator Afklaring af, om evalueringen skal sendes i udbud Udbudsmateriale og valg af tilbud Metodiske overvejelser

15 15 Hensyn ved valg af evaluator Evaluatoren kan enten være intern (medarbejdere) eller ekstern (ofte en konsulentvirksomhed eller forskere). Ofte vil der være tale om en kombination, hvor visse dele af evalueringsprocessen er internt forankret, mens andre dele er eksternt forankret. I forhold til valget af evaluator vil følgende hensyn typisk være centrale: 1) evalueringskompetencer og ressourcer, 2) viden om evalueringsobjektet, samt 3) uafhængighed. Det er en konkret afvejning, hvilke hensyn der vægter højest ved en given evaluering. Ofte vil det være vigtigt at balancere hensynet til uafhængighed versus faglighed, idet uafhængigheden dog kan hæves via en gennemsigtig evalueringsproces. Samtidig bør det på forhånd være klarlagt, hvorledes evalueringsresultater offentliggøres, ligesom en uafhængig kvalitetsvurdering af den endelige evalueringsrapport kan hæve troværdigheden. Afklaring af, om evalueringen skal sendes i udbud Hvis der helt eller delvist anvendes en ekstern evaluator skal reglerne for offentlig licitation/ udbud overholdes. For nærmere oplysninger om udbud og tilbudslovens regler henvises til Under alle omstændigheder gælder principperne om lige behandling og gennemsigtighed. Der henvises i øvrigt til vejledningen om offentlige indkøb på Udbudsmateriale og valg af tilbud Det er vigtigt, at formål og forventninger fremgår klart, når et eventuelt udbudsmateriale skal udformes. I boks 9 er det typiske indhold i et udbudsmateriale skitseret. Boks 9: Udbudsmaterialets indhold Følgende punkter vil i de fleste tilfælde være vigtige at inddrage i udbudsmaterialet i forbindelse med en evaluering: Den ordregivende myndighed og kontaktperson(er) Baggrund og kontekst Evalueringens formål Evalueringens genstandsfelt Metodevalg og tilrettelæggelse Slutprodukter og offentliggørelse Evt. prisloft eller prisramme Tilbuddets disposition og længde Tildelingskriterier Behandling af spørgsmål til udbudsmaterialet Tilbudsfrist Behandling af tilbud, evt. forhandling Tidsplan for udbudsforretningen Afklaring af forskellige juridiske forhold (evt. forslag til kontrakt)

16 16 Kontrakt Efter en ekstern evaluator er udvalgt, skal der udarbejdes en evalueringskontrakt, som fastlægger de juridiske rettigheder og forpligtigelser for både opdragsgiver og evaluator. Ofte vil der være udarbejdet en standardkontrakt, som kan anvendes. Foruden en formel kontrakt bør evalueringsprocessen styres via en række styringsredskaber, som kan variere. Typisk kan man foruden et kommissorium udpege faste kontaktpersoner, der kan nedsættes en styre- eller projektgruppe, man kan afholde faste møder, og der kan fastsættes en række delleverancer i overensstemmelse med en tidsplan. Metodiske overvejelser Gennemførelsen af selve evalueringen indebærer en række metodiske valg vedrørende datagrundlag og -indsamling, analyse og fortolkning. Ofte vil disse valg være tæt forbundet med valget af evalueringsmodel. En ekstern evaluator vil ligeledes ofte have særlige kompetencer i forhold til at afklare de metodiske forhold. Det er imidlertid vigtigt, at opdragsholderen indgår i en dialog med et kvalificeret modspil om de centrale metodiske forhold, der vil have betydning for både evalueringens resultater og pris. I boks 10 er skitseret de vigtigste metodiske forhold. De metodiske forhold vedrører datagrundlaget, herunder hvilke data der allerede foreligger, og hvilke der skal indsamles. Eksempelvis kan registerdata ofte indhentes fra Danmark Statistik, mens ny data kan indsamles via f.eks. spørgeskemaundersøgelser, interviews eller regnskabsdata. Samtidig skal det afklares, hvordan data skal analyseres og fortolkes, og det bør overvejes, om evalueringen skal indeholde anbefalinger til forbedringer. Boks 10: De vigtigste metodiske forhold Datagrundlag Hvilke data foreligger allerede (f.eks. registerdata)? Hvilke nye informationer/data er der behov for? Skal disse data have særlige egenskaber f.eks. et særligt måleniveau? Indsamlingsmetoder Hvordan kan de nye data bedst og billigst indsamles? Interviews, fokusgruppe, spørgeskemaundersøgelse, observation, skriftligt materiale m.v.? Hvor mange skal interviewes, spørges, observeres? Hvem skal interviewes, spørges, observeres? Hvordan sikres repræsentativitet i forhold til den givne problemstillings rækkevidde? Hvornår skal indsamlingen finde sted? Hvor skal indsamlingen finde sted? Analyse og fortolkning Hvordan skal data efterfølgende behandles? Hvilke dataprogrammer skal evt. benyttes? Hvordan skal materialet analyseres og fortolkninger drages? Hvordan skal resultaterne afrapporteres og dokumenteres? Hvem skal anvende de endelige resultater og til hvad? Hvilke krav stiller dette til evalueringens design?

17 17 Afsluttende omkring gennemførelsesfasen, er der i boks 11 opstillet en tjekliste, som kan anvendes i forbindelse med gennemførelse af evalueringer. Når der er truffet afgørelse om evalueringens organisering med hensyn til gennemførelse samt praktisk dataindsamling og -behandling, kan evalueringen endeligt igangsættes. Alle faser i en evaluering er imidlertid ikke gennemløbet, når evalueringsresultaterne foreligger. Det er af stor betydning, at evalueringsresultaterne efterfølgende anvendes, således at resultaterne kan omsættes til læring. Boks 11: Tjekliste for gennemførelse af evalueringer Hvem skal evaluere? Overvej nøje, hvem der mest hensigtsmæssigt kan gennemføre evalueringen, herunder hvilken viden, ressourcer og uafhængighed, som evaluator skal besidde. Sørg for at følge de gældende udbudsregler og god praksis i forbindelse med et udbud Hvordan organiseres evalueringen? Hvilken metode anvendes? Planlæg nøje evalueringens gennemførelse og fastsæt hvilke styringsredskaber, der skal tages i anvendelse f.eks. nedsættelse af en styregruppe, faste møder, aftaler om delleverancer m.v. Overvej nøje rollefordelingen mellem de forskellige parter i evalueringen, og sørg for også at have opmærksomhed rettet mod de interne ressourcer, som evalueringen kræver. Sørg for, at der hos opdragsgiver og evt. i selve styregruppen er personer, der kan vurdere og give metodisk modspil til evaluator Overvej nøje, hvad de centrale spørgsmål i evalueringen er, og hvilken information og viden, der skal tilvejebringes for at få svar herpå. Overveje nøje, hvordan data kan indhentes så nemt og billigt som muligt samtidigt med, at der tages de fornødne metodemæssige hensyn om validitet og reliabilitet. Fase 4: Anvendelse, formidling og nyttiggørelse Det påpeges ofte, at evalueringer ikke i tilstrækkelig grad bliver anvendt til at forbedre den evaluerede indsats. Derfor er det vigtigt, at evalueringen udnyttes bedst muligt i forhold til dens anvendelse, formidling og nyttiggørelse således at resultaterne udmønter sig i læring. I det følgende er der således sat fokus på anvendelse, formidling og nyttiggørelse af evalueringer. Anvendelse Det primære resultat ved en evaluering er de aktiviteter, som evalueringen sætter i gang ikke selve evalueringsrapporten. Desværre sker det tit, at evalueringsrapporten ikke anvendes til at skabe de ændringer, som evalueringsrapporten kunne give anledning til. Forklaringen kan f.eks. være manglen på ledelsesopbakning eller manglende anbefalinger. Rigsrevisionen har i en gennemgang af de statslige evalueringer netop påpeget, at evalueringernes anbefalinger ofte er vage og abstrakte og på et meget generelt niveau. 4 Derfor er det vigtigt, at anbefalingerne er så anvendelsesorienteret som muligt, ligesom de bør være tilpasset den konkrete kontekst. 4 Rigsrevisionen 2005: Statens anvendelse af evalueringer. Nr. 14/4. Tilgængelig via Samling/20072/MENU/ htm

18 18 Anbefalinger bør endvidere være målrettet det relevante organisationsniveau, som kan træffe en given beslutning. Samtidig bør de formulerede anbefalinger kunne implementeres uden uforholdsmæssigt store omkostninger. Formidling og offentliggørelse Formidlingen af en evaluering drejer sig både om evalueringsrapporten og de resultater og anbefalinger, som rapporten indeholder. I forhold til evalueringsrapporten bør denne overholde de almindelige standarder for skriftlig formidling eksempelvis med resumé med de væsentligste konklusioner og anbefalinger. Det bør ligeledes fremgå tydeligt, hvad der er henholdsvis beskrivelse, vurdering og anbefaling. Ejerskabet til en evaluering vil ofte bero på kommunikationen af resultaterne f.eks. i forbindelse med offentliggørelsen. Derfor bør man lave en kommunikationsplan for formidling af evalueringen og på forhånd afklare, om formen f.eks. skal være via mail, på hjemmesiden, med ledelsen som talerør mv. Samtidig skal det afklares, om der skal kommunikeres f.eks. via pressen. Her vil det ofte være vigtigt, at man kontakter den relevante presseafdeling for råd og sparring om pressemeddelelse el. lign. Nyttiggørelse Evalueringens resultater bliver ikke automatisk anvendt, selvom evalueringen er af en høj kvalitet. Derfor er det vigtigt, at der gøres en aktiv indsats for at følge op på og nyttiggøre evalueringen. Der bør således altid laves en handlingsplan for opfølgning på en evaluering. En måde at sikre en opfølgning på er det såkaldte følg eller forklar princip. Det indebærer, at den institution som en anbefaling retter sig imod, har valget mellem at følge anbefalingen eller alternativt at forklare, hvorfor anbefalingen ikke følges. Princippet er dog ikke juridisk bindende. I boks 12 er opstillet en tjekliste for anvendelse, formidling og nyttiggørelse. Evalueringens sidste fase består således i at give sig selv og andre mulighed for at lære af de erfaringer, som man har gjort sig i evalueringen. Boks 12: Tjekliste til anvendelse, formidling og nyttiggørelse Anvendelse Det bør tilstræbes, at anbefalinger er så præcise og operationaliserbare som muligt, ligesom grundlaget for disse bør være så transparent som muligt. Ledelsen for den evaluerede organisation eller indsats bør drøfte og træffe beslutning om, hvilke anbefalinger, der skal implementeres, og hvordan. Formidling Evalueringsrapporten bør altid indeholde et resumé, der kort opridser de væsentligste konklusioner og anbefalinger. Det bør overvejes, hvorvidt der med fordel kan anvendes andre eller supplerende evalueringsformer end den gængse skriftlige evalueringsrapport, f.eks. et gå-hjem-møde eller et seminar. Nyttiggørelse Evalueringen bør suppleres med en kommunikationsplan, der udarbejdes og anvendes sideløbende med selve evalueringen. En handlingsplan for opfølgning kan være med til at sikre, at evalueringens resultater anvendes. Evalueringens resultater bør i de tilfælde, hvor der kan uddrages en generel læring, udbredes så meget som muligt f.eks. via en fælles evalueringsdatabase eller hjemmeside.

19 19 Appendiks 1 Skabelon for notat om mål og måling Projektnavn: Udarbejdet dato: Projekt startdato: Projektejer: Projekt slutdato: Projektleder: 1. Hvad er formålet med projektet? 2. Hvorfor er der brug for en indsats? 3. Hvornår har projektet være en succes (brug SMART-mål)? 4. Hvornår har projektet været en fiasko? 5. Hvilke ændringer forventes på kort sigt (efter et år)? 6. Hvilke ændringer forventes på mellemlang sigt (efter to år)? 7. Hvilke ændringer forventes på langt sigt? 8. Hvordan vil dine ændringer konkret føre til indfrielse af formålet med projektet? 9. Hvilke data skal indsamles for at kunne identificere ændringerne (brug RACERindikatorer)? 10. Er der brug for at indsamle data om virksomheder/personer, som ikke del tager i projektet? 11. Er der brug for løbende at følge op på fremdriften, og hvordan skal dette ske? 12. Skal projektet evalueres, og er der afsat midler hertil?

20 Erhvervs- og Byggestyrelsen Regionaludvikling Vejlsøvej Silkeborg Tlf Fax protekst.dk / ineo.dk