EvalueringsGuide. Til planlægning og styring af et evalueringsforløb

Transkript

1 EvalueringsGuide Til planlægning og styring af et evalueringsforløb

2 Publikationen er udgivet af Socialstyrelsen Edisonsvej 18, Odense C Tlf: socialstyrelsen@socialstyrelsen.dk Forfatter: Socialstyrelsen Udgivet Download rapporten på Der kan frit citeres fra rapporten med angivelse af kilde. 3

3 Indholdsfortegnelse Oversigt over punkterne i guiden Evaluability Assessment vurdér om det er en god idé at evaluere Formål og anvendelse Organisation Evalueringens genstand (Evaluanden) Evalueringsspørgsmål herunder kriterier og standarder Ressourcer og budget Metodevalg Kommunikation Retningslinjer Tidsplan Når evalueringsopgaven sendes i udbud Oversigt over støtteredskaber i forbindelse med evalueringsudbud Du kan med fordel være opmærksom på disse støtteredskaber: Vejledning og sparring Beskriv evalueringens formål og evalueringsspørgsmålene Andre opmærksomhedspunkter Disposition for udbudsmaterialet Krav vs. metodefrihed i evalueringsudbuddet Når evalueringen er afsluttet: Vidensformidling og kvalitetsvurdering Evaluering i en kontekst

4 Hvad er formålet med EvalueringsGuiden Formålet med EvalueringsGuiden er at bidrage til høj kvalitet i Social- og Integrationsministeriets evalueringer ved at skabe overblik og fungere som et styringsredskab i evalueringsarbejdet. Du kan bruge EvalueringsGuiden som vejledning og støtteredskab, når du skal enten gennemføre en evaluering eller udbyde en evalueringsopgave eksternt. EvalueringsGuiden består af ti punkter, som når du har udfyldt dem giver dig overblik i evalueringsarbejdet. De ti punkter i Evalueringsguiden beskrives i det følgende efter tur. Selv om de ti punkter her er opstillet i rækkefølge, er der i praktisk evalueringsarbejde en tæt sammenhæng mellem punkterne. Beslutninger taget under et punkt har store konsekvenser for de mulige beslutninger under andre punkter. Således giver en god udfyldt EvalueringsGuide et samlet og integreret svar på alle punkter. Det svære er ikke at udfylde hvert enkelt punkt i sig selv, men at bringe alle punkterne i overensstemmelse med hinanden. Derfor kan du være nødt til at bevæge sig frem og tilbage mellem forskellige punkter, inden den bliver rigtig god. Flere af punkterne er forsynet med støtteskemaer, som man med fordel kan anvende, når man arbejder sig gennem EvalueringsGuiden. En del af punkterne vil man allerede have svar på i projektbeskrivelserne og dertilhørende forandringsteori(er). Du kan med fordel inddrage dit projektteam eller andre kollegaer i arbejdet med at udfylde EvalueringsGuiden. Det kan også være nødvendigt at inddrage eksterne interessenter. Den udfyldte EvalueringsGuide har betydning for, hvor god og anvendelig evalueringen bliver. Det anbefales at bruge Metode til sparring i forbindelse med udfyldelsen af EvalueringsGuiden. Når du bestiller en evaluering (opdragsgiver), skal du være særligt opmærksom på, at der kan være juridiske forhold, der ikke gør det muligt at gå i dialog med en potentiel tilbudsgivende evaluator (ekstern) omkring EvalueringsGuiden. Derfor er det vigtigt at være præcis med hensyn til det formål og de spørgsmål, du ønsker, evalueringen skal give svar på. Du skal også kunne vurdere kvaliteten af de indkomne forslag (tilbud); om de indkomne evalueringsforslag har relevante informationer, og om man tror på, at de anvendte metoder er relevante og nok til at besvare evalueringsspørgsmålene. Endelig skal du være opmærksom på, at alle koncernens evalueringer skal vurderes af styrelsens redskab til Kvalitetsvurdering af evalueringsrapporter, når de er afsluttet. Kvalitetsvurderingen skal sikre, at evalueringerne lever op til en række kvalitetskrav. EvalueringsGuiden indeholder de samme elementer som kvalitetsvurderingen og kan derfor vejlede dig i din forberedelse af evalueringsarbejdet. 5

5 Oversigt over punkterne i guiden Nedenstående punkter bør man forholde sig til i planlægningen af en evaluering. EvalueringsGuiden vejleder dig i at udfylde de enkelte punkter gennem skemaer og spørgsmål, som du kan udfylde og besvare. Punkt i EvalueringsGuiden Beksrivelse Side 1. Evaluability assessment vurdér om det er en god idé at evaluere * Før en evaluering igangsættes, skal det vurderes om den specifikke indsats er klar til at blive at evalueret Formål og anvendelse * Hvem skal modtage og anvende evalueringens resultater og til hvad og hvornår? 9 3. Organisation * Hvordan skal evalueringen organiseres? Hvem har hovedansvaret for, at evalueringen finder sted? Hvilke andre aktører skal inddrages og hvordan? Evalueringens genstand (Evaluanden) * Hvad er det der skal evalueres? Det kan være en politik, et program, et projekt/indsats eller en kombination Evalueringsspørgmål herunder kriterier og standarder * Hvilket evalueringsspørgsmål er det helt centrale at få besvaret? Hvilke kriterier skal bruges til at vurdere indsatsen? Hvilke standarder er der for succes? Ressourcer og budget * Hvilke ressourcer er til rådighed for evalueringsarbejdet? (tid, penge og kompetencer) Metodevalg Metodevalget følger evalueringsspørgsmålene (punkt 5). Når du som evaluator ved, hvilke spørgsmål din evaluering skal give svar på (hvad), så vælger du de metoder, der kan give svar på spørgsmålene (hvordan) 8. Kommunikation * Hvordan skal evalueringsresultaterne formidles? I hvilke(n) form(er), til hvem, hvornår? Hvad skal med? (data, analyse, konklusioner, vurderinger, anbefalinger?) Retningslinjer * Hvilke retningslinjer vil man overholde i evalueringsarbejdet, f.eks. etisk kodeks? Anonymisering? Hvem har rettighederne til data, rapporter mv.? Tidsplan I tidsplanen specificeres, hvem der gør hvad hvornår. 25 * Disse punkter er særligt relevante at forholde sig til, når der skal laves evalueringsudbud. 6

6 1. Evaluability Assessment vurdér om det er en god idé at evaluere Før en evaluering igangsættes, skal det vurderes om den specifikke indsats er klar til at blive at evalueret. Evaluability Assessment er et redskab, der kan hjælpe til at afgøre, om det er en god idé at evaluere i den konkrete situation. En Evaluability Assessment bør drøftes på relevant beslutningsniveau, inden en evaluering igangsættes. Anvend skema 1 herunder til Evaluability Assesment. Sæt kryds i ja eller nej, og der gives yderst til højre en anbefaling til, hvad man bør gøre. Skema 1: Evaluability Assesment. Vurdér om det er en god idé at evaluere Ja Nej Handling Trin 1 Er der et formelt krav om eller binding på at evalueringen gennemføres? Hvis ja, evalueringen initieres. Hvis nej gå til trin 2 Trin 2 Har formålet med evalueringen tilstrækkelig betydning eller vigtighed til at Hvis ja gå til trin 3. Hvis nej er en formel evaluering ikke nødvendig berettige en formel evaluering? Trin 3 Er indsatsen og målgruppen velbeskrevet? Hvis ja gå til trin 4. Hvis nej anbefales det ikke at igangsætte en evaluering Trin 4 Er der klare mål for indsatsen? Hvis ja gå til trin 5. Hvis nej det anbefales at afklare målene med relevante interessenter Trin 5 Er der formuleret en klar forandringsteori for indsatsen? Hvis ja gå til trin 6. Hvis nej er det nødvendigt først at identificere og formulere forandringsteorien Trin 6 Ved man, at indsatsen er svagt implementeret? Hvis ja brug ressourcerne på at styrke implementeringen. Hvis nej gå til trin 7 Trin 7 Er det muligt at skaffe relevante data? Hvis ja gå til trin 8. Hvis nej det anbefales at ændre EvalueringsGuiden og design eller ikke gennemføre evalueringen. Trin 8 Er det muligt indenfor tidsrammen at gennemføre den ønskede evaluering? Hvis ja gå til trin 9. Hvis nej det anbefales at ændre EvalueringsGuiden og design eller ikke at gennemføre evalueringen. Trin 9 Er de (klart og præcist) beskrevne beslutningstagere klar til og i en position til at tage beslutning pba. evalueringen? Hvis ja det anbefales at initiere evalueringen. Hvis nej anbefales det at ændre evalueringen i en retning, så det stemmer overens med relevante beslutningstagere. 7

7 Enhver indsats bør have et forandringsteoretisk eftersyn (jf. Koncernens evidenspolitik), før der gennemføres en evaluering. Dette relaterer sig til trin 5 i skema 1, om der er formuleret en klar forandringsteori for indsatsen. Du kan altid bede Metode om at bistå dig i at foretage et forandringsteoretisk eftersyn af dit projekt. I et forandringsteoretisk eftersyn analyseres forandringsteorien ud fra nogle hovedspørgsmål: a. I hvilken grad de forskellige aspekter af indsatsen er velbeskrevne, logisk sammenhængende og godt planlagt? b. Findes der en eksplicit teori om (elementer af) indsatsen? c. Er den påtænkte anvendelse af indsatsen gennemtænkt og velbeskrevet? d. Er indsatsen i sin helhed designet til optimalt at tilgodese den påtænkte anvendelse? e. Er de fornødne ressourcer hertil beskrevne og afsat til formålet? f. Hvilke forestillinger er der om centrale aktørers adfærd i implementeringsfeltet og involverede interessenters adfærd i øvrigt i relation indsatsens implementering og anvendelse? Den forandringsteoretiske analyse vil også udgøre et væsentligt bidrag til at formulere evalueringsspørgsmål under punkt 5 i EvalueringsGuiden. 8

8 2. Formål og anvendelse Hvem skal modtage og anvende evalueringens resultater og til hvad og hvornår? Helt overordnet skelnes der ofte mellem to typer af evalueringsformål: Summativ evaluering og formativ evaluering (se skema 2). Skema 2: Evalueringstype Evalueringstype Summativ Beskrivelse Evalueringen har her til formål at rapportere om indsatsen frem for at bidrage med viden til indsatsen. Med andre ord har summative evalueringer ikke til formål at forbedre indsatsen fremadrettet, men til formål at vurdere indsatsens samlede effektivitet. Summative evalueringer spiller en særlig vigtig rolle i forhold til at træffe beslutninger om at fortsætte/udbrede eller afslutte et demonstrationsprojekt (udvikling og afprøvning) eller pilotprojekt (eksperiment). Formativ En formativ evaluering foretages i forbindelse med udvikling af en indsats, og har til hensigt at give feedback til forbedring af evaluanden (det, der evalueres). Typisk er der fokus på, om en indsats udføres som planlagt, at identificere muligheder og barrierer, identificere midtvejs-korrektioner, som vil øge sandsynligheden for projektets succes. Det er en systematisk måde at give projektmedarbejdere (beslutningstagere) viden til at forbedre projektet og implementeringen. Formative evalueringer gennemføres for at træffe data-baserede beslutninger i forbindelse med udvikling og forbedring af en indsats. I praksis vil evaluering have flere formål indbygget. Ligeledes kan formål ændre sig undervejs i evalueringen. Derfor vil der være situationer, hvor EvalueringsGuiden kan blive justeret som en funktion af evalueringsforløbet. Ved formative evalueringer kan ny viden give anledning til nye evalueringsspørgsmål, og at andre spørgsmål i stedet glider ud. Det er vigtigt at understrege, at ændringer i evalueringsformål kræver, at relevant ledelse bliver inddraget. Typisk vil det overordnede formål med evalueringen være bundet i projektbeskrivelsen, som ikke kan ændres uden videre. I skema 3 placeres koncernens evalueringsformål i forhold til formative og summative evalueringer. Skemaet giver en oversigt over, hvilke konsekvenser bestemte formål har for hvordan evalueringen tilrettelægges, og dermed hvordan andre punkter i EvalueringsGuiden udfyldes. 9

9 Skema 3: Formål med evalueringen Formål i koncernens evidenspolitik Anvendelse Hvem er modtageren Hvem er evaluator Karakteristika Designmæssige rammer Formål og dataindsamling Typiske spørgsmål (se flere under punkt 5) Formativ evaluering Summativ evaluering Læring og udvikling af Styring/Kontrol/ Vidensopbygning og indsatsen Accountability -udvikling Her bruges evalueringen til at Her hjælper en Her forventes evalueringen i modne en bestemt indsats eller evaluering med at afgøre, almindelighed at bidrage til metode, fx ved at indsamle ny om en bestemt indsats vidensudvikling også hos viden om målgruppen, forbedre lever op til de eksternt personer og instanser, der indsatsens elementer eller stillede krav, typisk krav ikke direkte er involverede i indhente stillet legitimt i den projektet implementeringserfaringer, osv. politiske styringskæde. Indsatsens fortsatte eksistens er Den typiske i den forbindelse ikke til debat, beslutningssituation det er kun indsatsens form og handler om positive eller udmøntning negative sanktioner Projektledere og projektansatte Politikere og Typisk politikere og beslutningstagere i beslutningstagere uden for ministeriet ministeriet. Men kan i princippet være alle med interesse i indsatsen og evalueringen heraf Det kan være interne Typisk vil det være Det kan være eksterne evaluatorer, men kan også være eksterne evaluatorer evaluatorer eventuelt med eksterne evaluatorer eller et eventuelt med støtte fra støtte fra interne evaluatorer, samspil interne evaluatorer men kan også være interne evaluatorer, der varetager hele evalueringen Giver feedback til projektansatte Giver viden så Giver viden om og hvordan så de kan forbedre/udvikle beslutningstagere kan en indsats virker, så andre indsatsen træffe beslutninger om kan gøre det samme eller indsatsens fremtid bygge oven på denne viden (fortsætte/ikke fortsætte) Hvilket vidensbehov er der? Og Hvilke kriterier og Hvad virker? hvornår? standarder vil blive brugt til at træffe beslutning? Undersøgende Vurderende Vurderende Hvad virker? Hvad har behov for Virker indsatsen (det Virker indsatsen (det at blive forbedret? Hvordan kan centrale centrale effektspørgsmål)? det forbedres? effektspørgsmål)? Hvad er Er indsatsen resultaterne/effekterne af omkostningseffektiv? indsatsen? For hvem? Under hvilke betingelser? Med hvilke aktiviteter? Og til hvilke omkostninger? 10

10 Skema 4 benyttes til at identificere relevante interessenter (i rækken hvem har behov for evalueringsviden? ). I kolonnerne ud for den pågældende interessent afkrydses der, hvilken handling evalueringsviden skal understøtte. Skema 4: Potentielle interessenter Politik- Operationelle/ Ændre praksis Andre formulering driftsmæssige handlinger Hvem har behov for beslutninger evalueringsviden? vedr. indsatsen Projektgruppen Styregruppe Følgegruppe Socialstyrelsen Departement Politikere Deltagende kommuner Øvrige kommuner Ansatte der arbejder med indsatsen/ målgruppen Direkte brugere af indsatsen Indirekte brugere (børn, forældre ) Potentielle brugere af indsatsen Offentligheden Andre 11

11 3. Organisation Hvordan skal evalueringen organiseres? Hvem har hovedansvaret for, at evalueringen finder sted? Hvilke andre aktører skal inddrages og hvordan? Der skal først og fremmest tages stilling til, om evalueringen skal gennemføres internt eller eksternt. Skema 5 kan bruges til at afklare dette spørgsmål. Skemaet anvendes ved at sætte kryds i ja eller nej, og der gives yderst til højre en anbefaling til, hvad man kan gøre. Skema 5: Ekstern eller intern evaluator? Ja Nej Handling Trin 1 Er der en binding på, at evalueringen gennemføres af en ekstern evaluator? Hvis ja lav et udbud eller søg efter en ekstern evaluator. Hvis nej gå til trin 2 Trin 2 Er der økonomi til at benytte en ekstern evaluator? Hvis ja gå til trin 3 Hvis nej gennemfør en intern evaluering Trin 3 Kræver evalueringen specialiseret viden og teknologi ud over den ekspertise, som de interne evaluatorer har? Hvis ja lav et udbud eller søg efter en ekstern evaluator. Hvis nej gå til trin 4 Trin 4 Handler evalueringen om målopfyldelse af omfattende og yderst politiserede mål? Hvis ja lav et udbud eller søg efter en ekstern evaluator. Hvis nej gå til trin 5 Trin 5 Er et ude-fra-perspektiv særligt vigtigt for evalueringen? Hvis ja lav et udbud eller søg efter en ekstern evaluator. Hvis nej gennemfør en intern evaluering 12

12 I skema 6 skal der tages stilling til, hvem evaluator/evalueringsteamet er, og hvem der har ansvaret for evalueringens fremdrift. Al erfaring viser, at ansvaret skal placeres hos en konkret person. Der skal ligeledes tages stilling, om der skal være en styregruppe eller følgegruppe til evalueringen, og hvordan disse mest hensigtsmæssigt sammensættes. Derudover kan der være brug for at tilknytte en sekretærfunktion til koordinering af møder mv. Skema 6: Organisering Hvem Evaluator/Evalueringsteam Ansvaret for evalueringens fremdrift (en konkret person) Styregruppe Følgegruppe Øvrige der skal inddrages i evalueringsarbejdet 13

13 4. Evalueringens genstand (Evaluanden) Hvad er det, der skal evalueres? Det kan fx være en politik, et program, et projekt/indsats eller en kombination. I skema 7 beskrives det, der skal evalueres. Dette kan hentes fra projektbeskrivelsen og den dertil hørende forandringsteori. Det er vigtigt, at evaluanden præciseres således, at man ved, hvad analysen skal fokusere på (afgørende for dataindsamlingen under punkt 7). Skema 7: Evaluanden (det, der evalueres) Afklaring af evaluanden mht. til Hvad skal evalueres, hvad er evalueringens genstand? Beskriv evaluanden (benyt forandringsteorien). Fx Beskrivelse Ny lovgivning: Er udtryk for intentioner om retning(er), der har prioritet. Politikken giver styrende retning og mål for det pågældende område. Et program: Kan ses som administrative paraplyer til distribution og regulering af midler under en politik. Det kan være et satsningsområde med tilhørende relevante aktiviteter. Kan være enkeltstående eller have mere vedvarende karakter (sidstnævnte kan typisk kun ændres marginalt ved evaluering). Et projekt/indsats: Er den faktiske levering af specifikke interventioner/indsatser. Projekterne kan variere meget i karakter: Nogle er permanente, andre kan have liv, som er kortere end det program, som de er en del af. Hvad er baggrunden for det, der evalueres (evaluanden)? Beskriv baggrunden og konteksten for den ny lovgivning, programmet eller projektet/indsatsen. Afgræns det, der evalueres (evaluanden), tidsmæssigt (start og slut) Afgræns det, der evalueres (evaluanden), stedligt (hvor) Fokus kan være på både gennemførsel (organisation og samarbejde), præstationer (det som gøres af de ansatte) og effekt (de resultater, der i sidste led opnås med hensyn til uddannelse, beskæftigelse, livskvalitet osv.). I koncernen er der et særligt fokus på effekt om vores indsatser har de ønskede effekter eller andre bi-effekter. 14

14 5. Evalueringsspørgsmål herunder kriterier og standarder Hvilket evalueringsspørgsmål er det helt centrale at få besvaret? Og hvilke kriterier skal bruges til at vurdere indsatsen, og hvilke standarder er der for succes? Evalueringsspørgsmålet er helt centralt i en evaluering. Evalueringsspørgsmålet er afgørende for, hvilken viden evalueringen producerer. Evalueringsspørgsmålet adskiller sig fra de spørgsmål, man fx stiller i en survey. Det første handler om, hvad evalueringen overordnet skal give svar på (vidensbehovet), hvor spørgsmålene i en survey skal give data til at besvare evalueringsspørgsmålet. Evalueringsspørgsmålene vil ofte være alt for abstrakte og komplekse til, at man kan stille dem direkte i en survey eller et interview. Meget ofte opdeles evalueringsspørgsmålet i nogle håndterbare underspørgsmål (se eksemplet nedenfor). Eksempel på hovedspørgsmål og underspørgsmål Hovedspørgsmål 1. I hvilken grad er det lykkes at implementere screeningsindsatsen i kommunerne? Underspørgsmål a. Hvad er de væsentligste implementeringsbarrierer: Organisation, ressourcer og holdninger? Hvordan har de ansatte reageret på disse udfordringer og barrierer? b. Hvordan karakteriseres screeningsindsatsen af forskellige relevante interessenter: Brugere, ansatte, administratorer mv. Hvor ens eller forskellige er disse opfattelser, og hvad er baggrunden for og implikationerne af de forskellige opfattelser? c. Hvordan er tiltroen til screeningsindsatsens effektivitet, rationalitet og legitimitet blandt afgørende interessenter? d. Hvad er brugernes og de ansattes tilbagemeldinger om processen omkring screeningsprojektet: Hvad virker godt, og hvad virker mindre godt fra deres perspektiver? e. Hvad kan brugerne lide eller ikke lide ved indsatsen? I hvilken grad er de enige med/støtter op omkring screeningsindsatsens mål? f. Hvad er de ansattes opfattelse af brugerne? Hvad er deres opfattelse af deres egen rolle og effektivitet? g. Hvad har ændret sig i forhold til den oprindelige forandringsteori/implementeringsstrategi og hvorfor? h. Hvilke andre indsatser over for målgruppen er på spil i implementeringsfeltet, og hvordan fungerer screeningsindsatsen i forhold til disse? 2. I hvilken grad kan det sandsynliggøres, at screeningindsatsen har opnået de ønskede resultater? a. Har nogle kommuner præsteret bedre end andre i forhold til at indfri de ønskede mål? Og hvordan er det gået til? b. Hvilke handlingsrationaler præger de centrale aktører, der er afgørende for screeningsprojektets succes? 15

15 Gode evalueringsspørgsmål er præcise og specifikke for den indsats, der skal evalueres. Men evalueringsspørgsmålene vil typisk være koncentreret om nogle generelle dimensioner ved en indsats. Figur 2 viser de centrale videnstyper i Socialstyrelsens Vidensdeklaration. Disse videnstyper kan inspirere dig til at opstille de relevante evalueringsspørgsmål. Figur 2: Videnstyper (fra Socialstyrelsens Vidensdeklaration) I skema 8 er der vist forskellige typer af spørgsmål, som fokuserer på forskellige vidensbehov. I Vidensdeklarationen findes der er en række spørgsmål, som kan være med til at inspirere udviklingen af evalueringsspørgsmål. Nedenfor en række fokusområder og spørgsmål, som Socialstyrelsens evalueringer særligt skal have fokus på, og som relaterer sig til vidensdeklarationen. Skema 8: Typer af evalueringsspørgsmål som relaterer sig til videnstyperne i vidensdeklarationen Implementering Hvilke faktorer og processer havde betydning implementering og effekter? Implementering/ proces Ved implementering spørges der til: Om servicemål og administrative mål er blevet indfriet? Om den tilsigtede målgruppe har modtaget de tilsigtede ydelser? Om indsatsen er implementeret i overensstemmelse med implementeringsstrategien? Hvad er de væsentligste implementeringsbarrierer og -fremmerer? Hvilke andre indsatser over for målgruppen er der i implementeringsfeltet, og hvordan fungerer indsatsen i forhold til disse? I forhold til processen spørges der overordnet til, hvad der sker ved indsatsen. Det kan være om projektet/indsatsen gør det, det forventes at gøre (tiltrækker indsatsen de hjemløse? Hvor 16

16 mange modtager hjælpen som tilbydes ved indsatsen?). Der foretages ikke på forhånd en vurdering af, hvad de rette aktiviteter er. Spørgsmålet er: Hvad sker ved indsatsen? Der kan sættes fokus på fx rekruttering, tilbud, respons fra målgruppen og den måde indsatsen fungerer på (bidrag til udvikling af indsatsens forandringsteori). Effekt Hvilke effekter har indsatsen skabt, og var der dele af målgruppen som indsatsen var mere effektiv for? Outcomes Her sættes der fokus på konsekvenserne for indsatsens målgruppe. Der kan være fokus på forandringer i målgruppens situation (viden, adfærd, indtjening, status, helbred, misbrug mv.). Kilden til spørgsmål findes typisk i de officielle målformuleringer for indsatsen: Hvad forventes indsatsen at opnå? Nogle gange ændres målene med indsatserne, som man med tiden bliver klogere, og det bliver derfor nødvendigt at tale med relevante aktører om, hvilke resultater (outcome-ændringer) der sigtes mod med indsatsen. Vurdere effekt (årsagsvirkningssamhæng) Spørgsmål vedrørende effekt handler om at klarlægge årsagsvirkningssammenhænge; at ændringer i outcome kan tilskrives indsatsen. Fx kan evalueringen af en arbejdsrehabiliteringsklub vise, at medlemmer af klubben er kommet i arbejde. Men kan det være, at de alligevel ville være kommet i arbejde? Forbedret samfundsøkonomi kunne betyde, at der var brug for flere på arbejdsmarkedet også de med et mindre handicap. Evalueringen vil her lægge vægt på spørgsmål, som klarlægger hvorvidt en indsats medfører/fører til/er årsag til en ønsket effekt. Ofte glemmer man at sætte fokus på at få belyst bi-effekterne (negative såvel som positive). Dette kan gøres ved at anvende: 1. projektmedarbejdernes erfaringer om lignende sociale processer 2. den kritik der har været af projektet/indsatsen 3. litteraturen på området om lignende indsatser Vurdere faktorers påvirkning Hvis vi har den rette viden om processer, kan vi se om bestemte egenskaber ved indsatsen leder til bedre eller dårligere outcomes. Hvis vi for eksempel ved, om unge piger med spiseforstyrrelse har modtaget information i grupper eller individuelt, kan vi analysere hvorvidt gruppe-diskussioner førte til bedre outcomes end den samme information givet individuelt. På samme måde, hvis vi ved om informationen blev formidlet af en sygeplejerske eller terapeut, vil vi kunne undersøge effekten af denne variabel. Men det kræver, vi har de nødvendige data, for at kunne lave analyser af denne karakter. Indsatsens forandringsteori er her en stor hjælp, hvor fokus vil være på kasserne i forandringsteorien (i modsætning til nedenfor ved forklaring/forståelse, hvor der er fokus på pilene mellem kasserne). Forklaring/forståelse af virksomme mekanismer Ofte er der brug for at vide mere end blot hvad der skete eller hvad der virker, men også hvordan og hvorfor det skete/virker. Både i forhold til politikformulering, projektudvikling og læring (på tværs af lokationer og projekter) kan det være nødvendigt at vide, hvorfor en indsats kom ud med et bestemt resultat. Hvis man ønsker at øge sandsynligheden for succes, hjælper det at vide noget om grundene til succes eller det modsatte. Dette kan gøres ved på baggrund af data at realitetsteste og udvikle indsatsens/projektets forandringsteori (med særligt fokus på pilene i forandringsteorien). 17

17 Økonomi Hvad er prisen per output og effekt? Samfundsøkonomisk/ driftsøkonomisk/ kasseøkonomisk perspektiv En økonomisk evaluering er en sammenlignende analyse af anvendelsen af alternative indsatser, både med hensyn til deres omkostninger og gevinster. Når udgangspunktet er samfundet opgøres de økonomiske konsekvenser for hele samfundet, dvs. alle, der direkte eller indirekte bliver berørt af indsatsen, vurderes og medtages. Styrken er, at alle omkostninger medregnes uanset hvem der bærer disse. Det overordnede spørgsmål i fx en cost-benefit evaluering: Er benefits større end costs? Der kan også anlægges andre perspektiver, hvor de medtagne konsekvenser i stedet for samfundet afgrænses til kommunen eller forvaltningen. Kommunerne vil typisk være interesseret i økonomiske analyser af mere kasseøkonomisk karakter, hvor det undersøges hvilke kasser udgiftsbyrden tilfalder ved anvendelse af en social indsats. Det vil typisk være relevant for den enkelte kommune at vide, om der er behov for såkaldte investeringsbehov og driftsudgifter i forbindelse med indførsel implementering af ny social indsats. Til forskel fra en samfundsøkonomisk analyse, hvor omkostninger og konsekvenser vurderes bredt for alle i samfundet, så fokuserer både kasse- og driftsøkonomiske analyser alene på udgifter (og indtægter) målt i kroner og øre for den enkelte kasse eller forvaltning og dens budget/regnskab (Statens institut for Medicinsk Teknologivurdering 2000). Spørgsmål om omkostninger og effektivitet vil fx være: Anvendes ressourcerne effektivt? Er omkostningerne ved indsatsen rimelige i forhold til fordelene? Vil alternative indsatser kunne opnå samme eller flere fordele/effekt til lavere omkostninger? I figur 2 illustreres, hvordan forskellige typer af evalueringsspørgsmål hænger sammen med styrelsens RBS-arbejde. Figur 2: Evalueringsfokus 18

18 Ofte befinder man sig i en situation, hvor der er flere evalueringsspørgsmål, end der er ressourcer til at få besvaret. Derfor handler det om at få udvalgt og prioriteret de spørgsmål, som er mulige at få besvaret, som er relevante, og som vil gøre den største forskel (se figur 3). Figur 3: Hensyn ved prioritering af evalueringsspørgsmål Sandsynlighed for svarene anvendes i beslutningstagning Interessenters interesser Fremtidige beslutninger Politisk kontekst Liste over temaer og spørgsmål Netto-liste med spørgsmål Sandsynlighed for at få svar på spørgsmålene Skema 9 kan anvendes til at få et overblik over og prioritere evalueringsspørgsmålene i forhold til centrale relevanskriterier. Skemaet udfyldes ved at placere krydser der, hvor man kan svare positivt. Jo flere spørgsmål uden krydser desto mere bør det overvejes, om evalueringsspørgsmålet skal med i evalueringen. Nogle punkter er mere afgørende end andre. Hvis det fx ikke er muligt at besvare spørgsmålet med relevante datakilder (fremskaffe data), bør spørgsmålet ikke stilles. 19

19 Skema 9: Prioritering af evalueringsspørgsmål Vil evalueringsspørgsmålet Opfylde et vigtigt vidensbehov for de primære interessenter til evalueringen (skema 4) Reducere nuværende usikkerhed Evalueringsspørgsmål Spørgsmål 1 Spørgsmål 2 Spørgsmål 3 Spørgsmål Bidrage med vigtig ny viden i koncernens modning af nye tiltag, metoder eller indsatser Være afgørende vigtig for evalueringen Være gennemførlig i forhold til: Ressourcer (tid, økonomi og kompetencer/hr) Tilgængelige metoder og teknologi Datakilder Såfremt dine evalueringsspørgsmål lægger op til en vurdering af evaluanden (projektet, indsatsen, metoden), bør du afklare: hvilke kriterier skal lægges til grund for evalueringen? hvilke norm eller standard skal ligge til grund? Hvor godt skal evaluanden gøre det? Evaluering handler om at vurdere, om noget er godt eller dårligt har succes eller ej. Det kræver at kriterierne og standarderne, der anvendes til at vurdere succes, er specificeret. Nogle evalueringsspørgsmål kræver en specificering af kriterier og standarder for at kunne lave den vurdering, som spørgsmålet fordrer. Typisk vil det være politisk fastsatte krav til en indsats, der udgør kriterierne i en evaluering. Disse vil (oftest) være at finde i udmøntningsnotatet og/eller projektbeskrivelse, hvor de kan være formuleret som ønskede outcomes eller SMART-sikrede mål. Men det kan også være andre kriterier (fx brugernes kriterier for god indsats). Det er vigtigt, at valgte kriterier begrundes. Der findes forskellige måder, at arbejde med kriterier på (se skema 10). Skema 10: Tilgang til valg af kriterier Tilgang Deskriptiv Præskriptiv Beskrivelse Evaluator fremlægger og beskriver et sæt kriterier, som allerede eksisterer. Det er typisk de kriterier, som er at finde i udmøntningsnotater, projektbeskrivelser mv. De er med andre ord udtrykt af en politisk myndighed. Evaluator skal bestemme de bagvedliggende kriterier så præcist som muligt. Evaluator udleder ikke kriterierne af et foreliggende materiale, men argumenterer selv for hvilke kriterier, der kvalificerer til at danne grundlag for evalueringen. Begrundelse for hvorfor skal ske ud fra bestemte kriterier og ikke andre. I skema 11 defineres begreberne kriterier og standarder, og der gives eksempler. 20

20 Skema 11: Kriterier og standarder/normer Hvad Kriterier Kommentar Er de aspekter, kvaliteter og dimensioner, der adskiller en mere værdifuld eller succesfuld evaluand fra én, der er mindre værdifuld eller succesfuld. En jobtræningsindsats kunne vurderes i forhold til forskellige kriterier: Tiltænkte deltageres deltagelse, deltagernes tilfredshed med indsatsen, deres indlæring af centrale redskaber og anvendelse af disse redskaber på jobbet, deltagernes jobstatus Standarder /norm Meget ofte vil de på forhånd definerede mål for indsats indgå som kriterier for en indsats. Fx målet at få deltagerne i arbejde. Evalueringsspørgsmålet: Er deltagerne kommet i arbejde? Kriteriet vil være deltagernes jobstatus eller deres tilknytning til arbejdsmarkedet. Er det præstationsniveau som forventes på hvert kriterium (hvor godt skal indsatsen gøre det). - Projektets anførte mål og målsætninger - Professionelle standarder - Lovkrav - Sædvanlig praksis - De behov eller ønsker der hos målgruppen - Tidligere præstationer - Mål formuleret af projektleder - Udtalelse fra ekspert/sagkyndig - Førmåling/baseline måling for målgruppen - Forhold, der forventes i fravær af projektet/indsatsen (kontrafaktisk) - Omkostninger eller relative omkostninger En standard for deltagelse på et jobtræningskursus kan være, at 95% af de, der påbegyndte kurset, fuldfører kurset. En standard for jobansøgninger kan være, at 75% af de, der har gennemført kurset, anvender mindst én ud af tre på kurset præsenterede planlægningsredskaber. Det kan være en meget kompleks affære at specificere et tal, som skal afspejle succes, ganske enkelt fordi det kan være svært at vide, hvad man kan forvente. Der findes to typer af standarder: Absolutte standarder: Nogle gange vil der være et politisk krav om specificering af absolutte standarder. Standarder skal typisk være eksplicit formuleret på forhånd, men findes nogle gange ved inddrage relevante og centrale aktører i en mere bottom-up præget proces. Relative standarder: I nogle tilfælde kan absolutte standarder være unødvendige. I tilfælde med sammenligning af grupper eller indsatser (det kan være kontrolgrupper). Her handler det om at undersøge, om en ny indsats/praksis har bedre resultater eller færre negative sideeffekter end eksisterende indsats/praksis. Det kan også være en sammenligning nuværende resultat med tidligere resultat. 21

21 6. Ressourcer og budget Hvilke ressourcer er til rådighed for evalueringsarbejdet? (tid, penge og kompetencer). I projektbeskrivelsen er der typisk afsat en ramme til evalueringen. Øvelsen går her ud på at bringe budgettet i overensstemmelse med rammen. Dette kan fx have konsekvenser for hvilke og hvor mange evalueringsspørgsmål, man kan have, hvor og hvor mange møder man kan have i forløbet mv. Beregning af budgettet for evaluering: Hvor mange dages arbejde og for hvor mange mennesker forventer man? (Vær opmærksom på at hvis der er tale om et team, der arbejder på projektet, så beregnes der for alle personer, som vil deltage i fx møderne). Er det nødvendigt med rejser og ophold (fx forandringsworkshops i kommunerne) Hvor mange møder vil der være? Vil der være workshops o.lign.? I skema 12 gives et eksempel på hvordan man kan beregne et evalueringsbudget. Man vælger selvfølgelig de aktiviteter, som er relevante for den pågældende evaluering. Med hensyn til feltarbejde og analyse vil man kunne hente relevante oplysninger fra skema 13 (dataplanlægningsmatricen). Skema 12. Eksempel på hvordan budgettet kan beregnes Aktivitet Enhed Personer Pris pr. enhed Total Planlægning dage personer kr. Dage x personer x kr. Forberedelse timer personer kr. Timer x personer x kr. Feltarbejde Analyser Møder Rejser Rapporter Total 22

22 7. Metodevalg Metodevalg følger evalueringsspørgsmålene. Når du som evaluator ved, hvilke spørgsmål din evaluering skal give svar på (hvad), så vælger du de metoder, der kan give svar på spørgsmålene (hvordan). Her kan man spørge: a. Hvad skal jeg vide? b. Hvilke slags data vil besvare dette spørgsmål? c. Hvor eller hvordan kan jeg skaffe sådanne data? Findes der tilgængelig viden i forvejen? Hvilke metoder skal bruges? Udvælgelse (sampling) af svarpersoner? d. Hvad er de væsentligste metodiske problemer, f.eks. validitet? e. Hvad er de praktiske følger mht. tid, kontakter, m.m. f. Evalueringskriterium (se skema 11) g. Evalueringsstandard (se skema 11) h. Hvordan skal data analyseres (analysestrategi)? Disse spørgsmål kan stilles i forbindelse med hvert underspørgsmål. Så har man en dataplanlægningsmatrice (se skema 13). Skema 13: Dataplanlægningsmatrice Underspørgsmål 1 a b c d e Underspørgsmål 2 Underspørgsmål 3 Validerede målemetoder Hvis du skal gennemføre en effektevaluering, skal du være opmærksom på, om koncernen på dit fagområde har udvalgt en eller flere validerede målemetoder, som skal anvendes i effektevalueringer. Formålet med de validerede målermetoder er at sikre sammenlignelige data om effekt på tværs af koncernens evalueringer. 23

23 8. Kommunikation Hvordan skal evalueringsresultaterne formidles? I hvilke(n) form(er), til hvem, hvornår? Hvad skal med? (data, analyse, konklusioner, vurderinger, anbefalinger?). Der skelnes i det følgende mellem ekstern og intern kommunikation. Intern handler om den løbende kommunikation til projektet, som har til formål at bidrage til udviklingen af projektet og understøtte implementeringen. I forbindelse med formidling, såvel ekstern som intern, skal man sikre at denne overholder gældende regler for tilgængelighed for mennesker med handicap. Ekstern kommunikation Kommunikationsenheden inddrages så tidligt som muligt i evalueringen for at sikre en målrettet kommunikation i overensstemmelse med styrelsens kommunikationsstrategi. Rådgivning fra Kommunikation sker i et tæt samarbejde mellem projektleder og en eller to kommunikationsrådgivere, og der udarbejdes oftest en kommunikationsplan. Kommunikationsrådgivning skal sikre, at kommunikationsaktiviteterne i evalueringen er målrettede og sker med størst mulig troværdighed og anvendelighed for målgruppen. I rådgivningen indgår følgende elementer: Målgrupper for kommunikationen Succeskriterier for projektet og heraf afledte succeskriterier for kommunikationen Budskaber, som gør projektet anvendeligt for evalueringens målgruppe Konkrete kommunikationsaktiviteter og leverancer Intern kommunikation Intern kommunikation er typisk relevant i forbindelse med formative evalueringer. Der skal her tages stilling til: 1. Er relevante modtagere af evalueringsviden identificeret? 2. Hvilken viden skal rapporteringen formidle? 3. Hvilken karakter har rapporteringen (statusrapport, midtvejs, afsluttende, mundtlig, skriftlig?) 4. Hvilken form skal rapporteringen have (møde, workshop?) 5. Hvad skal med i rapporteringen (data, analyse, konklusioner, vurderinger, anbefalinger?) 6. Hvornår skal der ske rapportering? Skema 14: Procedurer for rapportering/kommunikation 1. Hvem 2. Hvilken viden/spørgsmål Projektgruppe Projektdeltagere Departement 3. Karakter 4. Form 5. Hvad skal med 6. Hvornår Se i øvrigt skema 4 med potentielle interessenter. Vær opmærksom på om alle interessenter er tilgodeset i forhold til kommunikation. Nogle interessenter er kun relevante i forhold til ekstern kommunikation. 24

24 9. Retningslinjer Hvilke retningslinjer vil man overholde i evalueringsarbejdet, f.eks. etisk kodeks? Anonymisering af personer der bidrager til evalueringen? Offentliggørelse af evalueringsrapporten? Hvem har rettighederne til data, rapporter mv.? Her skal du særligt være opmærksom på etiske retningslinjer, regler og lovgivning omkring dataindsamling og beskyttelse af personfølsomme oplysninger. Kontakt Datatilsynet, hvis du er i tvivl om den relevante lovgivning. De etiske aspekter ved dataindsamling knytter sig især til sårbare grupper, herunder Børn og unge (forældre bør informeres og samtykke til dataindsamling) Borgere i krisesituationer Borgere med kognitive handicap eller kommunikationshandicap Tilfælde, hvor borgerens trivsel og sikkerhed kan blive belastet af dataindsamlingen Borgere, der taler dårligt dansk I disse tilfælde bør du nøje overveje, hvordan du gennemfører din dataindsamling. Derudover bør det være tydeligt for evalueringens informanter (medarbejdere og borgere, der indgår i dataindsamlingen), om de optræder anonymt i evalueringens afrapportering eller ej. 10. Tidsplan I tidsplanen specificeres, hvem der gør hvad hvornår. Det er afgørende for gennemførelsen af en evaluering, at der udvikles en tidsplan. Det første skridt i en sådan proces er at identificere kritiske milepæle og slutdato. Det kan være datoer, hvor centrale beslutningstagere skal have noget bestemt viden/information, eller hvor der skal foreligge afsluttende afrapportering eller midtvejsrapporter. Med udgangspunkt i disse datoer, arbejder man sig baglæns i tidsplanen. Skema 15: Eksempel på tidsplan (simpel tidsplan) Aktiviteter Aug Sep Okt Analyse af databasedata Spørgeskemadesign Temamøde Opsætning af webbaseret spørgeskema Pilottest af spørgeskema Udsendelse af spørgeskema Indtastning af data Kvalitetssikring af data og oparbejdning af SPSS-fil Analyse af surveydata Afrapportering 25

25 Når evalueringsopgaven sendes i udbud Dette kapitel skal fungere som en kort vejledning til at gennemfører et evalueringsudbud. Hvis du er i tvivl, om evalueringsopgaven bør løses ved udbud, kan du konsultere EvalueringsGuidens afsnit 3 skema 5. Oversigt over støtteredskaber i forbindelse med evalueringsudbud Når der er truffet beslutning om, at evalueringsopgaven skal i udbud, skal du som projektleder i gang med at planlægge udbudsprocessen. Denne vejledning har fokus på at støtte dig i at lave et godt udbudsmateriale (fase 1 i figuren herunder). Udbudsmaterialet er grundlaget for en god evaluering, men du skal være opmærksom på, at udbudsprocessen indeholder flere faser: Oversigt over faser i et evalueringsudbud FASE 1: Evalueringsudbud FASE 2: Tilbudsvurdering FASE 3: Kontraktindgåelse FASE 4: Styring af udbuddet NB. Undervurder ikke de opgaver, som knytter sig til hver af faserne! Selvom det kan være besnærende at få de første faser af udbudsprocessen overstået hurtigt, skal du huske på, at kvaliteten af udbuddet samt valg af leverandør vil få afgørende betydning for kvaliteten af det endelige produkt. Du kan med fordel være opmærksom på disse støtteredskaber: Tabel 1: Oversigt over støtteredskaber til evalueringsudbud Støtteredskab Giver vejledning til Retningslinjer for Når du går i gang med at planlægge evalueringsudbuddet skal du indsamling af aktuelt være opmærksom på koncernensfor indsamling af aktuelt bedste bedste viden. viden. Dit evalueringsudbud skal muligvis opfylde visse krav til den viden, som indsamles. Søg rådgivning i Metode-enheden eller spørg din nærmeste leder, hvis du er i tvivl. Vidensdeklarationen Vidensdeklarationen angiver, hvad vi ved og hvad vi ikke ved om bestemte sociale indsatser og metoder. Samtidig giver Vidensdeklarationen et overblik over alle de spørgsmål, vi gerne vil have svar på om en indsats/metode. Derfor kan du bruge Vidensdeklarationen til at opstille de relevante evalueringsspørgsmål i dit udbudsmateriale. EvalueringsGuiden EvalueringsGuiden, som du har i hånden, hjælper dig med at afgrænse evalueringsopgaven og til at definere de evalueringsspørgsmål, som evalueringen skal give svar på. Hvis du udfylder EvalueringsGuiden, er du klædt godt på til at skrive evalueringsudbuddet Kvalitetsvurdering af Beskriver de kvalityetskrav, som det endelige evalueringsprodukt 26

26 evalueringsopgaver Drejebog for udbud skal leve op til. Udbudsteamet har skrevet en drejebog for udbud, som du bør læse igennem, inden du planlægger evalueringsudbuddet. Her finder du hjælp og vejledning til at håndtere udbudsreglerne. Du finder også praktiske råd og vejledning til hele udbudsprocessen. Endelig har Udbudsteamet også lavet en række skabeloner til udbudsmaterialet, som du skal anvende. Husk også, at produkterne i udbuddets faser skal godkendes på relevant beslutningsniveau (fx departementet, chefgruppen, din nærmeste leder, en styregruppe for dit projekt eller andet). I satspuljeprojekter skal evalueringen leve op til formuleringerne i udmøntningsnotat og projektbeskrivelse. Vejledning og sparring Det er en god idé at søge vejledning og sparring om evalueringsudbuddet i Socialstyrelsens Metodeenhed, som betjener hele koncernen i evalueringsspørgsmål. Metode kan hjælpe dig med at indkredse og fokusere evalueringsopgaven i forhold til det formål, som evalueringen skal opfylde. Du kan også få sparring af: Udbudsteamet: Rådgiver om udbudsjuridiske forhold Koncernkommunikation: Hjælp til offentliggørelse af udbud i nyhedsbrev og formidling af evalueringsviden Beskriv evalueringens formål og evalueringsspørgsmålene Når du skal skrive udbudsmaterialet, er det vigtigt at begynde med en afklaring af: I. Hvad formålet med evalueringen er, og II. Hvad evalueringen skal give svar på (evalueringsspørgsmålene). Når du har dette på plads, er du langt i forhold til at kunne skrive selve udbudsmaterialet. Og desto tydeligere du kan beskrive evalueringens formål og evalueringsspørgsmålene, desto bedre tilbud vil du modtage. Du kan bruge EvalueringsGuidens spørgsmål under afsnit 2 og 5 til at indkredse evalueringens formål og evalueringsspørgsmålene. Ofte vil et eller flere af disse tre overordnede spørgsmål i tilpasset form skulle indgå: a) Virker metoden/indsatsen? b) Hvad koster det at anvende metoden/indsatsen? c) Hvordan implementeres metoden/indsatsen? Men det er naturligvis vigtigt, at du tilpasser og supplerer disse basisspørgsmål, så evalueringsspørgsmålene samlet set dækker evalueringens formål. Når du har beskrevet evalueringsspørgsmålene, vil interesserede leverandører ud fra dit udbudsmateriale og på baggrund af deres evalueringsekspertise kunne afgive et kvalificeret tilbud 27

27 med et forslag til, hvordan evalueringsopgaven kan løses, så den giver svar på evalueringsspørgsmålene, og eventuelt med forslag til supplerende evalueringsspørgsmål. Andre opmærksomhedspunkter Inden du skriver udbudsmaterialet er der nogle øvrige opmærksomhedspunkter, du skal afklare, bl.a. Økonomi: Hvilke midler er der til evalueringsudbuddet? Husk at afsætte interne timer til at styre evalueringsudbuddet. Husk at angive udbudsrammen ekskl. moms. Milepæle og leverancer: Vigtige milepæle i projektet og tidsfrister for (del-)leverancer i udbudsmaterialet, så tilbudsgiver kan indregne det i sin tidsplan. Organisering og samarbejde: Beskrive en organisering i udbudsmaterialet for styringen af evalueringsudbuddet (ofte en styregruppe), samt krav om inddragelse af væsentlige interessenter eller eksperter (ofte en følgegruppe). Beskriv kravene til samarbejde, fx statusnotater, periodiske møder mv. Tildelingskriterier: Det er vigtigt i udbudsmaterialet at være omhyggelig med at beskrive tildelingskriterierne. Det er disse kriterier, som du skal bruge til at vurdere de indkomne tilbud, og som tilbudsgiver vil bruge som rettesnor for, hvad de skal lægge vægt på i deres løsningsforslag. Det kan være en god idé at få sparring af Metode og/eller Udbudsteamet på dine tildelingskriterier. Disposition for udbudsmaterialet Du bør anvende Udbudsteamets skabeloner til dit udbudsmateriale. Følgende disposition er et forslag til, hvordan du kan beskrive selve evalueringsopgaven i udbuddet: 1. Baggrunden for evalueringsudbuddet: Politisk og/eller faglig kontekst for dit projekt samt en beskrivelse af den indsats, der skal evalueres. Hvorfor er projektet sat i værk, og hvordan skal projektet og evalueringen bidrage til faglig udvikling? 2. Formålet med evalueringen: Hvorfor skal der gennemføres en evaluering; hvilken type viden efterspørges og hvilke beslutningssituationer eller udviklingsprocesser føder evalueringen ind til? 3. Målgruppe for evalueringen: Hvem henvender evalueringen sig til? Hvem skal læse og anvende evalueringen? 4. Evalueringsspørgsmål: Hvilke evalueringsspørgsmål skal evalueringen besvare? Evalueringsspørgsmålene er bestemmende for, hvad for en viden, der kommer ud af evalueringen. 5. Beskrivelse af evalueringsopgaven: Her inddeles evalueringen eventuelt i delopgaver (beskriv gerne kort et delformål for hver delopgave). I dette afsnit beskrives konkrete krav og forventninger til tilbudsgivers løsningsforslag. 6. Organisering og samarbejde: Hvilke krav skal der stilles til leverandøren omkring organisering og samarbejde? Leverandørens forpligtigelser over for opdragsgiver og eventuelle interessenter. 28

28 7. Milepæle og leverancer: Hvilke væsentlige milepæle og leverancer skal leverandøren tage højde for i sit løsningsforslag? 8. Økonomi: Hvad er den økonomiske ramme, herunder eventuelle krav til fordeling af midler på delopgaver? Krav vs. metodefrihed i evalueringsudbuddet Der kan være forskellige holdninger til og erfaringer med, hvor meget man i udbudsmaterialet skal stille detaljerede krav til tilbudsgivers løsningsforslag. I evalueringsudbud vil man typisk kunne stille krav om et bestemt evalueringsdesign eller anvendelsen af bestemte dataindsamlingsmetoder. Ved effektevalueringer skal du være opmærksom på, at koncernen har udpeget en række validerede måleredskaber, som du skal benytte, hvis de er relevante for dit projekt. Men det kan også være krav til fx en bestemt formidlingsform (ofte en evalueringsrapport). Du skal huske i udbudsmaterialet at formulere krav til opgaveløsningen de steder, hvor du som opdragsgiver ikke kan acceptere andre løsninger en én bestemt løsning. Omvendt bør du ikke formulere egentlige krav de steder, hvor det ikke er nødvendigt. Du skal huske på, at hvert krav du stiller, fratager tilbudsgivere muligheden for at udnytte deres ekspertise til at formulere gode løsninger, som du måske ikke selv havde tænkt over. Samtidig skal du være sikker på, at de krav, du stiller, er fornuftige og gennemtænkte. Udbudsmaterialet og det vindende tilbud vil indgå i den kontrakt, som du skal bruge til at styre resten af evalueringsudbuddet med. Derfor er det vigtigt, at udbudsmaterialet og tilbuddet præcist beskriver opgaveløsningen og kvaliteten af de produkter, der skal leveres. Hvis du stiller specifikke krav i udbudsmaterialet til opgaveløsningen, sikrer du dig, at disse krav er med i kontrakten. Omvendt kan der som nævnt være gode grunde til at formulere et mere åbent udbud. Du kan dog stadig stille krav om (eller lade det indgå i tildelingskriterierne), at tilbudsgiver er præcis i sin formulering af tilbuddets løsningsforslag. På den måde får du alligevel de ønskede faste formuleringer med i kontrakten. I nogle tilfælde afhængigt af evalueringens formål - er det ikke hensigtsmæssigt, at leverandøren lægger sig fuldstændig fast på et endeligt evalueringsdesign allerede i sit tilbud. Det kan fx være, hvis der er lagt op til, at evalueringen indledes med desk studier, interessent- eller ekspertinddragelse, forandringsworkshops til udarbejdelse af evalueringens forandringsteori eller lignende. Her har du i udbudsmaterialet mulighed for at beskrive en delleverance, hvor den valgte leverandør på baggrund af en indledende forberedelse skal tilpasse sit evalueringsdesign i en metodenote. Når evalueringen er afsluttet: Vidensformidling og kvalitetsvurdering Når evalueringen er færdig, og der foreligger et endeligt evalueringsprodukt, kan udbuddet afsluttes. Du skal huske, at det ved afslutningen af et evalueringsudbud er vigtigt, at evalueringsviden formidles og forankres i din organisation. Kun på den måde kan vi sikre, at Social- og 29