Evalueringens hvad, hvorfor og hvordan

Evalueringens hvad, hvorfor og hvordan Peter Sørensen Lektor, mag. art & ph.d. Center for Anvendt Velfærdsforskning University College Lillebælt Mail: peso@ucl.dk Telefon: 29368390 Henvisning/reference til artiklen: Sørensen 2018, UC Viden

Evalueringens hvad, hvorfor og hvordan Resume Formålet med artiklen er at forklare en række centrale evalueringsbegreber samt introducere udvalgte evalueringsmodeller, som man bør kende til, når man skal bestille eller gennemføre en evaluering. Der stilles og besvares tre spørgsmål: Hvad, hvorfor og hvordan? Artiklen er struktureret således, at hvert spørgsmål besvares i hver sin del. Første del forklarer, hvad der skal forstås ved begreberne evaluering og model. Anden del forklarer, hvorfor man evaluerer, medens tredje del forklarer, hvordan man kan evaluere vha. en række forskellige evalueringsmodeller. Artiklen rundes af med en redegørelse for og kortfattet diskussion af, hvorfor evaluering er alt andet end videnskab. Nøgleord: evalueringsbegrebet, værdi, vurdering, evalueringsmodeller, videnskab 1

Indledning Meget evalueres i den danske velfærdsstat (Dahler-Larsen 2013; Bredgaard 2016). Allerede i 2004 skriver Dahler-Larsen, som en del af Magtudredningen (Dahler-Larsen 2004), at samfundet nærmest oversvømmes af evalueringer. I 2018 gælder det stadig. Politik, projekter, indsatser, uddannelser, aktiviteter, ydelser og forløb evalueres i et væk. Evaluering er tilsyneladende (stadig) et populært styringsinstrument, der betragtes som en naturlig, forventelig eller ligefrem obligatorisk proces i tilknytning til offentlig virksomhed (Ibid.). Det gælder i og for sig også i det private erhvervsliv. Her er evaluering også en naturlig proces, idet man beregner cost benefit og return of investment (ROI). Forskellen på, hvordan evalueringer anvendes i henholdsvis den offentlige og den private sektor er, at medens enhver produktionsproces i det private erhvervsliv er tilrettelagt ud fra en cost-benefit-analyse, så er serviceydelser i den offentlige sektor gennem mange år blevet målt og vurderet ud fra andre kriterier end de rent økonomiske. Lidt forenklet (og meget karikeret) sagt kan man sige, at det private erhvervsliv primært fokuserer på profit, medens det offentlige fokuserer på at skabe og udvikle velfærd til gavn for hele befolkningen. Hvordan det offentlige så har prioriteret opgaveløsningen har været afhængig af hvilken politik man har ført i landets kommuner, regioner (tidligere amter) og i Folketinget. Denne karikatur holdt dog kun til i starten af 80 erne, hvor man gradvist begynder at indføre New Public management (NPM). Uden at gå ind i en diskussion af fordele og ulemper ved NPM vil de fleste dog formegentlig acceptere, at med indførelsen af NPM i den offentlige sektor, introduceres mekanismer, værdier og rationaler fra den private sektor til den offentlige sektor. Med NPM følger naturligt et fokus på og behov for at dokumentere præstation, indtjening, udbytte og effekt. For at kunne dokumentere, er man nødt til at måle og vurdere man er nødt til at evaluere. Men hvad er det egentlig man gør, når man evaluerer, og hvordan kommer man i gang, hvis man selv skal til at evaluere, bestille en 2

evaluering eller gerne vil kunne forholde sig kritisk til en evaluering? Det søger denne artikel at give svar på. Jeg fokuserer på den offentlige sektor, og starter med at spørge til det begreb, som det hele handler om: Hvad er evaluering? Hvad? Den Danske Ordbog skriver, at oprindelsen af verbet evaluere er kendt fra 1970 fra fransk évaluer 'vurdere', afledt af oldfransk value 'værdi' (Det Danske Sprog- og Litteraturselskab 2017). Slår man op i Den Store Danske står der om substantivet evaluering, at det betyder, at vurdere (Rieper and Skov 2017). Endvidere står der, at Begrebet blev indført i dansk uddannelsesterminologi i slutningen af 1960'erne [altså 10 år tidligere end, hvad Den Danske ordbog anfører; PS], da der opstod behov for noget mere omfattende end den almindeligt anvendte karaktergivning. Evaluering er en måling, hvis resultater sættes i relation til andre målinger, normer eller kriterier (Ibid). Dette er altså ordets etymologiske oprindelse, der samtidig angiver en dagligdags betydning af ordet. Herudover anvender evalueringsforskere, -teoretikere og evaluatorer en række forskellige teoretiske definitioner. Evert Vedung, en af Skandinaviens mest anerkendte evalueringsforskere, anvender en teoretisk definition, der siger, at evaluering er en omhyggelig retrospektiv vurdering af administration, præstationer og resultater af offentlig virksomhed, som tænkes at spille en rolle i praktiske beslutningssituationer (Egen oversættelse af Vedung 2009, p. 22). Denne definition fastslår, at det at evaluere grundlæggende handler om, at vurdere en handling, indsats, aktivitet, intervention, præstation, resultat, forvaltning eller en organisering med henblik på, at vurderingen kan indgå i en beslutning. Men med denne definition lægger Vedung sig fast på en smal forståelse af begrebet evaluering. For det første koncentrerer Vedung sig udelukkende om offentlig 3

virksomhed. Men, kan man sige, der evalueres jo også andre steder end i det offentlige. For det andet fokuserer Vedung primært på begrebet vurdering, der, om end den skal være omhyggelig og retrospektiv, ikke redegør nærmere for, hvordan den skal foregå. Til Vedungs definition er det værd at bemærke, at en del andre teoretiske definitioner påpeger, at den vurdering, som foregår, når man evaluerer, benytter en systematisk, analytisk fremgangsmåde (se fx. Krogstrup 2006; Shaw, Greene, and Mark 2006). Det er med andre ord ikke nok at vurdere, hvilket Vedung (2009) også skriver andre steder (Ibid. P. 21). Men hvis vurderingen skal foregå systematisk og analytisk, kan man naturligvis spørge, hvordan det gøres, hvilket gennemgås i sidste del af artiklen under overskriften Hvordan? Men inden vi kommer så langt vil jeg kort redegøre for, hvorfor jeg i det ovenstående har kursiveret ordet vurdering. Det handler om, hvorfor vi egentlig vurderer? Hvorfor? Vurdering betyder at tilskrive værdi til noget, hvilket gør det klart, at evaluering per definition indeholder et værdimæssigt og meget ofte et normativt aspekt. Det værdimæssige aspekt handler om, hvorvidt man finder evaluanden (det som evalueres) positiv eller negativ, værdifuld eller værdiløs. Det naturlige spørgsmål vil så være: Værdifuld i forhold til hvad, ud fra hvilken målestok? Som svar på det spørgsmål kan man for det første sige, at såfremt man mener, at noget besidder intrinsisk (indre/implicit) værdi, hvorved man mener, at noget har værdi i sig selv (fx kærlighed, hygge og lykke), så kan man ikke tale om, at gøre dette til genstand for evaluering. Fænomener med intrinsisk værdi kan ikke vurderes i forhold til noget andet eller ud fra nogen anden målestok end fænomenet selv. Det er hvad der ligger i ordet intrinsisk. Går vi derimod ud fra, at et fænomen ikke besidder intrinsisk værdi, så har det ekstrinsisk (ydre/eksplicit) værdi. I det tilfælde kan man 4

begynde at tale om evaluering, idet man kan tilskrive fænomenet værdi i forhold til noget andet end, hvad der er indeholdt i fænomenet selv. Når man evaluerer, dvs. tilskriver værdi til en evaluand, så foretager man enten en deskriptiv (beskrivende) eller en præskriptiv (foreskrivende) vurdering (Vedung 2009, p. 188). Ved deskriptiv vurdering bedømmes evaluanden (fx et program, en intervention eller en aktivitet) ved at man undersøger, hvorvidt evaluanden lever op til de mål, som er formuleret for evaluanden og, som meget ofte i den offentlige sektor, er baseret på borgeres, brugeres og/eller professionelle opfattelser af værdi og kvalitet (Ibid.). Deskriptiv evaluering handler derfor basalt set om at undersøge og registrere forhold vedrørende evaluanden så objektivt og neutralt, som overhovedet muligt. Foretager man derimod en præskriptiv vurdering, så opstiller evaluator -ofte i samarbejde med den/dem, som har bestilt evalueringen- selv vurderingskriterier og standarder, som ud fra et kritisk perspektiv vurderer evaluanden (Vedung 2009, p. 188). Præskriptive vurderinger kan eksempelvis undersøge, hvorvidt evaluanden lever op klienters, studerendes eller arbejdsmarkedets behov, bevilget økonomi eller, hvorvidt evaluanden er logisk og konsistent. Hvad enten man har vurderet evaluanden deskriptivt eller præskriptivt, så kan vurderingen efterfølges af, hvad man kan kalde evalueringens normative aspekt. En evaluerings normative aspekt indebærer, at den, som har bestilt en evaluering tager beslutning om, hvorvidt evaluanden, dvs. det som er blevet vurderet/evalueret, fx et uddannelsesprogram eller en beskæftigelsesindsats skal fortsættes som hidtil, ændres eller måske afsluttes. Det skal bemærkes, at Dahler-Larsen (2013) også skriver om et normativt aspekt, som han kalder et konstitutivt modus ved en evaluering (Op.cit., p. 46). Han anvender betegnelsen for det, at en evaluator fremhæver særlige værdier ved evaluanden. Dahler-Larsens normative 5

modus [ ] forklarer, hvorfor noget er bedre end noget andet (Dahler-Larsen 2013, p. 45). Min brug af ordet normativ adskiller sig fra Dahler-Larsens, idet jeg taler om normativt aspekt som det at en gennemført evaluering anvendes til at vurdere, hvorvidt en given indsats eller aktivitet skal fortsættes, ændres eller lukkes. Men for overhovedet at komme så langt som til at evaluere og afslutningsvist eventuelt drage en konsekvens af evalueringen, er det nødvendigt at kende lidt mere til forskellige former for evaluering for at kunne tage stilling til, hvilken evalueringsmodel der er velegnet og derfor vil have gennemført. Hvis det valg skal være kvalificeret, så skal man både forstå, hvad en evalueringsmodel egentlig er, og man bør forud for valget forholde sig til en række fundamentale spørgsmål om, hvordan man går til værks, indsamler viden/data og gør denne/disse til genstand for vurderingen. Hvordan? Der findes et hav af evalueringsmodeller. Men for at blive i stand til at arbejde med en evalueringsmodel, må man gøre sig det klart, hvad en model er. En model ikke er en fuldstændig eller udtømmende afbildning af forhold i virkeligheden (Vedung 2009, p. 34). Dahler-Larsen og Krogstrup definerer en evalueringsmodel som et princip eller et hovedspørgsmål, der styrer evalueringen (Krogstrup and Dahler-Larsen 2009, p. 7). Vedung (2009, p. 34) skriver, at en model må forstås som en mulig fortolkning af eller et stillads for det, som modellen skal anvendes til. Endvidere skriver han, at det kan være en hjælp at tænke på en model, som et heuristisk redskab med hvilket man kan strukturere og systematisere en række spørgsmål og forestillinger om det, som skal betragtes (Ibid., p. 34). Skal man eksempelvis evaluere en kommunes beskæftigelsesindsats, så har man brug for en fremgangsmåde ved hjælp 6

af hvilken man kan gå til opgaven. Med andre ord, man har brug for et stillads, hvorpå man kan stå, og hvorfra man kan undersøge beskæftigelsesindsatsen. En evalueringsmodel kan derfor betragtes som en bestemt tilgang til en undersøgelses formål, teori, metode og analyse. Med inspiration fra Dahler-Larsen (2013) og Vedung (2009), kan man også sige, at en evalueringsmodel er som en tankekonstruktion, der er baseret på et logisk princip. Det logiske princip medfører, at et evalueringsspørgsmål skal besvares ved at benytte et sæt af kriterier (Ibid., p. 49). Det betyder, ifølge Dahler-Larsen, at valget af evalueringsmodel gør det muligt for en evaluator at opstille en klar, gennemtænkt og rendyrket argumentationslinje om fordele og ulemper ved en given model i en given situation (Dahler-Larsen 2013, p. 67). Det er vigtigt at bemærke, at når man evaluerer, så fortolker man. Dvs. man står på et stillads, hvorfra man kigger på det fænomen, som man evaluerer. Men på samme måde, som stilladser kan bygges op på mange forskellige måder, når håndværkere skal restaurere et hus (maleren ønsker det ofte på én måde, mureren på en anden, tagfolkene på en tredje etc.) så kan stilladset for en evaluering også bygges op på forskellige måder. Derfor findes der mange forskellige evalueringsmodeller. Nogle modeller er gode til nogle ting, andre modeller til noget andet etc. Modellerne vender vi tilbage til om lidt, men skal først lige se på yderligere overvejelser, som man bør gøre sig, når man skal til at arbejde med eller forholde sig til en evaluering. At arbejde med evaluering Evaluering er som nævnt en fremgangsmåde, der anvender systematisk dataindsamling til at vurdere værdien af en indsats, et program, fænomen el.lign. I en evaluering anvender man undersøgelsesdesign og dataindsamlingsmetoder på samme måde som man gør indenfor en lang række grene af videnskaberne. Men til forskel fra en del videnskabeligt arbejde adskiller evalueringsarbejde sig ved de problemer som en evalueringen adresserer. Hensigten med 7

evaluering er som nævnt, at spille en rolle i praktiske handlingssituationer (Vedung 2009). Det betyder, at hvor mange videnskaber forsøger at arbejder objektivt efter videnskabelige metoder, så ligger det i ordets betydning, at evaluering altid er og vil være værdibaseret. En evaluering er ikke objektiv i den forstand som eksempelvis store dele af natur- og sundhedsvidenskaben er. Når man evaluerer, tilskriver man værdi til det man evaluerer. Hvis ikke man tilskrev værdi, kunne man ikke evaluere. For at gå systematisk til værks i en evaluering anbefaler en del danske og internationale evalueringsgrundbøger, at man forholder sig til en række grundlæggende spørgsmål. Krogstrup (2006) anbefaler i lighed med Shadish et al. (1991), at man forholder sig til fire overordnede elementer: Hvad der er evalueringens genstandsfelt, evalueringens værdier, afledt viden af evalueringen og evalueringens anvendelse (Krogstrup 2006, p. 18). I en af de anerkendte internationale grundbøger om evaluering af Rossi, Freemann & Lipsey (1999) opstilles ni grundspørgsmål, medens Scriven (i Shadish, Cook, and Leviton 1991) opregner hele 18 punkter med spørgsmål og elementer som bestiller og evaluator bør have in mente ved arbejdet med evaluering. I det følgende vælges en blød mellemvej, idet jeg vil præsentere de 11 punkter, som jeg finder mest relevant at forholde sig til. At jeg vælger at præsentere 11 punkter skyldes, at vi i en dansk og skandinavisk kontekst i høj grad er præget af særligt to generelle grundbøger indenfor evaluering: Rieper (2004) og Vedung (2009). Begge bøger anvender et 11-punktsprogram for at sikre systematik i evalueringsarbejdet. De elleve punkter hos både Rieper og Vedung indeholder desuden Krogstrups og Shadish omtalte fire elementer og de fleste andre relevante punkter og spørgsmål fra den øvrige evalueringslitteratur. Med udgangspunkt Vedungs elleve-punktsprogram (Vedung 2009) i kan man sige, at når man skal i gang med eller bestille en evaluering, så bør man forholde sig til følgende spørgsmål: 8

1. Problemet: Hvad er det fundamentale problem, som skal undersøges? 2. Formål: Hvad er evalueringens formål? 3. Organisering: Hvem skal gennemføre evalueringen og hvordan skal den organiseres? 4. Principielle vurderingskriterier: Hvilke principielle værdikriterier, dvs. hvilken målestok, ligger til grund for bedømmelsen af det fænomen, det program eller den intervention, som skal evalueres? 5. Objektspørgsmålet: Hvordan kan fænomenet, programmet eller interventionen afgrænses og karakteriseres? Herunder kan der spørges, hvor vidt fænomenet, programmet eller interventionen er et middel for noget andet eller et mål i sig selv? 6. Implementering: Hvordan ser de administrative processer ud imellem fænomenets, programmets eller interventionens formelle iværksættelse og frem til slutmålene? 7. Hindringer for implementeringen: Hvad kan eventuelt hindre eller besværliggøre implementeringen? 8. Resultater: Hvad er interventionens resultater, dvs. interventionens output og outcomes på kort, mellemlang og lang sigt? 9. Effekter: Hvilke faktorer inklusive indsatsen forklarer resultaterne? 10. Praktiske vurderingskriterier: Hvilken værdi har fænomenet, programmet eller interventionen, når de principielle vurderingskriterier anvendes i praksis? 11. Anvendelse: Af hvem og i hvilket konkrete tilfælde skal evalueringen faktisk anvendes? Samt hvordan bliver den faktisk anvendt? 9

Et overblik over internationale evalueringsmodeller Når man har overvejet de ovennævnte spørgsmål og skal til at arbejde med evalueringer, kan man nemt blive overvældet af udbuddet af evalueringsmodeller. På dansk foreligger der flere glimrende lærebøger og introducerende artikler til evalueringsmodeller (Hansen 2001; Rieper 2003; Krogstrup 2006; Krogstrup and Dahler-Larsen 2009; Fx. Bredgaard 2016). Kigger man i den internationale evalueringslitteratur går en lang række modeller naturligvis igen fra den danske litteratur. Men der er også en lang række andre modeller og begreber på spil, hvorfor jeg idet følgende giver et kortfattet overblik over en række af disse (frit efter Preskill and Russ-Eft 2016). Behavioral Objectives Approach. Her fokuseres der på, i hvilken grad et mål er realiseret. Det primære spørgsmål, som leder denne evalueringsmodel er: Har produktet, programmet eller processen realiseret sit/sine mål? The Four-Level Model. Denne model anvendes oftest til at evaluere et uddannelses- eller træningsprogram/forløb. Modellen forbindes ofte med Kirkpatrick (1977). Modellen fokuserer på fire forskellige slags udbytte (outcome) af uddannelse/træning: reaktioner, læring, adfærd og resultater. Det primære spørgsmål, som leder denne evalueringsmodel er: Hvilken indvirkning (impact) har uddannelsen/programmet haft på deltagerne i relation til reaktioner, læring, adfærd og organisatoriske resultater? Responsive Evaluation. Denne tilgang fordrer, at evaluatorer er responsive i forhold til informationsbehovet hos interessenter. Det primære spørgsmål, som leder denne evalueringsmodel er: Hvordan ser evaluanden ud for forskellige interessenter? Goal-Free Evaluation: Denne evalueringsmodel fokuserer på, hvilket udbytte, der er resultatet af et projekt fremfor det intenderede mål med projektet. Bruger man denne model, kan evaluator 10

have begrænset kontakt med fx en ledelse i den organisation, hvor et program evalueres, idet evaluator ikke koncentrerer sig om intenderede mål. Det primære spørgsmål, som leder denne evalueringsmodel er: Hvad er alle effekterne af programmet, inklusive eventuelle bieffekter? Adversary/Judicial Approaches. Denne tilgang benytter to eller flere evaluatoreres forskellige evalueringer af et programs effekter. Disse evalueringer og deres data præsenteres hver for sig og der argumenteres for og imod overfor en tredjepart, der fungerer som dommer. Dommeren fælder en afgørelse af, hvilken af de forskellige evalueringer, der giver bedst mening. Det primære spørgsmål, som leder denne evalueringsmodel er: Hvad er argumenterne for og imod dette program? Consumer-Oriented Approaches. Det der er vigtigt i denne model er, at hjælpe (for)brugere eller bestillere med at træffe en afgørelse mellem konkurrerende programmer eller produkter. Det primære spørgsmål, som leder denne evalueringsmodel er: Ville en uddannet forbruger vælge dette produkt eller program? Expertise/Accredidation Approaches. Dette er en akkrediteringsmodel, som afhænger af eksperters mening om kvaliteten af et program eller produkt. Det primære spørgsmål, som leder denne evalueringsmodel er: Hvordan vil professionelle vurdere dette program/produkt? Utalization-Focused Evaluation. Denne evalueringsmodel fokuserer på, hvordan interessenter specifikt anvender dette program/produkt. Det primære spørgsmål, som leder denne evalueringsmodel er: Hvilken information har interessenterne behov for og hvordan vil de bruge det, som evalueringen viser? 11

Empowerment-Evaluation. Modellen fokuserer på, hvordan evalueringsbegreber, modeller og designs kan anvendes til at fremme forbedring. Det primære spørgsmål, som leder denne evalueringsmodel er: Hvilken information er der behov for til at fremme forbedring? (se også Krogstrup 2006 for en præsentation af denne evalueringsmodel) Organizational Learning. Denne model betragter evaluering som et middel til at fremme organisatorisk læring. Tanken er, at anvendelse af evaluering i en organisation vil gøre det synligt, hvor der er behov for forandring og forbedring. Det primære spørgsmål, som leder denne evalueringsmodel er: Hvilket behov er der for information og læring for den enkelte, teamet/afdelingen og organisationen som helhed? Theory-Driven Evaluations. Denne model fokuserer på teoretiske fremfor metodologiske anliggender. Tanken er, at se på rationalet (teorien) bag et program eller et produkt for at undersøge, hvilken udvikling og/eller effekt programmet/produktet har. Det primære spørgsmål, som leder denne evalueringsmodel er: Hvordan er programmet/produktet tiltænkt at virke? Hvad er det underliggende antagelser for programmets/produktets udvikling og implementering? (se fx. Pawson and Tilley 1997; Krogstrup and Dahler-Larsen 2009 for præsentation af modellen) Success Case Method. Denne tilgang til evaluering fokuserer på, hvordan et succesrigt udfald eller en effekt defineres. Modellen anvender dernæst nogle af antagelserne for teori-drevne evalueringer til at undersøge sammenhænge i antagelser om succesrige udfald. Evaluatorer, som benytter denne model indsamler historier i organisationen for at undersøge, hvad der foregår i organisationen og hvad der opnås. Det primære spørgsmål, som leder denne evalueringsmodel er: Hvad er det egentligt der foregår? 12

Sammenfatning Definitioner på evaluering, udbuddet af modeller og opskrifter på, hvordan man evaluerer, er ganske omfattende. I det foregående har jeg både forsøgt at give et kortfattet overblik over forskellige evalueringsmodeller og vist, hvilke spørgsmål man med fordel kan forholde sig til, når man skal arbejde med evalueringer. Jeg håber også at have vist, at evaluering er alt andet end videnskab. Årsagen er for det første, at enhver videnskab har et genstandsområde. Biologien har det levende som genstandsområde, sociologien det sociale som genstandsområde, fysikken har den fysiske verden som genstandsområde etc. Evaluering har som sådan ikke noget genstandsområde. Alle processer, aktiviteter, programmer, etc. kan principielt evalueres. For det andet er evaluering ikke en videnskab, idet man ikke søger objektiv og generaliserbar viden. Når man evaluerer, så vurderer man, dvs. at man tilskriver værdi til det man evaluerer (evaluanden). Men så snart man har sagt, at man tilskriver værdi, så har man også sagt, at det er værdi for nogen og ikke nødvendigvis for alle. Den værdi en evaluering tilskriver evaluanden vil være bestemt af eksempelvis evaluator, målkriterier eller dem, der har bestilt evalueringen. Her er den store forskel på evaluering og videnskab. I videnskaben søger man principielt objektiv viden, medens man i evaluering må nøjes med subjektive vurderinger. Selvom evaluering ikke er videnskab, kan evaluering naturligvis sagtens være forskning. På denne måde kan evaluering betragtes på samme måde som filosofi og dele af psykologien. Fordi disse ikke er videnskaber, er de jo ikke mindre betydningsfulde end videnskaberne tværtimod. I eksempelvis filosofien vurderer man jo også indsatser og aktiviteter (tænk blot på aktiv dødshjælp, dyreetik, magt og moral etc.) og man tilskriver værdi. Kriterierne, ud fra hvilke man tilskriver værdi er ofte blot nogle andre and dem man arbejder med i en evaluering. Men det primære arbejdsredskab er ofte det samme. Både 13

filosoffer og evaluatorer har i bund og grund kun den logiske argumentation at arbejde med for at skabe konsistens og kohærens i vurderingerne. 14

Bredgaard, Thomas. 2016. Evaluering Af Offentlig Politik Og Administration, edited by Thomas Bredgaard Kbh. : Hans Reitzels. Dahler-Larsen, Peter. 2013. Evaluering Af Projekter - Og Andre Ting, Som Ikke Er Ting, edited by Peter Dahler-Larsen Odense : Syddansk Universitetsforlag.. 2004. "Evaluering Og Magt. Magtudredningen.". Det Danske Sprog- og Litteraturselskab. 2017. Ordnet.Dk. http://ordnet.dk/ordnetdk ed. Hansen, Hanne Foss. 2001. "Evaluering: Teori Og Praksis i Designprocessen." Nordiske Organisasjonsstudier (Nos) 3 (3): 43-62. Kirkpatrick. 1977. "Evaluating Training Programs - Evidence Vs. Proof." Training and Development Journal 31 (11): 9-9. Krogstrup, Hanne Kathrine. 2006. Evalueringsmodeller. 2. udg., 5. oplag ed. Hans Reitzel. Krogstrup, Hanne Kathrine and Peter Dahler-Larsen. 2009. Nye Veje i Evaluering: Håndbog i Tre Evalueringsmodeller, edited by Peter Dahler-Larsen. 3. oplag ed. Århus : Systime. Pawson, Ray and Nick Tilley. 1997. "Realistic Evaluation. 1997." London, California and New Delhi: Sage. Preskill, Hallie and Darlene Russ-Eft. 2016. Building Evaluation Capacity: Activities for Teaching and Training Sage Publications. Rieper, Olaf. 2004. Håndbog i Evaluering : Metoder Til at Dokumentere Og Vurdere Proces Og Effekt Af Offentlige Indsatser / Redaktion Olaf Rieper, edited by Olaf Rieper Kbh. : AKF.. 2003. Håndbog i Evaluering : Metoder Til at Dokumentere Og Vurdere Proces Og Effekt Af Offentlige Indsatser / Redaktion Olaf Rieper, edited by Olaf Rieper Kbh.: AKF. Rieper, Olaf and Poul Skov. 2017. Evaluering i Den Store Danske. http://denstoredanske.dk/index.php?sideid=73278 ed. Gyldendal A/S. Rossi, Peter H., Howard E. Freeman, and Mark W. Lipsey. 1999. Evaluation: A Systematic Approach, edited by Peter H. Rossi. 6. ed ed. Newbury Park, Calif. : Sage. Shadish, William R., Thomas D. Cook, and Laura C. Leviton. 1991. Foundations of Program Evaluation : Theories of Practice, edited by William R. Jr Shadish Sage Publications Ltd. Shaw, Ian, Jennifer Greene, and Melvin Mark. 2006. Handbook of Evaluation: Policies, Programs and Practices, edited by Ian Shaw, Jennifer Greene and Melvin Mark. 15

Vedung, Evert. 2009. Utvärdering i Politik Och Förvaltning / Evert Vedung, edited by Evert Vedung. 3:e uppl. ed. Lund : Studentlitteratur. Slutnote i Evert Vedung udvikler oprindeligt et otte-punktsprogram for evaluering i 1. og 2. udgave af bogen Utvärdering i politik och Förvaltning. I 3. udgave af samme bog, er programmet udvidet til at omfatte elleve punkter/spørgsmål. 16