Nr. 17 December 2007. Tema: Tilbageblik DES Konference 2007

Nr. 17 December 2007 Tema: Tilbageblik DES Konference 2007

Side 1 Leder Tilbageblik på evalueringskonferencen 2007 Af Peter Rhode, Formand for bestyrelsen i Dansk Evaluerings Selskab (DES) Kære læser Med dette nummer af evalueringsnyt giver vi et tilbageblik på evalueringskonferencen i efteråret. Årets evalueringskonference var endnu engang et par dage fyldt med gode oplæg, der gav mulighed for debat, refleksion og at få et udsyn og indblik i andres evalueringsaktiviteter og evalueringens anvendelse. I selskabet lægger vi meget energi i at planlægge og gennemføre den årlige evalueringskonference. Konferencen giver muligheder for at samle en bred vifte af fagfolk, teoretikere og praktikere og dem der aftager og anvender evalueringsresultaterne. Målet er både at præsentere ny viden, udvikling i evalueringspraksis og anvendelse af evaluering, og derudover er målet at skabe kontakter og netværk blandt de mange interesserede på feltet. Hele evalueringsfeltet er i vækst. I den offentlige sektor er der fokus på at dokumentere og evaluere både indsats, resultater og effekt som aldrig før. Det må forventes at vi med regeringens kvalitetsreform vil få endnu mere fokus på området. En øget efterspørgsel efter evalueringer og en øget aktivitet på området vil også efterlade et behov for både læring, refleksion, debat og at kunne få lejlighed til at præsentere sit arbejde for en bredere kreds af interesserede fagfolk. Der vil være et behov for at udvikle og styrke netværk og kontakter. Vi vil i bestyrelsen løbende diskutere hvordan hele evalueringsfeltet udvikler sig, og vi vil tage relevante initiativer med henblik på at styrke den faglige viden og indsigt på området og dermed også styrke evalueringens anvendelse i praksis. Vi ser frem til det kommende års arbejde der bliver nok at tage fat på og mange udfordringer. Glædelig jul og godt nytår På bestyrelsens vegne Peter Rhode

Side 2 Redaktion Redaktør: Jesper Pedersen, jp@discus.dk, telefon 70 20 22 29 / 22 34 97 39 Baggrundsgruppe: Bianca Albers, Servicestyrelsen, næstformand i bestyrelsen i DES Poul Skov Dahl, NIRAS Konsulenterne, medlem af bestyrelsen i DES Tanja Miller, CEPRA, CVU Nordjylland, medlem af bestyrelsen i DES Marie Louise Møller, DES sekretær Nyheder, debatindlæg og artikler sendes elektronisk til Jesper Pedersen Glæd dig til næste nummer, med temaet: Evaluering i den offentlige sektor - Information som grundlag for en bedre offentlig sektor Med indlæg fra: Morten Boje, Finansministeriet; Thorkild Juul, Indenrigs- og Sundhedsministeriet; Jan Olsen, KL; Jens Blom Hansen, Det Samfundsvidenskabelige Fakultet, Aarhus Universitet; Tim Jeppesen, KREVI Billeder fra konferencen Morten Boje, Finansministeriet Fra venstre: Jens Blom Hansen, Det Samfundsvidenskabelige Fakultet, Aarhus Universitet Thorkild Juul, Indenrigs- og Sundhedsministeriet og Jan Olsen, KL Deadline Deadline til det næste nyhedsbrev er d. 19. januar 2007

Side 3 Indholdsfortegnelse Leder Tilbageblik på evalueringskonferencen 2007...1 Redaktion...2 Deadline...2 Beretning fra konference...4 Sekretariat...4 Ny bestyrelse i DES...5 Formandens årsberetning...7 Vedung som æresmedlem...10 Oplevelser fra konferencen...12 Artikler...14 Virkningsevaluering, refleksionsteori og kvalitetsudvikling...14 Evaluering set i praktikerperspektiv...20 Fælles evalueringer af dansk udviklingsbistand...24 Konferenceoversigt...29 Om Dansk Evaluerings Selskab...30 Medlemskab...30 Bestyrelsen...31

Side 4 Beretning fra konference Sekretariat På konferencen sikrede den nuværende DES-sekretær Marie Louise Møller i samarbejde med den tidligere DES-sekretær Julia Salado-Rasmussen, at alt klappede.. En stor tak skal lyde til dem: Konferencesekretariatet: Fra venstre Julia Salado-Rasmussen og Marie Louise Møller Der skal også lyde en stor tak til konferencekomiteen, som bestod af Steffen Bohni Nielsen, Rambøll Management Bianca Albers, Servicestyrelsen Poul Skov Dahl, Niras Konsulenterne Dorte Kabell, Kabell Konsulting Solgerd Just Mikkelsen, DTU Marie Louise Møller, sekretariatet for DES

Side 5 Ny bestyrelse i DES På generalforsamlingen blev et ændringsforslag om bestyrelsens sammensætning vedtaget. Tidligere skulle en bestyrelse på 7 medlemmer og 2 suppleanter vælges. Fremover vælges en bestyrelse på 9-11 personer. Vedtægten vedrørende bestyrelsens sammensætning er nu således: Bestyrelsen består af mindst 9 og højst 11 medlemmer uden suppleanter. Bestyrelsen er beslutningsdygtig når mindst halvdelen af bestyrelsens medlemmer er til stede. Ændringen skyldes, at suppleanterne reelt har fungeret som bestyrelsesmedlemmer, og der er brug for en vis bredde til at kunne trække de mange arbejdsopgaver bestyrelsen har i løbet af året. Følgende bestyrelsesmedlemmer fortsætter i bestyrelsen: Tim Jeppesen, KREVI Steffen Bohni Nielsen, Rambøll Management Poul Skov Dahl, Niras Konsulenterne Dorte Kabell, Kabell Konsulting APS Bianca Albers, Styrelsen for Social Service Solgerd Just Mikkelsen, DTU Følgende nye bestyrelsesmedlemmer er valgt: Tue Vinther-Jørgensen, EVA Tanja Miller, CEPRA (Videncenter for evaluering i praksis, Professionshøjskole University College Nordjylland) Ole Gregersen, SFI Elisabeth Friis Fredskilde, Gentofte Kommune Peter Rhode, Center for Kvalitetsudvikling, Region Midtjylland Bestyrelsen har nu konstitueret sig. Resultatet blev følgende: Formand: Peter Rhode Næstformand: Bianca Albers Kasserer: Solgerd Just Mikkelsen

Side 6 Den nye bestyrelse: Øverst fra venstre: Ole Gregersen, Peter Rhode, Elisabeth Friis Fredskilde, Solgerd Just Mikkelsen, Bianca Albers, og Tue Vinther-Jørgensen. Nederst fra venstre: Dorte Kabell, Tim Jeppesen, Tanja Miller og Steffen Bohni Nielsen. Poul Skov Dahl var forhindret i at deltage pga. sygdom Følgende træder ud af bestyrelsen Bertil Mahs, Styrelsen for Social Service (tidligere formand) Anette Dørge Jessen (tidligere næstformand) Thomas Pallesen, Århus Universitet Repræsentanter fra den tidligere bestyrelse: Fra venstre Bertil Mahs, Bianca Albers, Tim Jeppesen, Steffen Bohni Nielsen, Dorte Kabell, Solgerd Just Mikkelsen

Side 7 Formandens årsberetning Den afgående formand, Bertil Mahs afholdte følgende årsberetning for perioden 14.9.2006 14.9.2007: Året i store træk År 2006/2007 har atter været et aktivt år for DES. Medlemstallet er svagt stigende, således at foreningen i starten af september i år havde 98 institutionelle medlemmer, 57 personlige medlemmer og 15 studentermedlemmer. Et markant arrangement var den årlige konference med tilhørende udviklingsseminarer på Nyborg Strand, hvor 190 personer deltog. Derudover har der i løbet af året været flere gåhjem-møder. Bertil Mahs beretter DES nyhedsbrev, Evalueringsnyt, er blevet udsendt fem gange siden sidste generalforsamling. Nyhedsbrevet indeholder nyheder, artikler, debat og information om evaluering og aktiviteter i DES. Ideen er at formidle viden og nyheder om evaluering til DES medlemmer samt at danne et forum, hvor medlemmer kan stille spørgsmål, debattere og udveksle erfaringer om evaluering. Nyhedsbrevets redaktør er Jesper Pedersen, tidligere medlem af bestyrelsen. I 2006-2007 har Nyhedsbrevet dækket følgende temaer: November: Evalueringskonferencen 2006 Januar: Styring og evaluering April: Performance management, auditering og evaluering Juni: Arbejdet med indikatorer i evaluering August: Optakt til Evalueringskonferencen 2007 Sekretariatet har i 2006/2007 været varetaget af Julia Salado-Rasmussen indtil primo december, hvor Marie Louise Møller tog over. Det har været placeret i Danmarks Evalueringsinstitut (EVA) i København. Bestyrelsen Ved sidste generalforsamling blev en stor del af bestyrelsen udskiftet. Den nye bestyrelse har arbejdet meget engageret og vedholdende og har ydet et stort stykke arbejde.

Side 8 Bestyrelsen består af: Bertil Michael Mahs, Styrelsen for Specialrådgivning og Social Service (formand) Anette Dørge Jessen, Danmarks Evalueringsinstitut (næstformand) Bianca Albers, Styrelsen for Specialrådgivning og Social Service (kasserer) Solgerd Just Mikkelsen Tim Jeppesen, Det Kommunale og Regionale Evalueringsinstitut (han er indsat som afløser for Hanne Kathrine Krogstrup, der trak sig i vinter) Poul Skov Dahl, NIRAS Konsulenterne Dorte Kabell, Kabell Konsulting Steffen Bohni Nielsen, Rambøll Management Thomas Pallesen, Institut for Statskundskab, Århus Universitet Bestyrelsen har afholdt 5 møder fra september 2006 til dags dato. Bestyrelsen har gennemført følgende former for aktiviteter: Gå-hjem-møder, som sigter på at samle interesserede omkring et bestemt evalueringsemne. Formen har hovedsagligt været et forberedt oplæg, som lagde op til diskussion, samt en fri debat. Emnerne har dels været af metodisk karakter, dels omhandlende substantielle emner, fx inden for et sektorområde. Følgende gå-hjem-møder har været afholdt (fra september 2006 til dags dato): 11/10 2006 København: Standardisering i forbindelse med dokumentation og evaluering i kommunerne. Ved Poul Skov Dahl, Ph.d., Chefkonsulent, MUUSMANN Research & Consulting 7/11 2006 Odense: Virkningsevaluering muligheder og udfordringer med udgangspunkt i en konkret case. Ved Flemming Bridal Rasmussen og Line Dybdal, NIRAS Konsulenterne og Peter Dahler-Larsen, Syddansk Universitet 27/2 2007 Århus: Brugerundersøgelser, anvendelse og kvalitetsreformen Ved Ph.d.-studerende Bente Bjørnholt, Ålborg Universitet 21/3 2007 Århus: Hvilken rolle kommer KREVI til at spille? Ved Tim Jeppesen, direktør, KREVI. 6/9 2007 København: Fra meningsløs til meningsfuld evaluering. Ved Christian Moldt, Danmarks Evalueringsinstitut

Side 9 Arbejdsgrupper Ideen med arbejdsgrupperne er, at man melder sig som leder af en arbejdsgruppe. Arbejdsgruppen bliver slået op på DES hjemmeside med opfordring til at melde sig som deltager. Ved tilstrækkeligt mange deltagere opstartes gruppen, som selv bestemmer arbejdsform og mødehyppighed. DES støtter arbejdsgrupperne efter ansøgning fx med hjælp til rejser eller tilskud til publicering. Der er altid mulighed for at opstarte nye arbejdsgrupper. Konferencen her er en oplagt chance for at finde sammen i grupper om en særlig interesse inden for evalueringsområdet. I 2007 har der været en arbejdsgruppe i form af Nyhedsbrevsudvalget. Dette udvalg lavede en plan for temaer i årets nyhedsbreve og diskuterede nogle generelle forhold vedrørende Nyhedsbrevet. Udvalget bestod af Jesper Pedersen (redaktør af Evalueringsnyt), Dorte Kabell (DES-bestyrelsesmedlem) og Bianca Albers (DES-bestyrelsesmedlem). Det blev assisteret af sekretariatet. Foreningens hjemmeside Her annonceres DES-arrangementer, der bringes anmeldelser og omtale af litteratur om evaluering, information om kommende konferencer om evaluering samt links til websider om evaluering. Nyhedsbrevet kan ligeledes downloades fra hjemmesiden. Bente Bjørnholt vil stadig stå for anmeldelsen af litteratur ligesom i 2006. Der er i budgettet for 2007 sat penge af til opdatering af hjemmesiden.

Side 10 Vedung som æresmedlem Som et nyt tiltag har Dansk Evaluerings Selskab udnævnt et æresmedlem. Der er tale om Evert Vedung, som har været med siden Dansk Evaluerings Selskab blev etableret for 8 år siden på en konference i København. Dengang holdte han det første hovedoplæg, hvor han præsenterede hovedlinjerne fra sin bog Utvärdering i politik och förvaltning nu på engelsk; Public Policy Program Evaluation. Denne bog anses for grundbogen i evaluering, som alle studerende, der bliver undervist i evaluering i Danmark bliver introduceret til. Hans definition på evaluering og hans evalueringsmodeller bliver flittigt brugt af forskere og praktikere i norden. Han har bidraget med 3 artikler til Evalueringsnyt og har senest afholdt et seminar på årets konference. Med æresmedlemskabet følger gratis medlemskab af DES og deltagelse på de årlige DES-konferencer. Evert Vedung er adjungeret professor ved Københavns universitet, Institut for statskundskab. Gæsteprofessor, Mälardalens högskola, Mälardalens utvärderingsakademi, Eskilstuna. Professor emeritus i statsvetenskap, Uppsala universitet Evert Vedung har skrevet følgende takkeord til DES: Kära vänner i Dansk Evalerings Selskab och i Danmark överhuvudtaget! En amerikansk forskare i folkmusik åkte till Västra Irland för att idka empiriska studier. Där upptäckte han ett county med en oerhört stark kultur av folkmusik. Halva befolkningen spelade säckpipor och banjo och den andra halvan dansade och sjöng till vad som spelades. Den amerikanske forskaren blev starkt engagerad och inspirerad av denna sin upptäckt och frågade en kvinna vad som var orsaken till denna otroligt starka tradition av folkmusik i en så gudsförgäten trakt. Kvinnan svarade: It might have something to do with the great influx in the last 15 years of American folk music researchers. Denna lilla historia illustrerar förekomsten av Hawthorneeffekter, effekter av forskaren och forskningen, inte av programmet som skall undersökas. Det är viktigt, menar jag, att dra slutsatser av detta också för evaluering. Mina vänner! Jag vill passa på detta tillfälle att säga några saker till er. Min uppfattning om evaluering är följande. Evaluering är en verksamhet som studerar offentliga sektorns interventioner, deras resultat, implementering och innehåll i förhoppning

Side 11 om att detta skall leda till en omprövning av interventionen. Därmed är denna evaluering i sig själv en intervention, ett ingripande, som skall få effekter, komma till användning. Utvärdering är en intervention som studerar interventioner. Mina vänner! Utifrån detta vill jag säga tre saker. 1 Leta efter bieffekter, inte bara huvudeffekter av interventioner när du evaluerar. Vikten av att bli medveten om bieffekter lärde vi oss av skottarna, den skotska upplysningen, Adam Smith, David Hume och Adam Ferguson. Denna lärdom återupptäcktes av österrikiska skolan inom nationalekonomin, Carl Menger, Ludwig von Mises, Friedrich Hayek och har förts vidare av den berömde sociologen Robert K Merton. Merton hade ett eget ord för detta. Serendipiteter. 2 Leta också efter effekter och bieffekter av evalueringar av interventioner. Inte bara på programmets adressater och målområden utan även på utvärderingens personal och den organisation som utvärderar och utvärderas. Det som Peter Dahler-Larsen kallar konstitutiva effekter. 3 Vårda det nordiska samarbetet. Med lite träning kan vi förstå varandras språk. Med lite ansträngning kan vi tala så att våra vänner i grannländerna förstår oss. De nordiska ländernas offentliga politik kring välfärdssamhället har så stora likheter med varandra att vi lätt kan dra lärdomar av varandras evalueringar. Till sist vill jag hjärtligt tack till styrelsen för och medlemmarna i DES för att ni utsett mig till äresmedlem. Det är en stor heder och ära för mig. För oss svenskar och inte minst för mig själv är Danmark ett härligt land och Dansk Evaluerings Selskab en härlig förening där jag känner mig hemma och har många kolleger och även f d studenter och vänner. Stort tack!

Side 12 Oplevelser fra konferencen Tilfredsheden med konferencen er også høj i år. 87 % er tilfredse eller meget tilfredse med konferencen. Der er dog tale om et fald i tilfredsheden fra 98 % i Nyborg 2006. Samtidig er det den laveste tilfredshed i de år der er foretaget tilfredshedsmålinger. Den hidtidige laveste tilfredshed var netop i Kolding 2004, hvor 93 % var tilfredse eller meget tilfredse. Tilfredsheden med konferencen alt i alt Kolding 2007 Nyborg 2006 Horsens 2005 Kolding 2004 Antal % Antal % Antal % Antal % Meget tilfreds 29 27 42 44 26 33 21 36 Tilfreds 64 60 52 54 50 63 34 58 Hverken/eller 5 5 2 2 3 4 3 5 Utilfreds 4 4 0 0 0 0 1 2 Meget utilfreds 1 1 0 0 1 1 0 0 Ved ikke 4 4 0 0 1 1 0 0 Total 107 100 96 100 80 100 59 100 Bertil Mahs åbner konferencen Olaf Rieper afholder plenum Deltagerne har overvejende været meget tilfredse med rammerne samt forplejning i løbet af evalueringskonferencen. 96 % har således været tilfredse eller meget tilfredse med Koldingfjord Hotel og Konferencecenter som ramme for evalueringskonferencen, og samtlige deltagere har været tilfredse eller meget tilfredse med forplejningen under opholdet. Det er desværre ikke muligt at sammenligne dette med tidligere år, da spørgsmålsformuleringen er ændret.

Side 13 Udviklingsseminarer torsdag Af de deltagere der deltog i de professionelle udviklingsseminarer torsdag var omkring 74 % enten tilfredse eller meget tilfredse hermed. Generelt set har deltagerne fremhævet muligheden for at fordybe sig i et emne over 4 timer som positivt. De synes der var flere gode seminarer med gode oplæg og spændende diskussioner på seminariet og i gruppearbejdet, hvor der blev arbejdet med en bestemt problemstilling. Dog var det ikke alle seminarer der fungerede som undervisning. Enkelte udviklingsseminarer bar mere præg af et maratonoplæg på 4 timer. Dem er der delte meninger om. Nogle deltagere synes de var gode, andre synes de var for lidt dialogprægede, og andre igen synes 4 timer var for lang tid at høre på en der taler uafbrudt. Udviklingsseminarer - Gruppearbejde i det fri Selve konferencen 79 % af de deltagere der deltog i parallelsessionerne fredagen og lørdagen var enten tilfredse eller meget tilfredse med parallelsessionerne. Der er efterspurgt mere information om de enkelte sessioner forud for konferencen med henblik på et mere kvalificeret grundlag at vælge ud fra. Af de deltagere der deltog i plenumoplæg fredag og lørdag var 72 % enten tilfredse eller meget tilfredse med plenumoplæggene. Som kommentarer hertil nævnes igen mere tid til diskussion. Flere har fremhævet debat mellem forskellige interessenter, som det var tilfældet med Thorkil Juul fra det tidligere Indenrigs- og Sundhedsministerium, Jan Olsen fra KL og Jens Blom Hansen fra Aarhus Universitet, som en god konstruktion. Deltagere har generelt angivet, at temaet for årets konference professionalisering af evaluering er relevant i forhold til deres arbejde, den aktuelle politiske debat og evalueringsfeltet. De deltagere, der har vurderet temaet for årets konference som relevant er i overvejende grad også tilfredse eller meget tilfredse med evalueringskonferencen alt i alt.

Side 14 Artikler Artikler sendes elekronisk til jp@discus.dk Retningslinjer: Artikler skal være kortfattede, det vil sige max 5 sider (linjeafstand 1,3) Artikler skal omhandle evaluering 4 Artikler må ikke være anstødelige og diskriminerende Artikler må ikke have et markedsføringssigte Om nødvendigt bedes bestyrelsen foretage en vurdering af disse forhold Virkningsevaluering, refleksionsteori og kvalitetsudvikling Af Maria Appel Nissen, Institut for Sociologi, Socialt Arbejde og Organisation, Aalborg Universitet Det moderne samfund kan betragtes som komplekst differentieret i et væld af systemer. I sådan et samfund er der ikke én rationalitet én måde at se, agere, og styre på. Samfundet består af mange systemer: ministerier, styrelser, regioner, kommuner, virksomheder, institutioner osv. Beslutningstagere står overfor de problemstillinger, som det giver. Man ønsker at træffe holdbare beslutninger, der har den ønskede virkning men ved også, at forventningerne til en beslutning, ikke nødvendigvis viser sig i praksis, fordi man er oppe imod en virkelighed, der netop er kompleks. Utilsigtede, ikke-ønskede konsekvenser kan opstå. Træfsikkerheden er ikke givet. Der er risiko for kritik af dømme- og handlekraft. Når samfundet ikke har én måde at se, agere og styre på, opstår der et behov for evalueringer, der kan informere styring og evnen til at træffe beslutninger på tværs af forskellige systemer. Det, at Evaluering og Styring var tema for DES s konference 2006, kan ses som et tegn på dette. En intensiveret efterspørgsel på sikker viden om, hvad der virker bedst, kan også ses som et tegn på dette. Denne efterspørgsel gør sig f.eks. gældende på det sociale område, hvilket konkret er kommet til udtryk i dannelsen af Nordisk Campbell Center. I samme træk opstår en diskussion om og kritisk refleksion over kvaliteten af den viden, der produceres (Nissen 2007b). DES s konference 2007 kan ses som et tegn på denne refleksion. Når Professionalisering af evaluering bliver et tema, kan man se det som evalueringssystemets faglige refleksion over sig selv og den viden, det er i stand til at frembringe. Det handler om evaluering af evaluering og om videngrundlaget for evaluering. En første antagelse i denne artikel er, at én af de veje, som en professionalisering af evaluering kan gå, er den vej, hvor man i højere grad anvender evalueringstilgange, der er teoribaserede og teorigenererende. En sådan tilgang repræsenterer virkningsevalueringen med dens afsæt i programteorien. En anden antagelse er, at ved at anvende teoribaserede og teorigenerende evalueringstilgange, kan der skabes en mere

Side 15 systematisk videnudvikling. Dette kan have betydning for kontinuitet i evalueringspraksis. Det kan også have betydning for kvalitetsudvikling og for opbygningen af refleksionsteorier for praksis. Det skal jeg forsøge at uddybe i det følgende. Virkningsevaluering Det følgende er på ingen måde en fyldestgørende fremstilling af virkningsevaluering. Her vil jeg henvise til Peter Dahler-Larsens bidrag i bogen Nye veje i Evaluering (Dahler- Larsen & Krogstrup 2003) eller til Realistic Evaluation (Pawson & Tilley 1997), som jeg også trækker på. Formålet her er at fremhæve virkningsevalueringens teoribaserede og teorigenererende elementer. Centralt i virkningsevalueringen er opbygningen af programteorien. Programteorien er en substantiel konkret teori om indsatsen. Den består af synlige antagelser om, hvordan indsatsen virker overfor en bestemt målgruppe. Dette fokus på hvordan er vigtigt. Programteorien drejer sig ikke kun om at identificere output, resultater eller effekter af indsatsen. Den drejer sig også og især om at give mulige forklaringer på, hvordan indsatsen virker. De antagelser og mulige forklaringer, der udgør byggestenene i programteorien, beskæftiger sig altså med, på hvilken måde og under hvilke betingelser indsatsen virker for hvem. Med et lidt mekanisk ord fokuserer programteorien på de generative mekanismer, dvs. hvordan visse forhold og processer i indsatsen og dens kontekst i et samspil genererer særlige virkninger. Et simpelt og måske forsimplet eksempel er der, hvor indsatsen er en samtale mellem en socialarbejder og en bruger. Nogle samtaler får et positivt udfald i form af en handleplan, der opfattes som meningsfuld for både socialarbejder og bruger. Den generative mekanisme for dette er ikke selve resultatet, men de forhold og processer, der skaber resultatet. Det kan f.eks. være sagsbehandlerens tid og evne til at lytte og konkret inddrage brugerens ønsker og behov, at brugeren føler sig beskyttet fordi rettigheder er blevet forelagt og forklaret, eller at der ganske enkelt er tid til og lydhørhed overfor de problemer, som brugeren har, selvom de ikke umiddelbart er relevante i forhold til handleplanen. Programteorien udgør grundlaget for selve evalueringen. Det er programteorien eller dele af programteorien, som evalueringen systematisk undersøger og inddrager i analysen med henblik på både at bedømme og forbedre indsatsen. Programteorien opbygges på baggrund af forskellige kilder. Dahler-Larsen oplister forskellige kilder, der kan anvendes: Officielle politiske dokumenter, udsagn fra politikere, faglig teori, evalueringer, undersøgelser og rapporter, fagfolks erfaringer fra praksis, observationer mens indsatsen foregår, interviews med brugere og workshops, hvor man via dialog, opgaver m.v. fremkalder programteori (Dahler-Larsen 2003:55). I brugen af forskellige kilder læser, lytter og observerer man med programteorien for øje.

Side 16 Hvordan beskrives indsatsen? Hvilke antagelser om indsatsen og dens virkninger, kommer frem? Hvilke forklaringer gives der? Programteorien opbygges processuelt mens forskellige kilder konsulteres. Den formuleres skriftligt og gerne visuelt, f.eks. i diagrammer, hvor kasser viser elementer eller betingelser i indsatsen, og hvor pile viser, hvordan disse elementer virker sammen i en proces, der genererer bestemte virkninger. Programteorien skal som minimum rumme en beskrivelse af indsatsen indhold og processer sat i relation til indsatsens mål. Den skal også forholde sig til ønskede og uønskede virkninger. Endelig skal den rumme forklaringer på, hvorfor indsatsen virker, som den gør. Disse forklaringer kan trække på abstrakt generel såvel som substantiel konkret teori og viden fra konkrete undersøgelser og evalueringer. Sidstnævnte er vigtigt, fordi beskrivelser af og forklaringer på de generative mekanismer sigter på at kompensere for en central problemstilling i traditionel effektmåling - nemlig at det aldrig er fuldkommen sikkert, om effekter er en funktion af indsatsen. Eksempler fra et udviklingsarbejde kontinuitet og refleksion Jeg vil nu give et par eksempler på, at dét at arbejde med programteori og dermed teoribaseret og teoriudviklende i evalueringspraksis kan medføre nogle gevinster i forhold til kontinuitet i evalueringspraksis og i forhold til kvalitetsudvikling. Eksemplerne er hentet fra den udviklingsproces, der fandt sted i forbindelse med De Sociale Indikator Projekter i perioden 2004-2007. Disse projekter drejer sig om at udvikle modeller til evaluering af kvalitet og virkninger af sociale indsatser overfor unge anbragt på døgninstitution eller socialpædagogisk opholdssted, sikrede institutioner, psykiatrinære døgninstitutioner og institutioner for voksne med erhvervet hjerneskade. Undertegnede samt andre forskere på Institut for Sociologi, Socialt Arbejde og Organisation på Aalborg Universitet udviklede de programteorier og indikatorer, der nu danner grundlag for den proces, der pågår i Center for Kvalitetsudvikling 1. Her laves en operationalisering til evalueringsværktøjer, der gennemføres pilottest og implementeringen forberedes. De Sociale Indikator Projekter er inspireret af virkningsevaluering og er alle baseret på programteorier formuleret med udgangspunkt i dokumenter, generel og substantiel faglig teori og litteratur, forskningsrapporter samt fagfolks erfaringer indhentet på workshops med arbejdsgrupper. De enkelte programteorier blev ikke formuleret på en gang. Først formuleredes en programteori for indsatsen overfor unge anbragt på døgninstitution eller socialpædagogisk opholdssted (Nissen 2005). Denne programteori med dens bagvedliggende antagelser og forklaringer blev anvendt som udgangspunkt for ud- 1 Projekterne er forankret i et stadig bredere samarbejde mellem forskellige interessenter på det sociale område. For yderligere information om organiseringen, indholdet og processen jf. Center for Kvalitetsudviklings hjemmeside: http://www.rm.dk/sundhed/organisation/center+for+kvalitetsudvikling/sip

Side 17 formningen af programteorier for indsatsen overfor unge anbragt på psykiatrinære døgninstitutioner (Holland 2007) og på sikrede institutioner (Nissen 2007a). Der skete ikke en blind overføring af programteorien. For hver indsatsområde blev der foretaget en selvstændig konsultation af lige så forskellige kilder med relevans for den specifikke indsats. I den endelige programteori for de enkelte indsatser blev en række programteoretiske antagelser overført. Dette var f.eks. antagelser om betydningen af samspillet mellem de unge i et institutionelt miljø. Det var også antagelser om, hvad der i indsatsen er vigtigt for at kunne imødekomme unges behov. Men derudover blev der formuleret specifikke programteoretiske antagelser, der inddrog indsats- og målgruppespecifikke forhold. Sådanne var f.eks. antagelser om virkningerne af sikkerhedsforanstaltningerne på de sikrede institutioner. Antagelsen bag denne tilgang til udvikling af evalueringsmodeller var bl.a., at en systematisk, teoribaseret tilgang kan bidrage til at skabe kontinuitet i evalueringspraksis og et begrundet grundlag for at inddrage analyser og resultater fra forskellige evalueringer med henblik på at generere viden om, hvordan sociale indsatser i institutionelle miljøer virker. I udviklingen af programteorierne opstod nogle interessante diskussioner om indsatsen og dens virkninger, der peger på potentialer i forhold til kvalitetsudvikling. På workshops med fagfolk fremlagde forskere arbejdspapirer, der formidlede viden om indsatsen og skitser til programteori. Arbejdspapirerne gav anledning til diskussioner, der kan sammenfattes i følgende spørgsmål: Hvad er meningsfuld indsats, og hvordan ser vi forholdet mellem ideal og praksis? Hvilken betydning har indsatsens på kort og lang sigt? Hvad i relationen mellem indsats, målgruppe og udviklingen i sociale problemer er ukendt? Hvilke betingelser i indsatsen er svært målbare? (f.eks. oplevelser og følelser) Hvad ved vi og hvad ved vi ikke om målgruppens problemer og årsagerne til disse Hvordan ser vi relationen mellem problemer og årsager? Hvilke praktiske forudsætninger er der for pålidelig, gyldig, relevant og brugbar viden? (Jf. Møller & Nissen 2006) Spørgsmålene opstod i forbindelse med formuleringen af programteorien og var derfor relateret til udfordringer i at måle kvalitet og virkninger af indsatser, og til områder det var vigtigt, at programteorien beskæftigede sig med. Det drejede sig om netop de områder, hvor det er svært at komme med sikre beskrivelser af de generative mekanismer i indsatsen. Men spørgsmålene opstod også i diskussioner med fagfolk, og var dermed spørgsmål, som der heller ikke altid er et sikkert svar på i praksis - eller svaret kan i det mindste

Side 18 kan variere i og med en række forhold. Det vil sige, at de udfordringer, man står overfor, når man udvikler programteori kan reflektere de problemstillinger, fagfolk kan have med at beskrive og forklare deres indsats og dens virkninger. Formuleringen af programteorien kan således give anledning til dybdegående refleksion over indsatsen. Refleksionsteori og kvalitetsudvikling Kvalitetsudvikling forudsætter, at de fagfolk, der udfører en indsats, har forståelse for indsatsen og dens betingelser. Lidt mere abstrakt kan man sige, at kvalitetsudvikling forudsætter, at aktører har en teori om indsatsen i kontekst. Kvalitetsudvikling forudsætter også refleksion: at man ikke blot er i stand til at udføre indsatsen men også kan se de begrundelser og kriterier, der ligger til grund for og styrer indsatsen. Kun på den baggrund kan man lære og evt. udvikle indsatsen. Samlet set kan man sige, at for at kunne kvalitetsudvikle, må man have en refleksionsteori (Hagen 2006, Nissen 2007b). Begrebet refleksionsteori stammer ikke fra virkningsevalueringen. Men det er ikke usandsynligt, at programteori kan udgøre et element i en refleksionsteori. En refleksionsteori er bl.a. kendetegnet ved, at den beskriver og sætter begreber på indsatsen og de bagvedliggende antagelser, som virker i praksis, og i kraft af dette kan bruges til at kommunikere om og reflektere over indsatsen (Nissen 2007c). En refleksionsteori er også kendetegnet ved, at den beskriver og synliggør, hvordan indsatsen kunne være anderledes. En forudsætning for det er, at forskellige lokale refleksionsteorier synliggøres og sammenlignes med det formål at lære, at noget kan gøres anderledes. Man kan således tænke sig, at arbejdet med at udvikle og anvende programteorier kan igangsætte en proces, hvor f.eks. institutioner, begynder at danne refleksionsteorier og udvikle sig fagligt. Perspektiver for teoribaserede og teorigenererende evalueringer Virkningsevalueringen kan med fordel udforskes og afprøves mere med hensyn til dens potentialer for at skabe kontinuitet i evalueringspraksis og kvalitetsudvikling. Virkningsevalueringens styrke, nemlig det systematiske arbejde med programteorien, er dog samtidig dens akilleshæl. Brug af teori og teoriudvikling er måske ikke det, der efterspørges først, der hvor indsatser styres og gennemføres. Beslutningstagere på et politisk, administrativt og udførende niveau efterspørger måske især viden om output og metoder. Virkningsevalueringen står og falder med, om der er vilje til at opbygge kompleks og kontekstsensitiv viden og en tro på, at det kan betale sig på sigt. Ellers kan der f.eks. i brugen af programteorier ske en urimelig forenkling eller programteorien kan glemmes, når evalueringsdata foreligger, og der er efterspørgsel på resultater. Virkningsevalueringen står og falder også med, om fagfolk har mod til at føre åbne, dybdegående diskussioner om indsatsen og om, hvordan den virker både på godt og ondt. Begge forhold er formentlig gensidige forud-

Side 19 sætninger for hinanden men også altafgørende, hvis virkningsevalueringen ikke blot skal fungere som grundlag for bedømmelse men også forbedring. Referencer Dahler-Larsen, P. & Krogstrup, H. K. (2003): Nye veje i evaluering. Århus:Systime Academic. Hagen, R. (2006): Nyliberalismen og samfunnsvitenskapene. Oslo: Universitetsforlaget. Holland, M. (2007): Programteori og indikatorer til evaluering og kvalitet og virkninger af indsatsen på psykiatrinære institutioner. Århus: Center for Kvalitetsudvikling. Møller, S. S. & Nissen, M. A. (2006): Når virkeligheden ikke altid er evident. I Uden for Nummer. 13. 7. årgang:4-21. Nissen, M. A (2005): Arbejdspapirer til Det Sociale Indikator Projekt. Århus: Center for Kvalitetsudvikling. Nissen, M. A. (2007a): Programteori og indikatorer til evaluering og kvalitet og virkninger af indsatsen på sikrede institutioner. Århus: Center for Kvalitetsudvikling. Nissen, M. A. (2007b): Magt og magtesløshed i socialt arbejde, i Nissen. M. A., Pringle, K. & L. Uggerhøj (red.): Magt og forandring i socialt arbejde. København: Akademisk Forlag. (Udkommer 2007) Nissen, M. A. (2007c): Hvorfor er det praktisk med en teori? et sociologisk grundlag for refleksion i socialt arbejde. I Jacobsen, M. H. & Pringle, K. (red.): At forstå det sociale. København: Akaddemisk Forlag. (Udkommer 2007) Pawson, R. og N. Tilley (1997): Realistic Evaluation. Sage.

Side 20 Evaluering set i praktikerperspektiv Af Cliff Kaltoft, sekretariatsleder i Landsforeningen af VæreSteder Artiklen er en forkortet udgave af oplæg afholdt på DES evalueringskonference lørdag den 15. september 2007. Den bølge af dokumentationskrav som i disse år skyller ind over det sociale og det frivillige sociale område er blevet modtaget med varierende grad af begejstring blandt de organisationer, der arbejder med misbrugere, hjemløse og andre udsatte mennesker. Det skyldes er række faktorer. Dels er der uklarhed i signalerne fra Socialministeriet, som billedlig talt har åbnet sluserne, dels er der forskellige selvopfattelser på spil blandt organisationerne, som betyder, at man ikke fortolker hensigten med mere dokumentation og evaluering på samme måde og at man derfor heller ikke reagerer ens på øgede krav. Et historisk tilbageblik på udviklingen indenfor det sociale område afslører, at der er sket utrolig meget på ganske få år. Som forholdsvis ny på området tilbage i 1994 mødte jeg en leder for et større misbrugscenter i provinsen, som sagde: Du kan spærre 100 narkomaner inde og give dem hver 3 slag bagi med en våd stang wienerbrød, og når du lukker dem ud vil 4 af dem være stoffri. Historien illustrer, at der dengang ingen tro var på resultater endsige faglighed i misbrugsindsatsen. Ligegyldigt hvad man gjorde selv hvis man ingenting gjorde, måtte man forvente det samme resultat. Vi var kommet til et punkt, hvor indsatsen reelt havde spillet fallit og det offentlige stort set havde overladt opgaven med de allersvageste til de frivillige organisationer. Midt i det dødvande kom SUM-puljen, med mottoet: lad de 1000 blomster blomstre. SUM-puljen var præget af opgivelse og famlen i blinde. Fokus var rettet mod gode eksempler og var som sådan i en evalueringsmæssig sammenhæng relativt uinteressant. Med de gode eksempler kom flere midler, hvilket naturligvis også må tilskrives øget velstand og øget fokus på udsathed i almindelighed. Med pengene fulgte nye krav om resultater. Forløberen til Landsforeningen af VæreSteder, Lytte- og informationscentralen, opstod i netop de år. Derfor kan man sige, at vi er formet i og af en tid, hvor der var et nyt fokus og nye forventninger i forhold til erfaringsopsamling, faglig udvikling og dokumentation, og det har præget os lige siden. Noget af det første egentlige evalueringsarbejde der blev udført på vores område, rapporten Væresteder i Danmark fra Center for Rusmiddelforskning, står for mig i dag som et af

Side 21 de rigtig gode eksempler på hvordan evaluering kan foretages. Rapporten udviser respekt for det fænomen den skal undersøge, samtidig med at den har blik for den faglighed, der var ved at udvikle sig og tage form rundt om på værestederne. Ikke overraskende konkluderer rapporten, at dygtighed gør en forskel. Og det var rent faktisk nye toner på vores område. Evaluering betyder, som bekendt vurdering eller værdiansættelse. Historisk set er meget socialt arbejde blevet vurderet på netop værdien af frivilligheden og den gode vilje. Det er et selvbillede man af alle kræfter søger at opretholde og et selvbillede, som man i en vis udstrækning bekræftes i af ministeriet. På den anden side har man i Socialministeriet fundet ud af, at den effekt, som det frivillige sociale arbejde har, må kunne gøres op i kroner og ører for eksempel i form af sparede udgifter til sundhedsvæsenet, besparelser på overførselsindkomster osv. Hvis det regnestykke lader sig opstille vil man, som med alt muligt andet, kunne identificere projekter og tilbud, som har en større effekt end andre. Dermed vil man kunne gøre forskel på hvilke projekter og tilbud, der i fremtiden bør støttes, og hvilke det ikke er værd at støtte. Det er ganske enkelt evalueringens kontrollerende og rådgivende dimension. Det er sagen skåret ind til benet, og hvis det ikke er hensigten fra ministeriet, så er det i hvert fald den frygt, man må forvente, at de frivillige organisationer sidder tilbage med. Samtidig med at man måske føler sin gode vilje beklikket og mistænkeliggjort. Modstanden mod evaluering bunder måske også i en frygt for at magien går af indsatsen. Lader det sig overhovedet gøre at beskrive og bedømme endsige måle på den hjælpekunst som udfoldes i relativt nære relationer på værestedet? Kan effekten af fristedet i forhold til at generere lyst til forandring måles? Og fra en anden vinkel kunne man stille sig spørgsmålet: Er det overhovedet fair at måle en indsats, som man fra det offentlige har overdraget til de frivillige, fordi man selv var løbet tør for ideer, og fordi man ikke selv kunne skabe resultater? Med regeringsprogrammet og puljen Det Fælles Ansvar II er det (frivillige) sociale område gået ind i en ny epoke. Der stilles krav om samarbejde med kommunerne, ligesom kravene om dokumentation og effektmåling er strammet markant. Det er lykkedes meget godt at sukre den bitre pille ind i begreber som forandringsteori, og vi må da også sige, at niveauet for de nye krav indtil videre er ramt meget godt. Forandring er altid svært, men de nye tiltag rummer faktisk nye muligheder og forbedringer af indsatsen i sin helhed. Alene det, at man i et eller andet omfang vil kunne sammenligne forskellige metoder og projekter, betyder, at vi i fremtiden vil kunne kvalificere og målrette tilbudene endnu mere til de udsatte mennesker.

Side 22 De godt 90 væresteder under Landsforeningen formulerede i 2005 et fælles arbejds- og værdigrundlag Værestedstanken, som blandt andet omtaler værestedernes metode De små skridts metode. Selve metoden er vi ved at eksplicitere og udarbejde, men den er i høj grad ment som en pendant til den måde at tænke på, som normalt præger eller har præget det sociale arbejde, misbrugsbehandlingen og ikke mindst beskæftigelsespolitikken: De store skridts metode. Altså forestillingen om at man skal udvikle sig i få store ryk; fra misbrug til stoffrihed til beskæftigelse. Det vi ser på værestederne er, at når processen splittes op i mindre skridt, som ikke nødvendigvis tages i lige linie, så kommer mennesker meget længere, og så er de tilbageskridt der uvægerligt vil komme knap så dramatiske. Det er indlysende, at de små skridts metode rummer en større udfordring, hvad angår evaluering end de store skridts metode. Parametrene eller indikatorerne er langt mere differentierede og sammenhængene uhyre komplekse. Vi mangler faktisk stadig et begrebsapparat som kan rumme og ramme de menneskelige og sociale mekanismer, der udfolder sig på værestederne. Evaluering tjener utvivlsomt flere formål. Gode evalueringer (hvad enten de positive eller negative) tjener som grundlag for beslutningstagere. Men de tjener også som et redskab for praktikerne til at udvikle deres område og faglighed professionalisering om man vil. En problemstilling der altid dukker op, når teori og praksis kobles er: hvorledes formidler vi den nye viden som forskning, evaluering eller bare erfaringsopsamling fører med sig. Det er et evigt aktuelt spørgsmål internt i vores egen forening. Vores fornemste opgaver er at formidle den viden, vi som konsulenter opsamler, på en måde der gør den relevant og tilgængelig for dem, der kan omsætte den. Jeg vil gerne fremhæve et af vores egne eksempler på formidling som har vist sig virksomt: Brugernes Værested. En publikation om brugerinddragelse og brugerindflydelse på væresteder. Den er et eksempel på systematiseret erfaringsopsamling, som både formidler ny viden og som anviser måder at sætte processer i gang på ved hjælp af helt konkrete procesværktøjer. Afslutningsvis vil jeg gerne kaste lys over 3 af de gennemgående fordomme og problemer, som vi oplever omkring evaluering og formidling af viden til vores brugere og til praktikerne på det sociale område: 1) At udsatte mennesker skulle udgøre en homogen gruppe. Det gør de på ingen måde. 2) At udsatte mennesker skulle være analfabeter, som kun er modtagelige for tegneserier eller pixi-udgaver passer heller ikke, tværtimod. De nærer det samme mishag ved at blive talt ned til som alle os andre.

Side 23 3) At det sociale område er et oplæringsområde for forskere ligesom det er for journalister. Det sidste er naturligvis ikke en fordom men et problem. Alt for ofte oplever vi, at de undersøgelser og evalueringer der foretages, reelt udføres af nye folk på området, der bruger opgaven til at sætte sig ind i tingene. Ikke ulig tendensen i pressen, hvor med få undtagelser - de dygtige journalister, der skriver om sociale forhold avancerer og erstattes af nye. Jeg håber, at det er lykkedes mig at slå fast, at Landsforeningen af VæreSteder ser positivt på udviklingen i forhold til synliggørelse, dokumentation og effektmåling af den sociale indsats, men når det er sagt, må vi også være realistiske. De gode ting, som den øgede dokumentation kan føre med sig, kommer ikke ad sig selv. De kommer kun, hvis dokumentationen udføres af seriøse og ordentlige folk, som går professionelt til værks. Referencer: Brugernes Værested, Landsforeningen af VæreSteder, 2005 Væresteder i Danmark, Center for Rusmiddelforskning, Aarhus Universitet, 2002 Det Fælles Ansvar II, regeringens 2. handlingsprogram for de svageste grupper, august 2006

Side 24 Fælles evalueringer af dansk udviklingsbistand Af Ole Winckler Andersen, Chef for Udenrigsministeriets Evalueringskontor Denne artikel er baseret på et oplæg holdt ved Dansk Evalueringsselskabs konference den 14.-15. september 2007. Resume I Danmark sker der en masse ting på evalueringsfronten i disse år. Det gør der også internationalt. I denne artikel redegøres der dels for konsekvenserne for evalueringer af dansk udviklingsbistand af Paris-erklæringen, der blev vedtaget i 2005, og dels diskuteres mere specifikt de foreløbige erfaringer med at lave evalueringer sammen med andre donorer og med modtagerlandene af dansk udviklingsbistand. Indledning Hvis man går 10-15 år tilbage, bestod den danske bilaterale udviklingsbistand først og fremmest af en række projekter, der gennemførtes ved hjælp af danske rådgivere. Siden midten af 1990-erne har man imidlertid i højere grad givet bistand til sektorer eller andre store programmer. Desuden gives udviklingsbistanden i voksende omfang ikke bare sammen med andre donorer, men også i et stadig tættere samarbejde med modtagerlandene. Samtidig er der kommet øget fokus på god regeringsførelse og opbygning af kapacitet i de offentlige sektorer i modtagerlandene. Det sidste er bl.a. blevet set som en forudsætning for modtagerlandenes ejerskab og en effektiv anvendelse af udviklingsbistanden. Disse forskellige tendenser stiller nye krav til evalueringerne af den danske udviklingsbistand. I en række tilfælde giver det ikke længere mening at lave egne evalueringer, da det er blevet vanskeligere at adskille den danske bistand fra andre donorers bistand og også fra modtagerlandets egenfinansierede aktiviteter. Derudover betyder det øgede fokus på god regeringsførelse, og at modtagerlandene selv skal stå i spidsen for aktiviteterne i bistandsjargonen hedder det at være in the driver s seat at man ikke kun skal lave evalueringerne for donorlandenes skyld, men lige så meget for modtagerlandenes. Paris-erklæringen og de nye krav til evalueringer I starten af 2005 samledes næsten 100 lande, herunder Danmark, og en række organisationer til et møde i Paris, og ved mødet godkendte de den erklæring, der siden kun har heddet Paris-erklæringen. Erklæringen, som nu er blevet det centrale dokument i tilrettelæggelsen af udviklingsbistanden, indeholder fem overordnede principper: ejerskab (modtagerlandene skal lede og koordinere), tilpasning (modtagerlandenes systemer og procedurer skal anvendes), harmonisering (donorerne skal arbejde sammen om fælles analyser

Side 25 og programmer), resultatbaseret ledelse (der skal øget fokus på resultater som grundlag for beslutninger i modtagerlandet) og endelig gensidig ansvarlighed (man skal arbejde for større gennemsigtighed og i fællesskab vurdere resultaterne af udviklingsbistanden) 2. Evalueringer nævnes kun nogle få steder i Paris-erklæringen, men erklæringens principper lægger op til en række ændringer i tilrettelæggelsen af evalueringer af udviklingsbistand. Princippet om ejerskab lægger op til, at modtagerlandene leder og koordinerer evalueringerne. Tilpasningsprincippet medfører, at man bør tage udgangspunkt i modtagerlandets evalueringspolitik og planer. Harmoniseringsprincippet betyder, at evalueringerne bør koordineres og gennemføres sammen med andre donorer. Resultatbaseret ledelse medfører naturligt, at man i højere grad inddrager evalueringsresultaterne i forbindelse med beslutninger af politisk og forvaltningsmæssig karakter i modtagerlandene. Fælles evalueringer med modtagerlandene Som udgangspunkt gennemføres alle danske evalueringer af udviklingsbistanden i samarbejde med modtagerlandene. Umiddelbart kan der peges på tre centrale fordele ved et sådan samarbejde. Den første er, at et lokalt medansvar og ejerskab til evalueringerne øger chancerne for, at der rent faktisk bliver fulgt op på evalueringerne i modtagerlandene. Den anden fordel er, at fælles evalueringer kan føre til gensidig kapacitetsopbygning. Dels kan de udefra kommende evaluatorer få en bedre forståelse af de lokale forhold, og dels kan den lokale evalueringsinstitution forhåbentlig anvende de erfaringer, der opnås gennem samarbejdet med donorlandets evalueringsenhed, i andre sammenhænge. For det tredje giver fælles evalueringer evalueringerne en større legitimitet både i donor- og modtagerlandet. Samtidig giver fælles evalueringer anledning til en række udfordringer. Identifikation af samarbejdspartnere I mange modtagerlande, er det ikke så indlysende, hvem der skal samarbejdes med, og især ikke, hvis der lægges vægt på evalueringernes uafhængighed. Ofte har enhederne med evalueringsansvar i modtagerlandene ikke noget veldefineret mandat, og mange steder har donorerne etableret og finansieret evalueringsprogrammer og enheder netop for at kompensere for den manglende lokale evalueringskapacitet, hvilket betyder, at donorerne ikke nødvendigvis samarbejder med de samme enheder i forbindelse med de enkelte evalueringer. Disse problemer bliver ofte endnu større, når man bevæger sig ned på sektor- eller projektniveau. 2 Den fulde ordlyd af Paris-erklæringen kan findes på www.oecd.org

Side 26 Fastlæggelse af samarbejdsrelation Når samarbejdsinstitutionen er blevet identificeret er næste skridt at forsøge at få fastlagt samarbejdsrelationen. En række spørgsmål rejser sig: Hvem identificerer evalueringsbehovet? Hvem skriver terms of reference? Hvis der er tale om et udbud, hvad der som regel vil være, hvem skal så sidde i den udbudskomite, der skal vurdere de indkomne tilbud? Hvis der etableres en ledelsesgruppe i forbindelse med evalueringen, hvem skal så sidde i den? Skal der etableres en referencegruppe i både donor- og modtagerlandet? Hvem godkender og kommenterer evalueringsrapporterne? Hvem står for formidling og fremlæggelse af evalueringens resultater, og hvis der skal følges op på evalueringen, hvordan gør man så det? Og endelig men ikke mindre vigtigt skal donorlandet stå for den fulde finansiering? Hvert af disse spørgsmål kan give anledning til omfattende diskussioner, og samarbejdsrelationen kan variere en del fra evaluering til evaluering. En væsentlig faktor er naturligvis modtagerlandets kapacitet på evalueringsområdet. Selv om en donor ønsker at lægge evalueringsansvaret over på modtagerlandet, vil det i praksis ofte vise sig at være umuligt, og i de fleste evalueringer har donoren (eller hvis der er tale om en fælles evaluering donorerne) således fortsat det primære ansvar. Danida har dog gode erfaringer med at lade modtagerlandenes evalueringsinstitutioner deltage i f.eks. udbudskomiteer, ledelsesgrupper for evalueringerne og i formidlingen af evalueringerne. Kapacitetsopbygning Der er bred enighed om, at der er et stort behov for at opbygge evalueringskapacitet i modtagerlandene. Donorernes evalueringskontorer fokuserer især på kapaciteten i evalueringsenhederne herunder på lokale evaluatorer - i modtagerlandene, mens bredere institutionelle aspekter relateret til f.eks. styringen af den offentlige sektor, spørgsmål om mandat og ansvar for evalueringsenhederne, resultatmåling og anvendelsen af evalueringer m.m. oftest håndteres i forbindelse med programmer for god regeringsførelse. Med hensyn til den direkte kapacitetsopbygning i evalueringsenhederne arbejder man på forskellige planer. En række donorer finansierer træningsophold typisk internationale træningsophold - for repræsentanter fra modtagerlandene. Fra dansk side har man, som nævnt ovenfor, gjort meget for at involvere modtagerlandenes evalueringsenheder i evalueringerne. Selv om vi efterhånden har en del erfaringer på dette område, har vi endnu ikke gjort forsøg på systematisk at sammenfatte disse. Umiddelbart oplever vi dog en voksende interesse i modtagerlandene og et stadig mere professionelt samspil. Andre donorers evalueringskontorer melder om lignende erfaringer. De første danske forsøg er også gjort med