Evaluering af udviklingsbistanden: Redegørelse for gennemførte aktiviteter i 2012

Evaluering af udviklingsbistanden: Redegørelse for gennemførte aktiviteter i 2012 1. Indledning Dette dokument indeholder en redegørelse for Danidas evalueringsvirksomhed i 2012. Udkast til evalueringsprogrammet for de kommende år vil blive fremlagt i Det Udviklingspolitiske Råd i starten af 2013. 2. Centrale tendenser inden for evalueringsvirksomheden i 2012 Evalueringskontoret (EVAL) afslutter i 2012 seks egentlige evalueringer samt fire evalueringsstudier. De egentlige evalueringer dækker udviklingsbistanden til Afghanistan (uddannelse og nærområdeindsatser), støtte til forbedringer af den offentlige finansforvaltning, støtte til civilsamfundsorganisationers indflydelse på politikformulering og gennemførelse, støtte til bedre adgang til serviceydelser indenfor retssektoren i Zambia og endelig en evaluering af det danske stipendieprogram DFP, som administreres af Danidas Fellowship Centre (DFC). De fire studier omfatter et evalueringsstudie af makroøkonomiske effekter af HIV/AIDS og HIV/AIDS interventioner i Tanzania, et studie af erfaringer med økonomisk udvikling og serviceydelser i skrøbelige stater, et studie af erfaringer med opbygning af effektive statsapparater i skrøbelige stater og endelig et studie af evalueringsbaseret viden om støtte til statsopbygning og levevilkår i Afghanistan. EVAL lægger i overensstemmelse med Paris-deklarationens principper om tilpasning og harmonisering vægt på at gennemføre evalueringer i samarbejde med andre donorer og med partnerlande, hvor det er relevant. Tre af evalueringerne er gennemført sammen med andre donorers evalueringskontorer eller på vegne af en række donorer, og aktører i partnerlande har i varierende grad været inddraget i alle evalueringerne. Der lægges stor vægt på at sikre anvendeligheden af de iværksatte evalueringer, og de gennemførte evalueringer har på forskellige måder bidraget til udvikling af nye strategier og programmer. Dette er ikke mindst muliggjort af den grundige drøftelse, der finder sted i Programkomiteen af opfølgningen på evalueringerne inden deres offentliggørelse. I mange tilfælde vil det dog først på længere sigt vise sig, hvordan evalueringernes anbefalinger anvendes, og KVA udarbejder derfor årlige rapporter til Programkomiteen om opfølgningen på evalueringernes anbefalinger. EVAL arbejder løbende med at bidrage til forbedringer af metoder til såvel effektevalueringer som andre typer af evalueringer, og der anvendes en række forskellige evalueringstyper og metoder for at kunne indfange bredden og variationen i udviklingssamarbejdet og dets resultater. Internationalt fortsætter arbejdet med udvikling og udbredelse af forbedrede metoder til måling af

udviklingsbistandens effekter (impact) blandt andet gennem de to internationale netværk på området: 3ie og NONIE. EVAL er aktivt involveret i begge netværk. 3. Evalueringer afsluttet i 2012 De evalueringer, der afsluttes i 2012, beskrives kort nedenfor. Evalueringerne vil alle inden årets udgang eller primo 2013 kunne hentes fra www.evaluering.dk (ligesom trykte versioner af rapporterne vil kunne bestilles via hjemmesiden). På hjemmesiden findes desuden korte danske resuméer, der indeholder Udenrigsministeriets kommentarer til den enkelte evaluering. 3.1 og 3.2 Bistandssamarbejdet med Afghanistan Den civile del af bistandssamarbejdet med Afghanistan er i 2012 blevet evalueret. Evalueringsarbejdet dækker størstedelen af de sidste 10 års danske økonomiske bistand til Afghanistan. Evalueringerne vurderer Danmarks støtte til uddannelse (2003-10), nærområdeindsatser (2009-11), forbedrede levevilkår (2001-10) og statsopbygning (2001-10). Formålet har været at give det første samlede overblik over bistandens relevans, målopfyldelse, omkostningseffektivitet og bæredygtighed samt i mindre grad de mere langsigtede virkninger. Evalueringerne giver et indblik i de udfordringer, der er ved at yde effektiv bistand i en skrøbelig stat som Afghanistan, der i årtier har været præget af væbnet konflikt. De dækker en periode, hvor det internationale samfund, og ikke mindst Danmark, har haft øget fokus på stabilisering, konfliktforebyggelse og skrøbelige stater, og har gjort sig en række værdifulde erfaringer. Evalueringerne giver et input til såvel udviklingen af den danske bistand til Afghanistan som til andre skrøbelige stater. Erfaringerne vil blandt andet indgå i en ny Afghanistan plan for 2013-14. Evalueringerne er bestilt af Danidas Evalueringskontor og gennemført af uafhængige internationale konsulentfirmaer. Evalueringerne viser, at dansk bistand har gjort en forskel. Dette på trods af at Danmark er en relativ lille donor blandt de mere end 60 lande som bistår Afghanistan. Samlet set viser evalueringerne, at den danske støtte imødekommer afghanske behov og er blevet leveret i overensstemmelse med afghanske prioriteter og planer. Den danske uddannelsesstøtte har bidraget til bemærkelsesværdige fremskridt, mens evalueringen af støtten til hjemvendte flygtninge og til levevilkårsprogrammerne vurderer, at de planlagte umiddelbare mål stort set er nået. Derimod peger evalueringsstudiet af statsopbygningsaktiviteterne på mere blandede resultater med hensyn til effektiviteten af danskstøttede indsatser. En række forskellige faktorer har bidraget til de positive resultater af den danske bistand, men for alle fire fokusområder har det generelt været af afgørende betydning, at den danske støtte har været i) i overensstemmelse med afghanske politikker og prioriteter, og leveret i overensstemmelse med principperne om god donorskik, ii) baseret på en langsigtet tilgang, som har til formål at opbygge

kapaciteten hos både myndigheder og i befolkningen, iii) fleksibel med hensyn til at tilpasse bistanden til ændringerne i lokale behov og lokale forhold, herunder sikkerhed, samt at komplementere andre donorer. Det anbefales, at Danmark fortsætter med at lade sin bistand til Afghanistan hvile på disse principper. Dette skal ses i lyset af, at evalueringerne generelt fremhæver, at der er stadig er store behov og store problemer at tage fat på i Afghanistan, og at der derfor stadig er brug for bistand. 3.3 Fællesevaluering af støtte til bedre finansiel forvaltning Evalueringen blev sat i gang for at afdække to overordnede spørgsmål: 1. Hvor og hvorfor leverer reformer af offentlige finanser resultater? Samt 2. Hvor og hvordan bidrager donorstøtte mest effektivt til at skabe resultater? Evalueringen blev iværksat af Den Afrikanske Udviklingsbank, Sida og Danida og blev foretaget af uafhængige britiske konsulenter (Fiscus and Mokoro) i samarbejde med lokale konsulenter. Evalueringen, der dækker perioden 2001-10, er baseret på dels omfattende litteraturstudier og tilgængelige data fra omkring 100 lande og dels på landestudier og besøg i Burkina Faso, Ghana og Malawi. Evalueringen konkluderer, at tre betingelser skal være opfyldt samtidigt, hvis reformer af forvaltningen af offentlige finanser skal føre til resultater. For det første skal der være stærk politisk vilje i landet. For det andet skal reformerne afpasses den lokale kontekst, og det er vigtigt, at reformprocesserne løbende tilpasses i lyset af indhøstede erfaringer. For det tredje bør udviklingslandene selv stå i spidsen for koordinationen og overvågningen af reformprocessen. Selvom der i en lang række reformer af forvaltningen af offentlige finanser kunne ses betydelige resultater, konstaterer evalueringen ikke en klar sammenhæng mellem bistand til reformer og resultater. Dette understreger, den afgørende rolle den politiske vilje i de enkelte lande har for, hvorvidt der skabes resultater. Evalueringen finder, at budgetstøtte generelt er et effektivt redskab til styrkelse af reformprocessen i lande, hvor viljen er til stede. Budgetstøtten giver regeringerne råderum til at vedtage reformer, der er tilpasset den lokale kontekst, og den sikrer, at den eksterne støtte fokuserer på regeringens eget reformprogram. Dog viser evalueringen også, at mange donorer fortsat ikke er kommet så langt med hensyn til at anvende de nationale administrative systemer til kanalisering af donormidler. Forsøg på at styrke reformprocessen ved at knytte betingelser til budgetstøtten har ikke vist sig at skabe bedre resultater. Tilsyneladende kan reformer ikke tvinges igennem udefra. Initiativer til reformer skal helst komme fra landene selv. Donorerne kritiseres desuden for at støtte initiativer, som regeringerne ikke selv prioriterer højt. Støtte til lavprioriterede områder er ofte spildt, idet initiativer som landene ikke selv prioriterer ofte forsvinder, når donorstøtten er væk. Evalueringen anbefaler, at donorer afpasser støtten til den politiske vilje i partnerlandet. Støtten anbefales tilpasset så tæt som muligt til reformprogrammet i partnerlandet, således at enkeltstående teknisk betonede initiativer undgås. Bistandspolitik og praksis bør understøtte reformer, der er forankret i partnerlandets egne systemer, således at der ikke opbygges parralle administrative

systemer. Det anbefales endvidere at fortsætte med at give støtte til civilsamfundsorganisationer, parlamenter og andre aktører, men samtidigt at acceptere, at effekten af en sådan støtte først vil være til stede på lidt længere sigt. 3.4 Evaluering af civilsamfundsorganisationers indflydelse på politik udvikling og gennemførelse i partnerlande Denne evaluering blev sat i gang for at opsamle erfaringer, der kan give donorer en bedre forståelse for, hvordan de bedst kan støtte civilsamfund i udviklingslandene i deres arbejde for at påvirke udarbejdelse og gennemførelse af love og politikker eller med andre ord civilsamfundsorganisationer som politiske aktører og talerør ikke mindst for svage og fattige befolkningsgrupper. Evalueringen var bestilt af den uformelle donorgruppe vedr. Civilsamfund og Udvikling, der blandt andet omfatter lande som Danmark, Sverige, Østrig, Canada, Finland og Schweiz. Evalueringen blev foretaget i perioden juni 2011-september 2012 af det britiske konsulentfirma ITD Ltd suppleret med eksperter fra danske COWI og fra de tre lande, hvor der blev udført feltstudier: Bangladesh, Mozambique og Uganda. Evalueringen konkluderer, at civilsamfundet har en vigtig rolle at spille som politisk aktør, og at denne rolle i stigende grad anerkendes, både af myndighederne i udviklingslandene og af donorerne. Det er også gennem årene gået fremad for så vidt angår sikring af civilsamfundets formelle rettigheder, så civilsamfundsorganisationer kan udfolde sig frit. Reelt betyder den måde, love og regler forvaltes på især i kontroversielle spørgsmål imidlertid ofte, at denne frihed begrænses og ligefrem modarbejdes. Dette forhold bør donorerne holde mere vågent øje med og forholde sig mere aktivt til. En lignende konflikt mellem det sagte og gjorte kan konstateres i donorernes støtte til civilsamfundet som politisk aktør, for donorerne støtter stadig mest civilsamfundsorganisationerne i deres rolle som leverandører af basale ydelser som sundhed og uddannelse. Øget og mere effektiv støtte til civilsamfundet som politisk aktør kræver, at donorerne udvikler nye værktøjer, der egner sig til den type af støtte, og at de udvikler metoder til at måle effekten af støtten. Donorerne skal også give civilsamfundsorganisationerne mere plads og mulighed til at sætte deres egne dagsordner i stedet for at spænde civilsamfundet for donorernes egne dagsordner. Evalueringen indeholder desuden en række mere konkrete operationelle konklusioner og anbefalinger, herunder øget støtte til uafhængige medier og kapacitetsopbygning. 3.5 Evaluering af støtte til retsmæssige serviceydelser i Zambia Denne evaluering blev igangsat for at vurdere effekten af støtten til retssektoren i Zambia. Evalueringen blev igangsat efter anmodning fra den danske ambassade i Lusaka som led i udfasningen af den danske støtte. Da støtten videreføres af GIZ/Tyskland og EU blev deres repræsentanter i Zambia inviteret til at følge evalueringen i form af en uformel referencegruppe. Evalueringen, der dækker perioden 2006-11, blev gennemført af det tyske konsulentfirma GHK i

samarbejde med det danske tana. Afslutningen af evalueringen har afventet afholdelsen af en workshop i Zambia med deltagelse af repræsentanter fra den zambiske regering. Denne workshop fandt sted i midten af november måned, og evalueringen vil blive afsluttet i 2012, men formentlig først offentliggjort i starten af 2013. Hovedresultaterne fra evalueringen har dog allerede bidraget til den nye strategiske sektorplan, der er under udarbejdelse. Evalueringen konkluderer overordnet, at den givne støtte har været relevant og har bidraget til at mindske en række flaskehalse i retssektoren. Bl.a. har en række fattige og sårbare mennesker i Zambia nydt godt af de forbedrede serviceydelser. På en række områder har man dog ikke nået de mål, man havde sat sig, og retssektoren i Zambia står fortsat overfor store udfordringer. I den forbindelse peges der på, at det er helt centralt, at reformerne i sektoren støttes fra højeste politiske niveau i Zambia, herunder for at sikre reformernes bæredygtighed. Samtidig erkendes det, at sådanne komplekse reformprogrammer kræver en længere tidsperiode. Evalueringen har en række anbefalinger af mere konkret art, der bl.a. fokuserer på prioriteringerne inden for sektoren på kortere og længere sigt, kapacitetsudvikling samt behovet for mere systematisk monitorering og evaluering. 3.6 Evaluering af det danske stipendieprogram (Danida Fellowship Programme) Formålet med denne evaluering, der dækker perioden siden sidste review i 2008, er at vurdere aktiviteterne og resultaterne af Danidas Fellowship Program, der administreres af Danidas Fellowship Centre. Evalueringen har været forsinket, men vil blive afsluttet i 2012, men formentlig først offentliggjort lige i starten af 2013. Evalueringen blev gennemført af Oxford Policy Mangement med casestudier i Ghana og Uganda. Programmet har i de senere år taget udgangspunkt i en strategi for 2011-13 og en aftale med Udenrigsministeriet for 2010-2012. Det har været et centralt element i de senere års aktiviteter at udlægge en del af træningsaktiviteterne til samarbejdsinstitutioner i partnerlande. Udover at dokumentere de gennemførte aktiviteter har det været en vigtig del af evalueringen at søge at vurdere de effekter, som træningen har givet anledning til i form af adfærdsændringer og betydningen for deltagernes organisationer. Evalueringen vurderer, at de gennemførte træningsaktiviteter er velforberedte og relevante, og erfaringerne med udflytningen af aktiviteter til en række samarbejdsinstitutioner vurderes som positive. Samtidig peges der på, at en svaghed er, at der ikke er etableret en overordnet ramme for vurderinger af effekterne af træningen, hvilket betyder, at der ikke foregår en systematisk opfølgning på den gennemførte træning bortset fra de evalueringer, som deltagerne laver. Det vurderes desuden, at træningen bliver mest effektiv, hvis der er et tæt koordination med andre aktiviteter, der støttes fra dansk side. Evalueringen anbefaler endvidere bl.a. en styrkelse af monitorerings- og evalueringssystemet, en udvikling af de redskaber, der anvendes til udvælgelse af deltagerne i træningsaktiviteterne, samt at der gives mere information til leverandørerne af træningsaktiviteter med henblik på at sikre en styrket konkurrence på både pris og kvalitet.

4. Studier og analyser Som nævnt i indledningen udgav EVAL i 2012 fire evalueringsstudier: - 2012/1. Makroøkonomiske effekter af HIV/AIDS og HIV/AIDS interventioner i Tanzania. Formålet med dette studie var dels at vurdere i hvilket omfang økonomiske modeller kunne anvendes til at vurdere effekterne af HIV/AIDS og HIV/AIDS interventioner og dels mere specifikt at analysere disse effekter i Tanzania. - 2012/2. Økonomisk udvikling og serviceydelser i skrøbelige stater. Dette evalueringsstudie samt evalueringsstudie 2012/3 blev udarbejdet som led i gennemførelsen af evalueringen af indsatserne i Afghanistan. Dette studie sammenfatter således erfaringerne med at støtte økonomisk udvikling og serviceydelser i skrøbelige stater baseret på en gennemgang af en række eksisterende analyser og evalueringer. - 2012/3. Opbygning af effektive statsapparater i skrøbelige stater. Dette studie supplerer 2012/2 ved at analysere en række evalueringer og analyser af støtten til statsopbygning i skrøbelige stater. - 2012/4. Støtte til statsopbygning og levevilkår i Afghanistan. Studiet indgik som nævnt ovenfor i den samlede evaluering af indsatserne i Afghanistan og supplerede dermed evalueringerne af uddannelse og nærområdeindsatser. Evalueringsstudier kan ligesom de egentlige evalueringer downloades fra www.evaluering.dk eller www.evaluation.dk 5. Formidling i øvrigt EVAL har i 2012 afholdt dels en international workshop og dels et offentligt møde. Den internationale workshop, der blev arrangeret i samarbejde med Københavns Universitet og det engelske tidsskrift Evaluation, fokuserede på anvendelsen af casestudier i evalueringer af udviklingsbistand og havde deltagelse af en række internationale eksperter. Et sammendrag af diskussionerne fra den internationale workshop er blevet publiceret i Evaluation 2012(4), og tidsskriftet forbereder desuden et temanummer baseret på udvalgte indlæg fra workshoppen. Det offentlige møde, der vedrørte civilsamfundsorganisationers bidrag til politikudvikling og gennemførelse, tog udgangspunkt i den igangværende evaluering. Materiale fra møderne kan hentes fra www.evaluering.dk under referencedokumenter. I 2012 er der udgivet et enkelt nummer af EVALs nyhedsbrev (evalnews). Hjemmesiden er desuden løbende blevet opdateret med nye publikationer samt information om kommende og afholdte arrangementer. Derudover har medarbejdere i EVAL publiceret artikler i forskellige videnskabelige tidsskrifter, ligesom medarbejdere i EVAL har holdt oplæg og undervist på blandt andet CBS, RUC og Københavns Universitet. Medarbejdere fra EVAL har desuden taget initiativ til udarbejdelsen af en introducerende bog på dansk om evaluering af udviklingsbistand. Bogen

udkom på DJØFs forlag i november måned. Derudover er der sammen med kolleger fra OECD/DAC og NORAD indgået en aftale med det engelske forlag Routledge om udgivelsen af en antologi om evalueringer i skrøbelige stater. Antologien, der vil have bidrag fra en række udenlandske kolleger, er under udarbejdelse og forventes udgivet i 2013. Endelig har EVAL løbende bidraget med formidling af evalueringsbaseret viden i Programkomiteen og i arbejdet med udvikling af kommunikationsfaglige indsatser, herunder kommunikation om resultater af udviklingssamarbejdet. 6. Internationalt samarbejde EVAL har i 2012 deltaget aktivt i de relevante internationale koordineringsnetværk, herunder OECD/DACs evalueringsgruppe, møder mellem lederne af EU-kommissionens og EU-landenes evalueringskontorer, Nordic+ netværket samt i det skandinaviske netværk for medarbejdere i evalueringsenhederne i Danmark, Sverige, Norge og den svenske evalueringsinstitution SADEV. Udover det konkrete samarbejde om fælles evalueringer har medarbejdere i EVAL i 2012 lavet kvalitetssikring for andre donorer, bl.a. for NORAD, DFID og Den Afrikanske Udviklingsbank, samt medvirket i akkrediteringen af evalueringsmedarbejdere i DFID. EVAL har desuden støttet den globale miljøfonds initiativ vedr. fremme af evalueringskapacitet og metoder inden for klimatilpasning og naturressourceforvaltning samt bidraget med stipendier til deltagere fra udviklingslande i det internationale evalueringskursus IPDET. 7. Igangværende evalueringer og studier, der vil fortsætte i 2013 Ved indgangen til 2013 er følgende evalueringer i gang: - Budgetstøtte, Tanzania - Fredsprocessen i Nepal - Medieindsatser under det arabiske initiativ - Civilsamfundsstrategien - Forskningsstøtte indenfor landbrug og naturressourceforvaltning - Støtte til bekæmpelse af HIV/AIDS i Uganda Derudover er forskellige evalueringer under forberedelse, herunder bl.a. en evaluering af Danida Business Partnerships. Der er desuden iværksat udarbejdelsen af et enkelt evalueringsstudie om systematiske reviews (metaevalueringer). Studiet forventes fremlagt på det næste Nordic+-møde, der er planlagt til at finde sted i København i maj 2013. Derudover forventes flere evalueringsstudier igangsat og færdiggjort i 2013. Sammen med OECD/DAC og en gruppe andre evalueringskontorer tog EVAL i 2012 desuden

initiativ til udarbejdelsen af et såkaldt Evaluation Highlights, der sammenfatter erfaringerne med støtte til skrøbelige stater. Studiet forventes udgivet af OECD/DACs evalueringsnetværk. Der er derudover indledt drøftelser med OECD/DAC og andre evalueringsenheder om et muligt Evaluation Highlights om erfaringer med støtte til CSO er. 8. Revision af Danida Evaluation Guidelines Nye reviderede retningslinjer blev offentliggjort i starten af 2012. Formålet med revisionen var bl.a. dels at opdatere retningslinjerne i lyset af, at OECD-DACs kvalitetsstandarder for evaluering var blevet revideret og dels at præcisere håndteringen af habilitet i forbindelse med gennemførelse af evalueringer.