Evaluering af en indsats med uklar teknologi og uklare mål: Udvikling af et evalueringsdesign

Transkript

1 DET SAMFUNDSVIDENSKABELIGE FAKULTET KØBENHAVNS UNIVERSITET Evaluering af en indsats med uklar teknologi og uklare mål: Udvikling af et evalueringsdesign - Illustreret med UNDP s 2015 Måls Kampagne som case Mie Roesen Rasbech Nielsen Nr. 189/2006 Projekt- & Karrierevejledningen

2 Projekt- & Karrierevejledningens Rapportserie Nr. 189/2006 Evaluering af en indsats med uklar teknologi og uklare mål: Udvikling af et evalueringsdesign - Illustreret med UNDP s 2015 Måls Kampagne som case Mie Roesen Rasbech Nielsen ISSN: ISBN: Se øvrige udgivelser i rapportserien og foretag bestillinger direkte på Projekt- & Karrierevejledningens hjemmeside. Projekt- & Karrierevejledningen Det Samfundsvidenskabelige Fakultet Københavns Universitet Center for Sundhed og Samfund Øster Farimagsgade København K pkv@samf.ku.dk

3 Evaluering af en indsats med uklar teknologi og uklare mål: Udvikling af et evalueringsdesign - Illustreret med UNDP s 2015 Måls Kampagne som case Udarbejdet af Mie Roesen Rasbech Nielsen Vejleder: Hanne Foss Hansen Maj 2006 Institut for Statskundskab Københavns Universitet 1

4 It is precisely because of our preoccupation with finding universal solutions that we fail to see how to devise solutions with local meaning and utility. Guba & Lincoln

5 ABSTRACT The main purpose of the thesis has been to develop a design which makes it possible to evaluate a programme of immeasurable technology and goals. The first step was to scrutinize if traditional evaluation designs, represented by Evert Vedung, were suitable to evaluate such programmes. None of the traditional designs were found to be completely appropriate. As the next step I turned to Realistic Evaluation (Pawson & Tilley 1997) and programme evaluation (Dahler-Larsen 2003) to construct a design called theory-based programme-theoretical evaluation. The design is characterized by involving the implementing organisation and isolating the organisation s opinions and expectations towards the programme. Based on interviews and documents I devised 1. Programme-theory the programme-theory in theory which illustrates the ideal situation according to the implementing organisation. This programme-theory is then tested against the target groups and a 2. Programmetheory the programme-theory in practice is developed, which is the visualization of the programme s real technology and outcome. The two-step design isolates the context, the mechanisms and the outcome of the programme making it possible to identify errors in theory and implementation. The developed design was tested on a campaign implemented by UNDP (United Nations Development Program) concerning the 2015 Goals, which focus on global poverty reduction. UNDP s primary aim with the campaign was to put the organisation in a position, where it is able to act as catalysts of initiatives for further activities in the poverty reduction area. This is a fragile and immeasurable aim. The evaluation based on the new developed design shows that interest generates motivation and engagement or - if the programme does not contribute with new knowledge - the opposite. Furthermore it identifies a theoretical error. In theory the campaign should convince the target groups that it is possible to meet the 2015 Goals. This change in opinion did not occur. The evaluation shows that opinions are sensitive to moral and/or connected to calculations based on facts, which can not be easily changed. The developed design contributes to the theoretical field of programme-evaluation by focusing on unknown technology and immeasurable goals combined in a user-friendly evaluation design, which is easily applied in practice. 3

6 INDHOLDSFORTEGNELSE 1. Indledning og problemformulering Metode Empiri og case Teori og operationalisering Analyse Evaluering Diskussion af metodisk bidrag samt perspektivering Konklusion Litteratur Figur- og tabeloversigt Cd-romoversigt Bilag 1: Liste over kvalitative interviews Bilag 2: Den samlede indsats resultatmål Detaljeret indhold 1. INDLEDNING OG PROBLEMFORMULERING Problemformulering Formål Empiri Teori Afgrænsning Specialets opbygning METODE Kvalitativ samt formativ undersøgelsesdesign Specialets case Datamateriale Indsamling af empiri NGO-workshoppen Operation

7 2.4.3 Global Island EMPIRI OG CASE UNDP UNDP s nordiske kontor Målene Indsatsens aktiviteter NGO workshoppen Operation Global Island TEORI OG OPERATIONALISERING Definition af evaluering ifølge Evert Vedung Kan Vedungs traditionelle evalueringsdesigns anvendes? Introduktion til målopfyldelsesevaluering Introduktion til effektevaluering Introduktion til procesevaluering Introduktion til systemevaluering Introduktion til aktørdesigns Introduktion til kollegial evaluering Hvorfor de traditionelle evalueringsdesigns ikke anvendes Karakteristika ved evalueringsgenstanden Krav til evalueringsdesignet Nye tendenser indenfor evaluering Hvad er en programteori? Hvad er teoribaseret evaluering? Hvad er en CMO-konfiguraion? Kontekstens betydning for resultatet Mekanismers betydning for resultatet Resultaternes beskaffenhed CMO-konfigurationers centrale rolle Identifikation af teori og implementeringsfejl Teoribaserede programteoretiske evalueringsforcer Teoribaserede programteoretiske evalueringsfaldgruber Videnskabsteoretiske betragtninger OPERATIONALISERING AF TEORIEN DESIGNUDVIKLING

8 4.10 Designudvikling - Introduktion til programteorier Designudvikling - De to programteorier Designudvikling 1. Programteori programteorien i teorien Designudvikling 2. Programteori programteorien i praksis Både induktiv og deduktiv undersøgelsesmetode ANALYSE EVALUERING Analyseoptakt Anvendelse af interviews med UNDP Analyseoptakt UNDP s forestilling om succes Analyseoptakt - NGO-workshoppen - NGO er Analyseoptakt - Operation 2015 Journaliststuderende Analyseoptakt - Global Island Unge Indsatsen - 1. Programteori programteorien i teorien Indsatsen - 1. Programteori Indsatsen Indsatskolonne Indsatsen Proceskolonne Indsatsen - 1. Kontekstkolonne Indsatsen Præstationskolonne Indsatsen - 2. Kontekstkolonne Indsatsen Resultatkolonne Den samlede indsats Analysen WORKSHOP NGO-workshoppen 1. programteori programteorien i teorien NGO-workshop - 1. Kontekst NGO-workshop Præstation NGO-workshop - 2. Kontekst NGO-workshop Resultat NGO-workshop 2. Programteori programteorien i praksis NGO-workshop - Forståelse af og indsigt i 2015 Målene NGO-workshop - Forankring og ejerskab på 2015 Målene NGO-workshop - Holdninger til 2015 Målenes realiserbarhed NGO-workshop - Betydningen af kontekst og præstation NGO-workshop Kontekstens betydning NGO-wokshop Præstationernes betydning NGO-workshop - Indledende skepsis NGO-workshop - Knaphed på tid og midler NGO-workshop - Afgav individuelle dagsordner - tog fælles ejerskab NGO-workshop UNDP s nordiske kontor

9 5.6.9 NGO-workshop - Toolkit som målsætning eller proces NGO-workshop Kritik NGO-workshop forskelle i niveauer NGO-workshop Konklusion OPERATION Operation 2015 Teoribaseret programteoretisk evaluering Operation Programteori programteorien i teorien Operation kontekst Operation 2015 Præstationer Operation Kontekst Operation 2015 Resultat Operation Programteori programteorien i praksis Operation 2015 Overvejelser omkring viden og forankring Operation Udvikling på nethinden eller en hjertesag Operation 2015 Timing Operation 2015 Forankring Operation Skepsis overfor UNDP, 2015 Målene og/eller FN Operation 2015 Journalisternes jobmuligheder Operation 2015 Forpligtigelse eller gæld til UNDP Operation 2015 Positivt momentum Operation 2015 Kritik Operation 2015 Gymnasieeleverne Operation 2015 Implementeringsfejl Operation 2015 Overambitiøs aktivitet Operation 2015 Konklusion GLOBAL ISLAND Global Island Programteori på baggrund af evalueringsrapport Global Island Evalueringsrapporten Global Island - Kendskab til 2015 Målene Global Island Udvikling af demokratiske færdigheder Global Island - Positivt momentum Global Island Individuel indsats Global Island Holdningsændring Global Island Kritik Global Island Afstemningsregler og pointafgivning Global Island Spillet kan ikke stå alene Global Island Alder

10 5.18 Global Island Konklusion PERSPEKTIVEREDE OPTIK PÅ DE TRE EVALUERINGER Interesse som genererende mekanisme Vanskeligt at holdningsændre DISKUSSION AF METODISK BIDRAG SAMT PERSPEKTIVERING Specialets design versus Pawson og Tilley s design Forskelle i evalueringsgenstandenes resultatrum Oplysning i evalueringssammenhæng Forskellige fokus Specialets evalueringsdesign Hvordan tilgangen kan anvendes realpolitisk? Designets fremgangsmåde praktisk udførelse KONKLUSION Specialets evalueringsdesign Specialets case Gennemgående træk Implementeringsfejl Teorifejl Global Island Designets ekstra features Litteratur Figur- og tabeloversigt Cd-romoversigt Bilag 1: Liste over kvalitative interviews Bilag 2: Den samlede indsats resultatmål Specialet indeholder ord 8

11 1. INDLEDNING OG PROBLEMFORMULERING Ulandsorganisationer skal ikke oplyse om deres projekter for statens penge, mener Udviklingsminister Ulla Tørnæs (V). 1 Så klart har Udviklingsministeren meldt ud på vegne af den danske regering. Det er slut med at bruge skatteborgernes penge til oplysning. Det er der flere årsager til, én årsag kan være oplysnings karakter. Oplysning er som fænomen uhåndgribeligt og kan indtage en flerhed af former. Det betyder, at resultatet af en oplysningskampagne er vanskeligt at måle, ligesom det er vanskeligt at vide hvilken teknologi 2, der fører til en oplysningskampagnes resultater. Udviklingsministerens udtalelse kan tolkes som et pres for, at danske ulandsorganisationer 3 i stigende grad skal legitimere og evaluere deres anvendelse af offentlige midler. Hvis det er korrekt fortolket, er det et pres, der lægges samtidigt med, at det bliver mindre indlysende, hvordan denne legitimering skal se ud, blot den finder sted i en evalueringskontekst (Dahler-Larsen 1998:129). Netop evaluering er blevet et af det 21. århundredes korstoge. 4 Alt kan (og bør) evalueres. Evaluering er blevet institutionaliseret i hovedparten af områder, der relaterer til politisk virksomhed. Denne institutionalisering har medført, at kravet om, at der indsamles undersøgelsesmateriale til evaluering, ofte er stærkere end kravene til, hvad evalueringens resultater specifikt skal bruges til (Dahler-Larsen 1998:81). Det konstante krav om evaluering fører i nogle tilfælde til, at evaluering foretages i blinde. Det skyldes, at når kriterierne for en evaluering skal fastlægges, vælges ofte de mest synlige, dvs. at kriterier, der er umiddelbart lette at operationalisere vinder over de mere abstrakte og uklare kriterier. Det sker også, når abstrakte kriterier er indsatsens egentlige formål, hvilket kan have den konsekvens, at en effektiv indsats kommer til at fremstå virkningsløs, og som følge heraf kan det forekomme, at den nedlægges (Dahler-Larsen 1998:81). 1 Scheibel, Louise og Jette Elbæk Maressa. (2005, 17. august). Nye krav til brug af ulandspenge. Indland, Jyllandsposten. Endvidere udtaler Udviklingsminister Ulla Tørnæs i denne sammenhæng, at oplysningsmidlerne anvendes til en "profileringskonkurrence mellem de forskellige organisationer": Søren Hougaard, formand for Mellemfolkeligt. (2005, 20. august). Ulandsoplysningen er vigtig. Jyllandspostens Netavis. 2 Teknologi er her udtryk for et årsags-virkningsforhold (inspireret af Thompson 1967:86). 3 Følgende vil ulandsorganisationer betegnes NGO er, der er en forkortelse af Nongovernmental Organisations. 4 For en indføring i evaluering i dansk kontekst se: Anja Hansen & Hanne Foss Hansens. (2000). Evaluering i Danmark. Nordisk Administrativt Tidsskrift, Vol. 81, nr. 2, pp

12 Karakteriseret med bred pensel afspejler evaluering modernitetens retningsløshed i kraft af sin åbenhed over for værdier og standarder - stort set alt er tilladt i evalueringens hellige navn (Dahler-Larsen 1998:75). Men området har gennemgået en massiv udvikling de seneste 50 år. Fra 1960 ernes evalueringsmodeller, der var konstrueret i troen på videnskab som måling og kontrol til de moderne evalueringsmodeller, der har fokus på lokal, kvalitativ viden, på selvinspektion og på pluraliteten af standarder og kriterier (Dahler-Larsen 1998:77). Det betyder, at selvom en evaluering ofte tager udgangspunkt i det, der umiddelbart kan måles, giver udviklingen i stigende grad mulighed for at identificere årsagssammenhænge (teknologier), der ikke lader sig afsløre ved første øjekast. 1.1 Problemformulering Specialets ærinde er at udvikle et evalueringsdesign, der kan evaluere indsatser med uklar teknologi og uklare mål. Det moderne samfund er blevet mere kompliceret, fragmenteret, turbulent og uforudsigeligt. Det er en udvikling, der sætter krav til videndeling; det er et samfund, der efterspørger et stadigt stigende kompetence- og effektivitetsniveau samt et samfund, der har et umætteligt behov for oplysning. Det er diffuse behov, der er svære at indfange i kvantitative termer, ikke mindst fordi teknologien bag begreber som videndeling, kompetenceudvikling og oplysning i dag er begrænset. Dvs. at der ikke eksisterer en konkret viden om, hvad der skaber/genererer begreberne. Ikke desto mindre efterspørger udviklingen præcis disse uhåndgribelige ydelser både hos den enkelte borger og i de aktiviteter, der gennemføres i samfundet. Der stilles konstant spørgsmål som: Er videndeling gennemført?, Er kompetencekrav imødekommet? og Er den rette information trængt igennem til målgruppen? Spørgsmålene er relevante at stille, men grundet kravenes diffuse karakter er de ofte vanskelige at besvare. På denne baggrund er specialets problemformulering: 10

13 Hvorledes kan der udvikles et evalueringsdesign, der gør det muligt, at evaluere virkningen 5 af indsatser med både uklar teknologi og uklare mål? Herunder en diskussion af hvad designet har bidraget med i forhold til det aktuelle evalueringsteoretiske felt. Evalueringsdesignet udvikles og afprøves ved hjælp af UNDP s Måls Kampagne, der er en oplysningskampagne. 1.2 Formål Specialets formål er at udvikle et teoribaseret metodisk design, der kan evaluere virkningerne af en indsats, hvis teknologi og mål er uklare og derfor vanskelige at operationalisere. Designets fokus er virkning, dvs. designet skal give indblik i den teknologi, der får indsatsen til at virke og derved genererer indsatsens resultater. En evaluering, der er gennemført ifølge designet, skal således gøre det muligt, dels at korrigere indsatsen, dels at tage kvalificeret stilling til, hvorvidt indsatsen bør bevares eller nedlægges. Ved at isolere en indsats teknologi øges tillige evalueringens anvendelighed, da der opnås indsigt i det, der virker, og det derved bliver muligt at justere virkningen. Således skal designet tillige imødekomme, at en stor del af de evalueringer der gennemføres i dag sjældent anvendes (Albæk 1996:22; Dahler-Larsen 1998:58; Feinstein 2002:434). Forud for identificeringen af teknologien, inddrages indsatsens implementeringsorganisation. Det sker for at kortlægge organisationens reelle mål med indsatsen, før evalueringens egentlige resultater kendes. Derved identificeres det substantielle indhold i indsatsens uklare mål, hvorefter det afprøves i evalueringen. Specialets evalueringsdesign tilpasses og afprøves på UNDP s 2015 Måls oplysningskampagne. 7 Denne kampagne har de karakteristika, der er interessante i forhold til specialets problemformulering. Udover at kampagnens formål er oplysning, med de definitoriske problemer det kan medføre, er kampagnens overordnede mål at være katalysator for en proces, der skaber ringe i vandet (Dansk landeansvarlig, 5 Virkning defineres af Dahler-Larsen (2003:51) både som en proces, dvs. at virke og som en effekt, dvs. en virkning og bygger således bro mellem processer og effekter. Det er også i den optik, begrebet anvendes i specialet. 6 United Nations Development Program (FN s Udviklingsprogram). 7 Dvs. UNDP s 2015 Måls Kampagne er evalueringsgenstanden. 11

14 UNDP). Det er et diffust mål, hvor både målets indhold og teknologien bag målet er uklart. Resultaterne fra specialets designudvikling samt den analyserende evaluering af oplysningskampagnen danner grundlag for en diskussion om, hvad designet har bidraget med i forhold til specialets evalueringsgenstand og metodeteoretisk i forhold til det aktuelle evalueringsteoretiske felt. Formålet med specialet er ikke at generalisere 2015 Måls Kampagnens evalueringsresultater til lignende kampagner, men at udvikle et design, der gør det muligt at evaluere objektivt og anvendelsesorienteret på indsatser, hvis teknologi og mål er vanskelige at operationalisere. Specialets ærinde er derfor ikke at opstille universelle løsninger, men at udvikle et evalueringsdesign der kan producere resultater og viden med lokal mening og nytte for primært implementeringsorganisationen. Designet skal derfor lade lokal forståelse og indsigt gå før generaliserbare fortolkninger, hvilket betyder, at designet lægger sig op ad, hvad der kaldes 4. generation af evaluering 8 (Guba & Lincoln 1989:47). 1.3 Empiri Evalueringsgenstandens 9 omdrejningspunkt er de otte 2015 Mål for reduktion af global fattigdom, der blev vedtaget på FN-topmødet i Evalueringsgenstanden består af tre aktiviteter, der er finansieret ved en offentlig bevilling: En NGO-workshop, et undervisningsforløb på Danmarks Journalisthøjskole (DjH) efterfulgt af en feltrejse til et udviklingsland (aktiviteten kaldes Operation 2015) samt gennemførelse af et internetspil i folkeskole og gymnasium vedrørende udviklingsrelaterede dilemmaer (aktiviteten kaldes Global Island). Undersøgelsesmaterialet vedrørende aktiviteterne er tilvejebragt af UNDP, der har givet frit lejde til at indhente arbejdspapirer, aktivitetsprogrammer, tidligere evalueringer og lignende. Desuden har jeg gennemført 10 interviews, to med ansatte i UNDP, fire med deltagere på NGO-workshoppen samt fire med deltagere fra Operation 2015 (Bilag 1). Analysen af Global Island baseres på en foreliggende evalueringsrapport. 8 De øvrige tre generationer af evaluering kan kort skitseres som følger: 1. generation er evaluering som måling og test, dvs. evaluator har en teknisk og instrumentel tilgang til evalueringsgenstanden. 2. generation er evaluering som beskrivelse af mønstre i styrker og svagheder i relation til en given standard eller et formål, her betragtes måling som et af flere evalueringsværktøjer. 3. generation er evaluering som vurdering og bedømmelse (Guba & Lincoln 1989). 9 I specialet benævnes evalueringsgenstanden også indsatsen. 10 For nærmere information se: 12

15 1.4 Teori Teorien er udvalgt med tanke på at udvikle et evalueringsdesign, der gør det muligt at evaluere objektivt og analytisk på en indsats med uklar teknologi og uklare mål. Indledningsvist beskæftiger jeg mig med Evert Vedungs traditionelle evalueringsdesigns i Utvärdering i politik och förvaltning (1998) for derved at afsøge hvilke muligheder, der ligger heri for at besvare specialets problemstilling. Herefter bevæger jeg mig over i nyere engelsk evalueringsteori og udvikler med afsæt heri et evalueringsdesign, der benævnes teoribaseret programteoretisk evaluering. Begrebet er udtryk for en kombination af ideer hentet fra teorierne teoribaseret evaluering og virkningsevaluering. Den teoretiske litteratur, jeg arbejder med, er Ray Pawson og Nick Tilley s Realistic Evaluation (1997) på dansk teoribaseret evaluering. Bogen giver omfattende indsigt i de nyere tendenser indenfor evalueringsteori, der fokuserer på at identificere en indsats genererende mekanismer, dvs. de mekanismer, der får indsatsen til at virke. Som supplement til Pawson og Tilley har jeg valgt at inddrage Peter Dahler-Larsens Nye Veje i Evaluering (2003(A)), hvori der gives en tilgængelig indføring i virkningsevaluering. Dahler-Larsen vil primært blive brugt som støtte til den metodeudvikling, der finder sted på baggrund af Pawson og Tilley. Desuden trækker jeg på Morten Balle Hansen og Evert Vedungs Fælles sprog i ældreplejens organisering evaluering af et standardiseret kategorisystem (2005). 1.5 Afgrænsning I specialet beskæftiger jeg mig ikke direkte med, hvorvidt Pawson og Tilley s teoriudvikling er hensigtsmæssig, da det ikke er relevant for problemstillingen. Jeg vil tillige ikke gøre detaljeret rede for 2015 Måls Kampagnens (evalueringsgenstandens) processuelle forløb, ligesom jeg ikke vil præsentere generelle karakteristika omkring kampagnens genstandsfelt, som er udviklings- og bistandsområdet. Betragtninger i disse henseender er medtaget i det omfang, de bidrager til forståelse af og indsigt i problemformuleringens besvarelse. Det skal nævnes, at komplekse og uklare teknologier og mål ikke behøver betyde, at der ligger konflikter bag målformuleringen. Mange især offentlige programmer har abstrakt formulerede mål som fx fremme af demokratisk sindelag og øget medindflydelse. Specialet indtager således ikke et konfliktperspektiv. 13

16 1.6 Specialets opbygning Specialet følger, som det fremgår af indholdsfortegnelsen, en klassisk videnskabelig disposition. Efter denne indledning introduceres i kapitel 2 den anvendte metode, hvorefter jeg i kapitel 3 sætter casen i kontekst ved at præsentere implementeringsorganisationen samt aktiviteterne i den indsats, der evalueres. I kapitel 4 følger en teoretisk gennemgang af designets byggeklodser, og der foretages en operationalisering af teorien, hvilket vil sige at den konkrete metodeudvikling, der fører til det fysiske evalueringsdesign ligger her. Fokus er, at indsatsens teknologi og mål skal operationaliseres og fortolkes i samspil med implementeringsorganisationens tanker om indsatsens hensigter og mål. I kapitel 5 gennemføres analysen. Først følger analyseoptakten, der redegør for hvorledes interviewene med implementeringsorganisationen anvendes, dernæst evalueres de tre aktiviteter. Evalueringen af Global Island er lidt anderledes end de to øvrige. Med Global Island er det primære sigte, at gøre en eksisterende evalueringsrapport (mere) anvendelig for implementeringsorganisationen. I kapitel 6, som indleder sidste del af specialet, diskuteres og perspektiveres den teoretiske metodeudvikling, og i kapitel 7 konkluderer jeg på det samlede speciale. 14

17 2. METODE I dette kapitel redegøres for specialets metodiske tilgang. Først belyses det anvendte undersøgelsesdesign, dernæst specialets case, datamateriale samt empiriindsamling. De overordnede metodeteorier i samfundsvidenskaben kan klassificeres i to forskningsstrategiparadigmer: Det kvantitative og det kvalitative! Der er tale om to forskellige samfundsvidenskabelige orienteringer, der er baseret på forskelle i epistemologi 11 og ontologi 12. En kvantitativ forskningsstrategi er karakteriseret ved en deduktiv teoritestning og en positivistisk epistemologi. Dertil kommer, at tilgangen er baseret på en objekt ivistisk virkelighedsopfattelse, hvilket betyder, at virkeligheden opfattes som noget ydre (Boolsen 2004:58). En kvalitativ forskningsstrategi har omvendt en interpretivistisk epistemologisk tilgang, dvs. fokus er fortolkningen af informanters subjektive opfattelser, ligesom man arbejder ud fra en socialkonstruktivistisk ontologi (Boolsen 2004:48). Specialets teoretiske tilgang foreskriver ikke noget bestemt metodevalg, metoden afhænger af karakteren af den aktuelle evalueringsgenstand (Dahler-Larsen 2003:73). Det afgørende er, at metoden og de valg, der ligger bag, tjener som en empirisk test af evalueringsgenstanden (Dahler-Larsen & Foss Hansen 2002:7). 2.1 Kvalitativt samt formativt undersøgelsesdesign Specialet baseres på kvalitativ metode, da designudviklingen fokuserer på evalueringsgenstande, hvis teknologi og mål er vanskelige at belyse kvantitativt. En kvalitativ undersøgelseslogiks styrke er metodens fleksible design, der medfører at undersøgelsesparametrene ikke behøver være fastlagte på forhånd, men kan udvikles som funktion af undersøgelsesarbejdet (Dahler-Larsen 2002:25). Desuden øger en kvalitativ metode i evalueringssammenhæng muligheden for at gøre evaluering formativ, dvs. at selve evalueringsprocessen kan udvikle den indsats, der evalueres (Foss Hansen 2001:49). 2.2 Specialets case Man må lære ved at gøre, for selvom man tror, man kan det, så har man ingen sikkerhed, førend man prøver det (Sofokles f.kr.). Netop i lyset af at man må lære ved at gøre, er det valgt at anvende et casestudie. 11 Epistemologien er vidensteori (= hvad kan vi vide?) (Boolsen 2004:58). 12 Ontologien er optaget af tingenes natur, eller i bredere forstand, af det værendes natur (Andersen & Kaspersen 2000:18). 15

18 Fordelen ved at casestudie er fokuseringen på enkelttilfældet, der gør det muligt at undersøge forholdet mellem en bestemt adfærd og dens kontekst og derved isolere logikken (teknologien) i forholdet mellem individet og situationen (Kvale 1997:109). Ifølge Boolsen (2004:37) kan anvendelsen af UNDP s 2015 Måls Kampagne betegnes som en kritisk case, hvilket er kendetegnet ved, at evalueringen (analysen) tester en teori, der indeholder antagelser og klart definerede omstændigheder. 2.3 Datamateriale Specialets undersøgelsesmateriale består primært i interviewtransskriptioner. 13 For at triangulere datas validitet inddrages evalueringsskemaer og -rapporter i det omfang, de foreligger. Kvantummet af evalueringsskemaer er ikke tilstrækkeligt samt ikke af en kvalitet til at kunne supplere den kvalitative metode med kvantitative data. Det betyder, at ingen af aktiviteterne evalueres alene på baggrund af evalueringsskemaer; skemaerne anvendes kun som supplement til det kvalitative undersøgelsesmateriale. 2.4 Indsamling af empiri Specialet er baseret på 10 kvalitative interviews samt en række evalueringsskemaer og rapporter, der knytter sig til de enkelte projekter. Det er vurderet, at antallet af interviews er passende i forhold til at kunne dække det vidensniveau, der er nødvendigt for at besvare specialets problemformulering (Kvale 1997:108). Indledningsvist er der gennemført to interviews med medarbejdere fra implementeringsorganisationen (UNDP s nordiske kontor), et med den danske landeansvarlige 14 og et med en kommunikationsmedarbejder. Begge var meget involverede i udvikling af indsatsen, ligesom de har stået til rådighed med oplysning og dokumentarisk materiale under specialets udarbejdelse. Interviewene er gennemført som semi-strukturerede interviews, hvor interviewet så vidt muligt tager form af en samtale, der er struktureret i en interviewguide (Kvale 1997:133). Guiden er formuleret på baggrund af dokumentarisk materiale vedrørende 2015 Måls Kampagnen samt de indledende briefende samtaler med implementeringsorganisationen. Interviewene er optaget på diktafon og efterfølgende transskriberet, 13 Alle interviewtransskriptioner, interviewguides samt UNDP s evalueringsspørgeskemaer er vedlagt på Cd-rom. 14 Der findes ingen specifik jobbeskrivelse for den landeansvarlige udover, at denne har det overordnede overblik over aktiviteterne i det pågældende land. 16

19 kodet og analyseret med henblik på at afdække aktørernes tanker og adfærd i forbindelse med deltagelse i aktiviteterne (Cd-rom) NGO-workshoppen I forbindelse med NGO-workshoppen er der gennemført fire interviews med danske deltagere på workshoppen. Der er af flere årsager valgt kun at interviewe danske repræsentanter. For det første foreligger der en skriftlig spørgeskemaevaluering udfyldt umiddelbart efter workshoppens ophør. Denne har 23 af 26 deltagere besvaret, dvs. en tilfredsstillende svarprocent på godt 88. Resultaterne heraf inddrages efter behov. Dertil kommer, at det via interviewguiden til de danske NGO er var muligt, at afgøre hvorvidt udsagnene også gjorde sig gældende for de øvrige deltagere. Det er derfor vurderet, at omkostningerne forbundet med at gennemføre interviews med ikke-danske deltagere, ikke ville stå mål med et forventet merudbytte Operation 2015 I forbindelse med Operation 2015 er der foretaget to interviews samt to telefoninterviews med tidligere journaliststuderende fra Danmarks Journalisthøjskole (DjH). Personlige interviews er at foretrække, da de giver bedst mulighed for videndeling mellem interviewpersonen og intervieweren. Men eftersom det var vanskeligt at træffe de tidligere journaliststuderende, da de efter endt uddannelse er spredt over hele landet/eu, er det vurderet, at to telefoninterviews som supplement til de personlige interviews kunne forstærke undersøgelsesmaterialet væsentligt. Desuden vurderes det, at telefoninterviews er udmærkede i konteksten, da det primært er faktuelle oplysninger, der søges. 15 Der foreligger desuden 13 individuelle evalueringsspørgeskemaer, som henholdsvis 9 studerende og 4 gymnasielærer udfyldte umiddelbart efter aktivitetens gennemførelse. Disse anvendes efter behov Global Island Global Island analyseres anderledes end indsatsens øvrige to evalueringer, da aktiviteten allerede er evalueret af Statens Pædagogiske Forsøgscenter; en evaluering der fandt sted i perioden april 2004 i Norge, Sverige og Danmark. UNDP har imidlertid ikke gjort brug af evalueringsrapporten, hvorfor man har ønsket, at evalueringen inkorporeres i nærværende evaluering. Derved håber man, at evalueringens resultater dechifreres således, at anvendeligheden for UNDP s ansatte øges. De nærmere metodiske overvejelser i denne sammenhæng behandles i analysen. 15 Beslutning herom blev i øvrigt til i samråd med en journalist, der tillige mente, at interviewguiden (se Cd-rom) var velegnet til telefoninterviews. 17

20 3. EMPIRI OG CASE 3.1 UNDP UNDP 16 er FN s globale netværk for udvikling og er repræsenteret i 166 lande. Her samarbejder man med lokale organisationer for at finde lokale løsninger på nationale og globale udfordringer samt bistår udviklingslandene med viden, erfaringer og ressourcer til at forbedre menneskers levevilkår. 90 procent af UNDP s ressourcer går til de 66 fattigste lande i verden, hvor over 90 procent af verdens fattigste lever. UNDP arbejder globalt indenfor følgende fem hovedområder: God regeringsførelse, fattigdomsbekæmpelse, energi og miljø, HIV/AIDS og konfliktforebyggelse. Inden for alle områder arbejdes der desuden for kvinders position i samfundet. UNDP har en række karakteristika, der adskiller organisationen fra andre udviklingsorganisationer. Det drejer sig bl.a. om global tilstedeværelse, organisationens omfangsrige samarbejde med lokale netværk samt et stærkt tillidsforhold til landenes regeringer, bl.a. fordi UNDP ofte bliver i et katastrofeområde efter, at de øvrige hjælpeorganisationer har forladt stedet. UNDP s status understøttes tillige af organisationens koordinerende rolle i FN-systemet, hvor de varetager den overordnede koordination af FN s udviklingsarbejde UNDP s nordiske kontor UNDP s nordiske kontor har base i København og repræsenterer UNDP i Norden. Kontoret åbnede i 1993 og har i dag afdelinger i Oslo og Stockholm. Det nordiske kontor blev oprettet for at give Norden nemmere adgang til UNDP og det multilaterale FN-system, hovedsageligt fordi de nordiske lande betaler ca. 1/3 af UNDP s årlige budget. 17 Kontorets opgaver er mangfoldige. Årligt arrangeres ca. 5 feltture til UNDP s samarbejdslande for presse, journaliststuderende, lærere, frivillige organisationer, ungdomspolitikere og parlamentarikere. Der arrangeres desuden seminarer, konferencer og foredrag om aktuelle udviklingsspørgsmål, og der bringes centrale aktører til Norden fra de lande, der modtager bistand. Desuden lancerer UNDP årligt Human Development Report 18, ligesom der produceres rapporter, lærervejledninger og baggrundsmateriale til skoler, frivillige organisationer og andre interesserede. 16 United Nations Development Program (FN s Udviklingsprogram) Human Development Report (HDR) udkom første gang i 1990 og udarbejdes af UNDP i samarbejde med en række uafhængige eksperter verden over. Hvert år fokuserer HDR på et nyt globalt tema som fx 18