Syddansk Universitet Master i Evaluering - MiE08 Reflekser om formidling af evalueringens fund og resultater specifikt i evalueringsrapporter fra teoribaserede evalueringer af forsøgs- og udviklingsprojekter. Masteropgave august 2010 Tove Rasmussen Eksamensnummer 178404 Cpr-nummer 030158-0908 Anslag: 143.722 Må offentliggøres
1. Indledning s. 2 2. Anvendelsesbegrebet s. 9 3. Barrierer for anvendelse s. 15 4. Målgruppernes positioner s. 23 5. Udfoldelse af programteori s. 27 6. Hvad er den gode formidling (af denne type evalueringer af denne type projekter)? s. 34 7. Implikationer for evaluators forvaltning af formidlerrollen s. 39 At definere egen rolle s. 39 At forme og udforme rapporten s. 42 At tilgodese og udfordre de forskellige grupper s. 52 8. Perspektivering s. 56 9. Summary s. 58 10. Litteratur s. 60 Bilag 1 Oversigt over afsluttede og igangværende evalueringsopgaver s. 62 Bilag 2 Cousins & Leithwoods model s. 65 Dette er afslutningen på to års rejse gennem et studie, som for mig har været fantastisk inspirerende og fantastisk berigende. Tak til alle jer, som gav mig godt selskab på rejsen! Reflekser - Masteropgave MiE 2008 Tove Rasmussen august 2010 1
Indledning Emnet til denne masteropgave er vokset ud af mine personlige erfaringer: I de evalueringer, jeg indtil nu har gennemført, har udarbejdelsen af en skriftlig rapport været en særskilt metodisk udfordring, som jeg længe har ønsket at blive klogere på i betydningen klogere på, hvorfor udfordringen er der og hvad den nærmere består i og i betydningen klogere på, hvordan jeg kan håndtere denne udfordring. Jeg har haft en intuitiv og i udgangspunktet ikke begrebsligt udfoldet oplevelse af, at der eksisterer en grundlæggende konflikt mellem evalueringsfagligheden og formidlingsfagligheden. I takt med, at jeg begyndte at arbejde med emnet, blev billedet mere nuanceret, mere komplekst og mindre entydigt, og jeg kom til at tænke visse modsætninger, visse lighedstræk og visse forskelligheder frem for uomgængelig konflikt. Implicit i min interesse for emnet er den forståelse, at formidlingen kan anskues separat som én af de arbejdsopgaver, hvorigennem evaluator kan bidrage positivt eller negativt til, om eller i hvilket omfang evalueringens fund og resultater bringes i anvendelse. Jeg opfatter ikke formidlingen som den væsentligste af evaluators mange forskellige arbejdsopgaver, jeg opfatter ejheller formidlingen som det, der alene er udslagsgivende for, om evalueringens fund og resultater bringes i anvendelse, og jeg opfatter ikke den skriftlige evalueringsrapport som den eneste, endsige vigtigste, formidlingsform. Jeg sætter bevidst et relativt snævert fokus på en metodisk problemstilling, som for mig at se fortjener opmærksomhed, og som jeg desuden personligt har et behov for at fordybe mig i og blive klogere på, inden jeg afslutter min masteruddannelse endeligt. Både formidling og anvendelse opfatter jeg som meget kontekstafhængige begreber. Derfor har jeg valgt, at den praksisramme, jeg vil anskue de teoretiske overvejelser inden for, skal være ganske konkret og udgøres af det, jeg har personlig erfaring med (og formentlig kommer til at arbejde med også fremover), nemlig teoribaserede evalueringer af forsøgs- og udviklingsprojekter. Kontekstafhængigheden er her konstitueret i tre dimensioner: Evalueringsmodel: Hvordan forholder teoribaseret evaluering sig til aktørerne i genstandsfeltet? Genstandsfelt: Hvad betyder det for indsatsen, at den ikke er rammesat i daglig drift, men Reflekser - Masteropgave MiE 2008 Tove Rasmussen august 2010 2
i et forsøgs- og udviklingsprojekt? Formidlingstype: Hvad betyder det, at formidlingen har form af en evalueringsrapport, og hvad betyder de på forhånd opstillede krav til evalueringsrapporten? Disse tre dimensioner i kontekstafhængigheden vil være gennemgående i de perspektiver, jeg lægger undervejs gennem opgaven. Oprindeligt ville jeg betegne min praksistilknytning virkningsevalueringsinspirerede evalueringer, men jeg har ændret betegnelsen til teoribaserede evalueringer, fordi sidstnævnte rummer både virkningsevaluering, som jeg tidligere har arbejdet ud fra, og Theory- Based Stakeholder Evaluation, som jeg formentlig i højere grad kommer til at læne mig op ad. Min forståelse af teoribaserede evalueringer er i overensstemmelse med Donaldsons definition: Program Theory-Driven Evaluation Science is the systematic use of substantive knowledge about the phenomena under investigation and scientific methods to improve, to produce knowledge and feedback about, and to determine the merit, worth, and significance of evaluands such as social, educational, health, community, and organizational programs, (Donaldson, 2007). Den stemmer desuden overens med Vedung og Balle Hansens konkretisering: Theory-based Evaluation (TBE) has been labeled in various ways (e.g. program theory, theory driven, logic models) but what unites the different approaches is the reconstruction of a causal model based on various sources in order to understand how a specific intervention (or program) is intended to bring about, or brings about, output and outcomes, (Vedung og Balle Hansen, 2010 1 ). Min arbejdsmetode er sammenlignelig med en eksplorativ, kvalitativ undersøgelse. Jeg har i udgangspunktet haft en intuitiv og ikke begrebsligt udfoldet fornemmelse af et modsætningsforhold mellem evalueringsfaglighed og formidlingsfaglighed. Men endemålet er for mig ikke at påvise, hvorvidt eller i hvilket omfang denne modsætning reelt eksisterer. Mit mål er at forstå betydningen af, at udarbejdelse af en evalueringsrapport hører til i et spændingsfelt mellem evalueringsfaglighed og formidlingsfaglighed. I min skriveproces opfatter jeg feltet som relativt uudforsket, som sammensat og komplekst og som konstitueret af kulturelle konstruktioner, som feltet selv har skabt. Jeg har dermed alle tre grunde til ikke at fastlægge undersøgelsens kategorier på forhånd, kategorierne må udvikle sig som en funktion af selve undersøgelsesarbejdet (Dahler-Larsen, 2008), eller mere præcist formuleret i indeværende sammenhæng: Det er en konsekvens af mit valg 1 Med henvisning til Stame, N. (2004): Theory-based evaluation and varieties of complexity. Reflekser - Masteropgave MiE 2008 Tove Rasmussen august 2010 3
af emne, at jeg i høj grad må skrive mig ind i opgaven. Mit udgangspunkt, den tilgrundliggende tese, er: teoribaseret evaluering er et godt redskab til evaluering af forsøgs- og udviklingsprojekter, men der er visse problematikker i grænsefeltet mellem evalueringsfagligheden og formidlingsfagligheden, som vanskeliggør selve evalueringsrapportens formidling, og som dermed kan være en hindring for, at denne kan bidrage positivt til anvendelsen af evalueringens fund og resultater. I de forsøgs- og udviklingsprojekter, jeg beskæftiger mig med, er det et gennemgående vilkår, at alle involverede medarbejdere enten går tilbage til almindelige, rutinemæssige driftsopgaver efter afslutningen af projektet eller går videre til andre projekter, og derfor er det særlig vigtigt, at den udviklings- og læreproces, som er pågået gennem forløbet, fastholdes og forlænges i en god formidling. Refleksionerne over, hvordan erfaringer fra projektet kan implementeres, kan og bør indledes undervejs i udviklingsforløbet, men må fortsættes, når hverdag er blevet hverdag igen. På integrationsområdet, som er mit arbejdsfelt, bliver den ordinære indsats i vidt omfang suppleret af projekter, som er finansieret af ministerielle, kommunale eller EU-forankrede forsøgs- og udviklingsmidler. Der tilrettelægges særlige forløb, hvis formål er at bibringe en bestemt gruppe borgere visse forudsætninger for dermed at ruste disse borgere til at indgå mere aktivt i bestemte dele af deres egen integrationsproces, og forløbene afgrænses i tid, indhold og finansiering fra den ordinære indsats. Et projekt tilrettelægger således danskundervisningen på en særlig måde, et andet kobler elementer af danskundervisning med elementer fra beskæftigelsesindsats på en bestemt måde, et tredje fokuserer på en særlig dimension af forældresamarbejdet for én af kommunens skoler og de omkringliggende institutioner etc. Fælles for projekterne er, at en gruppe udøvende praktikere i en vis periode har en del af deres arbejdstid og opgaveløsning indlejret i en projektramme. Disse praktikere skal i den pågældende periode både udvikle nye metoder og afprøve disse inden for projektets ramme, men med en eksplicit forventning om, at de udviklede metoder og indhøstede erfaringer efterfølgende skal implementeres i almindelig daglig praksis. Fordi de tildelte forsøgs- og udviklingsmidler er tiltænkt feltet i bredere forstand, er der typisk krav fra bevilgende myndighed om, at der skal udvikles metoder og indhøstes erfaringer af mere al- Reflekser - Masteropgave MiE 2008 Tove Rasmussen august 2010 4
mengyldig værdi. De særlige indsatser skal inspirere feltet bredt med henblik på en generel kvalificering og effektivisering af indsatsen. Dermed indgår det også typisk i opdraget til evaluator, at evalueringen skal udmøntes i en skriftlig rapport, som både indeholder en afrapporterende, summativ del med vurdering af, i hvilket omfang projektet har nået sine mål og udnyttet de tildelte midler på en god og forsvarlig måde, og en erfaringsopsamling, en formativ del, som gør rede for de indhøstede erfaringer, indsigter og læringer, og vurderer i hvilket omfang og på hvilken måde disse læringer, indsigter og erfaringer kan implementeres i daglig praksis - ikke alene i den organisation, som har afviklet projektet, men også i andre, tilsvarende organisationer rundt om i landet. Hermed får evalueringsrapporten tre meget forskellige målgrupper: De involverede praktikere fagpersoner inden for projektet Andre praktikere, som arbejder med tilsvarende indsatser fagpersoner uden for projektet Opdragsgiverne, som enten er de ansvarlige embedsmænd (med tilknyttede politikere som potentielle med-læsere) eller den ledelse, som gennem projektbevillingen har påtaget sig det daglige ansvar (med de tilknyttede embedsmænd som potentielle med-læsere). Disse tre grupper er definerede målgrupper for evalueringsrapporten, de er interessenter for evalueringen og i evalueringens genstandsfelt, og de to af dem, de involverede praktikere og opdragsgiverne, er desuden aktører i projektet. I denne form for forsøgs- og udviklingsprojekter har de udøvende praktikere (projektmedarbejdere) deres opmærksomhed rettet mod at udvikle gode og gavnlige metoder til den pågældende indsats for den aktuelle målgruppe inden for projektets konkrete kontekst. At projektet har forpligtet sig til at udvikle metoder og redskaber af mere almengyldig værdi er i bedste fald en anledning til undervejs at lade nogle af diskussionerne udfolde sig på et mere generelt og måske mere teoretisk substantielt plan, men ofte opleves denne forpligtelse snarere som et forstyrrende element, projektmedarbejderne søger at beskytte sig imod på forskellig vis. Projektets målsætning og den eksplicit formulerede, overordnede programteori er typisk holdt i så vage formuleringer, at der er rig lejlighed til individuelle fortolkninger, og det er Reflekser - Masteropgave MiE 2008 Tove Rasmussen august 2010 5
generelt set vanskeligt for de involverede praktikere undervejs at forholde sig analyserende til, om uløste problemer skyldes implementeringsfejl eller fejl i de grundlæggende antagelser (programteorifejl). Med andre ord har projektet brug for en følgeevaluering baseret på en version af de teoribaserede evalueringsmodeller, der kan give svar (i flertal!) på forsøgs- og udviklingspuljernes helt overordnede og styrende spørgsmål: Hvad virker for hvem under hvilke betingelser?, altså en evaluering der betragter en indsats som baseret på antagelser om, hvorfor denne indsats skulle føre til nogle bestemte resultater. Disse antagelser kaldes en programteori. Evalueringsarbejdet tilrettelægges sådan, at man ikke alene får evalueret indsatsen, men også testet programteorien (Dahler-Larsen, 2005) og dermed har som sit hovedspørgsmål: Kan vi bekræfte, afkræfte eller udvikle programteorien alt sammen med henblik på en løbende forbedring af indsatsen? (Dahler-Larsen og Krogstrup, 2006). Der er skrevet meget om teoribaseret evaluering i dens forskellige afskygninger, men der er ikke skrevet meget om netop formidlingen af den teoribaserede evaluerings fund og resultater - og slet ikke om evalueringsrapportens iboende udfordring ved at have forskellige målgrupper, som har vidt forskellige forudsætninger i forhold til kontekst og emne og helt forskellige relationer til afsender/evaluator. Der er skrevet en del om formidling af evalueringens fund og resultater, både om formidling i form af evalueringsrapport og om andre former for formidling, men dette er overvejende skrevet i forhold til evalueringer generelt, og dermed uden at problemstillinger og løsningsmodeller konkretiseres specifikt til teoribaserede evalueringsmodeller eller til forsøgs- og udviklingsprojekter. I min tilgang til emnet bygger jeg på personlige erfaringer fra en række (mindre) evalueringsopgaver af ret forskellige forsøgs- og udviklingsprojekter, alle indtil videre med tilknytning til integrationsområdet. Jeg har altså i mit arbejdsgrundlag en række implicitte cases, som jeg har valgt ikke at eksplicitere i opgaven, fordi jeg mener, det ville indsnævre fokus for meget, hvis jeg valgte en enkelt case, og på den anden side forplumre fokus, hvis jeg forsøgte at indarbejde hele spektret. I bilag 1 har jeg i stedet oplistet disse evalueringsopgaver med en ultrakort beskrivelse af forsøgsprojektets tema, organisatoriske forankring og primære finansiering samt målgrupperne for evalueringsrapporten. Jeg har tidligere udvendiggjort mine erfaringer og tilknyttede refleksioner fra en enkelt af disse evalueringsopgaver, evaluering af forsøg med inddragelse af modersmål i danskuddannelserne i Københavns Kommune, ved at bruge denne som case til eksamen i fagene Kvalitativ Reflekser - Masteropgave MiE 2008 Tove Rasmussen august 2010 6
metode, Økonomisk evaluering, Vidensledelse og læreprocesser samt Organisatorisk forandring. Jeg sætter således et relativt snævert fokus på en metodisk problemstilling, som for mig at se fortjener opmærksomhed, og som jeg ønsker selv at blive klogere på. Jeg anskuer problemstillingen fra et relativt snævert, men samtidig forholdsvis velafgrænset og meget konkret perspektiv. Dermed forenkler jeg kompleksiteten i det helt overordnede tema hvordan kan evaluator gennem formidlingen understøtte og bidrage til anvendelse af evalueringens fund og resultater, hvilket indebærer, at jeg i fremstillingen udelader (og i mine bagvedliggende overvejelser undlader at gå i dybden med) visse nuancer. Til gengæld muliggør jeg en konkretisering, som kan gøre konklusionerne mere handlingsrettede. Hermed har jeg indsnævret og konkretiseret mit emne til følgende problemformulering: Hvad betyder det for evalueringsrapportens formidling af evalueringens fund og resultater i teoribaserede evalueringer af forsøgs- og udviklingsprojekter, at der er tre forskellige målgrupper for formidlingen, som har forskellige forudsætninger i forhold til kontekst og emne, og som har helt forskellige relationer til afsender/evaluator og hvad betyder det særligt for evalueringsrapportens potentiale til at fremme og understøtte anvendelse? I det første afsnit indkredser jeg anvendelsesbegrebet og udformer en definition på begrebet, som er tilpasset den helt specifikke kontekst. Dernæst skitserer jeg de mest relevante barrierer for anvendelse og summerer i den forbindelse debatten mellem Carol Weiss og Michael Quinn Patton op i de pointer, som har størst betydning for netop teoribaserede evalueringer af forsøgs- og udviklingsprojekter. I opgavens tredje afsnit gør jeg kort rede for, hvordan målgruppernes forskellige positioner har betydning for den relation, der gennem evalueringsprocessen etableres mellem evaluator som afsender og målgrupperne som modtagere i formidlingssituationen. Herefter gør jeg rede for, hvordan udfoldelse af programteori i høj grad drives frem af refleksion, og hvordan den måde, hvorpå evaluator gennem processen har stimuleret til refleksion hos aktørerne, påvirker relationen mellem evaluator og aktørgrupperne. Hvad der karakteriserer den gode formidling af netop denne type evalueringer af netop denne type projekter søger jeg at præcisere i det følgende afsnit, hvorefter jeg går videre til at beskrive implikationerne heraf i tre dele: i relation til hvordan evaluator definerer sin egen rolle som formidler, hvordan rapporten Reflekser - Masteropgave MiE 2008 Tove Rasmussen august 2010 7
formes og udformes - og hvordan evaluator netop gennem rapportens udformning tilgodeser og udfordrer de forskellige målgrupper. I et ganske kort perspektiveringsafsnit samler jeg til sidst trådene og bestemmer konkluderende forholdet mellem evalueringsfagligheden og formidlingsfagligheden, som det konstituerer sig i arbejdet med at udforme en evalueringsrapport, som bedst muligt understøtter anvendelse. Jeg har valgt at give opgaven titlen Reflekser, fordi der til dette ord er knyttet et par finurlige og modsætningsfyldte ordspil, som ganske fint illustrerer pointerne i opgavens fokus på samspillet mellem evaluering og formidling. Refleks betyder både genspejling og uvilkårlig reaktion. En genspejling, dvs. et tilbagekastet lys, der glimter eller giver genskær fra det det kastes tilbage fra 2 kan blænde os, men på den anden side også kaste et nyt lys på det, vi betragter, og dermed få os til at ændre opfattelse af, hvad det er, vi ser. Og når vi handler pr. refleks, altså foretager en uvilkårlig reaktion forårsaget af et sanseindtryk eller en fysisk påvirkning (ibid.), handler vi paradoksalt nok ganske ureflekteret. At reflektere betyder ikke kun at kaste lysstråler (eller lydbølger) tilbage og dermed spejle eller genspejle noget, det betyder desuden at tænke over noget på en særligt udforskende måde, og endelig betyder det at svare (fx på en annonce). De forskellige betydninger af refleks og reflektere illustrerer kompleksiteten i evaluators udfordringer og handlemuligheder i den del af opgaveløsningen, hvor evalueringsfagligheden og formidlingsfagligheden kan gå op i en højere enhed, hvis evaluator formår at udnytte genspejlingens mekanismer til at vække refleksion. 2 Politikens store nye Nu Dansk Ordbog, Politikens Forlag, 1996 Reflekser - Masteropgave MiE 2008 Tove Rasmussen august 2010 8
Anvendelsesbegrebet Anvendelse er et begreb, vi er tilbøjelige til at bruge uden at sikre os, at vi har samme forståelse af ordet, som vores samtalepartner(e) har. Det kan give anledning til misforståelser og føre til, at drøftelser af problemstillinger og løsningsmodeller i forbindelse med begrebet bliver for vage og ukonkrete og dermed ufrugtbare. Jeg har søgt, men ikke fundet, en brugbar og fyldestgørende definition på anvendelse i evalueringssammenhæng. I min tilgang til begrebet ligger det ofte citerede Patton-udtryk intended use for intended users lige for, men det er alligevel for upræcist. Er det (og de) intenderede fx kun det (og de) eksplicit intenderede eller desuden det (og de) implicit intenderede? Og hvad omfatter use? Larry A. Braskamp foretrækker i A Definition of Use (1982), betegnelsen use i stedet for utilization, fordi sidstnævnte har en klang af instrumentel brug (under henvisning til et citat fra Carol Weiss: People don t utilize research the way that they utilize a hammer ) en væsentlig nuance, som også kan siges at ligge i forskellen på anvendelse frem for brug. Ifølge Cousins og Leithwood (1986) er der tolv centrale betingelser for anvendelse. De seks er primært knyttet til evalueringens gennemførelse, mens de øvrige seks primært er knyttet til beslutningssituationen. I relation til selve evalueringens gennemførelse oplistes: Evaluation Quality: Characteristics of the evaluation process including sophistication of methods, rigor, type of evaluation model. Credibility: Of the evaluator and/or the evaluation process, defined in terms of objectivity, believa-- bility, appropriateness of evaluation criteria, and so forth. Relevance: Of the evaluation to the information needs of the decisisonmaker(s) in terms of the purpose(s) of the evaluation and the organizational location of the evaluator. Communication Quality: Clarity of reporting results to the evaluation audience(s) in terms of style, evaluator advocacy of the results, and breadth of dissemination. Findings: Positive, negative, consistent with evaluation audience expectations, value for decisionmaking, and so forth. Timeliness: In the dissemination of evaluation results to decisionmaker(s). Og i relation til beslutningssituationen: Information needs: Of the evaluation audience(s), including type of information sought, number of Reflekser - Masteropgave MiE 2008 Tove Rasmussen august 2010 9
evaluation audiences with differing information needs, time pressure, and perceived need for evaluation. Decision Characteristics: Impact area, type of decision, program novelty, and the significance of the decision or evaluation problem, and so forth. Political Climate: Political orientation of commissioners of the evaluation, dependence of the decisionmaker(s) on external sponsors, inter- and intraorganizational rivalries, budget fights, power struggles, and so forth. Competing Information: From sources beyond the evaluation (personal observations, staff, peers, etc.) bearing upon the problem and competing with evaluation data. Personal Characteristics: Defined in terms of the decisisonmakers organizational roles, information processing style, organizational experience, social characteristics, and so forth. Commitment and/or Receptiveness to Evaluation: Attitudes of the decision-maker(s) toward evaluation, organizational resistance, open-mindedness, and so forth. Jeg vil ikke gå ind i en egentlig analyse af Cousins og Leithwoods undersøgelse og deres konklusioner herpå. Det ville være ufrugtbart, fordi undersøgelsen og konklusionerne er knyttet til helt andre kontekster end den, som min masteropgave forholder sig til. Jeg vil blot tage afsæt i deres model (Bilag 2) til en skitsering af relevante perspektiver på anvendelse og barrierer herfor specifikt i relation til teoribaserede evalueringer af forsøgsog udviklingsprojekter med det formål at få indkredset og afgrænset anvendelsesbegrebet nærmere. Da jeg første gang mødte modellen (i Launsø og Riepers bog om Forskning om og med mennesker (1997)) fangede den min opmærksomhed af to grunde: For det første har den placeret kommunikationskvalitet på en yderst central plads, hvilket talte lige ind i min optagethed af samspillet mellem evalueringsfaglighed og formidlingsfaglighed - og især af hvordan disse to fagligheder bedst mødes i den opgaveløsning, som består i at formidle evalueringens fund og resultater i en rapport på en måde og i en form, der bedst muligt understøtter anvendelsen i al dens kompleksitet. For det andet illustrerer modellen netop denne kompleksitet; de oplistede centrale betingelser for anvendelse er uafhængige variabler, ordnet - eller rettere sammenklynget (clustered) - i to overordnede dimensioner, som er forbundet med en dobbeltrettet pil for at markere that they are dynamic entities interacting with one another to produce effects on use. Dette komplekse og dynamiske samspil af uafhængige variabler påvirker evalueringens anvendelse, forstået som et igen komplekst og dynamisk samspil af tre dimensioner: anvendelse som proces, som beslut- Reflekser - Masteropgave MiE 2008 Tove Rasmussen august 2010 10
ning og som oplysning (i betydningen læringsfremmende og ikke blot informerende oplysning). Cousins og Leithwood angiver i teksten to, hinanden supplerende definitioner af use eller utilization (og tager altså ikke parti for det ene eller det andet af disse udtryk): a) support for discrete decisions og b) the education of decisionmakers. I modellen er disse to formuleret som henholdsvis Utilization as Decision og Utilization as Education. De er forbundet med en dobbeltrettet pil, mens Utilization as Processing skildres som en faktor, der ikke påvirkes af, men udelukkende har en påvirkning på Utilization as Decision og Utilization as Education og desuden på samspillet mellem dem. Det skal bemærkes, at placeringen af kommunikationskvalitet i en central placering (midtercentreret og desuden helt øverst i modellen) ikke på nogen måde begrundes i teksten. Den kan være tilfældig eller den kan være bevidst, uden at det er formuleret eksplicit. I teoribaserede evalueringer af forsøgs- og udviklingsprojekter, hvor evalueringen har som sit hovedspørgsmål: Kan vi bekræfte, afkræfte eller udvikle programteorien alt sammen med henblik på en løbende forbedring af indsatsen? (Dahler-Larsen og Krogstrup, 2006) og hvor projektet skal udvikle og afprøve metoder i et helt konkret forløb, men alligevel med en bredt anvendelig værdi, giver det god mening at inddrage perspektiverne evalueringskvalitet, troværdighed, relevans, kommunikationskvalitet, fund og betimelighed 3 på de dimensioner af anvendelsesbegrebet, som er væsentlige for, hvorvidt formidlingen af evalueringens fund og resultater i sig selv kan understøtte og fremme anvendelsen. Rækkefølgen er passende: Kvaliteten i evalueringen, overordnet forstået som passende valg af evalueringsmodel og hertil knyttede metoder, giver evalueringen som sådan og evaluator som dens personificering troværdighed. Hvis evalueringen er af god kvalitet, har evaluator et solidt grundlag for at fokusere under hensyntagen til, hvad der opfattes som relevant for beslutningstagerne. Velvalgte fokuspunkter er med til at sikre kvaliteten i formidlingen, som dog også skal være meget velgennemtænkt, hvad angår hvilke fund og resultater der præsenteres i rapporten og hvordan. Endelig betyder timing (og betimelighed ) meget set i lyset af det dynamiske samspil mellem faktorerne og den foranderlighed, der ligger heri. 3 Launsø og Rieper oversætter timeliness med til tiden, men jeg foretrækker det, indrømmet, noget gammeldags udtryk betimelighed, fordi dette også rummer et element af det opportune, altså en tidsmæssig udnyttelse af det særligt gunstige i situationen. Reflekser - Masteropgave MiE 2008 Tove Rasmussen august 2010 11
Betydningen af timing og betimelighed er endnu mere udpræget i den dimension, der forholder sig til selve beslutningssituationen. Eller rettere: beslutningssituationerne. Beslutninger taget på baggrund af erfaringer fra et forsøgs- og udviklingsprojekt, understøttet og fremmet af evalueringen og formidlingen heraf eller for så vidt uafhængigt af evalueringen kan være beslutninger på alle niveauer, fra den enkelte undervisers beslutning om at justere sin daglige praksis i måske blot en enkelt detalje, til i den modsatte ende af spektret - en lovændring på området. Det eneste kendetegnende, som er gennemgående for alle disse former for beslutninger, er at nogen iværksætter en ændring af praksis (egen eller andres). Michael Quinn Patton har en interessant overvejelse om, at det i forhold til de udøvende praktikere giver mere mening at tale om bevidste valg end om egentlige beslutninger...part of our role is that we re helping people making better decisions. That strikes me as perhaps more accurate at the policy level than it is at the practitioner level, because what they do at that level would not be thought of as Decision. The evaluation role is partly making them more conscious and deliberate and aware of what it is they re doing...(..).. They can start to make some conscious choices about what to do in situations that go beyond intuition. That kind of learning is different from making decisions. (Alkin, 1990). Jeg er meget enig med ham, og der er også på dansk en indholdsmæssig forskel på at træffe et valg og at tage en beslutning. Men jeg fastholder alligevel begrebet beslutning som noget, der kan tages på alle niveauer, og som er afgørende for ændring af praksis. Grænsen mellem valg og beslutning kan ikke defineres klart. Og selv når der er tale om justering af praksis i nuancerne, er det langt mere almindeligt at høre en praktiker på integrationsområdet tale om, at han eller hun har besluttet fremover at end at vedkommende har valgt fremover at. Dette gælder ikke mindst i de situationer, hvor der er mulighed for, at beslutningerne bliver fastholdt ved indarbejdelse i forretningsgange, procedurebeskrivelser, undervisningsplaner, virksomhedsplaner mv. Hvor kaotisk og uforudsigelig processen frem mod og i selve beslutningssituationen end måtte være, har de involverede parter forskellige former for informationsbehov, dels afhængigt af deres forskellige forudsætninger og positioner, og dels afhængigt af kendetegn ved beslutningen og ydermere afhængigt af det politiske klima, hvori beslutningen Reflekser - Masteropgave MiE 2008 Tove Rasmussen august 2010 12
tages. De involverede vil have konkurrerende information at forholde sig til og at holde op imod informationen fra evalueringen. Hvordan den enkelte varetager sin rolle i beslutningsprocessen og hvordan samspillet mellem de involverede påvirker den endelige udformning af beslutningen er i høj grad et spørgsmål om personlige karakteristika - her i betydningen the decisionmakers organizational roles, information processing style, organizational experience, social characteristics, and so forth og endelig har forpligtelse og/ eller modtagelighed over for evalueringen naturligvis væsentlig betydning for, hvor stor en rolle evalueringen får lov at spille i den samlede, måske meget komplekse beslutningssituation. Beslutninger står sjældent alene, oftest tages de i en sammenhæng med og i en afvejning i forhold til andre beslutninger. Ændring af praksis er et helt centralt element i forsøgs- og udviklingsprojekter. Projekterne er født til at udvikle måder at ændre praksis, så indsatsen bliver forbedret, enten i betydningen mere effektiv (samme resultater for færre ressourcer eller flere resultater for de samme ressourcer) eller i betydningen af en bedre kvalitet (mere langvarige resultater eller resultater med mere dybde og bredde). Betydningen af det danske ord anvende har udviklet sig fra vende sig mod over ordne til bruge og er indholdsmæssigt beslægtet med benytte, nyttiggøre og drage nytte af. Der ligger et element af proces i anvendelsen: Det, man anvender, vender man sig mod, man bibringer det en orden ved at give det en formålsbestemt retning, og dermed giver man det en eksplicit nytteværdi. Ved anvendelse forstår jeg således i denne, specifikke sammenhæng: Anvendelse af teoribaserede evalueringer af forsøgs- og udviklingsprojekter betyder, at aktører, som har indflydelse på justering af praksis, (hvad enten der er tale om indflydelse på egen praksis eller på andres praksis), drager nytte af de fund og resultater, som evalueringen har tilvejebragt gennem analyse og vurdering af projektet, herunder ved bekræftelse, afkræftelse eller udvikling af projektets programteorier. Nyttiggørelsen af evalueringens fund og resultater sker ved, at disse gøres til anledninger til overvejelse om, hvad der kan og skal træffes af beslutninger eller bevidste valg om fremadrettet ændring, justering eller videreudvikling af praksis, hvorved erfaringer, indsigter og læringer fra projektforløbet i den evaluerede form kan indarbejdes dels i den ordinære indsats (både lokalt og andre steder) dels i lignende udviklingsprojekter (lokalt og andre steder) med det Reflekser - Masteropgave MiE 2008 Tove Rasmussen august 2010 13
eksplicitte formål at forbedre indsatsen. Ændring, justering eller videreudvikling af praksis på baggrund af evalueringen kan have form af større eller mindre konkrete forandringer, som fører til ændrede handlinger, eller de kan have form af uddybende forståelse og indsigt, som fører til ændret tilgang hos aktørerne og der kan her være tale om både ændret tilgang til alt, hvad der konstituerer genstandsfeltet, og om ændret tilgang til alt, hvad der konstituerer egen praksis. I dansk sammenhæng benyttes ofte Evert Vedungs definition på evaluering: en noggrann efterhandsbedömning av utfall, slutprestationer eller förvaltning i offentlig verksamhed, vilken avses spela en roll i praktiska beslutssituationer (Vedung, 1998). Det i denne formulering indbyggede anvendelsessigte ( hvilken avses spela en roll i praktiska beslutssituationer ) afgrænser evaluering fra forskning, og giver anvendelsen en retning mod beslutningstagen - men der tages samtidig et forbehold: avses spela en roll indikerer netop, at hensigten er der, men at der kan være forhindringer for, at evalueringen bringes i anvendelse som tilsigtet. Dette stemmer overnes med min forståelse; anvendelsen kan ligge uden for evaluators opdrag (kompetence og indflydelse) men er dog en så væsentlig dimension af evalueringens relation til genstandsfeltet, at evaluator må tage den alvorligt, tilstræbe den og gennem hele evalueringsprocessen tilrettelægge og gennemføre sin opgaveløsning efter en ambition om på bedst mulige vis at understøtte anvendelsen....evaluations should be judged by their utility and actual use; therefore, evaluators should facilitate the evaluation process and design any evaluation with careful consideration of how everything that is done, from beginning to end, will affect use. 4 4 Patton, Michaal Q.; Utilization-Focused Evaluation, The New Century Text, (3rd ed.), Thousand Oaks, Calif., Sage 1997, her citeret fra Henry (2000). Reflekser - Masteropgave MiE 2008 Tove Rasmussen august 2010 14
Barrierer for anvendelse Barrierer for anvendelse er kontekst- og situationsbundne, og der kan derfor ikke opstilles en fyldestgørende liste over alle potentielle barrierer. Men i relation til teoribaseret evaluering af forsøgs- og udviklingsprojekter er der en række generelle barrierer, som evaluator må tage med i overvejelser og planlægning. Den vigtigste af disse er formentlig evaluatorers negative reputation (Donaldson, 2001), det paradoksproblem, at mens evaluatorer selv opfatter deres virke som a helping profession præget af noble pursuits, opfatter interessenter og aktører evaluators as the uninformed enemy, using insensitive scientific methods to unfairly challenge their current claims, and to threaten the future of their efforts to provide services to meet desparate human needs (ibid.). Hvad aktørerne måtte have af forudfattede meninger om evaluatorer og evaluering generelt har evaluator ingen indflydelse på. Men hvilken opfattelse aktørerne får undervejs i processen er derimod noget, evaluator kan påvirke ganske meget. Kvalitet i opgaveløsningen giver troværdighed jf. side 11. Potentielle barrierer i form af dårlig kvalitet, manglende troværdighed, irrelevans, dårlig formidling, uheldige konsekvenser af samspillet mellem evalueringens fund og interessenternes forventninger eller behov samt uhensigtsmæssig timing er vilkår, som evaluator må tage bestik af i sin opgaveløsning, sine prioriteringer og sin definition af egen rolle, og dermed er disse vilkår anledninger til og argumenter for, at evaluator må tænke anvendelse og formidling ind i opgaveløsningen gennem hele processen. Vilkår i relation til beslutningssituationen, som ligeledes er potentielle barrierer for anvendelsen, ligger ikke så éntydigt inden for evaluators indflydelse, men kan ikke desto mindre påvirkes i positiv retning, hvis evaluator løbende inddrager dem i sine overvejelser og dermed sætter struktur og retning på sin analyse af genstandsfeltets samspil med centrale faktorer i konteksten. Hvilke anbefalinger, evaluator skal tage med i sin rapport, og hvordan disse formuleres er måske nok en beslutning, der i sin endegyldige form først tages i sidste øjeblik, men de overvejelser, der fører frem mod denne beslutning, må påbegyndes allerede i de indledende forhandlinger og forventningsafstemninger med opdragsgiver Reflekser - Masteropgave MiE 2008 Tove Rasmussen august 2010 15
og fortsættes løbende gennem hele evalueringsprocessen. 5 En yderligere dimension i begrebet barrierer for anvendelse er designed blindness (Friedmann, 2001), som fremkommer, når aktører har for entydigt fokus på espoused theory om hvad vi siger og tror, at vi gør frem for (også) på theory-in-use om hvad vi reelt gør. Når evaluatorer fokuserer mainly on instrumental program theory and not the subtheories and higher-order theories that govern implementation vil der være a blind spot in the evaluators field of vision. I stedet for at afdække aktørernes blinde pletter, som forhindrer effektivitet og læring i indsatsen, slører evaluator disse med egne blinde pletter. Foruden at hindre effektivitet og læring, gør denne blindhed det muligt for aktørerne to distance themselves from resposibility for program failure by placing blame elsewere, hvilket i sig selv er en alvorlig barriere for anvendelse. Med henvisning til en bestemt case opstiller Friedman fem betingelser for designed blindness : the program was legislated, planned, and carried out by three very different groups goal ambiguity the greater number of (separate) goals the ambiguity in the statement of the goals themselves uncertainty in and ambiguity of the program treatment De nævnte betingelser er helt generelle vilkår for forsøgs- og udviklingsprojekter på integrationsområdet. Projektet er typisk finansieret via puljemidler, hvortil er knyttet visse anvendelsesbestemmelser. For at tilgodese både disse bestemmelser og de grundlæggende idéer med projektet er det nødvendigt at opstille flere forskellige mål og at definere dem relativt løst. Usikkerhed om, hvordan projektet konkret skal og kan føres ud i livet, er både et resultat af denne uklarhed på målene og desuden en i denne type projekter iboende egenskab. Projektet skal udvikle nye metoder i en igangværende indsats, hvorfor det ikke på forhånd kan bestemmes, hvordan metoder i indsatsen udvikler sig. Desuden skal projektet foretage en samtidig afprøvning. I den deraf følgende løbende justering skal der tages hensyn ikke blot til de på forhånd opstillede mål, men også og især til de personer, indsatsen er rettet mod. Fordi projektet er et supplement til den ordinære indsats og fordi der oftest er usikkerhed om, hvorvidt midlerne bevilges - og hvornår -, og 5 Se også s. 45-49 om udarbejdelse og præsentation af anbefalinger. Reflekser - Masteropgave MiE 2008 Tove Rasmussen august 2010 16
yderligere usikkerhed om hvorvidt projektet kan rekruttere målgruppen hurtigt nok til at starte på det planlagte tidspunkt, vil der typisk også være usikkerhed om bemandingen indtil sidste øjeblik. Det er altså typisk tre forskellige persongrupper med forskellige positioner i fagfeltet, som henholdsvis fastlægger de overordnede retningslinjer for projekter under puljen, udarbejder projektbeskrivelse og ansøgning til det konkrete projekt, og udfører projektet i praksis. Det er derfor nødvendigt i overensstemmelse med aktionsforskningens grundprincip to help people and groups recognize that at least some of what they may consider to be reality is actually the product of choices about how to perceive and manage their world (ibid.), og det er nødvendigt, at evaluator tager sine forhåndsregler i forhold til at udfordre sin egen mulige blindhed. En artikel af Gary T. Henry med titlen Why not use? (2000) lægger en kritisk vinkel på begrebet anvendelse som evalueringens ypperste formål. Henry gør opmærksom på en problematik, som ikke har særlig betydning i indeværende sammenhæng, nemlig at der kan være modsætninger mellem den umiddelbare anvendelse og det helt overordnede formål med evalueringer som sådan, the goal of social betterment. I forsøgs- og udviklingsprojekter på integrationsområdet er der ingen egentlig modsætning, idet projekterne netop via finansieringen af puljemidler defineres som projekter, der skal skabe udvikling af generel værdi for hele feltet. Men Henry peger i artiklen på en hertil knyttet problemstilling: persuasion is a specific form of use that is vital if evaluation is to lead to betterment, but if one begins an evaluation with the goal of persuasion, then the evaluation loses the credibility necessary to persuade, hvilket bør indgå i evaluators løbende overvejelse gennem hele processen; overvejelser om anvendelse, om genstandsfeltets samspil med konteksten og om egen rolle og position. I en overvejelse om anvendelsesbegrebet kan man dårligt komme uden om debatten mellem Carol Weiss og Michael Quinn Patton i 1987, som i allerhøjeste grad handlede netop om forskellige opfattelser af anvendelsesbegrebet i sig selv, af genstandsfeltets samspil med konteksten og af evaluators rolle og position. Begge debattører giver udtryk for, at uenigheden mellem dem fremstår som mere skarp, end den egentlig er, og at sagens kerne er, at de har hvert deres ståsted:.. we probably Reflekser - Masteropgave MiE 2008 Tove Rasmussen august 2010 17
sound as if we disagree more than we do, because he s talking about decisions made at the program level and I tend to be talking about decisions made at the policy level. I m talking about decisions made at some level removed from the actual evaluator and evaluation 6, (Carol Weiss) What many of you may have understood is that Weiss and I may really be talking about different kinds and levels of practice, (Michael Quinn Patton). Men Patton præciserer, at det også drejer sig om ganske forskellige tilgange:..we have fundamentally different views of evaluation as a field of professional practice. Carol Weiss has an academic-research perspective on evaluation. I take an action research and stakeholder-oriented approach what I ve called utilization-focused evaluation. De er altså to eksperter på området, som har forskelligt grundsyn på evalueringsfagligheden og desuden vidt forskellige erfaringer at underbygge deres opfattelser med, hvilket kun understreger, at anvendelsesbegrebet og problemstillinger knyttet hertil er yderst kontekst- og situationsbestemte. Carol Weiss taler først og fremmest imod den forståelse, at evaluator i begyndelsen af opgaveløsningen skal identificere, hvem der er de primære beslutningstagere, som skal bruge evalueringen i deres fremtidige beslutninger fordi dette ikke er så enkelt endda. But program decisions hinge on many things besides information, and even exemplary cooperation and involvement are not likely to make evaluation results the primary basis of program and policy decisions. Hun taler derfor for, at både anvendelsesbegrebet i sig selv og beslutninger taget tidsmæssigt efter (og ikke nødvendigvis på baggrund af) en evaluering bør anskues langt mere nuanceret...the direct and immediate application of evaluation findings to program decisions is not the only kind of use. Decision makers report that they value research and evaluation findings because these findings provide news; they alert people to new ideas; they show alternative ways of thinking about problems; they alter what is taken for granted as inevitable and what is seen as subject to change. Evaluation influences people s understanding of what the program has been doing. It widens the range of options they consider. It shifts priorities and helps decision makers focus on key problems. In effect, it can help to change what people think and how they think about it. This kind of conceptual use is an important contribution which, in the long run, can lead and has led to significant program reform. 6 Alle citater fra debatten er her citeret fra Alkin, 1990. Reflekser - Masteropgave MiE 2008 Tove Rasmussen august 2010 18
Hun ser naturligt det enkelte genstandsfelt som en del af en større politisk sammenhæng og er dermed opmærksom på betydningen af at kunne analysere genstandsfeltets samspil med konteksten. Politics is the system we have for allocating values. In our society it is the core of democratic decision making. (..) The need is not to avoid politics but to understand it, and to contribute to the wisdom and judgment with which political outcomes are realized. Michael Quinn Patton taler især for, at anvendelsen er en så vigtig del af evalueringens berettigelse, at den må tænkes ind hele processen. I define desired use as intended use by intended users. This means that evaluators must identify who the intended users are and then work with them to negotiate the priorities for intended use. Intended use then becomes the goal of the evaluation and the source of the evaluator s accountability. The evaluation is designed, implemented, and reported based on intended use by intended users. Users and uses will vary from evaluation to evaluation. What is constant is that attention to use is the driving force in the evaluation. Hans aktionsforskningsinspirerede tilgang giver et naturligt fokus på anvendelse som det, at praktikere i genstandsfeltet bliver klogere på egen praksis som resultat af evalueringens gennemførelse og evaluators interaktion med feltet. The trick was to find something that they didn t already know, that they cared about asking a question about, and that they d investigate with me. Pattons opfattelse af anvendelse er bestemt ikke direct immediate impact on major decisions, derimod er..much important use incremental, conceptual, and formative. I hans bidrag til debatten har han ikke opmærksomhed på et egentligt samspil mellem genstandsfeltet og konteksten. Han fokuserer på genstandsfeltet i sig selv, It seems to me the utilization potential is greatest around some area of practice, og forholder sig til konteksten i betydningen det bredere fagfelt, som også kan lære af erfaringerne fra evalueringen. Men dette er ikke så enkelt endda: When one is dealing with fairly situationally specific, surface uncertainties, to use some of the language of earlier in the day, a certain level of evidence is necessary for people who are in the situation to take action. If you re trying to speak to people who don t know the situation and are interested in generalizations, then a different level of evidence is necessary. Reflekser - Masteropgave MiE 2008 Tove Rasmussen august 2010 19