Evaluering og læring

Transkript

1 Evaluering og læring Vejen til en evalueringskultur Notat

2 KREVI Dette notat er baseret på oplæg, som KREVI har holdt for danske kommuner og foreninger gennem det seneste 1½ år. 1 KREVI vil med notatet markere, at organisatorisk læring eller kvalitetsudvikling er en central del af evalueringsarbejdet og etableringen af en evalueringskultur. Notatet er udarbejdet af specialkonsulent Morten Eriksen. KREVI, februar 2009 Tim Jeppesen Direktør Olof Palmes Allé Århus N post@krevi.dk T: F: ISBN (elektronisk version) Grafisk design: Designit 1 Evalueringskultur, Hjørring Kommune 7. februar 2007 Evalueringskultur vejen til organisatorisk læring, Silkeborg Kommune, 1. marts 2007 Evalueringskultur vejen til organisatorisk læring, ungdomsskoleinspektører i Østjylland, 8. juni 2007 Hvad kan jeg bruge dokumentation til dokumentation i et læringsperspektiv, Frederiksberg Kommune, 27. november 2007 Hvordan kan vi anvende evalueringer til at skabe attraktive arbejdspladser læring i arbejdslivet, Danmarks Attraktive Kommuner, Albertslund, Bornholm, Høje-Taastrup, Sorø og Sønderborg kommuner, 8. januar 2008 Evaluering og læring, evalueringsnetværk, Brønderslev, Silkeborg, Halsnæs, Fredensborg og Næstved kommuner, 18. september

3 INDHOLDSFORTEGNELSE 1 RESUME FORMÅL BAGGRUND HVAD ER EVALUERING? HVAD ER LÆRING I ARBEJDSLIVET? HVORDAN KOBLER VI EVALUERING OG LÆRING? VEJEN TIL EN EVALUERINGSKULTUR REFERENCER

4 E 1 RESUME Hvordan kan organisationer undgå, at evalueringer samler støv på hylderne, og i stedet drage nytte af de investeringer, de lægger i evalueringer? Hvordan kan evalueringer, hvad enten der er tale om effektmålinger, akkrediteringer, kvalitetsmålinger, tilsyn m.m., bidrage til effektivitet og kvalitet? Dette notat belyser følgende spørgsmål: Hvordan kan organisationer omsætte evalueringer til læring? Evalueringer får først værdi, når de bliver brugt aktivt til at dokumentere relevante problemstillinger i organisationen. Når vi som mennesker lærer, begynder læringen ofte med, at vi undrer os over noget, der ikke er, som det skal være. Evalueringer kan bidrage til, at vi på et kvalificeret og systematisk grundlag undrer os og stiller gode spørgsmål i forvaltningen eller på institutionen til at synliggøre viden, så organisationen er mindre personafhængig. Ved at opmagasinere viden i evalueringer kan organisationen undgå at begynde forfra med at opbygge viden, når den står over for nye problemstillinger til at dokumentere, om problemer er løst eller ej. Hvis der fortsat er et problem, kan det for organisationen give anledning til at begynde med at lære på ny. Hvis organisationen skal blive klogere og dermed en bedre problemløser, skal den beskæftige sig med problemer på organisationsniveau og ikke på enkeltsagsniveau. Hvis forvaltningen eller institutionen skal lære eller arbejde med kvalitetsudvikling bør den bruge evalueringer aktivt etablere et læringsrum tæt på praksis have ledelse og medarbejde til at deltage i dette læringsrum have lederen eller en ekstern konsulent til at fungere som vejleder i læringsrummet have ledelse og medarbejdere til at italesætte deres læring. Når organisationer kobler evaluering og læring på denne måde, er de godt på vej til en evalueringskultur i forvaltningen eller på institutionen, hvor de er bevidste om resultater, hvor deres viden er afprivatiseret, og hvor de begrunder deres metodevalg eksplicit. Evaluatorer bør, for at sikre optimal anvendelse af evalueringer i organisationer, sørge for at inddrage organisationens ansatte i evalueringens design, i evalueringens dataindsamling og i formidlingen af evalueringen. 2 FORMÅL Formålet med notatet er at inspirere til at arbejde bevidst og systematisk med at anvende evalueringer til læring. Notatet henvender sig såvel til evaluatorer som til brugere af evalueringer, som ønsker at udarbejde og anvende evalueringer formativt. 4

5 3 BAGGRUND KREVI har i en undersøgelse af kommunernes evalueringskapacitet afdækket, at kommunerne primært anvender deres evalueringer til læring i deres organisationer. Formålet med evalueringerne er i langt de fleste tilfælde at blive dygtigere og mere effektiv, og evalueringerne bruges i vid udstrækning direkte til at ændre på arbejdsgange, metoder m.v. (KREVI 2008). Det er helt i tråd med regeringens oplæg til kvalitetsreform, hvor læring, innovation og kvalitetsudvikling i de offentlige organisationer har en central placering. Det hedder blandt andet: der er behov for at give medarbejdere og ledere endnu bedre muligheder for at tænke nyt og løse opgaverne på basis af de lokale forhold. Udvikling af kvaliteten og nye idéer skal gro frem ude omkring i landets børnehaver, på plejehjem og på sygehuse (Regeringen 2007, s. 92). Også i trepartsaftalen af 17. juni 2007 mellem regeringen, LO, DA, Danske Regioner og KL understreges vigtigheden af, at der er gode rammer for at fremme nytænkning og innovation (Ibid.) Evaluering og læring er tæt forbundet (Presskill 2008, Presskill og Torres 2001, Meldgaard 2003). Med evaluering får organisationer blandt andet informationer om de resultater, de har opnået, virkningen af de metoder de har anvendt og kvaliteten af deres ydelser. Disse informationer kan de via organisatorisk læring eller kvalitetsudvikling anvende til at styrke den organisatoriske effektivitet og kvalitet. Som evalueringsteoretikeren Carol H. Weiss udtrykker det: Members of true learning organizations have to be interested in evaluation (Weiss 1998 s. 28). Evalueringsteorien ser læring som ét af hovedformålene med evaluering. Teorien kalder denne form for evaluering formativ modsat den mere kontrolorienterede form, som teorien kalder summativ evaluering (Patton 1996, s , Scriven 1996). Den amerikanske evaluerings- og læringsforsker Hallie Presskill ser store potentialer i, at evaluering kommer til at spille en større rolle i organisationer: In general, our vision for evaluation is grounded in a desire for evaluation to play an expanded and more productive role within organizations (Presskill 2004, s. 348). Det er dog ikke altid, at store omkostningskrævende evalueringer bidrager til læring i organisationer (Presskill og Torres 2001, s. 390, Hoole og Patterson 2008). Det sker, de blot får lov at samle støv på hylderne (KREVI 2008b). Der bliver ikke fulgt op på informationerne, mulige anbefalinger sander til. Spørgsmålet er, hvad de offentlige organisationer kan gøre for at få brugt deres evalueringer aktivt til at skabe læring i forvaltninger og institutioner? Hvordan kan de bruge informationerne aktivt til forandring for at styrke den organisatoriske effektivitet og kvalitet? Det er de spørgsmål, notatet søger at finde svar på. 5

6 4 HVAD ER EVALUERING? Før man kan sige noget om, hvordan evaluering kan bidrage til læring i arbejdslivet, skal man vide, hvad evaluering er for en øvelse. Evaluering skal vurdere, om en indsats er god eller mindre god. At fastlægge en værdi er central i evaluering (Shadish 1998, s. 9, Hansson 1998, s. 63, Dahler-Larsen 2000, s. 12, Harrit 1999, s. 119). Evalueringsforskeren Thomas Schwandt beskriver evaluering som:..the science and art of making distinctions of worth (Schwandt 2008, s. 139). Evalueringer kan blandt andet. tage form af effektmålinger, brugerundersøgelser, borgermålinger, akkreditering, certificering, auditering, kvalitetsmåling og benchmarking (Foss Hansen 2008, 2008b) Evalueringsteorien byder på forskellige definitioner af evaluering. I KREVI har vi indkredset følgende begreber, som går igen i alle definitioner: Genstandsfelt Værdier Systematisk vidensindsamling Anvendelse. Genstandsfelt I en evaluering er der en genstand en indsats der evalueres. I evalueringsteorien kaldes genstandsfeltet også for evaluanden (Shadish 1998, s. 3, Schwandt 1997, s. 70, Dahler- Larsen 2000, s. 12). Evaluanden kan være enkeltindivider, projekter, puljer, programmer, organisationer og politikker. Evaluanden kan både være indsatser i offentlig og privat regi, men der er evalueringsdefinitioner, der er inde på, at indsatsen er offentlig, fordi der her er en grund til at evaluere grundet fraværet af markedsmekanismer (Dahler_Larsen 2006, s. 31). Værdier Evalueringskriterier er en central del af evalueringer. Kriterierne skal angive om noget er godt eller skidt. I evalueringsteorien angiver forskellige evalueringsmodeller forskellige kriterier for evaluering: fx målopfyldelsesevaluering, målfri evaluering, interessentevaluering(foss Hansen 2001). I nogle modeller fastlægges kriterierne forud for evalueringen, og i andre fastlægges kriterierne under evalueringen (Krogstrup 2006, s. 166). I evalueringsteorien indgår kriterieproblemet hvilke kriterier skal man anvende til at evaluere genstandsfeltet (Kanter og Brinkerhoff 1981, s. 321, Dahler-Larsen 1996, s. 187)? Som nævnt angiver de forskellige evalueringsmodeller forskellige kriterier, og der er i evalueringsteorien en diskussion af, hvorvidt der er nogle evalueringsmodeller, der er mere overlegne end andre: Er fx det randomiserede kontrollerede eksperiment; den gyldne metode (Patton 2007, s. 109, Schwandt 2008, s )? Schwandt taler i denne sammenhæng om the western evaluation imaginary forestillingen om eksterne, objektive vurderinger baseret på rationalitet og videnskabelig tænkning over for en mere menneskecentreret, kulturel tilgang til evaluering (Schwandt 2008b). 6

7 I KREVI praktiserer vi en situationsbestemt tilgang til denne problematik, da det er evalueringsspørgsmålene og evalueringens formål, der afgør valg af evalueringsmodel. Vi er opmærksomme på en metodisk fleksibilitet i vores tilgang til evaluering (Patton 2008). Systematisk vidensindsamling Evalueringer anvender evalueringsteori og metode. Evalueringsteori skal vejlede evaluatorer til at lave gode evalueringer (Donaldson 2008). Evaluator (den der udfører evalueringen) vælger evalueringsmodel og dataindsamlingsmetode ud fra evalueringens spørgsmål og formål. Evaluator skal sikre, at der er sammenhæng mellem evalueringens metode og dens konklusioner og sikre evalueringens gyldighed og pålidelighed. Anvendelse Evalueringer har altid et anvendelsessigte (Patton 1990). I evalueringsteorien taler man om instrumentel brug af evalueringer, hvor de enten kan bruges til kontrol, summativ evaluering eller til læring, formativ evaluering (Patton 1996, s , Scriven 1996). I evalueringsteorien taler man også om andre anvendelsesformer: Symbolsk anvendelse, legitimerende anvendelse og oplysende anvendelse(dahler-larsen 2006, s ). Udover de fire nævnte begreber indgår det også som en central del af evalueringer, at de enten kan foretages af en evaluator, som er en del af genstandsfeltet, selvevalueringer, eller at de kan foretages af en evaluator uden for genstandsfeltet, ekstern evaluator. Evalueringer kan udføres før indsatsen iværksættes, ex-ante, mens indsatsen gennemføres, eller efter indsatsen er gennemført, ex-post. Man kan desuden vælge at evaluere indsatsen, indsatsens gennemførelse og/eller indsatsens resultater. Evalueringer vil, hvis de har den fornødne kvalitet, give organisationer gode informationer til, hvordan de kan blive klogere. Næste kapitel viser, at feedback blandt andet i form af evalueringer udgør en central del af menneskers og organisationers læring. 7

8 5 HVAD ER LÆRING I ARBEJDSLIVET? Ligesom man skal forstå, hvad evaluering er, skal man også forstå, hvad læring i arbejdslivet er, før man kan sige noget om, hvordan evaluering kan bidrage til læring i arbejdslivet. Hallie Presskill oplyser, at undersøgelser af arbejdslivslæring viser, at % af hvad medarbejdere har af viden om deres arbejde, er lært via de kolleger de arbejder sammen med (Presskill 2008, s. 131). Tabel 1: Kilde: Presskill, Hallie (2008), Evaluation s Second Act: A Spotlight on Learning, i: American Journal of Evaluation, vol. 29, nr. 2, s. 131 Tabel 1 viser, at vi opnår de største læringseffekter ved at vejlede kolleger, løse opgaver og problemer, føre diskussioner om arbejdet. De mindste effekter opnår vi ved traditionel undervisning, hvor der står en underviser ved tavlen og formidler til os, ved læsning og ved AVpræsentationer. Læring i arbejdslivet er altså i høj grad noget, der foregår i vores daglige virke på arbejdet sammen med vores kolleger. Dette har betydning for, hvordan organisationer skal tilrettelægge læringen, og hvordan organisationer skal bruge informationer fra evalueringer. Nedenstående figur 1 viser, hvordan vi lærer (Høyrup 2004, s. 79): 8

9 Figur 1 Læringscirklen undren problem evaluering Den reflekterende praktiker løsningsforslag handling løsninger Undren Udgangspunktet er, at vi undrer os. Noget er ikke, som det bør være. Fx at mange børn mistrives i et dagtilbud, at der er stort gennemtræk af personale på en skole, at der mangler helhedsorientering i sagsbehandlingen i børnesager, at bibliotekernes udlån er faldet eller at kommunens udgifter til sygedagpenge stiger voldsomt. Problem Denne undren leder frem til, at vi overvejer, hvad problemet nærmere består i. Et problem defineres her som forskellen mellem en aktuel tilstand og en ønsket tilstand. Fx kan børns mistrivsel i dagtilbud bunde i mobning, personalegennemtræk på skolen kan skyldes dårligt psykisk arbejdsmiljø, manglende helhedsorientering i sagsbehandlingen kan relateres til manglende mødestruktur mellem sagsbehandlere, PPR og lærere, fald i bibliotekernes udlån kan skyldes ufleksible åbningstider, og stigende sygedagpengeudgifter kan skyldes, at andelen af langtidssygemeldte stiger i kommunen. Løsninger og handling Løsningsforslagene indkredser vi på basis af vores analyse af årsager til problemet. Fx kan årsagerne til det stigende antal langtidssygemeldte være de økonomiske konjunkturer, erhvervsstrukturen i kommunen eller manglende opfølgning på sygedagpengesagerne. Kommunen vil overveje, hvad der er mest realistisk at påvirke med dens ressourcer og aktiviteter og vælger måske tættere opfølgning som løsning og handler ved at gennemføre en mere intensiv sygedagpengeopfølgning. Evaluering Kommunen følger systematisk op på dens handling i form af en evaluering, der ser på, om problemet er løst: Er flere langvarige sygedagpengemodtagere kommet i arbejde, og er 9

10 kommunens udgifter til sygedagpenge faldende? Hvis problemet ikke er løst, fører det til en ny undren, og kommunens læringscirkel kan starte på ny. Denne læringscirkel følger vi som mennesker konstant. Udfordringen er at sætte ord på vores læring; at lære at lære. (Schön 1975, s. 8, Bjørnávold 2000, s. 35) Det kan vi for eksempel gøre ved at anvende et helikopterperspektiv og kigge ned på vores læringscirkel og forholde os til de enkelte faser i cirklen. Den sociale praksis Vores praksis i arbejdslivet er baseret på en stor portion tavs viden (Schön 1995, s. 30 ). Vi ved ofte mere, end vi kan udtrykke i ord: An experienced carpenter knows how to use a tool in ways that escape verbalisation (Bjørnávold 2000, s. 35). Eller hvis vi fx skulle beskrive vores viden til at køre på cykel, vil det svare til en manual på over 400 sider (Argyris 1980, s. 208). Udfordringen er at få tydeliggjort denne tavse viden, så vi selv og den organisation, vi er ansat i, bliver bedre problemløsere. Organisationer kan opleve, at en stor mængde viden forsvinder, når nøglemedarbejdere skifter arbejde, fordi deres viden ikke er blevet synliggjort og delt med andre medarbejdere. Organisationer kan også opleve, at når de støder på nye problemer, så starter de forfra med at opbygge en vidensbase til at håndtere dem og benytter ikke den eksisterende viden i organisationen, fordi en stor del af denne viden er tavs og ikke tydeliggjort (McClintock 1990, s. 22). Tavs viden kan synliggøres via aktiv læring, hvor kolleger sammen sætter ord på læringscirklen og afprivatiserer deres viden. Når vi arbejder med problemløsning i arbejdspraksis, benytter vi os af både eksplicit og tavs viden (Schwandt 2005, s. 98). De problemstillinger vi støder på, kan være af en karakter, hvor vi ikke kan hente nogle faste svar i en manual. Den sociale praksis kan være præget af komplekse problemstillinger, hvor mål-middel relationen er uklar (Lindblom 1959, Lindblom 1979, Olsen 2005, s. 14). Når vi står over for et nyt komplekst problem, begynder vi at eksperimentere i selve arbejdssituationen. Vi undrer os, spekulerer på hvorfor problemet er opstået, finder løsninger, handler og følger op på vores handling og konstaterer, om problemet er løst eller ikke løst. Hvis problemet ikke er løst, prøver vi noget andet. Socialrådgivere, pædagoger, lærere m.m. står hver dag over for unikke problemer sammen med deres klienter, brugere og elever, hvor de gør brug af deres erfaring og tavse viden. De er praksisforskere i situationen. Læring er en integreret del af det daglige arbejde, og denne form for læring, som der her beskrives, er meget effektiv i en omskiftelig social virkelighed med nye udfordringer og problemstillinger. Thomas Schwandt beskriver den sociale praksis som messy eller som værende på rough ground med forskellige værdier, politikker, interesser, følelser, forståelser (Schwandt 1992, s , 2003, s. 355, s. 357, s. 361): We are, as I have argued elsewhere, always on the rough ground where values, personalities, evidence, information, feelings, sensitivities, emotions, affect, ambiguities, contradictions, inconsistencies, and so forth are simultaneously in play as we try to do the right thing and do it well (Schwandt 2005, s. 99). Schwandt karakteriserer bl.a. socialt arbejde eller socialrådgivning som: the logic of social work practice (what is it that we are able to do and capable of in a given practice situation, what has our experience taught us); and 10

11 the logic of clients worlds (what are their goals, how do they determine what living well in some particular set of circumstances means, etc) (Schwandt 2008, s. 148). I denne praksis er det ifølge Thomas Schwandt vigtigt, at vi accepterer variationer og mangfoldighed i vores arbejdsformer (Schwandt 2008, s. 143). At standardisere og mekanisere overdrevent vil hæmme innovationen, nytænkningen og vores evner som problemløsere i en virkelighed med nye opgaver og krav. Vi vil ganske enkelt ikke være så gode problemløsere, hvis vi overdriver den tekniske rationalitet med dens antagelser om en klar mål-middel sammenhæng. Vi skal bruge de eksisterende teorier og vidensbygninger herunder også evalueringer som støtte og ikke som opskrift i samspil med vores erfaringer og tavse viden. Den amerikanske læringsforsker Donald Schön er inde på samme betragtninger. Praksis er ifølge Schön unik, usikker og konfliktfyldt (Schön 1983, Schön 1987). Mange af samfundets alvorlige problemer kan ikke udelukkende løses via en teknisk rationalitet, hvor en bestemt ekspert hentes ind med en bestemt viden til at løse problemet. Virkelighedens rationalitet er ikke altid klare mål og midler, men kan også være uklare mål og midler, og problemformulering kan være præget af en proces med individers forskellige fagperspektiver og værdier (Schmidt 2000, s. 269). Der er ikke altid enighed om, hvad problemet består i, hvorfor det er et problem, og hvad der er årsagerne til problemet. For at kunne håndtere problemer i denne virkelighed er det ifølge Schön vigtigt, at praktikere kan gøre brug af intuition, eksperimenteren og unikke løsninger. Praktikere skal være kunstnere og praksisforskere (Schön 1987, Schön 1983, s ). Schön skriver bl.a., at der inden for ledelsesområdet er et skisma mellem det, der undervises i på managementskolerne, og så den praksis lederne er i: Det ene synspunkt er, at lederen er en tekniker, hvis praksis består i at anvende de metoder og principper, som ledelsesvidenskaben har fundet frem til, på sin organisations daglige problemer. Det andet synspunkt går ud på, at lederen er en håndværker, en praktiker inden for kunsten at lede, hvilket ikke kan reduceres til eksplicitte regler og teorier (Schön 1983, s. 202). Schön beskriver i den sammenhæng ledelsespraksis: Og lederne er blevet yderst opmærksomme på, at de ofte stilles overfor særlige situationer, som de må give igen på under stressede betingelser og tidspres, der ikke levner plads til dybtgående kalkyler eller analyse. Her er det sjældent teknik, men intuition de taler om (Schön 1983, s. s. 204). Læringsrum tæt på praksis Donald Schön er fortaler for et læringsrum tæt på vores praksis i arbejdslivet, hvor vi arbejder med arbejdsrelaterede problemstillinger og problemløsninger. Vi lærer mest, hvis vi forholder os til konkrete arbejdsopgaver, hvor vores underviser fungerer som vejleder eller coach (Schön 1987). Schön beskriver læringsrummet som et praktikum: Et praktikum er et arrangement, der er direkte designet til den opgave at lære en praksis. I en sammenhæng, der er tilnærmet en praksisverden, lærer praktikanter gennem learning by doing, selv om deres doing ofte ikke kan leve op til forholdene i det virkelige arbejdsliv. De lærer ved at gennemføre projekter, der simulerer og forenkler praksis, eller de deltager i projekter i den virkelige verden under tæt vejledning. Praktikum er en virtuel verden, relativt fri for pres, forstyrrelser og risici fra den virkelige verden, som den dog alligevel efterligner (Schön 2000, s. 266). 11

12 Læringsrummet kan fungere som en parallel til driftsorganisationen, hvor rummet er tæt på vores arbejdsopgaver, men alligevel væk fra dagligdagens tidspres og driftsfunktioner. Vi skal have tid til sammen med vores arbejdskolleger at arbejde systematisk med læringscirklen. Formålet skal stå klart med læringen Når vi som voksne mennesker lærer, skal vi også aflære. Vi har lært meget i tidens løb vores harddisk er så at sige fyldt op. Det er ubehageligt for os at konstatere, at den viden, vi har, ikke er god nok til at løse problemer (Argyris og Schön 1996, s ). Der træder nogle psykologiske forsvarsmekanismer frem, fordi det er ubehageligt for os at tabe ansigt over for vores kolleger og samarbejdspartnere. Læring kræver stor psykisk energi. (Argyris 1994). Vi skal kunne se formålet med læringen (Illeris 2002, s. 19, Illeris m.fl. 2004, s. 240). Formålet skal stå klart og tydeligt for os, hvis vi skal bruge energi på aflæring og læring. Mange husker stadig tilbage til deres skoletid med ubehagelige minder, hvor læring ikke var en positiv oplevelse. Hvis formålet ikke er klart, forringes mulighederne for, at organisationen bliver klogere, en bedre problemløser, og dermed forringes mulighederne for, at organisationen udvikler sin kvalitet og effektivitet. Organisatorisk læring Når vores organisation lærer, tager den udgangspunkt i en undren og problemstillinger i dens opgaveløsning (Clematide m.fl. 2004, s. 29 Høyrup 2004, s. 78 Elsborg 2004, s. 120). Det er opgaverne, der er i fokus. Når vores organisation lærer, løser den sine opgaver på en ny måde, eller den løser helt nye opgaver. Dette er læringen eller forandringen. Organisationen er i bevægelse. I teorien om organisatorisk læring skelnes der mellem et perspektiv, hvor det er lederen, der styrer organisationsudviklingen, og hvor de enkelte medarbejdere i organisationen skal udvikle sig personligt for at gøre organisationen mere effektiv. Den enkelte medarbejder skal nå sine mål hurtigt og effektivt for organisationen. Det andet perspektiv betoner, at når organisationen skal lære, skal der tages udgangspunkt i dens arbejdsopgaver og de problemstillinger, der knytter sig hertil. Der er fokus på problemløsning og handling, og lederen deltager sammen med medarbejderne i udviklingen af organisationen. Lederen er ikke eksperten, men er vejleder for medarbejdernes læring. Sidstnævnte perspektiv kaldes for deltagerskolen (Elkjær og Lysgaard 1998).Dette notats forståelse af læring i arbejdslivet knytter sig hertil. Der er nu givet et bud på, hvad evaluering og læring i arbejdslivet er. I næste kapitel kobles evaluering til læring, og der gives et konkret bud på, hvordan evaluering kan bidrage til læring i arbejdslivet. 12

13 6 HVORDAN KOBLER VI EVALUERING OG LÆRING? Notatet har nu givet et billede af, hvad evaluering og læring er. I afsnit 6.1 illustreres det, at evaluering og læring er tæt koblet til det forholdsvise diffuse begreb evalueringskultur. Evaluering kan, som det fremgår af figur 1, være en integreret del af læringscirklen. Evalueringer kan som feedback-redskab give organisationer informationer af høj kvalitet og anvendelighed, fordi evalueringer er inspireret af videnskabelig fremgangsmåde, hvor der ikke er noget, der hedder, jeg tror, jeg synes, jeg mener. Informationer fra evalueringer har et højt troværdighedsgrundlag, hvis evalueringshåndværket er i orden. Evalueringer kan ligesom forskning og teori støtte vores læring i arbejdslivet ved, at vi stiller gode spørgsmål, og ved at den eksplicitte information kan bidrage til vores problemløsning. Presskill og Torres skriver: In some cases traditional, well-funded evaluations have failed to contribute to ongoing learning and to provide adequate explanations of findings. In other cases, where evaluation was not necessarily taking place at all, instances of organizational failure revealed the need for feedback about processes, outcomes, and progress toward overall goals (Presskill og Torres 2001, s. 390). Evalueringer bidrager ikke altid med læring i arbejdslivet, og evalueringer tager ikke altid fat på problemstillinger og giver forklaringer, der kan bruges til læring. Organisationer kan dog også mangle tilbagemeldingsmekanismer i form af evalueringer til at belyse organisatoriske mangler. Spørgsmålet er dog, hvorfor evalueringer ikke altid anvendes til kvalitetsudvikling i organisationer, selvom det kan være formålet med evalueringerne? Denne problemstilling kan være den samme, som når det drejer sig om at overføre organisationsmedlemmernes efteruddannelse til at skabe værdi for organisationen. Inden for læringsteorien taler man om transfer-problematikken manglende overførsel af efteruddannelse til arbejdspladsen (Illeris 2004). Hallie Presskill beskriver problematikken som følgende: The majority of the 109 billion dollars U.S. organizations spent on employee learning and development in 2005 was spent on the delivery of formal training programs where contents was predetermined, and learners had little to no control over where, how, when, what, and with whom they learned (Presskill 2008, s. 131). På samme måde kan man fremføre, at hvis organisationsmedlemmerne ikke kan se relevansen af evalueringens anbefalinger, hvis de ikke føler ejerskab til de problemstillinger evalueringen rejser, hvis de ikke har bidraget med data til evalueringen, og hvis de ikke har været tæt knyttet til formidlingen af evalueringens resultater, så kan hverken evaluator eller organisationens ledelse forvente, at evalueringen bruges aktivt til læring i organisationen. Notatet uddyber dette i det følgende. Det tidligere læringsafsnit viste, at hvis organisationen skal lære, skal organisationsmedlemmerne kunne se formålet med at lære. Hvis der ikke er et klart rationale for at lære, vil medlemmerne ikke kunne se en grund til at aflære og til at mobilisere energi til at lære nyt. På samme måde skal organisationsmedlemmerne kunne se formålet med anbefalingerne i evalueringer til kvalitetsudvikling. Evalueringer skal rejse problemstillinger og pege på løsninger, som de ansatte kan se sig selv i. Vi lærer bedst på arbejdspladsen, når vi står over 13

14 for konkrete problemstillinger. Som voksne mennesker skal formålet med læringen være klart for os. Kvalitetsudvikling eller organisatorisk læring er betinget af, at både ledere og medarbejdere deltager i læringen. Dette er forudsætningen for, at organisationen som kollektiv lærer. Hvis det kun er enkeltpersoner i organisationen, der forholder sig til informationerne i evaluering, kan det være en barriere for, at organisationen løser nye opgaver, eller at den løser sine opgaver på en ny måde. Organisatorisk læring bør etableres i et læringsrum tæt på praksis, da dette giver de ansatte mulighed for, at de kommer væk fra hverdagen, så de kan eksperimentere og lave fejl manglende problemløsning. Det er vigtigt at være væk fra hverdagens tidspres, men alligevel arbejde med læring, der relaterer sig til hverdagen og den daglige drift. En barriere for at anvende evalueringsinformationer til kvalitetsudvikling kan være, at organisationen ikke har etableret dette læringsrum. Organisationens fællesmøder kan dreje sig om orienteringssager og enkeltsager men ikke om sager, der vedrører organisatoriske problemstillinger så som fx koordineringsproblemer, uklar arbejdsdeling, manglende resultater af organisationens indsats eller manglende kendskab til nye metoder og arbejdsformer. Organisationen for dette læringsrum kan være udviklingsværksteder, læringsværksteder eller såkaldte fremtidsværksteder, hvori en vejleder (lederen, ekstern konsulent, evaluator) understøtter de ansattes arbejde med at italesætte læringscirklen. I udviklingsværkstedet følger ledelse og medarbejdere læringscirklen systematisk fra deres undren til problemformulering, problemløsning, handling og evaluering. Typisk vil denne læring strække sig over en tidsperiode, fordi de ansatte også skal handle på de løsninger, de er nået frem til. De kan kun finde ud af, om de har løst problemet, ved at handle på det. Evaluering kan være med til at give feedback på, om problemet er løst, eller der fortsat er et problem. Hvis der fortsat er et problem, kan organisationsmedlemmerne starte forfra med læringscirklen og eksperimentere på ny. Evaluering kan gøre opmærksom på problemstillinger i organisationen, som skaber ubehag hos organisationsmedlemmerne. Som voksne mennesker er det ubehageligt for os at blive gjort opmærksomme på, at den viden vi har, ikke er god nok til at løse problemer. Vi vil ikke gerne tabe ansigt over for andre mennesker, Det er noget alment menneskeligt, som kan betyde, at vi blokerer for læring. I denne sammenhæng hviler der et stort ansvar hos organisationens ledelse om at etablere et trygt læringsrum, hvor det, som det hedder med et populært udtryk, skal være tilladt at lære af sine fejl. Evaluatorerne skal også være opmærksomme på, hvordan deres evalueringsarbejde kan bidrage til kvalitetsudvikling i organisationer. Evaluatorerne bør fra starten inddrage organisationsmedlemmerne til at lægge rammen for evalueringen, så denne beskæftiger sig med spørgsmål, medlemmerne finder relevante. Evalueringsdesignet bør afspejle de ansattes deltagelse i forhold til dette. Ligeledes skal evaluatorerne være opmærksomme på, at de ansattes opfattelser og vurderinger inddrages i dataindsamlingen, og at formidlingen af evalueringsresultater på samme måde inddrager de ansatte. I evalueringsteorien diskuterer man, hvor tæt evaluator må være på evaluanden. Hvor objektiv er evaluator, hvis denne deltager sammen med de ansatte i at udvikle organisationen? Kan evaluator se skoven for bare træer, hvis denne bevæger sig ind fra sidelinjen og agerer som proceskonsulent i organisationen? Svaret afhænger af, hvilken position evaluator placerer sig i i evalueringsfeltet. Teorien om organisatorisk læring betoner dog vigtigheden af, at forandringsagenter interagerer sammen med organisationsmedlemmerne for at kvalitetsudvikle organisationen. 14

15 Så evaluering og læring kan kobles på følgende måder: Organisationerne skal have evalueringerne ned fra hylderne og bruge dem aktivt. Evalueringer kan dokumentere relevante problemstillinger i organisationer og kan være med til at sætte gang i en læringsproces. Evalueringer kan synliggøre teoretisk viden og synliggøre praktikeres tavse viden, og de kan dokumentere om problemet er løst. Evaluering kan lede til undren og formulering af problemer i organisationen. Den organisatoriske læring betinger, at man tager udgangspunkt i organisatoriske problemstillinger fx koordineringsproblemer, aktiviteter når ikke målgruppen, manglende resultater af ydelserne, og ikke enkeltsager som fx én elevs koncentrationsproblemer, én klients manglende motivation for selvforsørgelse, én ældre beboers ernæringsproblemer. Med den organisatoriske læring befinder vi os på organisationsniveau og ikke individniveau. Hold læringsværksteder med jævne mellemrum en halv eller hel dag. Læringsværkstederne er læringsrummet tæt på praksis. I læringsværkstederne deltager både ledere og medarbejdere. Lederen eller en ekstern konsulent fungerer som coach eller vejleder i læringsværkstederne. Læringscirklen skal følges systematisk. En typisk fejl er at springe problemdefineringsfasen over og gå direkte til løsningerne, idet organisationen vurderer, at alle er enige om problemets karakter. Organisationens opfattelse af problemet kan dog være forskellig. Organisationsmedlemmerne kan være uenige om, hvorfor der er tale om et problem, hvad der er årsagerne til problemet, og hvem det er et problem for. Hvis problemet ikke er klart defineret, kan det betyde, at organisationen tyr til løsninger, der går i forskellige retninger. Der er ikke sammenhæng mellem problem og løsninger. Organisationen skal handle på de løsninger, den er nået frem til. Den kan kun vide om den har lært noget, hvis den har handlet. Det er ledelsen, der skal sørge for, at evalueringer anvendes aktivt til læring, og det er ledelsens ansvar, at der bliver givet rum til denne læring. Evaluator skal være bevidst om at inddrage organisationens medlemmer i designet af evalueringen, i dataindsamlingen og i formidlingen af evalueringens resultater. 6.1 Vejen til en evalueringskultur KREVI har beskrevet anvendelse af evaluering til læring, som minder meget om det den danske evalueringsforsker Peter Dahler-Larsen kalder for evalueringskultur (Dahler-Larsen 2006). I organisationer med evalueringskultur indgår evalueringer som en naturlig del af at udvikle arbejdspraksis af hensyn til kvaliteten og effektiviteten i organisationerne. Dahler-Larsen (2006, s ) giver følgende signalement af en evalueringskultur i en organisation: Forkærlighed for data Organisationen bruger gyldige og pålidelige data fra evalueringer i dens refleksive praksis. Den søger mest mulig rådgivning fra data. Evalueringer, forskning, forskningsoversigter, dokumentation m.v. kan bidrage med data til organisationen. Evalueringer vil uanset deres formål altid være baseret på data. Evalueringen kan bl.a. bidrage til at klargøre, hvilke metoder der virker i forhold til at få fx unge sårbare mødre integreret på arbejdsmarkedet i form af uddannelse eller arbejde. Evalueringer kan fx være med til at 15

16 dokumentere, om det at fjerne udsatte børn og unge fra deres hjem, vil gøre en forskel for deres livsmuligheder. Lyst til eksperimenter Organisationen arbejder med eksperimenter eller projekter og anerkender at fejl eller manglende problemløsning er en god kilde til at undre sig og stille gode spørgsmål. Organisationen er med eksperimenterne åben og søgende i dens måde at finde nye måder at løse opgaverne på eller at løse helt nye opgaver. En kommune kan fx søsætte et sygedagpengeprojekt, som har ekstra fokus på sygedagpengemodtagere med bestemte lidelser. Resultaterne viser dog, at antallet af langvarige sygemeldinger i kommunen ikke mindskes med denne fokus, så kommunen begynder at søge efter andre handlingsalternativer til at mindske langvarige sygemeldinger. Et sprog til at sætte ord på problemer Gode problemformuleringer giver organisationen muligheder for at arbejde systematisk med aktiviteter til at løse problemerne. Organisationen kan være for hurtig til at springe problemformuleringen over og finde løsninger, som ikke bidrager til resultater. At sætte ord på problemet som fx manglende udnyttelse af kommunens kulturtilbud, kommunens sygedagpengeudgifter er langt over det budgetterede, fravær i et dagtilbud etc., og nærmere se på hvad problemet består i, kan være med til at fokusere løsningerne og styrke mulighederne for resultater. Har kommunen stigende sygedagpengeudgifter, vil den gå nærmere ind på at se på årsagerne til dette problem. Årsagerne kan være gode økonomiske konjunkturer, hvor flere kommer i arbejde, og flere fra den svagere del af arbejdsstyrken kommer i arbejde. Dette betyder alt andet lige flere sygemeldinger. Årsagen kan også være en erhvervsstruktur i kommunen med en stor ufaglært arbejdsstyrke med tungt løftende arbejde. Dette kan også betyde flere sygemeldinger. Årsagen kan også være manglende opfølgning fra kommunens side på de langvarige sygemeldinger. Disse koster kommunen dyrt, fordi den statslige refusion mindskes med sygemeldingens længde. Årsagerne kan være mange, men kommunen prioriterer, hvilke årsager den realistisk kan påvirke og vælger at sætte ekstra personaleressourcer af til en tæt sygedagpengeopfølgning. Problemformuleringen sætter fokus på årsager og aktiviteter og kan gøre det nemmere at evaluere, om aktiviteten har gjort en forskel. Metodeansvarlighed Organisationens ansatte er i stand til at begrunde deres valg af metoder ud fra et vidensfundament. Fx vil sagsbehandleren begrunde jobplanen for en revalidering ved bl.a. at henvise til forskning på området, evalueringer, erfaringsbaseret viden. Sagsbehandleren vil altid være eksplicit i sine valg af metoder. Metodefrihed og metodeansvarlighed kan sagtens gå hånd i hånd. Friheden giver ikke frit valg på alle hylder, da den bunder i eksplicitte argumenterede valg af metoder til at løse problemer. Vidensdeling De ansatte skal dele viden med hinanden i organisationen, for at organisationen kan være en god problemløser. De ansatte skal lære at lære at italesætte læring. 16

17 Lærere kan bl.a. dele informationer fra forskning og evalueringer om, hvad man kan gøre for at hjælpe elever med læsevanskeligheder. Lærere kan ligeledes dele deres erfaringer eller tavse viden med hinanden om læsesvage elever. Tættere bånd mellem teori og evaluering Evalueringer skal bruge den viden, som er relevant for pågældende fagområde. Evaluatorer skal bruge teorier, der understøtter valg af evalueringskriterier i deres evalueringer. Hvis evaluator fx skal vurdere, om tvangsfjernelser virker, skal evaluator kende til forskning, andre evalueringer, dokumentation m.m., der giver et billede af problemstillinger og løsninger i tvangsfjernelser af børn og unge. Dette er med til at øge gyldigheden af evalueringens konklusioner. Ræk ud over det lokale Organisationer skal bruge viden, ikke bare fra deres egen praksis men viden fra hele praksisfeltet. Organisationen kan sammenligne sig med andre organisationer benchmarke og se på, hvad de gør godt. Netværk, erfa-grupper, konferencer, weblogs m.v. Evalueringer bruges aktivt Evalueringer er en central del af læringscirklen. Hvis organisationen skal blive bedre problemløsere, skal den bruge evalueringer aktivt. Ledelsesopbakning Ledelsen i organisationen skal sørge for at give tid og rum til at arbejde med evalueringer og anvendelse af evalueringer. Medarbejderopbakning Medarbejderne skal bakke op om evalueringerne og deltage aktivt i evalueringernes anvendelse. Organisationers arbejde med organisatorisk læring eller kvalitetsudvikling kan man også kalde for evalueringskultur eller en læringskultur. Organisationer bruger informationerne fra evalueringer til kvalificeret undren og til at stille gode spørgsmål, de ser på problemløsninger ud fra problemformuleringen, vælger løsninger bl.a. via evalueringer, handler og følger op på via evalueringer, om problemet er løst eller ikke løst. Hvis problemet ikke er løst, kan læringscirklen starte på ny. Ergo lærer organisationen. 17

18 7 REFERENCER Argyris, Chris (1980), Making the undiscussable and its undiscussability discussable, i: Public Administration Review, årg. 40, nr. 3, s Argyris, Chris (1994b), Initiating change that preserves, i: Journal of Public Administration Research and Theory, årg. 4, nr. 3, s Argyris, Chris og Donald A. Schön (1996): Organizational Learning II. Addison Wesley. Bjørnávold, Jens (2000): Making learning visible. Cedefop. S Clamatide, Bruno m.fl. (2004), Læringsmiljø og læringsformer, i: Andersen, Vibeke, Bruno Clamatide & Steen Høyrup, red.: Arbejdspladsen som læringsmiljø. Roskilde Universitetsforlag. Dahler-Larsen, Peter (1996), Kvalitative evalueringsmetoder i brugerundersøgelser. Hvad kan offentlige organisationer lære?, i: Nordisk Administrativt Tidsskrift, årg. 77, nr. 2, s Dahler-Larsen, Peter (2000), Evalueringens begrundelsessammenhænge, i: Forskningstidsskrift fra Danmarks Lærerhøjskole, 4. årg., nr. 6. Dahler- Larsen, Peter (2006): Evalueringskultur et begreb bliver til. Syddansk Universitetsforlag. Donaldson, Stewart (2008): Advanced Applications of Program Theory, workshop, det amerikanske evalueringsselskab, den 5. november, Denver. Elkjær, Bente og Anne-Grete Lysgaard (1998): Med læreprocessens blik en undersøgelse af konsulentprojekter i mindre virksomheder. Samfundslitteratur. Elsborg, Steen (2004), Facilitering af arbejdspladslæring i: Andersen, Vibeke, Bruno Clematide & Steen Høyrup, red.: Arbejdspladsen som læringsmiljø. Roskilde Universitetsforlag Foss Hansen, Hanne (2001), Evaluering: Teori og praksis i designprocessen, i: Nordiske Organisasjonsstudier, vol. 3, nr. 3, s Foss Hansen, Hanne (2008), Systematisk evalueringsstyring: potentialer og udfordringer, i: Politik, nr. 1., vol. 11, s Foss Hansen, Hanne (2008b), Akkreditering: Kvalitetsledelse, konkurrenceregulering og/eller modefænomen, i: Administrativ Debat, nr. 2. Hansson, Finn (1998), Evaluation Research and Sociology in Denmark: A Tale of Two Cultures, i: New Directions For Evaluation, nr. 77, s Harrit, Ole (1999), Evaluering som professionel arbejdsform, i: Hermansen (red.): Kvalitet i skolen. Klim. Hoole, Emily og Tracy E. Patterson (2008), Voices From the Field: Evaluation as Part of a Learning Culture, i: New Directions for Evaluation, nr. 119, s

19 Høyrup, Steen (2004), Læringsformer, refleksionsprocesser og læringsrum i arbejdslivslæring, i: Andersen, Vibeke, Bruno Clematide & Steen Høyrup, red.: Arbejdspladsen som læringsmiljø. Roskilde Universitetsforlag. Illeris Knud (2002), Fra erhvervsrettet uddannelse til læring i arbejdslivet, i: Illeris, red: Udspil om læring i arbejdslivet. Roskilde Universitetsforlag. Illeris, Knud & samarbejdspartnere (2004): Læring i arbejdslivet. Roskilde Universitetsforlag. Kanter, Rosabeth Moss & Derick Brinkerhoff (1981), Organizational Performance: Recent Developments in Measurement, i Annual Review of Sociology, vol. 7, s KREVI Evalueringslandskabet. KREVI 2008b. Effektiv puljestyring som vejen til resultater. Krogstrup, Hanne Kathrine (2006): Evalueringsmodeller. 2. udgave. Academica. Lindblom, Charles E. (1959), The Science of Muddling Through, i: Public Administration Review, vol. 19, nr. 2, s Lindblom, Charles E. (1979), Still Muddling, Not Yet Through, i: Public Administration Review, vol. 39, nr. 6, s McClintock, Charles (1990), Administrators as applied theorists, i: New Directions for Program Evaluation, nr. 47, s Meldgaard, Rasmus (2003), Forandring og læring via evaluering. Learning Lab Denmark. Olsen, Johan P. (2005), Maybe It Is Time to Rediscover Bureaucracy, i: Journal of Public Administration Research and Theory, vol. 16, s Patton, Michael Quinn (1990), The Challenge of Being a Profession, i: American Journal of Evaluation, vol. 11, nr. 1, s Patton, Michael Quinn (1996), A World Larger than Formative and Summative, i: American Journal of Evaluation, vol. 17, nr. 2, s Patton, Michael Quinn (2008), New and Emergent Directions in Evaluation Policy and Practice Through the Lens of Utilization-Focused Evaluation, session 558, den 7. november, det amerikanske evalueringsselskab, Denver. Patton, Michael Quinn (2007), Process Use as a Usefulism, i: New Directions For Evaluation, nr. 116, s Presskill, Hallie og Rosalie T. Torres (2001): Evaluation and Organizational Learning: Past, Present, and Future, i: American Journal of Evaluation, vol. 22, nr. 3, s Presskill, Hallie (2004), The Transformational Power of Evaluation, i: Alkin, ed.: Evaluation Roots. Sage, s

20 Presskill, Hallie (2008), Evaluation s Second Act: A Spotlight on Learning, i: American Journal of Evaluation, vol. 29, nr. 2, s Regeringen august Bedre velfærd og store arbejdsglæde regeringens strategi for høj kvalitet i den offentlige service. Schmidt, Mary R. (2000), You know more than you can say: in memory of Donald A. Schön ( ), i: Public Administration Review, årg. 60, nr. 3, s Schön, Donald A. (1975), Deutero-learning in organizations: learning for increased effectiveness, i: Organizational Dynamics, årg. 4, nr. 1, s Schön, Donald A. (1983): Den Reflekterende Praktiker hvordan professionelle tænker, når de arbejder. Klim, Århus. Schön, Donald A. (1987): Educating the reflective practioner toward a new design for teaching and learning in the professions. Jossey Bass, London, s Schön, Donald A. (1995), The new scholarship requires a new epistemology, i: CHANGE, November/December, s Schön, Donald A. (2000), Udvikling af ekspertise gennem refleksion i handling, i: Illeris (red.): Tekster om læring. Roskilde Universitetsforlag. S Schwandt, Thomas A. (1992), Better Living Through Evaluation? Images of Progress Shaping Evaluation Practice, i: American Journal of Evaluation, vol. 13, nr. 2, s Schwandt, Thomas A. (1997), Evaluation as Practical Hermeneutics, i: Evaluation, vol. 3, nr. 1, s Schwandt, Thomas A. (2003), Back to the Rough Ground! Beyond theory to Practice in Evaluation, vol. 9, nr. 3, s Schwandt, Thomas A. (2005), The Centrality of Practice to Evaluation, i: American Journal of Evaluation, vol. 26, nr. 1, s Schwandt, Thomas A. (2008), Educating for Intelligent Belief in Evaluation, American Journal of Evaluation, vol. 29, nr. 2, Schwandt, Thomas A. 2008b), Serving Elites and Civil Society: Evaluation imaginaries in a Globalized World, session 899, den 8. november, det amerikanske evalueringsselskab, Denver. Scriven, Michael (1996), Types of Evaluation and Types of Evaluator, i: American Journal of Evaluation, vol. 17, nr. 2, s Shadish, William R. (1998), Evaluation Theory is Who We Are, i: American Journal of Evaluation, vol. 19, nr. 1, s Weiss, Carol H. (1998), Have We Learned Anything New About the Use of Evaluation?, i: American Journal of Evaluation, vol. 19, nr. 1, s