Evaluering af Fra model til effekt

Transkript

1 Evaluering af Fra model til effekt Udarbejdet af Institut for Ledelse og Forvaltning Professionshøjskolen Metropol 2014

2 Indhold Forord... 2 Formål... 3 Resume af rapportens konklusioner... 4 Beskrivelse af projektet Fra model til effekt... 5 Evalueringens metode Empiri og behandling af data Konklusion Litteratur Bilag 1: Dokumenter fra projektforløb Bilag 2: Vedrørende evalueringsdesign Bilag 3: BibDok publikationen

3 Forord Denne rapport præsenterer evalueringen af udviklingsprojektet Fra model til effekt. Fra model til effekt blev gennemført i et udviklingssamarbejde mellem Gentofte Centralbibliotek og Professionshøjskolen Metropol i perioden januar 2012 til april Ni biblioteker i Region Hovedstaden deltog i et faciliteret undervisnings- og metodeafprøvningsforløb. Gentofte Centralbibliotek stod for projektledelse. Professionshøjskolen Metropol stod for faglig rådgivning, metodeafprøvning og -udvikling samt indsamling af empiri. Center for Kulturpolitiske Studier, Københavns Universitet (KU), var videnpartner i projektet. Kulturstyrelsen støttede projektet med midler fra Udviklingspuljen. Rapporten er udarbejdet af udviklingskonsulent Lotte Trangbæk, Institut for Ledelse og Forvaltning, Professionshøjskolen Metropol. Eventuelle spørgsmål vedrørende rapporten eller empirien kan rettes til Lotte Trangbæk på [email protected]. 2

4 Formål Formålet med rapporten er at præsentere evalueringen af, hvorvidt og hvordan projektet Fra model til effekt har udmøntet sig i: 1) projektets forventede resultatmål: - En konkret metode til at operationalisere 4-rumsmodellen. - En drejebog, der gør metoden anvendelig. 2) projektets forventede effektmål: - At projektets metode sætter deltagerne bedre i stand til at dokumentere effekt af det biblioteksfaglige arbejde. - At projektets metode sætter deltagerne bedre i stand til at kvalificere det biblioteksfaglige arbejde. - At projektets metode sætter deltagerne bedre i stand til at formidle bibliotekets virke og værdi. - At projektets metode skaber et bedre ledelsesmæssigt grundlag for at kunne foretage prioriteringer og lede ift. organisationens strategiske grundlag. 3

5 Resume af rapportens konklusioner Rapporten peger på følgende konklusioner: Udviklingsprojektet Fra model til effekt har bidraget til, at deltagerne har fået en mere evaluerende praksis samt et større fokus på at skabe kobling mellem strategi og den enkelte biblioteksindsats. Udviklingsprojektet har bidraget med en metode til at operationalisere 4-rumsmodellen. Metoden er dog ikke snævert koblet til 4-rumsmodellen, men mere bredt til det enkelte biblioteks strategi. Dette hensyn er taget inden for udviklingsprojektet, fordi flere deltagere i højere grad kobler sig til kommunale strategier frem for 4-rumsmodellen. Metoden udviklet i relation til projektet har fået navnet BibDok og er blevet udgivet i en metodeguide af samme navn. Metodens grundstruktur kobler sig til den realistiske evalueringstradition og herunder arbejdet med udarbejdelsen af en indsatsteori, der tydeliggør de formodede sammenhænge mellem en indsats, dens kontekst og virksomme mekanismer, og så indsatsens formodede effekter. Metoden BibDok søger i relation hertil at styrke arbejdet gennem en narrativ reflekterende praksis. Evalueringen peger på, at udviklingsprojektets metode bidrager til, 1) Kvalificering af de biblioteksfaglige indsatser, 2) At sikre kobling og fastholdelse af kobling mellem den enkelte indsats og bibliotekets overordnede strategi/4-rumsmodellen og 3) Et mere konkret sprog om bibliotekets værdiskabelse. Evalueringen peger på væsentligheden af, at arbejdet med at dokumentere effekt af det biblioteksfaglige arbejde skal være meningsgivende for, de der skal udføre arbejdet. Biblioteker med gennemgående deltagelse af både medarbejdere og ledere har haft størst udbytte af forløbet ift. 1) Konkret anvendelse af arbejdet med at definere en indsatsteori, 2) Konkret gennemførelse af evaluering af egen biblioteksfaglig indsats, 3) Anvendelse af evalueringsviden og kobling af evalueringsviden ift. strategi/4-rumsmodel. Udviklingsprojektets konsulentklippekort har været væsentlig for at understøtte kompetenceudviklingen og arbejdet med metodetilgangen i deltagernes egne organisationer. Udviklingsprojektets overordnede metodiske struktur forudsatte, at deltagerne havde et kendskab til kvantitative og kvalitative dokumentations- og evalueringsmetoder. Det havde et større antal af deltagerne ikke i en grad så de kunne designe og gennemføre evalueringer. Det betød, at projektet måtte give dette perspektiv større volumen undervejs i projektforløbet. Evalueringen peger i forlængelse heraf på et behov for generel kompetenceudvikling af deltagerne i kvantitativ og kvalitativ metode. Evalueringen peger på, at metoden anvendt og udviklet i relation til projektforløbet tilbyder en ramme for at udøve og styrke den faglige ledelse og at den samtidig bidrager til at understøtte det faglige engagement gennem fastholdelse af det strategiske perspektiv. 4

6 Beskrivelse af projektet Fra model til effekt Projektets baggrund og formål I 2010 udgav Styrelsen for Bibliotek og Medier rapporten Folkebibliotekerne i Vidensamfundet (FIVS). Rapporten beskrev folkebibliotekernes fremtidige udfordringer - bl.a. at ressourcerne bliver færre og kravene større samtidig med, at den medieteknologiske udvikling udfordrer kerneopgaven. Som et bud på at imødegå udfordringerne præsenterede rapporten 4-rumsmodellen 1 en mulig planlægningsramme for den strategiske udvikling af fremtidens bibliotek. Projektet Fra model til effekt har haft som overordnet formål at udvikle en konkret metode til at operationalisere 4-rumsmodellen og aktivere dens rationaler om effekt. Kort om 4-rumsmodellen 4-rumsmodellen placerer fremtidens folkebibliotek til strategisk at udfolde sin virksomhed inden for fire overlappende rum: inspirationsrummet, læringsrummet, møderummet og det performative rum. Modellen beskrives som en vision eller et koncept for det nye bibliotek, som kan bruges: - Som en ramme om en diskussion af bibliotekets overordnede formål og legitimitet internt som eksternt - Til at foretage en mapping af bibliotekets aktuelle tilbud hvor styrker og svagheder kan blive synlige - Til at understøtte indhold og funktioner i de enkelte rum 4-rumsmodellen har ikke i udgangspunktet en intention om at måle eller dokumentere effekt af de biblioteksfaglige indsatser. Men den rummer klare antagelser om, at bestemte prioriterede indsatser har effekt for den enkelte bruger såvel som for samfundet. Modellen kan ses herunder. 1 4-rumsmodellen er udarbejdet af Dorte Skot-Hansen, Casper Hvenegaard Rasmussen og Henrik Jochumsen, Center for Kulturpolitiske Studier, KU. Udgivet i rapporten Folkebibliotekerne i vidensamfundet, Styrelsen for Bibliotek og Medier,

7 Projektets deltagere Ni biblioteker fra Region Hovedstaden deltog i Fra model til effekt. Projektets deltagerdel var struktureret som et kompetenceudviklings- og metodeafprøvningsforløb fra august 2012 til juni De deltagende biblioteker var Albertslund, Allerød, Ballerup, Fredensborg, Gentofte, Helsingør, Lyngby, Rudersdal og Rødovre biblioteker. Gentofte Centralbibliotek var projektejer og stod for den overordnede projektledelse. Professionshøjskolen Metropol, Institut for Ledelse og Forvaltning stod for kompetenceforløb, facilitering, faglig rådgivning, metodeafprøvning og -udvikling samt indsamling af empiri. Center for Kulturpolitiske Studier, KU, var videnpartner i projektet. 6

8 Projektets opbygning og indhold I foråret 2012 blev der arbejdet med modning af projektet. I relation hertil blev projektet præsenteret på et biblioteksledermøde i Region Hovedstaden i marts Projektets metodetænkning dannede desuden tema på regionens årlige bibliotekslederseminar i maj 2012 (jf. bilag 1). Deltagerdelen forløb fra august 2012 til juli Krav til projektdeltagelsen var, at hvert bibliotek deltog i forløbet med tre til fem deltagere, og at både medarbejdere og ledere var repræsenteret. Deltagerne skulle ydermere medbringe en biblioteksfaglig indsats, som de allerede forud for deres deltagelse i Fra model til effekt havde prioriteret at ville arbejde med i egen organisation. Deltagerne har i relation til forløbet arbejdet med afsæt i deres egen konkrete biblioteksfaglige indsats. Herunder ses en oversigt over forløbet, som de deltagende ledere og medarbejdere har været gennem. Dato Aktiviteter Konsulentklippekort (De deltagende biblioteker rådede alle over 10 konsulenttimer til at understøtte arbejdet i egen organisation) 31. aug Opstartsseminar: - Introduktion til projektets mål, proces og metodiske tilgang. - Faciliterede workshops med afsæt i virkningsevaluering 7. sep Biblioteksledermøde med efterfølgende workshop for projektdeltagerne: - traditionelt biblioteksledermøde men med deltagelse af medarbejdere. - Oplæg: Moderne styringsvilkår og -perspektiver i offentlige velfærdsorganisationer ved Klaus Majgaard. - workshop: opstilling af programteori 2. okt Seminar: - Præsentation og kvalificering af programteori. Faciliteret proces -Workshop: Identificering af indikatorer og succeskriterier ift. egen programteori. 15.okt Statustilbagemelding fra deltagerne. Indsendelse af egen programteori til projektleder på Gentofte Centralbibliotek. 2. nov Biblioteksledermøde med efterfølgende workshop - traditionelt biblioteksledermøde, men med deltagelse af medarbejdere. - Oplæg: Un Boss ved Lars Kolind - Opsummering af projektets metodetænkning - Oplæg om evalueringsmetoder ved Nete Krogsgaard Niss 14. feb Statustilbagemelding fra deltagerne til projektleder på Gentofte Centralbibliotek. Alt afhængig af, hvor deltagerne var med arbejdet i egen organisation, fokuserede statustilbagemeldingen på deres valg af evaluerings-/dokumentionsmetoder i relation til deres egen programteori. 7

9 27. feb Seminar: - Oplæg og workshops om narrativ organisationsudvikling, ved Dorte Nissen. 28. feb Seminar: - oplæg og workshops om narrativ dokumentation ved Eva Pallesen. 11. april 2013 Seminar: - Oplæg og workshops om narrativ dokumentation ved Eva Pallesen. - Oplæg og workshops om den gode fortælling ved Pia Bundgaard 16. maj 2013 Seminar: -Oplæg og workshops med fokus på at anvende narrativer til strategisk kommunikation ved Pia Bundgaard. - Oplæg og workshop om metodens kobling til 4-rumsmodellen 14. juni 2013 Afslutningsseminar: - Opsamling på projektets metodetænkning - Oplæg: Biblioteket i den digitale tidsalder ved Jens Thorhauge. - Læringspointer Fra juli 2013 til december 2013 blev der indsamlet og behandlet empiri fra projektet. Drejebogen blev på den baggrund udarbejdet og kvalificeret i tæt dialog med projektets deltagere og parter. 8

10 Projektets grundlag og teoretiske afsæt Projektet tog afsæt i 4-rumsmodellens antagelser om effekt af bibliotekets virke og et behov for i relation hertil som enkelt bibliotek og som sektor at kunne efterprøve og anskueliggøre, hvorvidt og hvordan visse effekter manifesterer sig. Deltagerne blev forud for projektopstart bedt om at medbringe en konkret indsats fra deres respektive bibliotek. Indsatsen skulle de arbejde med i relation til udviklingsforløbet Fra model til effekt. De blev i relation hertil bedt om at indplacere deres respektive indsats i 4-rumsmodellen. (jf. endvidere ovenstående afsnit 'Projektets opbygning og indhold'). Udviklingsprojektet blev tilrettelagt inden for en forståelse af Evaluation Capacity Building (ECB) forstået som an intentional process to increase individual motivation, knowledge, and skills, and to enhance a group or organization s ability to conduct or use evaluation. (Labin m.fl : 308). ECB udspringer af de evalueringstilgange, der bygger på empowerment traditionen, dvs. hvor modtagerne af det, der evalueres, inddrages i samarbejdende og deltagende evalueringer. ECB videreudvikler dog disse retninger ved at integrere evalueringer og brug heraf i organisationer, fx i organisatoriske roller og strukturer. Udgangspunktet er forskningsbaseret viden om, at evalueringer bliver bedre forstået og brugt, hvis de bliver integreret i organisationers dagligdag (Labin m.fl. 2012) (Stockdill m.fl.). Udviklingsprojektet byggede i relation hertil på en forståelse af, at udviklingen af en mere evaluerende og dokumenterende praksis i biblioteket nødvendigvis må kobles tæt til den organisatoriske ledelse og styring. Dette ud fra en forudsætning om, at ledelse og styring er central for, at den viden som en mere dokumenterende og evaluerende praksis skaber, kan bidrage til substantielle forbedringer af den enkelte biblioteksydelse samt ift. den strategiske udvikling af biblioteket. (jf. bl.a. Dinnesen og Kølsen (2013)). Udviklingsforløbet har i forlængelse heraf koblet sig til den realistiske evalueringsretning 2 og anvendt en tillempet CMO-model som grundstruktur for deltagernes arbejde med at dokumentere effekt af bibliotekets indsatser. CMO står for context-mekanisme-output og fokuserer på at tydeliggøre den kontekst, hvori bestemte mekanismer i en indsats formodes at udmønte sig i en bestemt effekt. Dette arbejde med at tydeliggøre sammenhængen mellem indsatsens CMO skal bidrage med udformningen af en indsatsteori, der er en teori for indsatsens virkning. Denne indsatsteori søges herefter inden for realistisk evaluering be- eller afkræftet ved at anvende den eller de evalueringsmetoder, der formodes bedst at kunne bidrage med den ønskede viden. Projektforløbet har i relation hertil undervist og trænet deltagerne i kendskab til og anvendelse af både kvantitative og kvalitative evalueringsformer. Der har været særlig fokus på narrative dokumentations- og evalueringsformer (Hansen 2011) og det narrative metodiske felts styrker ift. udvikling af professionsfaglighed. Deltagerne har desuden med afsæt i et systemisk og narrativt perspektiv arbejdet med ledelse, strategi og kommunikation i relation til arbejdet med evaluering. Udviklingsprojektet har været videnskabsteoretisk forankret inden for en socialkonstruktionistisk tilgang til organisation og ledelse. Samtidig har projektet koblet sig til realistisk evaluering, der videnskabsteoretisk kobler sig til positivismens realistiske ontologi, men som samtidig har et hermeneutisk blik på metoder og evaluatorrolle. Denne praksis kaldes af nogle teoretikere for postpositivisme, idet evalueringspraksis som 2 Evalueringsteoretikerne Ray Pawson og Nick Tilley placerer sig centralt indenfor den realistiske evalueringsteori. I en dansk kontekst er evalueringstilgangen især omsat af Peter Dahler-Larsen, der arbejder med betegnelsen virkningsevaluering. 9

11 anført har sit afsæt i det positivistiske evalueringsparadigme, men i sin praksis åbner op for bl.a. humanistiske videnskabsteoretiske retningers forståelse af sand viden. Blandt andet tilsiger realistisk evaluering, at evaluator bør gå ind i feltet for at opnå indsigt og sikre relevans fremfor at agere distanceret observatør (Hansen 2003: 27, Krogstrup 2011: 37). På side 5, 7 og 8 i udgivelsen BibDok (vedlagt under Bilag 3) præsenteres tre små cases fra udviklingsprojektet, der illustrerer, hvordan de deltagende biblioteker har arbejdet. Udgivelsen ligger desuden på sitet 10

12 Evalueringens metode Evalueringen har været designet som en realistisk evaluering med afsæt i en indsatsteori 3. Evalueringsmetoden er valgt med afsæt i, at Fra model til effekt har været et udviklingsprojekt, hvor parterne forpligtede sig på i fællesskab at udvikle viden undervejs i projektforløbet. Deltagernes erfaringer og refleksioner i relation til arbejdet har spillet en central rolle i den løbende udvikling og tilrettelæggelse af projektet. Der er derfor valgt en processuel evalueringsmetode, der er velegnet til at understøtte denne præmis. Endvidere har grundideerne fra realistisk evaluering og specifikt arbejdet med indsatsteorien været den metodiske grundstruktur i selve udviklingsforløbet. Evalueringstilgangen har dermed været anvendt på to niveauer i projektet. Indsatsteorien for Fra model til effekt så ud som illustreret herunder. Som skabelonen viser, var antagelsen i projektet, at undervisning og træning i realistisk evaluering og narrative forholdemåder er den grundlæggende mekanisme, der kan bidrage til at operationalisere 4- rumsmodellen og udvikle en metode til at dokumentere effekt af arbejdet med biblioteksfaglige indsatser. Der var endvidere en antagelse i indsatsteorien om, at samarbejde mellem ledere og medarbejdere samt konsulentunderstøttelse ude i deltagernes egne organisationer mellem forløbene var væsentlige. 3 En indsatsteori er en teori for, hvordan en given indsats forventes at virke. Teorien skal tydeliggøre hvilken indsats, der i hvilken kontekst må formodes at udmønte sig den forventede effekt for hvem. 11

13 Empiri og behandling af data Projektet integrerede en løbende evaluering af de specifikke aktiviteter, særligt med henblik på at kvalificere projektet undervejs og for at kvalificere metodeudviklingen. Denne del af evalueringen har baseret sig på: - Log-bog (over afholdte aktiviteter/processer/laboratorier mv., overvejelser og refleksioner fra projektleder og konsulenter) - Observationer udført af konsulenter på projektets seminardage ift. gruppearbejder - Deltagerevalueringer af de afholdte seminardage - Produktanalyser (deltagernes indsatsteorier) Evalueringsrapporten inddrager evalueringsviden fra ovenstående, men baserer sig primært på semistrukturerede interviews gennemført med projektdeltagerne efter, at deltagerdelen af projektet blev afsluttet. Interviewene havde en varighed af ca. 50 minutter pr. interview. Der er gennemført følgende interviews: - Et interview med projektleder og konsulent fra Gentofte Centralbibliotek - Otte interviews med medarbejdere, der deltog i projektet. 4 (fire enkeltinterviews, fire gruppeinterviews med to deltagere). - Otte interviews med ledere, der deltog i projektet (Seks enkeltinterviews, et gruppeinterview med to deltagere og et gruppeinterview med tre deltagere). Interviewguide til hhv. projektleder og konsulent, ledere og medarbejdere blev udarbejdet med henblik på at belyse mekanismen som beskrevet ovenfor. De tre interviewguides er vedlagt under rapportens bilag 2. Indkomne data blev transskriberet og efterfølgende kategoriseret og analyseret med henblik på at belyse de grundlæggende mekanismer i projektet samt de specifikke spørgsmål adresseret i denne rapport (jf. formål). Konklusionerne er præsenteret i det følgende afsnit. 4 Et af de ni deltagende biblioteker viste sig inde i projektforløbet at have valgt at deltage med fire med ledelsesansvar med henblik på at kunne udbrede metodetænkningen i organisationen af denne vej. Denne organisation havde derfor ikke nogle medarbejdere repræsenteret i projektet. Derfor blev der ikke gennemført et medarbejderinterview i denne organisation. 12

14 Konklusion Der har ikke været foretaget en udgangspunktanalyse for deltagernes evalueringskapacitet inden projektforløbet. Derfor eksisterer der ingen sammenlignelig standard for at konkludere, hvorvidt og i hvilket omfang deltagerne har udviklet deres evalueringskapacitet som følge af det konkrete forløb. Deltagernes egne vurderinger i de gennemførte interviews peger dog på, at den kompetenceudvikling og træning, der er foregået på og i relation til projektets seminarrække, har bidraget til, at de har fået en mere evaluerende praksis samt et større fokus på at skabe kobling mellem strategi (hvad enten der er tale om en kommunal forankret strategi eller 4-rumsmodellen) og den enkelte biblioteksindsats. Med undtagelse af medarbejderne i ét interview ytrede både ledere og medarbejdere i de øvrige interviews alle i større eller mindre grad at særligt arbejdet med indsatsteori og/eller narrativ dokumentation har bidraget med nye anvendelige værktøjer til arbejdet med at kvalificere bibliotekets indsatser og ift. det strategiske arbejde (fx i henhold til 4-rumsmodellens intentioner om mapping). Dette var dog som nævnt med undtagelse af ét af de ni deltagende biblioteker (bibliotek B, jf. nedenstående oversigt over deltagelse). Medarbejderne på bibliotek B oplevede ikke, at projektets kompetenceudvikling og træning havde bidraget med nye perspektiver eller praksisser ift. deres arbejde. De begrundede det med, at de forud for deres projektdeltagelse allerede arbejdede fokuseret med evaluering og dokumentation samt har stærke kompetencer inden for feltet. Skema over deltagende biblioteker og deltagelse ved start og ved slut på forløbet. Bibliotek Deltagende medarbejdere ved start på forløb Deltagende ledere ved start på forløb Deltagelse gennem hele forløbet A 2 1 Begge medarbejdere. Leder kun delvist i sidste del af forløbet B 2 1 Begge medarbejdere. Leder deltog kun kortvarigt i første del af forløbet. C 1 2 Alle deltog i hele forløbet D medarbejder deltog i hele forløbet. Jobskifter på både leder- og medarbejderniveau betød, at der var udskiftninger undervejs og deraf afledt kun delvis deltagelse. E 2 1 Alle deltog i hele forløbet F 1 1 Alle deltog i hele forløbet G 2 1 Personalereduceringer betød at kun 1 medarbejder og 1 leder deltog i hele forløbet. H 0 4 Alle deltog i hele forløbet I 2 2 En leder deltog kun indledningsvis i forløbet. Øvrige deltog i hele forløbet. Skemaet illustrerer, at alle de deltagende biblioteker var repræsenteret gennem hele forløbet. Fire biblioteker (C, E, F og H) gennemførte forløbet med de planlagte deltagere. Bibliotek D samt G havde personaleændringer, der ændrede på deres planlagte deltagelse. Helt eller delvist frafald i 13

15 ledelsesdeltagelsen fra hhv. bibliotek A, B og I blev begrundet i travlhed og nedprioritering af deltagelse i projektet som følge heraf. Evalueringen peger på, at bibliotekerne med gennemgående deltagelse af både medarbejdere og ledere har haft størst udbytte af forløbet ift. - Konkret anvendelse af arbejdet med at definere en indsatsteori - Konkret gennemførelse af evaluering af egen biblioteksfaglige indsats - Anvendelse af evalueringsviden og kobling af evalueringsviden ift. strategi/4-rumsmodel (Dette bliver endvidere uddybet under konklusionen på projektets resultatmål nedenfor). Bibliotek H valgte at deltage i projektet udelukkende med ledelsesrepræsentanter. Bibliotek H havde foretaget denne prioritering ud fra en ambition om, at ledelsesniveauerne efter forløbet kunne udbrede den metodiske tilgang i hele organisationen. I evalueringsinterviewet pegede de deltagende ledere dog på, at denne model i praksis havde vist sig uigennemførbar. Medarbejderne, som skulle gennemføre de planlagte indsatser i henhold til projektets metodetænkning, havde haft svært ved at koble sig til tænkningen og gjorde derfor som de plejede. Evalueringsinterviewet fra bibliotek B belyser relevansen af samarbejde, hvad enten det er mellem ledere og medarbejdere eller mellem medarbejdere indbyrdes. Bibliotek B valgte, at de medarbejdere, der deltog i projektforløbet, udarbejdede en indsatsteori og design for at evaluere indsatsen. Men herefter blev den konkrete gennemførelse af indsatsen samt udførelsen af evalueringen uddelegeret til helt andre medarbejdere i organisationen. Resultatet blev, at hverken indsats eller evaluering blev gennemført. Det kan der være mange årsager til. Det konkrete eksempel kan pege på væsentligheden af, at de, der skal stå for dokumentationen selv skal kunne se meningen med dokumentationen for efterfølgende at kunne anvende den opnåede evalueringsviden i organisationen og for at kunne kvalificere den konkrete indsats. Fire af evalueringsinterviewerne peger på forskellig vis ligeledes i retning af det hensigtsmæssige i, at de, der skal foretage evalueringen eller dokumentationen, også inddrages i arbejdet med indsatsteorien og i forlængelse heraf hvad og hvordan, der skal dokumenteres/evalueres. Evalueringen peger på, at medarbejderne (bibliotek A, C, E, F, G, I) vurderer, at det har haft stor værdi for arbejdet og anvendelsen af den metodiske tænkning, at deres ledere har deltaget i projektet. Følgende citater fra interviewene illustrerer dette: Det har været væsentligt for processen, at vores øverste leder i biblioteket har deltaget i projektet og i processen. [Medarbejder, bibliotek A] Det har været rigtig godt at komme med til biblioteksledermøderne gennem projektet. At høre, hvordan de snakker og om hvad de snakker og se samspillet mellem lederne. Det hører vi jo slet ikke normalt [Medarbejder, Bibliotek F]. Samarbejdet med vores leder omkring vores konkrete indsats har været rigtig godt. Når lederen selv bliver tvunget til at stå i de konkrete dilemmaer, som vi jo står i hver dag over for brugerne, så bliver det også nemmere at sige, hvorfor vi bliver nødt til at være to og ikke en på opgaven [Medarbejder, Bibliotek I]. 14

16 Evalueringen (både interview med projektledere og deltagere samt den løbende evaluering i projektet) peger endvidere på, at konsulentklippekortet har været væsentligt for at understøtte kompetenceudviklingen og arbejdet med metodetilgangen i deltagernes egne organisationer. Arbejdet med at definere en indsatsteori med afsæt i en CMO-model har været ny for størstedelen af deltagerne i projektet. Arbejdet har derfor været mere omfattende end først antaget af både projektledelse og deltagere, men er samtidig det, som evalueringen peger på, har bidraget med størst værdi. Følgende citater peger på denne konklusion. Modsat sådan normale projektstyringsværktøj, så synes jeg det her kan holde fast på hvorfor man gør som man gør. Det er det, der er styrken ved det her. Og dermed kan det faktisk være med til at opretholde begejstringen omkring et projekt (Leder, Bibliotek I) Den der antagelsesproces, den var egentlig lidt hård, der i begyndelsen. Det der med at få indskrænket... for hvad kan egentlig måles? Men det var jo også interessant, fordi vi ikke er vant til at arbejde på den måde. Det er en meget teoretisk måde at arbejde på. Vi er ikke vant til at tænke i de baner. Jeg synes det har været interessant at skulle arbejde med programteori [programteori=indsatsteori (red.]. Altså, vi har jo sådan set antagelser, masse af antagelser inden vi går i gang med noget. Vi formulerer det som regel bare ikke det er jo en god øvelse.(medarbejder, Bibliotek I). Udfordringerne i en programteori [programteori=indsatsteori (red.], det er i hvert fald i vores øjne at den aldrig nogen sinde bliver færdig. På en eller anden måde kan du blive ved. Jeg tror noget af det jeg oplevede i forhold til det her kursus, det var... min første oplevelse var: Nu laver vi den her, og så er det den og det er den vi kører efter. Men det var ikke virkeligheden da vi så gik i gang. Man kunne hele tiden ændre den. Man blev hele tiden klogere [ ].. det kan blive enormt komplekst, og efter min mening også for komplekst i forhold til.. også i forhold til vores indsats, som bare handler om: vi vil godt have IT-stærke borgere og vejen derhen, hvordan man gør det. [ ]... vi blev ved med at udvide og blev ved med at gøre det mere og mere udførligt, men jeg tror egentlig til sidst: Vi nåede til en eller anden erkendelse af at vi ville nok have stået skarpere hvis vi lige havde koncentreret det lidt mere, kogt lidt mere bouillon på den i stedet for. Men det er en god proces, fordi at den er en øjenåbner på forskellige ting. Der er... nogle gange handler det også om at italesætte nogle ting og nogle gange giver det også god mening at se det på et stykke papir. På den måde tror jeg også, jeg kan godt forestille mig programteorien ville være noget vi kunne tage med, også til mindre projekter. Så det har været en god og lærerig oplevelse at arbejde med programteorien. [Medarbejder, Bibliotek G]. Den løbende evaluering i projektet samt interviewene peger på, at evalueringskapaciteten blandt deltagerne og i deres organisationer generelt er lav. Med lav evalueringskapacitet menes, at deltagerne generelt havde en lav grad af kendskab til evalueringsmetoder og affødt heraf også få erfaringer med at gennemføre evaluering samt behandle evalueringsdata og anvende evalueringsviden. Følgende citater adresserer denne problematik. Vi synes, at vi måske i det her forløb[ ] skulle have lært lidt tidligere, hvordan man egentlig laver nogle spørgeskemaer. Det havde vi ikke gode nok redskaber til i det her forløb. Da vi skulle gå i gang med at dokumentere (Medarbejder, Bibliotek E]. Der hvor det lykkedes bedst med dokumentationen i virkeligheden, det var [x-kollegas (red.)] interview af 15

17 tre deltagere. Det fik vi rigtig meget ud af, fordi han er en god interviewer og han [ ] har erfaringen med det. (Medarbejder, Bibliotek I). Vi har ikke de der interviewtekniker. Der er jo skrevet bøger om interviewteknik eller man bliver undervist i hvordan man laver det, og den undervisning har vi aldrig haft. Og det er bare det, hvis man bare kunne få et par dage hvor man lærte nogle af de der fiduser. Det ville være en hjælp. (Medarbejder, Bibliotek A) Hvis du ser vores spørgeskemaer, så ses det med det samme. Svarene er ja, så er der et ægtepar, de svarer det samme, ja, ja, ja, nej, ja. Okay. Og hvad får man så lige ud af det. Altså. Ikke noget. (Medarbejder, Bibliotek I). Fra model til effekt havde som formål at udvikle en metode der kunne operationalisere 4-rumsmodellen. Dette blev som beskrevet i denne rapport forsøgt ved at koble en realistisk evalueringstilgang med narrativ metode. Denne tilgang lægger op til en måde at kvalificere, designe og strukturere arbejdet med at dokumentere og evaluere. Indenfor denne metodiske struktur har det været op til deltagerne - afhængig af indsatsens karakter at vurdere hvilke konkrete evaluerings- og dokumentationsmetoder, der burde anvendes. Udviklingsprojektet har forudsat, at deltagerne havde et overordnet kendskab til evalueringsmetoder, specifikt til spørgeskemaer og brugerundersøgelser, interviewgenren og observationer. Projektet har derfor fokuseret på forståelsen af den overordnede metodiske struktur for at kunne arbejde med at dokumentere effekt af biblioteksfaglige indsatser i henhold til 4-rumsmodel/strategi. På baggrund af den løbende evaluering af udviklingsforløbet forsøgte projektledelsen at tage højde for denne problematik ved at indlægge oplæg om kvantitative og kvalitative metoder. Som citaterne oven for illustrerer, har behovet dog været større end projektet har tilgodeset. En konkret evaluerings/dokumentationsmetode som Fra model til effekt specifikt i projektforløbet valgte at fokusere på var narrativ dokumentation, fordi det er en metode, der de senere år er begyndt at manifestere sig, dog særligt inden for det pædagogiske område. Metoden blev introduceret som én blandt andre mulige evaluerings- eller dokumentationsmetoder, som kunne formodes at have relevans på det biblioteksfaglige felt. Evalueringen af forløbet peger på, at en overvejende del af deltagerne fandt stor relevans i at anvende narrativ dokumentation. Deltagerne peger især på, at de oplever, at metoden kan supplere den mere kvantificerbare viden med relevant kvalitative perspektiver om den oplevede værdi samt en måde at forholde sig mere nysgerrigt og kritisk til egen praksis. Citaterne herunder illustrerer dette. Jeg har været rigtig glad for i det her forløb at erfare, at man kan arbejde med dokumentation på andre måder end at måle kvantitativt. Narrativ dokumentation giver rigtig god mening. Dokumentationsformen bidrager til nuancering og kan for mig at se bidrage med viden om det som er grunden til at jeg synes at biblioteksarbejdet er vigtigt. Det betyder ikke, at vi ikke skal måle, hvor mange der kommer. Det skal vi også. (Medarbejder, Bibliotek C) Narrativ evaluering Gud! Det her kan jeg virkelig bruge til noget!(medarbejder, Bibliotek F). Evalueringen peger dog samtidig på, at arbejdet med narrativ dokumentation hos ca. halvdelen af deltagerne, i højere grad end at skabe metodisk gennemsigtighed og organisatorisk læring ift. egne 16

18 faglige selvforståelser, bliver et spørgsmål om at legitimere bibliotekets eksistens gennem at blive bedre til at få øje på de gode historier. Følgende citater peger på dette. Kan ikke se, hvordan fortællingen kan fungere som dokumentation.(medarbejder, Bibliotek D). Jeg mangler ofte de her fortællinger, når jeg skal kommunikere med vores forvaltning og vores politikere. (Leder, bibliotek A). Jeg tror sektoren kan blive meget bedre til at fortælle de gode historier og have blik for dem. (Medarbejder, bibliotek B). I det følgende præsenteres evalueringens konklusioner ift. projektets definerede resultatmål og effektmål kort. Resultatmål Operationalisering af 4-rumsmodellen En indledningsvis rundspørge ved projektopstart viste at 4-rumsmodellen ikke blev anvendt aktivt som strategisk planlægningsværktøj blandt størstedelen af de deltagende biblioteker. Medarbejderne tilkendegav samstemmigt at de ikke anvendte 4-rumsmodellen i deres arbejde eller forholdt deres arbejde ift. den mapping, som 4-rumsmodellen lægger op til. Halvdelen af de deltagende ledere tilkendegav, at de forholdt sig løst til modellen i deres arbejde med den strategiske udvikling af biblioteket. Den resterende halvdel af lederne kendte alle modellen, men anvendte den ikke. Det primære argument for ikke at anvende modellen var, at den bliver oplevet som meget abstrakt. Samtidig argumenterede et flertal af de deltagende ledere for, at biblioteket ofte er koblet til deres kommunale strategi, hvilket underordner 4-rumsmodellen som planlægningsstrategisk ramme. Projektledelsen valgte derfor, at de deltagende biblioteker kunne vælge om de ville arbejde med afsæt i deres egen biblioteksstrategi, den kommunale strategi eller 4-rumsmodellen eller en kombination. Observationer i starten af projektforløbet samt gennemførte evalueringsinterviews peger på, at der blandt de deltagende biblioteker eksisterer en lav grad af kobling mellem de indsatser, der sættes i gang i biblioteket og så bibliotekets strategi. Evalueringen peger på, at den metodiske struktur, der er blevet arbejdet med i projektforløbet, væsentligt bidrager til at understøtte denne kobling mellem den enkelte indsats og bibliotekets strategi hvad enten der er tale om 4-rumsmodellen eller ej. Jeg oplever, at metoden kan give os en mere analytisk tilgang som biblioteksstand. Jeg har derfor valgt at alle medarbejdere hos os skal indføres i metoden. Ift. vores konkrete arbejde i udviklingsforløbet, så var programteorien [programteori=indsatsteori (red.)] anledningen til at vi justerede vores projekt. Den var lejligheden til at få talt sammen og være nysgerrige. Den gav både mulighed for at tænke lidt frem og lidt tilbage og ikke være så fanget af hverdagen. At vi får en mere refleksiv og analytisk tilgang til vores opgaver. (Leder, Bibliotek E). Det som jeg synes, det her kan, fordi du hele tiden arbejder med grundantagelser, er hvorfor du gør som du gør. Du arbejder ikke med: Hvorfor har man ikke nået eller hvorfor har man nået den milepæl og så evaluere på processen hen imod den milepæl. Her arbejder du hele tiden med hvorfor gør vi det her? Og 17

19 det synes jeg faktisk: 1. er enormt produktivt fordi du hele tiden er klar over: Ja, hvorfor gør vi som vi gør, 2. du skaber egentlig arbejdsglæde i en eller anden forstand, fordi du aldrig mister synet for hvorfor man gør som man gør. Vi er jo en institution med medarbejdere, som går meget op i deres arbejde [ ] de synes det er vigtigt. Vi synes det er vigtigt, det vi gør. Og nogle gange når vi udvikler nye tiltag, så kan vi godt nogle gange miste fokus på hvorfor det er vigtigt fordi det er nyt for os. (leder, Bibliotek I) Vi tror automatisk, at gulvpersonalet kender og arbejder med 4-rumsmodel og strategi. Det gør vi ikke. Den vigtigste læringspointe for mig har været, at jeg er blevet bevidst om det jeg gør. Blevet bevidst om, hvorfor jeg gør det og se det i den store sammenhæng om bibliotekets fremtid. (Medarbejder, Bibliotek C). Interviewene såvel som observationer og evalueringer fra projektforløbet peger hertil på behovet for opbygning af generelt kendskab til evalueringsmetoder og anvendelse af evalueringsmetoder bredt blandt deltagerne. Den metodiske grundstruktur (CMO-model og narrativ praksis), som Fra model til effekt har centreret sig omkring i sit arbejde med at operationalisere 4-rumsmodellen, er grundlæggende metodepluralistisk i sin tilgang til evaluering og dokumentation af hvordan indsatser bidrager med formodet effekt. Det betyder, at det er indsatsteorien og dens antagne mekanismer, der afgør, hvordan det i det enkelte tilfælde vil være hensigtsmæssigt at evaluere. Og det kræver et metodeoverblik og kendskab. Anvendelsen af projektets metode blev derfor udfordret af en generelt lav evalueringskapacitet blandt deltagerne. Evalueringen peger på, at det kun er få af de deltagende biblioteker, der endte med at have gennemført en egentlig evaluering af deres indsatsteori. Det er både et udtryk for, at deltagerforløbet blev afsluttet før flere af de indsatser som deltagerne arbejdede med i egne organisationer var afsluttet. Men det er også et udtryk for, at især hensyntagen til ressourceforbruget betød, at selve gennemførelsen af fx interview eller spørgeskema og efterfølgende behandling af data blev nedprioriteret. Med undtagelse af bibliotek B og H pegede alle deltagende biblioteker dog på, at selve evaluerings- og dokumentationsdelen havde bidraget om end der var tale om små og ikke-repræsentative undersøgelser med væsentlig viden. Samtidig peger evalueringen dog på, at arbejdet med at udforme en indsatsteori i sig selv ser ud til at have en betydelig værdi for: 1) Kvalificering af de biblioteksfaglige indsatser 2) At sikre kobling og fastholdelse af kobling mellem den enkelte indsats og bibliotekets overordnede strategi/4-rumsmodellen 3) Et mere konkret i modsætning til abstrakt sprog om bibliotekets værdiskabelse Udarbejdelse af drejebog Fra model til effekt havde som defineret resultatmål at udarbejde en konkret metode til operationalisering af 4-rumsmodellen og gøre den anvendelig gennem en drejebog. På baggrund af projektforløbet blev en sådan metode udviklet og præsenteret i publikationen BibDok, der blev udgivet i trykt såvel som elektronisk form i januar

20 Drejebogen blev kvalificeret i samarbejde med projektets deltagere, styregruppe og videnpartner. Effektmål Vedr. at projektets metode sætter deltagerne bedre i stand til at dokumentere effekt af det biblioteksfaglige arbejde Den foregående del af konklusionsafsnittet har allerede peget på konklusionerne til dette effektmål. Evalueringen peger på, at projektet og dets metodiske grundstruktur har flyttet deltagerne betydeligt ift. fremadrettet at have blik for og fokus på dokumentation og evaluering. Metodetilgangen anvendt i projektet har især bidraget til, at deltagerne har fået styrket deres kompetencer til at konkretisere de formodede mekanismer, i de indsatser de sætter i gang og sammenhængen til de effekter, de formoder, at indsatsen udmønter sig i for borgere og samfundet. Den grundlæggende metodiske struktur, der er blevet arbejdet med i projektforløbet, har i varierende grad manifesteret sig i dokumenterede effekter afledt af deltagernes biblioteksfaglige indsatser. Der eksisterer i relation hertil fortsat et behov for at kvalificere en del af deltagernes kompetencer til i praksis at dokumentere og gennemføre evalueringer af, om de identificerede mekanismer også gør sig gældende i praksis. Vedr. at projektets metode sætter deltagerne bedre i stand til at kvalificere det biblioteksfaglige arbejde Evalueringen peger på, at den metodiske tilgang i udviklingsprojektet har styrket flertallet af deltagernes kompetencer til at kvalificere det biblioteksfaglige arbejde. Evalueringen peger på, at det især er de narrative spørgeteknikker, der, i kombination med arbejdet med at konkretisere sammenhæng mellem en indsats, dens mekanismer, dens kontekst og så den formodede effekt, bidrager til at skærpe et bevidst og strategisk fokus på de valg, der bliver truffet. Evalueringen peger i forlængelse heraf på, at det i høj grad er kompetencen til at forholde sig refleksivt, udfordrende og kritisk til egne antagelser, der ser ud til at bidrage til en kvalificering af arbejdet. Mens det i mindre grad ser ud til at være reel produktion af evalueringsviden, der har sat deltagerne bedre i stand til at kvalificere arbejdet. Ift. sidstnævnte peger evalueringen dog på at den evalueringsviden, der reelt er produceret i relation til bibliotekernes arbejde med deres indsats i projektet, har bidraget med væsentlig læring for de deltagende parter. Vedr. at projektets metode sætter deltagerne bedre i stand til at formidle det biblioteksfaglige arbejdes bidrag til velfærdssamfundet Evalueringen peger på, at legitimering af bibliotekets virke fylder meget for deltagerne. Legitimeringsperspektivet ser ud til at have en tendens til at gå ind og overtage evaluerings- og dokumentationsperspektivet. Sagt på en anden måde var der blandt deltagerne generel enighed om behovet for at styrke bibliotekernes evne til at dokumentere effekterne af bibliotekets virke. Forløbet og evalueringsinterviewerne peger på, at ønsket om at anvende viden om effekt af bibliotekets arbejde til at legitimere biblioteket, kan have en tendens til at overskygge selvrefleksionen og læringsdimensionen. Dette 19

21 ser på baggrund af evalueringen ud til at indeholde en reel risici for, at der ikke skabes reel evalueringsviden og viden om effekt, der kan bidrage til at kvalificere og udvikle bibliotekerne. Evalueringen peger dog samtidig på, at arbejdet med den metodiske tilgang, der har været anvendt i udviklingsprojektet bidrager med en konkretisering, der kvalificerer formidlingen af hvad biblioteket gør og hvorfor det gør det. Vedr. at den metodisk dokumenterende praksis skaber et bedre ledelsesmæssigt grundlag for at kunne foretage prioriteringer og lede ift. organisationens strategiske grundlag I evalueringsinterviewene adresserer fire ledere eksplicit metodens anvendelighed ift. at bedrive faglig ledelse. De peger på, at metoden giver en ramme for at tale fagligt sammen med medarbejderne uden, at medarbejderne føler, at lederne går ind og blander sig. Samtidig bidrager metoden til at understøtte det faglige engagement gennem fastholdelse af det strategiske perspektiv. Projektet har forholdt sig til én indsats pr. bibliotek. Der er derfor et spinkelt grundlag at konkludere på, i hvor høj grad metoden bidrager til at kunne foretage ledelsesmæssige prioriteringer og lede ift. organisationens strategiske grundlag. Evalueringen peger dog på, at både ledere og medarbejdere, med få undtagelser, oplever et større strategisk fokus og større læring med arbejdet og afledt heraf, en større oplevelse af mening med arbejdet. 20

22 Litteratur Andersen, Henrik Schelde og Søndergaard, Katrine Raae (red.), Systemisk projektledelse, Samfundslitteratur, 2012 Dahler-Larsen, Peter og Krogstrup, Hanne, Nye veje i evaluering håndbog i tre evalueringsmodeller, Hans Reitzels Forlag, Dahler-Larsen, Peter, Kvalitetens Beskaffenhed, 2008, 2. oplag, Syddansk Universitetsforlag Dinesen, Malene Skov og Kølsen De Wit, Camilla, Essensen af innovativ evaluering, Dansk psykologisk forlag, Folkebibliotekerne i vidensamfundet, Styrelsen for Bibliotek og Medier, Fredslund, Hanne, Evaluering i et narrativt perspektiv, Dansk Psykologisk Forlag, Hansen, Janne Hedegaard; Narrativ dokumentation, Akademisk forlag, 2009 Labin, S. N., Duffy, J. L., Meyers, D. C., Wandersman, A., & Lesesne, C. A. (2012). A research synthesis of the evaluation capacity building literature. American Journal of Evaluation, 33(3), Pawson, Ray og Tilley, Nick, Realistic Evaluation, Sage Publications, Schnoor, Michala, Narrativ Organisationsudvikling at forme fælles mening og handling, Dansk psykologisk forlag,