Evalueringslandskabet

Transkript

1 Evalueringslandskabet Sammenfatning af: Evaluering i danske kommuner en kvantitativ kortlægning af kommunernes evalueringskapacitet i 2007, Rambøll Management for KREVI, 2008.

2 FORORD Denne sammenfatning er en kort udgave af rapporten: Evaluering i danske kommuner - en kvantitativ kortlægning af kommunernes evalueringskapacitet Rapport og sammenfatning bygger på en kortlægning af evalueringskapaciteten i danske kommuner i 2007 og beskriver både de aktuelle forhold samt fremtidige udfordringer, hvad angår brug af evaluering i kommunerne. Sammenfatningen er udarbejdet af Anders Kirkedal Nielsen. KREVI, April 2008 Tim Jeppesen Direktør Olof Palmes Allé Århus N post@krevi.dk T: F: ISBN (elektronisk version) 2

3 INDHOLDSFORTEGNELSE RESUMÉ INTRODUKTION OG BAGGRUND FORMÅL METODE OG CENTRALE BEGREBER HVORDAN ER KORTLÆGNINGEN BLEVET GENNEMFØRT? DEFINITION AF EVALUERINGSKAPACITET DEFINITION AF EVALUERING KAPACITET I KOMMUNERNE ET VARIERET LANDSKAB GODE ERFARINGER INTERESSANTE FUND UDFORDRINGER OG UDVIKLINGSPOTENTIALER AFSLUTNING LITTERATUR:

4 RESUMÉ KREVI har fået udarbejdet en kortlægning af kommunernes evalueringskapacitet. Rambøll Management har gennemført kortlægningen for KREVI, og data er indsamlet i november og december Det er den første større undersøgelse af dette fænomen i Danmark. Kortlægningen viser, at kommunerne har taget evaluering til sig, og at de forventer at evaluere endnu mere fremover. To ud af tre kommuner vil foretage flere evalueringer i 2008, end de gjorde i Den viser dog også, at der er et varieret landskab, hvad angår brugen af evaluering. Disse forskelle kan ikke tilskrives kommunestørrelse, og der er ikke nogen klar forskel på evalueringskapaciteten i sammenlagte og ikke-sammenlagte kommuner. Kortlægningen fortæller, at kommunerne ikke foretager evalueringerne på baggrund af ekstern kontrol eller for at føre politisk opsyn. Formålet er i langt de fleste tilfælde at blive dygtigere og mere effektive, og evalueringerne bruges i vid udstrækning direkte til at ændre på arbejdsgange, metoder mv. Til gengæld har mindre end halvdelen af kommunerne en egentlig politik, der beskriver kommunens/forvaltningens målsætning med evalueringsarbejdet, og kun 20 procent har tydelige, skriftlige retningslinjer for at anvende evalueringer. Kommunerne udfører i vid udstrækning selv deres evalueringer, og det vil byde på udfordringer i de førstkommende år. For kommunerne ønsker at skrue op for området, og selv om det er højt uddannede medarbejdere, der arbejder med evaluering i kommunerne, mangler disse målrettet kompetenceudvikling på området og de har typisk et bredt spekter af øvrige arbejdsopgaver at tage vare på. Det er ikke nyt, at de danske kommuner reflekterer over egen indsats, og at kommunerne foretager tiltag og undersøgelser, der skal skabe viden og kvalitetsudvikling. Denne kortlægning beskæftiger sig med evaluering og evalueringskapacitet. Vi har af metodemæssige grunde valgt at afgrænse evalueringsbegrebet, så de undersøgelser, der medtages, lever op til krav om at være særskilte undersøgelser af indsatser med en specifik opgaveformulering, målrettede dataindsamlings- og analyseprocesser samt en selvstændig vurdering af indsatsen på baggrund af et eller flere eksplicitte kriterier. Dette er nærmere beskrevet i sammenfatningens metodeafsnit. Kortlægningen skal altså ikke ses som en opgørelse af samtlige initiativer i kommunerne, der undersøger egen indsats, men som en beskrivelse af, hvor mange kommuner der arbejder med systematiske og veldefinerede metoder, når de undersøger og vurderer. Kortlægningen kan samtidig læses som en beskrivelse af evalueringslandskabet i kommunerne. Kortlægningen viser overordnet, at: der er stor variation mellem kommunernes evalueringskapacitet der er ikke nogen klar forskel på evalueringskapaciteten i sammenlagte og ikkesammenlagte kommuner kommunens størrelse betyder ikke noget for evalueringskapaciteten der er stor forskel på evalueringskapaciteten på forskellige forvaltningsområder. Børn og Unge er højst. Forebyggelse og sundhedsfremme er lavest. 4

5 Den viser også, at kommunerne på en række områder er kommet godt i gang: Volumen. Kommunerne gennemførte i 2007 i gennemsnit 7,4 evalueringer. Forventningen er, at dette antal vil stige mange steder. Bliver brugt. I to ud af tre kommuner har evalueringerne givet anledning til at justere indsatserne. Til hvad? Evalueringerne bruges primært til organisatorisk læring og til at vurdere effekter. Til gengæld bruges de ikke særlig meget til ekstern dokumentation og til at støtte politiske beslutninger. Organisatorisk. I 77 % af kommunerne foretages der både evalueringer af en central tværgående enhed samt af enheder i forvaltningerne. Kortlægningen peger desuden på en række udfordringer: Kompetenceudvikling. Evalueringsmedarbejderne er generelt højtuddannede, men mangler målrettet kompetenceudvikling inden for evaluering. Metodekendskab. Evalueringsmedarbejderne har mange steder god erfaring med kvantitative metoder, men væsentlig mindre erfaring med kvalitative metoder. Ressourcepres. Der er en forventning om, at der i fremtiden skal laves flere evalueringer, og der skal ligeledes allokeres flere midler til evalueringsarbejdet. Men de færreste kommuner forventer at øge antallet af medarbejdere i samme periode. Kortlægningen viser interessante tendenser og rejser gode spørgsmål. KREVI vil på baggrund af kortlægningen bore dybere ned i nogle af temaerne ved at gennemføre casestudier på udvalgte områder i kommuner. 5

6 1 INTRODUKTION OG BAGGRUND Når kommuner eller andre skal træffe beslutning om organisering af deres evalueringsarbejde, kan de have behov for inspiration for at kvalificere beslutningerne. En række kommuner har således henvendt sig til KREVI for at høre nærmere om andre kommuners erfaringer med at organisere og systematisere arbejdet samt om opgaverne med evaluering og dokumentation. KREVI har derfor fået gennemført en kortlægning af kommunernes evalueringskapacitet. Rambøll Management har gennemført kortlægningen, og data er indsamlet i perioden fra november december Kortlægningen er fyldt med viden om det nye landskab, og KREVI trækker med dette notat et par af de centrale resultater frem. Se hovedrapporten og bilag på KREVIs hjemmeside for et nærmere indblik i kortlægningens begreber, metode, analyse og resultater. 6

7 2 FORMÅL Det primære formål med kortlægningen er at give et systematisk overblik over kommunernes evalueringskapacitet. Der er i stort omfang tale om beskrivelse og i mindre omfang tale om vurdering. Kortlægningen er en nul-punktsmåling foretaget et år efter, at kommunalreformen er blevet gennemført i Danmark. En række kommuner har været i gang på flere fronter og i flere år mht. evaluering, mens andre har prioriteret anderledes og først nu skal til at overveje mål eller politik og hvilken organisation, der kan understøtte disse. Kortlægningen skal således bidrage med information og inspiration til beslutninger om udviklingen af det fremtidige evalueringsarbejde i kommunerne. Kortlægningen kan også bruges til at stille spørgsmål til egen og andres praksis inden for evalueringsområdet, gerne som opslagsværk i forhold til at få overblik over hvem, kommunerne kan søge inspiration hos. KREVI vil desuden anvende det kvantitative overblik til efterfølgende at vælge gode erfaringer fra kommunerne, som kan danne udgangspunkt for dybere undersøgelser af praksis. Disse caseundersøgelser vil også efterfølgende blive stillet til rådighed for kommuner og øvrige, der måtte blive inspireret af dem. Denne sammenfatning rummer det, som KREVI umiddelbart vil trække frem af kortlægningens resultater. Samtidig opridser den de muligheder og begrænsninger, der er i de valgte begreber og metoder. 7

8 3 METODE OG CENTRALE BEGREBER 3.1 Hvordan er kortlægningen blevet gennemført? Der bliver gennemført mange spørgeskemaundersøgelser i de danske kommuner, og KREVI er ofte blevet bedt om at minimere antallet af spørgeskemaundersøgelser. En af kortlægningens præmisser har derfor været at forstyrre de kommunale direktioner mindst muligt. Undersøgelsen har i stedet brugt det, man kalder for en sneboldteknik. Interviewerne har med udgangspunkt i den pågældende kommunes organisationsdiagram kontaktet hver forvaltning og spurgt ind til den eller de relevante svarpersoner med nær relation til evaluering. Interviewerne har rullet snebolden rundt i organisationen, indtil svarpersonerne ikke har kunnet komme i tanke om flere relevante interviewpersoner, eller til der har været sikkerhed for, at alle spørgsmål er afdækket i forhold til at kunne belyse kommunens samlede evalueringskapacitet. Der er i gennemsnit blevet interviewet tre personer pr. kommune. Variationen mellem kommunerne spænder mellem en og 11 interviewede personer. Der er som illustration af processen her indsat et eksempel på sneboldteknikken. Kommunen er anonymiseret, og svarpersonernes navne er fiktive. Log for en konkret kommune med 3 svarpersoner: 15/11: Fik fat i Preben, som er den rette. Han vil prøve på at svare fredag og vil desuden sende os en mail med yderligere kontaktpersoner. 19/11: Ifølge Preben Pedersen skulle Lone Søndergaard have lavet evaluering. 19/11: Ifølge Preben Pedersen skulle Ole have lavet evaluering. 19/11: Ole er ikke at træffe før på onsdag. 22/11: Fik fat i Ole og har sendt ham et link. Han regner med at udfylde i aften, så jeg må gerne følge op fredag eller mandag. Data er blevet indsamlet via telefoninterview, elektronisk spørgeskema eller via kombination af telefoninterview og elektronisk spørgeskema. De oprindelige forudsætninger i kortlægningen var, at dataindsamlingen alene skulle basere sig på telefoninterview og efterfølgende kvalitetssikring af data ved hjælp af en opfølgende mail til alle svarpersoner med de afgivne svar og forklaringer. Da dataindsamlingen skulle gennemføres i løbet af november og december 2007, var det imidlertid vanskeligt at gennemføre dataindsamlingen som rene telefoninterview, og samtidig var der mange svarpersoner, der af tidsmæssige og andre årsager bad om få spørgeskemaet elektronisk. En gruppe af svarpersonerne har altså udfyldt spørgeskemaet via telefoninterview, og en anden gruppe har selv udfyldt spørgeskemaet og indsendt det. Der er ingen nævneværdige forskelle på svarene i de to grupper. Sneboldteknikken betyder, at der kan være svarpersoner fra flere afdelinger eller forvaltninger i kommunerne. Hensigten med kortlægningen er at få et billede af hele kommunen. Derfor er besvarelserne blevet sammenlagt, hvis der er mere end én svarperson pr. kommune. 8

9 Fordelene ved at anvende den valgte metode og gå ind længere nede i organisationen via eksempelvis udviklingskonsulenter eller stabschefniveau er, at det er disse personer der til dagligt arbejder med evalueringer. Det er derfor disse personer, der er bedst til at vurdere antal, anvendelse, kompetencer, erfaringer osv. En anden fordel er, at KREVI med kortlægningen har fået kendskab til og let adgang til en af KREVIS mest centrale målgrupper: De, der til daglig arbejder med evaluering. En ulempe ved metoden er, at de etiske hensyn til de enkelte svarpersoners anonymitet gør, at det ikke vil være muligt at gøre alle data offentligt tilgængelige. I 21 kommuner har der kun været en svarperson, hvilket betyder, at disse personer vil være for lette at identificere ved en offentliggørelse af data.. En anden ulempe er, at de interviewede personer på et centralt forvaltningsniveau i kommunerne ikke altid nødvendigvis er helt opdaterede om, hvad der foregår af evalueringsaktiviteter længere ude i organisationen på de decentrale tilbud. Kortlægningen er alene baseret på oplysninger fra personer, der er centralt placeret i kommunerne. Det er derfor ikke givet, at den rummer alt det evalueringsarbejde, der foregår decentralt i kommunen. 3.2 Definition af evalueringskapacitet Evalueringskapacitet kan defineres på mange måder. I denne kortlægning har vi valgt følgende definition: Definition af evalueringskapacitet: Evalueringskapacitet er det bevidste arbejde med kontinuerligt at skabe og opretholde overordnede organisatoriske processer, som gør kvalificerede evalueringer og deres anvendelse til rutine (Stockdill m.fl. 2002). Grafisk kan operationaliseringen af evalueringskapacitet fremstilles som vist i figur 1: Figur 1 Evalueringskapacitet Målsætning Struktur og processer Teknologi Kompetencer Formål Funktion Modeller Erfaring Formalisering Anvendelse Videnstrategi Placering Økonomisk prioritering Redskaber Dataindsamlingsteknikker Uddannelsesniveau Evalueringstræning Integration i politik-processen 9

10 Evalueringskapacitet er med andre ord en meget bred palet af arbejdsredskaber, processer regler og medarbejdere, som kommuner bruger i det løbende arbejde med bl.a. evaluering. 3.3 Definition af evaluering Den definition af evaluering, der er benyttet i kortlægningen lyder således: Det anvendte evalueringsbegreb: En særskilt undersøgelse af en eller flere af kommunens indsatser med en specifik opgaveformulering, målrettede dataindsamlings- og analyseprocesser samt en selvstændig vurdering af indsatsen på baggrund af et eller flere eksplicitte kriterier (Inspireret af Albæk og Rieper, 2002). Definitionen rummer de fleste af de elementer, som også er inkluderet i andre definitioner af evaluering. En særskilt undersøgelse + kommunens indsatser peger på, at det er et afgrænset genstandsfelt inden for det, der i praksis foregår i kommuner. Målrettede dataindsamlings- og analyseprocesser + et eller flere eksplicitte kriterier peger på, at der anvendes en tilstrækkelig høj grad af systematik i de modeller og metoder, der anvendes. Sidst men måske vigtigst, så er der tale om en selvstændig vurdering af indsatsen. Der lægges med andre ord en værdidom ned over indsatsen. Indsatsen vurderes i forhold til noget. En evaluering bør som udgangspunkt rumme 4 centrale elementer (Shadish m.fl. 1991): Genstand (Det der evalueres og fokuseres på) Viden (Systematisk vidensindsamling med anerkendte metodiske principper) Værdier (Et sæt af kriterier, som indsatsen vurderes ud fra) Anvendelse (i praksis; i modsætning til forskning f.eks.) Til illustration ligger andre definitioner af evaluering tæt op ad den valgte i denne kortlægning. Vedungs definition: Evaluering er en systematisk, retrospektiv vurdering af gennemførelse, præstation og udfald af offentlig virksomhed, som tiltænkes at spille en rolle i praktiske handlingssituationer (Vedung, 1991). Weiss definition: Evaluering er den systematiske måling af indsatsen og/eller udkommet af en et program eller en politik, sammenlignet med et sæt af eksplicitte eller implicitte standarder som en måde til at bidrage til forbedring af indsatsen eller politikken (egen oversættelse) Carol H. Weiss, En umiddelbar afvigelse fra andre definitioner er spørgsmålet, som Weiss er inde på mht. eksplicitte og implicitte standarder eller kriterier. Kortlægningens definition indeholder kun eksplicitte kriterier af hensyn til svarpersonernes muligheder for i interviewsituationen at kunne sondre mellem evalueringer og andre former for undersøgelser, ikke fordi det nødvendigvis er bedre ikke at inkludere implicitte standarder i en definition. Et implicit evalueringskriterium kunne ud fra et konstrueret eksempel være et kvantitativt gennemsnit af decentrale tilbuds præstationer på et givent område. Når tilbudenes præstationer lanceres ved siden af hinanden og eventuelt efterhånden kommer til at blive set i forhold til gennem- 10

11 snittet af tilbud, kan gennemsnittet utilsigtet gå hen at blive den målestok, som kommunen og tilbudene anvender i praksis. Årsagen til, at der er anvendt en række tillægsord i den anvendte definition er, at den har skullet kunne læses op i af interviewerne i forbindelse med de telefoninterview, der har udgjort dataindsamlingen i kortlægningen. Definitionen af evaluering har haft som primært formål at afgrænse evaluering i forhold til alt andet undersøgelses- og analysearbejde, der foretages i kommunerne. En række af de andre evalueringsdefinitioner indeholder også, at evalueringerne skal være tiltænkt at skulle anvendes i praksis for at få indflydelse på den virkelighed, som evalueringen er en del af (Kirkhart, 2000). Dette element er ikke medtaget her, bl.a. fordi vi i undersøgelsen spørger til, i hvilken udstrækning evalueringerne bringes i anvendelse. Denne undersøgelse kan i sagens natur heller ikke sige noget om den længerevarende indflydelse, som evalueringer foretaget i 2007, har for kommunerne. Det kunne umiddelbart være interessant at vide noget om både evaluerings- og dokumentationsarbejdet i kommuner. Men dokumentation som begreb er endnu vanskeligere at definere end evaluering. Dokumentation er som udgangspunkt et meget bredt begreb, som finder sted centralt, men især også decentralt i kommuner, og som ville være stort set umuligt at rumme i en første kortlægning som denne. Derfor blev dokumentation som begreb udeladt i kortlægningen. Definitionens betydning for dataindsamlingen Interview og spørgeskema er bygget op, så der efter de indledende spørgsmål om den enkelte svarperson spørges til kommunens/ forvaltningens brug af undersøgelser, herunder evalueringer. Der spørges bredt, dog ikke til deciderede implementerings- eller udviklingsopgaver. Svarpersonerne får således indledningsvis mulighed for at svare bredt på det antal undersøgelser, målinger og evalueringer, der er blevet gennemført i kommunen i Der er i alt blevet gennemført ca undersøgelser og målinger i kommunerne i 2007 eller i gennemsnit ca. 37 pr. kommune. Dette tal omfatter alt fra resultatmålinger over interessentundersøgelser til tilfredshedsundersøgelser, evalueringer og deltagelse i forskning. Tallene er cirkatal, da svarpersonerne kan have markeret i flere kategorier for enkeltundersøgelser. Der gennemføres flest resultatmålinger; i alt 8,6 i gennemsnit pr. kommune, mens antallet af evalueringer blev opgjort til 4,2 i gennemsnit pr. kommune. Herefter er den konkrete afgrænsning af begrebet evaluering blevet præsenteret for svarpersonerne, og det er blevet præciseret, at den type evaluering, der tænkes på i denne undersøgelse, kan adskille sig fra de andre typer af målinger. Den afgrænsning af begrebet, der er valgt, har betydet, at det har været en konkret vurdering, der har ligget til grund for deltagernes vurdering af, om eksempelvis medarbejdertilfredshedsundersøgelserne og alle resultatmålingerne er inkluderet i evalueringsbegrebet. Undersøgelsen har altså først beskrevet det samlede billede af evalueringer, undersøgelser mv., hvorefter evalueringerne er blevet identificeret og vurderet. Resultatet er, at der samlet set er blevet gennemført 676 evalueringer i kommunerne i 2007, det vil sige et gennemsnit på 7,4. Definitionen kan dermed både være med til at udelukke noget, men samtidig inkludere noget andet. Eksempler på målinger, der ligger på grænsen af definitionen I interviewfasen er der blevet lagt vægt på at forklare og afgrænse begrebet evaluering for svarpersonerne. Nedenfor ses to eksempler på undersøgelser, der begge ligger på grænsen til at kunne defineres som evalueringer, og som kan illustrere, hvordan man i interviewfasen har afgrænset over for svarpersonerne. 11

12 Medarbejdertilfredshedsundersøgelse, der hører med under begrebet: I kommune X er der i 2007 blevet gennemført en medarbejdertilfredshedsundersøgelse i en af de centrale stabsafdelinger. Afdelingen er blevet sammenlagt af tre tidligere afdelinger. Medarbejderne i den nye afdeling er fra start blevet bedt om at skrive 10 sætninger, som er med til at gøre dem til tilfredse medarbejdere inden for en ramme af den mission og de værdier, som gælder for afdelingen. Afdelingsledelsen er her efterfølgende blevet bedt om at forholde sig til medarbejdernes udsagn ved at kommentere disse og selv formulere 10 sætninger om, hvad der er med til at gøre dem til gode ledere for gode og tilfredse medarbejdere. Kommentarerne og udsagnene fra de to niveauer forelægges til sidst den øverste ledelse, som også kommenterer de forskellige udsagn og tilkendegivelser. En central stabsafdeling, der er tilknyttet ledelsen, forestår den interne medarbejdertilfredsundersøgelse, hvor den såkaldte BIKVA-model har været anvendt som organiserende princip for undersøgelsen. Dette eksempel falder inden for afgrænsningen, og undersøgelsen kan defineres som en evaluering, da der er tale om en særskilt undersøgelse af kommunens indsatser (her: medarbejdertilfredshed); da der er anvendt systematisk dataindsamlings- og analyseprocesser, og vurderingskriterierne er eksplicitte, og da medarbejdernes og ledernes udsagn bliver systematiseret og kategoriseret som de facto evalueringskriterier, inden den øverste ledelse forholder sig til, hvad der videre skal gøres. Nogle resultatmålinger vil kunne være omfattet af begrebet. Men eksemplet nedenfor falder som udgangspunkt uden for afgrænsningen i denne kortlægning: Resultatmåling, der ikke hører med under denne kortlægnings evalueringsbegreb: I en sundheds- og omsorgsforvaltning i en kommune gennemføres årligt et arbejde med at følge og rapportere de forskellige områders og projekters fremdrift og effekter i forhold til de mål og strategier, der er nedskrevet i forvaltningens virksomhedsplan. Afrapporteringen sker både til forvaltningsledelsen og til det politiske udvalg på området. Dette eksempel falder uden for afgrænsningen. Der foregår ganske vist en undersøgelse af en eller flere af kommunens indsatser, og der er også anvendt dataindsamlingsprocesser i form af et udbygget, IT baseret ledelsesinformationssystem. Men det er ikke en særskilt undersøgelse, hverken dataindsamlingsprocesserne eller analyseprocesserne er målrettede, og endelig kan det diskuteres, om der sker en vurdering af indsatsen på basis af eksplicitte kriterier. De nævnte eksempler er med til at vise, at andre undersøgelsesformer end klassisk evaluering kan være inkluderet i evalueringsbegrebet, men at de ikke nødvendigvis er det. Det har været op til de enkelte svarpersoner fra kommunerne at vurdere i interviewsituationen og/eller udfyldelsesøjeblikket i dialog med interviewerne, hvorvidt en række af deres undersøgelser falder inden for evalueringsbegrebet. 12

13 4 KAPACITET I KOMMUNERNE 4.1 Et varieret landskab Nedenfor vil vi trække et par af resultaterne af kortlægningen frem. Præsentationen er inddelt i tre afsnit; om gode erfaringer, interessante fund og udfordringer og udviklingspotentialer. Kommunernes evalueringskapacitet er i kortlægningen opgjort på de fire elementer i definitionen, nemlig: målsætninger, struktur og processer, teknologi og human kapital. Tabel 1 præsenterer kommunernes evalueringskapacitet på landsplan i gennemsnit, maksimum og minimum på de fire områder i evalueringskapacitet. Det kan her ses, at der på landsplan er stor variation mellem kommunernes evalueringskapacitet. Når man kigger særskilt på de fire områder, målsætning, struktur og processer, teknologi og human kapital, er kommunernes score højest, når det drejer sig om human kapital og struktur og processer. Med dette udgangspunkt står kommunerne over for de største udfordringer, hvad angår målsætninger og - ikke mindst hvad angår teknologi i evalueringsarbejdet. Tabel 1. Evalueringskapacitet Score mulighed Gennemsnit Maksimum Minimum Evalueringskapacitet ,7 71,5 9,1 46 % Målsætning ,1 19,3 0,0 40 % Struktur og processer ,3 25 0,0 53 % Teknologi ,0 10,5 0,0 33 % Human kapital ,4 25,5 4,5 50 % Målsætninger, struktur og processer, teknologi og human kapital er i tabel 1 indekseret i mulige scores fra Den samlede evalueringskapacitet kan summes op til maksimalt 100. De fire delelementer i begrebet om evalueringskapacitet er hver især bliver indekseret efter deres mulige vigtighed således, at målsætninger og struktur og processer hver især kan ligge på 0 25 points. Teknologi og human kapital ligger på henholdsvis 0 15 og 0 35 points, da det vurderes, at menneskelige ressourcer er vigtigere og mere fundamentale for evalueringskapaciteten end teknologi. 4.2 Gode erfaringer Hvor meget og hvor mange? Der gennemføres mange former for vidensproduktion og akkumulering af viden i kommunerne. Kommunerne gennemfører resultatmålinger, benchmarking, brugertilfredsundersøgelser, kompetenceafklaringer, deltagelse i forskning osv. 91 kommuner deltog i undersøgelsen. I de 91 kommuner blev der gennemført i alt ca. 676 evalueringer i 2007, det vil i gennemsnit sige 7,4 evalueringer pr. kommune. Kommunerne gør det selv Tre ud af fire af de evalueringer, der er blevet gennemført i 2007, er blevet gennemført af kommunerne selv. Kommunerne har altså i stor udstrækning kapacitet til selv at udføre Andel af max score opnået 13

14 evalueringerne. Når evalueringer gennemføres internt, er en af fordelene ofte, at der er lettere adgang til data, og at der er større ejerskab til evalueringsresultaterne (Boyle 2003). Evalueringerne har indflydelse på praksis En stor del af evalueringerne anvendes rent faktisk til noget. Og måske endnu mere positivt: Godt 50 % af de deltagende kommuner siger, at størstedelen af evalueringerne fra 2007 har medført mindre justeringer af de evaluerede indsatser. Godt 15 % siger, at størstedelen af evalueringerne fra 2007 har medført større justeringer af de evaluerede indsatser. Disse tal peger på, at det ikke bare bliver ved snakken: Evalueringer bliver brugt og fører til noget konkret. Og der kommer flere fremover To ud af tre kommuner oplyser, at de har et mål om at øge antallet af evalueringer i 2008 sammenlignet med Samtidig siger ca. 45 %, at de i samme periode vil bruge flere midler på evalueringer. 4.3 Interessante fund Evalueringer anvendes primært til organisatorisk læring og til at vurdere effekter Evalueringerne anvendes primært til organisatorisk læring og til at vurdere effekter. Der er også en del evalueringer, der anvendes til at forstå årsags-virkningssammenhængen i en given indsats. Det er de færreste evalueringer, der i 2007 blev anvendt til ekstern dokumentation. De to næstmindst anvendte temaer er støtte til politiske beslutninger og politisk opsyn. Næsten ingen forskel mellem sammenlagte og ikke sammenlagte kommuner og store som små Der er begrænset forskel på evalueringskapaciteten mellem sammenlagte og ikke sammenlagte kommuner. De ikke sammenlagte kommuner har dog i gennemsnit en lidt større score end de sammenlagte kommuner. De sammenlagte kommuner markerer sig dog ved, at de i langt højere grad har en målsætning om at øge antallet af evalueringer i 2008 end de ikke sammenlagte kommuner. Der er endnu mindre forskel på evalueringskapaciteten mellem små og større kommuner. De mellemstore og store kommuner har en lidt større score end de små kommuner, men forskellen er begrænset. Forskel mellem forvaltningsområderne Det har fra start været KREVIs ønske, at der som udgangspunkt skulle udarbejdes et mål for evalueringskapacitet for hele kommunen. Dette samlede mål dækker naturligvis over en række forskelle mellem forvaltningerne internt i kommunen. I tabel 2 præsenteres de enkelte forvaltningsområders evalueringskapacitet fordelt på de fire del-elementer i evalueringskapacitet: Målsætninger, struktur og processer, teknologi og human kapital indekseret i mulige scores fra Den samlede evalueringskapacitet kan summes op til maksimalt 100. De fire delelementer i begrebet om evalueringskapacitet er hver især bliver indekseret efter deres mulige vigtighed således, at målsætninger og struktur og processer hver især kan ligge på 0 25 points. Teknologi og human kapital ligger på henholdsvis 0 15 og 0 35 points, da det er blevet vurderet, at de menneskelige ressourcer er vigtigere end teknologi. 14

15 Tabel 2. Evalueringskapacitet på forvaltningsområder Forvaltningsenhed Evalueringskapacitet Målsætninger Struktur og processer Teknologi Human kapital Børn og unge (udsatte områderne) I en forvaltningsenhed: Anden Udviklingsafdeling Børn og unge (normalområdet) Borgmesterkontoret Ældre andet I en central enhed: Anden Sundhed andet Børn andet Beskæftigelse Social (kun voksne) Kultur (herunder også fritid) Miljø og teknik Økonomiafdelingen Forebyggelse og sundhedsfremme Tabel 2 viser, at socialområdet (Børn og Unge) er det forvaltningsområde, der har den største evalueringskapacitet, mens området forebyggelse og sundhedsfremme ligger lavest. Evalueringsfunktionen er organiseret både centralt og i forvaltninger I 77 % af de deltagende kommuner er der både en central tværgående enhed samt enheder i forvaltningerne, der varetager evalueringsfunktionen. I 15 % af kommunerne sker det i de enkelte forvaltninger, mens det i kun godt 6 % varetages af en særlig afdeling eller enhed på tværs i kommunen. og det er usikkert, om der oprettes nye enheder i 2008 og 2009 Spørger man, om kommunen har planer om at oprette særlige afdelinger i forvaltningerne, svarer godt seks procent bekræftende på, at det har de aktivt inden for det kommende år. På samme spørgsmål svarer godt 56 %, at det ved de ikke. Der er med andre ord konkrete planer nogle steder og andre steder stor usikkerhed om, hvorvidt det er hensigtsmæssigt at oprette en særlig enhed i forvaltningen. 4.4 Udfordringer og udviklingspotentialer Kvalitative dataindsamlingsmetoder og evalueringsmodeller De medarbejdere, der arbejder med evaluering, udfører også en lang række andre opgaver. De mest hyppige er udvikling og planlægning af kommunale indsatser, resultatopfølgning og deltagelse i evalueringsnetværk i kommunen. De personer, der varetager evalueringsopgaver i kommunen, har generelt god erfaring med forskellige dataindsamlingsteknikker. De har dog mest erfaring med kvantitative metoder, mens der er et væsentligt lavere erfaringsniveau med kvalitative dataindsamlingsmetoder, dvs. gennemførelse af interview, gennemførelse af fokusgruppeinterview og især mht. gennemførelse af observation. 15

16 Begrænset brug af evalueringsmodeller Ca. 35 % af kommunerne har benyttet sig af, hvad man kan kalde for kendte evalueringsmodeller, til at organisere evalueringen. En evalueringsmodel er en forenklet fremstilling af de forskellige delprocesser, der er nødvendige for at lave en systematisk evaluering af en given indsats. Hvilken tilgang, de øvrige 65 % af kommunerne har benyttet sig af, giver undersøgelsen ikke svar på. Begrænsede målsætninger En tredjedel af kommunerne har ikke en målsætning for, hvornår indsatser skal evalueres. Over halvdelen af kommunerne har ingen politik, der beskriver kommunens/forvaltningens målsætning med evalueringsarbejdet, men halvdelen af disse kommuner planlægger dog at udarbejde en politik på området i løbet af Der er i kortlægningen også spurgt til, hvilke retningsliner der er for, hvordan kommunerne bør anvende evalueringer. Hertil svarer over halvdelen af kommunerne, at de ingen retningslinjer eller rutiner har for, hvordan de bør anvende evalueringerne. 20 % svarer, at de har tydelige, skriftlige retningslinjer for anvendelse af evalueringer. Evaluering = medarbejdere med den længste uddannelse Undersøgelsen viser, at der er særdeles stærke og kvalificerede kompetencer involveret i evalueringsarbejdet. 68 % har længere videregående uddannelser. Men hvor er strategien for kompetenceudvikling? Til gengæld har hovedparten af medarbejdere, der arbejder med evaluering, kun i begrænset omfang fået en efteruddannelse, der har været fokuseret på evaluering. Der kan således ses en udfordring mht. kompetenceudvikling på området og kommunernes bevidste kompetenceudviklingsstrategi for evalueringsmedarbejdere. Flere evalueringer men ikke flere til at udføre dem. Kommunerne vil øge antallet af evalueringer i 2008 og allokere flere midler til arbejdet. Udfordringen er imidlertid, at de fleste af kommunerne i samme periode ikke vil ansætte flere medarbejdere til at varetage evalueringsopgaverne. Udfordringen bliver forstærket af, at kommunernes ofte ikke har en kompetenceudviklingsstrategi for medarbejderne, der varetager evalueringsopgaver. Dertil kommer, at de medarbejdere, der laver evalueringer i kommunerne, også i høj grad er involveret i andre opgaver, herunder resultatmålinger, brugerundersøgelser mv. På den måde er der indirekte lagt op til, at kommunerne i 2008 og måske i årene fremover i højere grad end tidligere vil udbyde evalueringer til eksterne leverandører. 16

17 5 AFSLUTNING KREVI har med denne kortlægning tegnet et landkort over kommunernes evalueringskapacitet. Dette landkort giver kommuner mulighed for at dykke ned i informationerne og søge inspiration og erfaringer hos hinanden. Landkortet giver også KREVI mulighed for at lave efterfølgende casestudier af gode eksempler til inspiration for andre. Kortlægningen er derfor fase 1 i en længere proces for kommuner og KREVI. Men hvordan skal kommuner i øvrigt anvende resultaterne? Hvad kan man gøre, hvis man som kommune eksempelvis ikke scorer så højt med hensyn til målsætning, struktur og processer? Hvad kan man gøre som kommunal organisation, hvis man eksempelvis ikke scorer så højt med hensyn til teknologi og kompetencer? Verdensbanken har udviklet en 4-feltstabel, som også er præsenteret i hovedrapporten. Tabellen er bygget op sådan, at målsætninger og struktur og processer (evalueringsefterspørgsel) er placeret for oven hen ad den vandrette akse og med teknologi og kompetencer (evalueringsudbud) op af den lodrette akse. Figur 2. Handlemuligheder for den enkelte kommune Svag Efterspørgsel Stærk Udbud Stærk Forbind evalueringsfunktionen med økonomiafdelingen Skab politisk klarhed om nødvendigheden af evaluering Spred evalueringsmetoder og teknikker til chefniveau Støt den enkelte forvaltnings og det enkelte tilbuds brug af evaluering Støt evalueringen af politikker, programmer og projekter i kommunen Etablér forbindelse mellem evaluering, strategisk planlægning, ressourceallokering og budgetplanlægning i kommunen Støt byrådet i dets brug af evalueringsviden Systematisér evalueringsfunktionen i den centrale del af kommunen Svag Styrk revision og økonomifunktionens forståelse af evaluering Introducér inspirerende god praksis eksempler på evaluering Støt evalueringstræning Lad kommunens medarbejdere deltage i evalueringer udført af eksterne partnere Samarbejd på tværs af kommunes forvaltninger Spred viden, erfaringer og god praksis om evaluering i forvaltningen Introducér evalueringsstandarder Deltag i et evalueringsnetværk Støt udviklingen af informations- og monitoreringssystemer Tabellen er primært udviklet i en anden sammenhæng end på et decentralt dansk velfærdsniveau i Alligevel rummer tabellen nogle interessante muligheder og overvejelser for alle kommuner og andre, der vil udvikle deres evalueringskapacitet. Man kan forestille sig en kommune med flere gode og kvalificerede medarbejdere, der kan gennemføre evalueringsarbejde, og som har forholdsvis gode metoder og evalueringsmodeller til rådighed. Forestiller man sig samtidig, at det er en kommune uden nævneværdige mål på området, og hvor evalueringer hidtil er blevet foretaget ad hoc af forskellige personer i de enkelte fagforvaltninger, svarer situationen til tabellens øverste venstre kvadrat med et stærkt udbud men en svag efterspørgsel. 17

18 I en sådan situation vil det være oplagt at skele til de fire anbefalinger i tabellen. Det vil sige, at man kan overveje at forbinde den eventuelle evalueringsfunktion med økonomiafdelingen for at integrere de to tænkninger. Det kan også være, at det er nødvendigt at skabe en politisk bevågenhed om nødvendigheden af og mulighederne i evaluering. Chefniveauet har i denne situation sandsynligvis godt af at komme til at lære nogle af evalueringsteknikkerne og evalueringsmodellerne at kende for at finde ud af, hvad man kan og ikke kan med evaluering. Endelig vil de gode kompetencer inden for evaluering ofte med fordel kunne anvendes i forbindelse med evalueringer på forvaltnings- såvel som på tilbudsniveau. Se flere resultater i hovedrapporten. 5.1 Litteratur: Albæk, Erik & Olaf Rieper (2002): Evaluation in Danish Governance I Furebo, Rist & Sandahl (eds.), International Atlas of Evaluation, Transaction Publishers. Boyle, Richard (2002): Building effective evaluation capacity: Some lessons from international practice, Præsentation på IDEA seminar i Rom 24. oktober Kirkhart, Karen E. (2000): Reconceptualising Evaluation Use. An integrated theory of influence I New directions for Evaluation, Nr. 88; Winter 2000; Jossey-Bass. Shadish, William jr., T. D. Cook & C. C. Leviton (1991): Foundations of Program Evaluation. Newbury Park, London, New Delhi. Sage Publications. Stockdill, Stacey Huefle; Michael Baizermann, Donald Comptom (2002): Towards a Definition of the ECB process, I New Directions for Evaluation Nr. 93, Spring 2002; Jossey-Bass. The World Bank Operations Evaluation Department (1999), Evaluation capacity development: A diagnostic guide and action framework, ECD Working Paper Series (6). Vedung, Evart (1991): Utvärdering I politik och förvaltning. Lund: Studentlitteratur. Weiss, Carol H. (1998): Evaluation (2nd edition). Englewood Cliffs, NJ: Prentice Hall. 18