Anbefalinger til Opfølgning, dokumentation og evaluering i kommunerne Baggrund Som led Det Fælleskommunale Kvalitetsprojekt om styringsmodeller har de deltagende kommuner i efteråret 2008 fordelt sig på fem temagrupper. Temagrupperne blev dannet omkring de fire gennemgående styringstemaer i styringsmodelprojektet: Kommunalbestyrelsens rolle, Økonomistyring, Styring og udvikling af kvalitet og Opfølgning, dokumentation og evaluering af resultater. I temagrupperne har kommunerne med afsæt i egne erfaringer identificeret og drøftet de væsentligste styringsmæssige udfordringer inden for de enkelte temaer. Kommunerne har på flere møder udvekslet metoder, løsninger på udfordringer og drøftet nye mulige løsninger. Inden for temaet Opfølgning, dokumentation og evaluering af resultater blev der etableret både en øst- og vestgruppe. Anbefalingerne er et fælles bidrag fra de to temagrupper. Indledning Anbefalingerne til kommunernes arbejde med dokumentation er sket i lyset af de nye styringsudfordringer, som kommunerne har efter opgave- og strukturkommissionen. Endvidere er der forsøgt at tage højde for de krav til dokumentation, som kommunerne må se frem til som følge af kvalitetsreformens forskellige elementer: Det drejer sig bl.a. om lovforslaget om kvalitetskontrakter, der indebærer, at kommunerne skal opstille målbare mål for servicen i en kontrakt med borgeren. Og det drejer sig om obligatoriske brugertilfredshedsundersøgelser. Der er taget afsæt i, at anbefalingerne skal have gyldighed uanset hvilket styringsmodel, som kommunerne har valgt.
Oversigt over anbefalinger Der skal være et bevidst valg ift, hvilken funktion dokumentationen skal tjene i kommunens styringsmodel. Og dette skal kommunikeres klart ud i den kommunale organisation. Læring og løbende forbedringer på et faktuelt grundlag bør være et hovedformål med dokumentation. Der bør på alle områder arbejdes hen imod flere kvantitative målinger af effekten af den kommunale opgaveløsning Der bør systematisk arbejdes med brugertilfredshedsundersøgelser Kvantitative målinger af effekt skal suppleres med øvrig dokumentation, så der tegnes et tilstrækkeligt nuanceret billede af kvaliteten Der bør arbejdes hen imod at alle kommuner systematisk arbejder med benchmarking og anvender FLIS Der skal være politisk ejerskab til de politisk formulerede mål i kommunen. Det er en opgave, der kræver en bevidst prioritering hos både politikerne og administrationen. Graden af målopfyldelse bør have en konsekvens for institutionerne Der bør være en tæt dialog med institutionerne og synlig opfølgning Der bør ikke formuleres flere mål centralt end at der er rum for forskellighed blandt institutionerne. Kommunens mål bør i højere grad være målbare. Mange metoder kan anvendes, men det anbefales, at der arbejdes hen imod flere kvantitative målinger Der bør arbejdes hen imod, at anvendelse af selvevaluering bliver mere faktabaseret fx ved anvendelse af en kvalitetsmodel Der skal være klar og systematisk opfølgning på alle mål - politikerne følger op på de politisk opstillede mål. Professionalisering af dokumentationen kræver et centralt ansvar for dokumentationsopgaven Formål med dokumentation Dokumentation kan have mange formål. De væsentligste er: 1. Opfølgning på mål 2. Styringsinformation til løbende driftsoverblik 3. Læring og evaluering på alle niveauer i kommunen 4. Til at kommunikere med eksterne parter primært staten og borgerne 5. Til at sikre transparens i kommunens aktiviteter Det skal understreges, at den samme dokumentation kan understøtte flere forskellige formål. Det er vigtigt, at formålet bliver kommunikeret til de personer, der indsamler dokumentationen. Hvem skal bruge den? Og hvad skal den bruges til? Hermed sikres det, at det bliver meningsfuldt for udførerledet at indsamle dokumentationen, og det vil også betyde bedre kvalitet i registreringerne. Endvidere bliver det 2
muligt at gøre det klart, hvilket ansvar institutionerne selv har for at bruge dokumentationen ift. den interne styring i institutionen og i forhold til institutionens egen læring og kvalitetsudvikling. Det kræver naturligvis, at man har gjort sig formålet med dokumentationen klart. Det bør tilstræbes, at dokumentationen, der indsamles, er et resultat af et bevidst valg, og at det er klart, hvorledes forskellige typer af dokumentation indgår i kommunens styring og resultatledelse. Klar kommunikation om formålet med dokumentation er også vigtigt i forhold til topledelse og politikere, når de skal anvende/fortolke den indsamlede information. Det kan være en god ide at lave en kommunikationsstrategi for dokumentationen i kommunen. Der skal være et bevidst valg ift, hvilken funktion dokumentationen skal tjene i kommunens styringsmodel. Og dette skal kommunikeres klart ud i den kommunale organisation Læring og løbende forbedringer på et faktuelt grundlag bør være et hovedformål med dokumentation Hvad skal dokumenteres? Alt efter formålet kan der være forskellige elementer af den kommunale opgaveløsning, som skal dokumenteres: Indsatser: ressourcer, ledelse, brugerinddragelse, medarbejdere og arbejdsgange Resultater: Brugerresultater, medarbejderresultater, nøgleresultater Denne opdeling tager udgangspunkt i spørgerammen for den fælleskommunale kvalitetsmodel, som er ved at blive udviklet i et af de andre kvalitetsprojekter. Det er ikke mindst en udfordring for kommunerne at dokumentere effekterne af den kommunale opgaveløsning - særligt når det gælder om at få kvantitative effektmål. Det skyldes bl.a., at det på mange områder, fx dagpasning, kan være svært at pege på de gode kvantitative effektmål, som knytter sig til institutionernes kerneopgaver, f.eks. social læring og dannelse. Hvor det er muligt bør potentialet for kvantitative effektmålinger dog udnyttes. Det vil bl.a. muliggøre flere benchmarkingsanalyser, som kan sætte kommunens resultater i et perspektiv og anvise forbedrings- eller effektiviseringspotentialer. Kvantitative målinger kan være flere ting, fx: 3
kvantitative registerdata, der automatisk kan hentes i IT-systemerne fx oplysninger om sygefravær. Udfordringen kan her være at få omsat den journalbaserede dokumentation fra fagsystemerne til brugbar styringsdokumentation. faglige målinger af kvaliteten gennem forholdsvis objektive værktøjer fx læsetests. Det varierer fra område til område i hvilken grad det på denne måde er muligt at måle kvaliteten. bedømmelser fra eksterne fx brugertilfredshedsundersøgelser, medarbejdertilfredshedsundersøgelser og eksterne evalueringer (fx i forbindelse med akkreditering) Ikke mindst bør kommunerne fremover systematisk arbejde med brugertilfredshedsundersøgelser. Det er nødvendigt at kende brugernes oplevelse af den kommunale service for at kunne afstemme forventninger med brugerne og få brugernes input til kvalitetsudvikling. De kvantitative målinger og registreringer bør herudover suppleres med andre dokumentations- og evalueringsmetoder som kan sige noget om kvalitet i og effekt af kerneopgaverne, og som kan bidrage til et samlet og tilpas nuanceret billede af, hvordan det går og hvilke forbedringsområder, der er. Kravet om flere effektmålinger kommer også fra staten. Det er et centralt element i de kvalitetsindikatorer, som staten med kvalitetsreformen gerne vil måle kommunerne på. Kvalitetsindikatorerne forventes at blive bestemt i det samarbejde om national dokumentation, som sker ml. KL og staten. Endvidere medtager projektet om fælleskommunal ledelsesinformation (FLIS) på de forskellige sektorområder de relevante indikatorer for kvalitet og effektivitet i opgaveløsningen. Når FLIS er udrullet vil der kunne hentes relevante indikatorer her til brug for styringen. Styrken ved FLIS er, at det bliver nemmere at benchmarke sig med andre kommuner og med hele landet. I den forbindelse er det afgørende, at der konkret institution for institution og område for område - aftales fokusområder i dokumentationen. Fokusområderne bør spejle: lokale politiske målsætninger institutionens egne målsætninger fx defineret i en brugerbestyrelse evt. nationale målsætninger forbedringsområder, dvs områder hvor en given institution ikke præsterer godt nok ift målsætninger (identificeret f.eks. ved benchmarking) Hvis ikke der i dokumentationsarbejdet og tilhørende målfastsættelse sikres sådant fokus er der stor risiko for, at de gode formål med dokumentation og opfølgning bliver ufokuseret.. 4
Der bør på alle områder arbejdes hen imod flere kvantitative målinger af effekten af den kommunale opgaveløsning Der bør systematisk arbejdes med brugertilfredshedsundersøgelser Kvantitative målinger af effekt skal suppleres med øvrig dokumentation, så der tegnes et tilstrækkeligt nuanceret billede af kvaliteten Der bør arbejdes hen imod, at alle kommuner systematisk arbejder med benchmarking og anvender FLIS Politisk inddragelse i målformuleringen Der findes mange modeller for samspillet mellem politikere og administrationen. Tendensen er, at politikerne i mindre grad involveres i enkeltsager og detailbeslutninger omkring den løbende drift. Til gengæld er politikerne i stigende grad begyndt at styre igennem opstilling af generelle mål. Denne udvikling er blevet forstærket af kommunalreformen, idet kommunernes størrelse nødvendiggør en politisk målstyring. Erfaringer fra flere kommuner viser, at det politiske ejerskab til kommunens mål afhænger af, hvordan politikerne inddrages i selve målformuleringsprocessen. Det er vigtigt at prioritere tilstrækkelig med tid og ressourcer til den politiske proces i forbindelse med målformuleringen. Politisk ejerskab til målene er et kardinalpunkt. Et politisk mandat er nødvendigt for, at målene reelt bliver styrende for opgaveløsningen i kommunerne. De enkelte byrådspolitikere skal tage ansvar for de formulerede mål også i modgangstider eller når der kan være partipolitiske hensyn, der går i en anden retning. Det vil være forskelligt fra kommune til kommune hvilken dialogproces, der er mest hensigtsmæssig i forbindelse med målformuleringen. I nogle kommuner er der en direkte dialog mellem politikere og institutioner i forbindelse med målformuleringen. I meget store kommuner vil det være vanskeligt. Der skal være politisk ejerskab til de politisk formulerede mål i kommunen. Det er en opgave, der kræver en bevidst prioritering hos både politikerne og administrationen Forankring på institutionsniveau Forankring på institutionsniveau er en helt central problemstilling for mange kommuner, som arbejder med mål og dokumentation. For mange mindre institutioner er der sket meget nyt efter kommunalreformen. En smidig omstilling kræver, at der sættes ressourcer af til at sikre ejerskab til politiske beslutninger på institutionsniveau og til at få styrket arbejdet med målstyring i kommunen. 5
Generelt har kommunerne derfor også lagt stor vægt på en tæt dialog med institutionerne om indholdet i målene og om opfølgningen. Her er det vigtigt, at særligt mellemlederne er klædt på til at formidle kommunens visioner og mål og til at formidle institutionernes ønsker til direktion og politikere. Meget taler for, at der i de kommende år bør etableres nye former for dialogrum, hvor de forskellige interessenter og videnspersoner kan bringe deres viden og synspunkter på banen og udfordre/blive udfordret direkte ved at være i dialog med andre interessenter i målformuleringsprocessen. Prioritering af dokumentation afspejler sig blandt andet i det store antal af kommuner, som arbejder med selvevaluering. Det afspejler sig også i, at mange kommuner lægger vægt på en meget direkte og mundtlig dialog med institutioner. Det gælder i forhold til såvel forvaltning som politikere. Den mundlige dialog er med til at skabe en fælles forståelse af den rette fortolkning af dokumentationen mellem institutioner. Forankring på institutionsniveau handler ikke kun om den direkte dialog med ledere og medarbejdere. Forankring handler også om, at der følges op på målene, og at målopfyldelse har en konsekvens i betydningen f.eks. anerkendelse, resultatløn, sanktion f.eks. at der i en periode sker meget tættere opfølgning over for en institution eller en leder. Evnen til at styre efter- og opfylde de politiske mål kan således på forskellig måde tænkes ind i den almindelige personaleledelse. Det er ikke et valg mellem dialogbaseret og konsekvensbaseret styring. Det er for mange kommuner en kombination, der kan være drevet af forskellige hensyn. Endelig har det for mange institutioner betydning, at de også har mulighed for at formulere deres egne mål. Det kan dreje sig om indsatser, som ledere og personale særligt brænder for, eller det kan være mål, som forældrebestyrelsen sætter. Endvidere kan der være visse mål, som det er op til den enkelte institution at konkretisere f.eks. en målsætning om Mere fysisk bevægelse. Institutionerne kan og bør få indflydelse på målene ved aktivt at spille ind i debatten om, hvilke politiske mål, der skal være i kommunen så der så vidt muligt ikke bliver tale om en de-vi situation, men om fælles målsætninger der afspejler dagligdagens udfordringer. Graden af målopfyldelse bør have en konsekvens for institutionerne Der bør være en tæt dialog med institutionerne og synlig opfølgning Der bør ikke formuleres flere mål centralt end at der er rum for forskellighed blandt institutionerne 6
Målbare mål og forbedringer på et faktuelt grundlag Målstyring giver ikke megen mening, hvis ikke det er muligt at følge op på målene. Og de letteste mål at følge op på er de mål, som kan kvantificeres. De er både lette at formidle og det er let at konstatere, om målet er nået. Omvendt viser mange kommuners erfaring, at det er en stor udfordring at opstille kvantitative mål. Særligt når det gælder opstilling af mål for resultater og effekter af indsatsen. De kvantitative mål er således ofte ikke fuldstændigt dækkende for det, man politisk ønsker at opnå.dette indebærer en risiko for målforskydning - at der fokuserer på de mål, som er lettest at måle frem for de mål, som man politisk synes er vigtigst. Selvom måleproblemet varierer meget fra område til område, ligger der heri et dilemma, som ikke umiddelbart kan opløses med udvikling af metoder og værktøjer. Den mest udbredte form for målopfølgning i kommunerne i dag er selvevaluering.styrken ved selvevaluering er, at den i de institutioner, som leverer servicen, fremmer en systematisk refleksion over kvaliteten i servicen. Det er til gavn for den løbende læring i organisationen. Endvidere betyder selvevalueringerne, at der skabes lokalt ejerskab til den indsamlede dokumentation. Herudover er resultaterne af selvevalueringerne relevant information for ledelse, politikere og evt. borgere. Der kan skelnes mellem to former for selvevaluering: Den mest udbredt form for selvevaluering som er, at f.eks. en daginstitution evaluerer om læreplan eller virksomhedsplan er gennemført med målsatte effekter etc. Her er der ikke nødvendigvis nogen velbeskrevet metode højst at institutionen spørger forskellige interessenter f.eks. bestyrelsen hvad de synes, og dokumenterer at de målsatte input /indsatser er gennemført. Selvevaluering efter kvalitetsmodeller, f.eks. KVIK, hvor metoden er velbeskrevet og hvor dokumentation for opnåede resultater bl.a. hviler på kvantitative data. Selvevaluering er baseret på subjektive vurderinger og skøn. De forskellige selvevalueringskoncepter indebærer ganske vist en systematik, som sikrer at man kommer omkring nogle bestemte spørgsmål, og det kan også godt lade sig gøre at kvantificere resultatet i form af målopfyldelsesgrader mv., hvilket kan gøre resultaterne mere overskuelige. Endvidere kan åbenhed omkring selvevalueringer sikre en troværdighed, da en bred kreds af aktører omkring en institution hermed skal kunne nikke genkendende til evalueringen Men det faktum, at målingerne ikke udføres af eksterne betyder, at selvevaluering har nogle begrænsninger, som opfølgningsredskab. 7
Derfor er det hensigtsmæssigt at kombinere selvevaluering med forskellige typer af mere kvantitative målinger. Eller - som det er tilfældet i de kvalitetsmodeller som flere kommuner anvender - at basere dele af en selvevaluering på kvantitative målinger. Kvalitetsmodellernes styrke er, at de kombinerer de objektive metoder fordele med selvevalueringens fordele. Såfremt en kommune vælger at arbejde med selvevaluering anbefales det derfor, at der tages udgangspunkt i en af disse modeller der kan anvendes på forskellige ambitionsniveauer. Udfordringen i arbejdet med en kvalitetsmodel er dog, at det nemt kan blive administrativt meget tungt. Kommunens mål bør i højere grad være målbare. Mange metoder kan anvendes, men det anbefales, at der arbejdes hen imod flere kvantitative målinger Der bør arbejdes hen imod, at anvendelse af selvevaluering bliver mere faktabaseret fx ved anvendelse af en kvalitetsmodel Ansvar for opfølgning Kommunalreformen har ændret forudsætningerne for den politiske målopfyldning i kommunerne. Der er kommet nye opgaver, og antallet af institutioner er ikke mindst i sammenlægningskommunerne vokset ganske væsentligt. Det har ændret den politiske opfølgningsopgave. Det gør det svært at basere opfølgningsopgaven på den direkte dialog med hver enkelt institution. Ofte er der stor politisk interesse for formulering af målene. Interessen blandt politikerne for den efterfølgende opfølgning er ikke altid tilsvarende stor. Det er imidlertid afgørende for troværdigheden i en målstyring, at de som har formuleret målene også tager et ansvar for opfølgning. Manglende politisk målopfølgning svækker motivationen hos såvel forvaltning som institutioner i forhold til at styre efter målene. Opfølgningen bør derfor have en karakter, der gør opfølgningen interessant for politikerne. Det kan fx være ved at kommunikere målene meget klart og direkte til borgerne eller ved at opfølgningen kobles til den fremadrettede målformulering. Der skal skabes et incitament til at lave en politisk opfølgning. Det kræver også en systematik i opfølgningen. Det er ikke tilstrækkeligt at basere en opfølgning på mundtlig overlevering selvom den mundtlig dialog er central. En god opfølgning kræver, at der fra forvaltningens side sker en sammenfatning af resultaterne og at de bliver præsenteret skriftligt på en let og overskuelig måde fx gennem ledelsesinformationsrapporter. For institutionerne betyder en god formidling af dokumentationen, at institutionerne gives de bedst muligt betingelser for at styre efter de opstillede mål og for 8
at følge med i de vigtigste nøgletal. Uanset, at institutionerne ofte selv i princippet har adgang til data, så er det vigtigt at servicere institutionerne ved at præsentere data i en let tilgængelig form. En god opfølgning kræver endvidere en politisk tilbagemelding til de institutioner, som har ansvaret for målopfyldelsen. Det vil i de fleste kommuner være uoverkommeligt for politikerne at lave en individuel opfølgning i forhold til hver enkelt institution. Her må forvaltningen tage over. Den individuelle opfølgning i forhold til hver enkelt institution er vigtig for målstyringens legitimitet på institutionerne dette stiller nye krav til de centrale ledelsers mere målrettede opfølgning og ledelse over for den enkelte institution. Der skal være klar og systematisk opfølgning på alle mål - politikerne følger op på de politisk opstillede mål Centralt administrativt ansvar for dokumentationen Der er en generel udvikling imod et større behov for dokumentation. Det er bl.a. en følge af de større kommuner, hvor dokumentation er nødvendig for at få overblik i styringen. Ledelsen kender ikke mere personligt forholdene på hver enkelt institution. Det er endvidere en konsekvens af de krav til dokumentation, som stilles af staten. Udviklingen betyder, at der er behov for en professionalisering af dokumentationsarbejdet. Det vurderes, at en central administrativ forankring af dokumentationsarbejdet er en forudsætning for at kunne leve op til de større krav til dokumentationen. Bl.a. er en central forankring nødvendig for: at kunne skabe standarder til ensretning af dokumentation og principper for målstyring så de kan understøtte kommunens styringsmodel på tværs af sektorområder - smidigt at kunne indsamle mængderne af styringsinformation og gøre dem tilgængelige på en let forståelig måde. Sikre ensartet tilbagemelding til politikere på tværs af sektorområder løbende tilpasninger af dokumentationssystemet at have den nødvendige ekspertise til stede i organisationen En central dokumentationsenhed betyder ikke, at al kommunens dokumentationsarbejde skal centraliseres. Mange opgaver kan med fordel placeres hos fagforvaltninger eller ude på institutionerne. Det er en konkrete lokal vurdering hvad det bedst miks er af en central dokumentationsenhed, fagforvaltningsansvar og institutionernes ansvar. Organiseringen af dokumentationen på centralt niveau kan ske på mange forskellige ambitionsniveauer. Der er fordele og ulemper ved de forskellige måder at organisere sig på: 9
Nogle kommuner vælger en meget omfattende model i form af et avanceret ledelsesinformationssystem - fx datavarehuse, der muliggør en række automatiske datatrækninger i de forskellige fagsystemer. De automatiske trækninger betyder, at institutionerne bliver belastet mindst muligt i indsamlingen af data. En sådan løsning kan dog være dyr og kan betyde, at dokumentationen i højere grad bliver forankret hos teknikere frem for de folk, der skal bruge den til styring, dialog og kvalitetsudvikling. Andre kommuner vælger mere simple løsninger til at generere dokumentation og ledelsesinformation, f.eks. baseret på regneark. Sådanne løsninger er billigere, men vil typisk stille større krav til de løbende indberetninger fra institutioner og forvaltninger. En central forankring betyder ikke, at man behøver at have en selvstændig dokumentations- og evalueringsenhed. Det vigtigste er, at ansvaret er entydigt placeret et centralt sted i organisationen. Professionalisering af dokumentationen kræver et centralt ansvar for dokumentationsopgaven 10