Arbejdspapir MÅL OG RESULTATKRAV. Økonomistyrelsen. - med fokus på effekt

Transkript

1 Arbejdspapir MÅL OG RESULTATKRAV - med fokus på effekt Økonomistyrelsen Marts 2010

2 Indholdsfortegnelse Indholdsfortegnelse Indholdsfortegnelse Arbejdspapirets formål, metode og effektbegreb Formål Datamaterialet, tilrettelæggelse og metode Effektbegrebet Brugerrettede effekter Samfundseffekter Effektindikatorer en tilgang til at måle effekter Anvendelsen af effektbegrebet Udviklingen i mål og resultatkrav Definition af et mål og et resultatkrav Det samlede antal mål og resultatkrav, Antallet af mål og resultatkrav på ministerområderne, Sammenfatning Resultatkravstyper definition, eksempler og fordeling Resultatkravstyper hvilke og hvordan er de anvendt? Definition og eksemplificering af de 8 resultatkravstyper Den samlede fordeling af resultatkravstyper, Fordeling af resultatkravstyper på de enkelte ministerområder Aktivitet Sagsbehandlingstid Produktivitet Output (produkt/ydelse) Outcome (effekt) Kvalitet Ekstern udvikling Intern udvikling Udviklingen i sammensætningen af resultatkravstyperne, Appendiks. Ministerområdernes fordeling af resultatkrav, Resultatkrav og opgavetyper Opgavetyper og styringsbehov Institutionerne fordelt på opgavetyper Sagsbehandling Vidensproduktion Offentlige serviceydelser Rådgivning og tilsyn Beredskab materielt og vidensmæssigt Fordelingen af resultatkrav efter institutionernes opgavetyper Resultatkrav og kompleksiteten i institutionernes opgavevaretagelse Sammenfatning Udbredelsen af effektmåling Introduktion til effektfokus...38 Mål og resultatkrav i staten med fokus på effekt 2

3 Indholdsfortegnelse 5.2. Udbredelsen af effektkrav, Fordelingen af effektkrav på institutioner, ministerområder og opgavetyper Fordelingen af effektkrav på institutioner Fordelingen af effektkrav på ministerområder Fordelingen af effektkrav på opgavetyper Vurdering af de anvendte effektkrav i resultatkontrakterne Eksempler på anvendelsen af effektkrav i resultatkontrakterne Eksempler på omkodningen Sammenfatning Effektkravene kendetegn og problemstillinger Dimensioner knyttet til effektkravene Tidsdimensionen Målrettethed i anvendelsen af effektkrav Samspil i effektkrav, mål og andre resultatkrav Målformuleringen Dataindsamlingsprocessen Væsentlige problemstillinger ved anvendelse af effektkrav Effektmålingens udfordringer og muligheder...58 Bilag 1 Institutioner og deres resultatkontrakter i 2009-undersøgelsen...61 Bilag 2 Oversigt over anvendte begreber...65 Mål og resultatkrav i staten med fokus på effekt 3

4 Arbejdspapirets formål, metode og effektbegreb 1. Arbejdspapirets formål, metode og effektbegreb 1.1. Formål Finansministeriet og Økonomistyrelsen ønsker at fremme anvendelsen af effektorienteret styring i staten. Første skridt er taget med lanceringen af Finansministeriets publikation Ansvar for styring vejledning om styring fra koncern til institution. Med dette arbejdspapir tager Økonomistyrelsen næste skridt for at følge op på de retningslinjer, der er udstukket i Ansvar for styring. Arbejdspapiret har funktion af en foranalyse til udarbejdelse af yderligere inspirationsmateriale om anvendelsen af effektmålinger og effektmål/effektkrav, som Økonomistyrelsen påbegynder udarbejdelsen af i indeværende år. Formålet med arbejdspapiret er at kortlægge og analysere anvendelsen af mål og resultatkrav i statens institutioner, med særlig fokus på effekt. Datagrundlaget for arbejdspapiret er de resultatkontrakter, der er indgået mellem departementerne og institutionerne i staten. Sigtet har ikke i første omgang været at tilvejebringe større indsigt i de processer, der foregår i forbindelse med resultatkontrakternes indgåelse; herunder anvendelsen af effektstyring. Derimod giver arbejdspapiret indblik i, hvad der helt konkret kommer ud af processen i form af egentlige resultatkrav i resultatkontrakterne; herunder effektkrav Datamaterialet, tilrettelæggelse og metode Det primære datamateriale til arbejdspapiret stammer fra indgåede resultatkontrakter for udvalgte år siden Stort set samtlige institutioner inden for staten har inden for de sidste 8 år indgået resultatkontrakt med deres ressortdepartement. I de udvalgte år er hovedparten af disse resultatkontrakter gennemgået med henblik på at kortlægge hvilke mål og resultatkrav, der indgår heri. For så vidt angår kontrakterne for 2009 tager gennemgangen specielt sigte på at indsamle systematisk viden om anvendelsen af effektkrav. De samme informationer kunne til en vis grad muligvis være indsamlet via en gennemgang af institutionernes årsrapporter. Dette er dog ikke sket i dette arbejdspapir. Det blev vurderet, at det ville blive vanskeligere at opnå den samme systematiske viden om styringsforholdene via årsrapporterne. Institutionernes styringsmæssige struktur fremtræder klarere i resultatkontrakterne. Dataindsamlingen er foretaget af henholdsvis Finansministeriet og Økonomistyrelsen. For de udvalgte år 2002, 2004 og 2006 er data på et tidligere Mål og resultatkrav i staten med fokus på effekt 4

5 Arbejdspapirets formål, metode og effektbegreb tidspunkt indsamlet af Finansministeriet, mens data for 2009 er indsamlet af Økonomistyrelsen i forbindelse med dette arbejdspapir. Dataindsamlingen foretaget af Finansministeriet er sket med henblik på specifikke undersøgelser, hvor der dog er tilstræbt en vis konsistens i de overordnede kategorier og definitioner på tværs af årene. I 2009-undersøgelsen er der taget udgangspunkt i disse overordnede kategorier og definitioner. Der er gennemført en kodning af resultatkravstyperne i samtlige resultatkontrakter, der sikrer størst mulig konsistens i forhold til de tidligere opgørelser. For mange aspekter af arbejdspapiret er det derfor muligt at analysere udviklingen over en given tidsperiode. I de tilfælde hvor der anvendes tidsserier, trækkes der primært på data indsamlet i 2002, 2006 og Begrundelsen er, at ensartetheden i kategorierne og definitionerne er størst i disse år. I et fåtal af analyserne er det imidlertid også muligt at inddrage undersøgelsen fra I de enkelte dele af undersøgelsen fremgår det, hvilke år analysen omfatter. Undersøgelsen i 2009 er mere omfattende end de tidligere år. I årene forud er der primært fokuseret på antallet af mål, antallet af resultatkrav og typerne af resultatkrav/resultatkravstyperne, jf. kapitel 2. I 2009 er disse opgørelser suppleret med særlige registreringer af de karakteristika, der kendetegner de effektorienterede resultatkrav. Dette er ligeledes sket ved en kodning af effektkravene i de resultatkontrakter, som indgår i Analysen heraf findes i kapitel 6. Det er tilstræbt, at arbejdspapiret så vidt muligt skal være fuldt dækkende for de statslige institutioner i de år, arbejdspapiret refererer til. I 2002-opgørelsen indgår 140 kontrakter af forskellig karakter. I 2004-opgørelsen indgår 119 resultatkontrakter. For 2006-opgørelsen er antallet 111, og i 2009 er antallet af inkluderede resultatkontrakter 121, jf. bilag opgørelsen adskiller sig fra de andre opgørelser, idet flerårsaftaler og tillægskontrakter som udgangspunkt er inkluderet i opgørelsen. I de øvrige år er der mere eller mindre ensidigt fokuseret på resultatkontrakter for statslige institutioner. Eksempelvis er politiske flerårsaftaler der for flere institutioner har karakter af en resultatkontrakt ikke som udgangspunkt inkluderet i de senere års opgørelser. Ligeledes er det også kun særligt udvalgte selvejende institutioner, der er inkluderet i opgørelserne, om end andelen i 2009-undersøgelsen er noget højere end i årene forud. Disse til- og fravalg er bl.a. baseret på institutionens størrelse (generelt er små institutioner fravalgt), institutionernes tilhørsforhold til deres respektive departementer, og en vurdering af om resultatkontrakten kan sidestilles med en normal kontrakt. Om end afgrænsningen kan variere lidt over tid, har det været afgørende, at det centrale genstandsfelt er statslige resultatkontrakter i årene 2002, 2004, 2006 og 2009, Mål og resultatkrav i staten med fokus på effekt 5

6 Arbejdspapirets formål, metode og effektbegreb hvor der i sidstnævnte år er særligt fokus på anvendelsen af effektorienterede resultatkrav/effektkrav. Idet kodningsarbejdet er foretaget over en årrække, er kodningen foretaget af forskellige personer i Finansministeriet og Økonomistyrelsen. Det påvirker analysens pålidelighed. Kodningen af resultatkravstyperne og af karakteristika ved effektorienterede resultatkrav vil uundgåeligt føre til subjektive vurderinger. Det er fx ikke i alle tilfælde objektivt givet, hvilken resultatkravstype et givent resultatkrav falder under. I få tilfælde er det eksempelvis muligt at argumentere for, at et givent resultatkrav kan være én af tre forskellige resultatkravstyper. Det er imidlertid en følge af genstandsfeltets karakter og står ikke til at ændre. Disse konsekvenser for analysens pålidelighed kan således ikke fjernes fuldstændigt. Disse metodiske problemer er imidlertid forsøgt afhjulpet ved at anvende udførlige kodningsvejledninger og ved at foretage indbyrdes uafhængige valideringer af kodningen internt i organisationerne. Hertil kommer, at analysen bygger på et meget omfattende materiale, hvilket i sig selv bidrager til at styrke validiteten af analysen og muligheden for at generalisere analysens resultater Effektbegrebet I forbindelse med udarbejdelsen af Ansvar for styring vejledning om styring fra koncern til institution blev det klart, at der hersker stor tvivl om forståelsen og anvendelsen af effekter og effektbegrebet. Denne konklusion blev konsolideret i forbindelse med dataindsamlingen til det foreliggende arbejdspapir. Medarbejdere og chefer i institutioner og departementer har derudover udtrykt problemer ved at operationalisere begrebet, så det giver styringsmæssigt mening og værdi for deres departement/institution. Det primære formål med at introducere effektorienteret styring er og bør være at sikre, at styringsfokus rettes mod det, der er det væsentligste for, at institutionen kan opfylde sin mission og vision, således at institutionen kan levere værdi til borgere og virksomheder og leve op til sin eksistensberettigelse. At definere effekter er derfor et spørgsmål om at identificere, hvilke opgaver og opgavetyper der er væsentligst for, at en institution kan opfylde sin mission og vision. Det betyder samtidig, at det, der er en relevant effekt for én institution, ikke nødvendigvis er en relevant effekt for andre institutioner. Definitionen og identifikationen af relevante effekter er med andre ord kontekstafhængig. Med dette arbejdspapir er der taget hul på denne problematik bl.a. ved at skelne mellem brugerrettede effekter og samfundseffekter og ved at skelne mellem effekter inden for Mål og resultatkrav i staten med fokus på effekt 6

7 Arbejdspapirets formål, metode og effektbegreb forskellige opgavetyper 1. Ligeledes skelnes der mellem målinger, hvor det er muligt at måle direkte på effekter og målinger, hvor det er nødvendigt at anvende effektindikatorer. Figur 1.1 Illustration af effektforståelsen Institution Omverden Finansielle midler Ressourcer Aktiviteter Ydelser Produkter/ Output Brugerrettede effekter Samfundseffekter Kortsigtede effekter Kortsigtede effekter Mellemlange effekter Mellemlange effekter Langsigtede effekter Langsigtede effekter På hvilket niveau man bør og kan måle effekt og samtidig opnå en styringsgevinst afhænger af hvilken opgavetype, der er tale om. Hvorvidt man kan måle direkte på effekter eller om man er nødt til at anvende effektindikatorer afhænger ligeledes af hvilken opgavetype, der er tale om Brugerrettede effekter Brugerrettede effekt forstås som effekter, der henvender sig til en konkret modtager eller en afgrænset modtagergruppe. Som eksempel kan nævnes modtagere af undervisning, deltagere ved et kulturelt arrangement eller borgere, der modtager afgørelser i forbindelse med en eller anden form for sagsbehandling. I de langt de fleste tilfælde er det nødvendigt at opnå brugerrettede effekter for at opnå samfundseffekter. Tager man eksempelvis udgangspunkt i en kampagne, der retter sig direkte mod folk, som i forvejen ryger, er det nødvendigt at sikre, at rygerne har bedre oplysning om a) skadeligheden af at ryge og b) hvor de kan søge hjælp til at holde op med at ryge, hvis man skal mindske antallet af rygere. Brugerrettede effekter af kampagnen er i dette tilfælde fx, 1) at flere aktivt søger hjælp til at stoppe rygningen og 2) at flere reelt holder op med at ryge. En samfundseffekt vil i dette tilfælde fx være et mindsket antal rygningsrelaterede kræfttilfælde. Omend samfundseffekt ofte er den effekt, man reelt ønsker at opnå med en given indsats, er det i mange tilfælde nødvendigt at måle på de brugerrettede effekter, fordi det ikke er muligt eller giver styringsmæssigt mening at måle på samfundseffekten. Brugerrettede effekter kan således anvendes som effektindikatorer for en ønsket samfundseffekt. Det kræver imidlertid, at man har et solidt teoretisk og/eller empirisk grundlag for at lave koblingen mellem den brugerrettede effekt og 1 Se begrebsforklaringerne bagerst i arbejdspapiret for en nærmere beskrivelse af begrebet opgavetyper. Mål og resultatkrav i staten med fokus på effekt 7

8 Arbejdspapirets formål, metode og effektbegreb samfundseffekten. At opstille mål for og måle på brugerrettede effekter kan således betragtes som en tilgang, der gør det nemmere at operationalisere effektstyringen Samfundseffekter Samfundseffekter er traditionelt de egentlige effekter, man ønsker at opnå i sidste ende sluteffekten om man vil. De samfundsmæssige effekter vil kunne opfattes som institutionens ledestjerne. Samfundseffekter er ofte kendetegnet ved, at modtagergruppen i sidste ende er så diffus eller så bred, at det ikke giver mening at tale om en egentlig modtagergruppe. Som eksempler kan nævnes; en forbedring af miljømæssige forhold, en øget gennemsnitlig levealder hos danskerne eller en højere beskæftigelsesprocent i Danmark. Samfundseffekter er ofte kendetegnet ved at være påvirket af et væld af faktorer i og uden for den enkelte institutions indflydelse. Ligeledes går påvirkningen typisk gennem flere kæder af årsagssammenhænge. Det er derfor svært at isolere den indflydelse en given indsats i institutionen har på et konkret samfundsforhold. Det er svært at kortlægge fyldestgørende kausalsammenhænge og måle, hvor stor indflydelse de forskellige faktorer har på den pågældende effekt. Dette har styringsmæssige konsekvenser. Hvordan sikrer man fx, at en given samfundseffekt reelt er forårsaget af institutionens indsats(er) og ikke af alle mulige andre påvirkninger, der ligger uden for institutionens indflydelse? Hvordan opstiller man konkrete resultatkrav, hvis man er usikker på, om institutionen i realiteten kan sikre en effekt? Og kan man som departement kritisere manglende målopfyldelse vedrørende et effektmål/effektkrav, hvis den manglende effekt i praksis er forårsaget af negative påvirkninger, der står uden for institutionens indflydelse og ansvarsområde? Såvel brugerrettede effekter som samfundseffekter kan være kortsigtede, mellemlange eller langsigtede. Som tommelfingerregel gælder dog, at samfundseffekter er mere langsigtede mens brugerrettede effekter typisk er relativt kortsigtede Effektindikatorer en tilgang til at måle effekter Uanset om der er tale om brugerrettede effekter eller samfundseffekter, er det i mange tilfælde ikke muligt at måle direkte på den effekt, man ønsker at opnå. Dette problem er særligt udbredt, når man forsøger at måle på samfundseffekten, men gælder også når der er tale om brugerrettede effekter. I disse tilfælde kan man i stedet anvende effektindikatorer. En effektindikator er et målingsobjekt, der anvendes, når det ikke er muligt at måle direkte på effekten. Effektindikatoren bør beskrive forhold, der entydigt kan påvirkes ved en indsats fra institutionen. Samtidig er det essentielt, at sammenhængen Mål og resultatkrav i staten med fokus på effekt 8

9 Arbejdspapirets formål, metode og effektbegreb (kausalforholdet) mellem effektindikatoren og effekten er entydig og stærk. Er ét af de to kriterier ikke opfyldt, har indikatoren ingen styringsværdi. At formulere gode effektindikatorer kræver derfor grundige overvejelser om og utvetydige beskrivelser af; a) hvorfor indikatoren er en indikator for den ønskede effekt. Og hvis det ikke er åbenlyst; b) hvordan institutionen påvirker effektindikatoren. Effektindikatoren har som følge heraf funktion af brobygger mellem institutionens ydelser/produkter og den effekt, institutioner ønsker at opnå og styre på, men som de ikke direkte kan måle på. Målinger af særlige karakteristika der ifølge regler, bestemmelser, politiske aftaler el. lign. skal kendetegne institutionens ydelser/produkter kan følgelig også i visse tilfælde fungere som effektindikator. Som nævnt i afsnittet Brugerrettede effekter, kan en brugerrettet effekt på lignende vis fungere som effektindikator for en samfundseffekt. Uanset om institutionerne er klar over det eller ej, måler institutionerne oftest effektindikatorer og ikke reelle effekter, når de følger op på de effektkrav, der er opstillet i deres resultatkontrakter Anvendelsen af effektbegrebet Konkrete anbefalinger om anvendelsen og implementeringen af en sådan forståelse af effektbegrebet vil først blive præsenteret i Økonomistyrelsens inspirationsmateriale vedrørende anvendelsen af effektmålinger og effektmål/effektkrav i staten. Ovenstående forståelse af effektbegrebet er imidlertid anvendt som begrebsramme i forbindelse med analyserne i arbejdspapiret. Mål og resultatkrav i staten med fokus på effekt 9

10 Udviklingen i mål og resultatkrav 2. Udviklingen i mål og resultatkrav Der er i de seneste årtier sket en stadig større udbredelse af anvendelsen af mål og resultatkrav i styringen af de statslige institutioner. I dette kapitel ses der nærmere på udviklingen i antallet af mål og resultatkrav i resultatkontrakterne i perioden fra 2002 til Endvidere vil det blive belyst, hvordan antallet af mål og resultatkrav er fordelt mellem de forskellige ministerområder Definition af et mål og et resultatkrav Definitionen af mål, der anvendes i denne publikation, er den samme som bruges i Finansministeriets publikation Ansvar for styring vejledning om styring fra koncern til institution. Mål betegner således det institutionen stræber efter at opnå. Mål kan både være målbare og ikke-målbare. I anmærkningerne til Finansloven, tabel 5, opstilles mål. Disse mål afspejles/udbygges i en eventuel resultatkontrakt. Definitionen af resultatkrav tages ligeledes fra Finansministeriets publikation Ansvar for styring vejledning om styring fra koncern til institution. Resultatkrav defineres derfor som et målbart kriterium for det, institutionen skal opnå i relation til et mål Det samlede antal mål og resultatkrav, I tabel 2.1 er vist antallet af mål og resultatkrav i de gennemgåede kontrakter i hvert af årene 2002, 2004, 2006 og Endvidere er beregnet antallet af mål hhv. resultatkrav pr. kontrakt i perioden. Tabel 2.1 Udviklingen af antal mål og resultatkrav i perioden Antal resultatkontrakter Samlet antal mål Samlet antal resultatkrav Antal mål pr. kontrakt.. 7,2 6,8 7,5 Antal resultatkrav pr. kontrakt 37,3 31,6 30,5 25,3 Antal resultatkrav pr. mål.. 4,4 4,5 3,4 Anm. Der foreligger ingen opgørelse af antal mål i resultatkontrakterne for Som det ses, har antallet af mål i kontrakterne i hhv. 2004, 2006 og 2009 været stort set uændret. Opgjort pr. resultatkontrakt har antallet af mål været omkring 7. Der er således ingen tegn på, at antallet af mål er blevet formindsket gennem de senere år. Mål og resultatkrav i staten med fokus på effekt 10

11 Udviklingen i mål og resultatkrav Ser vi på resultatkravene i kontrakterne har der imidlertid været en klar faldende tendens. Opgjort pr. resultatkontrakt er antallet blevet formindsket med ca. 1/3 i perioden fra 2002 til I den seneste opgørelse fra 2009 er antallet af krav pr. kontrakt dog fortsat ca. 25. Dette indebærer, at antallet af resultatkrav pr. mål i kontrakterne er blevet reduceret. Der anvendes nu i gennemsnit ca. 3½ resultatkrav pr. mål Antallet af mål og resultatkrav på ministerområderne, 2009 I tabel 2.2 opgøres antallet af mål og resultatkrav på de enkelte ministerområder i Der er ganske stor forskel på det gennemsnitlige antal mål pr. kontrakt inden for de enkelte ministerområder. Imidlertid er der grund til at være opmærksom på, at antallet af kontrakter, der indgår i 2009-opgørelsen varierer ganske meget mellem de enkelte ministerier. Således indgår der højst 2 resultatkontrakter i opgørelsen for Integrationsministeriet, Skatteministeriet, Justitsministeriet samt Udenrigsministeriet. Derimod indgår der mindst 12 kontrakter for Økonomi- og Erhvervsministeriet, Videnskabsministeriet samt Kulturministeriet. At der indgår så mange resultatkontrakter for de to sidstnævnte ministerier skyldes ikke mindst, at der er medtaget en række selvejende institutioner i analysen. Mål og resultatkrav i staten med fokus på effekt 11

12 Udviklingen i mål og resultatkrav Tabel 2.2 Antallet af mål og resultatkrav på ministerområderne, 2009 Antal Antal reresultat- Antal mål sultatkrav kontrakter Antal mål pr. kontrakt Antal resul tatkrav pr. kontrakt Antal resultatkra v pr. mål Statsministeriet Udenrigsministeriet ,0 13,0 6,5 Finansministeriet ,5 53,0 3,7 Økonomi- og Erhvervsministeriet ,7 29,8 2,8 Skatteministeriet ,5 16,0 1,5 Justitsministeriet ,5 20,0 3,6 Kirkeministeriet Forsvarsministeriet ,0 14,8 3,0 Indenrigs- og Socialministeriet Ministeriet for sundhed of forebyggelse ,4 15,3 2, ,4 16,3 3,7 Beskæftigelsesministeriet ,3 16,2 3,7 Integrationsministeriet ,0 14,5 3,6 Ministeriet for Videnskab, Teknologi og Udvikling ,1 25,7 4,2 Undervisningsministeriet ,0 28,0 4,7 Kulturministeriet ,9 21,5 3,1 Miljøministeriet ,3 53,5 4,0 Ministeriet for Fødevare, Landbrug og Fiskeri ,5 36,5 3,5 Transportministeriet ,6 25,3 3,3 Klima og Energiministeriet ,3 25,3 3,5 I alt ,5 25,3 3,4 Som det fremgår af tabel 2.2 er spredningen i såvel antal mål som antal resultatkrav pr. kontrakt ganske stor. For så vidt angår antal mål er spændvidden fra 2 til 14½ mål pr. kontrakt, mens forskellen for resultatkrav er fra 13 til 53½ krav pr. kontrakt fra det ministerium med færrest antal mål og krav til det ministerområde med flest antal mål og krav pr. kontrakt. Som vist i figur 2.1 er Finansministeriet og Miljøministeriet de ministerområder, der har flest mål pr. resultatkontrakt. Men også Økonomi- og Erhvervsministeriet, Fødevareministeriet samt Skatteministeriet optræder med ganske mange mål over 10 mål pr. resultatkontrakt. Ligeledes ses det, at Udenrigsministeriet er ministerområdet med færrest mål pr. resultatkontrakt. Der indgår dog kun én resultatkontrakt fra Udenrigsministeriets ministerområde i analysen. Det skal i den forbindelse nævnes, at man selv sagt bør tage højde for bredden og kompleksiteten i opgaveporteføljen i institutioner på de forskellige ministerområder, når resultatkontrakter og institutioner sammenlignes på tværs af ministerierne. For institutioner med en mere vidtfavnende mission og et bredere opgaveportefølje er Mål og resultatkrav i staten med fokus på effekt 12

13 Udviklingen i mål og resultatkrav der ofte behov for at formulere nogle flere mål i resultatkontrakten, hvilket også medfører flere resultatkrav. Dette vil blive analyseret nærmere i kapitel 4. Figur 2.1 Mål pr. resultatkontrakt fordelt på ministerområder Økonomi- og Erhvervsministeriet Miljømisteriet Finansministeriet Indenrigs- og Socialministeriet Kulturministeriet Klima og Energiministeriet Transportministeriet Skatteministeriet Ministeriet for Fødevare, Landbrug og Fiskeri Forsvarsministeriet Justitsministeriet Undervisningsministeriet Ministeriet for Videnskab, Teknologi og Udvikling Udenrigsminissteriet Integrationsministeriet Beskæftigelsesministeriet Ministeriet for sundhed of forebyggelse Af figur 2.2 fremgår det, at Miljøministeriet og Finansministeriet ligeledes er de ministerområder, der har klart flest resultatkrav pr. resultatkontrakt. Fødevareministeriet er det ministerområde, der har tredje flest krav pr. kontrakt. Ligeledes er Udenrigsministeriet ministerområdet med færrest krav pr. kontrakt. De øvrige ministerier ligger alle med resultatkrav pr. kontrakt. Figur 2.2 Resultatkrav pr. kontrakt fordelt på ministerområder. 60,0 50,0 40,0 30,0 20,0 10,0 0,0 Undervisningsministeriet Økonomi- og Erhvervsministeriet Ministeriet for Fødevare, Landbrug og Fiskeri Finansministeriet Miljømisteriet Justitsministeriet Kulturministeriet Transportministeriet Klima og Energiministeriet Ministeriet for Videnskab, Teknologi og Udvikling Udenrigsminissteriet Integrationsministeriet Forsvarsministeriet Indenrigs- og Socialministeriet Skatteministeriet Beskæftigelsesministeriet Ministeriet for sundhed of forebyggelse Som det ses i figur 2.3 er der relativ lille spredning i antallet af resultatkrav pr. mål mellem de forskellige ministerområder. Dog afviger Udenrigsministeriet og Skatteministeriet med hhv. væsentlig flere og væsentlig færre resultatkrav pr. mål. Alle øvrige ministerområder har i gennemsnit fra ca. 3½ til ca. 4½ antal krav pr. mål i deres resultatkontrakter. Mål og resultatkrav i staten med fokus på effekt 13

14 Udviklingen i mål og resultatkrav Figur 2.3 Antal resultatkrav pr. mål fordelt på ministerområder Beskæftigelsesministeriet Miljømisteriet Ministeriet for Videnskab, Teknologi og Udvikling Undervisningsministeriet Udenrigsminissteriet Ministeriet for Fødevare, Landbrug og Fiskeri Integrationsministeriet Justitsministeriet Finansministeriet Ministeriet for sundhed of forebyggelse Skatteministeriet Indenrigs- og Socialministeriet Økonomi- og Erhvervsministeriet Forsvarsministeriet Kulturministeriet Transportministeriet Klima og Energiministeriet 2.4. Sammenfatning Antallet af mål i resultatkontrakterne er ikke blevet reduceret i de senere år. Skal resultatkontrakten udvikle sig til et effektivt styringsredskab, er der derfor behov for, at departementer og institutioner i fællesskab gør sig klart, hvilke mål der er vigtigst at opnå for institutionens kerneopgaver. Med Ansvar for styring vejledning om styring fra koncern til institution lægges der op til, at resultatkontrakterne i staten bør indeholde færre mål. Begrundelsen er, at den tidligere udmelding at resultatkontrakterne skulle være fuldt dækkende er blevet erstattet af anbefalingen om, at resultatkontrakterne i højere grad skal bruges strategisk. Anbefalingen er således, at der opstilles få men strategisk vigtige mål med relaterede resultatkrav. Kontrakten skal være fokuseret og overskuelig. På tværs af ministerområderne kan der være gode argumenter for, at antallet af mål og resultatkrav bør være forskellige. Men analysen afdækker så stor en spredning, at en nærmere undersøgelse af årsagen til de meget omfattende resultatkonkrater som ses hos topscorerne på dette område kunne være interessant. Mål og resultatkrav i staten med fokus på effekt 14

15 Resultatkravtyper definition, eksempler og fordeling 3. Resultatkravstyper definition, eksempler og fordeling 3.1. Resultatkravstyper hvilke og hvordan er de anvendt? I opgørelserne er der foretaget en kategorisering af resultatkravene i resultatkontrakterne. Der arbejdes derfor med forskellige resultatkravstyper. Der opereres med 8 forskellige typer: Aktivitet Sagsbehandlingstid Produktivitet Output/produkter/ydelser Outcome/effekt Kvalitet Ekstern udvikling Intern udvikling Flere institutioner angiver selv i deres resultatkontrakt, hvilken resultatkravstype de mener, de enkelte resultatkrav i resultatkontrakten er. Dette er med til at sikre en bedre fælles forståelse mellem departementerne og deres underliggende institutioner. I de tilfælde, hvor institutionerne selv har kategoriseret resultatkravene i deres resultatkontrakt, er der taget udgangspunkt heri i forbindelse med kodningen. I kapitel 6, som omhandler udbredelsen af effektkrav, gennemføres en særskilt analyse, der både er baseret på institutionernes egen kategorisering og en analyse baseret på Økonomistyrelsens kategorisering af effektkravene. Kategoriseringen af resultatkravene er som tidligere nævnt baseret på subjektive vurderinger. I visse tilfælde kan et konkret resultatkrav således kategoriseres som en af flere forskellige resultatkravstyper. I kodningsarbejdet er subjektiviteten forsøgt håndteret ved at lave udførlige definitioner for og eksempler på de forskellige resultatkravstyper. Subjektiviteten bør imidlertid holdes in mente ved tolkningen af resultaterne i arbejdspapiret. I det følgende gives en definition og en række eksempler på hver resultatkravstype. Fordelingen af de anvendte typer resultatkrav er vist for 2009; herunder på de enkelte ministerområder. Kapitlet afsluttes med en nærmere beskrivelse af, hvordan udviklingen i sammensætningen af resultatkravstyperne har været siden Mål og resultatkrav i staten med fokus på effekt 15

16 Resultatkravtyper definition, eksempler og fordeling 3.2. Definition og eksemplificering af de 8 resultatkravstyper I følgende defineres og eksemplificeres de 8 resultatkravstyper. Formålet er først og fremmest at sikre en entydig forståelse af resultatkravstyperne. Derudover kan definitionen og eksemplificeringen bidrage til en mere ensartet anvendelse af de forskellige resultatkravstyper. Boks 3.1 indeholder definitionerne af de 8 resultatkravstyper, der anvendes i arbejdspapiret. Boks 3.1 Resultatkravstyper definition Resultatkravstype Aktivitet Sagsbehandlingstid Produktivitet Output (produkt/ydelse) Outcome (effekt) Kvalitet Ekstern udvikling Intern udvikling Definition En handling eller gruppe af handlinger der bidrager til tilvejebringelsen af en ydelse/leverance/produkt. Den tid, der anvendes på en sag/sagstype. Mængden af finansielle midler/ressourcer der anvendes for at opnå en given aktivitet, ydelse og/eller produkt. De leverancer/indsatser institutionen leverer til sine omgivelser. Output er måden institutionen prøver at påvirke det omgivende samfund eller konkrete brugere/ borgere på. De virkninger institutionen prøver at opnå på sine omgivelser med sine output. Der kan skelnes mellem samfundsmæssige effekter (generelle effekter) og effekter for brugere/ borgere (specifikke effekter). Ved kvalitet forstås graden af overensstemmelse mellem borgernes/brugernes forventninger og oplevelse i forhold til proces, resultat og effekt i mødet med den offentlige institution samt graden af overensstemmelse mellem proces, resultat og effekt og faglige standarder herfor. Ved ekstern udvikling forstås udviklingsprojekter og andre opgaver; som ikke er omfattet af ovenstående kategorier; som ikke vedrører institutionens slutprodukter, og hvor det fremgår af kontrakten eller sammenhængen i øvrigt, at opgavens udførelse indgår direkte i opfyldelsen af eksterne krav til institutionen, fra fx departementet, EU-krav eller lovgivning. Ved intern udvikling forstås udviklingsprojekter og andre opgaver; som ikke er omfattet af ovenstående kategorier; som ikke vedrører institutionens slutprodukter, og som retter sig imod institutionens interne forhold, dvs. hvor det ikke direkte fremgår, at udførelsen af opgaven indgår direkte i opfyldelsen af eksterne krav til institutionen. I boks er der på baggrund af de gennemgåede resultatkontrakter givet en lang række eksempler på de forskellige resultatkravstyper. For så vidt angår eksempler på outcome (effekt) er disse yderligere uddybet i kapitel 5. Mål og resultatkrav i staten med fokus på effekt 16

17 Resultatkravtyper definition, eksempler og fordeling Boks 3.2 Aktivitet eksempler Miljøstyrelsen resultatkontrakt 2009 Miljøstyrelsen har lavet forarbejde til at kunne fremsætte et lovforslag om kemikalieloven, og udkast til ændring af bekendtgørelsen, således det kan sendes i høring inden februar Energistyrelsen resultatkontrakt Senest den 30. september 2009 skal beregnings- og analysegrundlaget [for regeringens klimastrategi] være færdiggjort, således det kan danne baggrund for, at der til departementet kan fremsendes et oplæg om ny klimastrategi. Den Danske Filmskole resultatkontrakt Institutionen udarbejder i fællesskab med øvrige uddannelsesinstitutioner under Kulturministeriet en årlig rapport om beskæftigelsessituationen for de færdiguddannede fra institutionerne. Boks 3.3 Sagsbehandlingstid eksempler Statens Luftfartsvæsen resultatkontrakt Den maksimale behandlingstid for driftstilladelser er 35 arbejdsdage. Den gennemsnitlige behandlingstid for driftstilladelser er 20 arbejdsdage. Lægemiddelstyrelsen resultatkontrakt 2009 Hurtig behandling af nationale sager om godkendelse af lægemidler (fuld ansøgning). Målet er opfyldt, hvis mindst 90 pct. af ansøgningerne er behandlet inden for 275 dage. Målet er delvist opfyldt, hvis mindst 70 pct. af ansøgningerne er behandlet inden for 275 dage. Målet er ikke opfyldt, hvis under 70 pct. af ansøgningerne er behandlet inden for 275 dage. Arbejdsdirektoratet resultatkontrakt 2009 Gennemsnitlig samlet sagsbehandlingstid for klagesager, feriesager og EØS-sager er 2,7 uger. Endvidere intervalkrav for de individuelle sagsbehandlingstider. Boks 3.4 Produktivitet eksempler Naturklagenævnet resultatkontrakt Produktivitet i 2008: 80 sager/ac årsværk. Produktiviteten for almindelige plansager målt som antal afgørelser pr. sagsbehandlerårsværk forøges i forhold til 2007 med 0 pct., 10 pct. i 2009 og 10 pct. i 2010, svarende til en produktivitetsforbedring i perioden på i alt 20 pct. Militærnægteradministrationen resultatkontrakt 2009 De administrative omkostninger til driften af Militærnægteradministrationen skal reduceres med ca. 2 pct. i forhold til budgettet i 2008 på 5,5 mio. kr. Statsbiblioteket i Århus resultatkontrakt Procesomkostninger pr. udlån må ikke overstige gennemsnittet af omkostningerne de tre foregående år. Finanstilsynet resultatkontrakt Medianen for de realiserede enhedsomkostninger pr. inspektion er maksimalt 200 timer for inspektioner af virksomheder under tilsyn. Mål og resultatkrav i staten med fokus på effekt 17

18 Resultatkravtyper definition, eksempler og fordeling Boks 3.5 Output (produkt/ydelse) eksempler Sikkerhedsstyrelsen resultatkontrakt 2009 Der gennemføres 200 driftstilsyn i Designskolen i Kolding resultatkontrakt Der er gennemført markedsføringstiltag, der er målrettet en forbedring af beskæftigelsessituationen Sundhedsvæsenets Patientklagenævn resultatkontrakt I 2008 reduceres antallet af sager fra før 2007 væsentligt. Målet er opfyldt tilfredsstillende, hvis antallet af sager fra før 2007 reduceres med 80 pct. Målet er på vej til at blive opfyldt, hvis antallet af sager fra før 2007 reduceres med 70 pct. Målet er ikke tilfredsstillende opfyldt, hvis antallet af sager fra før 2007 reduceres med mindre end 70 pct. KREVI resultatkontrakt 2009 KREVI har afrapporteret resultater fra 16 projekter eller delprojekter. Afrapporteringen indeholder i alle tilfælde et skriftligt produkt. Nationalmuseet resultatkontrakt I perioden viser Nationalmuseet 1 årlig særudstilling i Egmonthallen samt 8 mindre særudstillinger i PP eller Jelling (minimum 1 pr. år). I de år hvor museet åbner permanente udstillinger, sidestilles dette med en særudstilling i Egmonthallen. Boks 3.6 Outcome (effekt) eksempler Dansk Jagt- og Skovbrugsmuseum resultatkontrakt Besøgstallet hos Jagt- og Skovbrugsmuseet er min i hvert af årene 2008, 2009, 2010 og SKAT resultatkontrakt 2009 Andelen på fejllister ud af det samlede antal lønmodtagere er under 1 pct. for indkomståret 2009 opgjort pr. 31. december Fødevarestyrelsen resultatkontrakt Færre brådne kar blandt fødevarevirksomheder: I 2009 skal andelen af fødevarevirksomheder, der ved de sidste 4 kontrolbesøg har fået anmærkninger ved 3 eller 4 besøg, falde i forhold til 2008 til max 5,0 pct. Det Kongelige Bibliotek resultatkontrakt Minimum 60 pct. samlet brugertilfredshed i 2007 med en årlig stigning i tilfredshedsprocenten på 5 procentpoint. Kunstakademiets Konservatorskole resultatkontrakt Gennemførelsesprocenten inden for normeret studietid plus 1 år på kandidatuddannelsen skal være mindst 80 procent. Mål og resultatkrav i staten med fokus på effekt 18

19 Resultatkravtyper definition, eksempler og fordeling Boks 3.7 Kvalitet eksempler Naturklagenævnet resultatkontrakt pct. af alle telefonopkald resulterer i aktiv service (dvs. at man får kontakt til medarbejder, mulighed for at lægge telefonbesked eller bliver omstillet til relevant institution). Beredskabsstyrelsen resultatkontrakt 2009 De værnepligtige skal være uddannet bedst muligt til at kunne indgå i redningsberedskabet såvel i tjenestetiden som efter aftjent værnepligt i 48-timers beredskabet, eller som frivillig eller ansat redningsberedskabet. UNI-C resultatkontrakt Forskningsnet driftsstabilitet: Forskningsnettets backbone produktionsservice har en driftseffektivitet på 99,5 pct. By- og Landskabsstyrelsen resultatkontrakt 2009 Ministersager (røde og grønne sager) forelægges rettidigt og opfylder formkrav. Færdselsstyrelsen resultatkontrakt Vilkårene (i koncession og licenser m.v.) for adgang til markedet for post-virksomheder skal være kendt i god tid før markedsåbning. Boks 3.8 Ekstern udvikling eksempler Universitets- og Bygningsstyrelsen resultatkontrakt 2009 Staten regulerer universiteternes virksomhed gennem en række krav og påbud, økonomiske instrumenter og dialog. Som opfølgning på debatten om universiteternes frihedsgrader gennemfører Universitets- og Bygningsstyrelsen i 2009 en proces i dialog med universiteterne med henblik på regelforenkling på uddannelsesområdet. Familiestyrelsen resultatkontrakt 2009 Familiestyrelsen udarbejdet i 2009 et undervisningskoncept og stiller forskellige undervisningstilbud til rådighed for statsforvaltningerne og eventuelle andre interessenter. Kulturarvsstyrelsen resultatkontrakt Der implementeres en ny arbejds- og ansvarsdeling mellem departement og styrelse i relation til de statslige museer. Rytmisk musikkonservatorium resultatkontrakt Fælles kandidatuddannelse på lydtekniker-/tonemester-området i samarbejde med DKDM er igangsat. Mål og resultatkrav i staten med fokus på effekt 19

20 Resultatkravtyper definition, eksempler og fordeling Boks 3.9 Intern udvikling eksempler Danmarks Evalueringsinstitut (EVA) resultatkontrakt 2008 EVA udvikler politik for mangfoldighed og ligestilling på arbejdspladsen, som integreres i en revideret personalepolitik. Farvandsvæsenet resultatkontrakt 2008 Der skal foreligge individuelle udviklingsplaner for alle medarbejdere, som har haft ansættelse ved myndigheden i mere end 12 måneder. Planerne skal justeres minimum en gang om året i forbindelse med afholdelse af de årlige medarbejderudviklingssamtaler. Sorø Akademi resultatkontrakt 2009 Løbende inddragelse af eleverne i dialog om forbedringer i skolemiljøet. Landsskatteretten resultatkontrakt Landsskatteretten skal i 2012 foretage en samlet evaluering af strategiplanen for Den samlede fordeling af resultatkravstyper, 2009 Med udgangspunkt i de definerede kategorier er der foretaget en kortlægning af hvilke typer resultatkrav, der anvendes i resultatkontrakterne. Formålet med dette er at give en indikation af, hvor styringsfokus ligger. Anvendelsen af de forskellige typer af resultatkrav i 2009 fremgår af figur 3.1. Det bemærkes, at aktiviteter klart udgør den største andel af samtlige resultatkrav. Med 49 pct. udgør aktivitetsorienterede resultatkrav således næsten halvdelen af alle resultatkrav i I betragtning af det ønskede fokus på eksternt rettede mål og resultatkrav herunder output-, kvalitets- og effektorienterede resultatkrav der er udtrykt i såvel Effektiv opgavevaretagelse i staten som Ansvar for styring vejledning om styring fra koncern til institution er der rum til forbedring i forhold til dette. Det skal dog også bemærkes, at kvalitets- og effektorienterede resultatkrav er de næstmest anvendte resultatkravstyper, idet de hver udgør ca. 15 pct. af de samlede resultatkrav i 2009-opgørelsen. Mål og resultatkrav i staten med fokus på effekt 20

21 Resultatkravtyper definition, eksempler og fordeling Figur 3.1 Fordelingen af resultatkrav i resultatkontrakterne for % 3% 10% 50% 15% Sagsbehandlingstid produktivitet Output Effekt Kvalitet Ekstern udvikling Intern Udvikling Aktivitet 3% 3% 15% Det er værd at notere, at anvendelsen af effektkrav hovedsageligt er drevet af de institutioner, der selv kategoriserer deres resultatkravstype. I institutioner, der selv kategoriserer resultatkravene i deres resultatkrav, udgør effektkrav omkring 22 pct. af institutionernes samlede resultatkrav. I institutioner, der ikke selv kategoriserer resultatkravene i deres resultatkontrakt, udgør effektkrav kun lidt over 10 pct. af institutionernes samlede resultatkrav. Det svarer til, at godt 60 pct. af effektkravene i hele 2009-opgørelsen er hentet fra resultatkontrakter, der relaterer til institutioner, som selv kategoriserer deres resultatkrav, jf. tabel 3.1. Denne fordeling kan tolkes som en indikation af, at man i institutioner hvor man selv angiver resultatkravstypen er mere bevidst om de typer af resultatkrav, der anvendes, og at man som følge heraf har større fokus på effekt. Det kan imidlertid også være udtryk for en fejlagtig opfattelse af effektbegrebet. Som det vil fremgå af kapitel 6, fører en validering af disse effektkrav til, at en ikke uvæsentlig del af kravene ikke kan kategoriseres som sådan. Tabel 3.1 Andelen af effektkrav i institutioner, der selv definerer typen af resultatkrav, 2009 Definerer selv resultatkravene Definerer ej resultatkravene Antal krav Antal krav der er effektkrav Andel krav der er effektkrav (pct.) 22,2 10,4 Effektkravenes andel af den totale mængde effektkrav (pct.) 59,6 40,4 Note. De ministerier, hvor størstedelen af institutionerne selv har kategoriseret de enkelte resultatkrav, er Økonomi- og Erhvervsministeriet, Finansministeriet, Forsvarsministeriet, Indenrigs- og Socialministeriet, Miljøministeriet, Ministeriet for Fødevarer, Fiskerig og Landbrug samt Transportministeriet. Mål og resultatkrav i staten med fokus på effekt 21

22 Resultatkravtyper definition, eksempler og fordeling 3.4. Fordeling af resultatkravstyper på de enkelte ministerområder I dette afsnit vil der blive fokuseret på, hvordan de forskellige resultatkravstyper anvendes inden for de enkelte ministerområder for Tabel 3.2 viser de enkelte ministerområders anvendelse af de forskellige resultatkravstyper. Fordelingen er endvidere illustreret i en række lagkage diagrammer, som er vist i et appendiks til dette kapitel. Tabel 3.2 Fordeling af resultattyper på de enkelte ministerområder, 2009 Pct. Aktivitet Sagsbehandlingstid Produktivitet Output Outcome (effekt) Kvalitet Ekstern udvikling Intern udvikling Udenrigsministeriet 0,0 23,1 7,7 53,8 0,0 0,0 15,4 0,0 Finansministeriet 49,5 0,9 1,4 3,8 21,2 20,8 0,9 1,4 Økonomi- og Erhvervsministeriet 42,2 0,0 4,5 0,8 28,8 22,6 0,8 0,3 Skatteministeriet 34,4 0,0 0,0 3,1 37,5 0,0 0,0 25,0 Justitsministeriet 57,5 5,0 0,0 17,5 15,0 0,0 5,0 0,0 Forsvarsministeriet 31,1 0,0 16,2 6,8 9,5 29,7 1,4 5,4 Indenrigs- og Socialministeriet 41,1 0,0 0,9 8,4 33,6 8,4 0,0 7,5 Ministeriet for sundhed of forebyggelse 52,6 3,5 2,6 20,2 6,1 9,6 1,8 3,5 Beskæftigelsesministeriet 30,9 1,0 9,3 11,3 41,2 5,2 0,0 1,0 Integrationsministeriet 65,5 3,4 0,0 3,4 13,8 13,8 0,0 0,0 Ministeriet for Videnskab, Teknologi og Udvikling 48,8 0,5 1,0 21,0 13,2 7,5 4,4 3,4 Undervisningsministeriet 57,7 1,2 0,6 12,5 13,7 3,0 3,0 8,3 Kulturministeriet 63,9 0,7 0,8 12,8 5,8 4,9 5,6 5,4 Miljømisteriet 53,3 1,2 1,2 9,7 5,9 28,7 0,0 0,0 Ministeriet for Fødevare, Landbrug og Fiskeri 14,4 0,0 14,4 0,0 19,9 49,3 1,4 0,7 Transportministeriet 32,8 4,0 9,6 7,3 15,3 24,9 2,3 4,0 Klima- og Energiministriet 48,7 0,0 1,3 10,5 19,7 10,5 5,3 3,9 I alt 48,8 1,5 3,2 10,5 14,8 15,1 2,7 3, Aktivitet Som nævnt er aktivitet klart den mest benyttede resultatkravstype. Med undtagelse af Udenrigsministeriet, som ikke benytter kategorien, og Ministeriet for Fødevare, Landbrug og Fiskeri hvor aktivitetskravene kun udgør omkring 15 pct. er alle ministerområder kendetegnet ved, at aktivitetskrav minimum udgør 30 pct. af deres samlede antal resultatkrav. Modstykket til den lille andel af aktivitetskrav, der anvendes i Ministeriet for Fødevare, Landbrug og Fiskeri er, at ministerområdet i stedet er kendetegnet ved Mål og resultatkrav i staten med fokus på effekt 22

23 Resultatkravtyper definition, eksempler og fordeling anvendelsen af effektorienterede og kvalitetsorienterede resultatkrav dvs. resultatkrav, der er eksternt rettede. Indenfor 6 ministerområder udgør aktivitetskrav over 50 pct. af ministerområdets samlede resultatkrav. Ministerområderne er: Integrationsministeriet, Kulturministeriet, Justitsministeriet, Miljøministeriet, Ministeriet for Sundhed og Forebyggelse samt Undervisningsministeriet. På de to førstnævnte ministerområder udgør andelen af aktivitetskrav op imod 2/ Sagsbehandlingstid Den samlede andel af resultatkrav, der er kategoriseret som sagsbehandlingstid, er på 1 pct. Den lille andel kan i meget høj grad tilskrives, at sagsbehandlingstid i forbindelse med kodningen er blevet betragtet som en effektindikator for institutionerne, idet sagsbehandlingstiden afspejler den virkning, som sagsbehandlingen tidsmæssigt har for institutionens brugere/borgere. Kategoriseringen som effektkrav er sket for institutioner, hvor sagsbehandling udgør en essentiel del af institutionens opgaveportefølje det vil typisk sige institutioner, hvor sagsbehandling er beskrevet som en del af institutionens mission og/eller vision. Grundet denne ændring, er det fortrinsvis inden for Udenrigsministeriets og Justitsministeriets ressort, der er kendetegnet ved anvendelsen af resultatkravstypen sagsbehandlingstider Produktivitet Anvendelsen af resultatkrav vedrørende produktivitet er meget spredt. Integrationsministeriet, Justitsministeriet og Skatteministeriet bruger overhovedet ikke denne resultatkravstype i deres resultatkontrakter. Inden for 7 ministerområder er anvendelsen af resultatkrav vedrørende produktivitet mellem ½ og 2 pct. af de samlede resultatkrav på de pågældende ministerområder. Disse ministerområder er: Finansministeriet, Indenrigs- og Socialministeriet, Klimaog Energiministeriet, Kulturministeriet, Miljøministeriet, Ministeriet for Videnskab, Teknologi og Udvikling samt Undervisningsministeriet. Forsvarsministeriet ressort er entydigt det område, hvor resultatkravstypen er mest udbredt, idet godt 15 pct. af ministerområdets resultatkrav omhandler produktivitet. Ministeriet for Fødevare, Landbrug og Fiskeri anvender imidlertid også resultatkravs typen i stort omfang, idet knap 15 pct. af ministerområdets resultatkrav omhandler produktivitet. Mål og resultatkrav i staten med fokus på effekt 23

24 Resultatkravtyper definition, eksempler og fordeling Output (produkt/ydelse) Kun på ét ministerområde, anvendes outputorienterede resultatkrav overhovedet ikke. Det gælder Ministeriet for Fødevare, Landbrug og Fiskeris ministerområde. Det kan imidlertid skyldes, at man på ministerområdet gør stor anvendelse af effektorienterede og kvalitetsorienterede resultatkrav. Økonomi- og Erhvervsministeriet har også kun en lille andel af outputorienterede resultatkrav på omkring 1 pct. Knap ½ af ministerområderne fordeler sig jævnt i intervallet fra 3 til 10 pct. Det gælder Finansministeriet, Forsvarsministeriet, Indenrigs- og Socialministeriet, Integrationsministeriet, Miljøministeriet, Skatteministeriet, samt Transportministeriet. En tilsvarende gruppe af ministerområder fordeler sig jævnt i intervallet fra 10 til godt 20 pct. Det gælder Beskæftigelsesministeriet, Justitsministeriet, Klima- og Energiministeriet, Ministeriet for Sundhed og Forebyggelse, Kulturministeriet, Ministeriet for Videnskab, Teknologi og Udvikling samt Undervisningsministeriet. Udenrigsministeriets ressort skiller sig markant ud ved at have over halvdelen af deres resultatkrav som outputorienterede krav. To forhold bør bemærkes i den forbindelse. For det første er kun én resultatkontrakt fra Udenrigsministeriets ministerområde inkluderet i opgørelsen. Derudover er der hverken anvendt kvalitetsorienterede eller effektorienterede resultatkrav på Udenrigsministeriets ministerområde Outcome (effekt) Fordelingen af outcome (effekt) på ministerområder viser, at der er usædvanlig stor forskel mellem de enkelte ministerier. Fordelingen spænder fra Beskæftigelsesministeriet, Skatteministeriet og Indenrigs- og Socialministeriet, hvor effektkravene udgør mere end 1/3 af samtlige resultatkrav til Udenrigsministeriet, som slet ikke anvender effektkrav. I afsnit 5.3. er fordelingen af effektkrav på ministerområder nærmere beskrevet og kommenteret Kvalitet Anvendelsen af kvalitetskrav er ligeledes meget forskelligartet. Opgørelsen indikerer, at Justitsministeriet, Skatteministeriet og Udenrigsministeriet ikke gør brug af kvalitetskrav. Beskæftigelsesministeriet, Kulturministeriet og Undervisningsministeriet gør kun i ringe omfang brug af kvalitetskrav, nemlig med 3 til 5 pct. af samtlige resultatkrav. Mål og resultatkrav i staten med fokus på effekt 24

25 Resultatkravtyper definition, eksempler og fordeling Kvalitetskrav bliver brugt i begrænset omfang i Indenrigs- og Socialministeriet, Ministeriet for Sundhed og Forebyggelse, Integrationsministeriet, Klima- og Energiministeriet samt Ministeriet for Videnskab, Teknologi og Udvikling, hvor andelen udgør fra 7 til 14 pct. Kvalitetskrav bliver modsat anvendt i betydeligt omfang inden for Finansministeriet, Forsvarsministeriet, Miljøministeriet, Transportministeriet samt Økonomi- og Erhvervsministeriet. Inden for disse ministerområder udgør kvalitetskrav mellem 20 og 30 pct. af alle resultatkrav på det enkelte ministerområde. Ministeriet for Fødevare, Landbrug og Fiskeri skiller sig ud, idet halvdelen af alle ministerområdets resultatkrav er kvalitetskrav. Som tidligere nævnt skal dette ses i sammenhæng med en relativ beskeden brug af aktivitetskrav Ekstern udvikling Anvendelsen af resultatkrav, der omhandler ekstern udvikling, varierer kun lidt på tværs af ministerområderne. Alle ministerområder på nær ét befinder sig i intervallet fra 0 til 6 pct. Udenrigsministeriet skiller sig ud, idet godt 15 pct. af resultatkravene omhandler ekstern udvikling. Igen skal der gøres opmærksom på, at Udenrigsministeriet kun er repræsenteret med én resultatkontrakt i opgørelsen Intern udvikling Fordelingen for intern udvikling minder til dels om ekstern udvikling, dog er spredningen noget større. Indenrigsministeriet og Undervisningsministeriet ligger på omkring 8 pct. Justitsministeriet, Integrationsministeriet, Miljøministeriet og Udenrigsministeriet benytter ikke resultatkravstypen. Det er bemærkelsesværdigt, at Skatteministeriet har en så stor andel i forhold til de andre ministerområder, idet 1/4 af resultatkravene på ministerområdet vedrører intern udvikling Udviklingen i sammensætningen af resultatkravstyperne, For at opnå en indikation af udviklingen i det styringsfokus, der har kendetegnet staten i den seneste årrække, er det interessant at se på udviklingen i den relative fordeling af de forskellige resultatkravstyper. Mål og resultatkrav i staten med fokus på effekt 25

26 Resultatkravtyper definition, eksempler og fordeling Finansministeriets og Økonomistyrelsens datamateriale giver mulighed for at foretage en sammenligning mellem anvendelsen af de forskellige resultatkravstyper i 2002, 2006 og Idet opgørelserne har haft forskellige formål i de tre år, er der også forskel på antallet af kategorier, der er kodet ud fra i de enkelte år. I enkelte tilfælde er der derfor behov for at lægge to eller flere kategorier sammen for at kunne foretage konsistent analyse over tid, jf. tabel 3.3. Som det fremgår, er de fleste kategorier imidlertid gennemgående i de tre undersøgelsesår. Tabel 3.3 Kategorier fra 2002, 2006 og 2009 der sammenlignes med hinanden Kategorier fra 2006 Kategorier fra 2002 Kategorier fra 2009 Sagsbehandlingstider = Tid Sagsbehandlingstider Produktivitet = Produktivitet Produktivitet Output = Output Output Aktivitet Kvalitet = Kvalitet Kvalitet Outcome (Effekt) = Outcome (Effekt) Outcome (Effekt) Ekstern udvikling = Ekstern udvikling Ekstern udvikling Intern udvikling = Intern udvikling Intern udvikling Øvrige = Kundetilfredshed Marked Økonomi Restkategori Kategorien aktivitet er først anvendt i Årsagen til at kategorien introduceres er, at institutioner, der selv kategoriserer resultatkravene i deres resultatkontrakter, har anvendt denne kategori i stort omfang. For at muliggøre sammenligning over årene, er det imidlertid nødvendigt at lægge den sammen med en af de kategorier, der er anvendt i de øvrige år. Ser man på indholdet af de aktivitetsorienterede resultatkrav, er der størst lighed med resultatkravene, der i 2002 og 2006 er kodet som output. Derfor er kategorierne aktivitet og output i 2009-opgørelsen lagt sammen. Som det fremgår af tabel 3.3 er der også forskel i anvendelsen af kategorien Øvrige. Forskellen er imidlertid så stor, at man ikke med rette kan foretage en egentlig sammenlign af denne kategori. Som tidligere nævnt er resultatkrav af typen sagsbehandlingstid i mange tilfælde kategoriseret som effektkrav i 2009 i modsætning til tidligere. Hertil kommer som nævnt foran den redefinering af effektbegrebet, som også har haft konsekvenser for kodningen af effektkrav. Redefineringen af effektbegrebet betyder et større overlap mellem kategorierne kvalitet og outcome (effekter) i 2009 sammenlignet med tidligere. Begge forhold påvirker naturligvis udviklingen i resultatkravene over tid for specielt outcome (effekter) som sagsbehandlingstider. Mål og resultatkrav i staten med fokus på effekt 26

27 Resultatkravtyper definition, eksempler og fordeling Med udgangspunkt i ovenstående ser udviklingen i anvendelsen af de forskellige resultatkravstyper ud som angivet i figuren nedenfor. Figur 3.2 Udviklingen i resultatkravstyper, ,0% 60,0% 50,0% 40,0% 30,0% ,0% 10,0% 0,0% produktivitet Sagsbehandlingstider Output Kvalitet Outcome Ekstern udvikling Intern udvikling Øvrige Det markante fald i antallet af resultatkrav, der er orienteret mod intern udvikling, som ses i perioden , og som er fortsat frem til 2009, kan have sammenhæng med udgivelsen af Finansministeriets publikation Effektiv opgavevaretagelse i staten i I publikationen blev der lagt op til, at man skulle flytte fokus i resultatkontrakterne fra intern styring til styring ud fra eksterne forhold, som fx output, outcome (effekt) og kvalitet. Stigningen i antallet af kvalitetsorienterede resultatkrav kan ligeledes ses som en afledt effekt af det arbejde, der lå forud for lanceringen af kvalitetsreformen samt selve lanceringen af kvalitetsreformen. Stigningen i output-orienterede resultatkrav kan til dels tolkes som en indikation af, at udmeldingen om større fokus på eksternt rettede mål og resultatkrav i Effektiv opgavevaretagelse i staten, har haft en effekt. Udviklingen fra kan imidlertid også tolkes som det slør, der opstår ved at lægge kategorierne aktivitet og output sammen. Hvor stor en del af udviklingen, der er forårsaget af heraf, er imidlertid ikke muligt at vurdere. Andelen af effektkrav er steget fra omkring ½ pct. i 2002 til 4 pct. i 2006 og 15 pct. i Den markante stigning fra 2006 til 2009 kan formentlig i høj grad tilskrives den ændrede kategorisering af resultatkrav vedrørende sagsbehandlingstid samt effektkrav mere generelt. Denne ændring forklarer også, hvorfor figur 4.2 indikerer et fald i anvendelsen af resultatkrav vedrørende sagsbehandlingstid i tidsrummet mellem Mål og resultatkrav i staten med fokus på effekt 27

28 Resultatkravtyper definition, eksempler og fordeling Appendiks. Ministerområdernes fordeling af resultatkrav, Beskæftigelsesministeriet Finansministeriet Forsvarsministeriet v Integrationsministeriet Justitsministeriet Klima- og Energiministeriet Kulturministeriet Miljøministeriet Ministeriet for fødevare, landbrug og Fiskeri Sagsbehandlingstid Output Kvalitet Ekstern Produktivitet Outcome Udvikling Intern Udvikling Aktivitet Mål og resultatkrav i staten med fokus på effekt 28

29 Resultatkravtyper definition, eksempler og fordeling Ministeriet for Sundhed of forebyggelse Ministeriet for Videnskab, Teknologi og Udvikling Skatteministeriet Transportministeriet Udenrigsministeriet Undervisningsministeriet Indenrigs- og Socialministeriet Økonomi- og Erhvervsministeriet Sagsbehandlingstid Output Kvalitet Ekstern Produktivitet Outcome Udvikling Intern Udvikling Aktivitet Mål og resultatkrav i staten med fokus på effekt 29

30 Resultatkrav og opgavetyper 4. Resultatkrav og opgavetyper 4.1. Opgavetyper og styringsbehov Statens institutioner har forskellige styringsbehov. Dette udmønter sig i, at kontraktstyringen også nødvendigvis må anvendes forskelligt, alt efter institutionernes forskellige karakteristika. Det er derfor interessant at få undersøgt nærmere, hvorvidt der er en sammenhæng mellem resultatkravene i kontrakten og de vilkår og opgavetyper, som kendetegner institutionen. I forbindelse med Økonomistyrelsens Koncept for God økonomistyring 2 introducerede Økonomistyrelsen 5 overordnede opgavetyper, der samlet dækker langt de fleste opgaver, der varetages af statens institutioner og departementer. De 5 opgavetyper er: Sagsbehandling Vidensproduktion Offentlige serviceydelser Rådgivning og tilsyn Beredskab materielt og vidensmæssigt Fordelen ved sondringen mellem forskellige opgavetyper frem for fx forskellige institutionstyper er, at det tillader en accept af, at statens institutioner og departementer er komplekse, og med komplekse opgaveporteføljer. Mange institutioner varetager med andre ord mere end en opgavetype. Fx vil et universitet producere såvel offentlige serviceydelser (undervisning) som viden (forskning). Det mest almindelige er, at en institution varetager flere typer af opgaver, der hver for sig kan henføres til to eller flere af de oven for nævnte kategorier, jf. afsnittet nedenfor. Der findes også institutioner, fx klage- og ankenævn, der kun har en opgavetype. I dette tilfælde er opgavetypen sagsbehandling. Styringsbehovet, der affødes ved varetagelsen af én opgavetype, er ikke nødvendigvis det samme som styringsbehovet, der affødes ved varetagelsen af en anden opgavetype. Som nævnt indledningsvis betyder det ligeledes, at definitionen af effekt er afhængig af opgavetypen, der måles på. Der er eksempelvis forskel på den type effekt, man vil opnå med en beredskabsopgave og den effekt man vil opnå med varetagelsen af rådgivning og tilsyn. 2 Koncept for God økonomistyring, Mål og resultatkrav i staten med fokus på effekt 30

31 Resultatkrav og opgavetyper Neden for er der givet en kort omtale af de enkelte opgavetyper. Der foreligger imidlertid ingen tilgængelig opdeling af de statslige institutioner efter opgavetyper. Økonomistyrelsen har derfor foretaget en præliminær gruppering af statens institutioner med det formål at kunne analysere: sammenfald mellem resultatkravstyper og opgavetyper hvordan kompleksiteten af opgaveporteføljet påvirker omfanget af resultatkontrakten Institutionerne fordelt på opgavetyper Sagsbehandling Institutioner med sagsbehandling har som primær opgave at træffe afgørelser i fx klage- og ankesager, udstede autorisationer eller forvaltningsakter; herunder at udstede tilladelser. Til denne gruppe hører også institutioner, som tildeler tilskud på baggrund af ansøgning. Disse institutioner er typisk kendetegnet ved en høj grad af homogenitet i produktionen. Ofte er der tale om stykproduktion. Typiske egenskaber er, at de har indrettet sig med standardiserede og automatiserede forretningsgange. Det vil sige, at produktionsprocesserne på tværs i organisationen er forholdsvis ensartede. Et fokusområde er på kvaliteten af de afgørelser, der træffes Vidensproduktion Disse institutioner leverer forskellige former for fagligt input til diverse beslutningsprocesser. Det kan være institutioner, hvor produktionen af viden retter sig mod deres egne behov. Det kan være institutioner, hvis primære opgave er at producere viden til det omgivende samfund. Enten i form af viden, som stilles til rådighed for andre offentlige myndigheder (fx departementer), eller viden, der anvendes af den private sektor, fx i erhvervene eller hos virksomheder og borgere. I nogle tilfælde sælges denne viden. I andre tilfælde formidles den generelt ud ofte med et oplysende formål. De produktionsprocesser, der karakteriserer varetagelsen af denne type opgaver, er ganske komplicerede og vil næppe kunne standardiseres på tværs af institutionen. En fællesnævner vil dog ofte være, at sådanne institutioner i en eller anden udstrækning anvender projektarbejdsformen. Mål og resultatkrav i staten med fokus på effekt 31

32 Resultatkrav og opgavetyper Offentlige serviceydelser En stor del af de statslige institutioner producerer offentlige serviceydelser. Ydelserne tildeles enten som følge af et retskrav eller på baggrund af en aktiv tilkendegivelse fra brugeren. Ydelserne er for det meste gratis at efterspørge, men i nogle tilfælde betales der en form for brugerbetaling. Produktionen foregår inden for mange sektorer. Fx uddannelsessektoren (undervisning), den sociale sektor, og den kulturelle sektor. Herudover leverer statslige institutioner serviceydelser til erhvervslivet. Det afgørende for denne type institution er, at produktionen af ydelserne indebærer et kundekontaktforhold. Det er fx mødet med kunden, der har betydning for den selvoplevede kvalitet af ydelsen. Dette har betydning for, hvordan produktionen tilrettelægges og afsætningen organiseres. De fleste områder er kendetegnet ved forholdsvis homogene produkter. Der er dog undtagelser herfra, fx er produktion af sociale ydelser ofte individuelt tilpassede Rådgivning og tilsyn Institutioner, der varetager denne opgavetype, har til formål at føre tilsyn med den offentlige forvaltning eller med borgere og private virksomheder som led i en myndighedsudøvelse. Ofte er tilsynsaktiviteten kombineret med rådgivning. Grundlæggende skal de pågældende myndigheder sikre, at lovgivningen på de forskellige områder implementeres og overholdes. Arbejdsprocesserne hos disse institutioner er almindeligvis forskellige fra institution til institution. I nogle institutioner er processen ren administrativ fx på baggrund af indberetninger. I andre tilfælde er processen primært organiseret gennem opsøgende aktiviteter fx kontrolbesøg. Institutioner, hvor rådgivnings- og vejledningsaktiviteter spiller en væsentlig rolle, udøves tilsynet ofte som en form for selvkontrol hos den enhed, der er under tilsyn. Uanset hvordan tilsynet er organiseret, har disse institutioner mange lighedstræk med hensyn til produktionstilrettelæggelse og forretningsgange Beredskab materielt og vidensmæssigt Disse institutioners primære opgave er at stille et beredskab med en given kapacitet til rådighed med henblik på varetagelse af bestemte formål. I denne sammenhæng fokuseres hovedsageligt på materielt beredskab. Der kan imidlertid også være tale om vidensmæssigt beredskab fx i forbindelse med ministerbetjening. På flere samfundsområder har det offentlige opbygget et beredskab, der kan trækkes på i tilfældet af, at bestemte og ofte uforudsete samfundsmæssige situationer indtræffer. Institutioners kerneproduktion er kendetegnet ved, at arbejdsmængden Mål og resultatkrav i staten med fokus på effekt 32

33 Resultatkrav og opgavetyper ofte er stærkt varierende, svær at forudsige og opgaverne er ofte forskelligartede. Der stilles store krav til en fleksibel produktionskapacitet. Som nævnt er det Økonomistyrelsen, der har foretaget fordelingen på opgavetyper. Det er sket på baggrund af det særlige kendskab til statens institutioner, som styrelsen gennem årene har erhvervet. Der er således et subjektivt element i fordelingen. I tabel 4.1 er vist, hvorledes de institutioner, der indgår i 2009-undersøgelsen, fordeler sig på opgavetyper. Det skal i den sammenhæng igen understreges, at en institution godt kan have flere opgavetyper. Det ses af tabellen, at knap ¾ af de institutioner, der indgår i undersøgelsen, producerer offentlig serviceydelser. Endvidere varetager 30 pct. af institutionerne såvel sagsbehandling, vidensproduktion som rådgivning og tilsyn. Beredskabsopgaver er den opgavetype, der er klart mindst præsenteret. Tabel 4.1 Antal institutioner med de definerede opgavetyper Sagsbehandling Vidensproduktion Offentlig serviceydelser Rådgivning og tilsyn Beredskab Fordelingen af resultatkrav efter institutionernes opgavetyper De statslige institutioners produktionsvilkår og deres kontakt med kunder og marked er meget forskellig. Dette afspejler sig også i institutionernes forskellige opgavetyper. Formodningen må derfor være, at typen af resultatkrav i kontrakterne adskiller sig på en synlig måde. Således må det antages, at institutioner med sagsbehandling typisk vil anvende resultatkrav, der relaterer sig til outcome (effekt), kvalitet og produktivitet. Det skal i den forbindelse erindres, at hovedparten af de krav, der relaterer sig til sagsbehandlingstider, har et eksternt sigte, idet de retter sig mod betydningen for kunden. På den baggrund forventes outcome (effekt) at veje tungt til. Modsat måtte man antage, at krav, der var formuleret i forhold til output og aktivitet, udgjorde en mindre andel. Når det drejer sig om institutioner med vidensproduktion, er formodningen, at disse primært har resultatkrav af typen aktiviteter, ekstern udvikling og effekt. For institutioner, der producerer viden, er det afgørende, at de til stadighed vedligeholder deres viden og ressourcer, hvilket må formodes at kræve en række interne Mål og resultatkrav i staten med fokus på effekt 33

34 Resultatkrav og opgavetyper aktiviteter/intern udvikling. Omvendt må man umiddelbart antage, at sagsbehandlingstider og produktivitet næppe spiller nogen nævneværdig rolle for den type af institution. Institutioner med opgavetypen offentlige serviceydelser må formodes at lægge vægt på resultatkrav, der relaterer sig til output og kvalitet. For disse institutioner spiller kontakten til kunden en stor rolle. Effektkrav kan også komme på tale, når institutionen leverer til et marked, hvor effekten så kan opgøres i forhold til markedsdeltagerne. Derimod må det antages, at aktivitetskrav spiller en noget mindre rolle. Produktivitetskrav vil selv sagt altid være relevant for den slags type af institutioner på grund af mulighederne for at tilrettelægge produktionsprocessen, så den effektviseres mest muligt. For så vidt angår institutioner med rådgivning og tilsyn kan der ikke umiddelbart peges på et resultatkrav, som burde være mere dominerende end andre. Deres produktionsvilkår er meget forskellige og ofte komplekse, ligesom der ikke kan siges noget generelt om, hvorvidt de har markeds- eller kundekontakt. Dog kan man argumentere for at produktiviteten (vedrørende tilsynsførelsen) kan have særligt fokus. Ligeledes kan resultatkrav vedrørende kvaliteten af deres kampagner spille en rolle. Den forholdsvis lille gruppe af institutioner med beredskabsopgaver må formodes at ville lægge vægt på resultatkrav af typen effekt og aktivitet. Disse institutioners opgaver er som hovedregel formålsstyret. For virksomheder med materielle beredskabsopgaver vil der fx være krav til fleksibilitet og professionalisme i deres materielle beredskab, hvilket ofte stiller krav til intern udvikling. Krav til output bør næppe have nævneværdigt omfang. Det faktiske billede af, hvordan de forskellige typer af resultatkrav fordeler sig på institutioner med forskellige opgavetyper fremgår af tabel 4.2. Først og fremmest er det iøjnefaldende, at fordelingen af resultatkrav på institutionstyper ikke adskiller sig nævneværdigt fra hinanden. Det svækker formodningen om, at institutioner med forskellige opgavetyper har resultatkontrakter, hvor resultatkravene varierer i overensstemmelse hermed. Af tabellen ses, at aktivitet som resultatkrav som er det klart mest anvendte krav optræder med stort set den samme tyngde i alle typer af institutioner, nemlig omkring halvdelen af samtlige krav. Der er noget større spredning på anvendelsen af resultatkravene output og outcome (effekt). Anvendelsen af effektkrav vil blive nærmere drøftet i næste kapitel. Mål og resultatkrav i staten med fokus på effekt 34

35 Resultatkrav og opgavetyper Tabel 4.2 Resultatkravenes fordeling på institutioner med forskellig opgavetype Pct. Sagsbehandlin gstid Produk titivitet Output Outco me (effekt) Kvalite t Ekster n udvikli ng Intern Udvikli ng Aktivit et Sagsbehandling 1,5 4,6 6,0 20,0 21,1 0,8 2,0 44,0 Vidensproduktion 1,0 1,7 15,4 13,9 12,7 2,7 3,4 49,2 Offentlig serviceydelser 0,9 2,0 11,5 13,9 12,2 3,4 3,9 52,2 Rådgivning og tilsyn 1,5 5,8 5,3 18,4 23,7 0,8 1,9 42,5 Beredskabsopgaver 1,8 6,8 17,1 5,4 16,7 1,4 0,9 50,0 Ser man nærmere på anvendelsen af aktivitet som resultatkrav er det bemærkelsesværdigt, at dette krav vejer tungest blandt institutioner, som producerer offentlige serviceydelser. Dette tyder på, at disse institutioner i højere grad retter deres fokus mod krav, der er relateret til den interne produktionsproces frem for resultatet af selve produktionen. For institutioner med offentlige serviceydelser burde det være resultatkrav som output, kvalitet og effekt, som var dominerende. For så vidt angår anvendelsen af outputkrav kan det forekomme noget overraskende, at det er institutioner med vidensproduktion og beredskab, der anvender dette resultatkrav relativt mest. For disse institutioner synes fokus ikke i tilstrækkelig grad at være rettet mod effekt. Den institutionstype, der anvender kvalitetskrav mindst, er institutioner med offentlig serviceydelser. Også dette forekommet tankevækkende. Man skulle umiddelbart formode, at disse institutioner har mere fokus på brugernes/kundernes vurdering af deres produkter. Men det tyder denne opgørelse ikke på. Endelig kan det bemærkes, at anvendelsen af krav til produktivitet som generelt udgør en forholdsvis lille andel spiller den mindste rolle for institutioner med sagsbehandling og offentlig serviceydelser. Netop for disse institutioner skulle man tro, at deres produktionsprocesser var så standardiserede og homogene, at det ville gøre det mere naturligt at rette fokus på de gevinster, der kunne opnås ved en rationalisering af produktionstilrettelæggelsen Resultatkrav og kompleksiteten i institutionernes opgavevaretagelse Som tidligere nævnt kan der være en formodning om alt andet lige - at jo bredere og mere kompleks institutionens opgavevaretagelse er, desto flere mål og dermed resultatkrav vil resultatkontrakten indeholde. Mål og resultatkrav i staten med fokus på effekt 35

36 Resultatkrav og opgavetyper Neden for er vist, hvorledes institutionerne fordeler sig i forhold til antal opgavetyper. Som det ses, har godt 40 pct. af institutionerne én opgavetype, hvorimod godt halvdelen har 2 eller 3 opgavetyper. Tabel 4.3 Fordelingen af institutioner på antallet af opgavetyper Antal opgavetyper I alt Antal institutioner I tabel 4.3 er antallet af mål og resultatkrav pr. kontrakt opgjort for institutioner med forskellige antal opgavetyper. Det ses, at institutioner med kun én opgavetype har færrest antal mål pr. kontrakt. Institutioner med hhv. 2 og 3 opgavetyper har et lidt større antal mål og resultatkrav pr. kontrakt, men forskellen er ikke stor. Derimod har institutioner med 4 opgavetyper markant flere mål og resultatkrav pr. kontrakt. I dette tilfælde indgår der dog kun 3 institutioner Økonomistyrelsen, SKAT og Miljøstyrelsen hvorfor resultatet må tages med et vist forbehold. Resultatet indikerer, at antagelsen at antallet af resultatkrav pr. kontrakt er lavest for institutioner med en forholdsvis simpel opgavestruktur underbygges af de faktiske forhold. Tabel 4.4 Antal mål og resultatkrav pr. kontrakt fordelt på institutioner med forskellige antal opgavetyper Antal institutioner Mål pr. kontrakt Resultatkrav pr. mål Resultatkrav pr. kontrakt 1 opgavetype 56 7,1 3,0 20,9 2 opgavetyper 44 7,7 3,6 27,9 3 opgavetyper 18 7,7 3,6 27,6 4 opgavetyper 3 11,0 5,0 54,7 5 opgavetyper 0 0,0 0,0 0, Sammenfatning I dette kapitel er det blevet påvist, at der på nuværende tidspunkt ikke er nogen sammenhæng mellem på den ene side resultatkontrakternes udformning, for så vidt angår typen af resultatkrav, og på den anden side institutionens opgavetype og produktionsvilkår. Selv om styringsvilkårene i de statslige institutioner afviger fra hinanden, synes dette altså ikke at sætte sig synlige spor i den måde, som resultatkontrakterne anvendes på. Dette tyder på, at udformningen af resultatkontrakterne sker uden hensyntagen til institutionens ofte særlige styringsbehov. Med andre ord det styringsmæssige fokus afspejles ikke generelt i de resultatkrav, der optræder i kontrakterne. Det mest iøjnefaldende er, at selv i de situationer, hvor institutionens målopfyldelse afhænger Mål og resultatkrav i staten med fokus på effekt 36

37 Resultatkrav og opgavetyper af resultatet af produktionen og kundernes vurdering, bliver der alligevel fokuseret mest på aktivitetskrav. Analysen giver modsat et vist belæg for, at jo bredere og mere kompleks opgavevaretagelsen er i institutionen, jo flere mål og resultatkrav anvendes der. Men det er fortsat sådan, at institutioner med en forholdsvis simpel opgavestruktur og ensartede produktionsprocesser, har resultatkontrakter med et ikke ubetydeligt antal mål og resultatkrav. Analysen giver ikke svaret på, hvorfor det er sådan. Man må blot konstatere, at mange (de fleste) resultatkontrakter udformes reflektorisk, uden at der på forhånd gøres nogle nøjere overvejelser om, hvor det relevante styringsmæssige fokus er for den pågældende institution. Mål og resultatkrav i staten med fokus på effekt 37

38 Udbredelsen af effektmåling 5. Udbredelsen af effektmåling 5.1. Introduktion til effektfokus I de følgende to kapitler vil der alene blive fokuseret på anvendelsen af effektmåling og effektkrav i resultatkontrakterne. I første omgang med henblik på at foretage en kortlægning af udbredelsen af effektkrav i kontrakterne. Der er inden for de seneste 6-8 år sket en begyndende og stigende opmærksomhed omkring betydningen af at måle statens institutioners performance ved hjælp af effektmålinger, effektmål og effektkrav. Spørgsmålet er imidlertid hvor hurtigt denne udvikling er gået. I hvilken grad har statens institutioner taget effektmåling til sig som et relevant styringsmål? Og er der visse dele af den statslige sektor, hvor udbredelsen har været mere synlig end på andre? Endvidere bliver det undersøgt, hvorvidt effektmåling har vundet større udbredelse for visse institutioner, der varetager særlige opgavetyper. Disse spørgsmål tages op i dette kapitel. Kapitlet afsluttes med en række eksempler på de mest almindelige anvendte effektkrav. Formålet er at give et første indtryk af, hvordan effektmåling konkret anvendes i staten. I det efterfølgende kapitel vil de anvendte effektkrav blive analyseret nærmere med henblik på en belysning af en række af de dimensioner og målingsovervejelser, som er knyttet til anvendelsen af effektkrav Udbredelsen af effektkrav, Resultatkontrakterne for 2002, 2006 og for 2009 er alle kodet ud fra typerne af resultatkrav, der er præsenteret i kapitel 4, herunder også typen outcome (effekt). Ved at sammenholde opgørelsen i de 3 år fås et indtryk af udviklingen. Tabel 5.1 viser hhv. antal institutioner og antal effektkrav i de 3 år. Tabel 5.1 Udviklingen i antallet af institutioner med effektkrav samt antallet af effektkrav, Antal institutioner med effektkrav Andel af samtlige resultatkontrakter (pct.) Samlet antal effektkrav Andel af samtlige resultatkrav (pct.) 0,4 4,0 15,2 Som det ses, er udbredelsen af effektkrav steget markant gennem perioden omend fra et meget lavt niveau. Således er andelen af institutioner, der i et eller andet omfang har opereret med effektkrav, steget fra knap 10 pct. i 2002 til over 70 pct. i Hvis man ser på antallet af resultatkrav, der i kontrakterne kan siges at være effektkrav, er denne andel steget fra ca. ½ pct. i 2002 til omkring 15 pct. i Mål og resultatkrav i staten med fokus på effekt 38

39 Udbredelsen af effektmåling I kapitel 4 er der redegjort for, at den ændring i forståelsen af effekt som har fundet sted fra 2006 til 2009 har betydet, at sagsbehandlingstider i mange tilfælde er kodet som effektkrav i 2009-opgørelsen. Dette forhold samt den noget bredere definition, som har ligget til grund for kodningen af 2009-kontrakterne, bidrager selv sagt til at forklare udviklingen i antallet af effektkrav. Men det er næppe hele forklaringen. Der er givet sket en reel stigning i anvendelsen af effektkrav og et begyndende skift i styringsfokus, hvor effekter spiller en større rolle. Denne konklusion understøttes af, at stigningen i anvendelsen af effektkrav fortrinsvis er drevet af institutioner og departementer, der selv kategoriserer resultatkravene i deres resultatkontrakter, jf. kapitel 3, samt det forhold, at der er sket en koncentration af anvendelsen af effektkrav fordelt på ministerområde, jf. nedenfor. Når det er sagt, må man fortsat konstatere, at andelen af effektkrav ud af det samlede antal resultatkrav er forholdsvis beskeden. En anden måde at illustrere udviklingen på er at vise, hvorledes forholdet mellem interne og eksterne resultatkrav har formet sig. Denne sondring blev introduceret i Finansministeriets publikation Effektiv opgavevaretagelse i staten, hvor det anbefaledes, at resultatkontrakterne i højere grad fokuseres på de eksterne resultater frem for de interne forhold. Med eksternt rettet mentes, at resultatkravet relaterer sig til effekter, kvalitet, output, ekstern udvikling eller aktiviteter henvendt mod institutionens omgivelser. Internt rettede krav er derimod krav for interne opgaver og opgavetilrettelæggelse. Tabel 5.2 Udviklingen i interne og eksterne resultatkrav, Samlede antal internt rettede krav Andel af samtlige resultatkrav (pct.) 51,8 28,7 17,5 7,8 Samlede antal eksternt rettede krav Andel af samtlige resultatkrav (pct.) 48,2 71,3 82,5 92,2 Som det ses, er der sket en forskydning i retning af, at hovedparten af resultatkravene nu er eksternt rettede. Men det er ikke det samme som at sige, at kravene i kontrakterne tager udgangspunkt i brugerne. Det er imidlertid udtryk for, at resultatkravene i resultatkontrakterne er forskudt i institutionens værdikæde, så kravene i dag i højere grad formuleres tættere på institutionens slutbrugere eller som man også kan udtrykke det højere oppe i opgavehierarkiet. Mål og resultatkrav i staten med fokus på effekt 39

40 Udbredelsen af effektmåling 5.3. Fordelingen af effektkrav på institutioner, ministerområder og opgavetyper Effektkrav anvendes i 2009-kontrakterne som oven for nævnt af omkring 70 pct. af statens institutioner. Ud over at der fortsat er omkring 35 institutioner, der ikke anvender effektkrav, er der tale om en forholdsvis skæv fordeling. Således er op imod 25 pct. af de anvendte effektkrav at finde for 5 pct. af de statslige institutioner, der indgår i undersøgelsen. Tilsvarende fordeler omkring halvdelen af den samlede mængde effektkrav sig på blot 15 pct. af institutionerne Fordelingen af effektkrav på institutioner Ser man på enkelt institutioner, er deres anvendelse af effektkrav i forhold til det samlede antal resultatkrav, også stærkt varierende. I figur 5.1 er samtlige institutioner, der indgår i 2009-undersøgelsen tegnet ind med den andel, som effektkravene udgør af det samlede antal resultatkrav i den pågældende institutions resultatkontrakt. Af figuren ses således, at for én institution Statsforvaltningerne, som er opgjort som én institution - udgør effektkravene 70 pct. af den pågældende institutions samlede antal resultatkrav, som følge af krav om sagsbehandlingstider. Herefter er institutionerne rangordnet i figuren i forhold til deres andel. Figurer viser ikke, de 35 institutioner, der slet ikke anvender effektkrav. Figur 5.1 Rangordning af institutioner efter effektkravenes andel af samtlige krav, % 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Institutioner rangeret efter andel af effektkrav. effektkrav øvrige I gennemsnit udgår effektkravene godt 15 pct. af samtlige resultatkrav. For 10 af institutionerne udgør effektkravene omkring 45 pct. eller mere af samtlige krav. Og for 30 af institutionerne repræsenterer effektkravene lidt mere en ¼ af samtlige resultatkrav. Meget tyder således på, at arbejdet med at anvende effektkrav i resultatkontrakterne er koncentreret til et fåtal af statens institutioner, hvorimod flertallet fortsat ikke anvender dette effektkrav i nævneværdig grad. Mål og resultatkrav i staten med fokus på effekt 40

41 Udbredelsen af effektmåling Fordelingen af effektkrav på ministerområder Spørgsmålet er herefter, om dette mønster genfindes i forhold til de forskellige ministerområder. I figur 5.2 neden for er vist effektkravenes andel af samtlige krav for samtlige ministerier. Det ses, at andelen er størst med over 1/3 af samtlige resultatkrav - for Skatteministeriet, Beskæftigelsesministeriet samt for Indenrigs- og socialministeriet. For Økonomi- og Erhvervsministeriet udgør andelen lige i underkanten af 30 pct. Disse fire ministerområder befinder sig således i toppen i forhold til anvendelsen af effektkrav. I den øvre middelgruppe befinder sig Finansministeriet, Klima- og Energiministeriet samt Ministeriet for Fødevare, Landbrug og Fiskeri. På disse ministerområder udgør effektkrav omkring 20 pct. af resultatkravene. I den nedre middelgruppe befinder sig Integrationsministeriet, Justitsministeriet, Ministeriet for Videnskab, Teknologi og Udvikling, Transportministeriet samt Undervisningsministeriet. På disse ministerområder udgør effektkrav ca. 15 pct. af alle resultatkrav. I nederste ende befinder sig Forsvarsministeriet, Kulturministeriet, Miljøministeriet, Ministeriet for sundhed og forebyggelse samt Udenrigsministeriet. På disse områder anvender man kun effektkrav i meget begrænset omfang eller slet ikke. Figur 5.2 Effektkravenes andel af samtlige krav fordelt på ministerområder 45% 40% 35% 30% 25% 20% 15% 10% 5% 0% Finansministeriet Økonomi- og Erhvervsministeriet Indenrigs- og Socialministeriet Skatteministeriet Beskæftigelsesministeriet Udenrigsminissteriet Kulturministeriet Miljømisteriet Ministeriet for sundhed of forebyggelse Forsvarsministeriet Ministeriet for Videnskab, Teknologi og Udvikling Undervisningsministeriet Integrationsministeriet Justitsministeriet Transportministeriet Klima- og Energiministriet Ministeriet for Fødevare, Landbrug og Fiskeri Note: Statsministeriet og Kirkeministeriet er ikke inkluderet i opgørelsen, da de ikke har institutioner med resultatkontrakter. Mål og resultatkrav i staten med fokus på effekt 41

42 Udbredelsen af effektmåling Fordelingen af effektkrav på opgavetyper Fordelingen på opgavetype er vist i figur 5.3. Som det ses synes spredningen ikke at være af samme omfang som for ministerområder. Institutioner med sagsbehandling er den type, der har den største andel effektkrav. Dette er der ikke noget overraskende i, jf. at anvendelsen af krav vedr. sagsbehandlingstider i mange tilfælde er klassificeret som effektkrav. Derimod kan det godt undre, at institutioner med offentlige serviceydelser anvender effektkrav i mindre grad end gennemsnittet af øvrige opgavetyper. Det er noget vanskeligere at forholde sig til de institutioner, der har beredskabsopgaver. På den ene side taler det forhold, at disse institutioner i høj grad er formålsstyret, at effektkrav vejer tungt til. På den anden side er det helt afgørende for disse institutioner, at den konstant optimerer sit beredskab, hvilket kræver fokus på interne processer. Hvor om alting er, udgør effektandelen en meget beskeden del. Figur 5.3 Effektkravenes fordeling på institutioner med forskellig opgavetype 25,0% 20,0% 15,0% 10,0% 5,0% 0,0% Beredskabsopgaver Vidensproduktion Offentlig serviceydelser Rådgivning og tilsyn Sagsbehandling Sammenfattende omkring fordelingen af effektkrav på institutioner, ministerområder og opgavetyper kan det således konstateres, at det i højere grad er en ressortministeriel adfærd, der slår igennem end det er institutionernes konkrete styringsvilkår. I den sammenhæng må det formodes, at når visse ministerier i højere grad end andre anvender effektkrav, skyldes det i stort omfang en mere aktiv rolle fra departementernes side. Om end formuleringen af konkrete effektkrav bør udspringe af institutionerne og deres viden om opgavemæssige forhold og udfordringer, tilfalder en stor del af ansvaret for at initiere et effektfokus departementerne. Mål og resultatkrav i staten med fokus på effekt 42

43 Udbredelsen af effektmåling 5.4. Vurdering af de anvendte effektkrav i resultatkontrakterne Som nævnt i kapitel 2 er kodningen af resultatkontrakterne sket ved, at man har taget udgangspunkt i kontrakternes angivelse af resultatkrav. Dvs. i de tilfælde, hvor man ud af resultatkontrakten kan læse, at det pågældende krav opfattes som effektkrav, er dette uden nærmere vurdering blevet kodet som et effektkrav. For over 60 pct. af samtlige effektkrav i 2009-undersøgelsen, er der i kontrakten angivet, at dette er et effektkrav. I forbindelse med valideringen af databasen, er disse effektkrav blevet vurderet nærmere. I de tilfælde hvor et effektkrav ikke synes at leve op til Økonomistyrelsens redefinerede forståelse af effekter og effektkrav, er dette blevet registreret. Denne gennemgang førte til, at knap 20 pct. af samtlige effektkrav blev vurderet til ikke at være effektkrav. Disse var typisk i stedet outputkrav eller krav knyttet til den interne udvikling. Dette betyder naturligvis, at andelen af resultatkrav, som kan klassificeres som effektkrav, ved en nærmere vurdering må anses for at være noget mindre. At flere af de effektkrav som institutionerne selv har angivet vurderes til ikke at være effektkrav skyldes bl.a., at Økonomistyrelsen i denne rapport opererer med en effektforståelse og et effektbegreb, der endnu ikke er lanceret og præsenteret for statens institutioner og departementer. I tabel 5.3 er vist, hvorledes de forkert anvendte effektkrav fordeler sig på ministerområder. Det ses, at de er koncentreret på relativt få ministerier. Målt i forhold til deres samlede anvendelse af effektkrav, sker den største frasortering i Klima- og Energiministeriet, Transportministeriet samt Miljøministeriet. Tages der hensyn til denne korrektion fremtræder Beskæftigelsesministeriet og Skatteministeriet som de ministerområder, hvor effektkrav tilsyneladende bruges på den mest målrettede og intensive måde. Mål og resultatkrav i staten med fokus på effekt 43

44 Udbredelsen af effektmåling Tabel 5.3 Validering af angivne effektkrav, for institutioner der selv har kategoriseret resultatkravene i deres resultatkontrakter Er der institutioner på ministerområdet, der selv har angivet effektkravene. Ministerområdets samlede antal effektkrav. Antal angivne effektkrav, som ikke blev vurderet som effektkrav Andel angivne effektkrav, der ikke blev vurderet som effektkrav (i pct.) Andel angivne effekter, der ikke blev vurderet som effektkrav, set ift. det samlede antal resultatkrav Udenrigsministeriet Nej Finansministeriet Ja Økonomi- og Erhvervsministeriet Ja Skatteministeriet Nej Justitsministeriet Nej Forsvarsministeriet Ja Indenrigs- og Socialministeriet Ja Ministeriet for sundhed of forebyggelse Nej Beskæftigelsesministeriet Nej Integrationsministeriet Nej Ministeriet for Videnskab, Teknologi og Udvikling Ja Undervisningsministeriet Ja Kulturministeriet Nej Miljøministeriet Ja Ministeriet for Fødevare, Landbrug og Fiskeri Ja Transportministeriet Ja Klima- og Energiministeriet Ja I alt Eksempler på anvendelsen af effektkrav i resultatkontrakterne I det følgende afsnit gives nogle eksempler på anvendelsen af effektkrav. Både de korrekt angivne og dem, som ifølge valideringen ikke blev vurderet som effektkrav. Ved effekt forstås de virkninger, som en institution opnår gennem sit output. Disse virkninger vil typisk blive målt som den værdiskabelse, som institutionen via sit output tilfører til sine kunder/modtagere det kan være fx være brugere, borgerne, virksomheder eller samfundet. Institutionens værdiskabelse i forhold til kunderne/modtagerne kan vise sig både på kort, mellemlangt og langt sigt. Den kortsigtede effekt viser sig som den umiddelbare virkning, som kunderne/modtagerne har opnået via modtagelsen af institutionens output. Effekten på mellemlang sigt er som hovedregel af mere indirekte karakter. Og endelig vil den langsigtede effekt vise sig på et mere aggregeret niveau, når alle virkningerne har haft mulighed for at spille igennem. I sidstnævnte tilfælde taler man ofte om samfundsmæssige eller sektormæssige effekter. Mål og resultatkrav i staten med fokus på effekt 44

45 Udbredelsen af effektmåling I det følgende gives med udgangspunkt i udvalgte resultatkontrakter nogle eksempler på sådanne typer af effekter. For Danmarks Tekniske Universitet (DTU) ses, at der på kort sigt lægges vægt på, at andelen af studerende, der opnår en kandidatgrad, er af en vis størrelse, jf. boks 5.1. Boks 5.1 Eksempel på effektkrav Danmarks Tekniske Universitets udviklingskontrakt, Typer af effektkrav Effektkravets formulering Kort sigt For kandidatuddannelsen udvikler gennemførelsesprocenten sig således: 2008: 73, 2009: 74, 2010: 75 Mellemlang sigt Lang sigt DTU vil i kontraktperioden i gennemsnit vurdere mindst 75 opfindelser pr. år mhp. Evt. start af patenteringsproces Det er DTU s mål, at beskæftigelsen for færdiguddannede ingeniører fra DTU er bedre end gennemsnittet for tilsvarende sammenlignelige akademiske uddannelser (ingeniøruddannelser). Procenter er herefter angivet. På mellemlang sigt understreges, at patenterede opfindelser er vigtige redskaber i samarbejdet med erhvervslivet og dermed i DTU s opfyldelse af sin rolle som værdiskaber i samfundet. Endelig formuleres et langsigtet effektkrav i form af, at kandidater fra DTU skal opnå bedre beskæftigelse end tilsvarende kandidater fra andre universiteter. I boks 5.2 er vist en række yderligere eksempler på effektkrav i udvalgte resultatkontrakter. Som det ses, er alle effektkravene formuleret, så de reflekterer omgivelsernes vurdering af den værdiskabelse, som den pågældende institution arbejder for at bidrager med. Effektkravene spænder fra de umiddelbare virkninger kvaliteten af Servicestyrelsens produkter vurderes af hovedinteressenterne at være i orden til den mere langsigtede effekt af styrelsens samlede indsats at den faktiske efterspørgsel efter produkterne på dette interne marked også er til stede. Ofte kan det diskuteres, hvorvidt der er tale om et effektkrav, hvor værdiskabelsen for borgerne og virksomhederne er implicit. I tilfældet med det krav om digital indberetning, som Erhvervs- og Selskabsstyrelsen har formuleret, er forudsætningen fx, at digital indberetning giver anledning til en form for administrativ lettelse for virksomhederne den digitale indberetning antages at være mindre tidkrævende for virksomhederne end manuel sagsbehandling. Effektkravet indikerer med andre ord kun effekten, hvis visse antagelser om kausalforhold holder. Det springer i øjnene, at gode effektkrav ofte er forbundet med betydelige problemer og udfordringer, når effektkravene skal måles. Denne mere generelle problemstilling vil blive drøftet mere indgående i næste kapitel. Mål og resultatkrav i staten med fokus på effekt 45

46 Udbredelsen af effektmåling Boks 5.2 Eksempler på effektkrav Erhvervs- og Selskabsstyrelsens resultatkontrakt 2009 Typer af effektkrav Kort sigt Mellemlang sigt Lang sigt Effektkravets formulering En undersøgelse gennemført ultimo 2009 viser, at Dansk Erhverv, Dansk Industri og Håndværksrådet er tilfredse med regeringens forstærkede indsats for at lette de såkaldte irritationsbyrder Ved udgangen af 2009 gennemfører virksomhederne 50 pct. af deres indberetninger til Erhvervs- og Selskabsstyrelsen digitalt via Virk.dk Den nye lov (modernisering af selskabsretten) skal i 2009 nedbringe virksomhedernes administrative byrder med mindst 50 mio. kr. Servicestyrelsens resultatkontrakt 2009 Typer af effektkrav Kort sigt Mellemlang sigt Lang sigt Effektkravets formulering De kommunale myndighedsniveauer og leverandørerne oplever, at styrelsens produkter har et tilfredsstillende kvalitetsniveau Indenrigs- og socialministeriets departement, de kommunale myndighedsniveauer og leverandørerne oplever, at styrelsen medvirker til at kvalificere social praksis og ny lovgivning Kommunale myndigheder, leverandører og borgere efterspørger styrelsens produkter Fødevarestyrelsens resultatkontrakt Typer af effektkrav Kort sigt Mellemlang sigt Lang sigt Effektkravets formulering Fødevarestyrelsen skal arbejde på udbredelsen af økologiske storkøkkener. Min. 5 pct. af alle storkøkkener skal ved udgangen af 2009 være med i ordningen I 2009 skal andelen af fødevarevirksomheder, der er elitevirksomheder, stige til mindst 37 pct. I 2009 skal 75 pct. af kommunerne kende Fødevarestyrelsens anbefalinger til sund mad i dagtilbud, hvilket skal stige til yderligere 85 pct. i 2010 og 95 pct. i 2011 Og Eksempler på omkodningen Det kan som nævnt være vanskeligt at opstille gode effektmål. Vanskelighederne kan være knyttet til, at effektkravene ikke afspejler den værdiskabelse, som brugerne/borgerne/modtagerne opnår. Det kan også skyldes, at de formulerede resultatkrav tager udgangspunkt i en tidligere fase af institutionens værdiskabelsesproces, dvs. i forhold som knytter sig til institutionens output eller aktiviteter. Neden for er givet nogle kommenterede eksempler på krav i resultatkontrakterne, som en institution selv har vurderet som effektkrav, men som efter Økonomistyrelsens opfattelse ikke kan siges at leve op til definitionen. Mål og resultatkrav i staten med fokus på effekt 46

47 Udbredelsen af effektmåling Boks 5.3 Eksempler på validering af angivne effektkrav Styrelse Formulering af effektkravet Personalestyrelsen Deltagerantallet på ISOLA-kurser fordobles i forhold til 2008 (kravet er mindst 70 deltagere i 2008) KREVI Med udgangspunkt i gennemført interessentundersøgelsen i 2009 opstilles i resultatkontrakten for 2010 indikatorer for kvalitet, relevans og anvendelse af KREVIs evalueringer og analyser Miljøstyrelsen I Bedst på Nettet s måling af kvaliteten af Miljøstyrelsens hjemmeside opnås mindst resultatet 4 netkroner Plantedirektoratet I 2009 igangsættes et nyt ledelsesudviklingsprogram, som skal medvirke til at sikre, at Plantedirektoratet fortsat er en attraktiv og omstillingsparat arbejdsplads. Der gennemføres efter en lederevaluering i 2010 Kystdirektoratet Der offentliggøres en ny kystbeskyttelsesvejledning 1. oktober 2009 Validering Output Aktivitet Kvalitet Intern udvikling Aktivitet/ Output For så vidt angår Personalestyrelsens krav om deltagerantallet på deres ISOLAkurser skal det bemærkes, at hvorvidt folk deltager eller ej siger ikke noget om, hvorvidt kursisterne lærer noget på kurset eller om de i deres hverdag bruger det, de har lært på kurset. Sidstnævnte er den egentlige effekt af et kursus. Man kunne have målt denne effekt ved at spørge et udsnit af kursisterne 3 6 måneder efter kursets afholdelse. KREVIs krav om en interessentundersøgelse beskriver en aktivitet, der ikke i første omgang ikke siges at være en effekt. Når først denne aktivitet er gennemført, kan der imidlertid opstilles effektkrav på baggrund af de data, de får ind via undersøgelsen. Miljøstyrelsens måling af deres hjemmeside afspejler et kvalitetskrav. Hjemmesidens udseende og tilgængelighed siger i første omgang ikke noget om, hvorvidt borgere og virksomheder opnår en bedre service fra styrelsen. Men kvaliteten af hjemmesiden er naturligvis et vigtigt redskab til at kunne nå ud til kunderne med et højere serviceniveau. Effekten kan kun måles hos slutbrugerne. Plantedirektoratet vil iværksætte et ledelsesudviklingsprogram. Fokus er på den interne organisationsudvikling. Dette skal bidrage til at gøre direktoratet til en attraktiv arbejdsplads og dermed skabe værdi for kunderne. Kravet må ses som et formentlig værdifuldt bidrag i værdiskabelsesprocessen, men siger absolut intet om effekten for kunderne. En ny kystbeskyttelsesvejledning vil ifølge Kystdirektoratet gøre administrationen for kystbeskyttelsesområdet mere gennemskueligt for borgere og kommuner. Men udarbejdelsen og offentliggørelsen af den nye vejledning må betragtes som en Mål og resultatkrav i staten med fokus på effekt 47

48 Udbredelsen af effektmåling aktivitet og/eller output. Effekten af vejledningen vil kunne ses efter nogle år enten via behandlingen af indkomne sager eller ved måling af naturens tilstand Sammenfatning En gennemgang af resultatkontrakterne for 2009 viser, at udbredelsen af effektkrav fortsat må siges at være relativt begrænset. Der findes elementer af effektkrav i lige over 70 pct. af kontrakterne, men andelen af effektkrav ud af de samlede antal resultatkrav i kontrakterne udgør omkring 15 pct. Mange af de krav, som institutionerne selv angiver som effektkrav, lever imidlertid ikke helt op til de kriterier, som må stilles til denne type af resultatkrav. Det ændrer dog ikke ved, at udviklingen i retning af stigende anvendelse af effektkrav inden for de seneste 6-8 år gået forholdsvist stærkt. Finansministeriets publikation om Effektiv opgavevaretagelse i staten har formentlig været en medvirkende årsag. Man ser dog også, at udviklingen ikke er jævnt fordelt på ministerområder og institutioner. Der er i dag ganske stor spredning både mellem de enkelte ministerier og de enkelte institutioner. På begge områder kan der peges på en række frontløbere. Meget tyder endvidere på, at der ikke umiddelbart kan peges på entydige årsager til, at udviklingen er forløbet hurtigere visse steder. Det er ikke institutionernes opgavetyper, der betinger udviklingen. Snarere er det knyttet til enkeltstående ministerområder eller institutioner, hvor henholdsvis departementer og institutionens øverste ledelse har taget konkrete initiativer til at fremme fokus på effekt. På den baggrund synes det nærliggende at konkludere, at der er brug for mere generel rådgivning og inspiration omkring brugen af effektmåling, effektmål og effektkrav i staten. Mål og resultatkrav i staten med fokus på effekt 48

49 Effektkravene kendetegn og problemstillinger 6. Effektkravene kendetegn og problemstillinger 6.1. Dimensioner knyttet til effektkravene I dette kapitel vil en række af de væsentligste karakteristika og dimensioner knyttet til effektkravene blive belyst med udgangspunkt i den kodning af effektkravene, som er foretaget for resultatkontrakterne for Formålet er at give en lidt dybere forståelse af, hvad der kendetegner de effektkrav, der anvendes i statens resultatkontrakter Tidsdimensionen Tidshorisonten for effektkrav kan både være af kort- og langsigtet karakter. Ved kodningen af effektkravene er der skelnet mellem etårige effektkrav og flerårige effektkrav. Af de effektkrav, som er registreret i resultatkontrakterne for 2009, er omkring 75 pct. af etårig karakter. Den resterende andel af effektkrav er flerårig. I boks 6.1 og 6.2 er givet eksempler på anvendelsen af hhv. etårige og flerårige effektkrav. Forklaringen på dette forhold kan umiddelbart tilskrives det forhold, at hovedparten af resultatkontrakterne er etårige, hvorfor det ikke ligger lige for at formulere flerårige effektkrav. Der er imidlertid ikke noget til hinder for, at etårige resultatkontrakter kan indeholde flerårige effektkrav. Som nævnt i Ansvar for styring vejledning om styring fra koncern til institution, skal man blot som minimum kunne følge op effektkravene en gang årligt. Ved anvendelsen af flerårige effektkrav, skal der med andre ord blot være tale om en rullende opfølgning. Ligeledes kan der også sagtens opstilles (flerårige) strategiske målsætninger, som er bredt dækkende for institutionens indsatsområde. Det vil ofte være i forbindelse med denne type mål, at anvendelsen af flerårige effektkrav er relevant. Dette synes blot ikke at være tilfældet. Det område, hvor flerårige effektkrav er mest udbredt, er inden for universiteterne. Dette er naturligt, da målsætningen for såvel deres uddannelses- som forskningsindsats ofte har en mere langsigtet karakter. Anvendelsen af langsigtede samfundsmæssige effektkrav synes her hensigtsmæssigt. Det flerårige perspektiv er imidlertid også relevant på mange andre områder, hvor de i mindre grad bliver anvendt. Til eksempel kan anvendes områder, der varetager oplysningskampagner og/eller tilsyn, hvor effekten af kampagnerne og tilsynene ofte først vil være at spore efter en årrække. Mål og resultatkrav i staten med fokus på effekt 49

50 Effektkravene kendetegn og problemstillinger Dette forhold betyder ikke, at det ikke også kan være relevant at anvende etårige effektkrav. Når resultatmålet er knyttet til et mere snævert afgrænset opgavefelt hos institutionen eller hvis effekten hos kunderne viser sig relativt hurtig, vil det forekomme hensigtsmæssigt at anvende etårige effektkrav. Boks 6.1 Eksempler på etårige effektkrav Institution Økonomistyrelsen SKAT Arbejdsmarkedsstyrelsen Effektkravets formulering 25 pct. af alle institutioner har valgt at anvende systemet til administration af egene kurser. Tilfredsheden med SKAT s telefonbetjening er ved udgangen af 2009 mindst 3,8 på en skala fra 1-5. Der sker et fald i antallet af personer på kanten af arbejdsmarkedet Boks 6.2 Eksempler på flerårige effektkrav Institution Landsskatteretten Danmarks Biblioteksskole Statens Luftfartsvæsen Effektkravets formulering Den gennemsnitlige sagsbehandlingstid for sager under ét må ikke overstige 9 måneder ti 2009, 8 måneder til og 7 måneder til 2012 Øget fastholdelse af studerende på 1.år Fastholdelsesprocenten øges i forhold til 2007 med 5 %, %, 2010 med 3 %. Målet er opfyldt for erhvervsmæssig luftfart, hvis et løbende 10-års gennemsnit af summen af havarier eller hændelser udviser en faldende tendens i kontraktperioden. Ved opgørelsen af målet skal det fremgå, hvordan statistikken fordeler sig på hhv, havarier og hændelser Målrettethed i anvendelsen af effektkrav Ved målrettethed henvises til den modtagergruppe, som effektkravet måler på. I forbindelse med kodningen af effektkravene er der sondret mellem brugerrettede ydelser og almene ydelser. Brugerrettede ydelser er ydelser, hvor modtagergruppen er relativt afgrænset og veldefineret. Almene ydelser er overvendt ydelser, hvor modtagergruppen ikke er afgrænset men diffuse. Da det ofte kan være svært at afgøre karakteren af effektkravet, er kategorien andet også anvendt i kodningen. Ifølge opgørelsen er effektkravene i højere grad knyttet til de brugerrettede ydelser end til de almene ydelser. Dette kunne tyde på, at forholdsvis mange effektkrav er knyttet til enkelte produkter med en veldefineret og af institutionen ofte kendt modtagergruppe. Eksempler er givet i boks 6.3. Umiddelbart forekommer det overraskende, at andelen af effektkrav, der er knyttet til almene ydelser, kun udgør omkring 30 pct. Man må formode, at en meget stor andel af de statslige institutioner har opgavetyper, som er kendetegnet ved almene ydelser. I dette tilfælde har produktionen ofte karakter af offentlige serviceydelser og Mål og resultatkrav i staten med fokus på effekt 50

51 Effektkravene kendetegn og problemstillinger er rettet mod forholdsvis brede og anonyme brugergrupper. Det gælder i særlig grad, når de almene ydelser afsættes under markedslignende forhold. Boks 6.3 Eksempler på brugerrettede effektkrav. Institution SKAT Regionerne SU-Styrelsen Effektkravets formulering I 2009 er andelen af erhvervsdrivenes udvidede selvangivelser indberettet via TastSelv øget med mindst 5 procentpoint i forhold til I tvistsager om forældremyndighed, bopæl eller samvær skal 80 pct. af ansøgerne indkaldes til møde inden 15 dage fra modtagelsen af sagen. I 2009 skal mindst 72 pct. af VEO-ansøgerne være ekspederet inden 31 dage Samspil i effektkrav, mål og andre resultatkrav En tredje dimension i spørgsmålet om anvendelsen af effektkrav knytter sig til samspillet mellem effektkrav og øvrige resultatkrav. Anvender institutionerne alene effektkrav i forhold til det konkrete mål dvs. står effektkrav som det/de eneste målepunkter for det pågældende mål. Eller, er effektkravet for det pågældende mål suppleret med/understøttet af andre resultatkravstyper. Andre resultatkravstyper vil i dette tilfælde primært være aktivitets-, produktivitets- eller kvalitetskrav. Kodningen viser, at hovedparten af effektkravene er knyttet sammen med andre krav. Lidt over 80 pct. af effektkravene er kombineret med andre krav. Der synes således at være en tendens til, at opnåelsen af bestemte resultatmål i resultatkontrakten kombineres med flere forskellige resultatkrav. Det er således sjældent, at effektkravet står alene, jf. dog de eksempler der gives i boks 6.4. Det kan hænge sammen med, at institutionerne ofte garderer sig ved at medtage flere typer af resultatkrav, uden at man på forhånd har gjort sig klart, om effektkravet kunne stå alene. Boks 6.4 Eksempler på effektkrav der står alene. Institution Sundhedsvæsenets patienklagenævn Handelshøjskolen i København Naviair Effektkravets formulering Det er patientklagenævnets målsætning, at den gennemsnitlige sagsbehandlingstid reduceres mærkbart i , således at den i 2011 er 8,5 måned. Antal presseklip der citerer CBS-forskere, ledere og studerende som eksperter skal stige. Antallet af tilfælde hvor Naviair er direkte eller indirekte uberettigede overtrædelser de støjbegrænsende bestemmelser på Naviairs tjeneste sted må ikke overstige 5. Effektkravene vil som hovedregel være knyttet til konkrete mål. Det gælder i stort set alle de tilfælde, hvor institutionen anvender en kombination af forskellige typer af resultatkrav. Mål og resultatkrav i staten med fokus på effekt 51

52 Effektkravene kendetegn og problemstillinger Derimod, når effektkravet står alene, vil det langt fra altid være knyttet til et konkret mål. Omkring 20 pct. af de effektkrav, der står alene, er ikke knyttet til konkrete mål. Dette kan umiddelbart siges at være usædvanligt, men forklaringen skal nok søges i, at effektkravene i disse situationer knytter an til institutionens mission eller nogle mere generelt formulerede strategiske målsætninger Målformuleringen En sidste dimension, som skal omtales her, er knyttet til målformuleringen. Der er foretaget en kodning af, hvorvidt effektkravet er baseret på kvantitative eller kvalitative data og hvorvidt kravene er formuleret relativt eller specifikt. I boks 6.5 og 6.6 er givet eksempler på effektkrav, der er hhv. relative og baseret på kvalitative data. Med relativt menes at effektkrav indeholder en eller anden form for benchmark fx tidligere års resultater, resultater i institutioner, der minder om institutionen selv eller internationale målinger. Med specifikke menes effektkrav, der ikke indeholder sådanne benchmark. Formuleres effektkravet relativt, fås ofte en form for supplerende beslutningsinformation, der giver en bedre pejling af retning og hastighed i forhold til målopfyldelsen. I mange tilfælde er det derfor en fordel at anvende relative effektkrav. I 2009-opgørelsen falder lidt under 70 pct. af alle effektkravene imidlertid under kategorien specifikke effektkrav opgørelsen viser desuden, at de effektkrav, som er knyttet til brugerrettede ydelser, hovedsagelig også er baseret på specifikke krav, mens krav knyttet til almene ydelser for det meste er formuleret i forhold til relative krav. Derimod kan der ikke konstateres nogen klar sammenhæng mellem, hvorvidt effektkravene er baseret på et- eller flerårige krav, og så hvorvidt kravene er formuleret relativt eller specifikt. Hvis man ser på de samlede effektkrav, er godt 70 pct. baseret på kvantitative data. Dette var også at forvente. Umiddelbart skulle man tro, at andelen var højere. Imidlertid kan det godt være såvel sigende som styringsmæssigt relevant, at et effektkrav formuleres på baggrund af kvalitative data. Anvendelsen af relative krav forudsætter nærmest et kvantitativt datagrundlag, hvilket også bekræftes af opgørelsen. Hvis det er vanskeligt og forbundet med stor usikkerhed at opgøre kravet på kvantitative data, kan alternativet udmærket være kvalitative data, da disse kan medvirke til at give en pejling af, hvorvidt institutionen bevæger sig mod en større grad af målopfyldelse. Mål og resultatkrav i staten med fokus på effekt 52

53 Effektkravene kendetegn og problemstillinger Boks 6.5 Eksempler på effektkrav der er relative. Institution Banedanmark Danmarks statistik Patent- og varmærkestyrelsen Effektkravets formulering Antallet af passagerer, der som følge af nedslidte anlæg dagligt oplever mangelfuld trafikinformation, skal ved udgangen af af 2009 være reduceret med ca. 30% i forhold til niveauet i Dette opgøres på baggrund af antallet af fejl på Banedanmarks trafikinformationssystemer i forhold til Der skal i 2009 være en stigning på mindst 4 pct. i antal autoriserede forsknings og analysemiljøer som har adgang til afidentificerede mikrodata, i Danmarks statistik. Omsætningen skal være 80 pct. eller mere af omsætningen i Boks 6.6 Eksempler på effektkrav der er baseret på kvalitative data. Institution Erhvervs- og Selvskabsstyrelsen Kystdirektoratet Patent- og Varemærkestyrelsen Effektkravets formulering En undersøgelse gennemført ultimo 2009 viser, at Dansk Erhverv, Dansk Industri og Håndværksrådet er tilfredse med regeringens forstærkede indsats for at lette de såkaldte irritationsbyrder. Det dokumenteres, at slusens drift lever op til den til enhver gældende slusepraksis, som sluseudvalget for Ringkøbing Fjord har indstillet til vedtagelse. Patentansøgere, som viderefører en dansk patentansøgning i et andet land via PPH opnår en kortere nettosagsbehandlingstid end ansøgere der ikke benytter PPH Dataindsamlingsprocessen En særskilt og væsentlig problemstilling omkring effektkravene er knyttet til hvordan, dataindsamlingen tilrettelægges og organiseres. Resultatkontrakterne for 2009 er også i dette tilfælde blevet kodet med henblik på nærmere at kunne belyse, hvad der kendetegner institutionerne på dette felt. Det bør dog fremhæves, at denne kodning er behæftet med en vis subjektivitet Et af de væsentligste spørgsmål er, hvorvidt effektkravet er baseret på data, hvortil der er knyttet et vis element af vurdering. Baseres det på objektive data dvs. optællinger af fx antal deltagere, antal observationer eller antal sager er der intet vurderingselement knyttet til effektkravet. Dog vil der næsten altid ved formuleringen af et effektkrav være et vurderingselement i definitionen af, hvordan data skal defineres og bruges i målingen. Subjektive data vil være opgørelser, som brugere, interessenter eller andre foretager fx brugerundersøgelser. Godt 70 pct. af effektkravene er baseret på objektive data. Der kan selvsagt være fordele ved at anvende objektive data, men i en del situationer kan det ikke lade sig Mål og resultatkrav i staten med fokus på effekt 53

54 Effektkravene kendetegn og problemstillinger gøre. Effekten måles grundlæggende som den værdi, institutionen skaber for sine kunder. Og det kan ofte være ganske vanskeligt at finde tilgængelig statistik eller opgørelser, der giver et kvalificeret svar herpå. Spørger man kunderne vil det som udgangspunkt være subjektive data. Der er næppe nogen ideel løsning på denne problemstilling. I afsnittet neden for vil det blive drøftet nærmere. Effektkravene er endvidere blevet gennemgået med hensyn til, hvorvidt datagrundlaget er baseret på eksisterende data eller om institutionen særskilt skal indsamle data, så grundlaget for effektkravet tilvejebringes. Førstnævnte er at foretrække, da sidstnævnte selvsagt kræver, at der afsættes nye ressourcer til dataindsamlingen. Opgørelsen viser, at knap 60 pct. af effektkravene er baseret på eksisterende data, mens der skal indsamles data for godt 30 pct. af effektkravene. I de resterende 10 pct. har det ikke været muligt på baggrund af resultatkontrakterne at afgøre, hvordan data tilvejebringes. Selv om en relativ stor andel af effektkravene er baseret på objektive og eksisterende data, er det ikke nødvendigvis udtryk for, at data er baseret på eksterne kilder. Meget tyder således på, at hovedparten af datagrundlaget tilvejebringes via institutionens interne forretningsprocesser, men i forbindelse med andre opgaver som institutionen alligevel varetager. Dette dokumenters af, at et meget stort antal effektkrav er baseret på de tilsyns- og kontrolaktiviteter, som institutionen foretager. Ligeledes er mange effektkrav baseret på realiseringen af en handlingsplan eller et eget fastsat effektivitetskrav, som ikke kræver særlig dataindsamling. Derimod udgør data baseret på bruger- eller markedsundersøgelser kun omkring 5 pct. af effektkravenes datagrundlag. Ekspertviden typisk hentet fra vurderinger fra institutionens interessenter udgør godt 5 pct. af effektkravenes datagrundlag. En stor del af datagrundlaget stammer således fra institutionens administrative processer. Det er ikke muligt ud fra denne analyse at kortlægge, hvordan og i hvilken grad institutionerne faktisk udnytter deres interne data som grundlag for formuleringen af effektkrav, og dermed til styringsrelevant information. Men da institutionerne generelt producerer mange data som led i de administrative processer, kan man have en formodning om, at det fulde potentiale langt fra er udnyttet. En helt central problemstilling knyttet til anvendelsen af effektkrav relaterer sig til spørgsmålet om hvilken sammenhæng, der er mellem det formulerede krav og institutionens påvirkningsmuligheder. Ofte argumenteres der med, at et effektkrav ikke kan bruges til styringsformål, hvis der er ganske mange forhold, som står uden for institutionens indflydelse, men som påvirker effektkravet. Man taler typisk om muligheden for at isolere institutionens egen indflydelse på den effekt, der bliver målt. Dvs. hvor meget af effekten kan reelt tilskrives institutionens indsats(er)? Mål og resultatkrav i staten med fokus på effekt 54

55 Effektkravene kendetegn og problemstillinger Effektkravene er i resultatkontraktmaterialet blevet kodet alt efter, om det vurderes om disse eksterne forhold må formodes at have hhv. lille, middel eller stor indflydelse på resultatet af effektkravet. Det siger sig selv, at en sådan kodning er behæftet med et ganske stort subjektivt element. Opgørelsen viser, at for omkring 45 pct. af effektkravene blev det vurderet, at institutionen havde stor indflydelse (eksterne forhold har lille indflydelse) på resultatet af effektkravet. For omkring 35 pct. af effektkravene var vurderingen, at institutionen havde middel indflydelse på resultatet, mens det i 20 pct. af samtlige effektkrav blev skønnet, at indflydelsen var meget beskeden. Med udgangspunkt i de effektkrav, som indgår i resultatkontrakterne for 2009, tyder en del på, at disse er formuleret, så institutionen synes at have relativ stor indflydelse på resultatet af effektkravet. Dette forhold skal imidlertid nok ses i sammenhæng med den observation, som der tidligere er blevet påpeget; at mange af effektkravene er formuleret tidligt i værdiskabelsesprocessen, hvorfor institutionen nærmest pr. definition må siges at have større indflydelse. Hvis effektkravet i sin formulering rykkes nærmere kunden eller markedet vil eksterne forhold alt andet lige kunne få større indflydelse. Også denne helt centrale problemstilling er kommenteret nærmere nedenfor Væsentlige problemstillinger ved anvendelse af effektkrav Selv om anvendelsen af effektmåling og effektkrav først har vundet indpas i resultatkontrakterne inden for de senere år, har den offentlige sektor i flere årtier beskæftiget sig med effektvurdering i forhold til offentlige aktiviteter. Dette er sket som en del af den evalueringskultur, der som minimum har præget den statslige forvaltning siden 1980 erne. Det har hovedsagelig handlet om effektvurdering af offentlige indsatsområder, herunder politiske instrumenter samt programmer. For at illustrere nogle af de dilemmaer, som man står over for i forbindelse med anvendelsen af effektkrav, skal der kort refereres til nogle af de overvejelser om metode og målingsdesign, man må gøre sig, når der skal foretages en effektvurdering. Den simple effektmåling kan foretages, hvis man kun måler efter eller ved afslutningen af en indsats. Ulempen ved denne fremgangsmåde er naturligvis, at den information man får, ikke siger meget om effekten. Det man måler, kan skyldes mange andre faktorer, herunder situationen på målingstidspunktet. Fordelen er, at det er simpelt og kan gennemføres med få omkostninger. En lidt mere avanceret effektmåling kan bestå i en før- og eftermåling, hvor man både måler i udgangssituationen og efter indsatsen er gennemført. I dette tilfælde opnås ved at sammenholde de to målinger en information om situationen før og efter indsatsen er Mål og resultatkrav i staten med fokus på effekt 55

56 Effektkravene kendetegn og problemstillinger gennemført. Ulempen er, at man fortsat ikke kan være sikker på, at denne forskel kan henføres til den isolerede effekt af indsatsen, men kan være påvirket af andre eksterne faktorer. Fordelen er, at denne form for måling fortsat kan gennemføres med forholdsvis lave omkostninger. Den mest avancerede og i teorien den mest korrekte fremgangsmåde er at foretage en effektvurdering ved hjælp af et eksperiment eller et kontrolgruppedesign. I dette tilfælde sammenligner man udviklingen hos en indsatsgruppe med en kontrolgruppe, der minder om indsatsgruppen. Dermed får man elimineret effekten af de eksogene (eksterne) faktorer, der øver indflydelse på effektmålingen af en given indsats. Fordelen er selv sagt, at man får en sikker og robust information, som kan anvendes til styringsformål. Ulempen er klart, at det i praksis er svært at fortage, og at der er forbundet meget store omkostninger ved at gennemføre effektvurderingen. Når det drejer sig om anvendelsen af effektkrav illustreres problemstillingen meget godt i forhold til kravet om, at et effektkrav skal være effektrelateret. Dvs. at effektkravet som det er formuleret måler, hvorvidt effektmålet opnås og ikke påvirkes af andre eksterne forhold, der ligger uden for institutionens virkefelt. Dilemmaet består i, at man udemærket kan opstille effektkrav, som er under institutionens kontrol, men som så ikke giver megen styringsrelevant information. Outputkrav er kendetegnet herved. Men sådanne resultatkrav giver sjældent megen information om, hvorvidt kunderne opnår en positiv effekt af netop denne indsats. Effektkravet skal også være kundeorienteret. Omvendt er det i mange situationer muligt at formulere et effektkrav som giver styringsrelevant information i form af institutionens bidrag til at opnå bestemte mål på forskellige områder. Effektkrav som knytter an til institutionens mission og strategiske målsætninger. Udfordringen i dette tilfælde er, at kravet om kausalitet får svært ved at holde. Institutionens indflydelse er ofte relativ begrænset. Man kan også udtrykke det på den måde, at effektkravet ikke er handlingsorienteret. Løsningen på dette dilemma kan ikke gives generelt. Det må afhænge af den enkelte institution, herunder hvilke opgavetyper institutionen har. Men der er grund til at pointere, at generelt bør bestræbelserne gå ud på at fastsætte effektkravet, så institutionen opnår størst muligt styringsrelevant information. I den sammenhæng skal der peges på, at selv om institutionens påvirkningsmuligheder ikke er så store, vil en nærmere analyse fra institutionens side kunne bidrage til en forståelse af, hvor institutionen skal indrette sine indsatser for at øge effekten. I forlængelse heraf skal der peges på den problemstilling, der opstår, når institutionen skal formulere sit effektkrav og fastlægge, hvorledes målingen foretages. Det synes at være et absolut krav, at datagrundlaget skal være målbart. Heri ligger, at data skal være kvantificerbare, troværdige og veldefinerede. Dette kan selv sagt være store krav, og i mange tilfælde er sådanne data ikke umiddelbart opnåelige. I disse situationer er Mål og resultatkrav i staten med fokus på effekt 56

57 Effektkravene kendetegn og problemstillinger problemstillinger, hvorvidt fordelene ved målingen overstiger omkostningerne ved at indhente data. Men effektkravet skal formuleres i lyset af, hvorvidt datagrundlaget er målbart og opnåeligt. Hvis sidstnævnte er svært at få opfyldt, må man nødvendigvis gå på kompromis med hensynet til graden af i hvilket omfang, effektkravet er kunde- og handlingsorienteret. Igen gælder det, at der ikke kan gives et generelt udsagn om, hvordan dette dilemma løses. Det afhænger i høj grad af omfanget og kvaliteten af de data, der foreligger inden for de forskellige sektorområder og på institutionsniveau. Men som det tidligere er antydet, er såvel mængde som kvalitet af data og databaser ganske stor inden for den statslige forvaltning. Hertil kommer, at megen administrativ statistik kan bruges mere aktivt til styringsmæssig relevant information. Både i dette og det foregående kapitel er spørgsmålet om tidsdimensionen i forbindelse med formuleringen af effektkrav blevet taget op. Også her ses et væsentligt dilemma. Hvor i værdikæden fra institution til kunde skal effektkravet formuleres? Rigtige effektmål og effektkrav skal formuleres tæt på slutbrugeren. Det skal afspejle, hvorvidt institutionens indsats har ført til en øget værdi for kunderne. Især når institutionen afsætter sine produkter under markedslignende forhold, vil effektkravet kunne vurderes i forhold til en måling af markedssituationen. Ulempen ved sådanne effektkrav er de samme, som er omtalt ovenfor. De er ikke handlingsorienteret og er ofte svær at definere og finde relevante data for. Omvendt hvis man formulerer effektkravet tæt på eller ligefrem internt i institutionen. Dette vil være handlingsorienteret og formentlig en overkommelig opgave for institutionen at måle og overvåge. Sådanne resultatkrav kan ikke siges at afspejle effekter. Man kan i hvert fald ikke være sikker på, at man på denne måde måler på den værdiskabelse, som kunderne opnår. Kravet er ikke kundeorienteret og bidraget som styringsrelevant information er begrænset. Også her er der til en vis grad tale om et valg, hvor den enkelte institution på baggrund af deres særlige styringsbehov må fastlægge, hvor i værdiskabelseskæden effektkravet med størst fordel kan sættes ind. Men der er næppe tvivl om, at i forhold til resultatkontrakterne for 2009 må der ske en forskydning ud af i værdiskabelseskæden tættere på brugeren og kunderne. Anvendelsen af effektmål og -krav må øge den styringsrelevante information. Mål og resultatkrav i staten med fokus på effekt 57

58 Effektmålingens udfordringer og muligheder 7. Effektmålingens udfordringer og muligheder Formålet med dette arbejdspapir har været at kortlægge og analysere udviklingen i de statslige institutioners anvendelse af mål og resultatkrav med særlig fokus på anvendelsen af effektkrav. Selv om der inden for de sidste 6-8 år er sket en kraftig stigning i anvendelsen af effektkrav, er denne form for styring endnu ikke blevet en velindarbejdet del af den statslige sektors styringskultur. Hertil kommer, at der fortsat er megen uklarhed og forvirring knyttet til begrebet effektstyring. Ambitionen har ikke været at få fuldstændig gjort op med dette. Dette kræver en større indsigt i de overvejelser, som en institution gør sig i forbindelse med, at de rent faktisk bruger effektkrav i styringen af deres institution. Derimod har sigtet været at tilvejebringe et indblik i, hvad der helt konkret kommer ud af processen i form af effektkrav i resultatkontrakterne. Med denne viden i baghovedet, er der foran givet en række af de kvantitative og analytiske dimensioner, som formodes at være vigtige, hvis effektstyring skal vinde større udbredelse og anvendes mere optimalt end som situationen er i dag. Det kan derfor være på sin plads at afslutte dette arbejdspapir som en slags opsummering at fremdrage de udfordringer, der tidligere i publikationen er blevet fremhævet som værende væsentlige, hvis effektstyring af statens institutioner skal have mere effekt. For det første må man som departement og institution gøre sig klart, hvad vil man styre. Effektstyring har som begreb hidtil været anvendt på effekter af givne offentlige indsatsområder, ordninger, projekter mv. Dette er den gængse anvendelse, og en anvendelse, der med fordel kan holdes fast i. Hvad er fx effekten af en bestemt beskæftigelsespolitisk ordning? Svaret på dette spørgsmål er let og særdeles styringsrelevant, men vanskeligt at måle. Det handler grundlæggende om, hvilken betydning har det haft for en person at deltage i ordningen sammenholdt med en situation, hvor den selvsamme person ikke har deltaget. Forskellen udgør effekten. Men det at personen ikke både kan deltage og ikke-deltage antyder noget om målingsproblemet. For det andet er der i arbejdspapiret ikke kun sat fokus på enkelte ordninger og indsatsområder, men også statslige institutioner som helhed. Hvad er effekten af en statslig virksomhed? Ofte kan det være summen af effekten af en række indsatser og ordninger, som den pågældende statslige institution administrerer eller er aktivt involveret i. Denne opfattelse af effektstyring er af nyere dato, og det er en af de opfattelser, der også vil blive arbejdet videre med. Mål og resultatkrav i staten med fokus på effekt 58

59 Effektmålingens udfordringer og muligheder For det tredje er det afgørende, hvor i opgavehierarkiet eller værdikæden man kan og vil måle og styre. Arbejdet, der ligger til grund for arbejdspapiret, har vist, at mange forskellige tilgange til effekt og effektstyring kan være fordelagtig. Det er imidlertid svært at identificere, hvilken tilgang, der er bedst yder den største styringsgevinst med de færrest mulige ressourcer i en given situation. Skal man eksempelvis fokusere på effekten af enkeltstående indsatser eller institutionens samlede effekt? Skal der fokuseres på brugerrettede effekter eller samfundseffekt? Langsigtede effekter eller kortsigtede effekter? Er det en fordel og overhovedet muligt at måle direkte på effekten, eller er det nødvendigt at anvende effekt-indikatorer af den ene eller anden art? For det fjerde må man ligeledes gøre sig det klart, hvad den overordnede ramme for styringen er. Dette spørgsmål har hidtil ikke haft den store bevågenhed. De fleste statslige institutioner har formuleret en mission og vision samt nogle strategiske målsætninger. Samtidig anvendes konkrete mål og resultatkrav. Koblingen mellem den øvre ramme, og de konkrete mål og resultatkrav, samt hensynstagen til institutionens omgivelser og kendetegn er imidlertid en stor udfordring. Hvad er sammenhængen mellem mission og et givent effektmål eksempelvis? Hvad er de politiske målsætninger og hvordan kan de indtænkes? Hvorfor indikerer opfyldelsen af et resultatkrav, at man opfylder sine strategiske mål? Hvad kendetegner overhovedet ens modtagere? Er der tale om et marked eller en ydelse, der ikke er under konkurrence? Betjener man et snævert eller et bredere kundesegment? Arbejdspapiret indikerer, at ovenstående og andre udfordringer udfordrer statens anvendelse af effektorienteret styring i staten. Det har ikke været formålet med dette arbejdspapir at give en mere omfattende forklaring på, hvorfor tilstanden er som den er. På baggrund af analysen, kan der kun gisnes om det. Opsummerende kan således fremhæves: Det er ganske svært at identificere effekten af en indsats eller en institutions virke. Hvad kan forstås som effekt? Og hvordan kan denne forståelse operationaliseres så ønskede styringsgevinster opnås hos institution og/eller departement? At finde balancen mellem, hvad der er realistisk og ambitiøst, er en svær øvelse. Arbejdet med effektstyring er præget af, at der er mange problemer med at måle effekten af en indsats. Er effekten målbar? Er der kausalitet? Er målingen handlingsorienteret? Hvad er den rigtige tidshorisont for effektmålene og hvordan skal de fortolkes? Disse og mange andre spørgsmål kan udgøre en barriere for holdningen til at arbejde med effektstyring. Tilrettelæggelse af processen med fastsættelse af effektmål og effektkrav involverer mange og kan bidrage til konflikter omkring resultatkontraktindgåelsen. Man må konstatere, at argumenter imod Mål og resultatkrav i staten med fokus på effekt 59

60 Effektmålingens udfordringer og muligheder effektmåling for det meste er lette at finde på. Derimod er måden at overvinde dem på ofte betydelig vanskeligere. Trods dette er der næppe tvivl om, at statens institutioner må fortsætte bevægelsen fra traditionel præstationsmåling til måling ved hjælp af effekter. Det er der mange gode grunde til. For det første kan effektstyring give en langt bedre strategisk beslutningsstøtte. Institutioner og departementerne som opdragsgiver får et langt bedre og mere pålideligt materiale til at træffe de nødvendige beslutninger, herunder at justere og sammensætte institutionens indsats mere målrettet i forhold til det overordnede mål. For det andet vil effektstyring også give den udførende institution større frihedsgrader. Hvis styringen indrettes efter effektkrav længere ude i værdiskabelsesprocessen, vil det skabe et større råderum for institutionen, da krav til de interne produktionsprocesser dermed vil få mindre betydning. Og for det tredje er hele idéen med effektstyring, at dette overflødiggør en del af de resultatkrav, der i dag indgår i resultatkontrakterne. Der vil med andre ord kunne ske en sanering af mål og resultatkrav i kontrakterne. Dermed vil effektstyring kunne bidrage til at mindske bureaukratiet omkring hele styrings-setup et. Mål og resultatkrav i staten med fokus på effekt 60

61 Bilag Bilag 1 Institutioner og deres resultatkontrakter i undersøgelsen Ministerium Konto Institution kontrakt periode Antal Mål Antal krav Sagsbehandlingstid Produktitivitet Output Outcome Kvalitet Ekstern Udvikling Intern Udvikling Aktivitet Udenrigsministeriet Finansministeriet DCISM Slots- og Ejendomsstyrelsen SCKK Økonomistyrelsen Personalestyrelsen Økonomi- og Erhvervsministeriet Konkurrencestyrelsen Erhvervs og Selskabsstyrelsen Patent- og Varemærkestyrelsen Sikkerhedsstyrelsen Finanstilsynet Forbrugerstyrelsen Erhvervs og Byggestyrelsen Danmarks Statistik Søfartsstyrelsen Dansk Design Center Visit Denmark Dansk Standard Skatteministeriet Landsskatteretten SKAT Justitsministeriet Civilstyrelsen Familiestyrelsen Forsvarsministeriet Forsvarets interne revision Hjemmeværnskommandoen Farvandsvæsenet Beredskabsstyrelsen Militærnægteradministrationen Indenrigs- og Socialministeriet Ankestyrelsen Det kommunale evalueringsinstitut Mål og resultatkrav i staten med fokus på effekt 61

62 Bilag Servicestyrelsen SFI Statsforvaltningerne Kofoed skolen Center for frivilligt arbejde Ministeriet for sundhed of forebyggelse Beskæftigelsesministeriet Integrationsministeriet Sundhedsstyrelsen Lægemiddelstyrelsen Sundhedsvæsenets patient klagenævn Patientskadeankenævnet Videns- og forskningscenter for alternativ behandling Kennedy Centeret Statens serum institut Arbejdstilsynet Det nationale center for forskning i arbejdsmiljø Arbejdsskadestyrelsen Arbejdsdirektoratet Arbejdsmarkedsstyrelsen Sikringsstyrelsen Udlændingeservice Flygtningenævnet Ministeriet for Videnskab, Teknologi og Udvikling Undervisningsministeriet Forsknings- og Innovationsstyrelsen It- og Telestyrelsen Universitets og Bygningstyrelsen Cirius Københavns Universitet Aarhus Universitet Syddansk Universitet RUC Aalborg Universitet Handelshøjskolen i København DTU IT-universitetet i København Akkrediteringsinstitutionen Dansk Dekommisionering Det administrative Bibliotek SU-Styrelsen Mål og resultatkrav i staten med fokus på effekt 62

63 Bilag Styrelsen for evaluering og kvalitetssikring af grundskolen Kulturministeriet Miljøministeriet Sorø Akademi Danmarks evalueringsinstitut UNI-C Dansk Center for Undervisningsmiljø Charlottenborg udstillingsbygning Statens værksteder for kunst og håndværk Kunststyrelsen Danish Crafts Det Danske Filminstitut Styrelsen for Bibliotek of Medier Det kongelige bibliotek Statsbiblioteket i Århus Danmarks Blindebibliotek Danmarks Kunstbibliotek Statens arkiver Dansk sprognævn Kulturarvstyrelsen Nationalmuseet Statens forsvarshistoriske museum Dansk landbrugsmuseet Dansk jagt og skovbrugsmuseum Statens Museum for Kunst Arkitektskolen i Aarhus Kunstakademiets Billedkunstskoler Kunstakademiets Konservatorskole Danmarks designskole Det Kgl. Danske musikkonservatorium Det jyske musikkonservatorium Vestjysk Musikkonservatorium Det Fynske musikkonservatorium Nordjysk Musikkonservatorium Rytmisk musikkonservatorium Statens Teaterskole Den danske film skole Danmarks biblioteksskole Designskolen i Kolding naturklagenævnet Miljøstyrelsen Mål og resultatkrav i staten med fokus på effekt 63

64 Bilag By- og Landskabsstyrelsen Statslige Miljøcentre Skov- og naturstyrelsen Kort- og Matrikelstyrelsen Ministeriet for Fødevare, Landbrug og Fiskeri FødevareErhverv Plantedirektoratet Fødevarestyrelsen Fiskeridirektoratet Transportministeriet Vejdirektoratet Færdselsstyrelsen Statens luftfartsvæsen Kystdirektoratet Trafikstyrelsen Banedanmark Naviair Klima og Energiministeriet Energistyrelsen Danmarks Meteorologiske Institut GEUS I alt Mål og resultatkrav i staten med fokus på effekt 64

65 Bilag Bilag 2 Oversigt over anvendte begreber Aktivitet (resultatkravstype) En handling eller gruppe af handlinger der bidrager til tilvejebringelsen af en ydelse/leverance/produkt. Beredskab (opgavetype) Disse institutioners primære opgave er at stille et beredskab med en given kapacitet til rådighed med henblik på varetagelse af bestemte formål. I denne sammenhæng fokuseres hovedsageligt på materielt beredskab. Der kan imidlertid også være tale om vidensmæssigt beredskab fx i forbindelse med ministerbetjening. Brugerrettede effekter Brugerrettede effekt forstås som effekter, der henvender sig til en konkret modtager eller en afgrænset modtagergruppe. I de langt de fleste tilfælde er det nødvendigt at opnå brugerrettede effekter for at opnå samfundseffekter. Omend samfundseffekt ofte er den effekt, man reelt ønsker at opnå med en given indsats, er det i mange tilfælde nødvendigt at måle på de brugerrettede effekter, fordi det ikke er muligt eller giver styringsmæssigt mening at måle på samfundseffekten. Brugerrettede effekter kan således anvendes som effektindikatorer for en ønsket samfundseffekt. Brugerrettede effekter kan være kortsigtede, mellemlange eller langsigtede. Som tommelfingerregel gælder dog, at brugerrettede er kortsigtede eller mellemlange. Effekt (resultatkravstype) De virkninger institutionen prøver at opnå på sine omgivelser med sine output. Der kan skelnes mellem samfundseffekter (generelle effekter) og effekter for brugere/ borgere (specifikke effekter). Hertil kommer også økonomiske effekter (primært relevant for virksomheder, der operer inden for markedslignende vilkår). Effektindikator En effektindikator er et målingsobjekt, der anvendes, når det ikke er muligt at måle direkte på effekten. Det er essentielt, at sammenhængen (kausalforholdet) mellem effektindikatoren og effekten er entydig og stærk. Ekstern udvikling (resultatkravstype) Ved ekstern udvikling forstås udviklingsprojekter og andre opgaver; som ikke er omfattet af ovenstående kategorier; som ikke vedrører institutionens slutprodukter, og hvor det fremgår af kontrakten eller sammenhængen i øvrigt, at opgavens udførelse indgår direkte i opfyldelsen af eksterne krav til institutionen, fra fx departementet, EU-krav eller lovgivning. Mål og resultatkrav i staten med fokus på effekt 65

66 Bilag Institution Institution bruges i rapporten som en samlingskategori for alle organisationer i staten på nær departementer. Institutioner inkluderer således bl.a. råd og nævn, styrelser, direktorater, universiteter, museer og biblioteker. Som udgangspunkt skelnes der ikke mellem selvejende institutioner og statslige institutioner i rapporten. Intern udvikling (resultatkravstype) Ved intern udvikling forstås udviklingsprojekter og andre opgaver; som ikke er omfattet af ovenstående kategorier; som ikke vedrører institutionens slutprodukter, og som retter sig imod institutionens interne forhold, dvs. hvor det ikke direkte fremgår, at udførelsen af opgaven indgår direkte i opfyldelsen af eksterne krav til institutionen. Kvalitet (resultatkravstype) Ved kvalitet forstås graden af overensstemmelse mellem borgernes/brugernes forventninger og oplevelse i forhold til proces, resultat og effekt i mødet med den offentlige institution samt graden af overensstemmelse mellem proces, resultat og effekt og faglige standarder herfor. Mål Mål betegner det institutionen stræber efter at opnå. Mål kan både være målbare og ikke-målbare. I anmærkningerne til Finansloven, tabel 5, opstilles mål. Disse mål afspejles/udbygges i en eventuel resultatkontrakt. Offentlige serviceydelser (opgavetype) En stor del af de statslige institutioner producerer offentlige serviceydelser. Ydelserne tildeles enten som følge af et retskrav eller på baggrund af en aktiv tilkendegivelse fra brugeren. Ydelserne er for det meste gratis at efterspørge, men i nogle tilfælde betales der en form for brugerbetaling. Produktionen foregår inden for mange sektorer. Fx uddannelsessektoren (undervisning), den sociale sektor, og den kulturelle sektor. Herudover leverer statslige institutioner serviceydelser til erhvervslivet. Opgavetype Typer af opgaver som institutioner og departementer varetager. Der skelnes mellem 5 forskellige opgavetyper: Sagsbehandling, vidensproduktion, offentlige serviceydelser, rådgivning og tilsyn samt beredskab. Samlet dækker disse opgavetyper langt de fleste opgaver, der varetages i staten. En given opgavetype afføder et særligt styringsbehov, men en institution kan godt varetage flere opgavetyper. Outcome Se effekt. Mål og resultatkrav i staten med fokus på effekt 66

67 Bilag Output (resultatkravstype) De leverancer/indsatser institutionen leverer til sine omgivelser. Output er måden institutionen prøver at påvirke det omgivne samfund eller konkrete brugere/borgere på. Produktivitet (resultatkravstype) Mængden af finansielle midler/ressourcer der anvendes for at opnå en given aktivitet, ydelse og/eller produkt. Resultatkrav Resultatkrav defineres som et målbart kriterium for det, institutionen skal opnå i relation til et mål. Man skal som minimum kunne følge op på resultatkrav en gang årligt. Resultatkravstyper Forskellige typer af resultatkrav, der er anvendt i kodningen af resultatkravene fra statens resultatkontrakter. Rådgivning og tilsyn (opgavetype) Institutioner, der varetager denne opgavetype, har til formål at føre tilsyn med den offentlige forvaltning eller med borgere og private virksomheder som led i en myndighedsudøvelse. Ofte er tilsynsaktiviteten kombineret med rådgivning. Grundlæggende skal de pågældende myndigheder sikre, at lovgivningen på de forskellige områder implementeres og overholdes. Sagsbehandling (opgavetype) Institutioner med sagsbehandling har som primær opgave er at træffe afgørelser i fx klage- og ankesager, udstede autorisationer eller forvaltningsakter; herunder at udstede tilladelser. Til denne gruppe hører også institutioner, som tildeler tilskud på baggrund af ansøgning. Sagsbehandlingstid (resultatkravstype) Den tid, der anvendes på en sag/sagstype. Kategorien er kun anvendt for institutioner, hvor sagsbehandling ikke udgør en essentiel del af institutionens opgaveportefølje det vil typisk sig institutioner, hvor sagsbehandling er beskrevet som en del af institutionens mission og/eller vision. I de tilfælde hvor sagsbehandling modsat udgør en essentiel del af opgaveporteføljet, er sagsbehandlingstider at betragte som effektindikatorer, hvilket vil sige, at de kategoriseret som effektkrav. Samfundseffekt Samfundseffekter er traditionelt de egentlige effekter, man ønsker at opnå i sidste ende sluteffekten om man vil. De samfundsmæssige effekter vil kunne opfattes som institutionens ledestjerne. Samfundseffekter er ofte kendetegnet ved, at modtagergruppen i sidste ende er så diffus eller så bred, at det ikke giver mening at Mål og resultatkrav i staten med fokus på effekt 67

68 Bilag tale om en egentlig modtagergruppe. Samfundseffekter er ofte kendetegnet ved at være påvirket af et væld af faktorer i og uden for den enkelte institutions indflydelse. Ligeledes går påvirkningen typisk gennem flere kæder af årsagssammenhænge. Samfundseffekter kan være kortsigtede, mellemlange eller langsigtede. Som tommelfingerregel gælder dog, at samfundseffekter er langsigtede. Vidensproduktion (opgavetype) Disse institutioner leverer forskellige former for fagligt input til diverse beslutningsprocesser. Det kan være institutioner, hvor produktionen af viden retter sig mod dens eget behov. Det kan være institutioner, hvis primære opgave er at producere viden til det omgivende samfund. Enten i form af viden, som stilles til rådighed for andre offentlige myndigheder (fx departementer), eller viden, der anvendes af den private sektor, fx i erhvervene eller hos virksomheder og borgere. I nogle tilfælde sælges denne viden. I andre tilfælde formidles den generelt ud ofte med et oplysende formål. Mål og resultatkrav i staten med fokus på effekt 68