Case-samling inspiration til effekt

Transkript

1 Inspirationsmateriale Case-samling inspiration til effekt Hvordan vælger du mål, metoder, redskaber og resultatkrav, der passer til jeres styringsbehov? September 2010

2 Indholdsfortegnelse Indholdsfortegnelse Metodeeksperter...1 Mads Kristiansen...1 Carsten Strømbæk Pedersen...7 Morten Froholdt...20 Hanne Søndergaard Pedersen...28 Edith Madsen...31 Departementer...35 Beskæftigelsesministeriet...35 Socialministeriet & SFI...38 Institutioner...47 Danmarks Statistik...47 FødevareErhverv...50 Hjemmeværnskommandoen...54 Konkurrencestyrelsen...59 Miljøstyrelsen...63 MindLab...69 Nationalmuseet...74 Pensionsstyrelsen...77 SKAT...80 Slots- og Ejendomsstyrelsen...86 Udlændingeservice...91 Økonomistyrelsen...95 Øvrige Region Syddanmark & Accenture ABT-fonden (Økonomistyrelsen)...106

3 Forord Forord Formålet med inspirationsmaterialet er at videregive gode råd og erfaringer til statens institutioner og departementer om anvendelsen af effektmåling og effektmål. Udgangspunktet tages i den hverdag og de erfaringer, der allerede er gjort inden for staten. Erfaringsmaterialet er samlet i form af en case-samling. Casene giver hver for sig en beskrivelse af udvalgte problemstillinger og tilgange i forbindelse med det at arbejde med effekter. Anvendelse af case-samlingen og de enkelte cases Tanken med case-samlingen er at vise, hvordan effektmåling og effektmål er blevet udviklet og anvendt i staten. De fleste cases følger den samme struktur, for at sikre konsistens på tværs af casene og for at gøre det nemmere at danne sig et overblik over casene. Kobling til rammen for case-samlingen Rammen for Case-samlingen omhandler forståelsen af effekt og, hvordan der kan opstilles og måles på effekter. Der refereres løbende til Case-beskrivelserne i de forskellige kapitler i Rammen for Case-samlingen, for at eksemplificere de omtalte metoder og tilgange i de konkrete cases. Derudover findes i diagrammet nedenfor en oversigt over, hvilke cases der indgår og hvilke temaer der tages op. Inddragelse af case-bidragsydere De institutioner/personer, som har bidraget med en case, kan opdeles i to grupper: Den ene gruppe er institutioner og departementer, der har gjort sig omfattende overvejelser og erfaringer med effektmåling og effektmål. Den anden gruppe er metodeeksperter, der har praktisk kendskab til de metodiske problemstillinger, der kan opstå, når effektmåling og effektmål skal udvikles og anvendes i praksis. Inddragelsen af case-bidragyderne har været todelt. I april måned 2010 blev der afholdt fire erfaringsudvekslingsmøder med de departementer, institutioner og metodeeksperter, som har bidraget med en case. Ved møderne præsenterede deltagerne deres overvejelser, erfaringer og anvendelse af effektmåling og effektmål, hvorefter deres metoder og tilgange til arbejdet med effektmåling og effektmål blev drøftet. Med afsæt i deltagernes præsentationer skrev de forskellige institutioner, departementer og metodeeksperter hver en case om deres praksis og erfaring med effektmåling og effektmål. Det er således institutioner, departementer og metodeeksperter, der har skrevet artiklerne og casene. Derfor er det også disse, der har haft den endelige redigeringsret. Netop på grund af, at artikler og cases har forskellige forfattere, vil man opleve, at der kan være uoverensstemmelse mellem forfatternes brug af termer og forskellige tilgange, forståelser og definitioner af effektmål og effektmåling. Ligeledes vil der være forskelle i brug af begreber i Rammen for Case-samlingen og i de enkelte cases. Begrundelsen er, at begrebsanvendelsen udtrykker den faktiske sprogbrug, der anvendes i institutionerne. Tanken med case-samlingen er at lære af andre og materialet skal derfor ses som vidensdeling fra institutioner, departementer og metodeeksperter, som har omfattende praktisk erfaring med effektstyring.

4 Matriks over cases og hvilke emner de omhandler Emner Definition af effekt og effektforståelse Delemner Opgavetyper Brugerrettede effekter Samfunds effekter Kortsigtede effekter Langsigtede effekter Effekt indikatorer Metodeeksperter Mads Kristiansen - Carsten Strømbæk Pedersen - Morten Froholdt - Hanne Søndergaard Pedersen - Edith Madsen - Departementer Beskæftigelsesministeriet - Socialministeriet / SFI - Institutioner Danmarks statistik Vidensproduktion FødevareErhverv Sagsbehandling (tilskudsadm.) Hjemmeværnskommandoen Beredskab Konkurrencestyrelsen Rådgivning & Tilsyn Miljøstyrelsen Rådgivning & Tilsyn MindLap Vidensproduktion Nationalmuseet Off. serviceydelser Pensionsstyrelsen Sagsbehandling SKAT Kompleks Slots- og Ejendomsstyrelsen Off. serviceydelser Udlændingeservice Sagsbehandling Økonomistyrelsen kompleks Øvrige Region Syddanmark/Accenture Off. serviceydelser ABT-fonden Sagsbehandling (tilskudsadm.)

5 Emner Anvendelsen af effektindikatorer Styringsniveauer Delemner Metodeeksperter Mads Kristiansen Carsten Strømbæk Pedersen Morten Froholdt Hanne Søndergaard Pedersen Edith Madsen Departementer Beskæftigelsesministeriet Socialministeriet / SFI Institutioner Danmarks statistik FødevareErhverv Hjemmeværnskommandoen Konkurrencestyrelsen Miljøstyrelsen MindLap Nationalmuseet Pensionsstyrelsen SKAT Slots- og Ejendomsstyrelsen Udlændingeservice Økonomistyrelsen Øvrige Region Syddanmark/Accenture ABT-fonden Kvalitet Brugerundersøgelser Effekt indenfor markedslignende vilkår Effektivitet som indikator Indsats Institution Koncern

6 Emner Forandringsteorier Målingsmetoder Delemner Indsats Institution Koncern Simpel effektmåling Før- efter måling Eksperimenter/ kontrolgruppe Kvalitative målinger Isolere effekten af en indsats Metodeeksperter Mads Kristiansen Carsten Strømbæk Pedersen Morten Froholdt Hanne Søndergaard Pedersen Edith Madsen Departementer Beskæftigelsesministeriet Socialministeriet / SFI Institutioner Danmarks statistik FødevareErhverv Hjemmeværnskommandoen Konkurrencestyrelsen Miljøstyrelsen MindLap Nationalmuseet Pensionsstyrelsen SKAT Slots- og Ejendomsstyrelsen Udlændingeservice Økonomistyrelsen Øvrige Region Syddanmark/Accenture ABT-fonden

7 Mads Kristiansen Metodeeksperter Mads Kristiansen Institution Institution for Statskundskab på Københavns Universitet Forfatter Mads Kristiansen, Ph.d. stipendiat Metoden der eksemplificeres Metoder til måling af effekt. 1. Indledning I denne artikel vil jeg forsøge at komme nærmere, hvad der mere præcist menes, når der tales om effekt, og hvordan det kan vurderes, om en offentlig organisation opnår de ønskede effekter af dens virksomhed. Jeg vil desuden se nærmere på, hvilke argumenter der kan være for at fokusere på effekt samt hvilke udfordringer, der kan være herved. Endeligt vil jeg diskutere, hvilken betydning opgavesammensætningen kan have for en organisations muligheder for at fokusere på effekt. De overordnede konklusioner i artiklen er følgende: 1. Effektbegrebet er et bredt og flertydigt begreb. Det er derfor væsentligt at gøre sig overvejelser om, hvad der præcist menes med effekt herunder om der er tale om en afdækning af den kausale sammenhæng eller indikationer på effekt. 2. Der er en række gode argumenter for at fokusere på effekt, men samtidig eksisterer en række udfordringer ved at udvikle, måle og styre efter indikatorer på effektniveau. 3. Der eksisterer ikke én universel løsning i udvikling og opfølgningen på indikatorer på effektniveau. Dette arbejde vil i høj grad afhænge af opgaveområdets specifikke karakter. 2. Hvad er effekter? Ifølge Politikkens nudansk ordbog kan effekt oversættes til virkning. Hvis man foretager et tilsvarende opslag af virkning, fremkommer følgende forklaring: Virkning er det at noget ændrer sig eller bliver berørt som følge af en bestemt handling, et bestemt middel el.lign. Dvs. at der skal have været iværksat en indsats, inden der kommer en effekt. Fra det engelske sprog har vi en del begreber, der relaterer sig til det danske effektbegreb. Dette gælder særligt begreberne effects 1, impacts 2 og outcomes 3. I den engelsksprogede litteratur foretages undertiden et skel mellem henholdsvis outcomes og impacts, hvor outcomes refererer til effekt på kort og mellemlangt sigt, refererer impacts som regel til de langsigtede effekter af indsatsen. Der knyttes således ofte forskellige tidsperspektiver til effekter. Fælles for de ovenstående termer er dog, at de kan henføres til at være det, der sker efter offentlige organisationers præstationer/indsatser. Eftersom at effekter sker som følge af en indsats i interaktion med det omgivende samfund, har organisationen ikke fuldstændig 1 Effects kan defineres som en tilsigtet eller utilsigtet ændring som direkte eller indirekte følge af en indsats. (Dansk Evalueringsselskab, 2004) 2 Impacts kan defineres som virkninger, der er blivende over tid. Virkninger kan være positive og negative, primære og sekundære, forårsaget af en indsats, direkte eller indirekte, tilsigtede eller utilsigtede. (ibid) 3 Outcomes kan forstås som den sandsynlige eller opnåede virkning af en indsats, kvantitativ og kvalitativ. (ibid) 1

8 Mads Kristiansen kontrol over effekten. Et af de store spørgsmål bliver således ofte spørgsmålet om kausalitet, og hvorledes en given effekt kan tilskrives den pågældende indsats To metoder til vurdering af effekter klassisk effektevaluering og monitorering I dette afsnit sondres mellem to metoder med hver deres berettigelse, når det gælder om at tilvejebringe information til beslutningstagere. Det er hhv. klassisk effektmåling og monitorering (her i form af performance management). Inden for klassisk effektmåling vil man typisk forsøge at finde den kausale sammenhæng mellem en indsats og effekten af denne. Det er vigtigt at isolere effekten af den konkrete indsats, da det fx kan tænkes, at også andre faktorer end den konkrete indsats har ført til effekten. Klassisk effektmåling bygger grundlæggende på tankegangen om den kontrafaktiske situation (dvs. hvad der ville være sket, hvis den pågældende indsats ikke var gennemført). Dette kan eksempelvis ske ved at sammenligne en deltager- og en ikkedeltagergruppe. En anden måde at tilvejebringe information er at monitorere organisationens indsats. Her følger man op på opstillede indikatorer for forskellige faser i en logisk model. Monitoreringen kan omhandle alt fra opstillede kriterier for indsatsens karakter og sagsbehandlingstider til den udvikling, der måtte være hos en modtagergruppe af en indsats uden hensynstagen til om effekt reelt er forårsaget af institutionens indsats eller faktorer uden for organisationens indflydelse. Ved monitorering ser man ofte på opfyldelse af indikatorer eller målbare mål, men der gives ikke forklaringer på årsag og virkninger. Da det kan være en ganske vanskellig og omkostningsfuld metode at isolere effekten af en indsats, vil mange offentlige organisationer ofte benytte sig af indikatorer eller tegn på, at det går i den rigtige retning (monitorering), hvorfor der tages udgangspunkt i monitorering i det følgende Performance management og den logiske model En forudsætning for performance management (herunder mål- og resultatstyring) er en analyse i form af målhierarki, forandringsteori og udvælgelse af indikatorer. En metode til at afklare dette kan være at anvende en logisk model, der viser den logiske sammenhæng i en organisations eller i et programs produktionsproces. I det nedenstående er vist en sådan logisk model 4 : Der er behov for ressourcer for at gennemføre indsatsen Såfremt der er adgang til ressourcerne, kan de planlagte aktiviteter gennemføres Hvis aktiviteterne gennemføres, vil den forventede mængde af produkter/ydelser forhåbentlig blive leveret Hvis de planlagte aktiviteter nås, i det omfang det var tilsigtet, vil det formentlig være til nytte for målgruppen Hvis indsatsen er til nytte for målgruppen, vil der kunne forventes visse forandringer i organisationer, samfund eller systemer Ressourcer /inputs Aktiviteter Outputs Outcomes (effekter på kort og mellemlang sigt) Impact (langsigtede effekter) Med inspiration fra: W.K. Kellogg Foundation (2004) I den logiske model beskrives et målhierarki, hvor hver målsætning logisk skal følge hinanden for at nå den langsigtede målsætning. Modellen kan derved bidrage til at præsentere en forståelse for sammenhængen, mellem de ressourcer der er til rådighed, de 4 Den logiske model og programteori defineres ofte som to sider af samme sag. Andre argumenterer for, at den logiske model ikke er lig med programteori, men at det er en del af programteorien. Her er argumentet at ved at udvide den logiske model med antagelser om, hvorfor resultaterne opstår, får vi en forandringsteori eller en programteori. En programteori kan defineres som (sæt af mere eller mindre sammenhængende og veludviklede) forestillinger om, hvordan en bestemt intervention/indsats (programmet) virker ind på en bestemt situation, og ændrer eller bevarer denne (Hansen & Vedung, 2005). 2

9 Mads Kristiansen aktiviteter der planlægges gennemført, og endelig det man håber at opnå med indsatsen (effekterne). Den logiske model beskrives som et program, der fører til en effekt, og hvor effekten kan have mange årsager ved siden af selve programmet. Når der er tale om monitorering af indikatorer, vil mange være af den opfattelse, at begrebet effekt ikke vil kunne anvendes, da kausalsammenhængen ikke afdækkes. For at sikre sammenhæng til de øvrige bidrag i inspirationsmaterialet, vil jeg imidlertid anvende begrebet effekt som en samlebetegnelse for indikatorer for outcomes og impacts. De væsentligste komponenter i den logiske model fremgår af ovenstående figur. Da fokus i Økonomistyrelsens inspirationsmateriale er effekter, vil jeg koncentrere mig om de to sidste faser i modellen; effekterne af indsatsen her benævnt som outcomes og impacts. Outcomes kan betegnes som den umiddelbare virkning af outputs. Outcomes opdeles her i kort og mellemlang sigt. Den kortsigtede effekt kan eksempelvis være ændringer i målgruppens kognitive funktioner: viden, tænkemåde og opfattelse. Den nye viden, tænkemåde eller opfattelse skulle gerne føre til ændringer i målgruppens læring i form af en ændret adfærd, handlinger og beslutninger, der kan betegnes som de mellemlange effekter af indsatsen. Endeligt skulle vi gerne nå vores langsigtede effekter af indsatsen (impacts), der bl.a. kan omfatte forbedrede vilkår, øget kapacitet mv. (W.K. Kellogg Foundation, 2004). Der arbejdes således med effekter i forskellige tidsperspektiver i form af kort, mellemlang og lang sigt. Det skyldes dels, at effekter kan være årsager til andre effekter, dels at effekter kan optræde med forskellige tidshorisonter. I forbindelse med vurderingen af effekter vil der ofte være væsentlige usikkerhedsmomenter. Påvirkningen fra indsatsen forventes at være mindre på de langsigtede effekter, da andre faktorer end selve indsatsen (eksterne eller eksogene faktorer) også forventes at påvirke de langsigtede effekter. Den logiske model kan anvendes på mange niveauer: individniveau, gruppeniveau, programniveau, organisationsniveau og samfundsniveau til at planlægge og gennemføre indsatser, ligesom den kan være et udgangspunkt for at evaluere indsatsen ud fra de enkelte faser i produktionsprocessen. Modellen kan være et godt værktøj til at visualisere strategien for indsatsen og dermed også et vigtigt værktøj til at formidle og kommunikere med indsatsens interessenter (eksempelvis departementet). I gennemførelsen af indsatsen kan modellen være med til at tydeliggøre, hvilke aktiviteter der skal gennemføres. I opfølgningen på indsatsen kan den logiske model være med til at indkredse, hvilke indikatorer der skal følges op på, og derved udgøre en ramme for opfølgningen samt anvendes som udgangspunkt for et stærkere fokus på indsatsens effekter. 3. Hvorfor fokusere på effekter - er det seneste forvaltningspolitiske mode? For tiden synes der at være en stigende interesse for, at offentlige organisationer styrker arbejdet med at indsamle og dokumentere effekten af indsatsen. Dette kan bl.a. ses af en række af de beretninger, som Rigsrevisionen har udarbejdet de seneste år, ligesom fokus på effekt ligeledes er blevet accentueret med Finansministeriets publikation Ansvar for styring. En række ministerier har igangsat projekter med henblik på at måle og styre efter effekten af deres arbejde, ligesom en række konsulenthuse i stigende grad interesserer sig for området. Fokus på effekt synes med andre ord at være på mode i den offentlige forvaltning. Men ikke alt der er moderne er skidt, og for mange offentlige organisationer kan det være hensigtsmæssigt at fokusere på effekten af deres indsats. En væsentlig del af den akademiske litteratur, der behandler performance management og måling på indikatorer, fokuserer på såkaldte uintenderede effekter af styring efter indikatorer. Der kan identificeres en række forskellige former for uintenderede effekter, 3

10 Mads Kristiansen der bl.a. vedrører den betragtning, at indikatorer og resultatmål kan risikere at fiksere opmærksomheden på mål og indikatorer, der ikke nødvendigvis er de sande mål. Litteraturen der fokuserer på uintenderede effekter af resultatmåling, kan betegnes som historien om de polske møbler, da der ofte fremhæves et eksempel fra den polske møbelindustri. Den polske møbelindustri blev under kommunismen målt på, hvor mange tons møbler den kunne producere. Dette resulterede i, at polske møbler blev de tungeste i verden. Hensigten med indikatoren var givetvis, at måle møbelindustriens produktivitet. Det man opnåede var dog ikke produktivitet, men tunge møbler. Pointen her er, at uhensigtsmæssige indikatorer vil føre til uhensigtsmæssig adfærd. Det forhold, at der i højere grad fokuseres på effekterne af en indsats og i mindre grad på aktiviteter og outputs, kan være medvirkende til i højere grad at undgå at fiksere opmærksomheden på mål og indikatorer, der ikke bidrager til opnåelsen af organisationens egentlige mission/formål. Derudover kan der opnås indsigt i, hvorvidt organisationen gør de rigtige ting og ikke blot gør tingene rigtigt, som det populært fremføres. Det vil dog være væsentligt ikke udelukkende at fokusere på effekter, men fortsat at supplere med outputs. 4. Udfordringer ved at udvikle, måle og styre efter effektindikatorer Der kan imidlertid være en række udfordringer ved at udvikle, måle og styre efter indikatorer på effektniveau. Mange af disse udfordringer blev også identificeret i Rigsrevisionens beretning om mål- og resultatstyring i staten med fokus på effekt (Rigsrevisionen, 2009): Det er vanskeligt at isolere effekten af institutionens indsats fra andre faktorer (når der ikke foretages klassiske effektmålinger, men derimod måles på indikatorer på effektniveau, vil der være en række eksterne faktorer, der kan spille ind på effekten). Effekten af institutionens indsats indtræder med en betydelig tidsforskydning (det kræver således et langt tidsperspektiv). Institutionens formål kan være vanskelig at omsætte i konkrete mål og indikatorer på effektniveau. Det kan være ressourcekrævende at etablere det fornødne datagrundlag for måling af indikatorer på effektniveau. Vurderingen af effekter kan være følsom over for få enkeltstående begivenheder. Der vil ofte være en gensidig afhængighed mellem flere institutioner i opnåelsen af effekter. 4.1 Målbarhed og opgavens karakter ingen universel løsning i arbejdet med effekt Rigsrevisionen (2009) bemærker desuden i deres beretning, at det ikke i alle tilfælde vil være muligt og relevant at opstille meningsfulde mål for den samfundsmæssige effekt af en institutions virksomhed, hvorfor den enkelte institutions mulighed for at opstille samfundsorienterede effektmål i vid udstrækning afhænger af opgavesammensætningen. I lighed med dette peger en del forskning på betydningen af opgavefaktoren i offentlig forvaltning og særligt på målbarheden af opgaver (fx Wilson, 1989). Pointen er her, at der vil være en række karakteristika ved organisationens opgaver, der kan have indflydelse på, hvilke udfordringer den enkelte organisation vil have ved at opstille mål og indikatorer på effektniveau. Offentlige organisationers opgaver er i organisations- og forvaltningsforskningen karakteriseret på forskellige måder. En del forskere hæfter sig især ved målkompleksitet (fx Harmon og Mayer, 1986). Offentlige organisationers mål betegnes således som 1) 4

11 Mads Kristiansen uklare og vage, 2) multiple, 3) konflikterende, 4) flygtige og ustabile over tid, samt 5) vanskellige at operationalisere. Dette kan have betydelige konsekvenser. Graden af dette vil dog variere mellem forskellige opgavetyper, hvorfor de dilemmaer der skitseres i det følgende vil variere afhængig af opgaveområdet. Et væsentligt element i denne opgavekompleksitet er, at offentlige organisationer ofte producerer ydelser på to niveauer. På det første niveau produceres brugerrettede ydelser. Disse ydelser er konkrete, afgrænsede, og retter sig mod individuelle og specifikke borgere eller virksomheder, som fx klienter, studerende og patienter. Eksempler er undervisning, hospitalsoperationer, sagsafgørelser, arbejdstilsynsbesøg, udmåling af sociale ydelser mv. På det andet niveau produceres almene ydelser. Disse ydelser retter sig mod borgerne eller virksomheder som helhed eller eventuelt mod grupper heraf. På dette niveau handler undervisning ikke om at uddanne en bestemt navngiven person, men i højere grad hvad flere uddannede kan gøre for samfundet. Som eksempel på dette kan nævnes Arbejdstilsynet, hvis brugerrettede ydelse primært er virksomhedsbesøg og/eller anden virksomhedsrelateret sagsbehandling, der kan munde ud i såvel vejledning som påbud og forbud. Der kan også være tale om udsendelse af informationsmateriale og regelsæt samt telefonisk rådgivning. Den almene ydelse er forbedring af arbejdsmiljøet på en måde, der bringer det i overensstemmelse med den tekniske og sociale udvikling i samfundet. Arbejdstilsynets opgave kan bredt karakteriseres som at forbedre velfærden gennem nedsættelse af arbejdsbetingede sygdomme og ulykker (Beck Jørgensen, 1994). Kernen i denne opfattelse af offentlige organisationers opgaver er, at offentlige organisationer producerer ydelser på flere niveauer og på denne måde relaterer sig både til en mere afgrænset brugergruppe og til en større almenhed. Umiddelbart ligger det lige for at postulere, at der er en bestemt funktionel sammenhæng mellem almene ydelser og brugerrettede ydelser. Dvs. at produktionen af den brugerrettede ydelse er et middel til at opnå den almene ydelse, som udgør det overordnede mål. Det gælder da også i mange tilfælde, men i andre tilfælde kan der være konflikter mellem forskellige ydelser. Et eksempel på dette kan være forholdet mellem bevaringsopgaven på Det Kgl. Bibliotek, Nationalmuseet og Statens Museum for Kunst og det at forøge brugerrettede ydelser som udlån, udstillinger mv., der vil indebære en risiko for nedslidning og tyveri (Beck Jørgensen, 1994). I nogle tilfælde kan de brugerrettede ydelser være et middel til at opnå de almene ydelser, mens der i andre tilfælde kan være et konfliktforhold. Hvordan de to ydelsestyper står i forhold til hinanden afhænger af, hvilken form for almen ydelse der er tale om. Der kan med andre ord være en konflikt og inkonsistens i de brugerrettede og almene ydelser, som organisationen skal producere. Forholdet mellem brugerrettede og almene ydelser bør derfor afdækkes, når der udvikles en logisk model for organisationen. Tager vi udgangspunkt i det enkleste forhold mellem almene ydelser og brugerrettede ydelser, nemlig mål-middel relationen mellem et samfundsmæssigt mål (ét aspekt af den almene ydelse 5 ) og brugerrettede ydelser, er der imidlertid to kritiske forhold. For det første er der spørgsmålet om, hvor operationelt det samfundsmæssige mål er udformet. Mange statslige institutioner vil formentligt være kendetegnet ved betydelige uklarheder i formuleringen af det samfundsmæssige mål. På Arbejdstilsynets område knytter problemet sig eksempelvis til forståelsen og målingen af arbejdsmiljø. Operationaliseringen af det centrale begreb er i sig selv vanskelig. Der er her indbygget meget rummelige fortolkningsmuligheder og dermed også konfliktmuligheder (Beck Jørgensen, 1994). Ofte vil det således være lettere at udvikle indikatorer for effekter af brugerrettede ydelser. Dette kan føre til at organisationens fokus primært rettes mod den brugerrettede ydelse og i mindre grad mod de almene ydelser. Dette på trods af, at de almene ydelser i mange henseender er en central del af begrundelsen for overhovedet at have en offentlig sektor. 5 For en gennemgang af andre aspekter ved den almene ydelse henvises til Beck Jørgensen (1994). 5

12 Mads Kristiansen For det andet er der spørgsmålet om, hvorvidt der er viden om, hvilke brugerrettede ydelser der bedst fører til realiseringen af den almene ydelse og det samfundsmæssige mål. For Arbejdstilsynet kan det eksempelvis være uklart, hvilke virkemidler der fører til det gode arbejdsmiljø. Er det rådgivning og vejledning eller påbud, forbud og politianmeldelser. Med andre ord kan der være uklare mål-middel sammenhænge. Som det fremgår af det ovenstående vil der være en række opgaverelaterede faktorer, der vil have indflydelse på den enkelte organisations udfordringer ved at opstille samfundsorienterede effektmål. Der findes med andre ord ikke én universel løsning på udvikling og opfølgningen på indikatorer for effekter. Dette vil i høj grad afhænge af opgaveområdets specifikke karakter. 5. Litteratur Beck Jørgensen, T. (1994): Offentlige organisationers opgaver. Politica, Bind 26 (1994) 3 Dansk Evalueringsselskab (2004): Evalueringsterminologi. Hansen, M. B. og E. Vedung (2005): Fælles sprog i ældreplejens organisering. Evaluering af et standardiseret kategorisystem. Syddansk Universitetsforlag, Odense. Harmon, M. og R. Mayer (1986): Organization Theory for Public Administration, Boston: Little Brown Co. Rigsrevisionen (2009): Beretning til Statsrevisorerne om mål- og resultatstyring i staten med fokus på effekt. Wilson, James Q. (1989): Bureaucracy: What Government Agencies Do and Why They Do It. Free Press. New York. W.K. Kellogg Foundation (2004): Logic Model Development Guide 6

13 Carsten Strømbæk Pedersen Carsten Strømbæk Pedersen Institution Servicestyrelsen Forfatter Carsten Strømbæk Pedersen, specialkonsulent og ekstern lektor Konceptet der eksemplificeres Overordnede strategier til effektmåling I en styringssammenhæng er effektspørgsmålet yderst relevant. Et effektspørgsmål adskiller sig fra et målopfyldelsesspørgsmål ved, at sidstnævnte har fokus på opnåede resultater indenfor målområdet. Effektspørgsmålet handler derimod om, hvorvidt opnåede resultater er forårsaget af den gennemførte indsats (eller institution). Effektspørgsmålet er altså et årsags-virknings-spørgsmål. Indenfor samfundsvidenskabelig metode bruger man betegnelsen kausalitet for årsagsvirkningsforholdet. I daglig tale bruger man også termer som forårsager, medfører, påvirker, resulterer i osv., når der tales årsags-virkningsforhold eller kausalitet (Dahler-Larsen & Krogstrup 2003). Effekter forårsaget af en indsats eller institution betegnes programeffekter. Outcomes er ændringer, som kan komme til udtryk på kort, mellemlang eller lang sigt (jf. figur 1). De kan være primære eller sekundære, negative eller positive, tilsigtede eller utilsigtede etc. Man kan vælge at fokusere på outcomes på forskellige niveauer: individuelle niveau (ændringer i holdninger, viden, færdigheder etc.) organisatoriske niveau (ændringer i politikker, praksisser, kapacitet etc.) samfundsmæssigt niveau (ændringer i arbejdsløshed, uddannelsesniveau, genbrug etc.) policy eller statslige niveau (ændringer i lov, reguleringer, finansieringskilder etc.) (Mathison 2005) Hvis man fejlagtigt slutter, at en ændring i outcome er forårsaget af en given indsats eller institution dvs. at man fejlagtigt slutter, at noget er en programeffekt kan det have betydelige politiske og styringsmæssige implikationer, idet der sagtens kan forekomme en outcomeændring, uden det nødvendigvis (alene) skyldes en given indsats. Derfor er effektmåling et centralt og afgørende punkt i forbindelse med effektstyring: Måles der forkert eller ud fra forkerte antagelser, kan den ønskede styringsinformation blive til misinformation og et ukorrekt styringsgrundlag. 7

14 Carsten Strømbæk Pedersen Figur 1: Outcome-niveau, outcome-ændring og programeffekt Kilde: Rossi, Lipsey & Freeman (2004:207) Man skal være opmærksom på, at effektmåling ikke er en objektiv og neutral aktivitet. Den måde en effektmåling gennemføres på har konsekvenser for hvilke svar og konklusioner, effektmålingen kommer med. Dette har igen konsekvenser for, hvordan en indsats eller institution vurderes, og hvilke handlinger der som følge heraf sættes i værk (Hertting & Vedung 2009). I det efterfølgende vil vi se på forskellige måder, som effektspørgsmålet kan gribes an på. Logiske modeller: input, aktivitet, output og outcome Ofte besvares spørgsmålet om, hvorvidt et resultat er opnået netop pga. af denne indsats, ved at tale om input, aktivitet, output og outcome. Når en model for sammenhængen mellem indsats og effekter sætter fokus på mellemliggende resultater snarere end processer, kalder man det indenfor evalueringsteorien logiske modeller (Se figur 2) (Chen 2005; Weiss 1998). En logisk model er en systematisk og grafisk måde at præsentere en forståelse for sammenhængen mellem en række centrale faktorer: De ressourcer der er til rådighed, de aktiviteter det planlægges at udføre og endelig de resultater, man håber at opnå. Anvendelse af logiske modeller kan være en stor hjælp til at organisere og systematisere planlægningen, styringen og evalueringen af indsatser. 8

15 Carsten Strømbæk Pedersen Figur 2: Logisk model Der er behov for midler for at iværksætte indsatsen Hvis der er adgang til midlerne, så kan de bruges til at gennemføre de planlagte aktiviteter Hvis de planlagte aktiviteter gennemføres, så vil den ønskede service blive leveret Hvis de planlagte aktiviteter gennemføres i det omfang som tilsigtet, så vil deltagerne have nytte af det på forskellige måder Hvis deltagerne rent faktisk opnår nytte, så forventes der visse ændringer i fx organisationen, systemet eller samfundet Ressourcer Aktiviteter Output Outcome (kort sigt) Outcome (lang sigt) Planlagte aktiviteter Tilsigtede resultater Kilde: Pedersen (2005); W.K. Kellogg Foundation: Evaluation Handbook (1998, 2001) Logiske modeller er gode til at orientere ansatte og andre interessenter gennem en motiveret vision/plan for en given indsats. En indsats, som opstilles i en logisk model, har potentiale til at skabe fælles forståelse omkring indsatsen, og om hvordan aktiviteterne i indsatsen tænkes at hænge sammen. Logiske modeller kan bidrage med at sætte mere fokus på outcome frem for output. Logiske modeller kan også være med til at guide en evaluering, hvor hver komponent i en logisk model kan oversættes til indikatorer (performanceindikatorer). Logiske modeller er i sig selv ikke nok til at vurdere, om en given indsats fører til den ønskede effekt. I opstillingen af kausalforhold er der en logisk rækkefølge, således at det kan illustrere, at årsagen X og effekten Y optræder sammen, og at årsagen X optræder før effekten Y. Men logiske modeller bidrager ikke med en teoretisk begrundelse for, hvorfor årsagen X skulle være årsag til effekten Y. Ligeledes har logiske modeller problemer, når rækkefølgerne af årsager X og virkninger Y bliver cirkulære eller mere komplicerede (fx rekursive). Dertil kommer, at der kræves en empirisk eftervisning af forbindelsen mellem X og Y for at vurdere kausalforholdet mellem indsatsen og effekt. Forandringsteorier og programteorier I forbindelse med Resultatbaseret Styring i Socialministeriet herunder Servicestyrelsen er formulering af forandringsteori et centralt element (se figur 3 og 4). Den måde forandringsteori i praksis anvendes på, minder på mange måder om logiske modeller. 6 Men der er en (teoretisk) forskel. Man kan noget forsimplet sige at en logisk model og en programteori tilsammen udgør en forandringsteori. Nedenfor i display 1 er forsøgt at skelne mellem de tre begreber. 6 Se evt. casen Resultatbaseret Styring af Morten Froholdt i nærværende inspirationsmateriale. 9

16 Carsten Strømbæk Pedersen Display 1: Logisk model, programteori og forandringsteori Logisk model Programteori Forandringsteori En oversigt over komponenterne input, aktiviteter, output og outcome. Viser en lineær sammenhæng, men indeholder ikke forestillinger (teori) om, hvorfor indsatsen tænkes at virke. Indeholder en oversigt over de driftsmæssige aspekter af en indsats. Er nogle begrundede forestillinger (teori) om, hvorfor denne indsats skulle have disse resultater for denne gruppe mennesker i denne situation. Men også fokus på hvad der ellers sker (bi-effekter). Programteorien sætter fokus på menneskers reaktion på indsatsens aktiviteter. Kombinationen af implementeringsteori og programteori er indsatsens forandringsteori. Implementeringsteorien er teorien om, hvad der skal til for at omsætte mål til løbende servicelevering og drift. Lidt forsimplet kan man sige at en logisk model og en programteori tilsammen udgør forandringsteorien. Man vil i nærværende inspirationsmateriale se, at der knyttes forskellige betydninger til termerne. Dette afspejler blot den variation eller begrebsflimmer der i øvrigt findes i evalueringslitteraturen (Weiss 1998; Chen 2005; Daponte 2008; Kazi 2003; Frechtling 2003; Dahler-Larsen et al 2003; Donaldson 2007). 10

17 11 Kilde: Servicestyrelsen (2009): Rapport om Odense Kommunes demenskoordinatorfunktion Ressourcer Tid (timer, penge) Koordinatorer Uddannelse/kompetencer Teknologi Personale Udviklingsforum Ledelse Organisation, politikker og værdier Deltagelse i faglige netværk, erfa mv. Formidling Hjemmebesøg Telefonkontakt Rådgivning og vejledning Faglig vejledning/supervision Undervisning og information Løbende støtte Magtanvendelse Løbende støtte (magtanvendelse) Aktiviteter Forandringsteori for Demenskoordinatorfunktionen i Odense Kommune Koordinering i fh.t. sygehus, ledere, praktiserende læger m.fl. Dokumentation Indstillinger Vurderinger Projektdeltagelse Output/produkter Umiddelbare resultater Virkninger på mellemlang sigt Virkninger på lang sigt Overlevering af information/samarbejde Faglig kvalitet Daglig hjælp Fysisk træning m.m. Nye aktiviteter og viden Dagcenter, plejecenter og andre tilbud Udredning Ny viden (pårørende) Ny viden (personale) Koordination PR og rekruttering Bedre ADL Fysisk/psykisk funktion Tryghed (via information) Udvikle demensområdet Kompetencematch og -krav Undgå nedslidning hos personale Fastholdelse af medarbejdere Undgå nedslidning hos pårørende Tilfredshed hos borgere Trivsel Størst mulig livskvalitet Mulighed for mestring af eget liv Tilfredshed (kommunale mål) Figur 3: Eksempel på forandringsteori for demenskoordinationsfunktion Carsten Strømbæk Pedersen

18 Carsten Strømbæk Pedersen Figur 4: Eksempel på en forandringsteori: Et norsk/svensk udviklet program for kriminelle unge baseret på forskningsbaseret teori (MultiFunc) Kilde: Socialministeriet (Øvelsesmateriale) Kausalforhold fx illustreret ved en forandringsteori eller programteori må som nævnt testes empirisk. Der findes i metodelitteraturen to overordnede strategier til empirisk afdækning af kausalforhold (Maxwell 2004; Sommer et al 2010). Disse to strategier beskrives i korte træk nedenfor. Variansorienterede strategier I variansorienterede strategier til at belyse årsags-virkningsforhold forsøger man at henføre variationen i virkningen Y til henholdsvis årsag X og kontrolvariable Z. Strategien har fokus på, hvorvidt og i hvilket omfang variansen i X forårsager variansen i Y (Sommer, Pedersen & Halkier 2010). Under variansorienterede strategier hører metoder, hvor påvisning af effekt sker ved hjælp af kontrol. Et eksempel på en variansorienteret strategi er det kontrollerede, randomiserede eksperiment (RCT), hvor en gruppe af mennesker fordeles tilfældigt til enten at modtage en eksperimentel behandling, eller en kontrolbehandling. Ideen i et RCT-forsøg er, at grupperne bliver gjort ens ved lodtrækning, og interventionen X er den eneste væsentlige forskel mellem de to grupper af mennesker/institutioner/virksomheder (Shadish et al 2002). Figur 5 illustrerer tanken bag eksperimentet med randomisering. Den tykke pil viser den effekt, der måles programeffekten. Den stiplede pil viser den effekt, som elimineres ved lodtrækning (effekten på X randomiseres). Den tynde fuldt optrukne pil illustrerer 12

19 Carsten Strømbæk Pedersen effekten, der ikke måles dvs. den samlede effekt forårsaget af baggrundsvariable og indsats X. Figur 5: Eksperiment med randomisering Forudsætningen for et vellykket RCT-studie er, at indsatsen skal være ude over udviklingsfasen. Indsatsen skal med andre ord være stabil og driftsmæssigt på plads. Hvis indsatsen ændrer sig (væsentligt) under eksperimentet, og før resultaterne måles, vil effekterne fra de forskellige varianter af indsatsen blive blandet, og det vil være svært at afgøre, hvilke versioner af indsatsen, der havde hvilke effekter. Der er alternativer til RCT-studierne, såsom generisk kontrol, før- og eftermålinger, skyggekontrol og statistisk kontrol (Vedung 2009: ; Rossi, Freeman & Lipsey 2004). Der er situationer, hvor disse metoder er bedre end RCT-studierne til at påvise kausalforhold, da RCT-studierne typisk har de bedste vilkår inden for den medicinske verden. Flere af disse metoder anvendes fx af Det Nationale Forskningscenter for Velfærd (SFI), som er et uafhængigt nationalt forskningscenter under Socialministeriet 7. Statistisk kontrol fremhæves ofte som ikke bare et billigere alternativ til RCT-studierne, men også et alternativ der kan bidrage med mere og bedre styringsinformation. Statistisk kontrol for spuriøs effekt 8 (falsk effekt) illustreres i figur 6, hvor det forsøges at fjerne påvirkningen på indsats X fra de kontrolvariable (Z), som tages med i analysen. En kontrolvariabel (fx uddannelse, køn og alder) er en variabel, vi inddrager for at undgå skævvridning af vores centrale sammenhæng mellem indsats X og effekt Y. Ulempen er, at det ikke kan udelukkes, at der findes andre baggrundsvariable, som, hvis de havde været med i analysen, ville have forandret relationen mellem indsats X og effekt Y. Vi vil typisk fra teori kende nogle relevante, men ikke nødvendigvis alle relevante baggrundsvariable. Figur 6: Statistisk kontrol for spuriøsitet 7 Se evt. Edith Madsens case om Eksperimentelle metoder i effektmåling i nærværende inspirationsmateriale. 8 Spuriøs effekt: En tilsyneladende ikke-kausal statistisk sammenhæng. Fx en effekt (Y), som man formoder, er forårsaget af indsats X, men som i virkeligheden kan være forårsaget af bagvedliggende eller mellemliggende variable. De bagvedliggende/mellemliggende variable kan påvirke effekt Y direkte eller de kan påvirke effekt Y indirekte gennem påvirkning af indsats X. Der findes andre typer af relationer end den spuriøse mellem indsats X og effekt Y: Kæderelation, interaktionsrelation, multipel relation, direkte og indirekte relation (Andersen et al 2010: 392). 13

20 Carsten Strømbæk Pedersen Fordelen ved statistisk kontrol er, at den giver mere information end eksperimentet. Vi får ikke bare indtryk af effekten af indsats X, men også af kontrolvariablenes (Z) effekter. Variansorienterede strategier har i nogle sammenhænge svagheder, som gør, at det ikke altid er den optimale strategi til effektbestemmelse. Der knytter sig især en række praktiske problemstillinger til brugen af fx eksperimenter. Det er sjældent at forskeren eller evaluator (den, der gennemfører en evaluering) har kontrol over udførslen af indsatsen det være sig kontrol over variationerne i indsatsen X, men også i andre variable. Effekt er i mange tilfælde ikke uafhængig af den kontekst, som indsatsen befinder sig i, og mange offentlige indsatser er langt mere komplekse end det at give en pille versus ikke en pille (Pawson & Tilley 1997; Maxwell 2004; Dahler-Larsen & Krogstrup 2003). Som udgangspunkt må man finde ud af, hvilke typer af spørgsmål, der ønskes besvaret i forbindelse med effektmålingen og først herefter vælge den optimale metode under hensyntagen til indsatsen, konteksten og de øvrige komponenter, der indgår i det konkrete undersøgelsesdesign. I nogle sammenhænge vil der være brug for andet og mere end blot en gennemsnitseffekt, som de variansorienterede strategier bidrager med. Der kan være behov for en dybere forståelse af årsags-virkningssammenhængene, hvor man har mulighed for at se, om nogle komponenter i en indsats virker bedre end andre, eller om indsatsen er virksom på uforudsete måder. Med andre ord, hvad er det, der får indsatsen til at virke? I de tilfælde vil det være hensigtsmæssigt at vælge (eller supplere med) mere procesorienterede (kvalitative) strategier. Procesorienterede strategier De procesorienterede tilgange til kausalitet interesserer sig for, hvordan det går til, at indsatsen X påvirker effekten Y, hvordan X spiller en rolle i at forårsage Y. Det handler altså om den proces eller mekanisme, der forbinder X og Y. (Maxwell 2004: 23; Pawson & Tilley 1997). Ofte anvendes en kvalitativ tilgang ved procesorienterede strategier, hvor forståelsen er, at mange typer af kausale processer kan iagttages direkte. Når direkte iagttagelse af processer og mekanismer er muligt, giver det mulighed for at iagttage kausalitet i enkeltstående tilfælde. Det giver mulighed for brug af fx casestudier til kausale forklaringer (Sommer, Pedersen og Halkier 2010). Én procesorienteret strategi er process-tracing. Process-tracing er en kvalitativ metode (eller teknik). Den er anvendelig i forbindelse med at identificere og operationalisere forventninger til, hvilke empiriske fingeraftryk som en forventet årsagssammenhæng vil afsætte i forandringsprocessen. Process-tracing kan fx bruges, når man vil undersøge, hvorvidt implementeringen af nye styringssystemer rent faktisk virker efter hensigten og skaber de ønskede effekter (Beach & Pedersen 2010). Tankerne her læner sig kraftigt op ad evalueringsmodeller, som har fokus på en procesorienteret tilgang til effektbestemmelse: Theroy-based evaluation (Chen 1980, 1990, 2005), realistic evaluation (Pawson & Tilley 1997), program theorydriven evaluation (Donaldson 2007) og virkningsevaluering (Dahler-Larsen et al 2003; Dahler-Larsen & Krogstrup 2003). Virkningsevalueringsmodellen er en procesorienteret evalueringsmodel, der blev udviklet og afprøvet som et led i Projekt Udvikling af Evalueringsmodeller under Socialministeriets evalueringsprogram i perioden (Dahler-Larsen & Krogstrup 2003). I virkningsevaluering indgår både at virke, dvs. en proces, og virkning, i betydningen effekten. Ideen med virkningsevaluering er at bygge bro mellem processer og effekter. 14

21 Carsten Strømbæk Pedersen Kernen i ovennævnte evalueringsmodeller er ønsket om at udvide spørgsmålet om, hvad der virker til hvad virker, for hvem, hvordan og under hvilke betingelser. Herved opnår man en sammenhængende forståelse af, hvordan en indsats via en proces forårsager et resultat, og man har dermed fået besvaret effektspørgsmålet. Fælles for evalueringsmodellerne er, at der formuleres en såkaldt programteori for indsatsten. En programteori er nogle begrundede forestillinger om, hvorfor denne indsats skulle have disse resultater for denne gruppe mennesker i denne situation, og hvad der ellers sker. Programteori er en formulering af, hvad der får en indsats til at virke, hvorimod den logiske model, som beskrevet ovenover, har fokus på milepæle i en indsats. Den logiske model har fokus på kvantificering af komponenterne i en indsats, hvor de enkelte komponenter kan operationaliseres til kvantitative indikatorer. Programteori har fokus på kausale mekanismer: Hvad er det, der får en indsats til at virke? Anderledes formuleret, så sætter en programteori fokus på indsatsens teoretiske fundament snarere end de driftsmæssige aspekter af indsatsen, som er centralt i de logiske modeller. Figur 7: Programteori der illustrerer, hvordan en indsats kan virke på forskellige måder Kilde: Dahler-Larsen & Krogstrup 2003: 62 Figur 7 viser hvordan en indsats ledig i rotationsjob på virksomhed kan virke på forskellige måder. Der er tale om mindst to beskæftigelsesmæssige effekter: 1) Den ledige og virksomheden opnår gensidigt kendskab og tillid til hinanden, hvor den ledige får den næste ledige regulære stilling i virksomheden. 2) Den ledige kvalificeres og begynder at søge job på det almindelige arbejdsmarked. Selve effektmålingen sker ved at programteorien testes systematisk, hvor hvert enkelte led i programteorien fyldes ud med data. Data indsamles ved at bruge den eller de metoder, der er bedst til at belyse programteorien 9. I eksemplet ovenfor (figur 7) vil en efterfølgende effektmåling ikke bare kunne give viden om hvor mange, der samlet set er kommet i arbejde, men også hvilket kvantitativt forhold, der er mellem job 1 og job 2. Derudover vil den kunne give viden om, hvilke mekanismer, der er de aktive. En anden mulighed er, i stedet for at bruge programteorien til en stringent test punkt for punkt, at bruge programteorien som begrebsramme for en kvalitativ undersøgelse (Maxwell 2004). Her hæfter man forskellige kvalitative observationer op på programteoriens overordnede ramme. 9 Ud over kvalitative metoder findes der avancerede statiske metoder, som fx Structural Equation Modelling (SEM), som kan teste og vurdere årsagssammenhænge ved hjælp af en kombination af statistiske data og kvalitative kausale antagelser (Kaplan 2000). 15

22 Carsten Strømbæk Pedersen Fordelen ved en procesorienteret strategi er, at evalueringen giver bedre viden om virksomme komponenter i indsatsen, men kan potentielt også give viden om bi-effekter (positive såvel som negative utilsigtede effekter), hvilket kan give et bedre grundlag at rådgive ud fra, når det handler om at forbedre en indsats. Når en programteori formuleres, sker det altid verbalt, men kan også suppleres grafisk med et såkaldt flowchart (jf. eksemplet i figur 8). Bemærk i øvrigt, at der i figur 8 ikke er medtaget kontekstforhold (fx sociale og kulturelle normer, overenskomst mv.), som påvirker forestillingerne om, hvordan højere løn kan føre til øget elevpræstation. I eksemplet sættes der (i modsætning til logiske modeller) fokus på de kausale mekanismer. At tegne et illustrativt flowchart er ofte mere en kunstart end videnskab, og kan være den mest udfordrende del af det at udvikle en programteori. Når man arbejder med en procesorienteret strategi, skal man være opmærksom på, at man ved tolkning af årsager, effekter og relationer ikke antager lineære relationer og specificerer isolerede variable/faktorer, hvilket kan blive indtrykket, når programteorien illustreres grafisk. Fordelen ved en grafisk fremstilling er, at det kan fungere som et arbejds- og kommunikationsredskab, der kan udvikles undervejs i et undersøgelsesforløb. Det kan således fokusere og kondensere data, men også eksplicitere konklusionen fra en effektmåling. Opsamling på forskellige mellem varians- og procesorienteret strategi Variansorienteret strategi Påvise regulariteten i relationen mellem indsatsen x og effekten y. I hvilket omfang varians i indsats x medfører varians i effekt y. Fokus på forskelle og korrelationer. Effektspørgsmål starter typisk med: Er, Har, Hvor meget, I hvilket omfang og Er der en sammenhæng Eksempel på effektspørgsmål: Har jobtræningskurset fået kursisterne i arbejde? Procesorienteret strategi Forstå processer og mekanismer der forbinder indsats x og effekt y. Hvordan indsats x er medvirkende til at medføre effekt y. Fokus på mening og påvirkningen fra den fysiske og sociale kontekst. Effektspørgsmålet starter typisk med: Hvordan, Hvad, Hvorfor Eksempel på effektspørgsmål: Hvordan er jobtræningskurset medvirkende til (eller ikke medvirkende til!) at få kursisterne i arbejde? 16

23 Carsten Strømbæk Pedersen Figur 8: Eksempel på hvordan højere lærerløn på forskellige måder kan føre til øget elevpræstation Højere lærerløn Lærernes arbejdsmoral forbedres Det sociale klima i klassen bliver mere behageligt Lærerne opgiver deres øvrige jobs og lægger fuld energi i undervisningen Dygtige folk bliver tiltrukket undervisningsgerningen Lærerne arbejder hårdere og putter mere energi i forberedelse og pædagogik Lærerne udvikler et mere sympatisk forhold til eleverne Lærerne forbereder undervisningen mere grundigt Skolerne dygtige lærer ansætter Elevernes forståelse af undervisningsmaterialet forbedres Eleverne forsøger at etablere/vedligehold e et godt forhold til deres lærer Lærerne anvender en større variation af pædagogiske strategier/metoder/ læringsstile Dygtige underviser effektivt lærer mere Eleverne arbejder mere Lærerne underviser mere effektivt Øget/forbedret elevpræstation 17

24 Carsten Strømbæk Pedersen Valg af metode til effektbestemmelse Hvorvidt der skal benyttes variansorienteret eller procesorienteret strategier behøver ikke at være et enten/eller valg, men kan være et både/og valg, også kaldt mixed-method (Tashakkori & Teddlie 2003; Greene & Caracelli 1997). På den måde vil det være muligt at få både en mere ekstensiv og intensiv viden om kausalsammenhænge: Viden om sammenhænge mellem få variable udstrakt i tid og rum, samtidig med mere lokale, komplekse og kontekstnære kausalforståelser. Med kontekst menes de forhold, som spiller ind på sammenhængen mellem indsats og proces og mellem proces og resultat. Det kan fx være institutionens økonomi, beliggenhed, brugergrundlag eller bekendtgørelse. Når fokus sættes på effektstyring, bliver der også sat fokus på effektmåling: Hvordan kan vi vide, om vores indsats X nu også er årsagen til Effekt Y. En evaluering (herunder effektmåling) må basere sig systematisk vidensindsamling. I et instrumentelt perspektiv vælges den metode og model til effektmåling, der svarer til den styringslogik som indsatsen, programmet eller institutionen, som skal evalueres, er kendetegnet ved. Det handler altså om styringslogikkens syn på mål, styremiddel, implementeringens organisering og aktørernes roller (Hertting & Vedung 2009). Referencer Andersen, Lotte Bøgh; Kasper Møller Hansen & Robert Klemmesen (red.) (2009). Statskundskabens metoder, København: Hans Reitzels Forlag. Chen, Huey-Tsyh & Peter Rossi (1980): The Multi-Goal, Theory-Driven Approach to Evaluation: A Model Linking Basic and Applied Social Science. In: Social Forces, 59 (1), Chen, Huey-Tsyh (1990): Issues in Constructing Program Theory. In: Bickman, Leonard (Hg.): Advances in Program Theory. New Directions for Program Evaluation, (47). San Francisco CA: Jossey-Bass, Chen, Huey-Tsyh (2005): Practical Program Evaluation: Assessing and Improving Planning, Implementation, and Effectiveness. Thousand Oaks CA: Sage. Dahler-Larsen, Peter, Vibeke N. Andersen, Kasper Møller Hansen & Carsten Strømbæk Pedersen (2003): Selvevalueringens hvide sejl. Syddansk Universitetsforlag Dahler-Larsen, Peter & Hanne K. Krogstrup (2003): Nye veje i evaluering. Systime Daponte, Beth O. (2008): Evaluation Essentials. Methods for Conducting Sound Research. Jossey-Bass Donaldson, Stewart I. (2007). Program Theory-Driven Evaluation Science: Strategies and Applications. Mahwah, NJ: Erlbaum. Frechtling, Joy A. (2007): Logic Modeling Methods in Program Evaluation. Jossey-Bass Harrits, Gitte Sommer, Carsten Strømbæk Pedersen & Bente Halkier (2010): Indsamling af interviewdata, I: Lotte Bøgh Andersen, Robert Klemmensen, Kasper Møller Hansen: Samfundsvidenskabelig metode. Hans Reitzels Forlag 18

25 Carsten Strømbæk Pedersen Hertting, Nils & Evert Vedung (2009): Den utvärderingstäta politiken - Styrning och utvärdering i svensk storstadspolitik, Studentlitteratur. Huberman, A. M., & M.B. Miles (1985): Assessing local causality in qualitative research. In D. N. Berg & K. K. Smith (Eds.), The self in social inquiry: Researching methods (pp ). Thousand Oaks, CA: Sage. Kaplan, D. (2000): Structural Equation Modelling: Foundations and Extensions. SAGE, Advanced Quantitative Techniques in the Social Sciences series, vol. 10 Kazi, Mansoor A. F. (2003): Realist Evaluation in Practice. Health and Social Work. SAGE Maxwell, J. A. (2004): Using Qualitative Methods for causal explanation. Field Methods, vol 16, No 3. Pawson, R. and Tilley, N. (1997) Realistic Evaluation, London: Sage. Pedersen, Carsten Strømbæk (2003): Målopfyldelsesevaluering. I: Peter Dahler- Larsen, Vibeke N. Andersen, Kasper Møller Hansen & Carsten Strømbæk Pedersen: Selvevalueringens hvide sejl. Syddansk Universitetsforlag Pedersen, Carsten Strømbæk (2005): Notat om formulering af programteori. Rossi, P. H., Lipsey, M. W., & Freeman, H. E. (2004): Evaluation: A systematic approach (7th Ed.). Thousand Oaks, CA: Sage Salmon, W. C. (1998): Causality and explanation. New York: Oxford University Press. Shadish, W.R, T.D. Cook & D.T. Campbell (2002): Experimental and quasi-experimental designs for generalized causal inference. Houghton Mifflin Company Vedung, Evert (2008): Public Policy and Program Evaluation. Transaction Publishers Weiss, C. H. (2004): On theory-based evaluation: Winning friends and influencing people. The Evaluation Exchange, IX, 4, 1-5 Weiss, C. H. (1998): Evaluation. Prentice Hall 19

26 Morten Froholdt Morten Froholdt Virksomhed/institution Rambøll Management Consulting / Copenhagen Business School (CBS) Forfatter Morten Froholdt, Ph.d. Koncept der eksemplificeres Performance Management / Resultatbaseret Styring Introduktion Inspireret af New Public Management (NPM) tankegangen og en større grad af fokus på bl.a. målstyring, resultater og output (Hood, 1991; Greve, 2002), er performance blevet et centralt og voksende tema i den offentlige sektor op igennem 1990 erne (Bouckaert & Halligan, 2008). Denne tendens er fortsat ind i det nye årtusind, hvor performance management tiltrækker sig stadigt større opmærksomhed i den internationale litteratur om offentlig administration og ledelse. På trods af at mange forbinder performance management med de NPM reformer, der har præget flere lande siden 1980 er, har resultatmåling været anvendt i en offentlig sektor kontekst i mere end 100 år (Hood, 2007; Johnsen, 2007). Der er således ikke tale om noget nyt koncept men derimod en tilgang, der har været anvendt igennem længere tid og udviklet sig til det, der kendetegner performance management, herefter PM, i dag. En af de væsentligste ændringer er, at tilgangens fokus har ændret sig fra at være optaget af input, aktiviteter og outputs til i højere grad at kigge på de effekter der opnås på baggrund heraf (Mayne, 2007). Det er denne seneste version af PM, der i det følgende beskrives kort og er defineret som angivet nedenfor (Kusek & Rist, 2004:28). A management strategy focusing on performance and achievement of outputs, outcomes and impacts Performance Management konceptets anvendelighed (og kontekst) Hensigten med denne version af PM er at tilrette opgavevaretagelsen i forhold til hvilke effekter, der ønskes opnået og dermed sikre at de informationer og data der indhentes kan anvendes til dette formål. Med udgangspunkt i ønskede effekter af kort, mellem og lang sigt, samt kritiske antagelser om, hvilke indsatser der sandsynligvis vil assistere i opnåelsen af disse effekter, antaget kausalitet, kan der opstilles såkaldte logiske modeller eller forandringsteorier for den forestående indsats og forventede effekt. Logiske modeller og forandringsteori beskrives yderligere under næste afsnit. Det vil således være anvendeligt i forbindelse med at identificere og tilrettelægge de aktiviteter, der formodes at have en indflydelse på en ønsket effekt. De identificerede aktiviteter vil efterfølgende danne grundlag for at identificere, hvilke ressourcer, eller input, der er nødvendige for at gennemføre aktiviteterne. 20

27 Morten Froholdt Givet dette, fokuserer tilgangen på den højre side af en organisations værdikæde, altså ydelser og effekterne af disse, hvorimod andre velkendte styringsværktøjer fokuserer mere på inputsiden, som illustreret i figur 1. Figur 1: Værdikæden og styringsværktøjer adapteret efter Åge Johnsen, 2007 Ovenstående placering af Mål- og kontraktstyring afspejler det faktum at ca. 50 % af alle resultatkrav i resultatkontrakterne for udvalgte statslige institutioner knyttes til aktiviteter, hvorimod kun 15 % knyttes til effekt (Økonomistyrelsen, 2010). Formuleringen af den ønskede effekt er således central i PM, idet denne danner baggrund for at identificere, tilrettelægge og planlægge de ydelser der fører til denne, de aktiviteter der leder til ydelserne og sidst men ikke mindst de ressourcer dette kræver. Effekten kan i de fleste tilfælde sidestilles med organisationens formål, eller strategi i den udstrækning at strategi defineres som svaret på de to følgende spørgsmål: Hvad er organisationens formål, altså dennes eksistensberettigelse, og fremtidige mål? Hvilke aktiviteter skal organisationen igangsætte for at nå de strategiske mål? Effekt er i denne sammenhæng lig organisationens formål og fremtidige mål, hvilket nås via de producerede ydelser som igen er afhængige af de foregående aktiviteter. Strategi og effekt er således som vist i figur 2 stærkt sammenhængende. Med udgangspunkt i dette kan PM anvendes til at understøtte samt eksplicitere strategien for en given organisation. Omvendt kræver anvendelsen dermed også en klar ide og konsensus om organisationens strategiske mål, herunder de effekter på kort, mellem og lang sigt der ønskes skabt. I styringsmæssig sammenhæng giver PM, og i særdeleshed opstillingen af logiske modeller og forandringsteorier, et overblik over ressourceanvendelse, de påkrævede aktiviteter og ydelser der ultimativt forventes at føre til en given effekt med udgangspunkt i sidstnævnte. Anvendeligheden af PM er således stor i tilfælde, hvor det er effekten, der er det centrale. 21

28 Morten Froholdt Figur 2: Sammenhæng ml. strategi og effekt Målsætninger r Effekter Virkninger Strategiske målsætninger Strategi Resultater Specifikke målsætninger Forandringsteori Produktion Ydelser Operationelle målsætninger Aktiviteter Strategisk mål-, resultat- og effektstyring Beskrivelse af Performance Management konceptet FN s udviklingsprogram UNDP (United Nations Development Program) har identificeret følgende fire grundlæggende karakteristika ved PM (UNDP, 2002:3 se også Nicolaj Ejler m.fl., 2008:42): a) Formulering af strategiske mål b) Præcisering af forventede effekter og organisering af indsatser og ressourcer herefter c) Løbende monitorering og vurdering af præstationer d) Styrket ansvarliggørelse på baggrund af løbende feedback på præstationer Det følgende vil fokusere på formuleringen af strategiske mål samt konceptet omkring logiske modeller og forandringsteorier. For en yderligere og mere detaljeret gennemgang af emnet se eksempelvis (Behn, 2003; Mayne, 2007; Kusek & Rist, 2004; og Bohni Nielsen, 2005) Formulering af strategiske mål Strategiske mål er, som tidligere nævnt, styrende for hvilken effekt, der ønskes skabt. Eksempler herpå er Arbejdsmarkedsstyrelsens strategiske mål om at bidrage til at øge arbejdsudbuddet ( og Erhvervs- og Selskabsstyrelsens overordnede strategiske mål om at gøre det let at drive virksomhed ( De fleste vil være enige i, at disse målsætninger giver ganske god mening og er dermed et godt udgangspunkt for tilrettelæggelsen af disse organisationers opgavevaretagelse. Omvendt vil de fleste også være enige om, at målsætningerne skal operationaliseres yderligere, før specifikke indsatser kan igangsættes. Denne operationalisering kan opnås ved hjælp af logiske modeller og forandringsteorier, der udover at præcisere de 22

29 Morten Froholdt forventede effekter også giver anledning til at organisere indsatser og ressourcer herefter. Inden vi går videre med dette, er det dog værd at bruge et øjeblik på at reflektere over hvilke faktorer, der er med til at bestemme strategien for en given offentlig organisation. Såfremt vi tager udgangspunkt i en offentlig styrelse er rammerne for dennes strategi i nogen udstrækning givet på forhånd i form af fx politiske beslutninger, men indenfor disse rammer er der stadig masser af plads til at spille strategisk bold på. Strategiformulering i en offentlig kontekst er et område, der endnu ikke er udforsket i nogen større grad hvorfor der primært anvendes værktøjer med oprindelse i den private sektor, fx SWOT analyse og strategikort, til at assistere i dette arbejde. Et supplement til disse kunne være at tage udgangspunkt i en styrelses styringslandskab, altså hvilke styringsmekanismer de er underlagt, og bruge dette som analytisk udgangspunkt i en strategiformuleringsproces. Der kan i denne sammenhæng nævnes følgende fire styringsmekanismer (Newman, 2001): a) hierarkisk styring b) netværksstyring c) markedsstyring d) selvstyring Hierarkisk styring er kendetegnet ved bureaukratiet, som defineret af Max Weber (Weber, 1978), der er kendetegnet ved bl.a. hierarkisk regelbaseret styring, upersonlig og loyale embedsmænd samt specialiserede opgaver der kræver eksperter. Overfor denne meget centraliserede styringsform finder man netværksstyring, der er kendetegnet ved en høj grad af decentral styring via mange interessenter, der interagerer med henblik på at influere offentlige politik og ydelser, (Rhodes, 1997; Bovaid & Löffler 2003; Klijn, 2005). I de tidlige 1980 ere blev fundamentet for markedsstyring lagt af Englands Premier Minister Margareth Thatcher, hvilket senere blev benævnt Entrepreneurial Governance, (Osborne & Gaebler, 1992) og New Public Management (NPM), (Hood, 1991). NPM advokerer for professionel og markedsorienteret ledelse af den offentlige sektor med konkurrence og effektivitet som et centrale elementer. Selvstyring er fremkommet på baggrund af NPM reformer og deres parallelle fokus på decentralisering af styring og centralisering af, hvilke rammer der kan styres indenfor, (Danelund, 2009). Selvstyring er således styring på afstand via skabelsen af fx fælles mål, værdier og diskurser. Ved at vurdere i hvilken grad en styrelse er influeret af disse styringsmekanismer, kan der udvikles, hvad der kan kaldes en styringsprofil, som kan give værdifuldt input til, hvorledes overordnede strategiske målsætninger kan gøres mere operationelle samt hvilke ydelser og aktiviteter der realistisk kan forventes gennemført (se fx figur 3, hvor særligt forandringsteorien der kan være en del af styringsprofilen er udfoldet). Er man fx underlagt en stor grad af netværksstyring givet afhængighed af andre parter, både offentlige og private, bør dette naturligvis indgå i overvejelserne om, hvad der er strategisk muligt og ikke mindst hvordan det påvirker ydelser og aktiviteter. Uagtet hvordan man arbejder med sin(e) strategisk(e) målsætninger er disse essentielle for at arbejde med PM, da disse i stor grad er med til at bestemme hvilken effekt, der ønskes opnået, hvorefter ressourcer og indsatser kan organiseres herefter. 23

30 Morten Froholdt Figur 3: Eksempel på proces for udarbejdelsen af en styringsprofil Organisationens eksistensberettigelse og styringsprofil Vision, mission, formål Organisationens navigation Hvilke aktiviteter, ressourcer mv. Præcisering af forventede effekter og organisering af indsatser og ressourcer herefter For at operationalisere en organisations strategiske målsætninger kan der arbejdes med logiske modeller eller, i forbindelse med PM, forandringsteorier. Logiske modeller har været anvendt i mere end 20 år, primært til evalueringsformål, og beskriver de logiske koblinger der er mellem en indsats ressourcer, aktiviteter, ydelser og effekter, (McCawley, 2001). En logisk model er således at sammenligne med værdikæden som vist i figur 1, blot anvendt til at repræsentere hvorledes sammenhængen er mellem ressourcer der anvendes, aktiviteter der igangsættes, ydelser der tilbydes og effekter der ønskes for en given indsats. Figur 4, viser et eksempel på en meget forsimplet logisk model for en indsats omkring læsehjælp. Figur 4: Logisk model Ressourcer Aktiviteter Ydelser Effekter Tid Penge Udstyr Lokaler Workshops Litteraturvalg Læsehjælp Lektiecafe Forbedrede læsefærdigheder Som det ses ud af ovenstående, er der tale om en deskriptiv model, der viser hvilke komponenter, der indgår i en indsats og dermed giver et overblik over disse. Hvad en logisk model IKKE gør, er at beskrive hvorfor denne sammenhæng er til stede. Det vil sige at modellen ikke overvejer de kausale koblinger, der formodes at eksistere og beskrive disse. Forandringsteori søger at afhjælpe dette ved netop at indarbejde antagelser om, hvorfor en given indsats virker og hvilke kausale forhold, der antages at eksistere. En 24

31 Morten Froholdt forandringsteori kan således defineres som en teori om, hvordan og hvorfor en given indsats virker (Weiss, 1995), og bliver i denne sammenhæng mere forklarende. I forhold til eksemplet om læsehjælp er det så især de kausale forhold, der formodes at eksistere mellem ydelser og effekter. Her kunne man fx have den kritiske antagelse, at eleven skal modtage læsehjælp minimum tre gange om ugen, af minimum 60 minutters varighed, før den ønskede effekt opnås. En yderligere antagelse kunne så relateres til fx hvilke typer tekster, der giver det største udbytte, om gruppearbejde skal indgå eller ej og med hvilke intervaller, der skal indlægges pauser. Arbejdes der med effekter af kort, mellem og lang sigt vil de kritiske antagelser også blive ekspliciteret for de kausale forhold, der antages at være til stede. Eksempelvis at bedre læsefærdigheder fører til mindre fravær i skolen, som til gengæld fører til større sandsynlighed for at gennemføre folkeskolen med et tilfredsstillende resultat, hvilket giver mulighed for at opnå yderligere uddannelse, og derfor også opnå en stærkere position i forhold til jobsøgning. De væsentligste forskelle mellem logiske modeller og forandringsteorier er angivet i figur 5 nedenfor. Figur 5: Forskellen mellem logiske modeller og forandringsteori, (Clark & Anderson, 2004) Logiske modeller Repræsentation Liste af komponenter i en indsats Deskriptiv Forandringsteori Kritiske antagelser Kausal forandringsvej Forklarende Hvorvidt der anvendes logiske modeller eller forandringsteori, kan afhænge af niveauet og kompleksiteten af en indsats, præferencer og procedurer eller metodologiske prioriteter det er mao. et spørgsmål om, hvilke styringsbehov, der gør sig gældende for dem, der skal vælge mellem en logisk model eller en forandringsteori. For at få det fulde udbytte af PM er det nødvendigt at indsamle dokumentation, der kan belyse om en given indsats virker eller ej, samt om de kritiske antagelser om kausale forhold indsatsen hviler på, virkelig er til stede. Denne dokumentation vil typisk være i form af indikatorer for ressourcer, aktiviteter, ydelser og effekter. Udviklingen af sådanne indikatorer er naturligvis afhængig af den givne indsats men et fælles træk er, at de udviklede indikatorer SKAL give mening på alle niveauer af den offentlige styringskæde i forhold til deres specifikke vidensbehov. For en yderligere gennemgang af den løbende monitorering og vurdering af præstationer, der indgår som en væsentlig del af PM, kan der henvises til fx bogen Når måling giver mening (Ejler m.fl., 2008). Performance Management konceptets styrker og svagheder En af de væsentligste styrker ved PM er det overblik, der opnås over en given strategisk indsats og de ressourcer, aktiviteter, ydelser og effekter der indgår heri, samt de kritiske antagelser der ligges til grund for denne. I tillæg hertil tilbyder konceptet også en mulighed for at koble indsatser til organisationens strategi på en meget synlig måde. Det skaber en klar sigtelinje i hele organisationen, således at alle kan relatere deres opgaver til strategien. På et mere teknisk niveau tilbyder konceptet, via logiske modeller og forandringsteorier, en visuel tilgang der kan anvendes til at kommunikere indsatsen på en forholdsvis tilgængelig måde. Udover overblik, sigtelinje og kommunikative styrker giver PM også mulighed for øget læring, såfremt der tilvejebringes den nødvendige dokumentation om indsatsens resultater, idet disse kan anvendes til at justere ydelser, aktiviteter og dermed de kritiske antagelser for hvad der egentlig virker for en given indsats. 25

32 Morten Froholdt PM afhænger i høj grad af en organisations evne til at fastlægge strategiske og specifikke målsætninger, der kan danne grundlag for at identificere de effekter, der ønskes opnået. Det kan betegnes som en svaghed, idet strategiformulering i en offentlig kontekst kan være vanskelig. Nogle årsager hertil er, at planlægningshorisonten i det offentlige er forholdsvis kortsigtet og med fokus på indeværende og næste finansår, at politiske dagsordener kan ændre ønsket fokus, og det dermed er vanskeligt at få politikere til at lægge sig fast på specifikke målsætninger over en længere periode (jf. figur 2). Denne udfordring kan dog til dels håndteres ved at opstille strategiske målsætninger: Er de strategiske målsætninger tæt knyttet til missionen og de overordnede effekter en styrelsen skal opnå i samfundet som helhed vil de strategiske målsætningers levetid kunne forlænges, da missionen for en styrelse ændres relativt sjældent. I dette tilfælde vil specifikke målsætninger om end de har en kort levetid stadig kunne håndteres inden for samme strategiske ramme. En anden svaghed er relateret til de kritiske antagelser, der skal foretages i forhold til en forandringsteoris kausale sammenhænge, idet disse meget sjældent vil være dokumenterede og beviste, men derimod i høj grad være præget af tro og forventninger. Således er det vanskeligt at skabe egentlig forskningsmæssig evidens for, at en specifik aktivitet og ydelse rent faktisk fører til den ønskede effekt. Måden at håndtere dette på kan fx være ved at gøre særligt opmærksom på datamateriales mangler, når resultatet af målinger omsættes til styringsinformation for beslutningstagere. En tredje svaghed er det faktum, at offentlige indsatser og ønskede effekter i stor udstrækning influeres af faktorer, der er uden for en given organisations kontrol. Kausaliteten kan således kun sandsynliggøres men sjældent bevises. Så længe man er bevidst om, at der er tale om sandsynliggørelser og ikke egentlige beviser kan resultaterne imidlertid godt anvendes styringsmæssigt (bl.a. ud fra tankesættet: alternativet er, at vi slet ingen viden har om effekten). De væsentligste overvejelser På baggrund af ovenstående styrker og svagheder er de væsentligste overvejelser, man bør gøre sig i forhold til anvendelsen af PM, hvorvidt det er muligt at fastlægge de strategiske målsætninger, og deraf afledede effekter, samt fundamentet for de kritiske antagelser, der indgår. Med henblik på at optimere disse kritiske antagelser er indsatsens løbetid også en overvejelse værdig, idet dataindsamling omkring en given indsats over en længere periode vil tillade justeringer i forhold til de kritiske antagelser om, hvad der sandsynligvis virker. PM er således ikke et quick fix men derimod en langsigtet og iterativ styringstilgang. Referencer Behn, Robert D. (2003), Why Measure Performance? Different Purposes Require Different Measures, Public Administration Review, Vol. 63, No. 5, pp Bovaird, Tony & Löffler, Elke (2003) Evaluating the Quality of Public Governance: Indicators, Models and Methodologies, International Review of Administrative Science, 69(3), pp Bouckaert, G. & Halligan, J. (2008), Managing Performance: International comparisons, Routledge Danelund, Jørgen & Sanderhage, Tue (2009) Medledelse med muligheder Institutionsledelse og det anderledes mulige, Forlaget Metropol Ejler, N. et al (2008), Når måling giver mening, Jurist- og Økonomforbundets Forlag 26

33 Morten Froholdt Greve, C. (2002), New Public Management, Nordisk Kultur Institut. Publikationen indgår i forskningsprojektet Nordisk Kulturpolitik under Forandring. Undervisningsministeriet Hood, C. (2007), Public service management by numbers: Why does it vary? Where has it come from? What are the gaps and the puzzles? Public Money & Management, Vol. 27(2), pp Hood, C. (1991), A Public Management for All Seasons? Public Administration, pp Johnsen, Å (2007), Resultatstyring i offentlig sektor, Konkurranse uten marked, Fakbokforlaget Klijn, Erik-Hans (2005), Networks and Inter-Organizational Management: Challenging, Steering, Evaluation, and the Role of Public Actors in Public, in The Oxford Handbook of Public Management, Oxford University Press, pp Kusek, J. Z. & Rist, R. (2004), Ten Steps to a Results-Based Monitoring and Evaluation System, Washington, World Bank, Mayne, J. (2007), Challenges and Lessons in Implementing Results-Based Management, Evaluation, Vol. 13(1), pp Newman, J. (2001) Modernising Governance, New Labour, Policy and Society, Sage Publications Nielsen Bohni, S. et al (2005), Øje for effekterne resultatbaseret styring kan styrke offentlige indsatser, Nordisk Administrativt Tidsskrift, 4/2005, 86. årgang Osborne, David & Gaebler, Ted (1992), Reinventing Government: How the Entrepreneurial Spirit is Transforming the Public Sector, Addison-Wesley Publishing Company, Inc. Rhodes, Rod (1997), Understanding Governance: Policy Networks, Governance, Reflexivity and Accountability, Open University Press United Nations Development Program (UNDP) (2002), Handbook on Monitoring and Evaluating for Results, UNDP Weber, M. (1978), Bureaucracy, Economy & Society, University of California Press Weiss, C. (1995), Nothing as Practical as Good Theory: Exploring Theory-based Evaluation for Comprehensive Community Initiatives for Children and Families. In New Approaches to Evaluating Community Initiatives: Concepts, Methods, and Contexts, ed. James Connell et al., Aspen Institute Økonomistyrelsen (2010), Mål og Resultatkrav med fokus på effekt, Arbejdspapir, Økonomistyrelsen 27

34 Hanne Søndergaard Pedersen Hanne Søndergaard Pedersen Virksomhed KREVI Forfatter Hanne Søndergård Pedersen, specialkonsulent Konceptet og metoden der eksemplificeres En kort gennemgang af målingsbegreberne effektmåling, resultatmåling, præstationsmåling og kvalitetsmåling med fokus på forskelle og ligheder mellem begreberne. Målingsterminologi 10 Effektmålinger, resultatmålinger, præstationsmålinger og kvalitetsmålinger er alle begreber, som hyppigt anvendes, men hvad er forskellene og hvad er lighederne mellem målingsbegreberne? Det vil denne artikel omhandle. KREVI har undersøgt definitioner og praktisk brug af målingsbegreberne. Undersøgelsens hovedkonklusion er, at der mest er nuancer til forskel i anvendelsen af begreberne. Den efterfølgende gennemgang kan forhåbentlig bidrage til en større opmærksomhed omkring begrebsbrug og et fokus på, at begreberne ikke er selvforklarende. Derfor er det vigtigt med grundig formidling af, hvad der helt nøjagtigt menes, når man fx vil gennemføre en effektmåling. Forskelle og ligheder mellem målingsbegreber Målingsbegreberne adskiller sig ved at have fokus på forskellige dele af en indsats. Den logiske model 11, som ses nedenfor i figur 1, er en teoretisk opstilling af en indsats vej fra initiativ til langsigtet virkning. Modellen kan have mange forskellige udformninger og detaljeringsgrader. Modellen, som vises nedenfor, er relativ simpel 12. Figur 1: Den logiske model Kilde: Frit efter DES 2005 og OECD 2002 Modellen viser, at der overordnet sondres mellem indsatser og resultater. Det vil sige, at der ses på sammenhængen mellem, hvad der igangsættes, og hvad der kommer ud af det. Nedenfor er begreberne i den logiske model beskrevet mere indgående. 10 Beskrivelsen bygger på KREVIs notat om målingsterminologi, som kan findes på Her findes en mere detaljeret gennemgang af de enkelte målingsbegreber, samt en fyldig litteraturliste, der kan give inspiration til videre læsning. 11 Modellen kaldes også ofte flow-modellen eller input-output modellen. 12 Se notatet Den logiske model på for en detaljeret gennemgang af logiske modeller. 28

35 Hanne Søndergaard Pedersen Tabel 1: Indsatser og resultater Indsatser Input Forstås som de finansielle, menneskelige og materielle ressourcer, som anvendes ved en indsats. Aktiviteter Forstås som selve aktiviteten/produktionen, hvor indsatsen igangsættes. Resultater Output Forstås som de umiddelbare produkter af en indsats. Kan også benævnes produktion, ydelse eller resultater. Outcome Virkninger på kort (typisk 1-2 år) eller mellemlangt sigt (typisk 3-4 år). Impact Den langsigtede virkning. Kilde: KREVI s notat om den logiske model Præstationsmåling og resultatmåling er to begreber, der begge bruges som oversættelse af begrebet performance measurement. I forhold til en logisk model kan der måles både på input, aktiviteter, output og outcome. Det kan forekomme selvmodsigende at bruge termen resultatmålinger om målinger, der adresserer input og aktiviteter. I det følgende vil vi dog bruge resultatmålingsbegrebet som oversættelse af performance measurement. Kernen i en sådan måling er at opstille et mål og efterfølgende vurdere, om målet er nået, og der måles ofte kontinuerligt på en indsats. Kvalitetsmålinger og resultatmålinger minder meget om hinanden såvel teoretisk som praktisk. Det vanskelige ved kvalitetsmålinger er typisk at få defineret, hvad kvalitet er. I Kvalitetsreformen opererer man med tre typer af kvalitet 13. Der skelnes således mellem: Brugeroplevet kvalitet, der fx handler om, at brugeren føler sig godt informeret, inddraget og behandlet med respekt. Faglig kvalitet, der handler om, at serviceydelsen lever op til høje faglige standarder. Organisatorisk kvalitet, der handler om god tilrettelæggelse af arbejdet, om ledelse, medarbejdere og organisationsformer mv. Der er en tendens til at have fokus på output og outcomedelen i kvalitetsmålinger, hvilket adskiller dem en smule fra resultatmålinger, men i målinger af den organisatoriske kvalitet vil der også være fokus på aktivitetsdelen. Effektmålinger adskiller sig fra både resultat- og kvalitetsmålinger i forhold til det fokus, der er på kausaliteten mellem indsats og resultat. Både resultat- og kvalitetsmålinger kan virke som punktnedslag, der ikke nødvendigvis siger noget om, hvad der ligger bag tallene. I effektmålinger vil kausalitet mellem indsatsen og resultaterne være forsøgt etableret, således at det man prøver at måle på, er ændringer forårsaget af en given indsats. Man tilstræber således altid at måle outcome eller impact enten direkte eller indirekte. I figur 4 nedenfor er det grafisk fremstillet, hvordan evaluering og målingsbegreberne forholder sig til hinanden. Yderste store cirkel, benævnt evaluering, illustrerer, at alle tre målingsbegreber kan karakteriseres som evalueringer under forudsætning af, at de foretages med systematik, og at målingsresultaterne vurderes i forhold til nogle kriterier. 13 Regeringen 2007: 8 29

36 Hanne Søndergaard Pedersen Figur 2: Målingscirklen Kvalitetsmålinger og resultatmålinger adskiller sig kun begrænset fra hinanden, hvorfor de er indplaceret i samme cirkel. Effektmåling har derimod sin egen cirkel, som til dels har overlap med resultatmåling og kvalitetsmåling. Lighederne opstår, når der i resultat- eller kvalitetsmålinger er sandsynliggjort en sammenhæng mellem indsats og effekt, og der samtidig måles på outcome eller impact. Sådanne resultat- og kvalitetsmålinger kunne for så vidt godt hedde effektmålinger. Forskellen mellem de to cirkler består i, at hvor resultatmålinger typisk gennemføres kontinuerligt, gennemføres effektmålinger ofte som enkeltstående analyser fx enkeltstående randomiserede kontrollerede forsøg. Anbefalinger i forhold til brug af målingsbegreber Alt i alt viser gennemgangen, at der teoretisk og idealtypisk er større eller mindre forskelle på resultat-, effekt- og kvalitetsmåling, men i praksis kan det være svært at adskille målingstyperne fra hinanden. Det betyder, at begreberne i sig selv ikke siger meget om, hvilken type måling der er tale om. Derfor er det vigtigt at forklare, hvilke konkrete elementer der er indeholdt i en måling. Følgende spørgsmål kan evt. besvares i den forbindelse: Hvad er formålet med målingen? Måles der direkte, eller skal der udformes indikatorer? Er der opsat en standard, som måleresultatet vurderes i forhold til? Måles der ved hjælp af kvalitative eller kvantitative/standardiserede metoder? Måles der på input, aktiviteter, output, outcome eller impact? Er der en underbygget antagelse om kausalitet mellem indsats og effekt i målingen? Måles der ad hoc eller kontinuerligt/tilbagevendende? 30

37 Edith Madsen Edith Madsen Institution SFI Det Nationale Forskningscenter for Velfærd Forfatterens navn Edith Madsen, projektforsker Metoden der eksemplificeres: Eksperimentelle metoder i effektmåling Introduktion På SFI arbejdes der blandt andet med effektmåling af indsatser og politikker indenfor velfærdsområdet. Mere præcist handler det om at kunne give videnskabelige beviser for, at fx en bestemt indsats eller velfærdsydelse har den ønskede effekt eller virkning. Mellem de enkelte fagområder er der dog stor forskel på, i hvor høj grad beslutningstagerne anvender forskningsbaseret viden for at give den bedst mulige allokering af ressourcerne. På det arbejdsmarkedspolitiske område har der fx været en forholdsvis lang tradition for at udføre og anvende effektmålinger af fx aktiveringsprogrammer for ledige, og af hvorvidt bestemte typer af skattelettelser får folk til at arbejde mere eller mindre. En forudsætning for at kunne lave en effektmåling i praksis er for det første, at man har en præcis definition af, hvad det er, man ønsker at måle effekten af. Dernæst skal man vide, hvad formålet med at give fx en social indsats er og være i stand til at måle dette på en meningsfuld måde. Typisk vil man være interesseret i enten, at undersøge effekten af at give alle i den relevante målgruppe en bestemt indsats, eller at sammenligne effekten af at give alle i den relevante målgruppe enten den ene eller den anden indsats. I det følgende gives en meget kort forklaring, af de mest anvendte tilgange og metoder til videnskabelige effektmålinger, baseret på henholdsvis eksperimentelle og ikkeeksperimentelle design. Overvejelserne i form af fordele og ulemper ved de forskellige tilgange illustreres ved en gennemgang af to konkrete eksempler. Det første handler om at måle forskellen mellem to forebyggende foranstaltninger til udsatte børnefamilier. Det andet handler om, hvordan man kan måle effekten af serviceydelsen hjemmehjælp. Undersøgelser med eksperimentelle design Den grundlæggende ide i kontrollerede eksperimentelle design er at udvælge to grupper tilfældigt og give den ene gruppe behandling A og den anden gruppe behandling B. I praksis kan dette gøres ved at trække lod om, hvorvidt den enkelte person skal modtage behandling A eller B. Formålet med denne mekanisme er at sikre, at der ikke er systematiske forskelle mellem de to grupper i forhold til andet, end hvilken behandling de modtager. Dette betyder, at eventuelle forskelle i målene for effekten må skyldes behandlingerne. Det er således en måde, hvorpå man kan måle effekten af at give alle behandling A i forhold til at give alle behandling B uden faktisk at lave dette eksperiment. Man antager altså, at de to grupper i gennemsnit er ens, undtagen i forhold til hvilken behandling de modtager. I et ideelt eksperiment af denne type vil en simpel sammenligning af de gennemsnitlige effekter give svar på, om den ene behandling virker bedre end den anden. 31

38 Edith Madsen Undersøgelser med ikke-eksperimentelle design (passiv observation) I samfundsvidenskab, og særligt indenfor økonomi, er der en lang tradition for at anvende data fra ikke-eksperimentelle design i effektmålinger. Mere præcist betyder det, at datamaterialet som anvendes, ikke er et resultat af et kontrolleret eksperiment, men i stedet er et resultat af passiv observation af individers valg og handlinger. Hvis man her ønsker at måle effekten af behandling A i forhold til behandling B, kan man ikke umiddelbart konkludere, at eventuelle forskelle mellem de to grupper skyldes behandlingerne. En sammenhæng mellem behandlingstype og målet for effekt kan fx også skyldes, at der er systematiske forskelle mellem de to grupper i forhold til en eller flere faktorer, der også påvirker eller påvirkes af målet for effekt. Det er derfor ikke muligt ved en simpel sammenligning af gennemsnitlige effekter at sige noget om effekten af de to behandlinger. Når det er sagt, er det muligt med denne type af data at lave effektmålinger af lige så høj kvalitet som med eksperimentelle data. Det er derfor vigtigt at understrege, at denne type af data ikke nødvendigvis er dårligere end eksperimentelle design. Det kræver blot nogle andre analytiske redskaber. For at anvende ikke-eksperimentelle data til effektmåling er ideen, at man på en eller anden måde, skal have det til at ligne eksperimentelt data. Dette gør man ved at sammenligne personer, der ligner hinanden således, at den eneste forskel er den behandling de har fået. Ideen er den samme som i eksperimentelle design, nemlig at en eventuel forskel i målet for effekt, kun kan skyldes behandlingerne. En forudsætning for at denne fremgangsmåde giver brugbare resultater er, at man forstår de vigtigste bagvedliggende mekanismer for derved at kunne kontrollere for systematiske forskelle mellem de to grupper. Eksempel 1: Effektmåling af foranstaltninger til udsatte børnefamilier Et projekt på SFI handler om at måle og sammenligne effekten af to forskellige forebyggende foranstaltninger, der gives til udsatte børnefamilier. De to foranstaltninger har begge som formål at hjælpe børnefamilierne og derved undgå anbringelse af barnet. De udgør ca. 46 % af de samlede foranstaltninger svarende til ca familier på årsbasis. Da anbringelse af et barn udenfor hjemmet er en meget dramatisk og indgribende intervention i barnets liv, er det i høj grad relevant at undersøge, om det er muligt at undgå dette ved at hjælpe barnet og familien bedst muligt. Samfundsøkonomisk er det også af interesse, da de direkte omkostninger ved en anbringelse er høje. Indtil nu er der ikke foretaget systematiske og videnskabelige sammenligninger af hvilken foranstaltning, der hjælper børnene i disse familier bedst muligt. Forskningsprojektet skal bidrage med viden om dette. De to foranstaltninger er følgende: A. Praktisk, pædagogisk eller anden støtte i hjemmet B. Familiebehandling eller behandling af barnets problemer En del af projektet har været at undersøge indholdet i disse to foranstaltninger. Det vil sige at give en præcis beskrivelse af, hvad foranstaltningerne består af. Dette er vigtigt for at kunne anvende resultaterne i praksis. I dette eksempel er et oplagt mål for effekten af de to indsatser, hvorvidt der er forskel i forhold til, hvor stor en del af familierne der ender med anbringelse af barnet udenfor hjemmet. Derudover anvendes der også forskellige mål for barnets trivsel og adfærd. For at sammenligne effekten af de to indsatser anvender man i dette projekt et eksperimentelt design, hvor det er en lodtrækning, der afgør, hvilken af de to indsatser en familie 32

39 Edith Madsen modtager. Lodtrækningen sikrer automatisk, at familierne i gennemsnit er ens med hensyn til alle andre faktorer, der har indflydelse på barnets adfærd og trivsel (fx barnets alder, køn, familiens ressourcer). På denne måde sikres, at eventuelle forskelle i målene for effekt kun kan skyldes den forskellige indsats. Det åbenlyse spørgsmål man kan stille, er, om det er etisk forsvarligt at lade en lodtrækning have indflydelse på noget, der i sidste ende har vidtrækkende konsekvenser for barnet og familien. Omvendt kan man spørge, om det er forsvarligt at give to forskellige indsatser uden at have dokumentation for, om den ene virker bedre end den anden. Hvis der rent faktisk er forskel på effekten af de to indsatser, bør dette i det mindste indgå i beslutningsgrundlaget hos den ansvarlige myndighed. En af de vigtigste ting ved et eksperimentelt studie er, at deltagerne i forsøget er repræsentative for hele den målgruppe, man ønsker at anvende resultaterne på. Hvis vi forestiller os, at der hos ressourcestærke familier ikke er nogen forskel i effekten af de to foranstaltninger, mens det hos de ressourcesvage familier er sådan at foranstaltning B virker bedre end foranstaltning A, er det vigtigt, at det ikke hovedsageligt er de ressourcestærke familier, som ender med at deltage i forsøget. Det kan få den konsekvens, at man i undersøgelsen fejlagtigt konkluderer, at der ikke er forskel i de to behandlingsformer, og anbefalingen vil således være, at man bruger den billigste. Hvis dette er foranstaltning A får en del af målgruppen (de ressourcesvage familier) altså ikke den mest effektive foranstaltning. Denne overvejelse peger i øvrigt på, at det også kunne være relevant at undersøge, hvordan foranstaltningerne spiller sammen med andre faktorer (familiens ressourcer, sagsbehandlernes og behandlernes kompetencer), der har betydning for barnets adfærd og trivsel. Det er således vigtigt at planlægge den praktiske udførelse af forsøget, herunder rekruttering af deltagerne, sådan at man undgår systematiske forskelle mellem de deltagende og ikke-deltagende familier. Det kan eksempelvis være, at man skal have ekstra fokus på at få de ressourcesvage familier til at deltage. I det konkrete projekt har man brugt mange ressourcer (blandt andet udarbejdelse af informationsmateriale og informationsmøder for de deltagende kommuner) for at sikre høj deltagelse. Eksempel 2: Effekten af hjemmehjælp Det følgende eksempel beskriver nogle overvejelser og ideer i forhold til, hvordan man kan måle effekten af en offentlig serviceydelse som hjemmehjælp til ældre borgere. I 2008 udgjorde udgifterne til ældreservice ca. 34,3 mia. kr. svarende til næsten halvdelen af de samlede offentlige udgifter til social service. Den demografiske udvikling med en stigende andel af ældre i befolkningen i de kommende år betyder, at der i øjeblikket er stor fokus på, hvordan man tilrettelægger servicen på dette område bedst muligt. Det er derfor relevant at overveje, hvorledes man på en meningsfuld måde kan måle, hvad der kommer ud af hjemmehjælp, som udgør en del af velfærdsydelserne til de ældre. Det overordnede formål med hjemmehjælp til ældre er at afhjælpe de negative følger af nedsat fysisk og psykisk funktionsevne som følge af alderdom. Et grundlæggende princip for hjemmehjælpen er, at det er hjælp til selvhjælp, således at hjælpen tilrettelægges på en sådan måde, at den ældre selv kan udføre så mange opgaver som muligt, og herved kan blive i eget hjem så længe som muligt. Opfyldelse af dette mål er til gavn for den enkelte borger, da det er et eksplicit ønske for de fleste at være i stand til at klare sig selv længst muligt. Set i et samfundsøkonomisk perspektiv giver det ligeledes god mening at yde hjælp efter dette princip, hvis man herved er i stand til at udskyde de mere ressourcekrævende ophold i plejeboliger og på plejehjem. Ydelsen hjemmehjælp består af praktisk hjælp (rengøring, tøjvask, indkøb og madservice) og hjælp til personlig pleje (af- og påklædning, spisning og bad). Ældre modtagere af personlig pleje, modtager typisk også praktisk hjælp, og denne gruppe er i gennemsnit 33

40 Edith Madsen ældre end gruppen, der kun modtager praktisk hjælp. Der er således stor forskel på, hvad en times hjemmehjælp egentligt består af. Velegnede mål for effekten kunne være mål for borgerens fysiske og psykiske funktionsevne, livskvalitet og resterende levetid, herunder hvor meget af denne der tilbringes i eget hjem. Da aldring, og i sidste ende nedgang i funktionsevne og helbred, er processer, der for de fleste foregår over en lang tidsperiode, er det først og fremmest de langsigtede effekter, der har betydning. Man kan se hjemmehjælp som en investering i den ældres generelle funktionsevne, og afkastet af denne investering afhænger blandt andet af, hvor godt den ældre er i stand til at gøre brug af denne investering. Fremmer hjemmehjælp den ældres evne til selv at vedligeholde sin funktionsevne, eller er det omvendte tilfældet? For at måle effekten af hjemmehjælp er det nødvendigt at være præcis omkring, hvad det er, man ønsker at måle. Særligt set i lyset af at en times hjemmehjælp dækker over mange forskellige ting. Det kunne fx være effekten af hjemmehjælp til ældre, der kun har behov for praktisk hjælp, eller det kunne være effekten af hjemmehjælp til ældre, der modtager personlig pleje. I begge tilfælde er det ret åbenlyst, at det ikke er muligt at undersøge dette i et eksperiment, hvor der trækkes lod om, hvorvidt den ældre skal modtage hjælpen eller ej. Dette skyldes, at man ikke kan lave forsøg, hvor deltagerne ikke kan få den service, de har krav på ifølge loven. I forhold til denne type af eksperiment er den eneste mulighed at undersøge effekten af at tilbyde fx en ekstra times hjemmehjælp. Det er dog langtfra sikkert, at dette vil give svar på det, man egentligt ønsker. Det skyldes, at man må antage, at de ældre nogenlunde får den hjælp, de har behov for, og det er dermed tvivlsomt, om effekten af en ekstra times hjemmehjælp kan sidestilles med effekten af den hjælp, de faktisk får, i forhold til hvis de ikke havde fået denne hjælp. På SFI findes en forløbsundersøgelse - Ældredatabasen - hvor man hvert femte år laver interview af en tilfældig stikprøve blandt ældre. Man spørger til en lang række ting vedrørende de ældres økonomiske, sociale og helbredsmæssige forhold. Blandt andet er der forholdsvis deltaljerede oplysninger om omfanget og typen af hjemmehjælp, de modtager samt forskellige mål for fysisk og psykisk funktionsevne. Undersøgelsen følger de samme personer over en forholdsvis lang tidsperiode, og man har således mulighed for at følge udviklingen over tid i omfanget af hjemmehjælp og funktionsevne. Her viser det sig, at der er variation i udviklingen af, hvor mange timers hjemmehjælp ældre, der som udgangspunkt er ens, modtager. Eksempelvis er der en gruppe af ældre, der går fra at modtage 2 timers til 3 timers praktisk hjælp, og en anden gruppe, der går fra at modtage 2 timers til 4 timers praktisk hjælp. Disse to grupper er som udgangspunkt ens i forhold til alder, køn og række mål for helbred. Forklaringen på denne variation er, at der mellem kommunerne er denne type af forskel på tildelingen af hjemmehjælp. Man kan så bruge denne naturlige variation til at måle effekten af den ekstra times praktisk hjælp. I denne type af analyse er det vigtigt at sikre sig, at de ændringer man ser over tid i målene for effekt, ikke kan skyldes andre faktorer, end den indsats man ønsker at måle effekten af. Med andre ord skal der ikke være andre systematiske forskelle mellem de to grupper end hvor meget hjemmehjælp de modtager. Opsummering De to ovenstående eksempler på effektmålinger af to meget forskellige sociale ydelser viser, at tilgangen til effektmålinger er meget afhængig af sammenhængen. Det er først og fremmest vigtigt at undersøge relevante spørgsmål og være meget præcis omkring, hvad det er man måler effekten af. Herunder hvilke begrænsninger der er i anvendelserne af resultaterne. Dette gælder både i undersøgelser med eksperimentelle og ikkeeksperimentelle design. I begge typer af tilgange skal man huske på, at sociale ydelser og indsatser typisk virker i sammenhæng med andre faktorer, som er et resultat af personers valg og handlinger. Det er således vigtigt at have en vis viden om disse mekanismer, for at kunne anvende resultaterne fra en effektmåling i praksis. 34

41 Beskæftigelsesministeriet Departementer Beskæftigelsesministeriet Departement Beskæftigelsesministeriets departement Forfattere Dan Folke Pedersen, kontorchef Malene Damslund Fiala, specialkonsulent Konceptet der eksemplificeres Koncernperspektiv Strategisk mål- og resultatstyring i Beskæftigelsesministeriet Baggrund Beskæftigelsesministeriet har siden 2007 arbejdet med udviklingen af forretningsstrategier som det centrale redskab i styringsdialogen mellem departementet og styrelserne. Formålet med forretningsstrategierne er at opstille tydelige mål for samfundsmæssig effekt på 3-5 års sigt og at opstille Key Performance Indicators (KPI), dvs. væsentlige resultatindikatorer, der løbende viser, om ministeriets indsatser bidrager til at nå effektmålene. Ministeriet har arbejdet med at koble forretningsstrategierne tæt til resultatkontrakterne bl.a. via overførelse af centrale KPI er fra forretningsstrategierne til resultatkontrakterne. I februar 2010 vedtog ministeriets koncernledelse et koncept for strategisk mål- og resultatstyring, som indebærer, at forretningsstrategierne fra 2011 helt erstatter resultatkontrakterne. I løbet af foråret 2010 udmøntes konceptet i konkrete vejledninger og skabeloner, der bl.a. sikrer, at forretningsstrategierne kan danne grundlag for målopfølgning, herunder i årsrapporterne, og dermed understøtter departementets forpligtelse til at sikre hensigtsmæssig mål- og resultatstyring på ministerområdet. Konceptets anvendelighed Konceptets formål er at styrke fokus på effekter og langsigtede indsatser i styringsdialogen mellem departementet og styrelserne. Den grundlæggende styringstænkning bag konceptet er resultatbaseret styring, eller Performance Management, og der lægges stor vægt på, at forretningsstrategierne bygges op omkring forandringsteorier, dvs. beskrivelser af forventede sammenhænge mellem indsatser og effekter. I forandringsteorierne forholder styrelserne sig til, hvilke aktiviteter der skal gennemføres, og hvilke produkter der skal leveres for at opnå de virkninger på kort og mellemlangt sigt hos borgere, virksomheder, samarbejdspartnere m.fl., som er nødvendige for at sikre de ønskede effekter på længere sigt. Eksempelvis kan forandringsteorien beskrive, hvordan et tilsyn på en arbejdsplads (aktivitet) medfører en reaktion (produkt) i form af et påbud om at ændre et fysisk 35

42 Beskæftigelsesministeriet arbejdsmiljø. Det indebærer bl.a., at medarbejderne på den pågældende arbejdsplads får mere viden om arbejdsmiljø (virkning på kort sigt), og dermed bliver bedre til at tage vare på egen og kollegers sikkerhed (virkning på mellemlangt sigt), og i sidste ende hermed bidrager til at reducere antallet af ulykker (effekt på længere sigt). Forretningsstrategiernes fokus på den sammenhængende fortælling i form af forandringsteorien betyder, at det bliver tydeligt, hvilke typer af resultatkrav det giver mening at fokusere på i det kommende år i forhold til den enkelte styrelse. Forandringsteorien kan fx vise, at det i én styrelse kan give mening at opstille et aktivitetsmål som resultatkrav for det kommende år, fordi den pågældende aktivitet er en forudsætning for at opnå en bestemt virkning, som først kan forventes på længere sigt. I en anden styrelse kan forandringsteorien vise, at der skal fokuseres på konkrete resultater eller virkninger i omverdenen allerede i det kommende år. På den måde er konceptet fleksibelt i forhold til den forskellighed i opgavekarakter, målgruppe m.m., som gælder for ministeriets fem styrelser og ene forskningscenter. Beskrivelse Mål- og resultatstyringen i Beskæftigelsesministeriet er på nuværende tidspunkt kun beskrevet og vedtaget på konceptuelt niveau, som er udmøntet i en vejledning. Styringsredskaberne forenkles således, at forretningsstrategierne og direktørkontrakterne fremover udgør styringsaftalerne mellem departementet og enhederne, mens resultatkontrakterne udgår. På det konceptuelle niveau beskrives styringsredskaberne således: Hver enhed udarbejder en forretningsstrategi for dens kerneopgaver. Forretningsstrategien beskriver, hvordan resultaterne af enhedens indsats over en periode på 3-5 år vil bidrage til at opnå væsentlige samfundsmæssige effekter i overensstemmelse med politiske målsætninger og krav. Forretningsstrategien indeholder et begrænset antal effektmål og en beskrivelse af de konkrete indsatser, som enheden vil fokusere på for at bidrage til indfrielse af effektmålene. Forretningsstrategien beskriver desuden den bagvedliggende forandringsteori, hvilket vil sige argumentationen for, hvorfor indsatserne forventes at have den forudsatte effekt. Endelig indeholder forretningsstrategien målbare indikatorer (KPI er), som kan dokumentere, om enhedens konkrete årlige indsats over en periode på 3-5 år bidrager til indfrielse af effektmålene. På baggrund af forretningsstrategiens KPI er følger departementet op på enhedernes indsats i løbet af året, ligesom forretningsstrategien danner grundlag for målopfølgningen i årsrapporten. Direktørkontrakten er en aftale mellem departementschefen og den enkelte direktør om udmøntningen af resultatløn. Direktørkontrakten henviser til forretningsstrategien og indeholder herudover evt. særskilte krav eller fokusområder for den enkelte direktør. Styrker og svagheder Den væsentligste fordel ved konceptet for strategisk mål- og resultatstyring er, at man får skabt et grundlag for en sammenhængende og strategisk styringsdialog med fokus på samfundsmæssige effekter. Sammenhængen etableres primært gennem 36

43 Beskæftigelsesministeriet forandringsteorien, der forudsætter grundlæggende overvejelser og prioriteringer. Styrken ved forandringsteorierne er således, at de beskriver sammenhængene, hvor de hidtidige resultatkontrakter i højere grad beskrev enkeltheder. Forandringsteoriens og dermed forretningsstrategiens fokus på det længere sigte og den samfundsmæssige effekt betyder herudover, at der hele tiden holdes fast i, om de resultater eller virkninger man opnår på kort og mellemlangt sigt, er relevante i forhold til den effekt man ønsker at opnå på længere sigt. Når man har skabt et validt datagrundlag for de valgte indsatser, vil det desuden blive muligt at teste, om indsatsen bidrager til den forventede effekt, eller om andre indsatser måske vil virke bedre. Idet etablering af et validt datagrundlag er en forudsætning for at lykkes, forventes konceptet også at bidrage til øget fokus på evidensbaseret viden. En væsentlig udfordring er at finde frem til de rette indikatorer for, om de valgte indsatser bidrager til at opnå den ønskede effekt. Det i sig selv er en tidskrævende proces, og der skal være plads til trial and error. Opmærksomhedspunkter Beskæftigelsesministeriets koncept vedrører mål- og resultatstyringen i ministeriet og styringsdialogen mellem departement og styrelse. Forud for det nye koncept har ministeriet løbende udviklet sit koncept for resultatkontrakter. Baseret på ministeriets arbejde med styringskoncepter, er de væsentligste opmærksomhedspunkter eller anbefalinger i forbindelse med udvikling af et ministerielt styringskoncept: Byg videre på eksisterende koncepter. Lad være med at genopfinde allerede eksisterende redskaber. Byg videre på det, som har vist sig at fungere godt. Man kan godt forny og udvikle sig uden at udskifte alt. Inddrag styrelserne i udvikling af nye styringskoncepter. Styring er dialog, hvilket bør tydeliggøres fra starten. Det er desuden nødvendigt at inddrage styrelserne bl.a. for at realitetsteste konceptet samt opnå fælles forståelse og accept af styringstilgang. Keep it simple! Jo mere enkelt styringskonceptet er, jo tydeligere bliver hensigten. Desuden gør enkelhed det nemmere at rumme styrelsernes forskellighed og samtidig fastholde en vis ensartethed på tværs af ministeriet. Erfaringen viser, at jo mere specifikt og detaljeret konceptet bliver i sin beskrivelse, desto større bliver forskelligheden i styrelsernes tolkning af departementets krav. Hvad angår arbejdet med effekter og effektindikatorer er anbefalingen: Hold ud! Insister hele tiden på at kunne vise tilbage til en forandringsteori og forfald ikke til de nemme indikatorer, som man inderst inde godt ved ikke siger noget om virkninger eller effekter. Ellers taber man hurtigt de egentlige og væsentlige effekter af syne. 37

44 Socialministeriet & SFI Socialministeriet & SFI Departement og institution Socialministeriet (SoM) og Det Nationale Forskningscenter for Velfærd (SFI) Forfattere Lars Møller Christiansen, kontorchef (SoM) Eva Husum Schmidt, specialkonsulent (SoM) Ole Gregersen, forskningsdirektør (SFI) Konceptet er eksemplificeres Effektmåling i et koncernstyringsperspektiv Konceptets anvendelighed I denne artikel beskrives et eksempel på, hvordan man kan arbejde med effektmåling i et koncernstyringsperspektiv. Socialministeriet har gennemført et koncernprojekt med fokus på at optimere effekterne af socialpolitikken for borgerne og for samfundet. Det sociale område forvalter en stor del af samfundets ressourcer, og det er ikke mindst derfor vigtigt, at vi ved, hvad vi får for pengene og at ressourcerne bruges effektivt og på de rigtige ting. Det er en særlig udfordring, at der er en meget lang kæde fra policy vision til borger. Koncernprojektet håndterer det centrale/øverste niveau i denne kæde (SoM koncernen). Det er imidlertid en væsentlig erfaring, at koblingen mellem toppen af værdikæden og bunden er central for at sikre størst mulig bidrag til effekt for borgerne fra de enkelte niveauer i værdikæden. 38

45 Socialministeriet & SFI Figur 1: En lang værdikæde fra policy vision til effekt eksempel: støttekontakt-person for socialt udsatte (SKP) 14 SoM koncernen Policy vision: Ud ad social isolation (opgave: ministerbetjening) Policy forberedelse (opgave: ministerbetjening) Lovforslag (opgave: ministerbetjening) Lov implementering Lovbehandling (opgave: ministerbetjening) Lov vejledning Lov-vedtagelse (opgave: ministerbetjening) Lovbekendtgørelse Uddannelse, formidling, metode, monitorering (opgave: forvaltningsgrundlag) (opgave: forvaltningsgrundlag) (opgaver: (opgaver; forvaltningsgrundlag og og vidensudbredelse) Kommunal bestyrelse Kommunal myndighed Kommunal udsatte strategi Kommunal organisering Kommunal økonomisk prioritering Kommunal sagsbehandling Sagsoplysning, Sagsoplysning, vurdering, vurdering, planlægning, planlægning, afgø relse, bestilling af indsats af indsats, og opfølgning Leverandør Leverandør af socialt tilbud laver social indsats SKP leverandørs opsøgende indsats SKP leverandør får kontakt til bruger Brugers (re)etableringaf kontakt til sociale myndigheder Borger Brugers sociale kompetencer øges øges Brugers sociale netværk øges Brugers sociale isolation reduceres Social value Ministeriet arbejder med resultatbaseret styring 15 som generel tilgang til at understøtte, at de politiske mål fastholdes gennem den lange styringskæde og til at understøtte, at der opnås mest mulig effekt for borgerne og samfundet. Generelt er der sparsom viden om, hvad der virker på det sociale område. Koncernprojektet har derfor givet høj prioritet til at fremme, at den aktuelt bedste viden inden for de enkelte sociale problemstillinger i højere grad gøres tilgængelig for de politiske beslutningstagere og for social praksis. Grundtanken er, at der opnås størst effekt, hvis indsatserne bygger på den aktuelt bedste viden. Det er med andre ord et spørgsmål om at sikre, at den aktuelt bedste viden aktiveres som styringsinformation og anvendes som grundlag for prioritering og tilpasning af indsatser. Det nationale forskningscenter for velfærd, SFI, og Servicestyrelsen spiller hver deres afgørende rolle i realiseringen af dette mål og disse roller er i højere grad blevet klarlagt og formuleret eksplicit ved koncernprojektet. Udarbejdelsen af en samlet koncernstrategi til styring efter effekter er et velegnet redskab, når det er muligt: at opstille et overordnet fælles mål for strategien: mest mulig effekt for borgerne og samfundet af midlerne til sociale indsatser, og endvidere at håndtere en fælles udfordring: at styrke det systematiske vidensarbejde som vej til optimering af disse effekter. 14 Kilde: Deloitte og Rambøll 15 Tilgangen kan karakteriseres ved fire grundlæggende elementer: Formuleringen af strategiske effektmål, som er styrende for indsatsen Præcisering af forventede effekter og organiseringen af indsatser og ressourcer herefter Løbende monitorering og vurdering af præstationer Styrket ansvarliggørelse på baggrund af løbende feedback på præstationer (UNDP, 2000) 39

46 Socialministeriet & SFI De vigtigste erfaringer fra koncernprojektet - i relation til styring efter effekter - er: 1. Samlet forretningsstrategi med styringsdata for det sociale område Det er nødvendigt at se på den samlede forretningsstrategi, som omfatter hele værdikæden fra top til bund med effekt for borgerne og samfundet som bundlinje. En samlet analyse og feed back mekanismer fra de enkelte led giver grundlag for at identificere de mest forretningskritiske indsatsområder. Dermed bliver det muligt at præcisere de strategiske mål og sætte ind i forhold til de svageste led i styringskæden samt følge op på, om kritiske antagelser om årsags-virkningsrelationer holder. Er det eksempelvis blevet klarlagt, at sagsbehandlernes myndighedsafgørelser er et svagt punkt i sager om udsatte børn og unge, kan det pege på behov for at understøtte indsatsen med en digitaliseret sagsbehandlings- og udredningsmetode. 2. Systematisk arbejde med aktuelt bedste viden er nødvendigt For at opnå mest mulig effekt af de sociale indsatser, er der på det sociale område behov for at gøre bedre brug af den aktuelt bedste viden, samt at følge op på effekter af de sociale indsatser, så denne viden kan benyttes i politikudvikling og i den sociale praksis. Det kræver et systematisk arbejde med viden og et optimalt samspil mellem vidensproducenter, -formidlere og anvendere såvel inden for Socialministeriets koncern som i forhold til kommuner og leverandører. Ministeriets handlingsplan for bedre brug af aktuelt bedste viden skal understøtte dette Effektmålene skal ikke nødvendigvis stå i de enkelte resultatkontrakter Når resultatkontrakter anvendes som styringsredskab i forbindelse med en samlet forretningsstrategi, er det afgørende, at de enkelte institutioner måles på væsentlige bidrag til realiseringen af den samlede effektfokuserede strategi. Disse bidrag kan sjældent vurderes direkte ved deres effekter for borgerne, og derfor er effektmål vedrørende borgerne i resultatkontrakterne ikke nødvendigvis svaret. Det skyldes bl.a., at det kan være vanskeligt at isolere effekten af den enkelte institutions bidrag, når der er flere aktører og en lang værdikæde hvor borgeren er sidste led i værdikæden. Men det betyder ikke, at man alene skal anvende aktivitets- eller produktionsmål. Det er fortsat vigtig at have blik for, om indsatserne gør en forskel fx ved at vælge outcome mål for institutionens påvirkning af aktørerne i det næste led i kæden. Det være sagt, bør det endelige formål og fokus hele tiden være, at slutbrugeren (borgeren) opnår en positiv effekt i sidste ende. Resultatkontrakter er desuden kun ét blandt flere styringsredskaber, som skal spille sammen med samarbejde og ledelsesopbakning på tværs af koncernen i realisering af koncernstrategien. Beskrivelse af konceptet Ad 1: Samlet forretningsstrategi med styringsdata for det sociale område Som det fremgår af figur 1 og 2, er der lang vej fra opdragsgiver til slutbrugeren/borgeren på det sociale område. Folketinget og regeringen sætter rammerne, Socialministeriet står for udmøntningen. Kommunalbestyrelserne udfylder rammelovgivningen, forvaltningen træffer afgørelser om den enkelte borger, og private eller offentlige udførere leverer den ydelse, borgeren er visiteret til. En samlet analyse og feed back mekanismer fra de enkelte led giver grundlag for at identificere de mest forretningskritiske indsatsområder. Dermed bliver det muligt at præcisere de strategiske mål og sætte ind i forhold til de svageste led i styringskæden samt følge op på, om kritiske antagelser om årsags-virkningsrelationer holder. 16 Handlingsplan for bedre brug af aktuelt bedste viden, Indenrigs- og socialministeriet, november

47 Socialministeriet & SFI Eksempler på forretningskritiske indsatsområder på kommunalt niveau er leverandørstyringen, fastlæggelse af serviceniveauer, som er sammenkoblet med økonomien samt digital understøttelse af sagsbehandlingen. På det centrale niveau er der blandt andet forretningskritiske indsatsområder knyttet til at skabe forudsætninger for en effektiv implementering samt til at øge effekterne af den sociale indsats ved at understøtte brugen af aktuelt bedste viden i politikudformning og social praksis. Den lange styringskæde gør det vanskeligt at sikre, at intentionen med det politiske initiativ føres ud i livet. I ministeriet lægges der traditionelt megen vægt på lovgivningsarbejdet, men der har de senere år været en voksende erkendelse af den udfordring, der ligger i at sikre lovgivningens implementering. Lovgivning er ikke nok i sig selv. Det er nødvendigt at følge initiativerne til dørs i kommunerne ved at understøtte implementeringen med en vifte af redskaber. Det er desuden nødvendigt at få relevant og målrettet udvalgt information om resultaterne retur. Dokumentation for, at initiativerne rent faktisk når og gavner borgerne, er vigtig for at kunne styre effektivt. Implementeringsudfordringen behandles i ministeriets koncernprojekt sammen med udfordringen om den aktuelt bedste viden. Til håndtering af disse udfordringer er der behov for at styrke feed back til policyprocessen om resultaterne af de initiativer, der sættes i værk. Figur 2: Styringskæden på det sociale område En idealiseret model er illustreret i figur 3. På hvert niveau fra stat til leverandør arbejdes i cykler med strategisk målformulering, programplanlægning, implementering og evaluering, der spiller tilbage til den strategiske målformulering. Mellem niveauerne kanaliseres beslutninger nedad fra udformning af rammelovgivning i Folketinget, over kommunalbestyrelsernes lokale indholdsudfyldning, over forvaltningernes præcisering af bestillingen til leverandørens konkrete udførelse. Opad formidles i det nødvendige omfang relevant feed back information. Feed back informationen skal bidrage til vidensbaserede beslutninger på alle niveauer. Det er ikke ukompliceret at vælge den rigtige og nødvendige dokumentation og droppe den dokumentation, der ikke skal bruges. Det er en stor faglig udfordring at udforme 41

48 Socialministeriet & SFI dokumentationen, så den er enkel og fokuseret, og så den både kan bruges centralt og lokalt til at følge op på, om indsatserne lykkes eller skal justeres. Det arbejder ministeriet blandt andet med i dokumentationsprojektet, hvor det aftales med KL, hvilken dokumentation, der er brug for på ældreområdet, udsatte børn, dagtilbudsområdet mv. og ikke mindst, hvilken dokumentation, der ikke prioriteres. Det har blandt andet ført til afskaffelse af en stor del af anbringelsesstatistikken. Detaljeringsgraden er mindst mellem de øverste niveauer og størst mellem de nederste. Målet er et smidigt, ubureaukratisk system, hvor ministeriet får aktuelle data ind løbende, så rammevilkår og indsatser løbende kan tilpasses. Generelt er det vigtigt, at styringsinformationen på det enkelte niveau giver mening for dem, der foretager målingen og dem, der måles, såvel som aktørerne på de højere niveauer. Figur 3: Sammenhængen mellem styringsniveauer og informationsstrømme Der er imidlertid lang vej, før man når denne situation på det sociale område. Det er et langt sejt træk, som kræver, at strategier på de forskellige niveauer spiller sammen. Socialministeriets koncern anvender en pragmatisk tilgang med fokus på det, der kan gøres inden for koncernen og udvælgelse af strategiske pilotprojekter, hvor der gøres en særlig indsats mhp. at få succesprojekter, som kan udbredes og generaliseres. I relationen mellem staten og kommunerne, styrkes indsatsen for implementering af lovgivning og politiske aftaler fx ved mere systematisk begrebsanvendelse og udvikling af ITunderstøttede sagsbehandlings- og udredningsmetoder. Udbredelsen af aktuelt bedste viden på det sociale område til social praksis understøttes fx ved Servicestyrelsens opbygning af en vidensportal, der på sigt skal formidle aktuelt bedste forskningsmæssige viden, fx om virksomme sociale indsatser, til kommuner og praktikere samt en brobyggerfunktion, der skal understøtte den lokale implementering af denne viden. I ministeriets egne projekter og aktiviteter lægges der vægt på, at politikoplæg, udviklingsprojekter, arbejde med metodeudvikling og puljearbejde sker med en større grad af systematik, bedre brug af aktuelt bedste viden og med fokus på målet om at skabe effekt for borgerne og samfundet med de enkelte initiativer. I forhold til værdikæden har ministeriet her en mulighed for at arbejde målrettet med at udarbejde forandringsteorier 42

49 Socialministeriet & SFI for, hvordan de svageste led i værdikæden kan styrkes. Er det eksempelvis blevet klarlagt, at sagsbehandlernes myndighedsafgørelser et svagt punkt i sager om udsatte børn og unge, kan det pege på behov for at understøtte indsatsen med en digitaliseret sagsbehandlings- og udredningsmetode. Ad 2: Systematisk arbejde med aktuelt bedste viden er nødvendigt Det sociale område er udfordret af en meget begrænset viden om, hvilke indsatser, der fører til hvilke effekter. Det vanskeliggør selvsagt en prioritering af de mest effektive indsatser, at effekten af de fleste indsatser er ukendt. Eksempelvis anbringes mange tusinde børn, men man ved ikke, om det virker. Gennemgående går det anbragte børn dårligere end børn, der ikke har været anbragt, men man ved ikke, om anbringelserne er en del af løsningen eller en del af problemet. Derfor indgår, som et centralt led i koncernprojektet, en Handlingsplan til bedre brug af aktuelt bedste viden. Aktuelt bedste viden må ikke forveksles med et krav om, at alle beslutninger skal bygge på viden med den højest tænkelige evidensstyrke (fx et Campbell review 17, der sammenfatter flere gode kontrollerede forsøg). Dette vil oftest ikke være muligt. Brug af aktuelt bedste viden handler derimod dels om, at ministeriet i sit arbejde rent faktisk anvender aktuelt bedste viden på et givent område, og dels om at ministeriet løbende arbejder for at løfte niveauet for den aktuelt bedste viden, jf. figur 4. Figur 4: Aktuelt bedste viden i forhold til absolut bedste viden og anvendt viden Kvalitet af viden Absolut bedste viden Aktuelt bedste viden Faktisk anvendt viden Fagområder/ Initiativer Handlingsplanen skal bidrage til, at aktuelt bedste viden tilgår og anvendes i de politiske beslutningsprocesser. Målet med at applicere aktuelt bedste viden i politikformuleringen er todelt: Dels skal det sikres, at beslutningsoplæg om nye initiativer er baseret på aktuelt bedste viden, dels skal det sikres, at det indgår i forslagene hvilken ny viden, man ønsker at få ud af initiativet (fx viden om effekter af en ny indsats) og hvordan (fx ved evaluering). 17 I det internationale Campbell-samarbejde udarbejdes systematiske forskningsoversigter inden for uddannelse, kriminalitet, social- og velfærdsområdet, de såkaldte Campbell reviews. En systematisk forskningsoversigt søger at give et overblik over, hvad de bedste tilgængelige forskningsresultater kan sige om et bestemt, afgrænset emne. De systematiske forskningsoversigter sammenfatter resultaterne af flere studier, udvalgt og vurderet efter eksplicitte og systematiske kriterier. 43

50 Socialministeriet & SFI Handlingsplanen indebærer endvidere en styrkelse af koncernens arbejde med at kvalitetssikre og at formidle viden og fremme, at aktuelt bedste viden også integreres i social praksis. Målet er at gøre ministeriet bedre til at understøtte kommunerne i at vælge effektive og fagligt velfunderede løsninger i deres sociale indsats. Koncernen har mange forskelligartede og specialiserede typer vidensproduktion, som er relevante for den sociale indsats. Desuden findes der en meget omfattende og specialiseret international forskningslitteratur, som det i dag via elektronisk formidling og udvikling af redskaber til systematiske forskningsoversigter mv. er blevet mere realistisk at inddrage. Der skal fremover i højere grad ske en afvejning og vurdering af viden fra forskellige kilder ud fra relevans og kvalitet. En række initiativer i handlingsplanen tager sigte på målrettet og effektivt at få den relevante feed back fra policyinitiativer og koncernens egne aktiviteter. Det er bl.a. en mere sammenhængende indsamling, anvendelse og formidling af data og statistik, herunder især en mere strategisk brug af eksisterende data. Andre eksempler er viden om effekter og resultater fra puljeprojekter, viden om problemer i sagsbehandlingen fra Ankestyrelsens ankesager og praksisundersøgelser samt viden om nye målgrupper og sociale problemer fra VISOs specialrådgivning. Der oprustes endvidere på koncernens arbejde med at få viden om effekter af sociale behandlingsmetoder. Satspuljeforslag, der indebærer udvikling af sociale behandlingsmetoder, skal tilrettelægges, så det er muligt at følge op på effekterne, og ministeriet skal kunne levere en fagligt begrundet prioriteringsliste for sådanne initiativer i de tilfælde, hvor den efterspørges politisk. En forskningsstrategi skal sikre, at ministeriet udnytter sine muligheder for at få dækket forventelige, langsigtede behov for forskningsmæssig viden bedst muligt. Et vigtigt element heri er udarbejdelse af systematiske forskningsoversigter over international og dansk forskning inden for hovedområderne. Handlingsplanen lægger op til en kraftig opprioritering og samordning af koncernens arbejde for at kunne levere aktuelt bedste viden. I handlingsplanens enkelte forslag defineres udviklingsprojekter for koncernens institutioner hver for sig og i samarbejde, og derudover er rollerne for Servicestyrelsen, SFI og til en vis grad Ankestyrelsen blevet konkretiseret og gjort mere eksplicit, i den samlede bestræbelse for bedre brug af aktuelt bedste viden. I forbindelse med de kommende resultatkontrakter for 2011 er det et særligt indsatsområde at sikre, at disse bliver velegnede redskaber til opfølgning på implementeringsarbejdet for handlingsplanen. Ad 3: Effektmålene skal ikke nødvendigvis stå i de enkelte resultatkontrakter Når resultatkontrakterne ses som styringsredskaber i en sammenhængende strategi med fokus på effekt for borgerne og samfundet, som beskrevet ovenfor, bliver det afgørende, at der måles på bidrag fra institutionerne, som er centrale for realiseringen af den samlede strategi. Disse bidrag vil typisk ikke på nogen meningsfuld måde kunne måles direkte på deres effekt for borgerne. Men det betyder ikke, at man alene skal anvende aktivitets- eller produktionsmål. Det er fortsat vigtigt at have blik for, om indsatserne gør en forskel. Eksempelvis etableres, som led i handlingsplanen om bedre brug af aktuelt bedste viden, en søgefunktion i Servicestyrelsen, der ved konkrete behov skal afsøge internationale forskningsbaser. Det er her relevant at måle på, om produkterne fra søgefunktionen anvendes i departementet, og om de af departementet vurderes som egnede til at kvalificere den politiske proces. Det sætter fokus på det vanskelige samspil om 44

51 Socialministeriet & SFI vidensinput til policyprocessen, og skærper fokus på at få det til at fungere optimalt. Det er i valget af målepunkter vigtigt at eksplicitere (og teste/udfordre) antagelserne bag målene hvilket i dette tilfælde fører til, at opfølgning på om søgeresultatet bliver brugt, prioriteres frem for opfølgning på, om der gennemføres et givet antal søgninger. Resultatkontrakten er ét blandt flere styringsredskaber, som skal kunne fungere i samarbejdet og ledelsesopbakningen på tværs af koncernen i realisering af koncernstrategien. Det forudsætter bl.a. et godt kendskab på leder og medarbejderniveau mellem koncernens institutioner. Realiseringen af en række af handlingsplanens forslag samt hele processen frem til vedtagelsen har været fremmende for dette kendskab og samarbejde. Eksemplificering: SFI s rolle som vidensproducerende institution SFI deltager i Koncernprojektet og har siden 2001 opbygget et beredskab, der tager sigte på at bidrage med den aktuelt bedste viden om effekter på det sociale område. SFI s deltagelse indebærer et samspil mellem forskere og embedsmænd, når der laves ny lovgivning. Det er forskernes opgave at bidrage med overblik over og viden om effektmålingsresultater og -metoder samt at gennemføre konkrete effektmålinger. Embedsmændenes rolle er at anvende viden og sikre, at der laves konkrete set-ups, som gør det muligt at gennemføre effektmålinger i praksis. Det betyder, at nye indsatser, som man ønsker at måle effekten af, skal udrulles på en måde, der gør det muligt at lave forsøg og sammenligne mellem grupper af borgere, der modtager en given indsats og borgere, der ikke gør. I 2009 etablerede SFI i samarbejde med 14 kommuner fordelt over hele landet Kommuneforum for effektmåling. Der samarbejdes om at gennemføre konkrete effektmålinger på områder af interesse for kommunerne, og hvor det er muligt at gennemføre randomiserede forsøg eller andre typer kontrollerede forsøg. Senest er der i 2009 som led i koncernprojektet indledt et samarbejde med Servicestyrelsen. Det indebærer, at styrelsen identificerer, hvor der er behov for viden om effekter af praksis og pege på metoder, som styrelsen gerne vil afprøve. SFI rolle er at teste disse metoder. Samarbejdet omfatter indtil videre børneområdet, men det er tanken, at det skal udbredes til hele Styrelsens område. Det første eksempel på en effektmåling i dette samarbejde vedrører familieprogrammet MultifunC, der er rettet mod de mest udsatte unge. Fire kommuner etablerer en ny institutionstype med et manualbaseret behandlingsprogram. Formålet med behandlingen er, at den unge kan flytte hjem igen eller i egen bolig med mindre støtte end tidligere. Det forventes, at de nye institutioner etableres i 2010, de første unge skrives ind i 2011, i 2012 starter effektmålingen og i 2014 forventes de første resultater. SFI er med hele vejen og gennemfører effektmålingen. SFI s resultatkontrakt understøtter realiseringen af SFI s samlede strategi, som er fastlagt af den uafhængige bestyrelse. Den omfatter, ud over det nævnte arbejde med effektmåling, også strategiske mål om udvikling af samfundvidenskabelige kompetencer i bredere forstand på hele SFI s område, samarbejde med danske universiteter og forskningsmiljøer samt kvalitetsudvikling og effektvisering alt sammen med den vision, at SFI s arbejde skal være centralt for udviklingen af det danske velfærdssamfund. Styrker og svagheder? Socialministeriets koncernprojekt er baseret på en sammenhængende forretningsstrategi med fokus på effekter for borgerne og samfundet. I punktform kan fremhæves nedenstående styrker og svagheder ved tilgangen: 45

52 Socialministeriet & SFI Styrker: Der sættes fokus på formålet med de sociale indsatser Aktiviteter samordnes og vurderes efter, hvordan de bidrager til effekter for borgerne og samfundet i samspil med andre aktiviteter Tilgangen giver en god fælles platform for samarbejdet med kommuner og leverandør (brug af aktuelt bedste viden og mål om effekt for borgerne) Processen med udarbejdelse af strategi og handlingsplan: har styrket samspillet mellem de forskellige institutioners bidrag til det fælles mål om effekt har øget gensidigt kendskab på ledelses og medarbejderniveau har sat fokus på, at institutionernes bidrag bliver brugt og dermed forandrer noget frem for at der bevidstløst frembringes produkter Svagheder: Risiko for en tung proces Skal hele tiden tilføres energi for at realisere strategi og handlingsplan - implementering sker ikke af sig selv Kan ikke skabe sammenhæng, hvor den ikke findes naturlig 46

53 Danmarks Statistik Institutioner Danmarks Statistik Institution Danmarks Statistik Forfattere Peter Sandager, kontorchef Martin Bingen Jørgensen, fuldmægtig Opgavetypen der eksemplificeres Vidensproduktion Kort om Danmarks Statistik Danmarks Statistik har en vision om at være en af Europas mest brugervenlige og dataleverandørvenlige statistikinstitutioner samt en effektiv og innovativ institution, som løser opgaverne digitalt. Danmarks Statistik udarbejder upartisk statistik om samfundet som grundlag for demokratiet og samfundsøkonomien. Danmarks Statistik udarbejder statistik til mange forskellige brugere og kunder (fx journalister, politikere, private og offentlige virksomheder, forskere, analytikere og studerende). Udfordringen ved effektmåling er, at effekten af statistikproduktionen i høj grad afhænger af aftagergruppen og dennes anvendelse af statistikken, hvilken er særdeles mangfoldig. Hovedparten af statistikprodukterne er gratis, men Danmarks Statistik har også en betydelig indtægtsdækket virksomhed (salg af statistik). Danmarks Statistik har arbejdet med effektmål og effektmåling i en årrække og har god erfaring med udvikling af effektindikatorer. Derimod er der større udfordringer forbundet med at fastlægge overordnede mål for effekten af Danmarks Statistiks arbejde. De væsentligste erfaringer, som andre kan tage ved lære af Danmarks Statistik har gjort sig en række erfaringer med effektmåling, hvoraf de væsentligste er følgende: Bruger- eller samfundsrettet effekt - Der kan skelnes mellem umiddelbar effekt (brugereffekt) og sluteffekt (samfundseffekt), hvoraf sidstnævnte for Danmarks Statistiks vedkommende er meget vanskelig at måle. Effektindikatorer - Den umiddelbare effekt kan aflæses i form af fx omsætning fra den indtægtsdækkede virksomhed (IDV), kundetilfredshed, besøg på hjemmeside, udtræk fra statistikbanken, antal forskere som benytter Danmarks Statistiks forskermaskine og antal presseomtaler. Effektindikator - Danmarks Statistik gennemfører en række konkrete undersøgelser blandt statistikbrugerne. Disse undersøgelser danner grundlag for den løbende udvikling og forbedring af statistikproduktionen og formidlingen af denne. Borgerundersøgelsen, hvor borgernes kendskab og forhold til Danmarks Statistik undersøges, suppleres af en række brugerundersøgelser af hjemmesiden, statistikbanken og biblioteket. 47

54 Danmarks Statistik Isoleringsproblem - Den umiddelbare effekt er ikke nødvendigvis et direkte resultat af Danmarks Statistiks indsats. Der vil også være eksterne faktorer som spiller ind. Det er således vigtigt at sikre en klar sammenhæng mellem indsats og effekt i den enkelte effektmåling. Baggrund og formål med opstillede effektmål Nedenfor beskrives tre eksempler på effektmål i Danmarks Statistik. A) Danmarks Statistik har i en årrække haft mål for omsætningen ved salg af serviceopgaver (indtægtsdækket virksomhed). Baggrunden for dette mål er, at omsætningens størrelse kan betragtes som indikator for brugervenlighed samt for anvendelsen og nytten af statistikproduktionen. B) Danmarks Statistik har også i en årrække haft mål for antallet af udtræk fra statistikbanken. Et stigende antal udtræk fra statistikbanken betragtes ligeledes som en indikator for brugervenlighed samt for øget anvendelse og nytte heraf. C) Endelig kan også nævnes Danmarks Statistiks løbende målinger af kunde- og brugertilfredshed. Implementeringen og anvendelsen af effektmålingen samt opfølgning på effektmål I forbindelse med opstillingen af effektmål skal det indtænkes, hvorledes der kan måles på effekterne. Ovenstående effektmål kobles til effektmålingen som fremgår nedenfor. Ad a) IDV-omsætningen kan aflæses direkte af regnskabet. Det er således ikke vanskeligt at følge udviklingen i denne. For at øge omsætningen skal produkterne være af høj kvalitet, leverancerne i overensstemmelse med bestillingen, og kundekontakten skal være professionel og imødekommende. Men der er ingen garanti for, at omsætningen stiger, hvis disse betingelser er opfyldt. I tilfælde af lavkonjunktur kan omsætningen falde trods opfyldelse af betingelserne. Det er således vigtigt at være opmærksom på eksterne faktorer i fortolkningen af målopfyldelsen. Ad b) Antallet af udtræk fra statistikbanken er umiddelbart et godt mål, men omstrukturering af databasen har vist sig at skabe problemer for målingen. Ved at samle data i færre men større tabeller, er det muligt med færre udtræk at opnå samme eller større information. Dette er udtryk for et målingsproblem, som ikke umiddelbart kan løses. Det er således vigtigt at overveje konstruktionen af et mål i forhold til de tekniske forhold, som kan have betydning for opgørelsen af målet. Ad c) Kundetilfredshed måles i forhold til den indtægtsdækkede virksomhed på en skala fra et til fem, og besvarelserne indlæses løbende i en database, hvilket gør det muligt at følge udviklingen tæt. Resultaterne skal ses i lyset af, at der i stor udstrækning er tale om nye opgaver og nye kunder hvert år, så sammenligninger af resultaterne mellem årene er vanskelig. Danmarks Statistik anvender resultaterne fra de specifikke opgaver til løbende forbedringer. Samlet kan man konkludere, at det er essentielt, at man som institution kender omstændighederne for den indsats (det produkt), man måler, såvel som omstændighederne for den modtagergruppe, man måler på. 48

55 Danmarks Statistik Anvendelsen af effektmål samt kobling til resultatkontrakten og departementet Danmarks Statistik er en del af Økonomi- og Erhvervsministeriet, som har et fast koncept for mål- og resultatstyringen i koncernen. Resultatkontrakten udgør et meget vigtigt styringsredskab, og fastsættelsen af mål heri er genstand for en grundig forhandling mellem styrelse og departement. Resultatkontrakten suppleres i Danmarks Statistik af interne kontrakter i form af afdelings- og kontorkontrakter, og der er generelt stor enighed om vigtigheden af disse kontrakter som styringsinstrument. Effektmåling og effektmål søges derfor så vidt muligt indskrevet i resultat-, afdelings- og kontorkontrakter. De største udfordringer ved at udvikle og implementere effektmålingen Effektmåling vanskeliggøres af, at der ofte mangler en direkte sammenhæng mellem indsats og effekt. Ofte vil effektmålingen være påvirket af en række eksterne faktorer, som nødvendigvis må inddrages i fortolkningen af målopfyldelsen. 49

56 FødevareErhverv FødevareErhverv Institution FødevareErhverv, Fødevareministeriet. Forfatter Jakob Møgelvang, specialkonsulent Opgavetypen der eksemplificeres Tilskudsadministration (sagsbehandling) Casen omhandler effektmåling af en tilskudsordning, eksemplificeret ved måling af innovationseffekten i forhold til innovationsloven. Kort om Tilskudsadministration i FødevareErhverv FødevareErhvervs aktiviteter omfatter bl.a. at: Skabe gode rammevilkår for vækst og udvikling i fødevareerhvervet. Bidrage til udviklingen af en fødevareproduktion i balance med miljø og naturen. Udvikle landdistrikterne bl.a. gennem landdistriktsprogrammet. Udvikle fiskeriet bl.a. gennem fiskeriprogrammet. Bidrage til forskning og udvikling i fødevareerhvervet gennem Grønt Udviklingsog Demonstrationsprogram. Administrere EU s landbrugsordninger og nationale ordninger. Dette sker bl.a. gennem etablering af tilskudsordninger. FødevareErhverv udbetaler årligt godt 9 mia. kr. i tilskud. De væsentligste erfaringer, som andre kan tage ved lære af At måling af innovationseffekt i forhold til innovationsloven er mulig, men at det forudsætter en forberedelse og planlægning allerede ved ordningens etablering. At en relativ lang tidsperiode er nødvendig for at kunne opfange alle væsentlige effekter. At spørgeskemaundersøgelsen viser mange effekter af innovationsindsatsen. At registerundersøgelsen generelt ikke dokumenterer nogen entydig effekt. At de to undersøgelsesmetoder er væsentligt forskellige, og ikke giver grundlag for fælles konklusioner. Baggrund og formål med effektmålingen Innovationsloven trådte i kraft i maj Formålet med loven var at fremme fødevare-, jordbrugs- og fiskerisektorens innovation-, forsknings- og udviklingsindsats. Effektmålingen, tager udgangspunkt i de formål, hensigter og visioner, som ligger direkte eller indirekte i innovationsloven. Effekterne blev vurderet i forhold til de mål, som er opstillet i innovationsloven af 2001 og ændringerne af samme lov i 2006.

57 FødevareErhverv Effektmålingen er gennemført af Fødevareøkonomisk Institut i samarbejde med FødevareErhverv. Fødevareøkonomisk Institut har haft til opgave: - at teste en udviklet regnearksmodel med henblik på måling af innovationseffekter i jordbrug og fødevareindustrien, som følge af modtaget tilskud fra innovationsloven, - at gennemføre en effektvurdering ved hjælp af ovenstående model for et udvalgt antal støttede projekter (spørgeskemaundersøgelse) under innovationsloven, - at gennemføre en statisk undersøgelse af effekten af tilskuddene hos de virksomheder, som har modtaget støtte i perioden (registerundersøgelse) under innovationsloven, og - at komme med anbefalinger til organisering af det fremtidige arbejde med evaluering af innovationsprojekter. Udviklingen af effektmålingen Projekterne som har opnået tilskud efter innovationsloven i perioden er blevet effektmålt ved en måling på to måder, der understøtter hinanden, gennem: a) spørgeskemaundersøgelser b) registerundersøgelser. Spørgeskemaundersøgelse Datagrundlaget forud for spørgeskemaet udgøres af oversigtsdata over alle godkendte innovationsprojekter i perioden med forskellige nøgleoplysninger (fx udbetalt tilskud, virksomhedstype). Herudfra er der udvalgt en række repræsentative innovationsprojekter til at indgå i spørgeskemaundersøgelsen. Derudover består datasættet af en række individuelle sagsakter såsom støtteansøgning, slutrapporter samt diverse korrespondancer mellem ansøger og myndigheder. Gennemførelsen af spørgeskemaundersøgelsen følger en metode, som er beskrevet i FødevareØkonomisk Instituts udredningsrapport: Udvikling af et innovationsværktøj til innovationsprojekter (maj 2008). Målgruppen for spørgeskemaet varierer meget, og det har gjort det vanskeligt med et fælles metodegrundlag. Nogle virksomheder har ikke haft en tilstrækkelig kompetence til at udfylde alle dele af skemaerne. Dog er det nødvendigt at fastholde samme metode i alle tilfælde, for at sikre en tilfredsstillende sammenlignelighed på tværs af projekterne. Det har derfor været nødvendigt med en tæt dialog til de deltagende virksomheder i udfyldelsen af spørgeskemaet. Den tætte dialog til virksomhederne har betydet: - at det fælles metodegrundlag har kunnet fastholdes i alle projekter, - at der samtidig er sikret en højere kvalitet og større ensartethed i alle besvarelserne, - at svarprocenten var høj, - at virksomhedernes tidsforbrug til besvarelsen er blevet reduceret meget og udgør i de fleste tilfælde ½ time per projekt. Registerundersøgelsen Datagrundlaget består af data i form af nøgleoplysninger, jf. ovenfor og af data fra Danmarks Statistik, i form af firmastatistikken og momsstatistikken og er opdelt i bl.a. CVR-nr, branche, kommunekode, omsætning og værditilvækst. 51

58 FødevareErhverv Datamaterialet fra FødevareErhverv kobles sammen med firmastatistikken og momsstatistikken fra Danmarks Statistik for at identificere de virksomheder, der har modtaget støtte under innovationsloven. Derved tilknyttes der brancheoplysninger, kommunebeliggenhed, omsætning, årsværk, værrditilvækst, eksport osv. Da data fra Danmarks statistik er anonyme, er datamaterialet fra FødevareErhverv også blevet anonymiseret. De undersøgte parametre er omsætning, årsværk, værditilvækst, produktivitet og eksport. Data om omsætning, årsværk, værditilvækst og eksport kommer fra Danmarks Statistik, mens produktiviteten udregnes som værditilvækst per årsværk 18 og defineres kort nedenfor. Værditilvæksten er defineret som virksomhedens omsætning (værdien af produktionen) fratrukket vareforbruget til produktionen. Udviklingen i værditilvæksten i de virksomheder, som har modtaget støtte under innovationsloven, kan give en indikation af, om de støttede virksomheder er blevet mere konkurrencedygtige i forhold til de virksomheder, som ikke har modtaget støtte. Produktiviteten er defineret som den genererede værditilvækst per årsværk. Produktiviteten er en indikator for, hvor effektiv virksomheden er, og dermed hvor god den er til at udnytte sine ressourcer. Der er tale om den direkte eksport i analysen. En stigende eksport betyder alt andet lige, at virksomheden er blevet mere konkurrencedygtig overfor udlandet. Parametrene undersøges ved at udregne middelværdien for hvert år i projektgruppen og i referencegruppen og derefter sammenligne resultaterne. Implementeringen og anvendelsen af effektmålingen Effektmålinger kan ideelt set anvendes til at opnå større viden om, hvilken effekt en given indsats har med henblik på at optimere effekten af den enkelte tilskudsordning. Derudover kan effektmålinger anvendes med henblik på at kunne dokumentere effekten af de enkelte ordninger, herunder med henblik på den fremadrettede policyudvikling. Spørgeskemaundersøgelsen Effektmåling i form af spørgeskemaundersøgelser giver et troværdigt, men ikke komplet billede af innovationseffekter. Generelt vurderes det, at undersøgelsens resultater giver et retvisende billede af innovationslovens effekter. Mange af de effekter der identificeres i undersøgelsen er i overensstemmelse med de effekter, som Oxford Research fandt i deres spørgeskemaundersøgelse af de støttede virksomheder under innovationsloven i 2005, jf. Oxford Research Registerundersøgelsen Registerundersøgelser til effektmåling på innovationsområdet forudsætter, - at det er muligt at identificere og udvælge en sammenlignelig referencegruppe, som har samme forløb, struktur og karakteristika som analysegruppen, - at ændringerne i den analyserede gruppe har en så relativ størrelse, at de potentielt kan påvirke de målte parametre signifikant, 18 Årsværk er antal fuldtidsansatte på et år. Årsværk beregnes ud fra summen af alle de ansattes ATP-indbetalinger for firmaet divideret med ATP-bidraget for en fuldtidsansat. 52

59 FødevareErhverv - at tidsperioden for de potentielle påvirkninger er kendt og kan defineres i sammenligningerne, - at det er muligt at isolere og fjerne andre påvirkninger, som kan sløre billedet, og - at mulige lags, indføringsperioder m.m. er kendte og kan indarbejdes i sammenligningerne. Generelt er det vanskeligt at opfylde alle disse forudsætninger. Hvis man fremover ønsker at gennemføre registerundersøgelser anbefales det derfor, at man allerede ved etableringen af en ny tilskudsordning laver en plan for gennemførelsen af den senere registerundersøgelse. Denne plan bør bl.a. indeholde en vurdering af sammenhængene mellem indsats og effekter samt retningslinjer for en løbende dataindsamling. Ikke mindst en systematisk og målrettet indsamling af data er helt central for at lave brugbare registerundersøgelser. Anvendelsen af effektmål Den viden der opnås gennem undersøgelserne, kan danne grundlag for det fremtidige arbejde med at designe nye tilskudsordninger, herunder overvejelser om opstilling af mål og efterfølgende effektmåling. De opstillede mål bør ideelt set etableres fra ordningens start, så det sikres i størst mulig grad, at der er en sammenhæng mellem indsats og effekter. De største udfordringer ved at udvikle og implementere effektmålingen Kvaliteten af effektmålinger er afhængig af, hvilke data der er til rådighed. Effektmålinger bør derfor ideelt set planlægges tidligt og indarbejdes i ansøgningsforløbet. En effektmåling bør begrænses til et mindre antal formål. Formålene skal samtidig være både entydige og målbare. Det bør sikres, at der sker en løbende dataindsamling om forhold der kan fortælle noget om årsags-virkningsforhold. Måling af mulige effekter, som først viser sig fuldt ud efter mange år, er vanskelig. 53

60 Hjemmeværnskommandoen Hjemmeværnskommandoen Institution Hjemmeværnskommandoen Forfatter Steen Gøtsche, Major Opgavetypen der eksemplificeres Beredskab Kort om Hjemmeværnet Hjemmeværnet har i forsvarsforlig af 10. juni 2004 forpligtet sig til at indgå yderligere i samfundets samlede beredskab. I den forbindelse skal hjemmeværnet blandt andet søge at gøre de frivillige enheder til en mere anvendt partner for samfundets aktører. Den overordnede effekt for hjemmeværnet er at være en attraktiv og anvendt partner i samfundets samlede beredskab, herunder at hjemmeværnet kan levere den kvalitative kapacitet, i den rette mængde til rette tid, samtidig med, at hjemmeværnet leverer uddannede førere til at lede indsættelserne. Med henblik på at gennemføre en overordnet effektmåling af samfundets større anvendelse af hjemmeværnet, er det nødvendigt at se på, hvad der er udslagsgivende for samfundets anvendelse af hjemmeværnets kapaciteter. Disse faktorer har Hjemmeværnskommandoen vurderet at være følgende: En (opfattet og) beviselig parathed til at kunne indsætte egnede kapaciteter så betids, at kapaciteterne opfattes som en styrkelse af det daglige beredskab. Dette stiller nogle tidsmæssige krav til kapaciteterne. Kravene i Hjemmeværnskommandoens resultatkontrakt med Forsvarsministeriet er beskrevet som krav om at kunne stille med sammensatte enheder af varierende type på henholdsvis 1, 3 og 6 timer. Uddannede enkeltpersoner, som i forbindelse med støtte til samfundets samlede beredskab kan sammensættes i operationelle enheder. En professionel behandling af rekvisitioner igennem det operative system, som indebærer aktivering af de tre operative kommandoer; Hærens Operative Kommando (HOK), Søværnets Operative Kommando (SOK) og Flyvertaktisk Kommando (FTK), videre til Totalforsvarsregioner, Hjemmeværnsdistrikter og til de frivillige underafdelinger. Det skal her i den forbindelse bemærkes, at indsættelser ofte sker direkte på lavest mulige niveau, med en efterfølgende verificering. Materiel som understøtter opgaveløsningen, herunder enkeltmandsudrustning, køretøjer, fartøjer (marinefartøjer og fly), natobservationsudstyr m.v. Et entydigt støtteforhold, som muliggør en effektiv opgaveløsning. 54

61 Hjemmeværnskommandoen De væsentligste erfaringer, som andre kan tage ved lære af På baggrund af Hjemmeværnskommandoens erfaringer igennem seneste forligsperiode er opmærksomheden p.t. rettet mod følgende forhold: Målsætninger skal være entydigt beskrevet af hensyn til ensartetheden i registreringen. Målsætninger skal være accepteret og forstået af alle myndigheder (gennemføres ved, at Hjemmeværnskommandoen årligt gennemgår målsætningerne med underlagte myndigheder). Målsætninger tages op til vurdering minimum én gang om året. I den forbindelse frasorteres mål, som har vist sig enten unødvendige eller som ikke kan opgøres med valide resultater til følge. Der skal indføres bestemmelser samt undervisning i selve indtastningen/ rapporteringen af resultater/opgørelser, således at alle mål bliver rapporteret ens fra alle myndigheder/parter. Herunder en gennemførelse af dataseminarer for at skabe ensartede registreringer. Målingstype og målemetode skal være besluttet og kendt før produktionsåret starter. Forudseenhed i forhold til planlægning for at skabe tid til at indføre og ændre registreringsmetoder. Baggrund og formål med effektmåling og effektmål Igennem de seneste forligsperioder, har det været vigtigt for hjemmeværnet at markere sig som en positivt anvendt partner i samfundets samlede beredskab. Derfor har det været vigtigt at udpege faktorer, som gav den effekt, at hjemmeværnets samarbejdspartnere ville anvende hjemmeværnets kapaciteter. En del af disse faktorer blev af hjemmeværnets ledelse udpeget som, at hjemmeværnet skulle være en attraktiv partner, herunder at hjemmeværnet kunne levere den kvalitative kapacitet, i den rette mængde til rette tid, samtidigt med at hjemmeværnet leverede uddannede førere til at lede indsættelserne. Udviklingen af effektmålingen og effektmål Hjemmeværnet er kun i den indledende fase for indførelse af effektmåling, men Forsvarsministeriets og Hjemmeværnskommandoens årlige koordinationer vedrørende resultatkontrakten, har rettet indsatsen ind på at udvikle effektmål/effektmålinger i større omfang. De største ufordringer i forbindelse med opstilling af mål, er altid: Hvordan måler man en effekt? Hvad skal målingen bruges til skal resultatet bruges efterfølgende? Få underlagte enheder/myndigheder til at forstå og involvere sig aktivt i opfyldelse af målsætningerne. Måden man vælger at offentliggøre resultaterne på, herunder også overfor underlagte myndigheder. Om eksisterende udstyr og systemer til registreringer kan magte at gennemføre den pågældende måling således, at resultaterne bliver valide. 55

62 Hjemmeværnskommandoen Måden hvorpå Hjemmeværnskommandoen har udarbejdet effektmål, har været ved et samarbejde med Forsvarsministeriet samt et heraf afled arbejde i Hjemmeværnsstaben for at skabe relevante effektmålinger som organisationen vil kunne være i stand til at agere på. Implementeringen og anvendelsen af effektmålingen og effektmål Resultatkravene som er beskrevet i resultatkontrakten mellem Forsvarsministeriet og Hjemmeværnskommandoen bliver nedbrudt til mål for underlagte enheder. Disse mål oplistes i et årsprogram, hvor registreringerne løbende bliver indtastet i det koncernfælles ressourcestyringssystem DeMars samt på hjemmesiden Hjemmeværnskommandoen følger op på de indtastede resultater ved at udarbejde kvartalsopgørelser, en midtvejsrapportering og årsrapport til Forsvarsministeriet. Resultaterne bliver anvendt til at justere årsprogrammet for de efterfølgende år samt for at danne tyngde i, en for samfundet og hjemmeværnet, positiv udvikling. Anvendelsen af effektmål/effektkrav Hjemmeværnskommandoen anvender allerede de underliggende målinger som munder ud i den samlede effektmåling, til at motivere en stigende anvendelse af hjemmeværnets kapaciteter. Målingerne er beskrevet i resultatkontrakten mellem Forsvarsministeriet og Hjemmeværnskommandoen og nedenfor ses eksempelvis mål 3 og mål 4 fra resultatkontrakten: 3. Mål: Beredskab og indsættelser Resultatkrav om beredskab og indsættelser Målformulering: Vi vil levere de aftalte ydelser til tiden og vil sikre effektivitet via kvalitet i ydelserne. Delmål: Resultatkrav vedrørende beredskab er udarbejdet for at give bedst mulig grundlag for en hurtig og effektiv støtte til samfundet: - Hjemmeværnets enheder kan indsættes til støtte for totalforsvaret på højst 3 timer med følgende - Hjemmeværnets enheder kan indsættes til støtte for totalforsvaret på højst 6 timer med følgende - Hjemmeværnets indsættelser til støtte for totalforsvaret skal være påbegyndt med op til 30 personer inden for en time. - På anmodning kan hjemmeværnet imødekomme rekvirerede ønsker om relevant støtte til totalforsvaret, herunder særskilt støtte til forsvaret, politiet, redningsberedskabet og SKAT. - Hjemmeværnet skal under løsning af forureningsbekæmpelse til søs eller eftersøgning og søredning have påbegyndt sejlads til indsættelsesområdet med et eller flere fartøjer inden for en time. - Der forventes en gennemsnitlige reaktionstid ved indsættelse i eftersøgning og søredning på max. 45 min. - Hjemmeværnets fartøjer indgår i forbindelse med sejlads i de danske farvande i 56

63 Hjemmeværnskommandoen farvandsovervågningen herunder miljøovervågningen. - Hjemmeværnet gennemfører forsøgsvis undersøgelse af politiets tilfredshed med hjemmeværnets støtte. Forsøget gennemføres for at fastlægge niveau og metode for fremtidig tilfredshedsundersøgelser ved alle partnere. Hjemmeværnet gennemfører målinger: I forbindelse med øvelser, hvor personellets parathed til at møde frem ved en given indsættelse. I forbindelse med reelle indsættelser; fremmødetid, mængde/antal, og samlet tid for indsættelsen. Af indsættelsestid (tid fra alarmering til indsættelsen påbegyndes). Af partneres tilfredshed med den støtte, som er ydet fra hjemmeværnets enheder. 4. Mål: Kommunikation overfor samfundet Resultatkrav vedrørende kommunikation Målformulering: Hjemmeværnets kommunikation skal: - Skabe vilkår for tilgang af nye medlemmer - Sikre holdningsmæssig opbakning i befolkningen til hjemmeværnet - Skabe tryghed i befolkningen i krisesituationer. Delmål: - Hjemmeværnet skaber en procentvis stigning i antallet af nye medlemmer i forhold til aktive medlemmer i hjemmeværnet. - Hjemmeværnet skaber en procentvis stigning i antallet af nye medlemmer med en tidligere værnsuddannelse (HBU, SBU, FBU) i forhold til det totale hvervetal for året. - Befolkningen skal finde det vigtigt, at hjemmeværnet støtter totalforsvaret i løsningen af militære opgaver. - Befolkningen skal synes, at hjemmeværnets yder en relevant indsats for samfundet. - Befolkningen skal have tillid til, at hjemmeværnet kan løse sine opgaver. - Værnepligtige skal have et kendskab til mulighederne for og fordelene ved tjeneste i hjemmeværnet efter HBU, efter HRU, efter INTOPS og efter evt. BM/OFF-UDD. - Værnepligtige skal have en positiv holdning til selv at melde sig ind i hjemmeværnet. Hjemmeværnet gennemfører målinger via bruger/befolkningsundersøgelser omkring holdningen til hjemmeværnet og hjemmeværnets evne til at støtte samfundet. 57

64 Hjemmeværnskommandoen De største udfordringer ved at udvikle og implementere effektmålingen Den overvejende del af hjemmeværnets målsætninger retter sig mod støtten til samfundet samt forsvarets myndigheder. Dette medfører, at flere målinger omhandler effekt forstået som øget anvendelse af hjemmeværnets kapaciteter. Kravet til målingerne er, at de skal være valide og dokumenteret i form af elektroniske registreringer og/eller rapporteringer, og ikke i tilfældige udtalelser og vurderinger. Dette stiller store krav til registreringer og de elektroniske redskaber, som anvendes hertil. Hjemmeværnet anvender det koncernfælles ressourcestyringssystem DeMars sammen med hjemmeværnets Internetbaserede system HJV.dk. Rapporteringer fra disse to systemer samles og udgør hjemmeværnets samlede rapporteringsgrundlag. Udbyttet af opbygningen vil kunne ses i indeværende forligsperiode , hvor systemet forventes yderligere effektiviseret. Svagheden ved alle rapporteringssystemer er, at den samlede rapportering og validiteten heraf aldrig bliver bedre end de data, som bliver indtastet i systemet. Dette stiller store krav til hjemmeværnets myndigheder vedrørende datadisciplin og regelsæt for ensartet indtastning og registrering. 58

65 Konkurrencestyrelsen Konkurrencestyrelsen Institution Konkurrencestyrelsen Forfatter Bjarne Bach Østergaard, administrationschef Opgavetypen der eksemplificeres Rådgivning og tilsyn Case beskrivelse Konkurrencestyrelsen har gennem de sidste 3 år arbejdet med at styrke fokus på effekt i vores arbejde. Denne case beskriver vores arbejde inden for konkurrenceområdet. Fokus på effekt starter med en præcis beskrivelse af, hvad man skal arbejde med. Konkurrencestyrelsen har udarbejdet en mission og en vision, som sætter rammerne for vores arbejde: Mission - at fremme velstand og fornyelse gennem effektiv konkurrence og effektive markeder. Vision - at forbrugerne har adgang til et bredt udbud af varer og tjenesteydelser til de lavest mulige priser i forhold til kvaliteten. For at omsætte mission og vision til konkret handling, har Konkurrencestyrelsen udarbejdet en strategi, som vi løbende opdaterer. Strategien for konkurrenceområdet er: 59

66 Konkurrencestyrelsen Figur 1: Strategien for konkurrenceområdet i Konkurrencestyrelsen Politisk målsætning Konkurrencen i Danmark skal være på niveau med de bedste OECD-lande Mål Resultater Ulovlig konkurrencebegrænsende adfærd er opdaget, og der er grebet hurtigt ind Konkurrencebegrænsende regler er fundet og anbefalet ændret Minister og departement er tilfredse med styrelsens arbejde Styrelsens resultater er synlige, dagsordensættende og gavner konkurrencekulturen Statsstøtten er forenelig med statsstøttereglerne og er mindst mulig konkurrenceforvridende Kritiske succesfaktorer Opgaver Struktur og processer Vi løser vores opgaver effektivt med en høj kvalitet, der matcher opgavernes krav Vi udarbejder analyser af høj kvalitet, der skaber debat om vigtige konkurrenceemner Vi skaber synlighed om vores arbejde og sætter dagsordenen på konkurrenceområdet Vi betjener departement og minister professionelt, effektivt og med en høj kvalitet Vi bruger standarder for indhold, processer og kvalitet i løsningen af vores opgaver Vi arbejder systematisk med at opdage adfærd og regler, der begrænser konkurrencen Vi styrer og prioriterer vores arbejdsindsats på baggrund af vores strategiske mål Vi udvikler standarder for indhold, processer og kvalitet til løsning af vores opgaver Vi fastholder og udbygger løbende vores viden på konkurrenceområdet Medarbejdere Vi skaber et miljø, som er attraktivt for dygtige medarbejdere og ledere Vi kompetenceudvikler løbende vores medarbejdere og ledere Strategien beskriver den forventede årsagssammenhæng mellem det vi gør i hverdagen og den ønskede politiske effekt af vores arbejde. Vi forudsætter, at den politiske målsætning kun kan nås, hvis vi skaber de relevante resultater. Resultaterne kan vi kun skabe ved at have fokus på opgaverne, struktur og processer samt vores medarbejdere. Disse kaldes kritiske succesfaktorer, da vedholdende fokus på disse er helt afgørende for at skabe resultater og effekt. For at sikre det vedholdende fokus har Konkurrencestyrelsen et styringskoncept med resultatkontrakter, som nedbrydes til kontrakter med de enkelte centre (kontorer) og individuelle cheflønskontrakter. Til alle centerkontrakter er knyttet resultatløn for alle medarbejdere i centret. Vores fokus på effekt afspejles i de årlige resultatkontrakter, men tager afsæt i de opstillede strategier. Som eksempel har antallet af sager, som årligt forelægges Konkurrencerådet både et aktivitets- og et effektmål. I aktivitetsmålet fastsættes antallet af sager, som årligt skal forelægges Konkurrencerådet. I effektmålet er fastsat: - at mindst 50 % af de forelagte sager skal have effekt på markedet. Vores afgørelse har effekt, når markedets aktører ændre adfærd, således at konkurrencen på markedet forbedres. - at der skal rejses tiltale i mindst 50 % af de sager, som overgives til Statsadvokaten for Særlig Økonomisk Kriminalitet (SØK). 60

67 Konkurrencestyrelsen Vores fokus på effekt medfører, at vi foretager en skarpere prioritering i starten af hver eneste sag, som kan ende på Konkurrencerådets bord. Den forventede effekt af sagen skal beskrives, og sammen med en vurdering af det principielt vigtige i sagen, de forventede ressourcer, som vi skal bruge på sagen. Dernæst træffer direktionen en beslutning om, hvorvidt vi igangsætter sagen. Sager med effekt er oftest betydeligt mere ressourcekrævende at gennemføre end sager uden effekt. Efter igangsættelse af sagerne melder alle projektledere månedligt tilbage på sagernes fremdrift, risici og effekt. Konkurrencestyrelsen kan derfor løbende prioritere blandt igangsatte sager, hvis effekterne ikke længere kan forventes at være helt så store som antaget ved igangsættelse. Dette skærpede fokus på effekt i sagerne medfører, at der i dag forelægges færre sager uden effekt for Konkurrencerådet. Fokus på og måling af effekt giver os således styringsinformationer, der kan anvendes i forbindelse med prioriteringen af sager såvel som anvendelsen af vores ressourcer. Tabel 1. Udviklingen i antal sager for konkurrencerådet i perioden Kilde: Egne opgørelser I tabel 1 vises udviklingen i antallet af sager med og uden effekt i perioden 2002 til Den relative andel af sager med effekt vokser i perioden. Sager uden effekt påvirker ikke markedet og bidrager derfor ikke umiddelbart til opnåelse af den politiske målsætning. 61

68 Konkurrencestyrelsen Tabel 2. Udviklingen i antallet af anmeldelser til SØK i perioden Kilde: Egne opgørelser Anmeldelserne til SØK drejer sig om de groveste overtrædelser af konkurrenceloven. Disse sager har derfor stor effekt på markedet, og det øgede fokus på effekt har medført flere anmeldelser. Antallet af bøder forventes at stige i de kommende år i takt med, at SØK får arbejdet sig igennem det stigende antal anmeldelser. Særlige udfordringer med styring med effekt Effektmål kan ikke meningsfyldt opstilles på alle områder. Særligt de langsigtede målsætninger påvirkes af en række andre forhold som fx den adfærd, som markedets aktører udviser eller lovgivningens rammer. Uanset hvor effektiv Konkurrencestyrelsen er, kan den langsigtede målsætning ikke nås alene ved vores indsats. Derfor er det centralt at styre efter mål, hvor der kan opstilles en plausibel sammenhæng mellem vores indsats, resultater og de forventede effekter. Det giver derfor størst mening at styre efter mere direkte eller korte effekter, hvor det er muligt at synliggøre og måle sammenhængen mellem indsats og effekt. Konklusion Vi har skabt større fokus på effekt gennem en klar strategi, som danner basis for vores styringskoncept. Styringskonceptet sikrer sammenhæng mellem strategien og den enkeltes arbejde. Det skærpede fokus på effekt sikrer, at vi skaber relevante resultater, som har effekt på markederne. 62

69 Miljøstyrelsen Miljøstyrelsen Institution Miljøstyrelsen Forfattere Vicki Svenningsen, fuldmægtig Signe Krarup, specialkonsulent Opgavetypen der eksemplificeres Rådgivning og tilsyn Introduktion til Miljøstyrelsens arbejde Miljøstyrelsen er en national myndighed, som administrerer en stor del af lovgivningen på miljøområdet. Miljøstyrelsen har en bred opgaveportefølje, og beskæftiger sig med information til borgere og virksomheder, policyudvikling, implementering og vidensgrundlag, ministerieopgaver og ministerbetjening, forvaltningsgrundlag for andre myndigheder og myndighedsudøvelse herunder tilsyn og sagsbehandling. Mange mål og opgaver vedrører flere opgavetyper. Miljøstyrelsens opgavehierarki er bygget op omkring seks produktområder, som alle spiller ind til den overordnede effekt, mission og vision (se produktområder og opgavehierarki i bilag 1). Denne case vil tage udgangspunkt i Miljøstyrelsens arbejde på kemikalieområdet, og herunder også kemikalieinspektionens arbejde. Da inspektionens arbejde hænger sammen med det arbejde, der udføres i resten af Miljøstyrelsen, kan eksemplerne i denne case være hentet fra styrelsens øvrige arbejde. Inspektionen fører tilsyn med overholdelsen af reglerne i kemikalielovgivningen og de regler, der er knyttet til denne lovgivning i alt ca. 50 forskellige bekendtgørelser, forordninger og cirkulærer. Kemikalielovgivningen er fortrinsvis baseret på EU-direktiver og forordninger, og området spænder vidt fra kosmetik til bly og bekæmpelsesmidler. Effektvurderinger og målinger på miljøområdet Kemikalieinspektionens opgaver er en del af Regeringens kemikaliehandlingsplan. Kemikaliehandlingsplanen er en fireårig plan, som udstikker retningen for arbejdet på kemikalieområdet. Planen indeholder forskellige initiativer, herunder på kemikalieinspektionens område. Planen har både fokus på indsatser og på den effekt, man forventer. Der rapporteres løbende på fremskridt med at gennemføre planen. Status på gennemførelse af planens målsætninger, mål og resultater kan give anledning til at justere strategien. Eksternt dokumenteres resultaterne og bidrager til at synliggøre indsatsen og effekten heraf overfor bl.a. virksomhederne. 63

70 Miljøstyrelsen Uddrag fra kemikaliehandlingsplan Kemikalieområdet er præget af politiske aftaler og stor interesse i offentligheden. Kravene i kemikaliehandlingsplanen tager højde for dette. Der er fokus på antallet af tilsynskampagner og det samlede antal produkter, der udtages til kontrol. Der er stor forskel på, hvor mange produkter, der udtages til kontrol i hver enkelt tilsynskampagne nogle gange er det otte, mens det andre gange kan være 4-500, afhængigt af om det er computere eller smykker. Det samme gælder antallet af tilsynsbesøg. Nogle kampagner kommer kun ud til få virksomheder, da et kontrolbesøg er omfattende, mens der ved andre typer af besøg kan nås 8-10 steder på en dag. Kravene med et samlet antal tilsynskampagner og produkter giver en fleksibilitet hen over året til at kunne prioritere aktuelle emner. Når der på miljøområdet generelt skal vurderes årsags-virknings-forhold, tages der ofte udgangspunkt i den såkaldte DPSIR-model (se fig. 1). Denne model bruges bl.a. af det Europæiske Miljøagentur og Danmarks Miljøundersøgelser. Modellen er generel, og illustrerer en overordnet sammenhæng mellem den økonomiske udvikling og miljøpåvirkningen. Siden 1993 har Danmarks Miljøundersøgelser hvert fjerde år udarbejdet en miljøtilstandsrapport, Natur og Miljø 19. I rapporten udarbejdes en lang række indikatorer på miljø- og sundhedstilstanden, svarende til states og impacts i DPSIRmodellen, som giver et overblik over udviklingen for bl.a. luft, jord, vand, klima og biodiversitet. Miljøstyrelsen har desuden i forbindelse med arbejdet vedrørende Dansk strategi for bæredygtig udvikling 20 udviklet en række indikatorer, der indikerer den samlede effekt på en bred vifte af miljøområder. 19 Sidst udgivet i 2009 se 20 Miljøstyrelsen: %a6redygtig+udvikling/dansk/ htm 64

71 Miljøstyrelsen Figur 1: DPSIR-modellen Kilde: Danmarks statistik Udfordringer På miljøområdet er der tre overordnede udfordringer i arbejdet med at opstille effektvurderinger. Det drejer sig om årsags-virkningsforhold (kausalitet), tidsforskydninger og administrative overvejelser. Det kan være vanskeligt at påvise kausalitet mellem indsats og effekt. Der er fx sket et fald i antallet af nikkelallergikere. Skyldes det strukturelle samfundsændringer fx at folk har fået flere penge mellem hænderne og køber ædelmetal? Eller er det regulering og kontrol af området, som gør en forskel? Samtidigt med er de effektindikatorer, som udarbejdes på miljøområdet, på aggregeret niveau, og kan dermed påvirkes af alle de indsatser, som er igangsat på området. Når Miljøstyrelsen kan se, at der sker et fald i nikkelallergikere, kan det være vanskeligt at vurdere, i hvor høj grad det skyldes indsatserne på området. For at vurdere, hvordan den enkelte indsats påvirker sundhed og miljø, må der findes andre målemetoder. På kemikalieområdet kan dette fx gøres ved nogle mere simple vurderinger. Når kemikalieinspektionen jævnligt gentager tilsynskampagner indenfor det samme produktområde, og der findes færre og færre lovovertrædere, må man forvente, at dette bl.a. skyldes tilsynene. Desuden kan man måle, hvor stor en del af målgruppen, som kender til de informationskampagner, som også er en del af kemikalieindsatsen. Tidsforskydninger kan også være en udfordring. Et strategisk mål på kemikalieområdet kan være meget langsigtet, og effekten kan måske først måles år frem i tiden. Derfor er det svært at finde effekter eller indikatorer, som på kortere sigt kan fortælle noget om miljø- og sundhedsforbedringer, og om de initiativer, der er igangsat, har en 65

72 Miljøstyrelsen virkning. Fx kan pesticidrester i grundvandet skyldes sprøjtning af marker for mange år siden. Dette kan bl.a. ses ved, at nogle af de pesticider, der findes i grundvandet i dag er forbudte. Så selv om man løbende arbejder med at forbedre reguleringen og grundvandsbeskyttelsen, kan der gå rigtigt mange år før fortidens pesticidforbrug ikke længere kan findes i naturen. Dermed kan det være vanskeligt indenfor en rimelig tidshorisont at måle, om initiativet har den ønskede effekt eller om indsatsen skal tilpasses eller ændres. Miljøstyrelsen opgør i forbindelse med den årlige status for kemikalieinspektionen 21 statistik for antallet af tilsyn hos forhandlere i forbindelse med giftkontrol og hvor mange af disse, der har medført vejledning, indskærpelser, påbud mv. En anden type udfordringer er administrative hensyn. Det er ikke ønskværdigt at opstille mål, som man enten ikke kan måle på, eller som det kræver mange ressourcer at måle på. Men dette betyder ikke, at der ikke skal følges op på arbejdet for at vurdere, om der bruges de rigtige indsatser til at nå målet. Det er dog vigtigt, at ressourceforbruget til effektvurderinger kan stå mål med den viden, som målinger og dataindsamling bidrager med. Effektmål og -krav i resultatkontrakten Miljøstyrelsen har i de senere år haft fokus på at øge antallet af effektkrav i resultatkontrakten. En udfordring er her tidsforskydningen, hvor resultatkontraktens format gør, at det er nødvendigt, at kravene er målbare efter ét år. Udfordringerne søges løst ved brug af aktivitets- eller outputkrav, som opstilles, så de er en del af den fremtidige indsats, og som på længere sigt vil have en positiv effekt på miljø og sundhed. Kravene bliver dermed en del af den indsats, som skal til for at opnå en effekt på længere sigt. Desuden er der arbejdet med at få de langsigtede og strategiske effektmål ind i resultatkontrakten. Fx er der indgået en politisk aftale om at reducere udvaskningen af kvælstof med ca tons i Dette er et langsigtet mål, som indtil 2015 må vurderes ud fra output og aktivitetskrav. I 2015 indsættes reduktionsmålet som et effektkrav. De krav, som opstilles i kemikaliehandlingsplanen går igen i resultatkontrakten. Her indgår de som outputkrav under et effektorienteret mål. Uddrag fra resultatkontrakt for Miljøstyrelsen 2010: Vi vil sikre, at alle borgere i Danmark har et sundt og sikkert miljø Ikke alle miljøfarer er lige synlige, men de kan fortsat udgøre en risiko for miljø og sundhed. Vi har derfor fokus på, at der skal ske en løbende udfasning af kemikalier med særlig problematiske effekter for sundhed og miljø frem mod 2020, og frem mod 2013 har vi et særligt fokus på ny viden om hormonforstyrrende stoffer og kombinationseffekter. ( ) Vi vil tilvejebringe viden om miljø og sundhed og informere om, hvordan man som borger og virksomhed kan agere miljøvenligt. Mål i 2010: 1.1. Vi vil mindske borgernes kemikaliepåvirkning fra farlige stoffer i hverdagen Kemikaliehandlingsplanen er igangsat Kemikalieinspektionen påbegynder 10 kontrolkampagner Kemikalieinspektionen har gennemført kontrol med 400 produkter i forbindelse med årets tilsynskampagner

73 Miljøstyrelsen Ovenstående mål fra resultatkontrakt for Miljøstyrelsen 2010 indeholder, ud over kravene til kemikalieinspektionen, flere mål og krav, som skal påvirke det strategiske mål om, at alle borgere i Danmark har et sundt og sikkert miljø. Der er bl.a. også opstillet et mål om, at forøge borgerkendskabet til kemikalierisici. Her er et af kravene, at Miljøstyrelsen gennemfører to kemikalieinformationskampagner årligt. For disse kampagner undersøges det, hvor stort kendskabet til kemikalierisici er i målgruppen. Dette bruges som en effektindikator på målet om at forøge borgerkendskabet til kemikalierisici, som igen spiller ind til det strategiske mål om, at alle borgere i Danmark har et sundt og sikkert miljø. Udviklingen af effektmålingen på kemikalietilsynet Det er vanskeligt at opstille effekter og indikatorer, der kan bruges til at måle effekten af indsatsen, og herunder om det er den gennemførte indsats, der har ført til effekten. Tilsynsindsatsen på kemikalieområdet dækker et bredt felt, så hvis et effektmål skal være meningsfyldt, skal det dække bredt. Alternativt skal der være utroligt mange effektmål, som kan dække hvert enkelt stof, som der laves tilsyn med, fx antal nikkelallergikere, kræfttilfælde, fertilitet mv. Et andet problem er de mange faktorer, der kan påvirke en indikator, og som ligger udenfor Miljøstyrelsens område. Det vurderes fx for fremkomsten af astma og allergi, at der ikke blot ligger miljøfaktorer til grund for udviklingen af disse sygdomme, men at også arv og livsstil spiller ind. Når det kan konstateres, at fremkomsten af disse sygdomme stiger, kan det derfor være svært at vurdere, om det skyldes de kemikalier danskerne omgiver sig med i hverdagen, om det skyldes mindre motion eller en helt tredje ting. Kemikalieinspektionen udarbejder årligt en status over deres arbejde. Her findes tidsserier for antallet af tilsynsbesøg, indskærpelser, påbud og forbud, politianmeldelser og straffesager. Det kunne være oplagt at sætte mål op for, at antallet af politianmeldelser skal falde, fordi flere så overholder reglerne. Her skal det dog bemærkes, at kemikalieinspektionen har valgt en risikobaseret tilgang til tilsynene. Derfor kan det formodes, at antallet af politianmeldelser kun vil falde, hvis man jævnligt gentager tilsynet med de samme områder. Dette vil dog ikke sige noget om den generelle effekt af tilsynene, da der føres flest tilsyn på de problematiske områder, og disse vil typisk have flere overtrædelser end de øvrige områder. Der fokuseres på problemområder. Skal man derimod måle effekten af tilsynet på virksomheder generelt, skal man udtage et repræsentativt udsnit af alle virksomheder, og undersøge, hvilken effekt, det har på virksomheder generelt, at der føres tilsyn. Arbejdet med kemikalietilsynet fungerer på følgende måde: Miljøstyrelsen starter med at informere om nye regler, så alle virksomheder får en mulighed for at lære reglerne at kende. Herefter sætter man ind med tilsyn. Resultaterne af tilsynene offentliggøres, og er der store overtrædelser advares forbrugerne mod de specifikke produkter. Herefter er strategien ved store overtrædelser, at kontrollen med området gentages årligt. På et tidspunkt kan tilsynskadencen ændres til et noget lavere niveau. Eksempelvis blev der ved en tilsynskampagne i 2001 for ftalater i legetøj fundet 40 % ulovlige produkter, i 2002, hvor kampagnen blev gentaget, blev der fundet 24 % ulovlige produkter og i 2003 blev der fundet 5 % ulovlige produkter. I dag er problemet meget lille. Miljøstyrelsen arbejder fortsat med at forbedre de eksisterende effektmål, og tydeliggøre kausaliteten mellem initiativer og de tilgængelige indikatorer. Det udarbejdes målinger og datagrundlag ud fra, hvad der er muligt, og hvad der samtidigt kan bruges til at give styringsmæssig værdi. Dette kan skabe grundlag for at udvikle området og sikre en endnu bedre miljøindsats på længere sigt. 67

74 68 Miljøstyrelsen

75 MindLab MindLab Institution MindLab Forfattere Christian Bason, innovationschef Niels Hansen, projektleder Opgavetypen der eksemplificeres Vidensproduktion Kort om MindLab MindLab er en udviklingsenhed, der har til formål at hjælpe Økonomi- og Erhvervsministeriets-, Beskæftigelsesministeriets- og Skatteministeriets koncerner med at inddrage deres brugere og skabe nye løsninger i udviklingsprojekter. MindLab strategiske mål er at bidrage til at udvikle nye løsninger, der giver effekt, udvikle medarbejdernes kompetencer i brugerinvolvering, øge viden om metoder til brugerinddragelse og brande de tre koncerner. Disse mål udmøntes gennem en række aktiviteter som projektsamarbejder, kurser, seminarer, erhvervs-ph.d.er, hjemmesider, guides, bøger, oplæg, mv. I denne casebeskrivelse fokuseres der på MindLabs kerneforretning, som er gennemførelse af projekter i samarbejde med kolleger i de tre koncerner. De væsentligste erfaringer, som andre kan tage ved lære af Fokuser på det væsentligste. Vi har i MindLab en række strategiske målsætninger. Det kunne være interessant at måle på samtlige strategiske mål, men vi har valgt at prioritere vores energi på vores kerneforretning. Vi måler således hovedsageligt på effekten af vores projekter og kompetenceudvikling. Måling af effekter skal være simpel. Vi startede med at lave en lang liste over, hvilke metoder vi kunne bruge til at afdække vores indikatorer. 22 Det har dog vist sig, at de komplicerede metoder sjældent bliver brugt. Vi ønskede eksempelvis at vurdere, om vores samarbejdspartnere i højere grad begynder at fokusere på deres slutbrugere. Vi ville derfor lave en analyse af, hvor mange projekter i hver koncern, der har fokus på slutbrugeren. Dette krævede en analyse af projektbeskrivelserne i de enkelte ministerier, hvilket viste sig at være en meget arbejdstung opgave. I stedet spørger vi i et spørgeskema som vi sender ud til vores samarbejdspartnere, når et projekt er afsluttet i hvilken grad de vurderer, at de vil anvende brugercentrerede metoder i fremtiden. Dem der har ansvar for indsamling og bearbejdning af data skal kunne se formålet med målingerne. Som nævnt ovenfor, havde MindLab et meget ambitiøst setup for vores målinger. Men redskaber og metoder til indsamling af data, der ikke var integreret i de daglige gøremål, havde svære vilkår i en travl hverdag. De redskaber, der derimod fungerer som en integreret del af projektforløbet, og giver projektlederne brugbar information, har langt større sandsynlighed for at blive brugt. 22 Se bilag 1 der indeholder eksempler på anvendte indikatorer. 69

76 MindLab Baggrund og formål med effektmåling og effektmål MindLab er en organisation uden direkte ansvar for den endelige udmøntning af de politikker og services, vi er med til at udvikle vi skaber resultater gennem andre. Det er derfor afgørende, at vi er i stand til at redegøre for, hvilken værdi vi er med til at skabe for vores samarbejdspartnere i udviklingsprojekterne. Derudover har vores meget koncentrerede fokus på, hvor og hvordan vi skaber værdi, gjort os meget klare på, hvad vores opgaver er og hvordan vi bedst løser dem. Processen med at opstille mål og måleredskaber har således ikke blot været en opgave, der fulgte efter definitionen af strategi og arbejdsopgaver, men har været en integreret del af vores strategiproces. Vi gennemførte eksempelvis ved MindLabs etablering en to-dages strategi- og effektworkshop, hvor der sideløbende blev taget stilling til, hvilke forandringer MindLab ville skabe og hvilke effekter vi kunne tage ansvaret for. Udviklingen af effektmålingen Da vi i MindLab hjælper vores kolleger i de tre koncerner med at udvikle nye løsninger, men ikke er med til at implementere dem, har en af de helt centrale drøftelser i udviklingen af vores effektmåling været, hvad vi vil stå til ansvar for. MindLab har eksempelvis hjulpet Økonomi- og Erhvervsministeriet og EBST i et projekt, der skulle undersøge, hvordan det offentlige kan hjælpe dygtige iværksættere til at vækste mest muligt. MindLab kortlagde i den forbindelse, hvor der er et udviklingspotentiale og hjalp med at udvikle et koncept for en fremtidig offentlig indsats. Efterfølgende var det samarbejdspartnerne i ministeriet og styrelsen, der havde ansvaret for at implementere og iværksætte konceptet. Vi har således et helt klart ansvar for, at der bliver udviklet nye løsninger, der i konteksten af det aktuelle projekt vil have så stor sandsynlighed for at forandre noget som muligt. Men vi kan ikke tage ansvar for de organisatoriske eller politiske forandringer, der måtte finde sted efter vi har sluppet et projekt. I vores målinger spørger vi derfor vores samarbejdspartnere, om de mener, at vores indsats har øget sandsynligheden for, at projektets mål realiseres. Dette giver naturligvis ikke et objektivt billede af, om vores indsats har været afgørende for effekten af projektet. Men det er den bedste indikator for effekten af vores arbejde, som vi kan tage ansvar for. Figuren nedenfor beskriver, sammenhængen mellem vores strategi og den proces, der fører hen til vores ønskede effekter. Den øverste del af figuren illustrerer vores forandringsteori; hvilke input og processer fører til de ønskede effekter. Den nederste del af figuren viser, hvilken viden vi ønsker at afdække med vores målinger og hvilke redskaber vi bruger til dette. 70

77 MindLab Figur 1: MindLabseffektmålingsmodel Implementeringen og anvendelsen af effektmålingen I øjeblikket benytter vi os primært af to værktøjer til at indsamle viden om effekten af vores arbejde med projekterne i de tre ministerier. For det første anvender vi et spørgeskema, der sendes til projektejer, projektleder og projektdeltagere umiddelbart efter samarbejdet er afsluttet. For det andet anvender vi en opfølgende samtale fire til seks måneder efter afslutningen. Spørgeskemaet giver en umiddelbar vurdering af, hvorvidt vores indsats har gjort en forskel i forhold til projektets mulige effekt, hvordan processen har været og om vi har været med til at skabe kulturelle forandringer. Ud over at give en indikation af vores indsats succes, er det også et udviklingsredskab internt i MindLab. Gennem fælles læringsprocesser (løbende dialog internt i MindLab om projekter når de er afsluttet og evaluering er modtaget samt et årligt evalueringsseminar, der samler læringen fra det forløbne års projekter), vurderer vi i fællesskab i MindLab, hvordan vi skal udvikle vores samarbejde med kollegerne i de tre koncerner. Den opfølgende samtale giver først og fremmest en mere præcis indikation på, om de nye løsninger, vi har været med til at udvikle, vil skabe forandringer ude i virkeligheden. På dette tidspunkt er løsningerne implementeret eller der er i hvert fald et klarere billede af, hvordan de vil blive implementeret. Derudover, er det også et processuelt redskab, der giver os mulighed for, at identificere områder, hvor vi kan være med til at give endnu 71

78 MindLab mere værdi til vores samarbejdspartnere. Det kan være, at vi kan hjælpe til med, at implementeringen går lettere. Vores effektmålingsredskaber har altså ikke alene til formål, at dokumentere effekten af vores arbejde, men er en vigtig del af vores udvikling og sikring af størst mulig effekt af vores arbejde. I 2008 var vi eksempelvis ikke tilfredse med den grad af læring om brugercentrerede metoder, som vores projektevalueringer gav udtryk for, at vores samarbejdspartnere opnåede. Derfor besluttede vi os for, at intensivere kompetenceudviklingen bl.a. gennem afholdelse af kurser i brugercentreret innovation for projektledere i vores tre ejerkoncerner. Anvendelsen af effektmål og kobling til departementet Resultaterne af vores effektmålinger afrapporteres en gang om året til MindLabs bestyrelse, som bl.a. består af departementscheferne for de tre ministerier. Der er ikke direkte koblet incitamenter eller krav op til resultaterne. Afrapporteringen har både kvalitative og kvantitative elementer. Fokus er på hvilke projekter, der er gennemført det sidste år og hvilke effekter der er identificeret. De største udfordringer ved at udvikle og implementere effektmålingen Ud over de overvejelser der allerede er nævnt i dette dokument simplicitet, anvendelighed og hvad vi kan tage ansvar for arbejder vi også en del med, hvordan vi bedst muligt synliggør vores resultater. Vi har en række interessenter, der alle har behov for forskellig information. Vores bestyrelse vil vide, om vores arbejde gør en forskel. Vores samarbejdspartnere vil vide, hvad de kan forvente af et samarbejde med os og hvordan det vil foregå. Og endeligt vil vi internt i MindLab gerne vide, hvad vi gør rigtig godt og hvad vi gør mindre godt, så vi kan forbedre os. Dette kræver nøje overvejelser om den mest hensigtsmæssige formidlings- og dialogform. 72

79 MindLab Bilag 1 Eksempler på indikatorer Disse indikatorer afdækkes ved hjælp af et spørgeskema, der sendes til projektejere, - ledere og -deltagere umiddelbart efter et projektsamarbejde er afsluttet. De enkelte indikatorer vurderes på en skala fra et til fem, hvor det er relevant. Forventede effekter (en umiddelbar vurdering af hvilken effekt MindLabs arbejde vil have ude i virkeligheden): Løsningens bidrag til projektets mål MindLabs bidrag ift. at sikre projektets mål MindLab som samarbejdspartner (procesmål): Vurdering af kvaliteten af de konkrete produkter MindLabs professionalisme Graden af nytænkning i projektet MindLabs bidrag til forskellige dele af processen (MindLabs værdiskabelse i forskellige dele af vores procesmodel se herom på bruges til bl.a. til at vurdere, hvor vi skal fokusere vores interne kompetenceudvikling): Projektfokusering Læring om brugerne (indsamling af viden om brugerne) Analyse Idé- og konceptudvikling Test af koncpeter og idéer Kommunikation af resultater Hjælp til effektmåling Kompetenceopbygning (kulturudvikling er et af vores strategiske effektmål se effektmålingsmodel) Projektdeltagernes læring om brugercentrerede metoder Ønske om at bruge brugercentrerede metoder i fremtiden Tværministerielt samarbejde (en del af kulturudviklingen) Fordelen ved tværministerielt samarbejde Ønske om yderligere tværministerielt samarbejde Generel tilfredshed med MindLab (hvorvidt samarbejdspartnerne alt i alt har fået noget ud af samarbejdet med MindLab) Vil projektdeltagerne anbefale andre at benytte sig af MindLab 73

80 Nationalmuseet Nationalmuseet Institution Nationalmuseet Forfatter Jes Gjørup, administrationschef Opgavetypen der eksemplificeres Offentlige serviceydelser Baggrund og formål med effektmålingen Kulturministeriet har lang erfaring med anvendelse af kontraktstyring i sin styring af ministerområdets mange institutioner. Styringskonceptet er under stadig udvikling, og i 2010 er der besluttet en ny politik for resultatstyring på Kulturministeriets område. Sigtet har været at styrke styringsdialogen mellem departementet og de enkelte institutioner. Målet er, at styringspolitikken skal udgøre en hensigtsmæssig ramme for en meningsfuld og effektiv strategisk resultatstyring. Dette sikres blandt andet ved at fastslå, som et overordnet princip i Kulturministeriets resultatstyringsmodel, at styringen skal have fokus på resultater. Resultatstyringen skal finde sted på et niveau, hvor det er institutionens effekter på det omgivende samfund, der er omdrejningspunktet. Med Kulturministeriets nye resultatstyringsmodel er dagsordenen for arbejdet med effektstyring således sat for ministerområdets institutioner, idet kernen i de fremtidige resultatkontrakter der er blevet omdøbt til rammeaftaler vil være at aftale mål, for den effekt den enkelte institution skal opnå i forhold til det omgivende samfund. Udviklingen af effektmålingen Nationalmuseet har gennem mange år arbejdet med mål og målinger. Arbejdet har især været drevet af museets brug af Excellencemodellen som virksomhedsmodel. Et af grundprincipperne i denne model er, at udviklingen af organisationen bl.a. skal funderes i systematiske målinger/evalueringer af resultater i form af brugertilfredshed og medarbejdertilfredshed, samt systematisk brug af måleresultater til forbedring af ydelserne. Det har derfor stået centralt i arbejdet med mål og målinger at måle på forskellige dimensioner af brugernes oplevelse af kvaliteten af de ydelser, de modtager fra museet. Hvis vi fokuserer på den del af museets virksomhed, der drejer sig om formidling af kulturarven, har museet arbejdet med måling på en række dimensioner. Besøgstal. Et centralt nøgletal for museet har været besøgstallene. Spørgsmålet om hvor mange gæster, der kommer på museet, er en vigtig strømpil for, om museet rammer borgernes behov og forventninger. Evalueringer af udstillinger. Museet har systematisk gennemført evalueringer af nye udstillinger. Her har det været centralt at få belyst, om museet har nået de succeskriterier, der var opstillet for disse udstillinger, samt at få inputs fra brugerne om deres syn på forbedringsmuligheder. 74

81 Nationalmuseet Imageundersøgelser. Igennem generelle Gallupundersøgelser har museet fået belyst, hvem der benytter museets tilbud. Hvem er den typiske bruger af museets tilbud? Hvad karakteriserer de borgere, der ikke benytter tilbuddene? Er der nogle samfundsgrupper, der er underrepræsenteret blandt museets brugere? Hvordan opfatter brugerne og ikkebrugerne Nationalmuseet? Denne type undersøgelser benyttes til at målrette museets markedsføringsaktiviteter. Anvendelsen af effektmål og kobling til resultatkontrakten/ departementet Med den ovenfor beskrevne justering af Kulturministeriets resultatstyringsmodel kommer måling af effekt i centrum i relation til styringsdialogen mellem departementet og Nationalmuseet. Måling af brugernes tilfredshed med museets ydelser vil naturligvis stadig være relevant, og museet vil også fremover arbejde med udviklingen af sine målemetoder på dette område. Det nye styringskoncept vil imidlertid betyde, at museet skal udvikle den del af sine målinger, der belyser Nationalmuseets effekter på de omgivende samfund. Nationalmuseets mission er følgende: Nationalmuseet rummer og udvikler forudsætningerne for, at alle kan få indsigt i kulturhistorien I museets opgavehierarki er den ønskede effekt af virksomheden defineret således: Indsigt i og oplevelser af kulturarven nu og i fremtiden Udfordringen som Nationalmuseet nu står overfor er at udvikle mål for effekten af museets formidlingsvirksomhed i det omgivende samfund. Målene skal kunne danne grundlag for en meningsfuld styringsdialog mellem departementet og museets, og kravet er desuden, at målene skal angive en retning dvs. indeholde udtryk som f.eks. styrkelse af, forøgelse af etc. - og det skal være muligt at konstatere eller i hvert fald sandsynliggøre, at målene nås. Nationalmuseets mission er som nævnt, at alle kan få indsigt i kulturhistorien. I lyset heraf bliver det et centralt spørgsmål i dialogen med Kulturministeriets departement - i forbindelse med en ny rammeaftale - om museets har succes med, at få alle samfundsgrupper i tale gennem sine formidlingsaktiviteter Vi ved fra de evalueringer og imageundersøgelser, som museets har gennemført gennem tiderne, at museet ikke når ud til alle grupper i samfundet. Fx er de unge, de lavt uddannede, nydanskere og borgere uden for HT-området alle grupper, der er underrepræsenteret blandt Nationalmuseets besøgende. I lyset heraf vil det givetvis være et mål i den kommende rammeaftale, at Nationalmuseet i højere grad når de underrepræsenterede grupper med sin formidlingsvirksomhed. Ovenstående er et eksempel på, hvordan effekt-orienteret styringsinformation har bidraget til prioriteringen og tilpasningen af indsatser (udstilling) i Nationalmuseet. Dokumentationen af, at dette mål nås, vil blandt andet bestå af resultatet af brugerundersøgelser. Gallup har igennem det seneste år på opdrag af Kulturarvsstyrelsen lavet en national brugerundersøgelse dækkende alle landets museer. Undersøgelsen vil blive videreført over en periode på foreløbig 3 år. Resultaterne fra denne undersøgelse, eventuelt suppleret med Nationalmuseets egne brugerundersøgelser, vil kunne tilvejebringe dokumentation for, om antallet af gæster fra de underrepræsenterede samfundsgrupper øges blandt Nationalmuseets gæster. Dette er et eksempel på, at der findes tilfælde, hvor man med fordel kan gå sammen om at dele målingsomkostningerne forbundet med dataindsamlingen til effektmåling. 75

82 Nationalmuseet Denne relativt direkte måling af effekten af formidlingsvirksomheden vil kunne suppleres med mere indirekte dokumentation for den ønskede effekt i form af gennemførte aktiviteter, som aftales i forbindelse med indgåelsen af rammeaftalen. Denne type af dokumentation for den ønskede effekt vil være meningsfuld i det omfang, der er klarhed over årsagssammenhængene i relation til den type af problemstilling, man står overfor. Hvis der er belæg for sådanne årsagssammenhænge, vil det være muligt at formulere en formidlingsstrategi, der angiver aktiviteter, der må formodes at bidrage til de ønskede effekter. I den kommende rammeaftale mellem Kulturministeriet og Nationalmuseet forventes det, at mål og tilhørende dokumentationskrav vil bestå af en kombination af sådanne typer af indikatorer for den ønskede effekt. Nedenfor er mulige mål og dokumentation skitseret. 1)Opgave 2) Mål 3) Dokumentation Tilgængeliggørelse Museet skal være Evaluering/analyse: og formidling af vedkommende for Brugerundersøgelser. kulturarven alle livsaldre. Anmeldelser fra aviser, blade mv. Aktivitetsredegørelse: Udvikling af hjemmeside, fx med henblik på øget tilgængeliggørelse af museets samlinger. Attraktive Evaluering/analyse: kulturtilbud for Brugerundersøgelser bestemte målgrupper Aktivitetsredegørelse: (fx unge, etniske Omvisninger af særlige typer af minoriteter, institutioner og foreninger, eller fra udkantskommuners særlige lokaliteter i landet. borgere). Aktiviteter gennemført med særlige målgrupper for øje. Et udvidet samarbejde med fx Øge kendskabet til museets samlinger i hele landet. uddannelsesinstitutioner. Evaluering/analyse: Brugerundersøgelser. Aktivitetsredegørelse: Samarbejde om udstillinger med kulturinstitutioner i hele landet. Udvikling af hjemmeside. 76

83 Pensionsstyrelsen Pensionsstyrelsen Institution Pensionsstyrelsen Forfatter Søren Keldorff, underdirektør Opgavetypen der eksemplificeres Sagsbehandling De væsentligste erfaringer, som andre kan tage ved lære af Det er vigtigt, at udarbejde mål som giver mening fra top til bund, og dermed også i den daglige ledelse for cheferne og i det daglige arbejde for medarbejderne. Udarbejdelsen af mål er nemmere for resultatkrav for Styrelsens sagsproduktion men er en stor udfordring og vanskeligt med hensyn til effektmål på styrelsens øvrige områder. Det kan være vanskeligt, at opstille mål, hvor man er sikker på, at der er en direkte sammenhæng mellem styrelsens aktivitet og effekt. Man skal være sig bevidst om ambitionsniveauet for resultatmål og effektmål og sætte ambitionsniveauet passende i forhold til ressourceforbruget og vilkårene på områderne. Formål og udfordringer Pensionsstyrelsen har indenfor rammerne af Beskæftigelsesministeriets resultatstyringskoncept en forretningsstrategi og en resultatkontrakt 23. Konceptet er pt. planlagt til at blive omlagt. Bl.a. sigtes der på, at resultatkontrakterne udgår. Styrelsens områder har meget forskellige vilkår og muligheder for opstilling af resultat- og effektmål, som vil blive beskrevet nedenfor. For styrelsens sagsproduktion på de internationale områder er der en direkte kæde fra forretningsstrategi via resultatkontrakt og chefkontrakter til medarbejdernes virke. Målene er produktivitet, sagsbehandlingstid og kvalitet, som hver især vægtes lige meget i kontrakterne. Her er der veludviklede måleinstrumenter, som bliver anvendt til løbende målopfølgning. Endvidere foretages der undersøgelser af den brugeroplevede service og kvalitet. Styrelsen har på årsplan ca personsager vedr. dansk pension til udlandet, udenlandsk pension til Danmark og bevarelse af dansk lovgivning i udlandet. Produktiviteten bliver opgjort som standardsager pr. mio. lønkroner. Styrelsen har på grundlag af tidsregistreringsdata vægtet lidt over 20 sagsgrupper, som bliver omregnet til standardsager. Styrelsen har gennemført Lean-projekter på det internationale område. I forlængelse heraf er produktivitetskravet blevet forøget med 19 % over de sidste tre år og dette krav er blevet realiseret. De kommende års rammereduktioner omsættes i 23 Læs mere på 77

84 Pensionsstyrelsen stigende produktivitetskrav for de næste år, så der samlet bliver tale om en produktivitetsstigning over 7 år på 30 %. For næsten alle sagsgrupper er der fastsat måltal for sagsbehandlingstid med antal dage i snit. Måltallene er i gennemsnit blevet reduceret med ca. 30 % de sidste tre år og der er realiseret et fald i den samlede gennemsnitlige sagsbehandlingstid på ca. 36 % i de sidste tre år. Målingen af den faglige kvalitet sker ved stikprøvemålinger på nogle områder månedligt, andre årligt. I målingerne af den faglige kvalitet deltager både eksterne og interne målere. Styrelsen har mål for den materielle kvalitet (er afgørelsen korrekt) og den formelle kvalitet (er sagsbehandlingsreglerne overholdt). Produktivitet, sagsbehandlingstid og kvalitet har med mindre justeringer været gældende mål i flere år. Det er gentagne gange blevet bekræftet af borgere, departement, Finansministeriet og medarbejderne som de altafgørende mål på det internationale område. Produktivitetsmålet er selvindlysende meget centralt for Finansministeriet og skatteyderne. Kort sagsbehandlingstid og høj kvalitet er vigtig for kunderne en hurtig og rigtig afgørelse er det væsentligste for borgerne, viser styrelsens brugerundersøgelser. Og det samme gælder medarbejderne med hensyn til jobtilfredshed. Data til måling findes, for så vidt angår sagsbehandlingstid og produktivitet, i styrelsens databaser samt Økonomistyrelsens systemer. Sagsbehandlingstid og produktivitetsmål er pt. indirekte synlige i real tid via så kaldte styringsreoler. Styrelsen har for langt de fleste områder elektroniske styringsreoler, som giver overblik over, hvor sagerne er i forskellige processer i sagsbehandlingen. De forskellige processer er normeret i tid og medarbejderne kan ud fra et trafiklys (rød, gul, grøn) se hvilke sager, det er vigtigst at behandle set i forhold til målene for sagsbehandlingstid. Det er ambitionen, at få målingen af produktivitet, der pt. foregår månedsvis, til at være i real tid, således at medarbejdere og chefer løbende kan følge med i målopfyldelsen. Målingerne af den faglige kvalitet sker ved stikprøvemålinger, på nogle områder månedligt, på andre områder årligt. Der er fastsat nærmere kriterier for vurderingen af sagerne. I målingerne af den faglige kvalitet indgår både interne og eksterne målere. Der udgives en årlig rapport om kvaliteten af styrelsens sagsbehandling. Der er på ledelsesplan en samlet månedlig opfølgning på produktivitet og sagsbehandlingstid. Opfølgning på kvalitetsmålingerne sker med større mellemrum. Opfølgning på målingerne med initiativer til forbedring og fastholdelse af resultaterne samt evt. omprioriteringer er vigtige. Styrelsen afvejer løbende nytteværdien af omfanget af målinger på de forskellige sagsgrupper eller dele heraf, i forhold til omkostningerne ved udviklingen og vedligeholdelsen heraf. Der er en løbende udfordring ved målingerne, at undgå suboptimering på delområder. Keep it simple er et evigt om end vanskeligt - motto for resultatkrav og målinger. Ligeledes bør man være bevidst om, hvor meget statistik, der videresendes til medarbejderne. Der er en tæt sammenhæng mellem resultatmålene og styrelsens finanslov via en bevillingsmodel på det internationale område. Bevillingsmodellen er basalt set en taxametermodel, hvor de enkelte sagsgrupper er vægtet ud fra timeforbrug. Sagsstatistik, vægtene og sagsbehandlingstid bliver også anvendt fremadrettet med hensyn til bemanding af styrelsens sagsområder og kontorer samt i prioriteringen af opgaver. Effektmål og måling har været overvejet på det internationale område, men det er fundet for vanskeligt og for omkostningstungt at operationalisere styrelsens mission med at fremme fri bevægelighed ved at sikre borgernes sociale rettigheder over landegrænser. Vi 78

85 Pensionsstyrelsen mener dog at målingerne, især kvalitetsmålingerne, er vigtige indikatorer for effekten af styrelsens virksomhed på det internationale område. På Pensionsstyrelsens policyområder vil det, som ny styrelse, der er dannet oktober 2009, være en vigtig opgave at få defineret den strategiske platform. Samtidig skal styrelsen fastlægge, hvilke resultater styrelsen på længere sigt skal bedømmes på i en resultatkontrakt eller på anden vis. Forudsætningen for på længere sigt at definere præcise og målbare resultatkrav er, at styrelsen i de kommende år foretager en række grundlæggende analyser og basismålinger på en række områder. Det er mange udfordringer forbundet hermed: Pensionsstyrelsen er lovgivningsmæssig ansvarlig for komplicerede lovgivningsområder, som tilmed berører en meget stor del af den danske befolkning (over 1 mio. pensionister, over ½ million boligstøttemodtagere, ferielovsbrugere etc.). Pensionsstyrelsen er involveret i mange forskellige lovforslag på en lang række ministeriers områder. Endvidere er styrelsens lovgivning, med samlede udgifter på 180 mia. kr. til overførselsindkomster, i et vedvarende politisk fokus. Herudover har Pensionsstyrelsen en udfordring, der består i, at flere af styrelsens strategiske målsætninger vedrører udviklingsorienterede aktiviteter, som sker på områder, hvor virkningen ofte er glidende og sker over lang tid, og hvor det er uklart, om der er en direkte årsagssammenhæng mellem aktivitet og effekt. Styrelsen vil i 2010 arbejde videre på at udvikle KPI er (Key Performance Indicators) for styrelsens strategiske målsætninger på policyområderne. Pensionsstyrelsen mål er bl.a. at bidrage til at øge udbuddet af arbejdskraft gennem incitamenter i pensions- og tilbagetrækningssystemerne og medvirke til at øge efterspørgslen af arbejdskraft i forhold til ældre og førtidspensionister ved at udvikle projekter på området. Det f.eks. er målet i 2010, at der skal udarbejdes KPI er til måling af Pensionsstyrelsens påvirkning af udbuddet af arbejdskraft blandt ældre. Yderligere oplysninger på 79

86 SKAT SKAT Institution SKAT Forfattere Anna-Karin Berg, chefkonsulent Tom Axlev, chefkonsulent Opgavetypen der eksemplificeres Effektmåling inden for en kompleks opgaveportefølje. Kort om SKAT SKATs mission er at sikre en retfærdig og effektiv finansiering af fremtidens offentlige sektor. En retfærdig finansiering betyder, at alle borgere betaler det de skal, hverken mere eller mindre. Det vil med andre ord sige, at de er regelefterlevende. Vi skal være effektive, hvilket bl.a. kræver af os, at vi sørger for, at den rigtige skat bliver indbetalt med mindst muligt ressourceforbrug hos os. En vigtig forudsætning for at skatteyderne efterlever reglerne er, at der er tillid til administrationen og at vi bliver opfattet som retfærdige - borgere og virksomheder skal opleve, at vi behandler ensartede problemer ens, og at man ikke slipper af sted med at unddrage sig betaling. Når vi taler om effekt i denne sammenhæng, taler vi derfor om effekt i forhold til, hvordan vi mest omkostningseffektivt påvirker skatteyderadfærden hos borgere og virksomheder. Samfundsmæssigt set handler det om, at vi på den mest omkostningseffektive måde får borgere og virksomheder til at finansiere den offentlige sektor i overensstemmelse med de politiske beslutninger. På den måde leverer vi mest mulig værdi tilbage til samfundet og de skatteydere, der finansierer vores administration. Vi arbejder for at opfylde missionen på mange måder, og har mange forskellige opgavetyper. Vi finder vores opgaver i både sagsbehandling, serviceopgaver, rådgivning og tilsyn og udviklingsopgaver, som også kan betragtes som vidensproduktion. De opgavetyper, der indgår i vores effektmål, effektmålinger og effektstyring findes i alle kategorier. Samlet set understøtter de vores overordnede effektmål fra finansloven bl.a. at holde skattegabet uændret på 3,1 procent af bruttonationalproduktet. Når vi taler om effektmåling, har vi dog først haft fokus på indsatsområdet. Dvs. aktiviteter, hvor SKAT har fokus på at behandle et regelefterlevelsesproblem ved at påvirke skatteyderadfærd ved anvendelse af en række indsatsværktøjer eksempelvis service, vejledning, kontrol. Formålet med effektmålinger i SKAT har både været at kunne dokumentere en indsats samlede effekt og at få belyst, hvilke værktøjer SKAT mest effektivt kan anvende for at minimere eller fjerne et regelefterlevelsesproblem. De væsentligste overvejelser, som andre kan tage ved lære af I den omstillingsproces, som vi er undervejs i, er der nogle erfaringer, som er meget tydelige. Det er en flerårig omstillingsproces det er nødvendigt at give det tid. 80

87 SKAT Ledelsesmæssig opbakning uden den ledelsesmæssige opbakning ville vi ikke være kommet nær så langt, som vi er. Pragmatisk tilgang tillad eksperimenter og en trinvis udvikling af effektmål og effektmålinger frem for at vente på en overordnet, teoretisk korrekt model. Det er et kulturprojekt find de steder, hvor det også giver mening for medarbejderne fagligt set, ellers skaber vi ikke forankring og forandring. Baggrund og formål med effektmålingen og det opstillede effektmål I SKAT er det en vedvarende ambition at styre efter effekt. På finansloven har vi fem mål, som alle er effektorienterede: Vi skal holde skattegabet på højst 3,1 procent af BNP Vores kundetilfredshed skal være minimum 0,55 for virksomheder og 0,54 for borgere, målt på en skal fra -1 til 1. Og endelig skal vi holde restancer til den offentlige sektor, opdelt i skatte- og afgiftsrestancer og øvrige restancer under et vist niveau. Alle disse mål opfatter vi som mål, der viser, om vi som administration formår at levere mest mulig værdi tilbage til samfundet og de skatteydere som finansierer os. Vores opgaver, som bidrager til at vi opnår den ønskede effekt, spænder over mange typer vi er sagsbehandlende, vi har serviceopgaver, rådgivnings- og tilsynsopgaver, og endelig har vi en stor udviklingsportefølje, som også kan betragtes som vidensproduktion. Alt det kræver en mangfoldig palet af styringsinstrumenter for, at vi opnår de ønskede effekter. Da vi også er en stor organisation med mange medarbejdere spredt ud over hele landet, stiller det også krav til, hvordan vi indretter styringen. At styre efter ekstern effekt kræver også intern styring med andre værktøjer. I vores interne styring har vi derfor også aktivitetskrav (f.eks. i form af mængdekrav), kvalitets- eller servicemål, f.eks. krav til sagsbehandlingstider (som gerne til sidst skal påvirke effektmålet om kundetilfredshed), udviklingsmål, og interne serviceaftaler, som skal sikre at støttefunktioner mm. leverer de aftalte ydelser til de eksternt rettede dele af produktionen. Fælles er dog, at målene understøtter opnåelsen af vores overordnede effektmål. Finanslovsmålene suppleres altså med yderligere mål, som enten kan være fastsat i resultatkontrakten for SKAT eller i de interne planer. Vi arbejder med at udvikle vores målhierarki, der skaber sammenhæng i opgave- og målformuleringerne. Udviklingen af effektmåling og effektstyring har været i gang i de sidste 4-5 år. Siden fusionen i 2005 mellem de kommunale og den statslige skatteforvaltning har der været et effektiviseringskrav om en årsværksreduktion på op mod 35 procent frem til Det har skabt behovet for at se på, hvordan vi nemmest kan sikre at skatteindtægterne kommer ind samtidig med, at der er færre ansatte til at løse opgaven. 81

88 SKAT Samtidig med fusionen implementerede SKAT en ny indsatsstrategi, der bygger på anbefalinger fra OECD om, hvordan vi som skatteadministration arbejder mest effektivt. Den bagvedliggende filosofi er, at langt de fleste gerne vil betale den korrekte skat, men måske ikke altid har tilstrækkelige oplysninger eller tilstrækkelig viden til at kunne gøre det. Derfor er indsatstrategien bygget på at gøre det nemt for de mange, der gerne vil betale den korrekte skat og svært for de få, som bevidst prøver at unddrage sig betalingen. Med andre ord handler det om at levere en differentieret indsats, således at de mest effektive værktøjer anvendes der, hvor de virker bedst. Det gør vi ved at vejlede om reglerne, ved at servicere med systemer der gør det muligt at efterleve reglerne så let som muligt og med generelle holdningspåvirkende kampagner f.eks. om sort arbejde mm. Derudover bruger vi naturligvis også vores traditionelle kontrol-værktøj målrettet der, hvor kontrolværktøjet har sin største effekt. En effektmåling gennemført i 2007 viser et eksempel på den succesfulde tilgang efter den nye strategi. En vejledningskampagne rettet mod at få danskere, til at selvangive deres udenlandske ejendomme, resulterede i en stor stigning i antallet af borgere, der selvangav, hvilket førte til en provenu-stigning, som aldring kunne være opnået ved en traditionel en-til-en kontroltilgang. Kontrakter og andre styringsdokumenter Udviklingen af indsatsstrategien og anvendelsen af effektmål og effektmålinger har været en del af de krav, der løbende er blevet indarbejdet i resultatkontrakterne for SKAT. Krav om særlige indsatsprojekter har derfor været en del af målene for arbejdet i de senere år. For eksempel var der i 2008 mål om at udvikle og gennemføre effektmålingsmetoder for kampagner. I 2009-kontrakten har vi haft et mål om, at SKAT i 2009 skulle gennemføre mindst 4 holdningsbearbejdende aktiviteter, som skulle indgå i landsdækkende kampagner. Finanslov Resultatkontrakt Strategiplan Produktionslinier, hovedprocesser Virksomhedsplan Planer Udvikling Produktionsplan Planer Støtte Ydelser Projektplaner Regions handleplaner Serviceplaner Aktiviteter 82

89 SKAT For 2010 kan vores mål stilles niveaudelt op som vist nedenfor: Finansloven Skattegabet skal bibeholdes på 3,1 % af bruttonationalproduktet. Strategiplan Virksomhedsplan Resultatkontrakt Produktionsplan Regionalt niveau Vi fastholder en høj regelefterlevelse. I 2013 viser målinger, at regelefterlevelsen er på samme høje niveau som i Fastholde skattegabet på 3,1 % af bruttonationalproduktet. I løbet af 2010 gennemføres to større holdningsbearbejdende fairplay-kampagner (rettet mod sort arbejde og skatteunddragende aktiviteter) en borgervendt og en virksomhedsvendt. Kampagnerne skal være sammentænkt og lægge op til fairplay-indsatsen for Tema om sort arbejde borgervendt om skattesvig og socialt bedrageri, virksomhedsvendt om fairplay og regelefterlevelse i specifikke brancher Danne et præcist billede af borgernes og virksomhedernes regelefterlevelse, bl.a. ved at sammenligne og 2008-data. I 2010 har hver region gennemført effektmålinger på mindst et regionalt indsatsprojekt i henhold til SKATs standard for effektmålinger. Her er der for samme år tale om både de egentlige effektmål, aktivitetsmål og også udviklingsmål om metode, vidensindsamling mm. Udvikling af effektmåling og effektstyring De enkelte indsatsprojekter eller kampagner har i sig selv også gennemgået en udvikling. I starten var det en vanskelig opgave bare at formulere en ønsket/forventet effekt af, hvad man planlagde at gøre, og formulere det på en måde, så det blev muligt at foretage en måling af, om effekten indtrådte. Det var så at sige vanskeligt at bestille en effekt. Den kulturforandring, som det i høj grad har været at flytte en organisation fra én form for faglighed, der er dyrket og oparbejdet gennem 100 år, til en anden, har i høj grad nødvendiggjort, at skiftet foretages i respekt for den store faglighed, der allerede eksisterer hos medarbejderne. Det har været vigtigt at sikre, at den enorme viden, der gennem lang tid er oparbejdet og effektiviseret, tages med videre i det nye setup. I den forbindelse har det været vigtigt, at medarbejderne har kunnet se rationalet bag ved tankegangen. Dette betyder, at udviklingen af såvel effektmåling som effektstyring har undergået en løbende implementering og udvikling, der ikke kunne foretages på en gang. Denne omstillingsproces er langt fra slut, men bevæger sig hele tiden og behovet for understøttelse og kommunikation forandres løbende vi vil bl.a. gerne overføre den samme strategitankegang til også at omfatte optimeringen af de interne processer og relationer. Vi ser i SKAT, at måden vi har kommunikeret vores mål, vores strategi og vores krav om effektmåling har konsekvenser. Når vi beder om effektmålinger i alle vores indsatsprojekter, så vil der blive projekter, der designes for at kunne opfylde dette krav, men som ikke nødvendigvis vurderes at være det mest effektive projekt. Det er eksempelvis relativt let at måle på effekten af at sende et vejledningsbrev ud til en gruppe skatteydere og samtidig holde en gruppe fri for indsats. Dette giver gode muligheder for effektmåling, men vi ser også eksempler på, at vejledningsbreve ikke umiddelbart er den mest effektive løsning på det problem, som vi forsøger at løse, selvom det er den tilgang 83

90 SKAT der vælges i projektet. Der er altså en risiko for, at man designer sit projekt ud fra en nem målemetode snarere end at vælge det mest effektive værktøj overfor det egentlige problem. SKATs effektmålinger har to formål. Effektmålingerne skal dokumentere, at ressourcerne har været anvendt fornuftigt i projekterne har der været leveret effekt for de anvendte ressourcer. Det er i den sammenhæng vigtigt at erindre, at formålet med SKATs indsatsprojekter er at skabe effekt, ikke at udføre gode og sikre målinger. Indsatsprojekter består næsten altid af flere differentierede metoder bevidst brug af pressen, udsendelse af breve, afholdelse af kurser, nye vejledninger eller ændrede indberetningsmetoder. Den differentierede tilgang betyder, at det ofte vil være svært, om ikke umuligt, at afgøre præcist hvilken indsats, der har givet hvilken andel af en observeret effekt. Det andet formål med SKATs effektmålinger, er at blive klogere på hvilke værktøjer, der er mest effektive. I denne type af effektmålinger er det mere effekten af en enkelt tilgang, der ønskes belyst, og der vil oftere være fokus på, at målingen har større statistisk sikkerhed, også når det koster ressourcer og potentielt giver mindre effekt at prioritere den gode måling. Denne prioritering af viden om særlige tilgange og metoder skal bidrage til, at vi senere via vores forandringsteori kan designe indsatsprojekter, hvor der ikke er behov for at måle på enkelte tilgange. Når vores forandringsteori er på plads, hvor antagelser er understøttet af tidligere målinger, så er forandringsteorien næsten en indikator på effekt i sig selv. Vi har med baggrund i de vanskeligheder, der er ved at foretage effektmålinger i mange projekter, på en gang set det som nødvendigt at have en pragmatisk tilgang til at opstille mål og indikatorer frem for at forsøge at få så teoretisk perfekt en model og måling som muligt. Det betyder dog også, at der har været stor fokus på, hvordan effektmålinger operationelt kan implementeres i organisationen og på hvilke værktøjer man har behov for i praksis for at kunne gennemføre en effektmåling. Nogle af de modeller, der er anvendt ved SKATs effektmålinger har været: Tilfældig udvælgelse, før og nu analyser, trendanalyser, difference in differences mv. Den vigtigste erfaring i den sammenhæng er, at alle vores indsatser er forskellige og kræver forskellige målemetoder. Med 3-4 års erfaringer bliver vi bedre og bedre til både at formulere effektmål for de enkelte indsatsprojekter og til at indrette målinger, der kan vise os, om vi opnåede de forventede effekter. Begge dele har krævet stor opbakning fra ledelsen hele vejen igennem organisationen. Det har reelt været et stort kulturforandringsprojekt for at få organisationen til at gå fra at kunne finde fejl i de enkeltes selvangivelser til at give vejledning og service, så fejlene ikke opstår igen og igen. Internt har der været afviklet kampagner, kurser og temadage for alle medarbejdergrupper i de sidste 3-4 år for at skabe forståelse for tankegangen bag strategien og få den forankret hos medarbejderne. Et udviklingsområde er fortsat at blive bedre til at se, om vi med de enkelte projekter er omkostningseffektive hvor mange ressourcer bruger vi for at opnå de forventede og ønskede effekter? Når vi bliver bedre på dette område, bliver vi også bedre til at udvælge og prioritere de projekter og områder, hvor vi skaber størst effekt og resultater 84

91 SKAT med mindre ressourceindsats og det er jo også et af de mål, vi vil nå overordnet set: At vi kan holde skattegabet konstant med et faldende ressourceforbrug. Implementeringen og anvendelsen af effektmålingen og effektmål De effektmålinger vi gennemfører i indsatsprojekterne, skal gøre os bedre til at målrette værktøjerne mod de problemer og målgrupper, vi har identificeret. På den måde får vi både en bedre effekt overfor skatteyderne, og vi bliver selv mere effektive i vores opgaveløsning, og til syvende og sidst medvirker alle indsatsprojekter til at minimere skattegabet. På den måde påvirker vi vores mest overordnede effektmål. Anvendelsen af effektmål samt kobling til resultatkontrakten og departementet SKAT har i de seneste års resultatkontrakter med Skatteministeriets departement haft både krav om udvikling af effektmålinger og også at anvende dem. Indsatsstrategien har været et gennemgående tema i kontrakterne, både med udvikling af strategien og udbredelsen i organisationen og med at tage den i brug ved at have gennemførelse af kampagner og anvendelse af resultaterne som mål og resultatkrav. Departementet har på denne måde også været en strategisk partner i at forankre effektmålene og effektstyringen, hvor kontrakterne har været et redskab til at holde fokus på området. Den ledelsesmæssige opbakning i strategien har også udmøntet sig i, at departementet har engageret sig i kommunikationen af budskaberne. Således har FairPlay-kampagnerne i de første år været styret fra Skatteministeriet. De største udfordringer ved at udvikle og implementere effektmålingen og effektmålene De største udfordringer kan inddeles i tre, som i høj grad hænger sammen: Metodemæssige Kulturelle Ledelsesmæssige På det metodemæssige plan har det i høj grad været et spørgsmål om at kunne oversætte eksisterende metoder til operationelle løsninger, som fungerer i SKAT, og som er forståelige og brugbare for de medarbejdere, der skal anvende metoderne. Vi har været nødt til at vælge en pragmatisk løsning. Denne udvikling er langt fra slut. Dette har udelukkende kunne lade sig gøre ved at tage hensyn til organisationskulturen. Det har været nødvendigt at skabe forankring hos medarbejderne via involvering og motivation samtidig med, at der hele tiden har været fokus på at udnytte den viden, organisationen har oparbejdet. Den store udfordring her er stadig at sikre, at vi udnytter både den viden vi allerede har og den nye viden som vi oparbejder. Endelig er det fortsat en stor udfordring at få gennemført forandringen i alle lag af organisationen. Alle skal kunne se det fornuftige i målene, før de er effektive at arbejde efter. Her har ledelsen haft en meget væsentlig rolle, og har det fortsat. 85

92 Slots- og Ejendomsstyrelsen Slots- og Ejendomsstyrelsen Institution Slots- og Ejendomsstyrelsen Forfattere Malene Gronemann Giorgi, direktionssekretær/specialkonsulent Mads Lyndrup, chefkonsulent Opgavetypen der eksemplificeres Offentlige serviceydelser Kort om Slots- og Ejendomsstyrelsens serviceydelse Slots- og Ejendomsstyrelsen tilvejebringer kontorlokaler til staten, bevarer og nyttiggør statens slotte og haver, og stiller ejendomsfaglig viden til rådighed for sine brugere. De væsentligste overvejelser, som andre kan tage ved lære af Mål på det rigtige. Det vil typisk være muligt at opstille flere mål og dertilhørende indikatorer, og der vil være en risiko for, at de væsentligste mål drukner. Det er samtidig ofte ressourcekrævende at indsamle data og opdatere indikatorer. Udfordringen er derfor at holde fokus og indsamle data for de mål, som er væsentlige i forhold til institutionens kerneydelser, og som understøtter styrelsens strategi. o Tag udgangspunkt i institutionens hovedopgave(r) og formål. Særligt for institutioner, som leverer ydelser til andre statslige institutioner, kan det være vanskeligt at definere institutionens effekt på det øvrige samfund. Her kan det definerede formål med institutionen, dvs. institutions mission, træde i stedet. o Tag udgangspunkt i strategien. En forudsætning for at vælge og opstille de mål og indikatorer, som bedst understøtter styringen er, at der er en strategi med angivelser af mål samt overvejelser om, hvordan målene bedst kan nås, dvs. fx forandringsteori, styringshierarki, Balanced Scorecard Forankring af resultatstyringen. Centrale indikatorer forankres i resultatkontrakten samt i de interne kontrakter, evt. ved at indikatorerne nedbrydes. Dermed kan de centrale indikatorer for institutionens performance samles, der sikres en enstrenget styring, antallet af opfølgningsøvelser kan holdes nede, og der etableres ejerskab til og synlighed omkring indikatorerne i institutionen, så indikatorerne bliver aktive. Effektmål stiller krav til styringsdialogen. En institution har ofte ikke fuld kontrol over effekten af egen indsats på omverdenen, fx på grund af forhold i omverdenen, som institutionen har meget ringe indflydelse på. Det forhold fordrer, at styringsdialogen om institutionens mål og indikatorer vedrørende effekt får en karakter, som muliggør en mere nuanceret vurdering af præstationer. 86

93 Slots- og Ejendomsstyrelsen Baggrund og formål med effektmålingen SES har haft en resultatkontrakt siden I resultatkontrakten for 2010 er der 31 resultatkrav, som knytter sig til de mål, der er angivet i finansloven og til fokusområderne i strategiredskabet Balanced Scorecard (BSC). En række af resultatkravene i kontrakten vedrører effekten af SES indsats, bl.a. kundeog brugertilfredshed, antal besøgende på Kronborg og Christiansborg, donationer samt huslejetab. Resultatkravet om huslejetab 24 er særligt interessant, da det fortæller noget om den samlede effekt af SES indsats i forhold til den samlede administration af SEAporteføljen på ca. 1 mio. m2, hvilket er en af SES absolutte kerneopgaver. SES formål (effekt) er i denne sammenhæng at sikre en effektiv udnyttelse af statens ejendomme. Det er SES opgave og strategi, at ejendomsporteføljen til hver en tid understøtter forpligtelsen til at tilvejebringe lokaler, som opfylder de statslige institutioners behov. Porteføljen skal desuden rumme den rette fordeling mellem ejede og lejede ejendomme og være hensigtsmæssig både i forhold til statsinstitutionernes behov og i forhold til, hvad der ud fra en samlet økonomisk overvejelse vurderes som optimalt for staten. Resultatkravet om max huslejetab fortæller noget om, hvor effektivt SES agerer ved genudlejning af kontorarealer og afhændelse af kontorejendomme. Implementeringen og anvendelsen af effektmålingen I SES tager styringen af resultater i vidt omfang sit udgangspunkt i nedenstående styringskæde. SES har siden 2002 anvendt Balanced Scorecard-modellen som strategiimplementeringsværktøj. Modellen medvirker til at sikre sammenhæng fra mission, vision og strategier til den konkrete opgaveudførelse. Styrelsens strategikort revideres årligt og består af et basiskort med 16 faste strategiske fokusområder, som udgør styrelsens kerneopgaver. Disse ændres som udgangspunkt ikke væsentligt fra år til år. Under de faste fokusområder findes indsatsområder, som kan være gældende for et eller to år (bilag 1). Strategien kobles direkte til mål- og resultatstyringen ved at mål, resultatkrav og indsatser i resultat- og enhedskontrakter relateres til de strategiske fokusområder, hvorved det 24 Huslejetabet på SES kontorejendomme max må udgøre 4 pct. af den potentielle huslejeindtægt. Opgørelsen fratrækkes huslejetab i forbindelse med moderniseringssager. 87

94 Slots- og Ejendomsstyrelsen sikres at mål og indsatser er relevante og understøtter strategien. Gennem forankringen af mål og indsatser i kontrakterne operationaliseres strategien og opfølgning på strategien muliggøres. Resultatkravet om huslejetab er en kritisk succesfaktor (Key Performance Indicator) i forhold til en af styrelsens opgaver i finansloven; at administrere statens kontorejendomme. I BSC overføres denne opgave til de overordnede målsætninger i de to strategiske fokusområder Tilfredsstillende økonomisk resultat og Opfylde statslige lokalebehov. Opfølgningen på resultatkravet sker ikke alene i forbindelse med afrapportering på resultatkontrakten, men også løbende over året ved månedlige fremlæggelser af ledelsesinformation for direktionen i form af tomgangslister (lister over tomme ejendomme), med angivelse af status for fremtidig udlejning og indstilling til eventuelt salg af ejendomme, hvor det ikke vurderes, at en statslig lejer kan findes. På den måde bidrager styringsinformationerne aktivt til ledelsesprioriteringer og -beslutninger. Anvendelsen af effektmål og effektkrav samt kobling til resultatkontrakten SES har gode erfaringer med at lade effektmål indgå i resultatkontrakten. Koblingen til kontrakten betyder, at opfølgning sikres. Desuden kan dialogen med departementet om kontrakten og drøftelsen af effektmålinger og effektmål være en del af en forventningsafstemning i forhold til resultater og opgaveløsning. I forhold til at fastlægge niveauet for resultatkravet, og effektmål generelt, vil det som oftest være en udfordring at finde et niveau, som både er ambitiøst og muligt at opnå. I det konkrete tilfælde med resultatkravet vedrørende huslejetab er det udgangspunktet, at SES skal håndtere sine ledige kontorarealer effektivt og professionelt, hvilket taler for at nedsætte målet for huslejetab til nul pct. Billedet er imidlertid mere nuanceret, da SES ikke blot skal sikre genudlejning af ledige kontorarealer til andre statsinstitutioner eller afhændelse/overdragelse af ledige kontorejendomme, jf. at SES ejendomsportefølje til hver en tid skal understøtte tilvejebringelsen af lokaler, som opfylder de statslige institutioners behov. Niveauet for målet har historisk set ligget på 4-5 pct. Sammenlignet med det private kontorejendomsmarked er dette - i hvert fald disse år - relativt ambitiøst. Det skal dog understreges, at vilkårene for SES og det øvrige kontorejendomsmarked er meget forskellige. Bl.a. må SES ikke investere i spekulationsøjemed og har ganske anderledes muligheder for at afhænde ejendomme, der ikke længere skal huse statens institutioner enten ved salg til kommunerne eller overdragelse til salg i statens ejendomsselskab (Freja) via aktstykker. Samtidig er der en række tilfælde, hvor SES handlefrihed er afhængig af eksterne processer og beslutninger, hvilket betyder, at et mål om nul uudlejede kontorejendomme vil være umuligt at opnå. De største udfordringer ved at udvikle og implementere effektmålingen Med Finansministeriets nye vejledning fra februar 2010 om Ansvar for styring vejledning om styring fra koncern til institution, skal der ske en tilretning af SES nuværende resultatkontrakt. SES ser det forestående arbejde som en anledning til også at overveje, hvordan den interne styring på resultater i SES kan optimeres, herunder yderligere at klargøre sammenhængen mellem FL, BSC, resultatkontrakt (og direktørkontrakt), intern ledelsesinformation til direktion, enhedskontrakter og resultatlønskontrakter. 88

95 Slots- og Ejendomsstyrelsen I forhold til et sådant arbejde er der en række udfordringer, herunder ikke mindst i forhold til at fastholde de elementer i den nuværende resultatstyring, som opleves som velfungerende. Styrken ved det nuværende styringsregime i SES er, at der, som nævnt ovenfor, er etableret en klar styringskæde i styrelsen, hvor resultatkrav i resultatkontrakten og resultatkrav knyttet til BSC er nedbrudt ( genforsikret ) i enhedskontrakter og resultatlønsaftaler. Det nuværende system bygger imidlertid på en række formaliserede og gentagne procedurer, som gør systemet tungt og administrativt dyrt at drive, samt at systemet over en snart 10-årig periode har undergået årlige ad hoc tilpasninger med deraf afledte inkongruenser i styringen. Desuden er systemet i vidt omfang baseret på resultatkrav vedrørende aktiviteter og proces. I forhold til det videre arbejde i SES med resultatstyring, kan der peges på følgende målsætninger: Skabe større sammenhæng mellem FL, resultatkontrakt, BSC mv. Arbejde mere systematisk med effekter og tydeliggøre styringshierarkiet i organisationen, herunder hvordan interne udviklingsmål understøtter de overordnede effektmål for organisationen. Anvende kvantitative resultatindikatorer til afløsning af ja/nej mål for aktiviteter og proces. Forenkle og forbedre styringspotentialet i den interne styring. Der vil i forbindelse med det videre arbejde være en række mere konkrete udfordringer forbundet med at opstille og udvikle indikatorer (Key Performance Indicators), som afspejler de nævnte målsætninger, herunder: at etablere konkrete styringshierarkier, hvor sammenhængen mellem effekter og produkter mv. fremstår klart at få et overblik over hvilke data SES har, som der kan måles på; hvilke data som skal indhentes, samt data hvor det ikke kan svare sig at etablere dataindhentningssystemer at finde en balance mellem effekt- og aktivitetsindikatorer, så ledelsen forsat har mulighed for at styre og følge op på resultater, hvor det er hensigtsmæssigt at finde det rette niveau for anvendelse af indikatorer (detaljeringsniveau samt organisationsniveau) samt fastlæggelse og opfølgning på indikatorer. 89

96 Slots- og Ejendomsstyrelsen Bilag 1. Slots- og Ejendomsstyrelsens Balanced Scorecard for

97 Udlændingeservice Udlændingeservice Institution Udlændingeservice Opgavetypen der eksemplificeres Sagsbehandling Væsentligste overvejelser ift. effektstyring US værdigrundlag og langsigtede målsætning Udlændingeservice opererer med et værdigrundlag, der indebærer en servicetilgang til forvaltningen af udlændingeområdet. Et centralt element i denne tilgang er, at brugerne skal hjælpes til at forstå reglerne og sagens gang, og have præcise svar om den tid, de skal forvente der går, inden deres sag er afgjort. Styrelsen har derfor både i Servicekontrakten (styrelsens resultatkontrakt) og på hjemmesiden udmeldt klare servicemål i form af maksimale sagsbehandlingstider for de enkelte hovedsagstyper. Herved etableres der fra begyndelsen en forventningsafstemning med brugeren omkring behandlingen af dennes sag. US forandringsteori For at leve op til ovenstående værdigrundlag og målsætning opererer vi med en meget klar forandringsteori. Grundelementet i vores forandringsteori er en fokuseret opmærksomhed på alle led i en given proces i tilknytning til Udlændingeservices opgavevaretagelse ud fra antagelsen om, at alle disse led har betydning for det senere resultat. Dermed antages det at virke, når vi fx fokuserer på at optimere alle sagsgange, herunder alle de led i processen der ligger før, at selve sagsbehandlingen af en konkret sag påbegyndes. Dette er et generelt fokus, der skinner igennem på alle Udlændingeservices områder, dvs. ikke kun i de sagsbehandlende led men også i alle styrelsens understøttende led, så som personale- og økonomiadministration mv. Det er således vores forventning, at vi på alle områder med fokus på alle elementer i processen (og således med fokus på styrelsens forandringsteori) kan skabe de optimale betingelser for at opfylde brugernes forventninger til os som myndighed, og samtidig sikre en optimal ressourceudnyttelse. Som eksempler på områder, hvor vi har fokus på de forudgående led, kan nævnes følgende: Personaleområdet, med hensyn til at få sat nye medarbejdere i spil med sagsbehandling så hurtigt som muligt, med henblik på at læringskurven er så stejl som mulig. 91

98 Udlændingeservice Asylområdet, hvor vi med en håndholdt procedure 25 i den indledende asylfase fokuserer på en effektivisering af de sagsskridt, der ligger forud for den egentlige sagsbehandling i styrelsen. Forsørgelsesområdet, med hensyn til hurtigt at identificere hvilke behov og indsatser/ydelser, den enkelte har brug for, og få sat disse i værk uden forsinkelser. Studieområdet, hvor vi gennem en fast kontakt med uddannelsesinstitutioner sikrer, at alle får deres sag behandlet tids nok i spidsbelastningsperioderne omkring studiestart i hhv. september og februar. Dette samarbejde udmønter sig bl.a. i, at uddannelsesinstitutionerne udarbejder skolelister 26, der markant letter sagsbehandlingen for Udlændingeservice. Herudover er vores forandringsteori også helt fremherskende på kontrolområdet. Udlændingeservices kontrolstrategi for 2010 indeholder således en kombination af både traditionel vilkårskontrol af konkrete sager og særlige præventive initiativer. Sidstnævnte hhv. i forhold til vejledning og holdningsbearbejdelse samt i forhold til ansøgningsprocessen. Vi ønsker med et præventivt fokus at hjælpe brugere, der pga. uvidenhed eller lign. ikke overholder reglerne, til at de kommer til at gøre dette. Herved vil kontrolressourcerne i højere grad kunne rettes imod det relativt lille segment, der trods grundig vejledning mv. bevidst overtræder reglerne. Disse præventive initiativer er noget, vi forventer os meget af. Styrelsen kører således, parallelt med den i dette papir beskrevne case, et selvstændigt effektmålingsforløb på kontrolområdet. Tankegangen bag, at vi vil have fokus på de forudgående led, kan illustreres af eksemplet, som vi har døbt Korsør-modellen. Her sammenlignes styrelsens sagsbehandling med et togs køreplan: Hvis togturen ml. Korsør og København tager en time, og toget efter køreplanen skal ankomme kl. ti i København, er det helt afgørende for køreplanens overholdelse, at toget er parat til at afgå rettidigt fra Korsør. I overført betydning svarer dette til, at brugeren skal lykkes med sin ansøgning i første forsøg, forstået som at ansøgningen ikke mangler oplysninger/dokumentation (sagen er fuldt oplyst). Er dette kriterium opfyldt, vil sagsbehandlingen kunne påbegyndes umiddelbart efter ansøgningens indgivelse (toget afgår rettidigt fra Korsør), og muligheden for overholdelse af servicemålet vil være sikret (rettidig ankomst i København). Hvordan har vi så konkret udmøntet dette fokus på leddet forud for sagsbehandlingen? Det primære redskab til dette er revision af ansøgningspakkerne for de enkelte sagstyper. Ansøgningspakkerne består af det eller de skriftlige ansøgningsskemaer, som brugeren indgiver. Disse revideres med henblik på, at det fremgår så tydeligt som muligt for brugeren, hvordan skemaet skal udfyldes, hvilken dokumentation der skal vedlægges, samt hvorfor Udlændingeservice har brug for denne dokumentation. Revisionerne foretages bl.a. på baggrund af tilbagemeldingerne fra styrelsens meget omfattende og detaljerede brugerunderøgelser, som også ligger til grund for den handlingsplan for forbedringer, som udarbejdes i forbindelse med undersøgelserne. Tankegangen er illustreret i Figur 1 nedenfor: Det er imidlertid ikke udelukkende det skriftlige ansøgningsmateriale, som forbedres på baggrund af tilbagemeldingerne i brugerundersøgelserne. Tilbagemeldingerne dækker alle 25 Effektiviseringsplan hvor udlændingeservice, sammen med Rigspolitiet, målrettet går efter, så hurtigt som muligt, at få asylansøgere igennem de sagsskridt, der ligger forud for den egentlige sagsbehandling i styrelsen. Disse er eksempelvis frasortering af ansøgere med åbenlyst grundløse asylansøgninger i indkvarteringssystemet, ID-afhøring af ansøger og lign. Hermed søges at minimere den tid ansøger er indkvarteret i asylcentre, hvilket er meget omkostningstungt for staten samt til belastning for ansøgeren. 26 Skolelister er en liste som hver enkelt uddannelsesinstitution udarbejder, og som bla. indeholder hvilke studerende der er optaget på skolen, samt om de har betalt. Dette sparer Udlændingeservice for i hver enkelt sag at kontakte den pågældende skole, for at få disse oplysninger, hvilet ville være markant mere tidskrævende. 92

99 Udlændingeservice tænkelige aspekter af brugerens kontakt med styrelsen, eksempelvis telefoni, , hjemmeside, servicecenter mv. Figur 1. Forventet sammenhæng mellem veltilrettelagt proces forud for sagsbehandlingen og US værdigrundlag Mission: God service og kvalitet over for brugerne, præcise svar og forståelse af sagens gang Aktivitet: Effektivisering af ansøgningsprocessen, bl.a. i form af endnu mere målrettede ansøgningsskemaer Resultat: Langsigtet mål om en højere andel fuldt oplyste sager (og dermed kan flere sager færdiggøres hurtigt og i første hug) Effekt: De rigtige ting vi gør > hurtigt og forudsigeligt for brugeren > Tilfredshed, forventningsafstemning > US skaber værdi Brugerundersøgelser for at afdække potentiale for forbedringer samt justere indsats (lærende institution) Sten på vejen for forandringsteorien Som nævnt oven for indebærer Udlændingeservices værdiorientering et stærkt fokus på service, hvorimod det generelle økonomistyringsfokus fra Finansministeriet hovedsageligt ligger på produktivitet. Vi har her en udfordring i eksternt at formidle den økonomiske og produktionsmæssige gevinst, der er indbygget i serviceorienteringen. Dette i form af antagelsen om, at flere fuldt oplyste sager vil nedbringe sagsbehandlingstiden og dermed omkostningerne ved sagsbehandlingen - samtidigt med at brugernes serviceoplevelse forbedres. En bedre formidling af gevinsterne i serviceorienteringen vil således på sigt kunne bane vejen for en mere gennemgående formalisering af serviceorienteringen, afspejlet i servicekontraktens resultatkrav. Målingen Et centralt kriterium for vores valg af effektmål var, at vi gerne ville måle effekten af nogle af vores aktiviteter, som vi allerede foretager, set i forhold til styrelsens værdigrundlag om en bedre service- og kvalitetsoplevelse for vores brugere. At vi laver indsatser på baggrund af vores brugerundersøgelser, er ikke noget nyt. Vi har således en god ide om, hvad der virker. Vi har imidlertid ikke tidligere systematisk testet virkningen af vores forbedringstiltag. Selve målgruppen for effektmålingen giver mere eller mindre sig selv, idet både mission, aktivitet, resultat og forventet effekt, er relativt snævert rettet mod brugere, der ansøger om en opholdstilladelse. Målemetode Som beskrevet oven for, er det vores teori, at der er en tæt sammenhæng mellem brugernes forståelse af reglerne, Udlændingeservices behov for dokumentation og sagens gang, og brugernes evne til at give os de oplysninger, vi har brug for til at behandle deres sag (oplyse sagen). Vi har derfor valgt at måle på ændringen i andelen af fuldt oplyste sager efter de forbedringstiltag, vi foretager, herunder revidering af ansøgningsskemaerne. Ved at sammenligne niveauet af fuldt oplyste sager før og efter forbedringstiltagene, kan vi få et billede af, hvad der virker samt hvilket virkningsniveau, vi kan forvente os af forskellige tiltag. Vi har valgt andelen af fuldt oplyste sager som måleparameter (indikator). Dette på trods af at man hermed vil kunne beskylde os for ikke at måle på den egentlige effekt af vores aktivitet, forstået som den samfundsmæssige værdi vi skaber inden for vores målgruppe. 93

100 Udlændingeservice Vi er imidlertid så overbeviste om, at der eksisterer en tæt og direkte sammenhæng mellem det næstsidste og sidste led i Figur 1, at vi godt mener, at andelen af fuldt oplyste sager kan tages som en indikator for den værdi, vi i sidste ende skaber. Derudover mener vi, at argumentet om anvendeligheden af andelen af fuldt oplyste sager som indikator yderligere styrkes ved, at det er en klar kvantificerbar størrelse. Det vil således være vanskeligt på andre måder at omsætte effekten, i form af regelforståelse mv., til en valid målbar variabel. Overordnet set er vi dog klar over, at vi måske bevæger os på kanten af den gængse definition af effektmåling. Set ud fra vores behov og muligheder, er principperne omkring effektmåling imidlertid stadig interessante og værdifulde for os i vores styring, om end det betyder, at vi i vores operationalisering må tilpasse disse principper lidt. Forventet resultat Idet vi først i løbet af 2010 foretager justeringerne af ansøgningspakkerne mv., forventer vi ikke, at virkningen vil være slået helt igennem før sent i 2010, og evt. først i Vi kender således på nuværende tidspunkt ikke den reelle ændring i andelen af oplyste sager. Det er dog vores forventning (og resultatkrav i servicekontrakten), at vi kan opnå en gennemsnitlig stigning på 5 pct. i andelen af fuldt oplyste sager i løbet af Øvrige og fremtidige overvejelser Udlændingeservice er pt. stadig nybegyndere ud i effektmåling, men ser flere perspektiver i anvendelsen af effektstyringstankegangen på andre områder i huset. Ikke mindst i kombination med vores bevidste fokus på det forudgående led (at toget afgår rettidigt). 94

101 Økonomistyrelsen Økonomistyrelsen Institution Økonomistyrelsen Forfatterens navn og titel Niels Refslund, chefkonsulent Opgavetypen der eksemplificeres Kompleks opgaveportefølje. Kort om casens emne Eksemplet handler om måling og vurdering af den eksterne effekt af Økonomistyrelsens samlede virksomhed, dvs. et helhedsperspektiv på institutionen. Økonomistyrelsen varetager mange forskellige typer af opgaver: Sagsbehandling, vidensproduktion, rådgivning og tilsyn samt serviceydelser. De væsentligste erfaringer, som andre kan tage ved lære af Projektet Effektmåling af Økonomistyrelsen opstiller effektmål og gennemfører målinger, der dækker hele styrelsen i forhold til kunderne. De væsentligste erfaringer, som andre kan drage nytte af, er følgende: Positive observationer 1. Motiveret topledelse. Det kan lade sig gøre at gennemføre gentagne effektmålinger af en kompleks styrelse, såfremt topledelsen prioriterer indsatsen og tydeligt demonstrerer, at resultaterne anvendes som led i den strategiske ledelse af virksomheden. 2. Metodisk spændvidde. Det kan lade sig gøre at udforme en relevant og robust model (effektmål og indikatorer) for måling af effekten af en hel institution (styrelse/virksomhed), som varetager en meget kompleks opgaveportefølje (se også bilag med diagram over effektmodel). 3. Måling med mening. Det kan lade sig gøre at fremskaffe et grundlag af data og informationer, som er tilstrækkeligt til at muliggøre måling af den eksterne effekt af en kompleks virksomhed, såfremt der afsættes tilstrækkelige og dedikerede, innovationsorienterede ressourcer dertil. 4. Forankring af resultater. Det kan lade sig gøre at udbrede ejerskabet til resultater og ansvaret for opfølgning til de berørte chefer og medarbejdere, såfremt disse inddrages direkte og personligt i vurdering af både metodikken og de gennemførte målinger. 5. Indikatorer som målegrundlag. Det kan lade sig gøre at anvende indikatorer på effekt, når måling af den direkte sluteffekt ikke er mulig. Indikatorer skal valideres for relevant kausalitet. 6. Både kvantitative og kvalitative data. Det kan lade sig gøre at skabe synergi mellem forskellige typer af information: Kvantitative data (hvad?) understøttes af kvalitative (hvorfor; hvordan?). 95

102 Økonomistyrelsen Risici og faldgruber: 7. Undervurdér ikke ressourcekravet. Udvikling af modeller og metoder kræver sandsynligvis flere ressourcer og mere tid, end selv konservative forhåndsskøn skitserer. Det gælder i høj grad også selve målearbejdet. Betragt iværksættelse af effektmåling som en(hver) anden investering! 8. Effektmål skal være robuste. Når målinger over tid årrækker er omdrejningspunktet i effektmåling, er det afgørende, at effektmålene kan fastholdes som meningsfulde og relevante i samme lange perspektiv. Ellers får man et problem (sammenbrud af tidslinjen). 9. Indikatorer skal udvikles. Indikatorer skal i forhold til effektmålene være relevante, kausale, og objektive, dvs. ikke kunne manipuleres eller bevidst forvrides. I virkeligheden må man ofte nøjes med mindre. Men netop derfor er en dynamisk revurdering og udvikling af indikatorer nødvendig. 10. Gentagne målinger er nødvendige. Effektmåling er en langsigtet investering i forbedret evidens. Sammenlignelige målinger over tid er rygraden i effektmåling. Kun den relative udvikling er interessant, dvs. tidsserier, som viser tendenser og udviklingsretning. 11. Én fugl i hånden Det er vigtigt at satse på så få og dækkende målinger som overhovedet muligt. Allerhelst i form af tapning af eksisterende data, som genereres i andre administrative eller faglige processer. Herved sikres både overkommelighed og en høj grad af datahabilitet. 12. Overbelast ikke kunderne. Et modstykke til brug af eksisterende, såkaldt objektive data, kan være indhentning af data/vurderinger hos kunderne. Men denne tilgang kan være en boomerang. Mange institutioner og enkeltpersoner bliver overbelastet med spørgeskemaer og lignende former for kundeundersøgelser. Resultatet bliver en betydelig træthed hos disse - og lav svarprocent. Baggrund og formål med effektmålingen og effektmålene I foråret 2007 besluttede ØS-direktionen at iværksætte et udviklingsprojekt, som i fuld skala skulle resultere i måling af Økonomistyrelsens eksterne effekt. Spørgsmålet var og er hvilken værdi (effekt) Økonomistyrelsens indsats og ydelser bibringer sine omgivelser, kunder og samarbejdspartnere. Hvis ikke Økonomistyrelsen skaber værdi for andre og helst i stigende grad har institutionen ØS et overvældende forklarings- og legitimitetsproblem. Og det uanset, at ØS s myndighedsrolle må forventes altid at afværge egentlige eksistenstrusler. Direktionen tog mod til at konfrontere disse spørgsmål. Udgangspunktet var en erkendelse af, at ØS raison d etre primært er at understøtte alle øvrige statslige institutioner i at varetage deres virksomhed bedst muligt, mens ØS indsats kun i mindre grad har virkninger direkte ud i samfundet. Kundesynsvinklen blev knæsat som det afgørende fokuspunkt. Samtidig indledtes en bestræbelse på at anskue ØS s ydelser som produkter, dvs. sammenhængende klynger af ydelser, som netop set fra kundens side, bør udvikles og leveres som koordinerede helheder. Det teoretiske eller principielle udgangspunkt for iværksættelse af projektet Effektmåling af Økonomistyrelsen var den såkaldte Public-Sector-Value-Model (PSV-Model), udformet af Martin Cole og Greg Parston, begge i ledende positioner i fa. Accenture ( Unlocking Public Value, 2006). Accenture Danmark bistod Økonomistyrelsen i projektets initiale formulering og modeludformning. 96

103 Økonomistyrelsen Tyngdepunktet i første fase var at få Økonomistyrelsen sat på model-form. En smal intern projektgruppe, med bistand af Accenture DK, udarbejdede et forslag til Effektmodel for Økonomistyrelsen (Se vedhæftede bilag). Modellen kom til at omfatte 4 overordnede effektmål, som tilsammen tegner Økonomistyrelsens udadvendte og grundlæggende funktioner i forhold til kunder og samarbejdspartnere. Økonomistyrelsen skal bidrage til at kunderne bliver bedre til: 1. At træffe optimale beslutninger 2. At præstere korrekt forvaltning 3. At reducere sine omkostninger 4. At forvalte effektivt og innovativt Samtidig blev der udviklet og formuleret forslag til et antal indikatorer - målepunkter - for hver af de 4 overordnede effektmål. Både effektmålene og indikatorerne blev tillagt bestemte indbyrdes vægte. Men allervigtigst i denne begyndelsesfase var en massiv indsats i flere seminarer og møder for at involvere ikke blot hele direktionen, men hele chefgruppen i en dybtgående og forpligtende diskussion, kritik og validering af forslaget til effektmodel. Alt blev endevendt såvel formulering af de overordnede effektmål som definering af de tilhørende indikatorer samt, ikke mindst, begrundelser for og beslutning om tildelingen af vægte til de enkelte mål og til hver enkelt indikator. Denne forankringsproces var tilsigtet og utvivlsomt afgørende for hele projektets videre (og positive) udvikling. Udviklingen af effektmålingen og effektmål Udformningen af overordnede effektmål for Økonomistyrelsen som helhed skete med stor omhu og forankringsorienteret energi, jfr. ovenstående beskrivelse. Det har vist sig, at denne omhu har været en god investering. Effektmålene har faktisk vist sig både relevante og robuste gennem hele perioden og vil formentlig være det i en årrække fremover. Det skal bemærkes, at Økonomistyrelsen i samme periode har undergået markante ændringer i både opgaveportefølje og organisatorisk volumen og kompleksitet. Indlejring og iværksættelse af et tværstatsligt Økonomi-Service-Center (ØSC) i Økonomistyrelsen står umiddelbart som eksponent for disse store forandringer. Dataindhentning - selve gennemførelsen af målinger - har været ressourcekrævende. Den første måling, nulpunktsmåling, blev gennemført fra primo Afslutningen trak ud til medio Metodisk drejede ca. 1/3 af målingerne (indikatorerne) sig om objektive data fra eksisterende kilder, mens 2/3 af indikatorerne skulle dækkes ind gennem oplysninger, indhentet gennem spørgeskemaer udsendt til et struktureret, tilfældigt udsnit af kundepopulationen (N = ca. 180). Tidsforbruget blev væsentligt større end forudset, idet en gentaget rykkerprocedure var nødvendig for blot at opnå et minimalt tilfredsstillende responsniveau. Alt i alt en meget tvivlsom erfaring med anvendelse af enquete som et centralt værktøj i målingsarbejdet. Målingsstrategien blev derfor lagt afgørende om. Måling nr. 2 gennemførtes i forsommeren Vægten blev her lagt på inddragelse af flere objektive data. Flest mulige. Men det nødvendige grundlag kunne på ingen måde dækkes ind gennem eksisterende datakilder. En skelsættende løsning blev en aktiv anvendelse af fokusgruppeinterviews. Der blev afholdt 7 fokusgrupper med et struktureret udvalg af i alt 57 deltagere, der samlet set repræsenterede 48 forskellige virksomheder fra såvel den statslige som den selvejende sektor. I hver fokusgruppe deltog 6-12 deltagere. Deltagerne besvarede elektroniske spørgeskemaer og fik dernæst lejlighed til kvalitativt at uddybe deres kvantitative besvarelser. Det er de skriftligt besvarede spørgsmål, der indgår i målingen af effektmodellens indikatorer. Men en kvalitativt afgørende ændring var etableringen af en gensidig, dialogbaseret måling. Relevansen og validiteten blev klart forbedret. 97

104 Økonomistyrelsen Som noget nyt iværksattes dataindsamling med tre parallelle formål kundetilfredshedsundersøgelse, effektmåling samt bidrag til opfølgning på resultatkontrakten. Målingseffektiviteten blev markant øget. Implementeringen og anvendelsen af effektmålingen En effektiv implementering starter med en solid forankring fra første færd. Hos topledelsen såvel som hos chefer og medarbejdere. Topledelsen skal opretholde prioriteringen og et anvendelsespres ved i praksis at vise en seriøs og synlig anvendelse af resultaterne. Derfor blev der i sensommeren 2009, efter måling nr. 2 iværksat en dedikeret kommunikation og opfølgning i hele ØS, men i mindre enheder/fora ad gangen om både fremgangsmåderne og rækkevidden af resultaterne. Fortolkning og ikke overfortolkning af resultater er nødvendig for at sikre gennemslag hos alle, der berøres af effektmålingerne. Tallene taler aldrig for sig selv! Kombinationen af effektmåling og måling af kundetilfredshed har været givende. En stor effekt er ikke tilfredsstillende, hvis effekten opnås på en måde, der gør kunderne utilfredse. Omvendt ville det være en tom gestus, at Økonomistyrelsen har tilfredse kunder, hvis der ikke opnås nogen effekt af ØS s ydelser. Effektmodellen viser virkningerne af Økonomistyrelsens indsats på det generelle og overordnede niveau, mens kundetilfredsheden måles direkte i forhold til et udsnit af kunder. Anvendelsen af effektmål og effektkrav samt kobling til resultatkontrakten Det er vigtigt at være opmærksom på, at effektmål og effektmåling kræver betydelig robusthed. Effektmål skal være relativt langsigtede og stabile. I kontrast hertil forudsætter aftalebaseret styring (resultatkontrakter e.lign.) betydelig dynamik, løbende forandring. Den daglige ledelsesopgave skal på én og samme gang kunne gå i spænd med effektmålingens langsigtede strategiske sigte og kontraktstyringens operationelle sigt. De to nævnte styringsparadigmer skal samvirke og ikke modvirke hinanden. I givet fald måtte direktionen formentlig gøre et valg mellem dem. For at fremme styringssynergien mellem den overordnede effektmåling og den løbende kontraktstyring arbejder Økonomistyrelsen på et skabe en bro mellem de to styringsværktøjer i kraft af ØS s produktportefølje. Målet med broen er en systematisk relatering af de enkelte effektmåls indikatorer til de relevante produkter og samtidig en relatering af resultatkontraktens krav og mål til produkterne. Eller med andre ord et svar på spørgsmålene: Hvad viser effektmålingen om ØS s produkter? Og hvad viser de kontraktlige resultater om ØS s produkter? Denne systematiske brobygning er ny og endnu ikke gennemprøvet i de aktuelle ledelsesprocesser i ØS. Det koblede styringsværktøj indgår fra primo 2010 i direktionssekretariatets virksomhed. Det har fra første færd været et formuleret ønske fra direktionen, at effektmålingsprojektet skulle komme til at bidrage med troværdige pejlepunkter til det strategiske ledelsesgrundlag for Økonomistyrelsen som helhed. På den baggrund gennemføres effektmåling nr. 3 i andet halvår De største udfordringer ved at udvikle og implementere effektmålingen Det er en gennemgribende udfordring, at udvikling og implementering af effektmåling i en organisation forudsætter en modning af organisationen, som netop ikke er til stede i 98

105 Økonomistyrelsen begyndelsen. Den nødvendige indsigt, forståelse og praktiske kompetence skal først opbygges. Derfor: Tålmodighed er en nødvendighed. Det egentlige udbytte af effektmåling kommer i takt med opbygning af en tidsserie. Det kræver tid og langsigtet engagement, ikke mindst hos topledelsen. Undgå overfortolkning af resultater. Fristelsen kan være stor for at sikre opmærksomhed på alle planer. Men hold igen! Troværdighed opnås gennem åbenhed, inddragelse og erkendelse af restriktioner. Der er ingen facitliste men bidrag til fortolkning af udviklingsretning. Kobling af effektmåling med andre målinger af styrings- og ledelsesinformationer er en særdeles frugtbar ambition. Forskellige tilgange og synsvinkler på samme sag skal opfattes som komplementære og ikke som konkurrerende, uanset at forskellige resultater netop kan udfordre hinanden. Forenkling af målingsarbejdet er en dyd og måske en nødvendighed, hvis den ledelsesmæssige opmærksomhed skal fastholdes. Bytteforholdet mellem ressourceindsats og relevansen af resultater er afgørende, ikke mindst på det lange sigt. Og det lange sigt er nødvendigt, hvis effektmåling skal have betydning for den strategiske ledelse af en organisation (som Økonomistyrelsen). Alt i alt: En vellykket iværksættelse og anvendelse af effektmåling er til stede, når alle i organisationen har taget effekttankegangen til sig. Det vil sige, at hele organisationskulturen er blevet præget afgørende. 99

106 Økonomistyrelsen Bilag 1 Public Sector Value - Effekt - Effektmål 1 Effektmål 2 Effektmål 3 Effektmål 4 Optimale beslutninger Sikre retvisende grundlag og viden for at kunne træffe optimale beslutninger. (15 pct.) S Korrekt forvaltning Korrekt og rettidig økonomistyring og finansforvaltning. S (40 pct.) Reducere omkostningerne Understøtte omkostningseffektiv S administration. (30 pct.) Effektiv og innovativ forvaltning Understøtte effektiv forvaltning i den offentlige S sektor gennem innovation. (15 pct.) Skabe grundlag for Skabe grundlag for Skabe grundlag for at interessenter kan træffe gode beslutninger: Der skal være adgang til konsoliderede økonomioplysninger, der muliggør opfølgning og planlægning af ressourceanvendelser (lokalt og centralt). Lønsomhedsanalyser og styringskoncepter skal kunne anvendes som grundlag for at træffe optimale beslutninger. kvalitet og pålidelighed i driften: Der må ikke være nogen fejl eller unødvendige tab i kundernes økonomistyring, i ØS økonomisystemer samt i statsregnskabet. Herudover må der ikke være nogen fejl og unødvendige tab i ØS finansforvaltning. billigst mulig drift gennem øget produktivitet: Fremme omkostningseffektiv administration i staten. Sikre at de samlede omkostninger til drift og vedligeholdelse af systemer minimeres (lokalt og centralt) samt understøtte og udbygge omkostningsreducerende arbejdsprocesser i staten. Skabe grundlag for øget fremtidig effektivitet i forvaltning (kvalitet & produktivitet): Koordinering og implementering af administrationspolitik og digitaliseringstiltag i staten. Fremme statslige institutioners mulighed for at understøtte deres administrative målsætninger. Fungerer som bindeled til kommuner og regioner. Indikator 1.1 (20 pct.) Indikator 2.1 (15 pct.) Indikator 3.1 (20 pct.) Indikator 4.1 (20 pct.) Indikator 1.2 (15 pct.) Indikator 2.2 (5 pct.) Indikator 3.2 (25 pct.) Indikator 4.2 (25 pct.) Indikator 1.3 (20 pct.) Indikator 2.3 (10 pct.) Indikator 3.3 (15 pct.) Indikator 4.3 (20 pct.) Indikator 1.4 (25 pct.) Indikator 2.4 (25 pct.) Indikator 3.4 (15 pct.) Indikator 4.4 (20 pct.) Indikator 1.5 (20 pct.) Indikator 2.5 (10 pct.) Indikator 3.5 (15 pct.) Indikator 4.5 (15 pct.) Indikator 2.7 (10 pct.) Indikator 3.6 (10 pct.) Indikator 2.8 (5 pct.) 100

107 Region Syddanmark og Accenture Øvrige Region Syddanmark & Accenture Institution/virksomhed Region Syddanmark Forfattere Rune Stig Mortensen, afdelingschef Region Syddanmark Simon Kaiser, Seniorkonsulent Accenture Konceptet der eksemplificeres Effektstyring og strategi for regional udvikling Region Syddanmark har en stor opgaveportefølje. Regionen skal i tæt samarbejde med erhvervslivet, kommunerne og den statslige forvaltning sikre fremme af det gode liv for dets borgere og virksomheder i regi af den regionale udviklingsplan. Regionen ønskede at sætte fokus på effektstyring af deres aktiviteter gennem et koncentreret fokus på hvad, der skaber effekt for borgerne, og hvordan dette kan operationaliseres til målbare indikatorer. Målet var at sikre sammenhæng mellem hvad, der gøres i dag og hvilken effekt, der skabes for borgerne og virksomhederne i regionen. Perspektivet indbefattede derved både et fokus på at overvåge effektskabelsen men også til at prioritere fremadrettede projekter alt efter forventet værdiskabelse. Initialt satte Region Syddanmark fokus på at operationalisere visionen om det gode liv i den regionale udviklingsplan. Spørgsmålet var, hvad er det gode liv for borgerne og virksomhederne i regionen? Der blev gennemført et længere workshopforløb med Region Syddanmarks medarbejdere inden for regional udvikling, som sammen definerede og prioriterede 6 effektmål, der fremadrettede skulle være styrende for regionens prioriteringer og aktiviteter. Nedenstående figur viser de identificerede effektmål og rationalet herfor. 101

108 Region Syddanmark og Accenture En afgørende præmis for udarbejdelsen af underliggende målbare indikatorer var at forstå Region Syddanmarks værdikæde. I mange tilfælde sker regionens påvirkning ikke direkte på borgere og virksomheder. Regionen påvirker i stedet andre institutioner og myndigheder, således at disse bliver succesfulde med at skabe effekt for borgerne og virksomhederne. Regionens umiddelbare modtagere og kunder er med andre ord ofte andre offentlige institutioner og myndigheder. Det er dem, regionen i første omgang skaber værdi (effekt) hos. Regionen fik udarbejdet 19 hovedindikatorer (KPI er), som hver især var prioriteret alt efter deres strategiske vigtighed i forhold til borgerne og i forhold til Region Syddanmarks mulighed for at påvirke indikatoren. Eksempler på hovedindikatorernes struktur ses nedenfor: 102

109 Region Syddanmark og Accenture Eksempelvis er hovedindikator 2.1 Antal nyetablerede virksomheder ydermere underkategoriseret i følgende målbare og prioriterede indikatorer: Andel indbyggere, som har overvejet at blive iværksættere Iværksætterirate: Antal nye virksomheder i etableringsåret pr indbyggere Etableringsrate: Antal nye virksomheder i etableringsåret i pct. af samlet antal virksomheder Overlevelsesrate (efter to år) Iværksætteri på uddannelsesinstitutioner Modellen bevirker derved, at der er 19 hovedindikatorer (KPI er) og dertilhørende 103 målbare indikatorer. Historiske data fra indikatorerne blev indsamlet, hvilket gav et historisk tilbageblik over 5 år på udvikling i de enkelte indikatorer og for de enkelt prioriterede effektmål. Anden del af effektstyringsprogrammet indbefattede opsætning af governance og systematiske styring og prioritering af aktiviteter i Region Syddanmark. Region Syddanmark har sekretariatsfunktionen for Syddansk Vækstforum, hvorfra der årligt tildeles økonomisk støtte til regionale udviklingsprojekter. Med udgangspunkt i effektmodellen og indikatorerne blev der opsat en prioriteringsmodel, som sikrer, at de mest effektfulde projektansøgninger bliver tildelt økonomisk støtte i forhold til ambitionerne i den regionale udviklingsplan. Konceptets anvendelighed (og kontekst) Metodekonceptet og effektmodellen benyttes i dag til årlig opfølgning på den regionale udviklingsplan i relation til, om Region Syddanmark er succesfuld med at fremme det gode liv for dets borgere og virksomheder. 103

110 Region Syddanmark og Accenture Herudover benyttes effektmodellen fremadrettet til at prioritere og tildele midler til projekter, som er med til at fremme det gode liv for regionens borger gennem Syddansk Vækstforums aktiviteter. Effektstyringsmodellen er understøttet af et detaljeret effektstyringssystem i Excel og vejledning til effektstyring og prioritering samt klare governance-principper for brug af modellen. Beskrivelse af konceptet Effektstyringsredskabet bygger på Accenture Public Service Value (PSV ) model, som er implementeret på tværs af mere end 300 ministerier, institutioner og myndigheder verden over. PSV modellen er ligeledes benyttet på tværs af ca. 12 forskellige sektorpolitiske områder indenfor kultur, administration, transport, arbejdsmarkedet, sundhedsområdet, socialområdet, skatteområdet, immigrationsområdet, fondsadministration, politiet og retsvæsnet, uddannelsesområdet og forskningsområdet. For hver enkelt område er der udviklet generiske effektmodeller og indikatorer for det specifikke sektorpolitiske område hvor udvikling af effektmål, indikatorer, strategikort følger en stringent metode baseret på Accentures erfaringer. PSV er rettighedsbeskyttet og udviklet af Accenture i samarbejde med Kennedy School of Government og London School of Economics. Konceptets styrker og svagheder PSV metodens styrke er, at den giver en realistisk og struktureret tilgang til udvikling af effektmål og indikatorer med henblik på at stille data til rådighed for årlig/historisk opfølgning i eksempelvis resultatkontrakter eller ved fremadrettet prioritering efter effekt. Metodens praktiske tilgang forudsætter en stor inddragelse af institutionens medarbejdere i at formulere effektmål, indikatorer og udarbejdelse af strategikort. Dette skaber en høj grad af ejerskab til modellen hos både medarbejderne og ledelsen, hvilket er alt afgørende for et succesfuldt effektstyringsprogram. PSV modellen har ligeledes en styrke, da der både fokuseres på effektstyring til evaluering, men også til en fremadrettet prioritering af myndighedens aktiviteter, programmer og initiativer i relation til de identificerede effektmål. PSV metodens svaghed er, at den ikke bygger på rendyrkede objektive kriterier for måling af effekt. Modellen tilstræber at balancere formuleringen af effektmål og indikatorer ud fra, hvad der er muligt at måle og, hvad det koster ressourcer at indhente data. En stræben efter en objektiv sandhed ved brug af effektmål kan have den konsekvens, at en PSV model bliver meget omkostningsfuld for den enkelte myndighed. Det anbefales derfor, at der i forbindelse med formulering af effektmål, indikatorer og effektstyring nøje sker en balancering imellem følgende forhold i nedenstående model. 104

111 Region Syddanmark og Accenture De væsentligste erfaringer, som andre kan tage ved lære af Erfaringer fra Region Syddanmark og øvrige projekter ved igangsættelse af effektstyringsprogrammer eller projekter; Sikre inddragelse af ledelsen. Lederen har en tendens til at se effektstyringsprogrammer, som en akademisk øvelse og mister ofte interessen for programmet. Effektstyringsprogrammets strategiske betydning for myndigheden og ledelsen bør ikke undervurderes. Ledelsen skal have indflydelse på de konkrete formuleringer af effektmål og indikatorer, da disse har stor strategisk betydning for myndigheden. Gør det simpelt. Undgå den alt for akademiske tilgang. Effektmålsstyring skal stå mål med de ressourcer, der bliver benyttet til at gennemføre og vedligeholde effektstyringsmodellen. Et væsentligt spørgsmål der skal stilles i forbindelse med effektstyring er hvad er effekten ved at lave effektstyringen i forhold til omkostninger? Brug modellen som en referenceramme til effektvurdering og prioriteringer af programmer og initiativer i myndigheden, inden de sættes i gang. Dette skal ses i modsætning til at foretage individuelle effektmålinger, hver gang et nyt program eller initiativ er gennemført. Hvis der på forhånd er foretaget en effektpotentialevurdering af initiativerne, er det lettere at foretage efterfølgende evaluering af programmet effekt, når indikatorer allerede er blevet udvalgt. Inddrag medarbejderne så meget som muligt. Medarbejdernes ejerskab til effektstyringsmodellen er afgørende for at sikre ejerskab og fremadrettet styring efter effekt. Lav klare planer og governancemodeller for, hvordan effektstyring skal benyttes efter målene og principperne er blevet defineret. Husk at skabe sammenhæng mellem hvad myndigheden gør i dag, og hvad det er for en effekt der ønskes opnået. En dybdegående forståelse for myndighedens værdikæde og strategikort er afgørende for at sikre sammenhæng mellem effektmål og aktiviteter. 105

112 ABT-fonden ABT-fonden (Økonomistyrelsen) Institution/virksomhed ABT-fonden (Økonomistyrelsen) Forfattere Mette Thiim, fuldmægtig Konceptet der eksemplificeres Tilskudsadministration Kort om ABT-fonden ABT-fonden, Anvendt Borgernær Teknologi, skal gennem tilskud til projekter bidrage til udviklingen og anvendelsen af teknologi, der 1) er knyttet til borgernære sammenhænge og 2) frigør arbejdskraft. Ansøgere til ABT-fonden kan være indenfor alle offentlige serviceområder som eksempler kan nævnes ældreområdet, sundhedsområdet, administration m.v. ABT-fonden har til formål at demonstrere effekten af den foretagne investering herunder tilskuddet ved at dokumentere frigørelse af arbejdskraft. To centrale effekter af tilskudsordningen er således: a) at støttede demonstrationsprojekter kan dokumentere arbejdskraftbesparelser opnået via den nye teknologi, der er søgt tilskud til b) at viden og læring fra udvalgte demonstrationsprojekter overføres til nationale implementeringsprojekter, der ligeledes har en dokumenteret arbejdskraftbesparelse. Det skal fremhæves, at konceptet for effektmåling af ABT-fondens indsats stadig er under udvikling samtidig med, at denne case bliver skrevet. De væsentligste overvejelser/erfaringer, som andre kan tage ved lære af Først og fremmest har arbejdet med effektmodellen været et godt redskab til at gennemtænke sammenhængen fra de politisk vedtagne målsætninger, til den måde arbejdet er omsat til konkrete opgaver, som udføres. Det er oplevelsen, at dette arbejde kan være øjenåbnende indadtil i projektet/organisationen, da det i høj grad tydeliggør det fælles mål for arbejdsindsatsen. Derved kan det komme til at virke som et redskab til fx at prioritere mellem forskellige indsatser i projektet/ organisationen. Ligeledes er det oplevelsen, at arbejdet med effektmodellen gør formidlingen udadtil af fondens målsætning og grundlag tydeligere. I arbejdet med effektmodellen er der søgt tydeliggjort en rød tråd gennem hele den periode, et projekt er i berøring med fonden. Det er forventningen, at formidling af denne sammenhæng vil bidrage til en bedre forståelse for 106

113 ABT-fonden proces og betingelser, allerede når en organisation overvejer at ansøge ABT-fonden om midler til et projekt. En overvejelse, som andre måske kan bruge i deres arbejde med modellen, kan være, hvilke aktører i og omkring opgaven, som man rent faktisk er afhængig af ift. at udføre det konkrete arbejde, som bliver til effekt. Fx er det i ABT-fondens tilfælde i høj grad de projekter fonden giver støtte til, som skal levere en række af de resultater, som bliver til effekt. På den måde bliver det fondens konkrete arbejde (ydelse) at støtte så godt som muligt op om disse projektforløb og derved sikre, at de relevante data bliver tilvejebragt. Baggrund og formål med effektmålingen Det er essentielt, at ABT-fonden kan dokumentere, at tilskud tildeles til projekter, der indeholder et reelt besparelsespotentiale ift. den arbejdskraft, der anvendes til løsning af den pågældende arbejdsopgave. I forbindelse med fondens arbejde, har fondens sekretariat derfor udviklet et sammenhængende koncept for effektmåling med tilhørende rammer for ansøgning, afrapportering og evaluering. Disse skal anvendes af tilskudsansøgere. Som led i udviklingen af en ramme for projektopfølgning og evaluering har fondssekretariatet til eget formål udviklet en forandringsteori, der viser sammenhængen mellem fondens finansielle midler, ressourcer, aktiviteter, ydelser, produkter og effekter, jf. figur 1. Det er de politisk vedtagne formål med fonden 27, der danner udgangspunkt for den forandringsteori, der er udviklet for ABT-fondens arbejde, jf. figur Bekendtgørelse om ABT-fonden, bek. 74 af 19. januar

114 Figur 1 Forandringsteori ABT-fonden ABT-fonden Finansielle midler Ressourcer Aktiviteter Ydelser Output Kortsigtet Ml.lang effekt effekt Langsigtet effekt 3 mia. kr. til demonstration af imple. af teknologiske løsninger til frigørelse af arbejdskraft i den off. sektor ( ) FM departement Demontrationsprojekter Fondssekretariat Ressort departementer Understøtter ansøgningsproces Bedømmelsesproces Tilpasse og vedligeholde online ansøgningssystem Vurdering af ansøgninger Info. og oplysning om ABTfonden og krav til ansøgere Opstartsmøder Afrapportering/deltagelse i styregruppemøder Evaluering af afsluttede projekter Input til implementering Gennemførsel af demonstrationsprojekter Dokumentation af arbejdskraftbesparende potentiale Belysning af forudsætninger for imple. Brugerrettede effekter Succesfuld gennemførsel af ABT-projekter med dokumenteret arbejdskraftbesparende potentiale Samfundseffekter Realisering af arbejdskraftpotentiale i den enkelte organisation Forankring af tankesæt om effektivisering af opgaveløsning i den off. sektor Implementering Indsamling af relevant data Udarbejdelse af mini business cases Understøt beslutningsproces vedr. implementering National imple. af løsninger med dokumenteret arbejdskraftbesparelse Viden om forskellige implementeringsstrategier: grundlag for forhandling og investeringsbeslutninger Gennemføre nationale implementeringsprojekter, som frigør ressourcer til serviceudvikling Effektivisering af den off. sektors opgaveløsning Kommunikation Oplyse om fonden Kommunikere resultater/ gevinstrealisering Formidle viden om fondens projektportefølje Udbredelse af kendskab til og viden om ABT-fonden 108

115 ABT-fonden Af figur 1 fremgår det, at forståelsen af effekter af ABT-fondens arbejde opdeles i henholdsvis brugerrettede og samfundsrettede effekter. Brugerrettede effekter tager sigte på at beskrive effekterne af demonstrationsprojekterne, som gennemføres i regi af ABT-fonden. Demonstrationsprojekterne er forankret hos den offentlige hovedansøger. Samfundsrettede effekter tager sigte på at beskrive effekterne af den samlede indsats af ABT-fonden, herunder en belysning af forudsætninger for, samt gennemførelsen af udvalgte nationale implementeringer. Implementeringsprojekter er forankret hos det relevante ressortministerium. Redskaber i ABT-fondens samlede arbejde til understøttelse af effektrealisering At sikre effektrealiseringen af ABT-fondens arbejde skal betragtes som en indsats, der strækker sig over den samlede periode et projekt forløber. Perioden begynder med vejledning i forbindelse med de overvejelser, en ansøger skal gøre sig for at udfylde en ansøgning i fondens ansøgningsmodul og afsluttes med opsamling af de erfaringer, projektet har gjort undervejs i et projektforløb i form af en evaluering og eventuelt videre national implementering. Ved at sætte fokus på effektrealisering og dokumentationen allerede ved tilskudsansøgningen, bliver krav klare og eksplicitte for tilskudsmodtager helt fra starten af processen. Det er tanken, at der for det enkelte projekt alene vil være ét dokument til afrapportering, som løbende udbygges i projektperioden. I denne proces er der tre vigtige trin, som hver især bidrager til, at ABT-fonden kan opstille indikatorer til brug for effektmåling: A) Ansøgning B) Afrapportering / projektopfølgning C) Evaluering A) Ansøgning Ved udfyldelse af fondens ansøgningsmodul skal det enkelte projekt gøre sig en række overvejelser om forventningen til de indikatorer, som er opstillet i ansøgningsmodulet: Arbejdskraftbesparende potentiale, beregnes Øvrige mulige effekter (socio-økonomiske), angives Return on investment (udgifter vs. forventet besparelse), skøn angives Oplevet servicekvalitet, multiple choice angivelse Barrierer for udbredelse Risikovurdering Allerede på ansøgningstidspunktet er ansøger derved blevet bedt om at forholde sig til de centrale indikatorer, som undervejs i projektforløbet vil blive kvalificeret. For en nærmere gennemgang af ABT-fondens ansøgningsmodul se vejledning til endelig ansøgning på B) Afrapportering / projektopfølgning Den løbende projektopfølgning foretages af fondssekretariatet i hele projektets løbetid som minimum én gang hvert ½ år. Det er projektets ansvar at levere den dokumentation, der skal til for at gennemføre projektopfølgningen. Formålet med at foretage løbende 109

116 ABT-fonden opfølgning og afrapportering er således at understøtte og sikre indsamling af relevant erfaring gjort i projektet. Fondssekretariatet har udarbejdet en skabelon for afrapportering, som er opdelt i fokuspunkter for hver enkelt afrapportering. Dermed følger afrapporteringen den udvikling i viden, som de enkelte projekter indsamler i løbet af projektets løbetid. Det primære fokus for opfølgningen er dokumentation af projektets arbejdskraftbesparende potentiale. Dog er andre effekter også af interesse. Skabelonen for afrapporteringernes forløb og temaer ser ud som vist i figur 2. Figur 2 Fasemodel for afrapportering Opstartsmøde, aftaleindgåelse Nulpunktsmåling, potentiale Projektledelse & forandring Fornyet Risikovurdering Midtvejsmåling, potentiale Incitamentstruktur, gevinstrealisering Afslutning af projektperiode I modellen angiver markering med fed, at der er tale om en obligatorisk afrapportering uafhængig af projektets løbetid. Punkterne uden fed angiver, at der er mulighed for at medtage disse fokuspunkter ved en afrapportering. Dette kan være, hvis enten projektets tidsmæssige længde giver anledning til at holde det udvidede antal afrapporteringer eller, hvis det vurderes hensigtsmæssigt at lægge nogle af punkterne sammen i en enkelt afrapportering. De obligatoriske afrapporteringer er fokuseret på at kvalificere og dokumentere viden om de ønskede effektindikatorer i projektforløbene: Ved opstartsmødet er fokus på at indgå aftaler om projektforløbet, herunder at forpligte projektejer på dokumentation af den arbejdskraftbesparende effekt i form af et måleprogram. Efter opstartsmødet har projektet en 3 måneders frist til at få gennemført en nulpunktsmåling, som skal afdække og dokumentere det faktiske tidsforbrug på opgaveløsningen i udgangspunktet. På ansøgningstidspunktet er der tale om angivelse af et skøn, og det er dette skøn, som ved en nulpunktsmåling skal kvalificeres. Midtvejs i forløbet skal projektet foretage en fornyet risikovurdering. Hvilke risici er projektet stødt på undervejs, og hvilke risici blev ikke et problem for projektet. Tillige skal der foretages en vurdering af, om der er andre risici, som ikke har været forudset ved projektets start. Når projektperioden afsluttes, afholdes en sidste afrapportering, hvor projektejer står inde for, at projektet er forløbet tilfredsstillende og at de fornødne data er indsamlet. Herefter har projektet tre måneder til at udarbejde en projektevaluering samt indsende revisorpåtegnet projektregnskab. En oversigt over det materiale projekterne leverer i forbindelse med ABT-fondens afrapporteringsmodel vises i bilag 1. C) Evaluering Evalueringen skal ved et projekts afslutning sætte fokus på dokumentation af en bred vifte af indikatorer, som er undersøgt og dokumenteret i løbet af projektet. Disse erfaringer har betydning for muligheden for en national udbredelse af en given løsning (muligheden for at opnå samfundsmæssige effekter). Evalueringen af ABT-projekter skal belyse følgende områder af effekter og forhold i projektet: 110

117 ABT-fonden Arbejdskraftbesparende potentiale Øvrige økonomiske effekter Kvalitative mål (oplevet service/kvalitet) Andre socioøkonomiske effekter Teknologiens modenhed Barrierer og forudsætninger for udbredelse, herunder risikovurdering Forhold på udgiftssiden Forankring af resultater En evaluering starter allerede med fastlæggelse af måleprogram tidligt i projektfasen. Ved kortlægning af indikatorer til måleprogram skal det enkelte projekt sikre sig, at man i effektmålingen får dækket henholdsvis typer af effekter og de niveauer hvor effekterne har betydning, se figur 3. Figur 3 Type Økonomisk effekt Niveau Kvalitativ effekt Strategisk effekt ABT-fonden Organisatorisk Medarbejdere Borgere * Belysning af forhold på udgiftssiden og opnået effektivisering * Teknologivurdering * Barrierer og forudsætninger for udbredelse * Måling af arbejdskraftbesparen de potentiale * Forankring af resultater * Måling af oplevet kvalitet og effektivitet i opgaveløsningen * Arbejdsgangsbeskrivelser * Indirekte tidsforbrug (fx transport og ventetider) * Vurdering af oplevet service De forskellige typer af effekt kan beskrives som følgende: o Økonomiske effekter er dem, der typisk optræder i en business case, hvor der opgøres forhold på udgiftssiden (i form af investering) og indtægtssiden (i form af effektivisering). o Kvalitative effekter er dem, der typisk relaterer sig til projektets faglige opgaveløsning. For sundhedsområdet kan det fx være validering af kliniske effekter, og for ældreområdet kan det fx være kvalitet af den leverede service. o Strategiske effekter er dem, der afspejler satsninger eller investeringer, som ikke nødvendigvis giver en umiddelbar økonomisk effekt på kort sigt, men som forventes at give en økonomisk eller kvalitetsmæssig effekt på længere sigt. I figuren er indsat eksempler på konkrete målinger, som kan foretages for at belyse det enkelte område. Evalueringen af et ABT-projekt skal belyse disse effekter, hvorfor udformning af det konkrete måleprogram i et projekt skal tage sigte på at belyse de angivne områder bedst muligt. For en oversigt over mulige indikatorer i ABT-fondens evalueringsskabelon, se bilag 2. Det videre arbejde efter demonstrationsprojekter For relevante og udvalgte løsninger (demonstrationsprojekter) udarbejdes der en business case for en national implementering. Business casen skal sammen med dokumentationen fra demonstrationsprojektet danne grundlag for en vurdering af løsningens egnethed til national udbredelse. 111

118 ABT-fonden En efterfølgende business case udarbejdes som udgangspunkt af fondssekretariatet, og det enkelte projekt vil også efter afslutning af projektperioden være forpligtet til at stå til rådighed med relevant materiale og oplysninger. Bilag 1 - ABT-fonden, leveret materiale ifm. afrapportering i fasemodel Nedenfor gennemgås det materiale, som skal foreligge ved de enkelte afrapporteringer i konceptet. 0. Opstartsmøde og aftaleindgåelse Aftaler om konkret kontraktsgrundlag indgås på opstartsmødet Projektet fremsender efterfølgende eventuelt tilrettet materiale ABT-sekretariatet fremsender tilskudsbrev til projektejer, når det fornødne materiale er fremsendt og godkendt af ABT-fonden. 1. Nulpunktsmåling vedr. arbejdskraftbesparende potentiale Konkretiseret måleprogram for effektmålingen gennem projektet Gennemført nulpunktsmåling af nuværende arbejdstidsforbrug Genberegning af arbejdskraftbesparende potentiale i ABT-fondens skabelon på baggrund af nulpunktsmålingens resultater At der foreligger baggrundsmateriale til nulpunktsmålingen i form af målinger, behandling af resultater samt gennemgang af forudsætninger for beregninger. 2. Projektledelse og forandring af arbejdsgange Samarbejdsaftaler mellem projektparter indgået Arbejdsgangsbeskrivelse for hidtil og ny forventet arbejdsgang Projektlederens overvejelser over udfordringer ved projektledelse Projektlederens overvejelser over forankring af arbejdsgangsændringer 3. Fornyet risikovurdering Genvurdering af oprindelig risikovurdering (det overvejes p.t. om modellen for risikovurdering, som udarbejdes i regi af itprojektrådet kan bruges af ABT-fonden) Fornyet vurdering af risici og barrierer Evt. baggrundsmateriale udarbejdet i projektet. 4. Midtvejsmåling, arbejdskraftbesparende potentiale Koncept for effektmålingen følges 112

119 ABT-fonden Gennemført midtvejsmåling af arbejdstidsforbrug Genberegning af arbejdskraftbesparende potentiale i ABT-fondens skabelon At der foreligger baggrundsmateriale til midtvejsmålingen i form af målinger, behandling af resultater samt gennemgang af forudsætninger for beregninger. 5. Incitamentstruktur og gevinstrealisering Projektlederens overvejelser over forankring af arbejdsgangsændringer Evt. baggrundsmateriale udarbejdet i projektet. 6. Afslutning af projektperiode Afsluttede effektmålinger Evt. baggrundsmateriale udarbejdet i projektet Vær opmærksom på, at data vedr. målingen i projekter skal tilgå ABT-fonden i forbindelse med evalueringen eller på forespørgsel. Fælles for alle afrapporteringer ½-1 sides tekst om erfaringer og resultater Eventuelle ændringer til tidsplan og budget Anmodning om udbetaling af projektmidler Udgiftsspecifikation 113

120 ABT-fonden Bilag 2 Mulige indikatorer og målinger ifm. ABT-fondens evalueringsmodel for projekter Effektmål Aktivitet Indikatorer Målinger Datagrundlag/Redskab (viden om) 1. Arbejdskraft potentiale 1.1 Måling af Konkret tidsstudie, som Direkte arbejdstid Ansøgningsmodul, arbejdskraftbesparende potentiale følger ABT-skabelon nulpunktsmåling, evt. Indirekte arbejdstid midtvejsmåling, samt slutmåling Afledt mer- eller mindre arbejde (Væsentligt med forklaring af afvigelser fra startantagelse til 1.2 Arbejdsgangsbeskrivelser Dokumentation af effektivisering i arbejdsgang som følge af forandring Kortlægning af arbejdsgange slutresultat) Arbejdsgangsbeskrivelser 1.3 Realisering af effektivisering Tildelte ressourcer til Budget / regnskab Analyse hos projektejer opgaveudførsel Aktivitet Indikatorer Målinger Datagrundlag/Redskab Effektmål (viden om) 2. Øvrige økonomiske effekter 2.1 Driftudgifter Besparelse på driftsudgifter (fx bygninger, telefonlinjer o.lign.) Effektmål (viden om) 3. Kvalitative mål (service/kvalitet) 3.1 Måling af oplevet effektivitet og kvalitet i opgaveløsning Besparelse på vedligehold, kontorhold, licenser o. lign. 2.2 Materialebesparelse Besparelse på afledte udgifter (fx medicin, vask, brændstof o.lign.) Budget- og regnskabstal vedrørende varekøb og anlægsudgifter Budget- og regnskabstal vedrørende varekøb og anlægsudgifter Budget- og regnskabstal vedrørende varekøb og anlægsudgifter Regnskabsanalyse, estimat Regnskabsanalyse, estimat Regnskabsanalyse, estimat Aktivitet Indikatorer Målinger Datagrundlag/Redskab Personale Oplevelse af leveret kvalitet i opgaveløsningen Opgave tilfredshed Spørgeskema / interview Spørgeskema økonomisk økonomisk økonomisk Borgere Oplevelse af modtaget serviceniveau Spørgeskema 114

121 ABT-fonden Effektmål (viden om) 4. Andre socio-økonomiske effekter 3.2 vurdering af serviceforbedring Fx forkortelse af sagstid (borgerens ventetid på afgørelse) Opgørelse over administrative svartider, indlæggelseslængde for patienter el. lign. relevant parameter (kan med fordel belyses både før og efter). Vurdering / beskrivelse Aktivitet Indikatorer Målinger Datagrundlag/Redskab 4.1. Indirekte tidsforbrug Borgere b. Afledt tidsforbrug for direkte berørt borger (fx transport, ventetid, sagsbehandlingstid) c. Evt. afledt tidsforbrug for pårørende (fx transport, ventetid) Spørgeskema / skøn Spørgeskema / skøn 4.2 vurdering af langsigtede effekter Borgere Fx forventet længere tid i eget hjem Fx forventet hurtigere tilbagekomst på arbejdsmarkedet Fx forventet øget selvhjulpenhed Fx forventede forebyggende effekt der kan medføre færre indlæggelser Tidspunkt/alder for flytning til beskyttet bolig, plejebolig el. lign. Fx Sygedagpenge Oplevet tilfredshed Effektmål Aktivitet Indikatorer Målinger Datagrundlag/Redskab (viden om) 5. Teknologiens modenhed 5.1 teknologivurdering Personalets tilfredshed Virker den / virker den ikke Let at bruge / svær at bruge Har den rette funktionalitet Evaluering, enten opfordre til at projektet laver spørgeskema, eller ABT udvikler spørgeskema Bedst egnede på markedet Professionel teknologivurdering Sendes til ekstern vurderingspart (fx teknologisk institut) 5.2 Modenhed vs. udvikling Niveau for teknologitilpasning Har der været behov for uforudset udvikling af valgt teknologi? 115

122 ABT-fonden Effektmål (viden om) 6. Barrierer og forudsætninger for udbredelse Aktivitet Indikatorer Målinger Datagrundlag/Redskab 6.1 Fornyet erfaringsbaseret risikovurdering Projektet udarbejder fornyet vurdering halvvejs i projektet. Risikovurdering, standardskabelon fra ABT-fonden 6.2 Fornyet vurdering af barrierer for gennemførelse Projektet udarbejder vurdering Barrierevurdering, standardskabelon fra ABT-fonden Sendes evt.. til fagministerium for yderligere vurdering 6.3 Drivere for udbredelse Hvilke faktorer har haft betydning for gennemførelse af projektet Beskrivelse / analyse Aktivitet Indikatorer Målinger Datagrundlag/Redskab Effektmål (viden om) 7. Forhold på udgiftssiden 7.1 vurdering af udgiftssiden Overholdelse af budget Løbende anskueliggørelse ifm. afrapportering til ABT-fonden Er der foretaget Løbende anskueliggørelse ifm. fejlinvesteringer? afrapportering til ABT-fonden Er der engangsudgifter Løbende anskueliggørelse ifm. relateret til at være et afrapportering til ABT-fonden demonstrationsprojekt? Effektmål (viden om) 8. Forankring af resultater 8.1 Overvejelser sig omkring, hvordan der arbejdes videre med forankring af projektets resultater Regnskabsaflæggelse m. bemærkninger Aktivitet Indikatorer Målinger Datagrundlag/Redskab Foretages der yderligere målinger af projektresultat. Fx kan der foretages opfølgende målinger af effektivisering efter 1 år. Beskrivelse / analyse 116