ABT fonden (Økonomistyrelsen) Institution/virksomhed ABT-fonden (Økonomistyrelsen) Forfattere Mette Thiim, fuldmægtig Konceptet der eksemplificeres Tilskudsadministration Kort om ABT fonden ABT-fonden, Anvendt Borgernær Teknologi, skal gennem tilskud til projekter bidrage til udviklingen og anvendelsen af teknologi, der 1) er knyttet til borgernære sammenhænge og 2) frigør arbejdskraft. Ansøgere til ABT-fonden kan være indenfor alle offentlige serviceområder som eksempler kan nævnes ældreområdet, sundhedsområdet, administration m.v. ABT-fonden har til formål at demonstrere effekten af den foretagne investering herunder tilskuddet ved at dokumentere frigørelse af arbejdskraft. To centrale effekter af tilskudsordningen er således: a) at støttede demonstrationsprojekter kan dokumentere arbejdskraftbesparelser opnået via den nye teknologi, der er søgt tilskud til b) at viden og læring fra udvalgte demonstrationsprojekter overføres til nationale implementeringsprojekter, der ligeledes har en dokumenteret arbejdskraftbesparelse. Det skal fremhæves, at konceptet for effektmåling af ABT-fondens indsats stadig er under udvikling samtidig med, at denne case bliver skrevet. De væsentligste overvejelser/erfaringer, som andre kan tage ved lære af Først og fremmest har arbejdet med effektmodellen været et godt redskab til at gennemtænke sammenhængen fra de politisk vedtagne målsætninger, til den måde arbejdet er omsat til konkrete opgaver, som udføres. Det er oplevelsen, at dette arbejde kan være øjenåbnende indadtil i projektet/organisationen, da det i høj grad tydeliggør det fælles mål for arbejdsindsatsen. Derved kan det komme til at virke som et redskab til fx at prioritere mellem forskellige indsatser i projektet/ organisationen. Ligeledes er det oplevelsen, at arbejdet med effektmodellen gør formidlingen udadtil af fondens målsætning og grundlag tydeligere. I arbejdet med effektmodellen er der søgt tydeliggjort en rød tråd gennem hele den periode, et projekt er i berøring med fonden. Det er forventningen, at formidling af denne sammenhæng vil bidrage til en bedre forståelse for proces og betingelser, allerede når en organisation overvejer at ansøge ABT-fonden om midler til et projekt.
En overvejelse, som andre måske kan bruge i deres arbejde med modellen, kan være, hvilke aktører i og omkring opgaven, som man rent faktisk er afhængig af ift. at udføre det konkrete arbejde, som bliver til effekt. Fx er det i ABT-fondens tilfælde i høj grad de projekter fonden giver støtte til, som skal levere en række af de resultater, som bliver til effekt. På den måde bliver det fondens konkrete arbejde (ydelse) at støtte så godt som muligt op om disse projektforløb og derved sikre, at de relevante data bliver tilvejebragt. Baggrund og formål med effektmålingen Det er essentielt, at ABT-fonden kan dokumentere, at tilskud tildeles til projekter, der indeholder et reelt besparelsespotentiale ift. den arbejdskraft, der anvendes til løsning af den pågældende arbejdsopgave. I forbindelse med fondens arbejde, har fondens sekretariat derfor udviklet et sammenhængende koncept for effektmåling med tilhørende rammer for ansøgning, afrapportering og evaluering. Disse skal anvendes af tilskudsansøgere. Som led i udviklingen af en ramme for projektopfølgning og evaluering har fondssekretariatet til eget formål udviklet en forandringsteori, der viser sammenhængen mellem fondens finansielle midler, ressourcer, aktiviteter, ydelser, produkter og effekter, jf. figur 1. Det er de politisk vedtagne formål med fonden 1, der danner udgangspunkt for den forandringsteori, der er udviklet for ABT-fondens arbejde, jf. figur 1. 1 Bekendtgørelse om ABT-fonden, bek. 74 af 19. januar 2010
Figur 1 Forandringsteori ABT-fonden ABT-fonden Finansielle midler Ressourcer Aktiviteter Ydelser Output Kortsigtet Ml.lang effekt effekt Langsigtet effekt 3 mia. kr. til demonstration af imple. af teknologiske løsninger til frigørelse af arbejdskraft i den off. sektor (2009-2015) FM departement Demontrationsprojekter Fondssekretariat Ressort departementer Understøtter ansøgningsproces Bedømmelsesproces Tilpasse og vedligeholde online ansøgningssystem Vurdering af ansøgninger Info. og oplysning om ABTfonden og krav til ansøgere Opstartsmøder Afrapportering/deltagelse i styregruppemøder Evaluering af afsluttede projekter Input til implementering Gennemførsel af demonstrationsprojekter Dokumentation af arbejdskraftbesparende potentiale Belysning af forudsætninger for imple. Brugerrettede effekter Succesfuld gennemførsel af ABT-projekter med dokumenteret arbejdskraftbesparende potentiale Samfundseffekter Realisering af arbejdskraftpotentiale i den enkelte organisation Forankring af tankesæt om effektivisering af opgaveløsning i den off. sektor Implementering Indsamling af relevant data Udarbejdelse af mini business cases Understøt beslutningsproces vedr. implementering National imple. af løsninger med dokumenteret arbejdskraftbesparelse Viden om forskellige implementeringsstrategier: grundlag for forhandling og investeringsbeslutninger Gennemføre nationale implementeringsprojekter, som frigør ressourcer til serviceudvikling Effektivisering af den off. sektors opgaveløsning Kommunikation Oplyse om fonden Kommunikere resultater/ gevinstrealisering Formidle viden om fondens projektportefølje Udbredelse af kendskab til og viden om ABT-fonden
Af figur 1 fremgår det, at forståelsen af effekter af ABT-fondens arbejde opdeles i henholdsvis brugerrettede og samfundsrettede effekter. Brugerrettede effekter tager sigte på at beskrive effekterne af demonstrationsprojekterne, som gennemføres i regi af ABT-fonden. Demonstrationsprojekterne er forankret hos den offentlige hovedansøger. Samfundsrettede effekter tager sigte på at beskrive effekterne af den samlede indsats af ABT-fonden, herunder en belysning af forudsætninger for, samt gennemførelsen af udvalgte nationale implementeringer. Implementeringsprojekter er forankret hos det relevante ressortministerium. Redskaber i ABT fondens samlede arbejde til understøttelse af effektrealisering At sikre effektrealiseringen af ABT-fondens arbejde skal betragtes som en indsats, der strækker sig over den samlede periode et projekt forløber. Perioden begynder med vejledning i forbindelse med de overvejelser, en ansøger skal gøre sig for at udfylde en ansøgning i fondens ansøgningsmodul og afsluttes med opsamling af de erfaringer, projektet har gjort undervejs i et projektforløb i form af en evaluering og eventuelt videre national implementering. Ved at sætte fokus på effektrealisering og dokumentationen allerede ved tilskudsansøgningen, bliver krav klare og eksplicitte for tilskudsmodtager helt fra starten af processen. Det er tanken, at der for det enkelte projekt alene vil være ét dokument til afrapportering, som løbende udbygges i projektperioden. I denne proces er der tre vigtige trin, som hver især bidrager til, at ABT-fonden kan opstille indikatorer til brug for effektmåling: A) Ansøgning B) Afrapportering / projektopfølgning C) Evaluering A) Ansøgning Ved udfyldelse af fondens ansøgningsmodul skal det enkelte projekt gøre sig en række overvejelser om forventningen til de indikatorer, som er opstillet i ansøgningsmodulet: Arbejdskraftbesparende potentiale, beregnes Øvrige mulige effekter (socio-økonomiske), angives Return on investment (udgifter vs. forventet besparelse), skøn angives Oplevet servicekvalitet, multiple choice angivelse Barrierer for udbredelse Risikovurdering Allerede på ansøgningstidspunktet er ansøger derved blevet bedt om at forholde sig til de centrale indikatorer, som undervejs i projektforløbet vil blive kvalificeret. For en nærmere gennemgang af ABT-fondens ansøgningsmodul se vejledning til endelig ansøgning på www.abtfonden.dk. B) Afrapportering / projektopfølgning Den løbende projektopfølgning foretages af fondssekretariatet i hele projektets løbetid som minimum én gang hvert ½ år. Det er projektets ansvar at levere den dokumentation, der skal til for at gennemføre projektopfølgningen. Formålet med at foretage løbende
opfølgning og afrapportering er således at understøtte og sikre indsamling af relevant erfaring gjort i projektet. Fondssekretariatet har udarbejdet en skabelon for afrapportering, som er opdelt i fokuspunkter for hver enkelt afrapportering. Dermed følger afrapporteringen den udvikling i viden, som de enkelte projekter indsamler i løbet af projektets løbetid. Det primære fokus for opfølgningen er dokumentation af projektets arbejdskraftbesparende potentiale. Dog er andre effekter også af interesse. Skabelonen for afrapporteringernes forløb og temaer ser ud som vist i figur 2. Figur 2 Fasemodel for afrapportering 0 1 2 3 4 5 6 Opstartsmøde, aftaleindgåelse Nulpunktsmåling, potentiale Projektledelse & forandring Fornyet Risikovurdering Midtvejsmåling, potentiale Incitamentstruktur, gevinstrealisering Afslutning af projektperiode I modellen angiver markering med fed, at der er tale om en obligatorisk afrapportering uafhængig af projektets løbetid. Punkterne uden fed angiver, at der er mulighed for at medtage disse fokuspunkter ved en afrapportering. Dette kan være, hvis enten projektets tidsmæssige længde giver anledning til at holde det udvidede antal afrapporteringer eller, hvis det vurderes hensigtsmæssigt at lægge nogle af punkterne sammen i en enkelt afrapportering. De obligatoriske afrapporteringer er fokuseret på at kvalificere og dokumentere viden om de ønskede effektindikatorer i projektforløbene: Ved opstartsmødet er fokus på at indgå aftaler om projektforløbet, herunder at forpligte projektejer på dokumentation af den arbejdskraftbesparende effekt i form af et måleprogram. Efter opstartsmødet har projektet en 3 måneders frist til at få gennemført en nulpunktsmåling, som skal afdække og dokumentere det faktiske tidsforbrug på opgaveløsningen i udgangspunktet. På ansøgningstidspunktet er der tale om angivelse af et skøn, og det er dette skøn, som ved en nulpunktsmåling skal kvalificeres. Midtvejs i forløbet skal projektet foretage en fornyet risikovurdering. Hvilke risici er projektet stødt på undervejs, og hvilke risici blev ikke et problem for projektet. Tillige skal der foretages en vurdering af, om der er andre risici, som ikke har været forudset ved projektets start. Når projektperioden afsluttes, afholdes en sidste afrapportering, hvor projektejer står inde for, at projektet er forløbet tilfredsstillende og at de fornødne data er indsamlet. Herefter har projektet tre måneder til at udarbejde en projektevaluering samt indsende revisorpåtegnet projektregnskab. En oversigt over det materiale projekterne leverer i forbindelse med ABT-fondens afrapporteringsmodel vises i bilag 1. C) Evaluering Evalueringen skal ved et projekts afslutning sætte fokus på dokumentation af en bred vifte af indikatorer, som er undersøgt og dokumenteret i løbet af projektet. Disse erfaringer har betydning for muligheden for en national udbredelse af en given løsning (muligheden for at opnå samfundsmæssige effekter). Evalueringen af ABT-projekter skal belyse følgende områder af effekter og forhold i projektet:
Arbejdskraftbesparende potentiale Øvrige økonomiske effekter Kvalitative mål (oplevet service/kvalitet) Andre socioøkonomiske effekter Teknologiens modenhed Barrierer og forudsætninger for udbredelse, herunder risikovurdering Forhold på udgiftssiden Forankring af resultater En evaluering starter allerede med fastlæggelse af måleprogram tidligt i projektfasen. Ved kortlægning af indikatorer til måleprogram skal det enkelte projekt sikre sig, at man i effektmålingen får dækket henholdsvis typer af effekter og de niveauer hvor effekterne har betydning, se figur 3. Figur 3 Niveau ABT-fonden Organisatorisk Medarbejdere Borgere Type Økonomisk effekt Kvalitativ effekt Strategisk effekt * Belysning af forhold på udgiftssiden og opnået effektivisering * Teknologivurdering * Barrierer og forudsætninger for udbredelse * Måling af arbejdskraftbesparen de potentiale * Forankring af resultater * Måling af oplevet kvalitet og effektivitet i opgaveløsningen * Arbejdsgangsbeskrivelser * Indirekte tidsforbrug (fx transport og ventetider) * Vurdering af oplevet service De forskellige typer af effekt kan beskrives som følgende: o Økonomiske effekter er dem, der typisk optræder i en business case, hvor der opgøres forhold på udgiftssiden (i form af investering) og indtægtssiden (i form af effektivisering). o Kvalitative effekter er dem, der typisk relaterer sig til projektets faglige opgaveløsning. For sundhedsområdet kan det fx være validering af kliniske effekter, og for ældreområdet kan det fx være kvalitet af den leverede service. o Strategiske effekter er dem, der afspejler satsninger eller investeringer, som ikke nødvendigvis giver en umiddelbar økonomisk effekt på kort sigt, men som forventes at give en økonomisk eller kvalitetsmæssig effekt på længere sigt. I figuren er indsat eksempler på konkrete målinger, som kan foretages for at belyse det enkelte område. Evalueringen af et ABT-projekt skal belyse disse effekter, hvorfor udformning af det konkrete måleprogram i et projekt skal tage sigte på at belyse de angivne områder bedst muligt. For en oversigt over mulige indikatorer i ABT-fondens evalueringsskabelon, se bilag 2. Det videre arbejde efter demonstrationsprojekter For relevante og udvalgte løsninger (demonstrationsprojekter) udarbejdes der en business case for en national implementering. Business casen skal sammen med dokumentationen fra demonstrationsprojektet danne grundlag for en vurdering af løsningens egnethed til national udbredelse. En efterfølgende business case udarbejdes som udgangspunkt af fondssekretariatet, og det enkelte projekt vil også efter afslutning af projektperioden være forpligtet til at stå til rådighed med relevant materiale og oplysninger.
Bilag 1 ABT fonden, leveret materiale ifm. afrapportering i fasemodel Nedenfor gennemgås det materiale, som skal foreligge ved de enkelte afrapporteringer i konceptet. 0. Opstartsmøde og aftaleindgåelse Aftaler om konkret kontraktsgrundlag indgås på opstartsmødet Projektet fremsender efterfølgende eventuelt tilrettet materiale ABT-sekretariatet fremsender tilskudsbrev til projektejer, når det fornødne materiale er fremsendt og godkendt af ABT-fonden. 1. Nulpunktsmåling vedr. arbejdskraftbesparende potentiale Konkretiseret måleprogram for effektmålingen gennem projektet Gennemført nulpunktsmåling af nuværende arbejdstidsforbrug Genberegning af arbejdskraftbesparende potentiale i ABT-fondens skabelon på baggrund af nulpunktsmålingens resultater At der foreligger baggrundsmateriale til nulpunktsmålingen i form af målinger, behandling af resultater samt gennemgang af forudsætninger for beregninger. 2. Projektledelse og forandring af arbejdsgange Samarbejdsaftaler mellem projektparter indgået Arbejdsgangsbeskrivelse for hidtil og ny forventet arbejdsgang Projektlederens overvejelser over udfordringer ved projektledelse Projektlederens overvejelser over forankring af arbejdsgangsændringer 3. Fornyet risikovurdering Genvurdering af oprindelig risikovurdering (det overvejes p.t. om modellen for risikovurdering, som udarbejdes i regi af itprojektrådet kan bruges af ABT-fonden) Fornyet vurdering af risici og barrierer Evt. baggrundsmateriale udarbejdet i projektet. 4. Midtvejsmåling, arbejdskraftbesparende potentiale Koncept for effektmålingen følges Gennemført midtvejsmåling af arbejdstidsforbrug Genberegning af arbejdskraftbesparende potentiale i ABT-fondens skabelon
At der foreligger baggrundsmateriale til midtvejsmålingen i form af målinger, behandling af resultater samt gennemgang af forudsætninger for beregninger. 5. Incitamentstruktur og gevinstrealisering Projektlederens overvejelser over forankring af arbejdsgangsændringer Evt. baggrundsmateriale udarbejdet i projektet. 6. Afslutning af projektperiode Afsluttede effektmålinger Evt. baggrundsmateriale udarbejdet i projektet Vær opmærksom på, at data vedr. målingen i projekter skal tilgå ABT-fonden i forbindelse med evalueringen eller på forespørgsel. Fælles for alle afrapporteringer ½-1 sides tekst om erfaringer og resultater Eventuelle ændringer til tidsplan og budget Anmodning om udbetaling af projektmidler Udgiftsspecifikation
Edith Madsen Bilag 2 Mulige indikatorer og målinger ifm. ABT fondens evalueringsmodel for projekter 1. Arbejdskraft potentiale 1.1 Måling af 1.1.1 Konkret tidsstudie, som Direkte arbejdstid Ansøgningsmodul, arbejdskraftbesparende potentiale følger ABT-skabelon nulpunktsmåling, evt. Indirekte arbejdstid midtvejsmåling, samt slutmåling Afledt mer- eller mindre arbejde (Væsentligt med forklaring af afvigelser fra startantagelse til 1.2 Arbejdsgangsbeskrivelser 1.2.1 Dokumentation af effektivisering i arbejdsgang som følge af forandring Kortlægning af arbejdsgange slutresultat) Arbejdsgangsbeskrivelser 1.3 Realisering af effektivisering 1.3.1 Tildelte ressourcer til Budget / regnskab Analyse hos projektejer opgaveudførsel 2. Øvrige økonomiske effekter 2.1 Driftudgifter 2.1.1 Besparelse på driftsudgifter (fx bygninger, telefonlinjer o.lign.) 3. Kvalitative mål (service/kvalitet) 3.1 Måling af oplevet effektivitet og kvalitet i opgaveløsning 2.1.2 Besparelse på vedligehold, kontorhold, licenser o. lign. 2.2 Materialebesparelse 2.2.1 Besparelse på afledte udgifter (fx medicin, vask, brændstof o.lign.) Budget- og regnskabstal vedrørende varekøb og anlægsudgifter Budget- og regnskabstal vedrørende varekøb og anlægsudgifter Budget- og regnskabstal vedrørende varekøb og anlægsudgifter Regnskabsanalyse, estimat Regnskabsanalyse, estimat Regnskabsanalyse, estimat 3.1.1 Personale Oplevelse af leveret kvalitet i opgaveløsningen Opgave tilfredshed Spørgeskema / interview Spørgeskema økonomisk økonomisk økonomisk 3.1.2 Borgere Oplevelse af modtaget serviceniveau Spørgeskema 9
Edith Madsen 4. Andre socio-økonomiske effekter 3.2 vurdering af serviceforbedring 3.2.1 Fx forkortelse af sagstid (borgerens ventetid på afgørelse) Opgørelse over administrative svartider, indlæggelseslængde for patienter el. lign. relevant parameter (kan med fordel belyses både før og efter). Vurdering / beskrivelse 4.1. Indirekte tidsforbrug 4.1.1 Borgere b. Afledt tidsforbrug for direkte berørt borger (fx transport, ventetid, sagsbehandlingstid) c. Evt. afledt tidsforbrug for pårørende (fx transport, ventetid) Spørgeskema / skøn Spørgeskema / skøn 4.2 vurdering af langsigtede effekter 4.2.1 Borgere 4.2.1 Fx forventet længere tid i eget hjem 4.2.2 Fx forventet hurtigere tilbagekomst på arbejdsmarkedet 4.2.3 Fx forventet øget selvhjulpenhed 4.2.4 Fx forventede forebyggende effekt der kan medføre færre indlæggelser Tidspunkt/alder for flytning til beskyttet bolig, plejebolig el. lign. Fx Sygedagpenge Oplevet tilfredshed 5. Teknologiens modenhed 5.1 teknologivurdering 5.1.1 Personalets tilfredshed Virker den / virker den ikke Let at bruge / svær at bruge Har den rette funktionalitet Evaluering, enten opfordre til at projektet laver spørgeskema, eller ABT udvikler spørgeskema 5.1.2 Bedst egnede på markedet Professionel teknologivurdering Sendes til ekstern vurderingspart (fx teknologisk institut) 5.2 Modenhed vs. udvikling 5.2.1 Niveau for teknologitilpasning Har der været behov for uforudset udvikling af valgt teknologi? 10
Edith Madsen 6. Barrierer og forudsætninger for udbredelse 6.1 Fornyet erfaringsbaseret risikovurdering Projektet udarbejder fornyet vurdering halvvejs i projektet. Risikovurdering, standardskabelon fra ABT-fonden 6.2 Fornyet vurdering af barrierer for gennemførelse Projektet udarbejder vurdering Barrierevurdering, standardskabelon fra ABT-fonden Sendes evt.. til fagministerium for yderligere vurdering 6.3 Drivere for udbredelse 6.3.1 Hvilke faktorer har haft betydning for gennemførelse af projektet Beskrivelse / analyse 7. Forhold på udgiftssiden 7.1 vurdering af udgiftssiden 7.1.1 Overholdelse af budget Løbende anskueliggørelse ifm. afrapportering til ABT-fonden 7.1.2 Er der foretaget Løbende anskueliggørelse ifm. fejlinvesteringer? afrapportering til ABT-fonden 7.1.3 Er der engangsudgifter Løbende anskueliggørelse ifm. relateret til at være et afrapportering til ABT-fonden demonstrationsprojekt? 8. Forankring af resultater 8.1 Overvejelser sig omkring, hvordan der arbejdes videre med forankring af projektets resultater Regnskabsaflæggelse m. bemærkninger Foretages der yderligere målinger af projektresultat. Fx kan der foretages opfølgende målinger af effektivisering efter 1 år. Beskrivelse / analyse 11