EKSTERN EVALUERING AF RIGSREVISIONENS BERETNINGER Skriftlig evaluering af beretninger fra 2015 DATO: EVALUATOR: Pernille Kræmmergaard Beretning: 05/2014 Beretning om SKATs systemmodernisering 1. Er problemstillingen velbegrundet og relevant? Rigsrevisionen tog i november 2013 initiativ til undersøgelsen om SKATs systemmodernisering. SKATs systemmodernisering tog udgangspunkt i et analysearbejde gennemført i 2003, hvis visninger førte til anbefalinger om at gennemføre en modernisering af SKATs it-systemer. Systemmoderniseringen blev udpeget til at være et hovedinstrument til at realisere de planlagte effektiviseringer, som udsprang af aftalen om SKATs fusion i 2005, på ca. 40 % reducering af medarbejderantallet. Systemmoderniseringen blev igangsat i 2004 og var ved afslutningen af Rigsrevisionens arbejde (ultimo 2014) ikke fuldt idriftsat, ej heller er de forventede effektiviseringer nået. Systemmoderniseringen er ifølge tal fra SKAT yderligere blevet 3 gange så dyr som oprindeligt planlagt. Systemmoderniseringen var inddelt i 2 faser, hver bestående af 3 projekter. For projekterne i fase 1 har idriftsættelsestidspunkterne været ca. 4 år forsinket og først afsluttet i 2014. For projekterne i fase 2 var projekterne ultimo 2014 ca. 5 år forsinket. Det forhold, at systemmoderniseringen var udpeget som værende et hovedinstrument i realisering af effektiviseringerne ved fusionen i SKAT, og at projekterne i systemmoderniseringen har været betydeligt forsinket og 3 gange så dyrt, gør, at en undersøgelse af SKATs systemmodernisering vurderes relevant. Udover omtalen af effektiviseringerne nævner Rigsrevisionen i beretningen en række øvrige forhold, der udsprang af analysearbejdet i 2003, som systemmoderniseringen skulle muliggøre; hurtigere, billigere og sikrere at gennemføre forandringer i SKATs it-systemer, reducere den teknologiske usikkerhed ved systemkomplekset og bane vej for offentlig effektivisering med lettelse for borgere og virksomheder. Problemstillingen syntes således både velbegrundet og relevant. 1/16
2. Er der en tydelig sammenhæng mellem formål, delformål og analysen? Formålet med undersøgelsen er at vurdere SKATs styring af alle 6 projekter i systemmoderniseringen. Formålet er desuden at vurdere systemmoderniseringens målopfyldelse og den organisatoriske implementering af EFI, som er det økonomisk væsentligste projekt og det projekt med mest forsinkelse. Delmålene udledes af de spørgsmål, som Rigsrevisionen i kapitel 1.1 angiver at besvare i beretningen: - Har SKATs styring af systemmoderniseringen været tilfredsstillende? - Har SKATs opgørelse af målopfyldelsen for systemmoderniseringen været tilfredsstillende, og har den organisatoriske implementering af EFI været tilfredsstillende? Rigsrevisionen har i undersøgelsen af styringen af projekterne taget udgangspunkt i gængse styringselementer i forhold til både projektstyring og økonomistyring. Der er, i det omfang der fra SKATs side har været opstillet styringsstandarder, taget udgangspunkt i disse. I de tilfælde, hvor sådanne ikke har været opstillet, er der taget udgangspunkt i minimumskrav og god praksis (s. 4), som konkret har været 4 kilder (en rapport, en vejledning, en projektmodel og et værktøj). Kilderne har det tilfælles, at de alle er udviklet til brug i den offentlige sektor i forbindelse med it og/eller digitaliseringsprojekter. Det fremgår klart i indledningerne til de forskellige analyseafsnit i beretningen, hvor og hvordan de forskellige kilder har været lagt til grund for undersøgelserne. I anvendelsen af kilderne er der ikke sondret mellem, om kilderne beskæftiger sig med it-projekter eller med digitaliseringsprojekter. Der er en sammenhæng mellem formål, delmål og analyse. Analysen fremstår klar, og teksten er velstruktureret og velskrevet. 3. Er der tydelig sammenhæng mellem analyse og konklusioner i undersøgelsen, og er konklusionerne velbegrundede? Der er en tydelig sammenhænge mellem analyse og konklusioner i undersøgelsen, og konklusionerne, som fremføres i beretningen, syntes velbegrundede. 2/16
4. Generelle bemærkninger til beretningen Rigsrevisionen har fravalgt at undersøge leverandørstyringen ( selv om forløbet af SKATs systemmodernisering også er et resultat af leverandørernes indsats, s. 2 og 17). Og det fremgår ikke af gennemgangen af roller og ansvar (pkt. 23-32), hvem der har haft ansvaret for leverandørstyringen. Dog fremgår det, at eskalationsstyregruppen, der blev nedsat i 2013, fik ansvaret for leverandørstyringen i EFI og Skattekontoen. At leverandørstyring er udeladt af undersøgelsen, vækker undring, da det flere steder i beretningen påpeges, at netop leverandørerne har haft en ikke ubetydelig indvirkning på målopfyldelsen for projekterne og dermed medvirkende til forsinkelserne, Blandt andet på s. 17; SKAT har oplyst, at leverandørernes forsinkede og manglende leverancer har været årsag til forsinkelserne, og på s. 22; der var store problemer med funktionaliteten og udeståender med leverandørerne efter idriftsættelse. Ydermere fremgår det i analysen, udført af Gartner forud for igangsættelse af systemmoderniseringen, at der blandt andet var behov at udvikle og styrke it-ledelsen af projektporteføljen (s. 7). Leverandørstyring indgår ikke i undersøgelsen, og det undersøges ikke, hvor stor en andel af hverken de budgetterede eller de afholdte omkostninger der er omkostninger til leverandører, og hvilke der er interne omkostninger. Det er således ud fra undersøgelsen ikke muligt at vurdere, hvor stor en overskridelse der kan tilskrives forøgede udgifter til leverandørerne, og hvilke der skyldes interne forhold hos SKAT. Inddragelse af leverandørstyringen i undersøgelsen vurderes til at have kunnet bidraget til en større grad af opfyldelse med formålet med undersøgelsen; vurderingen af SKATs styring af alle 6 projekter. Under analysen af bevilling konstaterer Rigsrevisionen (pkt. 44), at SKAT løbende har anmodet Finansudvalget om yderligere bevillinger; 2 gange i fase 1 og 6 gange i fase 2. Det oplyses ikke i den forbindelse, hvad begrundelserne har været for disse anmodninger, ej heller hvor meget der er anmodet om de 8 gange. Indblik heri vurderes til at kunne have bidraget til yderligere indsigt i udviklingen af styringen af projektet igennem projektets levetid, som andre steder netop omtaltes som at have været under forandring, og i hovedkonklusionen generelt som ikke tilfredsstillende. Rigsrevisionen undersøger styringen og målopfyldelsen i SKAT og ikke Skatteministeriets tilsyn. 3/16
Der undersøges med stor rimelighed rolle- og ansvarsfordelingen på de forskellige niveauer i projektorganisationen, herunder direktionsniveau. Af beretningen fremgår det, at direktionen uddelegerede opgaver til et nedsat beslutningsforum, som har haft varierende titler og opgaver i løbet af perioden. Det fremgår dog ikke, fra hvilket organisatorisk niveau medlemmer af disse fora kommer. Vurdering af beretningens faglige kvalitet (sæt x) Tilfredsstillende x Ikke tilfredsstillende 4/16
Beretning: 17/2014 Beretning om Satspuljen 1. Er problemstillingen velbegrundet og relevant? Satspuljen blev etableret ved lov i forbindelse med indførelsen af automatisk regulering af overførselsindkomster i 1990. Den akkumulerende satspulje udgjorde i 2014 ca. 12,8 mia. kr. til forbedring af vilkårene for overførelsesindkomster og svage grupper. Satspuljen har betydning for mange borgere og offentlige og private virksomheder. Ud af de samlede satspuljemidler udgør permanente bevilliger ca. 94 %, hvilket i 2015 efterlod ca. 0,8 mia. kr. som mulige at forhandle om. Finansministeriet har det overordnede ansvar for satspuljen. Satspuljens størrelse er vokset markant siden 1990 og reguleres med en satsreguleringsprocent, hvis størrelse årligt fastsættes af Finansministeriet på baggrund af den almindelige lønudvikling. Der har internt i Finansministeriet været konstateret problemer og mangler i relation til forvaltningen af satspuljen; ikke korrekt tilbageførsel af midler fra ordninger, som var ophørt (jf. reference til pressemeddelse fra maj 2014), og problemer og mangler i administrationen af satspuljen (i 2011 blev der konstateret problemer. Der blev efterfølgende arbejdet på at rette op på disse. I 2013 blev der fulgt op på dette arbejde, og der blev fortsat konstateret mangler (jf. boks 1)). Satspuljen anvendes til en bred vifte af initiativer indenfor social-, sundhedsog beskæftigelsesområdet. Størrelsen af og omfanget af antal ordninger under satspuljen (i alt 589 ordninger), de forskellige typer bevillinger, nogle permanente andre midlertidige, samt den store variation, der kan være i initiativerne, både hvad angår indsats og målgruppen (jf. boks 2), og det store antal af projekter, vidner om en stor kompleksitet. Rigsrevisionen tog i oktober 2014 selv initiativ til undersøgelsen og argumenterer for, at det givet satspuljens økonomiske og politiske væsentlighed er relevant at undersøge forvaltningen af puljen, herunder om der er åbenhed og gennemsigtighed om de mange ordninger, puljen finansierer. Problemstillingen vurderes til at være velbegrundet og relevant. 2. Er der en tydelig sammenhæng mellem formål, delformål og analysen? Formålet med undersøgelsen er at vurdere, om Ministeriet for Børn, Ligestilling, Integration og Sociale Forhold, Beskæftigelsesministeriet, Ministeriet for Sundhed og Forebyggelse samt Finansministeriet har en tilfredsstillende og gennemsigtig forvaltning af satspuljen (s. 1). 5/16
Konkret ønskes følgende spørgsmål besvaret i beretningen: 1. Sikrer Finansministeriet en tilfredsstillende forvaltning af satspuljen, herunder et validt grundlag for den årlige opgørelse af satspuljen? 2. Følger Ministeriet for Børn, Ligestilling, Integration og Sociale Forhold, Beskæftigelsesministeriet og Ministeriet for Sundhed og Forebyggelse op på, hvad satspuljen anvendes til? Der fremgår ikke nogle eksplicitte delmål af selve beretningen. I det efterfølgende lægges følgende delmål, som tages fra revisionskriterierne, til grund for herværende evaluering: Delmål i relation til Finansministeriets sikring af tilfredsstillende forvaltning af satspuljen: - Er der i Finansministeriet udover det formelle forvaltningsgrundlag udarbejdet vejledninger for styringen af satsreguleringsordninger, herunder om der er klare interne arbejdsgangsbeskrivelser for administration af puljen - Har Finansministeriet et validt datagrundlag for opgørelsen af satspuljen, herunder om ministeriets oversigt over satspuljeprojekter indeholder valide data, der kan anvendes som udgangspunkt for en opgørelse af den årlige satspulje. Delmål i relation til, om Ministeriet for Børn, Ligestilling, Integration og Sociale Forhold, Beskæftigelsesministeriet og Ministeriet for Sundhed og Forebyggelse følger op på, hvad satspuljen anvendes til: - Følger ministerierne op på, hvad satspuljemidlerne anvendes til, herunder om de følger op på alle bevillingstyper, der finansieres af satspuljen, såvel midlertidige som permanente drifts- og projekttilskud, lovbundne bevillinger og bloktilskud - Foretager ministerierne tværgående evalueringer eller vurdering af satspuljernes anvendelse. Overordnet syntes der at være god overensstemmelse mellem analysen af Finansministeriets sikring af tilfredsstillende forvaltning af satspuljen og mål og delmål. Det fremgår klart og eksplicit, hvilket materiale og hvilket datagrundlag der anvendes i analysen. I undersøgelsen i relation til delmålene vedr. Finansministeriet undersøger Rigsrevisionen, om der er udarbejdet arbejdsgangsbeskrivelser for beregningerne, der lægger til grund for satsreguleringsprocenten, og dog ikke praksis på området. Der syntes ligeledes overordnet at være en god overensstemmelse mellem analysen af, om ministerierne følger op på, hvad satspuljen anvendes til, og mål og delmål, både hvad angår undersøgelse af drifts- og projekttilskud samt lovbundne bevillinger og bloktilskud. Det fremgår også klart, hvilket materiale 6/16
der er anvendt i analysen, og af bilag 2 fremgår det klart, hvilke udvalgte ordninger der indgår. Der forekommer i analysen forhold, som vurderes at kunne give anledning til ønske om/relevans af yderligere materiale for i højere grad at opfylde det overordnede formål, omhandlende om de 3 ministerier følger op på, hvad satspuljen anvendes til: - Under pkt. 41, s. 20, fremgår det: Ministerierne tilkendegiver, at kravene til afrapportering varierer alt efter tilskuddets størrelse. Her vurderes det som relevant at have søgt mere detaljeret indsigt heri. - Under pkt. 43, s. 20, fremgår det: Størstedelen af tilskudsmodtagerne har i de udvalgte sager afrapporteret om målopfyldelsen (27 ud af 36 sager). Her vurderes det som relevant at have søgt information om, hvad konsekvenserne for den manglende afrapportering er. - Under pkt. 44, s. 20, fremgår det, at der er 8 sager, hvor afrapporteringen ikke vurderes. Her vurderes det som relevant at have søgt information om, hvorfor disse ikke vurderes, og hvad ministeriet vurderer er konsekvensen af den manglende vurdering. 3. Er der tydelig sammenhæng mellem analyse og konklusioner i undersøgelsen, og er konklusionerne velbegrundede? Der syntes at være en tydelig sammenhæng mellem analyse og konklusionerne i undersøgelsen, og konklusionerne syntes at være velbegrundede. I delkonklusionen vedr. opfølgning på satspuljemidlernes anvendelse står der: I størstedelen af de projekt- og driftstilskud, Rigsrevisionen har undersøgt, følger ministerierne op på mål, resultater og økonomi (s. 18). I analysen fremgår det, at størstedelen af tilskudsmodtagerne har i de udvalgte sager afrapporteret om målopfyldelsen (27 ud af 36 sager), altså i 75 % af sagerne, og videre samme side, at 8 ud af de 27 afrapporteringssager ikke vurderes, altså er der i alt 30 %, der ikke vurderes. Det bemærkes ikke, hvad konsekvenserne er ved udebleven afrapportering i de resterende 25 % af sagerne, ej heller hvorfor 8 afrapporteringssager ikke vurderes. 4. Generelle bemærkninger til beretningen Beretningen fremstår velskrevet og med en samlet og tydelig angivelse af, hvilket materiale der er anvendt i analysen af de to spørgsmål, der ønskes besvaret i undersøgelsen. Vurdering af beretningens faglige kvalitet (sæt x) Tilfredsstillende x Ikke tilfredsstillende 7/16
Beretning: 01/2015 Beretning om adgangen til it-systemer, der understøtter samfundsvigtige opgaver 1. Er problemstillingen velbegrundet og relevant? Rigsrevisionen har selv taget initiativ til undersøgelsen og adresserer i beretningen problemstillingen om styring, kontrol og logning af udvidede administrationsrettigheder. Manglende styring, kontrol og logning af rettighederne vurderes til at udgøre en sikkerhedsmæssig risiko for misbrug og kompromittering af it-systemer og data. Beretningen sætter ifølge Rigsrevisionen fokus på den væsentligste risiko, der er forbundet med, at personer uretmæssigt kan få adgang til institutionernes it-systemer og data. Aktualiteten for behovet for at undersøge om styring, kontrol og logning af de udvidede administrationsrettigheder fremgår ifølge Rigsrevisionen af flere forhold, bl.a.: 1. Forsvarets Efterretningstjenestes Efterretningsmæssige Risikovurdering 2014 hvoraf det fremgår, at danske myndigheder er truet af en omfattende og voksende spionage via internettet fra statsstøttede aktører. 2. Kriminelle eller politiske hackere og den teknologiske udvikling gør, at risikoen for at blive hacket øges, og at risikobilledet ændrer sig løbende. 3. Truslen fra ansatte, der bevidst eller ubevidst bryder sikkerheden på deres arbejdsplads. Problemstillingen syntes relativ relevant, men særdeles velbegrundet og aktuel. Beretningens formål er at vurdere, om de statslige institutioner følger anbefalingerne om god it-sikkerhedspraksis, og om anføres til at være anerkendte og offentlig tilgængelige (s. 6). Relevansen af at vurdere, om de statslige institutioner følger anbefalingerne om god it-sikkerhedspraksis, når disse tilsyneladende ikke præcist er formuleret samlet noget steds, vurderes her til at være diskutabel. Rigsrevisionen har selv ved udviklingen af revisionskriterierne taget udgangspunkt i anbefalinger fra 3 forskellige kilder. Havde det derfor i stedet været mere relevant at vurdere, i hvor høj grad statslige institutioner følger anbefalingerne for god it-sikkerheds praksis. Dette kunne yderligere have givet mulighed for at belyse, om der er behov for centralt udmeldte konkrete anbefalinger og krav indenfor området, som statsinstitutioner skal følge. 8/16
2. Er der en tydelig sammenhæng mellem formål, delformål og analysen? Formålet med undersøgelsen er at vurdere, om de statslige institutioner følger anbefalinger om god it-sikkerhedspraksis for at beskytte adgangen til itsystemer og data, som understøtter samfundsvigtige opgaver. I beretningen undersøges det, hvordan de seks udvalgte institutionerne styrer og kontrollerer de udvidede administrationsrettigheder, herunder hvordan institutionerne sikrer logning af anvendelsen af de udvidede administrationsrettigheder. Rigsrevisionen undersøger disse forhold i januar-juni 2015. Centralt for undersøgelsen er anbefalingerne om god it-sikkerhedspraksis. Der findes ikke ifølge Rigsrevisionen centralt udmeldte standarder og krav til sikkerhed præcist for opsætning af AD og styring og kontrol af udvidede administrationsrettigheder. Rigsrevisionen beskriver selv, hvad god it-sikkerhedspraksis er således; hvad en institution bør gøre for at styre, kontrollere og logge de udvidede administrationsrettigheder med udgangspunkt i de anbefalinger, leverandører af AD (dvs. Microsoft) har formuleret, øvrige anerkendte internationale anbefalinger formuleret af branchen (fx SANS Institute) og logvejledningen fra Center for Cybersikkerhed (s. 19). På baggrund af disse udvikler Rigsrevisionen konkrete revisionskriterier og målepunkter til brug i undersøgelsen. Inden undersøgelsen gennemføres er såvel kriterierne og målepunkter drøftet med Center for Cybersikkerhed og it-sikkerhedsfirmaet Fort- Consult (som der er ikke er beskrevet hvad er i modsætning til de andre aktører, som alle er beskrevet hvad er ) for at kvalificere kriterierne yderligere. Analysen følger nøje de af Rigsrevisionen udarbejdede revisionskriterier og målepunkter, og der er en tydelig sammenhæng mellem formålet, revisionskriterierne og analysen. Analysen fremstår særdeles klar, og selve teksten er velformuleret, præcis og forståelig. Blandt andet er der gjort brug af forklaringer af fagtermer i analysen. 3. Er der tydelig sammenhæng mellem analyse og konklusioner i undersøgelsen, og er konklusionerne velbegrundede? Der er en tydelig sammenhæng mellem analysen og konklusionerne i undersøgelsen, og konklusionerne fremstår, ud fra det, der er undersøgt og fundet, velbegrundede. 4. Generelle bemærkninger til beretningen Vurdering af beretningens faglige kvalitet (sæt x) Tilfredsstillende x Ikke tilfredsstillende 9/16
Beretning: 4/2015 Beretning om brugervenligheden af offentlig digital selvbetjening for virksomheder 1. Er problemstillingen velbegrundet og relevant? Rigsrevisionen har selv taget initiativ til undersøgelsen om brugervenligheden af offentlig digital selvbetjening set fra et virksomhedsperspektiv. Digital selvbetjening er på en lang række områder obligatorisk for virksomhederne i Danmark, og det er ifølge Rigsrevisionen ikke muligt at drive virksomhed uden at betjene sig selv digitalt. Hvis ikke de digitale løsninger er brugervenlige, argumenteres der for, at virksomhederne spilder deres tid og penge, og at virksomhederne risikerer at begå fejl. Samtidig argumenteres der for, at manglende brugervenlighed kan betyde, at det offentlige skal bruge resurser på support og eventuelle fejl og mangler. Rigsrevisionen fremfører 3 hovedårsager til undersøgelsen: 1. Digital selvbetjening er et krav på en række områder, der er nødvendige for at kunne drive virksomhed. Og bemærker i øvrigt i forlængelse heraf, at alle 4 fællesoffentlige digitaliseringsstrategier siden 2002 har haft som mål at levere brugervenlighed, sammenhængende offentlig digital selvbetjening med udgangspunkt i borgernes og virksomhedernes behov. 2. Høj brugervenlighed er en forudsætning for, at digital selvbetjening er omkostningseffektiv både for virksomhederne og de offentlige myndigheder. 3. En tidligere undersøgelse foretaget af Rigsrevisionen i 2013 om brugervenligheden af offentlig digital selvbetjening viste, at myndighederne kunne forbedre løsningernes brugervenlighed, og at Rigsrevisionen på den baggrund finder det vigtigt at undersøge området igen. I undersøgelsen i 2013 havde Rigsrevisionen endvidere fokus på borgerrettet selvbetjening og vælger derfor i denne undersøgelse at koncentrere sig om virksomhederne. Problemstillingen og hovedårsagerne til at gennemføre undersøgelsen vurderes generelt til at være relevant og velbegrundet. 2. Er der en tydelig sammenhæng mellem formål, delformål og analysen? Formålet med undersøgelsen anføres til at være at vurdere, om digital selvbetjening for virksomheder er brugervenlig. I beretningen besvares to spørgsmål: 1. Er de enkelte digitale selvbetjeningsløsninger brugervenlige fra start til slut? 2. Er der brugervenlige sammenhænge mellem relevante digitale selvbetjeningsløsninger for virksomheder? 10/16
Formålet søges opfyldt ved at fokusere på mikrovirksomheder, konkret IVSvirksomheder, og ved at bruge ikke-professionelle brugere som testpersoner. Udvælgelsen af løsningerne til testene er valgt med udgangspunkt i, at de er relevante for nystartede virksomheder, og der udvælges i alt 9 løsninger, hvoraf seks er obligatoriske. De 9 løsninger er fordelt på 5 statslige myndigheder og kommunerne, og de kan være relevante for nystartede virksomheder i forskellige situationer. Udvælgelseskriterierne syntes fornuftige for at undersøge problemstillingen og besvare spørgsmålene/opfylde formålet. Rigsrevisionen vælger at undersøge brugervenligheden ved hjælp af brugertests baseret på en ISO-standard. Denne standard måler på selve indtastningen. Rigsrevisionen anfører, at de for deres undersøgelse lægger til grund, at der er flere led i en digital selvbetjeningsløsning end selve indtastningen, nemlig vejen ind og afslutning, og at alle led skal være brugervenlige, for at løsningen er brugervenlig fra start til slut. På den baggrund udarbejder de sammen de eksperter, der har udført testene i undersøgelsen (som er medarbejdere fra analysebureaet EyeReply, jf. bilag 2), en række kriterier herfor. Dette syntes at være fornuftigt for at besvare spørgsmål 1 og for at opfylde formålet med undersøgelsen. Der vurderes at være sammenhæng mellem formål, delmål og analyse. 3. Er der tydelig sammenhæng mellem analyse og konklusioner i undersøgelsen, og er konklusionerne velbegrundede? Der er overvejende en tydelig sammenhæng mellem analyserne og konklusionerne. I hovedkonklusionen på s. 2 og 3 omtales det dog, at Rigsrevisionen finder det positivt, at alle 5 statslige myndigheder og KL på vegne af kommunerne har oplyst, at de vil bruge testenes resultater til at forbedre brugervenligheden af deres respektive løsninger. Nogle forbedringer er ifølge myndighederne allerede gennemført og senere Rigsrevisionen finder det også positivt, at Digitaliseringsstyrelsen vil arbejde for, at der udarbejdes en fællesoffentlig test, som dækker selvbetjening fra start til slut. Om end det er interessant at høre om, hvad undersøgelsen har givet anledning til, syntes der ikke at være en tydelig sammenhæng mellem formål, analyse og disse bemærkninger i konklusionen. 4. Generelle bemærkninger til beretningen I bilag 2 præsenteres undersøgelsesmetoden i detaljer, og der refereres her til brugervenlighedsekspert og til forskning, uden der opgives eksplicitte eller konkrete referencer. Undersøgelsen bygger i høj grad på gennemført brugervenlighedstests af 28 brugere. Udvælgelsen af de 28 er; Baseret på bl.a. 11/16
brugervenlighedseksperten Robert A. Virzi, har EyeReply oplyst, at der er 95 % sandsynlighed for at identificere de fejl, som opstår for 10 % af brugerne i den samlede population, når 28 brugere tester en løsning (s. 45). Da Virzis arbejde og hans resultater således er centralt for gennemførelsen af brugervenlighedstesten og dermed undersøgelsens resultater (hvor netop den statiske gyldighed af testene handler om at have tilstrækkeligt mange brugere til at have en høj sikkerhed for, at eventuelle problemer og fejl, som en løsning har, opstår i testene ), vurderes en konkret reference til Virzis arbejde og hans resultater at have været relevant. På s. 45 anføres Forskning peger på, uden det eksplicit fremgår, hvilken forskning der refereres til. Vurdering af beretningens faglige kvalitet (sæt x) Tilfredsstillende x Ikke tilfredsstillende 12/16
Beretning: 3/2015 Beretning om Skatteministeriets økonomistyring 1. Er problemstillingen velbegrundet og relevant? Undersøgelsen er lavet på baggrund af en anmodning fra Statsrevisorerne. Baggrunden for undersøgelsen er ifølge beretningen, at der de senere år er konstateret en række væsentlige problemer i Skatteministeriets og SKATs forvaltning. Statsrevisorerne anmodede i maj 2014 Rigsrevisionen om at besvare følgende to spørgsmål: 1. Har Skatteministeriets styring og tilsyn været tilrettelagt, så ministeriets øverste ledelse har kunnet prioritere og følge op på SKATs virksomhed og dermed sørget for en sikker, retfærdig og effektiv sagsbehandling? 2. Har SKAT mål, strategier og en økonomistyring, der sikrer grundlaget for en tilfredsstillende opgaveløsning i SKAT? I kapitel 1 begrundes problemstillingen ikke yderligere end ovenfor anført. Problemstillingen syntes således, alene vurderet ud fra indledningen i beretningen, ikke velbegrundet. Igennem analysen bliver problemstillingerne i særligt SKATs forvaltning og i mindre grad i Skatteministeriets forvaltning tydeligere, og problemstillingen fremstår efter gennemlæsningen af beretningen velbegrundet og også relevant. 2. Er der en tydelig sammenhæng mellem formål, delformål og analysen? Der vurderes at være en relativ utydelig sammenhæng mellem formål, delmål og analysen. Af beretningen kapitel 1 fremgår to formål; ét fra Statsrevisorerne og ét fra Rigsrevisionen. Disse formål er ikke identiske. Der vurderes at være en utydelig sammenhæng mellem anmodningen fra Statsrevisorerne (særlig mellem det første spørgsmål (se ovenfor) og de spørgsmål, særligt det 3. spørgsmål, som Rigsrevisionen besvarer i beretningen (jf. s.1). Statsrevisorerne anmoder Rigsrevisionen om at besvare følgende spørgsmål; Har Skatteministeriets styring og tilsyn været tilrettelagt, så ministeriets øverste ledelse har kunnet prioritere og følge op på SKATs virksomhed og dermed sørget for en sikker, retfærdig og effektiv sagsbehandling?, og Rigsrevisionen besvarer og analyserer, om Skatteministeriet fører et tilfredsstillende tilsyn med SKAT. 13/16
Formålet med undersøgelsen er ifølge Rigsrevisionen at vurdere, om Skatteministeriet og SKAT har en tilfredsstillende økonomistyring (jf. s. 1). Ifølge Rigsrevisionen er fundamentet for god økonomistyring af en institution, at der foreligger klare forretningsgange og klare rolle- og ansvarsbeskrivelser, så fundamentet for styringen og ledelsesbeslutningerne er dokumenteret og tydeliggjort for medarbejdere og ledere (bilag 1, s. 38). Det fremstår utydeligt, hvordan forretningsgange, klare roller og ansvarsbeskrivelser i Skatteministeriets er undersøgt, og i hvor høj dette har fundet sted. Det fremstår i mindre grad tydeligt, hvordan ansvarsfordelingen mellem Skatteministeriet og SKAT er, fx hvem der formulerer KPI er for SKAT samlet. Det anføres flere gange i beretningen, at der er i SKAT er igangsæt nye tiltag, som ikke er gennemført endnu, bl.a. målrettede e-læringsaktiviteter og udvikling af en ny styringsmodel, uden at det er undersøgt, hvilke strategier og mål der er udarbejdet for færdiggørelse af tiltag. Dette vurderes at kunne have bidraget til yderligere at opfylde delmålet om; mål og strategier, der sikrer grundlaget for en tilfredsstillende opgaveløsning (jf. anmodningen fra Statsrevisorerne). 3. Er der tydelig sammenhæng mellem analyse og konklusioner i undersøgelsen, og er konklusionerne velbegrundede? Der er en tydelig sammenhæng mellem den undersøgelse, som Rigsrevisionen har lavet, og den dertilhørende analyse, og de konklusioner, der præsenteret i beretningen fremstår velbegrundede. Dog giver det anledning til undring, at der ikke i hovedkonklusionen på s. 3 fremhæves, at der ud af de 8-10 turnusanalyser, der er planlagt årligt, i 2014 kun er færdiggjort 3, mens 5 stadig er i gang (det fremgår af delkonklusionen på s. 31), da der flere steder fremgår, at netop disse turnusanalyser er tildelt en central rolle i at få afdækket og løst problemerne i SKAT fremadrettet. 4. Generelle bemærkninger til beretningen Statsrevisorernes anmodede spørgsmål; Har Skatteministeriets styring og tilsyn været tilrettelagt, så ministeriets øverste ledelse har kunnet prioritere og følge op på SKATs virksomhed og dermed sørget for en sikker, retfærdig og effektiv sagsbehandling? vurderes ikke til at blive behandlet og besvaret fyldestgørende i beretningen. Undersøgelsen og beretningen fremstår mere omfangsrig og kompleks end de øvrige beretninger, som har været undertegnede eksterne evaluator tildelt. 14/16
Nedenstående vurdering er alene givet ud fra en vurdering af kvaliteten af undersøgelsen i forhold til det af Rigsrevisionen præsenterede formål med undersøgelsen på s. 1 og de af Rigsrevisionen besvarede spørgsmål ligeledes på s. 1. Havde vurdering været givet ud fra en vurdering af kvaliteten af undersøgelsen ud fra anmodningen fra Statsrevisorerne, ville vurderingen af beretningen havde resulteret i bedømmelsen ikke tilfredsstillende. Vurdering af beretningens faglige kvalitet (sæt x) Tilfredsstillende x Ikke tilfredsstillende 15/16
Bemærkninger i øvrigt på tværs af beretningerne: Det bemærkes, at der i beretningerne ikke findes reference til akademisk litteratur indenfor områderne, ligesom brugen af eksplicitte konkrete referencer ikke syntes lige udbredt i alle beretninger. Der fremkommer i alle beretninger revisionskriterier og metodebeskrivelse dog af varierende omfang. Det bemærkes, at der i konklusionerne ikke eksplicit fremgår de spørgsmål, som beretningerne ønsker at besvare, ej heller konkrete svar på spørgsmålene. De beretninger, som undertegnede har evalueret, bærer alle præg af en velstruktureret undersøgelsesmetode, som syntes udarbejdet, inden undersøgelsen er gået i gang. Dette er en styrke derved, at der undersøges det, som Rigsrevisionen sætter sig for. På den anden side en mulig svaghed, ved at der ikke åbnes op for muligheden for at undersøge noget, der opstår viden om undervejs, ligesom der ikke syntes at blive gået bagom/eller dykket ned i findings i en grad som en mere semistruktureret metode ville muliggøre. De efterfølgende bemærkninger knytter sig udelukkende til den eksterne evalueringsproces: Evaluering af revisionskriterier og metode indgå ikke i skabelonen for ekstern evaluering. Det kunne overvejes at anmode de eksterne evaluatorer om også at vurdere såvel kriterierne og metoden (herunder evt. også omfanget og beskaffenheden af det materiale, som analyserne bygger på). De eksterne evaluatorer bliver bedt om at evaluere, om der er tydelig sammenhæng mellem formål, delformål og analyse. Det fremgår dog ikke eksplicit af beretningerne, hvad der er delformål. Det kunne overvejes at præcisere det i beretningerne. Ligeledes bliver de eksterne evaluatorer bedt om at vurdere, om der er sammenhæng mellem analyse og konklusion. Her kan det fremstå lidt uklart, om det udelukkende er sammenhængene mellem analysen og konklusionen i afsnit 1.1, eller om det også er sammenhængene mellem analyse og delkonklusionerne i kapitlerne, vi anmodes om at evaluere sammenhængen mellem. Det havde været hensigtsmæssigt, om vi som eksterne evaluatorer havde fået beretningerne i elektronisk form, da det havde muliggjort søgninger i selve beretningerne, og sekundært havde muliggjort kopiering af citater fra beretningerne ind i evalueringskabelonerne. 16/16