Intern vejledning til slutbrugerundersøgelser i Rigsrevisionen Juni 2013 rigsrevisionen rigsrevisionen
I N T E R N V E J L E D N I N G T I L S L U T B R U G E R U N D E R S Ø G E L S E R I R I G S R E V I S I O N E N Indholdsfortegnelse Forord... 1 I. Hvad er en slutbruger?... 2 II. Hvornår er en undersøgelse en slutbrugerundersøgelse?... 3 III. Hvordan kan vi få viden om slutbrugere?... 4 IV. Inspirationsværktøj til slutbrugerundersøgelser... 7 Faktaark eksempler på beretninger med slutbrugerfokus... 9
F O R O R D 1 Forord Det er Rigsrevisionens strategi, at vi skal fokusere på de borgernære ydelser. I 2013 er det et internt resultatkrav, at mindst 25 % af de beretninger, som vi selv igangsætter, handler om borgernære områder. Hvad mener vi, når vi siger, at beretningerne skal handle om borgernære områder? Formålet med denne vejledning er at skabe klarhed over begreberne og give konkrete input til, hvordan sådanne undersøgelser kan gribes an. Målet med de borgernære beretninger er at undersøge, hvordan den offentlige forvaltning faktisk virker i yderste led hos borgerne. Disse borgere er slutbrugere af ydelser, service og kontrol. Slutbrugere kan fx være landmænd, som får kontrolleret, at de behandler deres besætninger efter reglerne, og studerende, som modtager undervisning. Når vi aktivt undersøger eller formidler viden om slutbrugeres adfærd og/eller konsekvenser for slutbrugere, er undersøgelsen borgernær. Det er åbenlyst, at ikke alle vores beretninger skal inddrage viden om slutbrugeres adfærd og konsekvenser for dem. Men når det er relevant, så kan ndtænkes i alle faser af en beretning i planlægningen, i forundersøgelse, i selve undersøgelsen og ikke mindst, når resultaterne skal formidles. I formidlingen kan et slutbrugerfokus hjælpe med at gøre beretningerne mere konkrete og dermed nemmere at forstå. Denne vejledning kan bruges som inspiration til at få slutbrugere med i alle faserne. I øvrigt kan vejledningen også bruges til, hvad man kan kalde metaslutbrugerundersøgelse, hvor vi undersøger, hvordan forvaltningen arbejder med at inddrage slutbrugeres perspektiv, fx i forhold til, hvordan ny lovgivning udformes. Vejledningen afsluttes med en række eksempler på beretninger, som på meget forskellige måder har inddraget viden om slutbrugeres adfærd og/eller konsekvenser for slutbrugere. Eksemplerne stammer både fra vores egne beretninger og fra beretninger fra den engelske rigsrevision (NAO) og den norske rigsrevision (Riksrevisjonen). For hvert eksempel er et tilhørende bilag, der beskriver, hvordan ndgår i undersøgelsen, hvilke metoder der er anvendt, og hvilke konkrete læringspunkter om slutbrugervinklen vi kan uddrage fra dem. Oversigten fungerer også som en opsummering af vejledningen. Man kan derfor vælge at læse vejledningen i sin helhed eller gå direkte til oversigten for at få inspiration og konkrete værktøjer til, hvordan man kan tilrettelægge og gennemføre større undersøgelser med fokus på slutbrugere. God fornøjelse! Lone Strøm
2 H V A D E R E N S L U T B R U G E R? I. Hvad er en slutbruger? Begrebet slutbruger opfatter vi forskelligt, og der eksisterer ikke velafgrænsede definitioner af, hvad en slutbruger er. Definitionen her er derfor vores tilgang. Den giver en klar opdeling mellem, hvem der er slutbruger, og hvem der ikke er, så vi kan få et fælles udgangspunkt for at undersøge perspektiver for borgere og virksomheder. Vores slutbruger er den, som er modtager af en ydelse, anvender et produkt eller bliver udsat for en kontrol mv. Når Rigsrevisionen udarbejder større undersøgelser, er borgere og virksomheder i mange tilfælde slutbrugere af det, vi undersøger. Fx er ledige slutbrugere af aktivering, og håndværksvirksomheder mv. er slutbrugere af myndighedernes kontrol med sikkerheden på byggepladser. Borgere og virksomheder er slutbrugere af offentlige ydelser. Eksempler på undersøgelser, som aktivt inddrager viden om borgere som slutbrugere, er fx NAO s undersøgelse af markedet for ældrepleje (se faktaark 3). NAO undersøger, om ældre borgere opnår god og effektiv ældrepleje ved selv at kunne vælge mellem forskellige ydelser. I undersøgelsen indgår bl.a. kvalitative interviews med 48 ældre, som har et personligt budget til at købe ældrepleje for. Interviewene indgår som revisionsbevis i forhold til at vurdere, om borgerne er i stand til effektivt og frit at købe deres ældrepleje ved hjælp af de personlige budgetter. Et andet eksempel er Rigsrevisionens beretning om effekten af aktivering af ikke-arbejdsmarkedsparate kontanthjælpsmodtagere, som ser på, om aktiveringen rent faktisk har bragt den enkelte kontanthjælpsmodtager i beskæftigelse (se faktaark 6). Medarbejdere i forvaltningen kan ikke betragtes som slutbrugere, da de er en del af det offentlige system. Medarbejdere kan imidlertid være en kilde til at undersøge, hvordan den offentlige service påvirker slutbrugerne. Det gælder særligt frontmedarbejderne, der har direkte kontakt til borgere eller virksomheder, idet de yder en offentlig service eller udfører en kontrol. Fx i Rigsrevisionens beretning om kvalitetsindsatser på sygehusene, der bl.a. ser på, om læger og sygeplejersker oplever, at de landsdækkende krav om kvalitetsmålinger og registreringer er relevante og gavnlige for kvaliteten af behandlingen af patienterne (se faktaark 8). I nogle undersøgelser vil det være relevant at inddrage både slutbrugere, fx landmænd, hvis forbrug af pesticider kontrolleres af myndighederne, og de frontmedarbejdere, som foretager kontrollen. Det gjorde NAO i undersøgelsen om vandforurening. Her undersøgte NAO myndighedernes indsats for at få landmænd til at ændre adfærd og forurene mindre, bl.a. gennem interviews og spørgeskemaer til en række kontrollanter. Samtidig inddrog de landmændene for at forstå, hvorfor de alligevel ikke reducerede deres forurening, bl.a. via en spørgeskemaundersøgelse (se faktaark 13).
H V O R D A N K A N V I F Å V I D E N O M S L U T B R U G E R E? 3 II. Hvornår er en undersøgelse en slutbrugerundersøgelse? Slutbrugere kan spille forskellige roller i en undersøgelse. Figur 1 viser de forskellige roller, som slutbrugere kan spille i en undersøgelse, og hvad det betyder for, om der tale om en slutbrugerundersøgelse. Figur 1. Slutbrugeres rolle i en undersøgelse (skal skæres væk) Ikke-slutbrugerundersøgelse Slutbrugerundersøgelse Slutbrugere motiverer til, at vi udarbejder undersøgelsen Slutbrugere indgår som eksempel på fund/konklusioner Delmål om slutbrugeres adfærd eller konsekvenser for slutbrugeren Figur 1 viser, at slutbrugere kan indgå som motivation for at udarbejde en undersøgelse, fx: Det er vigtigt, at togene kører til tiden, så passagerne kan regne med at være på arbejde til tiden eller Stofmisbrug har store personlige konsekvenser for misbrugere og deres pårørende. ( ). Rigsrevisionen har derfor fundet det væsentligt at undersøge, om Sundhedsministeriet og Socialministeriet understøtter den behandlingsindsats, der finder sted i kommunerne (læs mere i faktaark 11). Når ndgår som motivation for at udarbejde en undersøgelse, spiller denne en implicit rolle i undersøgelsen. Det kan være et fornuftigt valg i mange tilfælde, men der er ikke tale om en slutbrugerundersøgelse, fordi konklusionerne i undersøgelsen ikke er baseret på data om eller fra slutbrugere. Alene det, at en undersøgelses tema er relevant for slutbrugere, gør altså ikke undersøgelsen til en slutbrugerundersøgelse. Der skal lidt mere til. Figuren viser videre, at slutbrugere også kan indgå eksplicit som et eksempel på den problemstilling, vi har undersøgt, fx: Kompleksiteten på området for overførselsindkomster betyder, at borgerne opgiver den komplekse ansøgningsproces eller ikke ved, hvad de har ret til, hvilket fører til ukorrekte og inkonsistente overførsler (læs mere i faktaark 1). Når slutbrugerperspektivet indgår eksplicit i form af eksempler, er undersøgelsen slutbrugerrettet, hvis eksemplerne afspejler fund eller konklusioner fra undersøgelsen. Endelig viser figuren, at undersøgelsen også kan have et delmål, der handler direkte om slutbrugeres adfærd eller om konsekvenserne af et tiltag for slutbrugeren, fx: I hvilken grad bidrager forvaltningen af de statslige virkemidler til bedre tilgængelighed for personer med nedsat funktionsevne? eller Bringer aktivering de ikke-arbejdsmarkedsparate kontanthjælpsmodtagere i beskæftigelse? (læs mere i faktaark 4 og 6). I sådanne undersøgelser spiller slutbrugerperspektivet en aktiv rolle i undersøgelsen, og konklusionerne er baseret på data om slutbrugernes adfærd eller konsekvenser for slutbrugerne, fx registerdata om, hvorvidt der er en sammenhæng mellem, at kontanthjælpsmodtagere bliver aktiveret og kommer i beskæftigelse. Samlet set viser figuren, at undersøgelser bliver mere slutbrugerorienterede, i takt med at vi bevæger os langs pilen.
4 H V O R D A N K A N V I F Å V I D E N O M S L U T B R U G E R E? III. Hvordan kan vi få viden om slutbrugere? Der er flere metoder til at opnå viden om konsekvenserne for slutbrugere eller om slutbrugeres adfærd. Dette kapitel handler om forskellige metoder, og hvad de er særligt velegnede til. Vi kan vælge at spørge eller observere slutbrugere direkte. I NAO s beretning om tilsynet med forbrugervalg og udbud på markedet for ældrepleje har man fx gennem kvalitative interviews direkte spurgt 48 borgere, der modtager et personligt budget til at købe ældrepleje for (læs mere i faktaark 3). Og i Riksrevisjonens beretning om adgang til samfundslivet for personer med nedsat funktionsevne, tog Riksrevisjonen bussen sammen med en synshandicappet for at få viden om de udfordringer, synshandicappede har, når de bevæger sig i trafikken (læs mere i faktaark 4). En sådan direkte tilgang kan særligt give værdi, når alene slutbrugeren kan bidrage med de nødvendige data til revisionsbeviset eller sidder inde med en unik viden, som det er gavnligt at få indsigt i for at kunne besvare undersøgelsens delmål. Vi kan også få viden om konsekvenserne for slutbrugere eller om slutbrugeres adfærd på mere indirekte vis, fx gennem registerdata eller forskningsresultater. I Rigsrevisionens beretning om effekten af aktivering af ikke-arbejdsmarkedsparate kontanthjælpsmodtagere brugte man fx en registerundersøgelse, hvor effekten for kontanthjælpsmodtagere i aktivering blev sammenlignet med en kontrolgruppe, der ikke var i aktivering (læs mere i faktaark 6). I en undersøgelse kan forskellige måder til at opnå viden om konsekvenserne for slutbrugere på med fordel supplere hinanden, fx i NAO s beretning om Beskæftigelsesministeriets kommunikation med borgerne. Her blev data fra ministeriet og fra pensions- og jobcentre indsamlet og suppleret med fokusgruppeinterviews og eksperimenter med inddragelse af borgere (læs mere i faktaark 2). Det er oplagt at kombinere de direkte slutbrugerrettede metoder med mere traditionelle metoder til dataindsamling, så vi har forskellige kilder, der tilsammen bidrager til revisionsbeviset (triangulering). Uanset hvilken undersøgelse vi udarbejder, spørger vi ministeriet om data og får udleveret dokumenter eller redegørelser. Men de giver os som oftest ikke direkte viden om slutbrugerne.
H V O R D A N K A N V I F Å V I D E N O M S L U T B R U G E R E? 5 Skema 1 viser forskellige metoder til at indsamle viden om slutbrugeres adfærd og/eller konsekvenser for slutbrugere. Skema 1. Metoder til indsamling af viden om slutbrugeren Direkte metoder Ved at spørge slutbrugerne selv, fx via: spørgeskema kvalitative interviews. Ved at følge/observere slutbrugere, fx via: besigtigelse servicerejse. Indirekte metoder Ved at anvende registerdata om slutbrugere. Ved at anvende forskningsresultater eller -rapporter om slutbrugere. Ved at spørge interesseorganisationer eller andre organisationer om deres medlemmer. Ved at spørge medarbejdere, som arbejder med slutbrugere, og pårørende. I skema 2 og 3 præsenteres de metoder, som er særligt egnede i forhold til de forskellige måder at opnå viden om slutbrugere på, og den værdi, den pågældende metode har i forhold til slutbrugervinklen. I skemaerne fremhæves en række eksempler, hvori de pågældende metoder er anvendt. Skema 2. Eksempler på direkte metoder til at få viden om slutbrugere til vores revisionsbevis Spørg slutbrugeren direkte Spørgeskemaundersøgelser Er velegnede til i bredden at afdække slutbrugeres forståelse/oplevelse/forklaring af noget. Eksempel: NAO s beretning om vandforurening, hvor de gennem spørgeskemaer spurgte landmændene for at forstå årsagerne til, at landmændene ikke reducerede deres forurening (se faktaark 13). Kvalitative interviews og fokusgruppe Er velegnede til i dybden at afdække slutbrugeres forståelse/oplevelse af noget. Eksempler: NAO s undersøgelse af tilsynet med forbrugervalg og udbud på markedet for ældrepleje (se faktaark 3). NAO s undersøgelse af Beskæftigelsesministeriets kommunikation med borgerne (se faktaark 2). Følg/observer slutbrugeren Besigtigelse Godt eksplorativt redskab til at opnå indsigt i slutbrugeres adfærd, oplevelser o.l. ude i marken. Eksempler: Riksrevisjonens beretning om adgang til samfundslivet for personer med nedsat funktionsevne, hvor Riksrevisjonens ansatte tog bussen sammen med en synshandicappet og dermed kunne konstatere, hvilke udfordringer synshandicappede har, når de skal bevæge sig rundt i det norske samfund (se faktaark 4). NAO s undersøgelse af Beskæftigelsesministeriets kommunikation med borgerne, hvor NAO iværksatte et brugereksperiment for at undersøge, hvordan personer søger og finder information om ydelser på nettet, bl.a. for at identificere, hvor og hvor nemt personerne var i stand til at finde relevant information, og om der var forskel på de undersøgte ydelser (se faktaark 2). Servicerejsen Godt redskab til at få indsigt i og forstå, hvordan slutbrugere oplever en proces fra første til sidste kontakt med administrationen/frontpersonalet, og til at identificere, hvilke problemer og udfordringer der karakteriserer systemet. Servicerejsen er en form for forløbsanalyse, der følger en borger/klient igennem et helt forløb, fx en kræftpatient, fra vedkommende går til egen læge, der mistænker kræft, til vedkommende erklæres rask og går til rehabilitering eller ultimativt er på hospice eller dør på sygehuset.
6 H V O R D A N K A N V I F Å V I D E N O M S L U T B R U G E R E? Skema 3. Eksempler på indirekte metoder til at få viden om slutbrugere til vores revisionsbevis Anvend registerdata om slutbrugere Registerdata giver mulighed for at anvende data for hele populationen eller at tage et stort, repræsentativt udtræk af data, der belyser konsekvenser for slutbrugeren. Det bliver dermed muligt at afdække konsekvenserne for alle relevante slutbrugere. Eksempler: Rigsrevisionens beretning om effekten af aktivering af ikke-arbejdsmarkedsparate kontanthjælpsmodtagere (se faktaark 6). Rigsrevisionens beretning om effekten af integrationsindsatsen over for nyankomne udlændinge (se faktaark 7). Anvend forskningsresultater eller -rapporter om slutbrugere Allerede eksisterende forskningsresultater kan inddrages til at understøtte en undersøgelses resultater. Eksempler: NAO s beretning om håndtering af kompleksiteten på overførselsområdet, som rummer gennemgang af 40 anonyme sager fra en borgerrådgivningsorganisation (se faktaark 1). NAO s beretning om ældrepleje, hvor undersøgelsens kvalitative interviews med slutbrugere underbygges og suppleres med 2 allerede tilgængelige tredjepartsundersøgelser (se faktaark 3). Spørg interesseorganisationer eller andre organisationer om deres medlemmer Interesseorganisationer giver fx et godt udgangspunkt for at indhente data om cases eller til at identificere slutbrugere til interviews. Eksempler: Riksrevisjonens undersøgelse af adgang til samfundslivet for personer med funktionsnedsættelse, hvor de interviewede 5 organisationer, der varetager interesserne for personer med nedsat funktionsevne, for at få deres vurderinger af tilgængeligheden og årsager til manglende tilgængelighed og brugerinddragelse (se faktaark 4). Rigsrevisionens beretning om Kriminalforsorgens initiativer til forebyggelse af dømtes tilbagefald til kriminalitet. Her gjorde man brug af en fokusgruppe bestående af personer fra bl.a. interesseorganisationen EXIT, som hjælper indsatte og eksindsatte til at leve som aktive mennesker uden kriminalitet, tænketanken FORSETE, Dansk Socialrådgiverforening mfl. (se faktaark 14). Spørg frontmedarbejdere, som arbejder med slutbrugere Besigtigelse God til at få kendskab til, hvordan frontpersonalet interagerer/er i kontakt med slutbrugere for at identificere eventuelle problemer og udfordringer forbundet hermed. Eksempel: NAO s beretning om Beskæftigelsesministeriets kommunikation med borgerne (se faktaark 2). Kvalitative interviews og fokusgruppe Velegnede til at få indsigt i, hvordan medarbejderne oplever deres arbejde i forhold til slutbrugere, herunder hvilke eventuelle udfordringer og problemer de oplever i den forbindelse. Eksempler: NAO s beretning om håndtering af kompleksiteten på overførselsområdet (se faktaark 1). NAO s beretning om vandforurening, hvor de spurgte landmændene for at forstå årsagerne til, at landmændene ikke reducerede deres forurening (se faktaark 13).
I N S P I R A T I O N S V Æ R K T Ø J T I L S L U T B R U G E R U N D E R S Ø G E L S E R 7 IV. Inspirationsværktøj til slutbrugerundersøgelser I nedenstående værktøj som er et simpel skema med tilhørende faktaark indgår en række beretningseksempler, der er placeret alt efter beretningernes grad af slutbrugerfokus og metodebrug. Blandt beretningseksemplerne indgår både vores egne beretninger og beretninger fra Riksrevisjonen og NAO. Bemærk, at beretningseksemplerne fra Rigsrevisionen ikke er udtømmende for hele vores seneste produktion, men alene skal eksemplificere forskellige måder, vi har inddraget slutbrugere på. Du kan bruge værktøjet til at få inspiration til metodevalg, når du står i en situation, hvor du gerne vil undersøge konsekvenser for slutbrugere, men ikke helt kan se for dig, hvordan det kan gøres. Hvis du fx overvejer at formulere et helt delformål om konsekvenser for slutbrugere, kan du i den sidste kolonne i skemaet se eksempler på beretninger, hvor der primært er brugt enten indirekte eller direkte metoder til at undersøge konsekvenser for slutbrugere. Beretningseksemplerne er placeret i skemaet på baggrund af den metode, som er den bærende i undersøgelsen i forhold til at indhente viden om slutbrugere. Det er vigtigt at bemærke, at den slutbrugerorienterede metode næsten aldrig står alene, men understøttes af en række andre ofte mere traditionelle metoder. Ved at orientere dig i de bagvedliggende faktaark om de enkelte undersøgelser kan du bl.a. få en idé om, hvordan slutbrugeren indgår i undersøgelsen, hvilke metoder der er anvendt i undersøgelsen, og hvilke læringspunkter undersøgelsen kan give dig angående slutbrugervinklen.
8 I N S P I R A T I O N S V Æ R K T Ø J T I L S L U T B R U G E R U N D E R S Ø G E L S E R Skema 5. Inspirationsværktøj til slutbrugerundersøgelser Slutbrugeren motiverer til, at vi udarbejder undersøgelsen Slutbrugeren indgår som eksempel på fund/konklusioner Delmål om slutbrugerens adfærd eller konsekvenser for slutbrugeren Direkte metoder Ved at spørge slutbrugerne selv, fx via: spørgeskema kvalitative interviews. Ved at følge/observere slutbrugere, fx via: besigtigelse servicerejse. NAO s beretning om håndtering af kompleksiteten på overførselsområdet (faktaark 1). Riksrevisjonens beretning om adgang til samfundslivet for personer med nedsat funktionsevne (faktaark 4). NAO s beretning om håndtering af vandforurening i England (faktaark 13). NAO s beretning om tilsynet med forbrugervalg og udbud på markedet for ældrepleje (faktaark 3). NAO s beretning om Beskæftigelsesministeriets kommunikation med borgerne (faktaark 2). Indirekte metoder Ved at anvende registerdata om slutbrugere. Ved at anvende forskningsresultater eller -rapporter om slutbrugere. Ved at spørge interesseorganisationer eller andre organisationer om deres medlemmer. Ved at spørge frontmedarbejdere, som arbejder med slutbrugere. Rigsrevisionens beretning om kvalitetsindsatser på sygehusene (faktaark 8). Rigsrevisionens beretning om sammenhængende patientforløb (faktaark 9). Rigsrevisionens beretning om undervisningen på universiteterne (faktaark 10). Rigsrevisionens beretning om styring af behandlingsindsatsen mod stofmisbrug (faktaark 11). Rigsrevisionens beretning om Kriminalforsorgens initiativer til forebyggelse af dømtes tilbagefald til kriminalitet (faktaark 14). Rigsrevisionens beretning om effekten af aktivering af ikkearbejdsmarkedsparate kontanthjælpsmodtagere (faktaark 6). Rigsrevisionens beretning om voksnes adgang til psykiatrisk behandling (faktaark 5). Rigsrevisionens beretning om effekten af integrationsindsatsen over for nyankomne udlændinge (faktaark 7). Rigsrevisionens beretning om elberedskabet i Danmark og i Norden (faktaark 12).
F A K T A A R K E K S E M P L E R P Å B E R E T N I N G E R M E D S L U T B R U G E R F O K U S 9 Faktaark eksempler på beretninger med slutbrugerfokus Faktaark 1 Håndtering af kompleksiteten på overførselsområdet (Dealing with the complexity of the benefits system), NAO Det er særligt beretningens tredje del, som er brugerorienteret, og her påpeges følgende: Kompleksiteten fører i en række tilfælde til ukorrekte og inkonsistente overførsler. Visse borgere modtager fx ikke de ydelser, de er berettiget til enten som konsekvens af, at de direkte opgiver den komplekse ansøgningsproces, eller som resultat af manglende opfyldelse af indviklede ansøgningsprocedurer og -krav. I andre tilfælde er borgere ikke klar over, at de skal foretage indrapportering i tilfælde af, at deres livsomstændigheder ændres, hvilket tilsvarende kan føre til, at borgere modtager mere, end de reelt er berettiget til. Kompleksiteten medfører, at borgerne distancerer sig fra systemet og ikke tager stilling til deres pensioner og dermed ikke sikrer sig tilstrækkelige pensionsopsparinger. Kompleksiteten vanskeliggør ministeriets kommunikation med borgerne, som dermed ofte bliver utilstrækkelig og svært forståelig. Kompleksiteten medfører lange sagsbehandlingstider for borgerne. http://www.nao.org.uk/publications/0506/dealing_with_the_complexity_of.aspx anvendes i Som eksempel Fokusgruppe Andre metoder Beretningen belyser, hvordan kompleksiteten på overførselsområdet påvirker den service, der ydes borgerne (hovedkonklusionerne herpå er beskrevet ovenfor). Det udgør ét af beretningens 4 delafsnit. Fokusgruppeinterviews med frontpersonale indgår som revisionsbevis, bl.a. i forhold til at vise, at personalet som resultat af områdets kompleksitet finder det vanskeligt, at sikre borgerne den rette og nødvendige information. Gennemgang af relevant litteratur fra frivilligsektoren, som bidrager til at identificere aspekter, der relaterer sig til (for)brugerens perspektiv (bl.a. gennemgang af 40 anonyme sager fra en borgerrådgivningsorganisation). Herudover inddragelse af eksterne rapporter og undersøgelser på området. Der blev også udsendt spørgeskema til ministeriet, og ministeriets interne evalueringer og erfaringer fra tidligere NAO-beretninger blev gennemgået. Uden slutbrugervinklen havde det ikke været muligt at identificere konsekvenserne af kompleksiteten på området for alle berørte aktører. Beretningen undersøger vilkårene for administrationens og frontpersonalets arbejde som resultat af kompleksiteten på området og for ministeriets indsatser for at reducere denne. Det, slutbrugervinklen føjer til af værdi, er, at den inddrager sidste led i kæden og således også identificerer konsekvenserne for dem, der er modtagere af ydelserne. I beretningen citeres regeringen desuden for at mene, at en forenkling på området vil hjælpe folk til at fokusere på at komme tilbage på arbejdsmarkedet. I forlængelse heraf synes det naturligt at identificere kompleksitetens effekter for netop borgerne for at kunne undersøge og vurdere ministeriets arbejde for at komme disse problemer til livs og dermed gøre folk i bedre stand til at komme tilbage på arbejdsmarkedet.
10 F A K T A A R K E K S E M P L E R P Å B E R E T N I N G E R M E D S L U T B R U G E R F O K U S Faktaark 2 Beskæftigelsesministeriets kommunikation med borgere (Department for Work and Pensions: Communicating with customers), NAO Beretningen handler om Beskæftigelsesministeriets kommunikation med borgerne i forbindelse med ansøgning om og modtagelse af sociale ydelser. Undersøgelsen ser på: hvor let det er for borgerne at finde ud af, hvordan og hvor de skal søge om ydelserne, og hvilken information det er påkrævet, at de indsender hvor ligetil det er for borgerne at indsende oplysninger til ministeriet gennem deres foretrukne kanaler (ansigt-til-ansigt, telefon, brev eller nettet) kvaliteten af den information, ministeriet gør tilgængelig både under og efter ansøgningsprocessen om ministeriet gør maksimal brug af de oplysninger, som de modtager i ansøgninger, for at lette den efterfølgende kontakt for borgeren. http://www.nao.org.uk/publications/0809/communicating_with_customers.aspx anvendes i Delformål er formuleret, så slutbruger skal spørges, for at delformålet kan besvares Til at underbygge revisionsbevis, som er indhentet ved øvrige metoder Besigtigelse/observation Kvalitative interviews Fokusgruppe Andre: Eksperiment Undersøgelsen har i høj grad fokus på, hvordan borgerne oplever kommunikationen og interaktionen med ministeriet (fremfor fx blot at have fokus på, hvad ministeriet gør for at sikre en god kommunikation). Det nødvendiggør, at slutbrugeren (dvs. de borgere, der er i kontakt med ministeriet i forbindelse med ansøgning om ydelser) spørges direkte. Slutbrugerne indgår desuden som revisionsbevis gennem fokusgruppeinterviews og eksperiment. Der blev gennemført besøg af 1-2 dages varighed på lokale pensions- og jobcentre for at få overblik over, hvordan informationsudveksling fandt sted. Her blev der desuden gennemført interviews med chefer og personale for bl.a. at få deres vurderinger af mulige forbedringer. Der blev gennemført interviews med nøglemedarbejdere fra ministeriet. I undersøgelsen blev der gennemført 3 dybdegående fokusgruppeinterviews med modtagere af de undersøgte ydelser og 2 elitefokusgruppeinterviews med NGO er og frivillige organisationer i velfærdssektoren. Brugereksperiment blev anvendt til at undersøge, hvordan personer søger og finder information om ydelser på nettet, bl.a. for at identificere, hvor og hvor nemt personerne var i stand til at finde relevant information, og om der var forskel på de undersøgte ydelser. I alt 80 personer deltog i eksperimentet. I denne beretning inddrages slutbrugervinklen i en metaundersøgelse af borgernes møde med myndighederne i forbindelse med modtagelsen af sociale ydelser. Uden slutbrugervinklen havde det ikke været muligt at forstå og vurdere, hvordan borgerne oplever kommunikationen med myndighederne, og om ministeriet i tilstrækkelig grad gør det ligetil for borgerne (på korrekt vis) at ansøge om de ydelser, de har retmæssigt krav på. Slutbrugervinklen er i denne beretning undersøgt gennem en række metodiske tilgange, der vurderes at medføre et stort resurseforbrug. Den slutbrugerorienterede beretning vurderes dog som gennemførbar selv uden inddragelse af alle af de anvendte metoder.
F A K T A A R K E K S E M P L E R P Å B E R E T N I N G E R M E D S L U T B R U G E R F O K U S 11 Faktaark 3 Tilsynet med forbrugervalg og udbud på markedet for ældrepleje (Oversight of user choice and provider competition in care markets), NAO Beretningen beskriver indledningsvist udviklingen i retning af øget frit valg og konkurrence på markedet for ældrepleje. Anden del fokuserer på forbrugervalg og undersøger: om borgerne mener, at frit valg i kraft af tildeling af personlige budgetter til indkøb af ældreplejeydelser sikrer gode ydelser om brugerne kan identificere og købe ydelserne på effektiv vis de potentielle statslige omkostninger ved at forbrugere træffer dårligt informerede valg. Det er særligt dette delmål, der er slutbrugerorienteret. Tredje del undersøger konkurrencen mellem udbydere på markedet for ældreplejeydelser, og endelig undersøger fjerde del departementets tilsyn med implementeringen af personlige budgetter på tværs af lokale myndigheder. http://www.nao.org.uk/publications/1012/oversight_of_care_market.aspx anvendes i Delformål er formuleret, så slutbruger skal spørges, for at delformålet kan besvares Kvalitative interviews Andre metoder Som delmål i forhold til, om borgerne oplever, at større valgfrihed gennem tildeling af personlige budgetter til køb af ældrepleje fører til gode ydelser, og om borgerne kan identificere og købe ydelserne på effektiv vis. Slutbrugerne indgår desuden som revisionsbevis via kvalitative interviews. Kvalitative interviews af 48 borgere, der modtager et personligt budget til at købe ældrepleje for (foretages af en ekstern analysevirksomhed, som udvælger respondenterne gennem stratificeret sampling på tværs af 6 forskellige lokale myndigheder). Resultaterne af de kvalitative interviews indgår direkte i beretningen som revisionsbevis. Resultaterne af de kvalitative interviews underbygges og suppleres med 2 allerede tilgængelige tredjepartsundersøgelser, bl.a. en spørgeskemaundersøgelse med 1.114 respondenter. Robustheden af resultaterne fra tredjepartsundersøgelserne bliver revideret for med sikkerhed at kunne forlade sig på resultaterne. Slutbrugervinklen gør det muligt at skildre, hvad det betyder for brugernes velvære selv at kunne købe sociale ydelser gennem tildeling af personlige budgetter. Gennem slutbrugervinklen forholder NAO sig dermed til formålet med de personlige budgetter, som angiveligt er at sikre bedre resultater for brugerne (snarere end at nedbringe udgifterne til pleje). I kraft af slutbrugervinklen identificerer NAO desuden, at brugerne tilkendegiver meget forskellige oplevelser af de lokale myndigheders rolle i forhold til at sikre et tilstrækkeligt informationsgrundlag, og NAO kan på den baggrund konkludere, at der er behov for mere erfaringsudveksling mellem de lokale myndigheder.
12 F A K T A A R K E K S E M P L E R P Å B E R E T N I N G E R M E D S L U T B R U G E R F O K U S Faktaark 4 Undersøgelse af adgang til samfundslivet for personer med nedsat funktionsevne, Riksrevisjonen Målet med undersøgelsen er at undersøge, om personer med nedsat funktionsevne har adgang til offentlige bygninger, transport og udeområder på lige linje med andre samfundsborgere, og hvordan de statslige virkemidler på området forvaltes. Baggrunden for undersøgelsen er, at der siden starten af 1990 erne har været et mål om fuld deltagelse og ligestilling for alle uanset funktionsevne. Undersøgelsen belyser følgende 2 problemstillinger: Hvordan er tilgængeligheden til offentlige bygninger, transport og udeområder for bevægelseshæmmede, synshæmmede og hørehæmmede? I hvilken grad bidrager forvaltningen af de statslige virkemidler til bedre tilgængelighed for personer med nedsat funktionsevne? http://www.riksrevisjonen.no/sitecollectiondocuments/dokumentbasen/dokument3/2008-2009/dok_3_10_2008_2009.pdf anvendes i Delformål er formuleret, så slutbruger skal spørges, for at delformålet kan besvares Besigtigelse/observation Kvalitative interviews Spørgeskemaundersøgelse Slutbrugerne her personer med nedsat funktionsevne inddrages i undersøgelsen i kraft af det delformål, der ønsker at undersøge tilgængeligheden til offentlige bygninger, kollektiv transport og udeområder for disse personer. Slutbrugerne inddrages også som revisionsbevis via observationer og fokusgruppeinterviews, som klarlægger, hvordan disse personer oplever tilgængeligheden. Der blev gennemført observationer af tilgængeligheden af den kollektive transport sammen med bevægelses-, syns- og hørehæmmede i 4 udvalgte byer. Personerne blev udvalgt fra forskellige interesseorganisationers lokalafdelinger (bl.a. Norges Handikapforbund), og de barrierer, som deltagerne mødte undervejs, blev dokumenteret ved hjælp af notater, fotos og videoer. Tilgængeligheden af offentlige udeområder blev også undersøgt gennem observationer. Interviews med 5 organisationer, der varetager interesserne for personer med nedsat funktionsevne, for at få deres vurderinger af tilgængeligheden og årsager til manglende tilgængelighed og brugerinddragelse. En række spørgeskemaundersøgelser blev foretaget, bl.a. af busselskaber. Fokusgruppe Fokusgruppeinterviews med bevægelses-, høre- og synshæmmede for at få indblik i deres erfaringer, når det gælder tilgængeligheden til offentlige bygninger, udeområder og særligt den kollektive transport. Beretningen konkretiserer og eksemplificerer via slutbrugervinklen de problemer og udfordringer, som personer med nedsat funktionsevne møder i hverdagen. På denne baggrund kan Riksrevisjonen 1) vurdere status for disse personers tilgængelighed til de 3 udvalgte områder. I forlængelse heraf kan Riksrevisjonen vurdere Børne- og Ligestillingsministeriets indsats i forhold til den konkrete virkelighed, som slutbrugeren står over for. 1) I Danmark fører Ombudsmanden tilsyn med handicappedes adgang til offentlige bygninger.
F A K T A A R K E K S E M P L E R P Å B E R E T N I N G E R M E D S L U T B R U G E R F O K U S 13 Faktaark 5 Beretning om voksnes adgang til psykiatrisk behandling, Rigsrevisionen Beretningen handler om voksnes adgang til psykiatrisk behandling og omfatter både ambulant behandling og indlæggelse. Beretningen handler endvidere om regionernes planlægning af og initiativer på det psykiatriske område. Beretningen besvarer 4 spørgsmål: Har voksne psykiatriske patienter adgang til ambulant psykiatrisk behandling i regionerne? Har voksne psykiatriske patienter adgang til psykiatrisk indlæggelse i regionerne? Har regionerne et relevant grundlag for at kunne planlægge behandlingskapaciteten i psykiatrien? Har regionerne taget initiativer til at nedbringe ventetider og overbelægning i psykiatrien? Det er særligt de 2 første delmål, som er slutbrugerorienterede. http://www.rigsrevisionen.dk/media/1828068/9-2009.pdf anvendes i Delmål handler direkte om konsekvenser for slutbrugeren, som dog ikke behøver at blive spurgt direkte Besigtigelse/observation Kvalitative interviews Registerdata Undersøgelsens 2 første delmål vedrører direkte slutbrugerens her psykiatriske patienter adgang til behandling og indlæggelse. Delmålene nødvendiggør dog ikke en direkte inddragelse af slutbrugeren og er i stedet undersøgt ved at se på voksnes ventetid til ambulant behandling i psykiatrien samt modtagelsen af og forholdene for indlagte voksne psykiatriske patienter. Delmålene er således besvaret ved at se på forholdet mellem den tilgængelige behandlingskapacitet og patienter med behov for behandling i de enkelte regioner. Undersøgelsen er bl.a. baseret på besøg på psykiatriske behandlingssteder. Der er gennemført interviews med regionerne. Analyser af indhentede data om ventetid, belægning mv. indgår som revisionsbevis. Indenrigs- og Sundhedsministeriet har også bidraget med en række oplysninger, bl.a. om færdigbehandlede patienter. Rigsrevisionen kan på baggrund af slutbrugervinklen konkludere, at patienterne har adgang til både ambulant psykiatrisk behandling og psykiatrisk indlæggelse, men at en væsentlig del af patienterne oplever ventetider og overbelægning, hvilket betyder, at patienterne ikke får den personalenormering og/eller de fysiske rammer, som det var tiltænkt.
14 F A K T A A R K E K S E M P L E R P Å B E R E T N I N G E R M E D S L U T B R U G E R F O K U S Faktaark 6 Beretning om effekten af aktivering af ikke-arbejdsmarkedsparate kontanthjælpsmodtagere, Rigsrevisionen Beretningen handler om, hvorvidt aktivering af ikke-arbejdsmarkedsparate kontanthjælpsmodtagere har en positiv beskæftigelseseffekt. Dette er undersøgt ved at besvare følgende 2 spørgsmål: Har Beskæftigelsesministeriet sikret sig viden om effekten af aktivering af de ikke-arbejdsmarkedsparate kontanthjælpsmodtagere? Bringer aktivering de ikke-arbejdsmarkedsparate kontanthjælpsmodtagere i beskæftigelse i perioden 2006-2009? http://www.rigsrevisionen.dk/media/1824834/1-2010.pdf anvendes i Delmål handler direkte om konsekvenser for slutbrugeren, som dog ikke behøver at blive spurgt direkte Registerdata Undersøgelsens 2. delmål retter sig direkte mod konsekvenserne af Beskæftigelsesministeriets indsats for slutbrugeren, dvs. de ikke-arbejdsmarkedsparate kontanthjælpsmodtagere. Effektundersøgelsen er dog ikke afhængig af at spørge slutbrugeren direkte (hvilket i dette tilfælde da også ville være urealiserbart). Slutbrugervinklen står stærkt, idet det er effekterne for de aktiverede altså slutbrugerne fremfor effekterne på aggregeret samfundsniveau, der undersøges. Konklusionerne i beretningen beror på en registerundersøgelse af effekterne på beskæftigelse af aktiveringen af de ikke-arbejdsmarkedsparate kontanthjælpsmodtagere. Rigsrevisionen har fået foretaget af registerundersøgelsen af Anvendt Kommunal Forskning (AKF) ( En mikroøkonomisk evaluering af den aktive beskæftigelsesindsats ). Registerundersøgelsen består dels af en beskrivende undersøgelse af målgruppen, dels af en effektundersøgelse af aktivering af kontanthjælpsmodtagere, hvor effekten for deltagerne i aktivering sammenlignes med en kontrolgruppe, der ikke aktiveres. Med slutbrugervinklen sættes der fokus på, om Beskæftigelsesministeriets indsats har den forudsatte og ønskede effekt på de borgere, som indsatsen retter sig mod. I kraft af slutbrugervinklen kan Rigsrevisionen konkludere, at aktiveringen ikke bragte de ikke-arbejdsmarkedsparate i beskæftigelse, og at effekten af aktivering reelt var, at de aktiverede kom i selvforsørgelse eller beskæftigelse en mindre del af tiden end de ikke-aktiverede i perioden 2006-2009. Realiseringen af denne konklusion i undersøgelsen udsprang således af beretningens fokus på slutbrugeren.
F A K T A A R K E K S E M P L E R P Å B E R E T N I N G E R M E D S L U T B R U G E R F O K U S 15 Faktaark 7 Beretning om effekten af integrationsindsatsen over for nyankomne udlændinge, Rigsrevisionen Beretningen handler om integrationsindsatsen over for nyankomne udlændinge og om opfyldelsen af integrationslovens målsætninger. Det er undersøgt ved at besvare 3 spørgsmål: Følger Integrationsministeriet op på, om målsætningerne i integrationsloven opfyldes? Er nyankomne udlændinge kommet i beskæftigelse eller uddannelse efter introduktionsprogrammet? Bidrager Integrationsministeriet til, at kommunerne kan yde en målrettet integrationsindsats? http://www.rigsrevisionen.dk/media/1824834/1-2010.pdf anvendes i Et delmål handler direkte om konsekvenser for slutbrugeren Spørgeskemaundersøgelse Registerdata Andre metoder Undersøgelsens 2. delmål retter sig direkte mod konsekvenserne af integrationsindsatsen over for slutbrugerne: Bevirker integrationsprogrammet, at nyankomne udlændinge kommer i beskæftigelse? Spørgeskemaer udsendt til 28 kommuner (pilottestet forud i 2 kommuner) om 111 konkrete introduktionsforløb i perioden 2003-2006 (udvalgt på baggrund af udtræk fra Udlændingeservices data). Bidrager til konklusion. Udtræk i SKATs databaser om 281 nyankomne udlændinges indkomstgrundlag og beskæftigelsesstatus primo og ultimo 2007. Bidrager til konklusion. Gennemgang af 111 integrationskontrakter for at vurdere, om udlændinge, som ikke var kommet i beskæftigelse, var kommet tættere på at opnå tilknytning til arbejdsmarkedet ved hjælp af arbejdsmarkedsrettede tilbud. Bidrager til konklusion. Eftersom denne undersøgelse havde til formål at undersøge effekten af integrationsindsatsen, var det naturligt at inddrage slutbrugervinklen. Det resulterede i metodemæssige udfordringer, fordi et datasæt skulle stykkes sammen, hvilket både tog tid og krævede særlige kompetencer.
16 F A K T A A R K E K S E M P L E R P Å B E R E T N I N G E R M E D S L U T B R U G E R F O K U S Faktaark 8 Beretning om kvalitetsindsatser på sygehusene, Rigsrevisionen Undersøgelsen af kvalitetsindsatser på sygehusene besvarer følgende spørgsmål: Er der sammenhæng mellem de landsdækkende kvalitetsindsatser og sygehusafdelingernes arbejde med at sikre og udvikle kvaliteten? Understøtter de landsdækkende kvalitetsindsatser sygehusafdelingernes arbejde med at sikre og udvikle kvaliteten? Følger Sundhedsministeriet og regionerne op på, om de landsdækkende kvalitetsindsatser bidrager til at sikre og udvikle kvaliteten? http://www.rigsrevisionen.dk/media/1817655/8-2011.pdf anvendes i Som motivation for undersøgelsen Kvalitative interviews Fokusgruppe Slutbrugeren her patienterne inddrages som motivation for undersøgelsen med henvisning til, at forskellen på høj og lav kvalitet for patienterne kan betyde længere indlæggelsesforløb, flere smerter eller et dårligere behandlingsresultat. Der er gennemført interviews med sygehusledelsen og 2 afdelingsledere på ét sygehus i hver region, som efterfølgende er blevet transskriberet og kodet. Interviewene bruges til at undersøge kvalitetsindsatsernes relevans for personalet (dvs. relevansen for frontmedarbejderne af de landsdækkende indsatser). Der er gennemført 9 gruppeinterviews med frontpersonalet på medicinske og kirurgiske afdelinger for at undersøge personalets arbejde med at sikre og udvikle kvaliteten på afdelingerne. I beretningen er der ikke en klar inddragelse af slutbrugeren her patienterne men de fungerer som motivation for undersøgelsen. Der er således ikke tale om en egentlig slutbrugerundersøgelse, da konklusionerne i undersøgelsen ikke er baseret på data om eller fra slutbrugerne.
F A K T A A R K E K S E M P L E R P Å B E R E T N I N G E R M E D S L U T B R U G E R F O K U S 17 Faktaark 9 Beretning om sammenhængende patientforløb, Rigsrevisionen Formålet med undersøgelsen er at vurdere, om Ministeriet for Sundhed og Forebyggelse og regionerne har etableret rammer for samarbejde, kommunikation og finansiering af sundhedsydelser, som understøtter sammenhængende patientforløb mellem almen praksis, sygehus og kommune. Med hensyn til rammer for samarbejde undersøges det, om ministeriet har fået overblik over, i hvilken udstrækning der er sammenhæng mellem ydelser, og har etableret klagemuligheder for patienterne. Endvidere undersøges det, om regionerne har præciseret ansvars- og opgavefordelingen og følger op på, om der er sammenhængende patientforløb. Med hensyn til rammer for kommunikation undersøges det, om ministeriet har fastsat krav til udveksling af information mellem parterne, og om regionerne lever op til disse krav. Det undersøges desuden, om ministeriet og regionerne medvirker til it-understøttelse af kommunikationen. Med hensyn til rammer for finansiering af sundhedsydelser undersøges det, om ministeriet og regionerne har sikret, at de økonomiske incitamenter understøtter sammenhængende patientforløb. http://www.rigsrevisionen.dk/media/1834443/7-2008.pdf anvendes i Som motivation for undersøgelsen Kvalitative interviews Andre metoder Slutbrugervinklen indgår som motivation for undersøgelsen med henvisning til, at sammenhængende patientforløb bl.a. kan mindske risikoen for unødigt lange indlæggelser, hvor patienterne risikerer en forværring af deres sygdom. Beretningen anvender ikke metoder, der direkte retter sig mod eller inddrager slutbrugeren. Der er dog bl.a. gennemført 29 kvalitative interviews og møder med frontmedarbejderne, dvs. personalet i både regioner, kommuner og på sygehuse, der i det daglige arbejder med det tværsektorielle samarbejde. Interviewene anvendes til at få indblik i de aktuelle problemstillinger, der gør sig gældende i forhold til sammenhængende patientforløb mellem almen praksis, sygehus og kommune, og udvalgte problemstillinger afspejles i tekstbokse i beretningen. I beretningen præsenteres et udsnit fra Den Landsdækkende Undersøgelse af Patientoplevelser i en tekstboks. Den indgår dog i forbindelse med en vurdering af regionernes opfølgning på, om patientforløbene er sammenhængende snarere end for at beskrive det patientoplevede forløb. I beretningen er der ikke en klar inddragelse af slutbrugeren her patienterne men denne fungerer som motivation for at undersøge de rammer, som Ministeriet for Sundhed og Forebyggelse og regionerne har etableret for at skabe sammenhængende patientforløb. Tekstboksene, som er udarbejdet på baggrund af de 29 interviews med frontmedarbejdere, eksemplificerer og konkretiserer en række problemstillinger, men vedrører hovedsageligt personalet og samarbejdet mellem de forskellige sektorer og inddrager således ikke specifikt patienterne som slutbrugere.