Vejledning om effektivitetsundersøgelser. Februar 2013. rigsrevisionen. rigsrevisionen

Vejledning om effektivitetsundersøgelser Februar 2013 rigsrevisionen rigsrevisionen

VEJLEDNING OM EFFEKTIVITETSUNDERSØGELSER 1 Indholdsfortegnelse I. Indledning... 2 II. Forundersøgelse... 4 III. Undersøgelse af målopfyldelse... 5 IV. Undersøgelse af effekt... 7 V. Undersøgelse af omkostningseffektivitet... 11 VI. Metaundersøgelse... 12

2 VEJLEDNING OM EFFEKTIVITETSUNDERSØGELSER I. Indledning 1. Denne vejledning giver nogle grundlæggende redskaber til at gennemføre effektivitetsundersøgelser i Rigsrevisionen. Vejledningen indeholder 6 kapitler. Kap. I er en introduktion til effektivitetsundersøgelser i Rigsrevisionen. Kap. II beskriver forundersøgelsen til en effektivitetsundersøgelse. Kap. III handler om undersøgelse af målopfyldelse, kap. IV handler om undersøgelse af effekt og Rigsrevisionens model til udarbejdelse af effektundersøgelser, og kap. V beskriver undersøgelse af omkostningseffektivitet. Endelig handler kap. VI om metaundersøgelser. Hvad er effektivitet og effektivitetsundersøgelser? 2. Effektivitetsundersøgelser er sammen med produktivitets- og sparsommelighedsundersøgelser grundstenene i forvaltningsrevisionen. Indholdet i en effektivitetsundersøgelse er beskrevet i INTOSAI s Implementation Guidelines for Performance Auditing. Her defineres effektivitet på følgende måde: Effectiveness is essentially a goal-attainment concept. It is concerned with the relationship between goals or objectives, outputs and impacts. Are the stipulated aims being met by the means employed, the outputs produced and the impacts observed? Are the impacts observed really the result of the policy rather than other circumstances? (Implementation Guidelines for Performance Auditing, ISSAI 3000, s. 17). Effektivitetsundersøgelser er således en fællesbetegnelse for undersøgelser af målopfyldelse, effektundersøgelser og undersøgelser af omkostningseffektiviteten. Effektivitetsundersøgelser kan bidrage med at synliggøre statslige indsatsers målopfyldelse, effekt og omkostningseffektivitet ved at analysere forholdet mellem mål, aktiviteter, resultat og virkning. Økonomistyrelsen har udarbejdet publikationen, Ramme for Case-samlingen inspiration til effekt, som er et inspirationsmateriale til offentlige institutioner, der arbejder med at udvikle og anvende effektmåling i staten 1). 1) Økonomistyrelsen skelner mellem effektundersøgelser og effektivitetsundersøgelser. Effekt defineres som at opnå ønskede virkninger på omgivelserne via en indsats. Effektivitet defineres som at opnå virkninger med så få resurser som muligt, hvilket i denne vejledning betegnes som omkostningseffektivitet.

VEJLEDNING OM EFFEKTIVITETSUNDERSØGELSER 3 I Rigsrevisionen skelner vi mellem 3 former for effektivitetsundersøgelser: Undersøgelser af målopfyldelse sammenligner det faktisk realiserede resultat med de opstillede mål. Undersøgelsen kan omfatte mål på alle niveauer (fx inputmål, aktivitetsmål og produktivitetsmål). Det skal dog bemærkes, at resultatmål ikke i sig selv angiver en kausalitet til selve effekten dette skal undersøges i en effektundersøgelse. Effektundersøgelser undersøger, om den forventede effekt med en indsats er indtruffet, om der er opnået andre virkninger end de tilsigtede, og i hvilket omfang resultatet er en konsekvens af den indsats, der er iværksat (årsags-virkningssammenhængen). Ved effekt forstås den virkning på kort eller langt sigt, der opnås efter gennemførelsen af en indsats. Undersøgelser af omkostningseffektiviteten vurderer forholdet mellem indsatsens samlede omkostninger og den effekt, indsatsen har medført. Vejledningen tager udgangspunkt i ovenstående tredeling. Sondringen mellem de 3 undersøgelsesformer vil dog i praksis ofte være flydende. Figur 1 illustrerer forholdet mellem indsats, effekt og de 3 former for effektivitetsundersøgelser 2). Figur 1. Forholdet mellem indsats, effekt og de 3 former for effektivitetsundersøgelser 3. Genstanden for en effektivitetsanalyse kan være én, flere eller alle indsatser i en institution. Begrebet indsats anvendes som fællesbetegnelse for et program, en ordning, en foranstaltning osv. 4. Det følgende kapitel handler om de aktiviteter, som bør foretages i forundersøgelsen til en effektivitetsundersøgelse. 2) Økonomistyrelsen sondrer i deres materiale om effektmålinger mellem samfundseffekter og brugerrettede effekter, da en institution både kan påvirke samfundet som helhed og konkrete borgere/virksomheder. I denne vejledning sondres der ikke mellem de 2 typer af effekter.

4 VEJLEDNING OM EFFEKTIVITETSUNDERSØGELSER II. Forundersøgelse 5. Formålet med en forundersøgelse er at afklare, om det er relevant, og om der er et tilstrækkeligt grundlag til, at iværksætte en effektivitetsundersøgelse. En effektivitetsundersøgelse vil ofte være en del af en større undersøgelse, hvor der også gennemføres andre relevante analyser af det pågældende område. 6. Da Rigsrevisionens effektivitetsundersøgelser så vidt muligt bør tage udgangspunkt i en vurdering af de analyser, som den reviderede institution selv har foretaget, er første trin i forundersøgelsen at afklare, hvilke analyser der allerede er foretaget af indsatsen. Hvis den reviderede institution selv udarbejder relevante effektivitetsundersøgelser, bør disse lægges til grund for revisionen. Undersøgelser af eksisterende analyser betegnes metaundersøgelser, jf. kap. VI. 7. Hvis den reviderede institution ikke selv udarbejder effektivitetsundersøgelser, vil forundersøgelsen skulle bruges til at afklare, om Rigsrevisionen skal udarbejde en effektivitetsundersøgelse. Beslutningen herom bør bl.a. bygge på følgende overvejelser: Er indsatsen moden til en undersøgelse af målopfyldelse, effekt og/eller omkostningseffektivitet? Er antagelserne om sammenhængen mellem mål, indsats og effekt tydelige? Foreligger det fornødne datagrundlag i institutionen, eller kan det tilvejebringes? 8. De følgende kapitler beskriver fremgangsmåden for at gennemføre undersøgelser af målopfyldelse (kap. III), effekt (kap. IV) og omkostningseffektivitet (kap. V). Metaundersøgelser omtales specifikt i kap. VI, men forholder sig til samme elementer, som er beskrevet i de foregående kapitler.

VEJLEDNING OM EFFEKTIVITETSUNDERSØGELSER 5 III. Undersøgelse af målopfyldelse 9. I en undersøgelse af målopfyldelse sammenlignes de opstillede mål med de faktisk realiserede resultater. Undersøgelsen kan omfatte mål på alle niveauer, fx inputmål, aktivitetsmål, resultatmål, effektmål mv. Hvis undersøgelsen tager udgangspunkt i effektmål, vil undersøgelsen få karakter af en effektundersøgelse, jf. kap. IV. Vurdering af indsatsens mål 10. Det første trin i en undersøgelse af målopfyldelse er at vurdere de mål, den reviderede institution har opstillet for indsatsen. Herunder om de opstillede mål for indsatsen er omfattet af de overordnede målsætninger, der er på policy-området. Der er forskellige tilgange til at vurdere kvaliteten af de opstillede mål. I det følgende beskrives de krav, som man kan stille til gode mål, med udgangspunkt i SMART-modellen. SMART-modellen 11. Ifølge SMART-modellen er et godt mål kendetegnet ved at være: specifikt (Specific) målbart (Measurable) accepteret (Acceptable) realistisk (Realistic) tidsbestemt (Timely) 3). 12. Et mål er specifikt, hvis det er så konkret og detaljeret, at det præcist angiver, hvad der ønskes opnået med indsatsen. Målet skal helst være formuleret som en positiv angivelse af den udvikling, som indsatsen skal bidrage til. Målet skal desuden være målbart, hvilket vil sige, at det så vidt muligt skal kunne nedbrydes i kvantitative succeskriterier. Hvis et mål ikke er specifikt og målbart, kan det være svært at vurdere, om målet er nået, og dermed afgøre, om midlerne bruges i overensstemmelse med bevillingen. Som revisor kan det derfor være nødvendigt ex post at kvantificere målene og opstille succeskriterier, så det bliver muligt at vurdere, om målet er nået. Det er vigtigt at inddrage den reviderede institution i en sådan proces. Ifølge SMART-modellen skal et mål også være accepteret og realistisk. Det vil sige, at der skal være enighed om målet blandt de vigtigste aktører, og at det skal være sandsynligt, at målet kan nås med de resurser, der er til rådighed. Endelig stiller SMART-modellen krav om, at målet er tidsbestemt, så det klart fremgår, hvornår indsatsen eller dele af indsatsen skal være opfyldt. Hvis målet ikke er tidsbestemte, kan det være vanskeligt at vurdere udviklingen i målopfyldelsen. 3) Der findes forskellige udlægninger af, hvad bogstaverne SMART står for.

6 VEJLEDNING OM EFFEKTIVITETSUNDERSØGELSER CREAM-modellen 13. For at kunne følge op på de opstillede mål, vil det ofte være nødvendigt at udvikle indikatorer, så man har noget at måle på. CREAM-modellen kan anvendes til at kvalitetssikre, om de valgte indikatorer er gode at styre efter. Ifølge CREAM-modellen er en god indikator kendetegnet ved at være: klar (Clear) relevant (Relevant) ikke-resursekrævende (Economic) dækkende (Adequate) målbar (Monitorable). 14. Ifølge CREAM-modellen skal en indikator være klar og relevant, hvilket vil sige, at indikatoren skal være præcis og entydig i forhold til det fænomen, den måler, og at den skal være tilstrækkelig i forhold til at kunne belyse de ønskede resultater. Indikatoren skal desuden være ikke-resursekrævende og dækkende, hvilket vil sige, at udgifterne til indsamling af data skal stå mål med den viden om de ønske resultater, som indikatoren giver, og at den skal give et tilstrækkeligt grundlag at vurdere resultaterne på. Endelig skal indikatoren være målbar, hvilket vil sige, at den så vidt muligt skal give en pålidelig og gyldig viden om udviklingen i målopfyldelsen. Øvrige krav til gode mål 15. Ud over de krav, som SMART- og CREAM-modellerne formulerer, er det relevant at overveje, om indsatsens mål er i overensstemmelse med målene for institutionens øvrige virke. Desuden er det relevant at vurdere alle mål for indsatsen som helhed. Målene skal helst repræsentere forskellige aspekter af indsatsen. Fx kan der opstilles mål for både produktivitetsudvikling, effekt, kvalitet og service.

VEJLEDNING OM EFFEKTIVITETSUNDERSØGELSER 7 IV. Undersøgelse af effekt 16. I det følgende gennemgås Rigsrevisionens model til udarbejdelse af en effektundersøgelse. Modellen beskriver 6 faser: 1) analyse af mål for indsatsen, jf. kap. III 2) kortlægning af indsatsens programteori 4) 3) udpegning af indikatorer 4) undersøgelsesdesign, identifikation af data og valg af dataindsamlingsmetode 5) dataindsamling 6) analyse. Fase 2-4 gennemføres som hovedregel i den opstillede rækkefølge, men man kan efterfølgende vende tilbage hertil, hvis det senere viser sig, at de beslutninger, som er taget tidligt i undersøgelsesforløbet, må revideres for at give et bedre fundament for den videre undersøgelse. Fase 1: Analyse af mål for indsatsen 17. I den første fase undersøges målene for indsatsen. Målene vurderes efter samme principper som i en undersøgelse af målopfyldelse, der er beskrevet i kap. III. Fase 2: Kortlægning af indsatsens programteori 18. Programteorien for en indsats er den teori eller de forestillinger om sammenhæng mellem indsats og effekt, som ligger til grund for iværksættelsen af en indsats. Programteorien beskriver, hvordan indsatsen antages at føre til en opnåelse af de opstillede mål og forventede effekter. I nogle tilfælde fremgår programteorien direkte af lovgivningen eller andet baggrundsmateriale. I andre tilfælde vil det være nødvendigt, at Rigsrevisionen rekonstruerer programteorien i samarbejde med den reviderede institution. I sådanne situationer er der flere mulige kilder til programteorien: lovgivning og andre officielle dokumenter faglig teori evalueringer, undersøgelser og rapporter fagfolks/sagsbehandleres erfaringer observationer interviews med brugere. Uanset hvilken metode der vælges, er det altid vigtigt at inddrage den reviderede institution i kortlægningen af en programteori. 4) I denne vejledning bruges programteori som betegnelse for den teori eller de forestillinger om sammenhæng mellem indsats og effekt, der ligger til grund for iværksættelsen af en indsats. Andre betegnelser for programteori er forandringsteori eller interventionslogik.

8 VEJLEDNING OM EFFEKTIVITETSUNDERSØGELSER 19. Boks 1 viser en oversigt over, hvad en programteori ideelt set indeholder. BOKS 1. PROGRAMTEORI Den gode programteori rummer: en beskrivelse af indsatsen pindet ud i detaljer en beskrivelse af ønskede og uønskede led i kæden mellem indsats og virkning en beskrivelse af de forventede resultater en beskrivelse af mulige utilsigtede virkninger en beskrivelse af de betingelser, der er afgørende for, at hvert led i kæden fører til det næste en beskrivelse af mulige eksterne faktorer, der kan påvirke effekten. 20. Når programteorien er kortlagt, skal de dele af programteorien, der skal indgå i den videre undersøgelse, udvælges. Boks 2 angiver relevante spørgsmål i forbindelse med udvælgelsen af disse dele af programteorien. BOKS 2. RELEVANTE SPØRGSMÅL VED UDVÆLGELSEN AF DELE AF PROGRAMTEORIEN Relevante spørgsmål ved udvælgelsen af dele af programteorien til nærmere undersøgelser: Hvilke dele af programteorien er kritiske eller afgørende for indsatsen? Hvor er programteorien tyndest dvs. hvor er antagelserne som sammenhæng mellem indsats og virkning mest usikre? Hvor anvendes der flest resurser? Hvad er der størst behov for at få viden om? Hvad er der størst politisk interesse for? Hvad er mest interessant set fra en revisionsmæssig vinkel? Er programteorien eller dele af programteorien ændret over tid? Fase 3: Udpegning af indikatorer 21. Når programteorien er opstillet, skal der identificeres målbare indikatorer for de effekter, som indsatsen stiller i udsigt. Indikatorerne bruges til at vurdere, om den ønskede effekt opnås. I praksis er det ofte ikke muligt at finde en enkelt indikator, der nøjagtigt måler effekten af indsatsen. Det vil derfor ofte være nødvendigt at arbejde med flere indikatorer, som belyser forskellige dele af programteorien. Gode indikatorer kan opstilles efter de principper, som er beskrevet i kap. III. 22. Indikatorerne kan blive påvirket af en række udefrakommende faktorer, fx demografiske forhold, konjunkturudviklingen eller statistiske problemer. Effekten af den konkrete indsats bør derfor så vidt muligt isoleres i analysen. Nogle faktorer kan således inddrages som kontrolvariable i en statistisk analyse, fx hvis det drejer sig om demografiske eller socioøkonomiske forhold som aldersfordeling og uddannelsesniveau. Det er dog i praksis særdeles svært at tage højde for alle de faktorer, der kan påvirke sammenhængen mellem indsats og effekt. Alternativt kan man derfor beskrive, hvilke faktorer der potentielt kan påvirke indikatorernes validitet, og inddrage dette i en samlet vurdering af undersøgelsens pålidelighed. Fase 4: Undersøgelsesdesign, identifikation af data og valg af dataindsamlingsmetode 23. I denne fase undersøges mulige undersøgelsesdesign, valg af data til belysning af de udpegede indikatorer og metoder til indsamling af data. Valget af dataindsamlingsmetode bør vurderes i forhold til omkostningerne ved indsamlingen.

VEJLEDNING OM EFFEKTIVITETSUNDERSØGELSER 9 24. Når der tilrettelægges en undersøgelse af effekt, bør det overvejes, hvilket evidensniveau det er muligt at opnå med undersøgelsesdesignet i forhold til, hvilke data der er til rådighed. Placeringen i evidenshierarkiet er udtryk for, hvor sikker viden om årsags-virkningssammenhæng det valgte undersøgelsesdesign vil give. Boks 3 illustrerer evidenshierarkiet og beskriver, hvilke krav de forskellige undersøgelsesdesign stiller til data. BOKS 3. EVIDENSHIERARKIET FOR FORSKELLIGE UNDERSØGELSESDESIGN Niveau Undersøgelsesdesign Krav til data 1 Randomiserede, kontrollerede forsøg, hvor kontrolgruppen er udvalgt forud for indsatsen. 2 Kvasieksperimentelle, kontrollerede forsøg baseret på matchning, hvor kontrolgruppen kan findes, efter at indsatsen er gennemført. Kvantitative data for 2 ens grupper i kontrollerede omgivelser, hvor den ene gruppe (indsatsgruppen) modtager indsatsen, mens den anden gruppe (kontrolgruppen) ikke modtager indsatsen. Data kan indsamles på forskellige måder, fx register, målinger, observationer, spørgeskema mv. Kvantitative data for 2 ensartede grupper, hvor den ene gruppe får indsatsen, mens den anden er kontrolgruppe. Data kan indsamles på forskellige måder (register, målinger, observationer, spørgeskema mv.). 3 Tidsserieundersøgelser Kvantitative data, der følger indsatsgruppen over tid. 4 Paneldataanalyser Kvantitative data for 2 eller flere sammenlignelige undersøgelsesobjekter over tid. 5 Tværsnitsundersøgelser Kvantitative data for 2 eller flere sammenlignelige undersøgelsesobjekter på et bestemt tidspunkt. 6 Procesevaluering Kvantitative og/eller kvalitative data for et indsatsforløb. Ideelt indsamles data realtime, mindre ideelt via historisk analyse. 7 Kvalitative casestudier Kvalitative data udsagn om indsatsens virkning og systematiske observationer. Designet kan også bruges til at indsamle kvantitative data (optællinger mv.). 8 Erfaringer og eksempler på god praksis Kvalitative data udsagn om, hvorfor indsatser virker. 9 Ekspertvurderinger Kvalitative data udsagn om indsatsens virkning. 10 Brugerevalueringer Kvantitative og/eller kvalitative data, der beskriver brugernes oplevelse af indsatsens virkning. Kilde: Frit efter Olaf Rieper og Hanne Foss Hansen i Metodedebatten om evidens (AKF-forlaget 2007). 25. Som det fremgår af boks 3, har undersøgelser med sammenligninger mellem 2 grupper (en undersøgelsesgruppe og en kontrolgruppe) størst evidens. Randomiserede, kontrollerede forsøg forudsætter imidlertid, at de 2 grupper påvirkes lige meget af eksterne forhold, hvilket i praksis er svært at gennemføre, mens kvasieksperimentelle, kontrollerede forsøg forudsætter, at påvirkningen fra indsatsen kan isoleres fra øvrige påvirkninger. Tidsserieundersøgelser, paneldataanalyser og tværsnitsundersøgelser er baseret på kvantitative data for en indsatsgruppe og er i praksis lettere at gennemføre end de 2 førnævnte metoder. Metoderne er uddybet under fase 6. De øvrige metoder, der fremgår af evidenshierarkiets niveau 6-10, er ofte baseret på både kvantitative og kvalitative data for indsatsen.

10 VEJLEDNING OM EFFEKTIVITETSUNDERSØGELSER 26. Rigsrevisionens undersøgelser vil ofte være baseret på flere af de nævnte metoder og være baseret på både kvantitative og kvalitative data, idet det ofte vil være nødvendigt at kvalificere resultaterne af en kvantitativ undersøgelse gennem fx interviews og ekspertvurderinger. 27. For de kvantitative dele af undersøgelsen er det vigtigt, at Rigsrevisionen og den reviderede er enige om pålideligheden, relevansen og validiteten af de anvendte data, så de pågældende data kan anvendes som grundlag for de videre analyser. Ved identifikation af data for indikatorerne kan der fx anvendes data fra institutionens egne registreringssystemer eller fra Danmarks Statistiks forskellige databaser, herunder data fra statistikbanken. 28. Hvis der skal indhentes registerdata, kontaktes de relevante myndigheder med henblik på at få oplyst leveringstider og priser for afgivelsen af data. Rigsrevisionens egne muligheder for at analysere data undersøges, og det undersøges, hvilke alternativer der er hertil, fx at få foretaget analyser hos eksterne udbydere. 29. Hvis der skal foretages interviews, vurderes det, hvor mange og hvilke personer der skal interviewes, og hvor lang tid der er til rådighed til at gennemføre interviewene. Ved brug af ekspertpaneler og spørgeskemaundersøgelser undersøges mulighederne og tidsperspektivet på denne løsning. Fase 5: Dataindsamling 30. I denne fase er det vigtigt at forholde sig kritisk til de anvendte datas validitet og pålidelighed og teste datas repræsentativitet. Hvis der fx foretages et udtræk på erhvervsvirksomheder i Danmark, vil det være en god idé at få klarhed over, om data fordeler sig nogenlunde som forventet. Fase 6: Analyse 31. I denne fase undersøges de enkelte årsags-virkningssammenhænge i forhold til programteorien ud fra de indhentede data. I de fleste tilfælde vil det være en fordel at inddrage flere forskellige metoder, så både rent kvantitative målinger foretages, og mere kvalitative resultater belyses. 32. Valget af den kvantitative metode afhænger af, hvilke data det har været muligt at indsamle, jf. boks 3. Da det ofte ikke er muligt at foretage randomiserede, kontrollerede eksperimenter og kvasieksperimentelle undersøgelser, vil undersøgelserne ofte være en tidsserieundersøgelse, en tværsnitsundersøgelse eller en paneldataanalyse. 33. Tværsnitsundersøgelser giver mulighed for at analysere flere grupper, der påvirkes forskelligt af et program i en given tidsperiode. Evidensen af resultaterne af en sådan analyse svækkes af, at analysen alene foretages i én periode. Ved at kombinere en tværsnitsundersøgelse med en tidsserieundersøgelse bliver det muligt at foretage en paneldataanalyse. Her er det muligt at undersøge, hvordan flere grupper påvirkes af et program over tid, hvilket styrker analyseresultaternes evidens. 34. Tidsserieundersøgelse, herunder før- og efteranalyser, giver ligeledes mulighed for evidente resultater, da det er den samme gruppe, der analyseres over tid. Dog er der risiko for, at gruppen påvirkes forskelligt af eksterne forhold gennem undersøgelsesperioden, hvilket vil underminere analyseresultaternes pålidelighed.

VEJLEDNING OM EFFEKTIVITETSUNDERSØGELSER 11 V. Undersøgelse af omkostningseffektivitet 35. Formålet med en undersøgelse af omkostningseffektivitet kan enten være at vurdere omkostningseffektiviteten (dvs. forholdet mellem de opnåede effekter og de anvendte resurser) for en enkelt indsats eller at udpege den indsats blandt flere, som levere en indsats af høj kvalitet til lavest mulige omkostninger. I en undersøgelse af omkostningseffektivitet sammenlignes omkostningerne ved indsatsen (opgjort i kroner og ører) med effekten af indsatsen (opgjort i fysiske enheder, fx antal hofteoperationer, antal personer med en ungdomsuddannelse osv.). Herunder søges også eventuelle sideeffekter værdisat. Boks 4 viser de punkter, der bør vurderes forud for en undersøgelse af omkostningseffektivitet. BOKS 4. VURDERINGER VED UNDERSØGELSE AF OMKOSTNINGSEFFEKTIVITET Anvendes en kontering for omkostninger og indtægter, som gør det muligt at følge de finansielle transaktioner vedrørende en indsats med det formål at måle omkostningseffektiviteten? Er alle relevante input opgjort og medtaget i undersøgelsen? 36. En undersøgelse af omkostningseffektivitet kan foretages ved hjælp af 3 analysemetoder: brøkmetoden, hvor forholdet mellem produktion og resurseanvendelse vurderes Data Envelopment Analysis (DEA)-metoden, hvor den optimale sammenhæng mellem produktion og resurseanvendelse findes ved hjælp af lineær programmering regressionsanalyse, hvor der estimeres en gennemsnitlig sammenhæng mellem produktion og resurseanvendelse. 37. Både regressionsanalysen og DEA-metoden giver mulighed for at beregne omkostningseffektiviteten ud fra en marginalbetragtning, dvs. hvor meget ændres effekterne, når resurseanvendelsen ændres. Opgøres resurseanvendelsen som omkostninger, bliver det derved muligt at foretage et skøn over de gennemsnitlige og marginale priser for effekterne.

12 VEJLEDNING OM EFFEKTIVITETSUNDERSØGELSER VI. Metaundersøgelse 38. I metaundersøgelsen bedømmes kvaliteten af de analyser, som den reviderede institution selv har gennemført, og af de eventuelle tiltag, der er taget på baggrund heraf. Inden udarbejdelsen af en metaundersøgelse er det vigtigt at tage hensyn til institutionens grundlag for at gennemføre effektivitetsanalyser og eventuelle krav til udformningen af sådanne i fx lov- eller aftalegrundlag. Vurderingen af en institutions analyser bør tage udgangspunkt i kravene til effektivitetsundersøgelser, som er beskrevet i de foregående kapitler. Boks 5 viser en oversigt over, hvilke elementer der kan indgå i vurderingen. BOKS 5. ELEMENTER I VURDERINGEN AF EN INSTITUTIONS ANALYSER AF EFFEKTIVITET Er der opstillet effektmål, og er målene målbare? Er der opstillet en tilfredsstillende programteori? Er målsætningerne er i overensstemmelse med lov- og aftalegrundlaget? Er der fulgt op på, om målene er nået? Er der anvendt en tilfredsstillende analysemetode? Dækker analysen indsatsens væsentligste målsætninger? 39. Derudover kan følgende kriterier vurderes: undersøgelsens relevans, dvs. om undersøgelsen opfylder formålet, og om væsentlig information afdækkes undersøgelsens faglige kvalitet, dvs. om undersøgelsen anvender videnskabeligt etablerede teoretiske, metodiske og tekniske analysemetoder, og om data er valide og relevante undersøgelsens anvendelighed, dvs. om resultaterne af en undersøgelse kan anvendes i den administrative proces eller til gennemførelse af en politik.