Målingsterminlgi En intrduktin
KREVI Denne intrduktin er udarbejdet på baggrund af en studiekreds i KREVI m målingsterminlgi. I studiekredsen deltg Anders Kirkedal Nielsen, Jørgen Tietze, Stinne Højer Mathiasen g Stine Lyngbrg Heslp g Hanne Søndergård Pedersen. Mrten Eriksen har kvalitetssikret ntatet. Vi vil gerne sige tak til prfessr Hanne Fss Hansen, Københavns Universitet, g hendes ph.d. studerende fr knstruktive kmmentarer til en meget freløbig udgave af ntatet. Ansvaret fr ntatets indhld er dg udelukkende KREVIs. KREVI, juni 2010 Trben Buse Direktør Olf Palmes Allé 19 8200 Århus N www.krevi.dk pst@krevi.dk T: 7226 9970 ISBN 978-87-92258-44-1(elektrnisk versin) Grafisk design: Designit 2
INDHOLDSFORTEGNELSE 1 MÅLINGSTERMINOLOGI HVAD ER DET?...4 1.1 ER EN MÅLING EN EVALUERING?... 4 2 DEN LOGISKE MODEL...6 3 EFFEKTMÅLING...8 4 RESULTATMÅLING...9 5 KVALITETSMÅLING... 10 6 BEGREBERNE PÅ TVÆRS... 11 7 LITTERATURLISTE (BEGREBSOPDELT)... 13 7.1 OVERORDNET...13 7.2 EFFEKTMÅLINGER...13 7.2.1 Frslag til videre læsning...13 7.3 RESULTATMÅLINGER...13 7.3.1 Frslag til videre læsning...14 7.4 KVALITETSMÅLINGER...14 7.4.1 Frslag til videre læsning...14 7.5 FALDGRUBER - IMPLIKATIONER VED MÅLING...14 7.5.1 Frslag til videre læsning...14 3
1 MÅLINGSTERMINOLOGI HVAD ER DET? Resultatmålinger, præstatinsmålinger, kvalitetsmålinger g effektmålinger er alle evalueringstermer, der fte bruges i flæng. Men hvad betyder de egentlig? Hvr stammer de fra? Og adskiller de sig teretisk g praktisk fra hinanden, g i så fald - hvrdan? KREVIs ambitin med ntatet Målingsterminlgi er at give et krt verblik ver g intrduktin til ngle af de mest benyttede målingsbegreber i evalueringsterminlgien i disse år. Hvedknklusinen er, at målingsbegreberne i praksis har så brede betydninger, at brugen af de enkelte begreber ikke i sig selv giver meget infrmatin m, hvad det er fr en slags måling, der menes. Derfr er det vigtigt at frklare, hvilke knkrete elementer der er indehldt i en måling. Følgende spørgsmål kan evt. besvares i den frbindelse: Hvad er frmålet med målingen? Måles der ved hjælp af kvalitative eller kvantitative/standardiserede metder? Måles der på input, prces, utput, utcme eller impact? Er der en antagelse m kausalitet mellem indsats g effekt i målingen? Måles der ad hc eller kntinuerligt? Ntatet indledes med en krt teretisk indkredsning af begreberne evaluering g måling, samt gennemgang af den lgiske mdel. Herefter følger en gennemgang af de tre målingsbegreber effektmåling, resultatmåling g kvalitetsmåling, sm afsluttes med en beskrivelse af de væsentligste frskelle g ligheder mellem de tre begreber. En vigtig del af ntatet er den emnepdelte litteraturliste, sm kan knsulteres, hvis man ønsker at gå dybere ned i de enkelte begreber. 1.1 Er en måling en evaluering? Der er i evalueringslitteraturen mange definitiner på evaluering. Ifølge den danske evalueringsfrsker Hanne Kathrine Krgstrup er der blandt disse mange definitiner en grundlæggende enighed m, at: [der i en evaluering] skal ske en systematisk vurdering af en given indsats 1. Når der i en evaluering sker en vurdering af en indsats, indebærer det, at indsatsen værdisættes. Fr at indsatsen i en evaluering kan vurderes g værdisættes, må der freligge ngle kriterier fr, hvrnår indsatsen er henhldsvis gd eller dårlig 2. Kriteriefastlæggelsen g indsamlingen af data i en evaluering kan basere sig på både kvalitative g/eller kvantitative metder. Med udgangspunkt i venstående definitin af evaluering kan måling siges at være en evaluering, frdi målinger kan være en systematisk vurdering af en given indsats. Det skal dg bemærkes, at en måling ikke i sig selv er en evaluering. Fr at en måling bliver en evaluering, skal der ske en vurdering af måleresultaterne i frhld til ngle kriterier. Traditinelt set indebærer en måling nget tælleligt g kvantificerbart. Det vil sige, at såvel metder sm kriterier er kvantitative. Brugen af de kvantitative metder kan dg variere i et spektrum fra den hårde kvantitative ende, sm udelukkende gør brug af statistiske metder g data til den bløde ende, hvr såvel kriterierne g dataindsamlingen gør brug af mere kvalitative metder, der til slut tildeles en numerisk værdi. 1 Krgstrup 2006:200 2 Krgstup 2006:200f 4
Et eksempel på hård måling kan være en måling af/pgørelse ver antallet af kntanthjælpsmdtagere, der kmmer i arbejde efter deltagelse i et jbsøgningskursus. I dette tilfælde kan målingen fretages ved hjælp af registre g databaser g frudsætter ikke en egentlig kntakt til feltet. En blød måling kan eksempelvis være en eksamen, hvr en mundtlig eksaminatin ender i en karaktergivning. Det kan gså være en auditprces, sm man fx kender fra England, hvr Audit Cmmissin gennemfører en række tilsyn i kmmunerne. Tidligere har disse tilsyn i kmbinatin med en lang række resultatmål endt med en tildeling af 0-4 stjerner til kmmunerne 3. Knklusinen er, at målinger kan være evalueringer, så længe der sker en vurdering af målene i frhld til psatte kriterier. Målinger benytter primært kvantitative metder, men der kan gså anvendes kvalitative metder. Ved en måling er det karakteristisk, at der slutteligt er en pgørelse, der indehlder tællelige resultater. 3 Fr en nærmere gennemgang af det engelske system se Measuring Lcal Cuncil Perfrmance på www.krevi.dk 5
2 DEN LOGISKE MODEL I evalueringer er frmålet at vurdere, hvrvidt en indsats efterlever fastsatte kriterier. Den lgiske mdel 4, sm ses nedenfr i figur 1, er en teretisk pstilling af en indsats vej fra initiativ til langsigtet virkning. Mdellen kan have mange frskellige udfrmninger g detaljeringsgrader. Den valgte mdel, sm vises nedenfr, er en relativ simpel mdel 5. Vi beskriver den lgiske mdel frud fr gennemgangen af de enkelte målingsbegreber, da de blandt andet adskiller sig ved at have fkus på frskellige dele af en indsats. Figur 1: Den lgiske mdel Kilde: Frit efter DES 2005 g OECD 2002 Figur 1 viser, at der verrdnet sndres mellem indsatser g resultater. Det vil sige, at der ses på sammenhængen mellem, hvad der i gangsættes, g hvad der kmmer ud af det. Det næste lag i mdellen er mere detaljeret. Indsatser er her pdelt i henhldsvis input g prcesser, g resultater er pdelt i utput, utcme g impact. I Tabel 1 nedenfr er begreberne beskrevet mere indgående. Tabel 1: Indsatser g resultater Indsatser Input Frstås sm de finansielle, menneskelige g materielle ressurcer, sm anvendes ved en indsats. Prcesser Frstås sm selve aktiviteten/ prduktinen, hvr indsatsen igangsættes. Resultater Output Frstås sm de umiddelbare prdukter af en indsats. Kan gså benævnes prduktin eller ydelse. Outcme Virkninger på krt (typisk 1-2 år) eller mellemlang sigt (typisk 3-4 år) Impact Den langsigtede virkning Kilde: KREVIs ntat m den lgiske mdel Efficiency, effectiveness g cst-effectiveness er alle udtryk, der er knyttet til udnyttelsen af ressurcer. Frhldet mellem input g utput benævnes effektivitet eller prduktivitet (efficiency). Prduktivitet siger nget m, hvr gdt ressurcerne bliver udnyttet g mdannet til utput. 4 Mdellen kaldes gså fte flw-mdellen eller input-utput mdellen. 5 Se ntatet Den lgiske mdel på www.krevi.dk, fr en detaljeret gennemgang af lgiske mdeller. 6
Frhldet mellem utput g utcme/impact benævnes effectiveness, sm gså versættes til målpfyldelse. Det vil sige, at denne frm fr effektivitet siger nget m, hvr gdt målene fr en indsats pfyldes med det givne utput. Endeligt benævnes sammenhængen mellem input g utcme/impact fr csteffectiveness, sm betyder mkstningseffektivitet. Det siger nget m den verrdnede g langsigtede målpfyldelse g virkning i frhld til de ressurcer, sm er brugt til en indsats. På de følgende sider beskrives de tre målingsbegreber: effektmåling, resultatmåling g kvalitetsmåling. Beskrivelserne tager udgangspunkt i begrebernes prindelse, hvrefter deres primære nutidige brug beskrives. 7
3 EFFEKTMÅLING Effektmåling har sit udspring i den lægevidenskabelige verden, hvr systematiske test af lægemidlers virkning blev intrduceret i starten af 1900-tallet. Senere blev effektmålinger en væsentlig del af The Great Sciety i 1960 ernes USA, hvr effektmålinger blev intrduceret g flittigt brugt på de sciale mråder 6. Der findes ikke en direkte versættelse af begrebet effektmåling fra engelsk til dansk. Impact assessment, impact evaluatin, utcme evaluatin g summative evaluatin er ngle af de betegnelser, sm effektmåling ftest versættes fra. I frbindelse med en effektmåling er fkus på at måle en given indsats utcme eller impact dvs. ændringen sm følge af indsatsen, sm det fremgår af Figur 2 nedenfr. Figur 2: Hvad er effekten af en indsats? Frit efter: Eknmistyringsverket (2006) Den kntrafaktiske tilstand er den situatin, sm en persn/målgruppe ville være i, hvis ikke den havde deltaget i indsatsen. Effekten af en indsats er således frskellen mellem den faktiske g den kntrafaktiske tilstand efter en indsats. Fr at kunne sige nget m effekten af en given indsats er det helt centralt at kunne fastlægge kausaliteten mellem indsats g effekt. Fastlæggelsen af kausaliteten har gennem de seneste mange år givet debat blandt evalueringseksperter m, hvrvidt, hvrdan g med hvilke metder kausaliteten kan fastlægges. Her vil den ene side hælde til, at RCT studier (randmiserede kntrllerede frsøg) giver det bedste grundlag fr at tale m kausalitet. Den anden side vil bruge mere kvalitative metder til at identificere de sandsynlige mekanismer, der får indsatsen til at give effekt. Studier, der på den ene eller anden måde sandsynliggør kausaliteten mellem indsats g effekt kan betegnes sm enkeltstående effektmålinger. Hvis man vil måle effekten af en indsats kntinuerligt, er det en afgørende præmis, at målepunkterne er fastsat på baggrund af evidensbaseret viden m sammenhængen mellem indsats g effekt eller en prgramteri, der sandsynliggør kausaliteten. 6 Krgstrup 2006: 76, Nielsen et al. 2008:21 8
4 RESULTATMÅLING Både præstatinsmåling g resultatmåling kan bruges sm versættelse fr begrebet perfrmance measurement. Den generelle tendens er, at resultatmålingsbegrebet anvendes i en del flere sammenhænge end præstatinsmåling, g i det følgende vil resultatmåling derfr blive brugt sm versættelse af perfrmance measurement. Resultatmåling har været på banen siden den industrielle revlutin g pkmsten af Taylrs Scientific Management i slutningen af det 19. århundrede. Det var dg først i 1980 erne, at resultatmåling fr alvr blev indført sm styringsinstrument i den ffentlige sektr. Systematisk pstilling af resultatmål var et led i at sikre større udnyttelse af tildelte ressurcer 7. Siden 1980 erne har resultatmåling i hvedtræk bevæget sig fra udelukkende at mhandle sikring af effektivitet, øknmi g mkstninger til gså at mfatte kvalitet g udvikling 8. Kernen i en resultatmåling er pstilling af resultatmål samt en vurdering af, hvrvidt disse mål er nået. I frhld til den lgiske mdel vil en resultatmåling kunne måle på både input, prces, utput, utcme g impact, g der måles fte kntinuerligt på indsatsen. Figur 3: Lgisk mdel Måles der på de første elementer i indsatsen, kan det være en idé at kalde målingen fr en præstatinsmåling, da begrebet resultatmåling kan assciere til alt det, der kmmer efter prcessen. Den danske evalueringsfrsker Kirsten Bregn (2005) pererer med, at resultatmålinger kan have følgende fire frmål. Disse frmål kan være i knflikt med hinanden. Fr det første kan resultatmålinger have til frmål at skabe gennemsigtighed i en kmpleks rganisatin g prduktin. Her kan resultatmålinger bruges til at give et indtryk af, m ressurcerne giver de frventede resultater. Fr det andet kan resultatmålinger have til frmål at fkusere lederens pmærksmhed g skabe klarhed m mål internt i en rganisatin. Denne fkusering kan støttes yderligere, hvis resultatmålingen fx kbles til øknmiske incitamenter. Fr det tredje kan resultatmålinger have til frmål at danne grundlag fr ressurcetildeling g ressurcestyring, sm eksempelvis i taxameterstyring. Fr det fjerde kan resultatmålinger have til frmål at danne grundlag fr læring. Såvel pstilling sm pnåelse af resultatmål kan skabe refleksin i en rganisatin, hvrved der kan pstå læring. Yderligere kan rganisatiner gså bruge resultatmål til sammenligning g læring (benchmarking). Anvendelsen af resultatmålinger er ikke sektrspecifik, g resultatmålinger er et styringsinstrument, der både kan bruges til kntrl g læring. Resultatmålinger kan primært bruges sm beskrivelse af et resultat, men målingerne frklarer i sig selv ikke, hvrfr resultat er sm det er. I en læringssituatin må resultatmålinger derfr ftest følges af frklaringer g frtlkninger, der går bag m tallene. 7 Bregn 2005:7 8 Radnr & Barnes 2007 9
5 KVALITETSMÅLING Kvalitet har gennem de seneste år været et meget mdiskuteret begreb ikke mindst på grund af Kvalitetsrefrmen 9. Det vanskelige ved kvalitetsmålinger er i første mgang at definere kvalitet g pstille relevante vurderingskriterier. Et helt grundlæggende spørgsmål er netp: Hvad er kvalitet? Den danske evalueringsfrsker Bente Bjørnhlt har beskrevet vanskelighederne ved at definere kvaliteten således: I det hele taget er det vanskeligt at sætte kvalitet på frmel, g kvalitetspfattelser er fte baseret på subjektive vurderinger g defineres i vid udstrækning i den knkrete situatin g i praktiske sammenhænge g relatiner 10. I frbindelse med Kvalitetsrefrmen pererer regeringen med tre frskellige typer/dimensiner af kvalitet 11. Der skelnes således mellem: Brugerplevet kvalitet, der fx handler m, at brugeren føler sig gdt infrmeret, inddraget g behandlet med respekt. Faglig kvalitet, der handler m, at serviceydelsen lever p til høje faglige standarder. Organisatrisk kvalitet, der handler m gd tilrettelæggelse af arbejdet, m ledelse, medarbejdere g rganisatinsfrmer mv. Alle tre typer af kvalitet skal ifølge regeringen være i rden, før man kan tale m gd kvalitet : Fx skal en peratin på et sygehus både være fagligt i rden g tilrettelagt hensigtsmæssigt. Og patienten skal pleve, at frløbet har været gdt 12. Det er dg ikke alle kvalitetsmålinger, der måler på alle tre venfr nævnte dimensiner. Mange kvalitetsmålinger har ftest kun fkus på en af dimensinerne, men kaldes alligevel fr kvalitetsmålinger. Et karakteristika ved kvalitetsmålinger er en tendens til at fkusere målingen på utput g utcme g mindre på input g prcesser. Målinger af rganisatrisk kvalitet vil dg naturligt have et stærkt fkus på prcesdelen. Et andet karakteristika er, at kvalitetsmålingsbegrebet nk ftere end andre målingsbegreber bruges m målinger, hvr målene g målingskriterierne er frmuleret bttm up dvs. at de er kntekstafhængige g påvirkelige. Et eksempel er brugertilfredshedsmålinger, der baserer sig på en BIKVA evaluering. BIKVA står fr Brugerinddragelse I KVAlitetsvurdering g er udviklet af Hanne Kathrine Krgstrup. BIKVA er en kvalitativ bttm-up evaluering, hvr kriterierne fr selve evalueringen udvikles i en refleksiv prces under inddragelse af de frskellige interessenter 13. En blød måling med udgangspunkt i en BIKVA evaluering kan eksempelvis bestå af en pfølgende spørgeskemaundersøgelse blandt brugerne, der tager udgangspunkt i de kvalitetskriterier, de selv har været med til at pstille. Det skal bemærkes, at der gså er kvalitetsmålinger, der baserer sig på fficielle mål g faste standarder - fx den danske kvalitetsmdel. 9 Regeringen 2007 10 Bjørnhlt 2008a:12 11 Regeringen 2007: 8 12 Regeringen 2007: 8 13 Krgstrup 2006:143, 146ff, Mathiasen 2005 10
6 BEGREBERNE PÅ TVÆRS Beskrivelsen af de tre målingsbegreber viser, at der en del verlap mellem begreberne. Overrdnet har KREVI fundet frem til følgende frskelle på målingsbegreberne: Kvalitetsmålinger g resultatmålinger minder meget m hinanden såvel teretisk sm praktisk. Der er imidlertid enkelte nuancefrskelle. En af frskellene er, at resultatmålet på frhånd er benævnt kvalitet i en kvalitetsmåling. Det gør muligvis begrebet mere psitivt ladet. Et andet aspekt, der adskiller begreberne, er, at resultatmålinger fte bruges sm betegnelse fr målinger, der er tp-dwn styret. Det vil sige, at målepunkterne er fficielt fastsatte mål, der er gældende fr et bredt mråde. Kvalitetsmålinger bruges gså m målinger med en mere bttm-up tilgang til fastlæggelsen af mål g vurderingskriterier, selvm der gså findes kvalitetsmålinger, der ligesm resultatmålinger baserer sig på fælles mål g standarder. En tredje nuancefrskel er, at resultatmålinger har fkus på både input, prces, utput, utcme g fkus på såvel prduktivitet, målpfyldelse g mkstningseffektivitet. Her har kvalitetsmålinger i højere grad tendens til fkus på utput g utcme g knap så strt fkus på input g prcesser målinger af rganisatrisk kvalitet undtaget. Effektmålinger adskiller sig fra både resultat- g kvalitetsmålinger i frhld til det fkus, der er på kausaliteten mellem indsats g resultat. Både resultat- g kvalitetsmålinger kan virke sm punktnedslag, der ikke nødvendigvis siger nget m, hvad der ligger bag tallene. I effektmålinger vil kausalitet mellem indsatsen g resultaterne være frsøgt etableret, således at det, man prøver at måle på, er ændringer frårsaget af en given indsats. Man tilstræber således altid at måle utcme eller impact enten direkte eller indirekte. I figur 4 nedenfr er det grafisk fremstillet, hvrdan evaluering g målingsbegreberne frhlder sig til hinanden. Yderste stre cirkel, benævnt evaluering, illustrerer, at alle tre målingsbegreber kan karakteriseres sm evalueringer, under frudsætning af, at de fretages med systematik, g at målingsresultaterne vurderes i frhld til ngle kriterier. Figur 4: Målingscirklen 11
Kvalitetsmålinger g resultatmålinger adskiller sig kun begrænset fra hinanden, hvrfr de er indplaceret i samme cirkel. Effektmåling har derimd sin egen cirkel, sm til dels verlapper resultatmåling g kvalitetsmåling. Lighederne pstår, når der i resultat- eller kvalitetsmålinger er sandsynliggjrt en sammenhæng mellem indsats g effekt, g der samtidig måles på utcme eller impact. Sådanne resultat- g kvalitetsmålinger kunne fr så vidt gdt hedde effektmålinger. Frskellen mellem de t cirkler består i, at hvr resultatmålinger typisk gennemføres kntinuerligt, gennemføres effektmålinger fte sm enkeltstående analyser fx enkeltstående RCT-studier. Alt i alt viser gennemgangen, at der teretisk g idealtypisk er små frskelle på resultat-, effekt- g kvalitetsmåling, men i praksis kan det være svært at adskille målingstyperne fra hinanden. Det betyder, at begreberne i sig selv ikke siger meget m, hvilken type måling der er tale m. Derfr er det vigtigt at frklare, hvilke knkrete elementer der er indehldt i en måling. Følgende spørgsmål kan evt. besvares i den frbindelse: Hvad er frmålet med målingen? Måles der ved hjælp af kvalitative eller kvantitative/standardiserede metder? Måles der på input, prces, utput, utcme eller impact? Er der en antagelse m kausalitet mellem indsats g effekt i målingen? Måles der ad hc eller kntinuerligt/tilbagevendende? 12
7 LITTERATURLISTE (BEGREBSOPDELT) 7.1 Overrdnet Dahler-Larsen, Peter & Hanne Kathrine Krgstrup (2003): Nye veje i evaluering. Systime Academic DES: Evalueringsterminlgi på dansk. http://www.danskevalueringsselskab.dk/evalueringsterminlgi.asp Krgstrup, Hanne Kathrine (2006): Evalueringsmdeller. Academica Mathiasen, Stinne Højer (2005): Kilden, Landlyst g Ladegården. En BIKVAevaluering af tre længerevarende bfrmer fr særligt udsatte persner i Århus Amt. Driftsmrådet fr Vksne Handicappede. OECD (2002): Glssary f Key Terms in Evaluatin and Results Based Management. 7.2 Effektmålinger Bhatti, Ysef, Hanne Fss Hansen g Olaf Rieper (2006): Evidensbevægelsens udvikling, rganisering g arbejdsfrm. En krtlægningsrapprt. AKF Frlaget maj 2006. Dahler-Larsen, Peter & Hanne Kathrine Krgstrup (2003): Nye veje i Evaluering håndbg i tre evalueringsmdeller. Århus: Systime Akademic. KREVI (2009): Strukturrefrmen udfrdrer nærdemkratiet. http://krevi.dk/publikatiner/rapprter/strukturrefrmen-udfrdrernaerdemkratiet Nielsen, Cnnie et al. (2007): Effektmåling. SFI, 07:08. Servicestyrelsen (2006): Arbejdet med udsatte børn g unge på kst- g efterskler. http://www.servicestyrelsen.dk/default.asp?id=145586&sshw=1&itemid=145 831 7.2.1 Frslag til videre læsning 7.3 Resultatmålinger Ecnmistyringsverket (2006): Effektudtvärdering - Att välja upplägg. Sverige, ESV 2006:8. Lipsey, Mark W. (1990): Design Sensitivity: Statistical Pwer fr Experimental Research. Sage. Pattn, Michael Quinn (2008): Advcacy Impact Evaluatin. Jurnal f Multi Disciplinary Evaluatin. Vl. 5, N. 9. Rssi, Peter H. (2004): My views f evaluatin and their rigins i Alkin, Marvin C. (2004): Evaluatin Rts Tracing Therists Views and Influences. Lndn: Sage. Scriven, Michael (2008): A summative evaluatin f RCT-methdlgy & An alternative apprach t causal research. Jurnal f Multi Disciplinary Evaluatin. Vl. 5, N. 9. Bregn, Kirsten (2005): Resultatmålinger i den ffentlige sektr. Research Paper n. 9/05, Rskilde University, Denmark 13
http://frskning.ruc.dk/site/research/resultatmaaling_i_den_ffentlige_sektr(1570 96)/ Radnr & Barnes (2007): Histrical analysis f perfrmance measurement and management in peratins management. In Internatinal Jurnal f Prductivity and Perfrmance Management, vl. 56 (5/6) pp. 384-396. 7.3.1 Frslag til videre læsning De Bruijn, Hans (2001): Managing Perfrmance in the Public Sectr. Rutledge: Lndn. Dren, Wuter Van (2006): Perfrmance Measurement in the Flemish Public Sectr: A Supply and Demand Apprach. PhD dissertatin, Faculteit Sciale Wetenschappen, Kathlieke Universiteit Leuven. Link: http://repsitry.libis.kuleuven.be/dspace/bitstream/1979/205/2/wute r+van+dren+doc.pdf Hatry, Harry P. (1999): Perfrmance measurement. Washingtn: The Urban Institute. Jerak-Zuiderent, Snja (2009, frthcming): Lcating the wrths f perfrmance indicatrs Perfrming transparency and accuntabilities in health care. In A. Rudinw Sætnan, H. Mrk Lmell, and S. Hammer (ed.) By the Very Act f Cunting. On the c-cnstructin f sciety, numbers, and their subjects and bjects. Lndn and New Yrk: Rutledge. McDavid, James C & Hawthrn, Laura R L (2006): Prgram Evaluatin & Perfrmance Management; An intrductin t Practice. USA: SAGE Publicatins. 7.4 Kvalitetsmålinger Bjørnhlt, Bente (2008): Bag kulissen i knstruktinen af kvalitet. Syddansk Universitetsfrlag Regeringen 2007: Kvalitetsrefrmen 7.4.1 Frslag til videre læsning Andersen, Jørgen Gul, Bente Bjørnhlt & Henrik Llle (2008): Vurdering af kvalitet i brugerundersøgelser. Djøf-bladet juli 2008 Bjørnhlt, Bente (2008a): At indfange brugerkvalitet gennem brugerundersøgelser. Evalueringsnyt nr. 20/August 2008 DKSK (2003): Sundhedsvæsenets kvalitetsbegreber g definitiner. Dansk selskab fr Kvalitet i Sundhedssektren 7.5 Faldgruber - Implikatiner ved måling Dahler-Larsen, Peter (2008): Kvalitetens beskaffenhed. Syddansk Universitetsfrlag 7.5.1 Frslag til videre læsning Bjørnhlt (2008): Bag kulissen i knstruktinen af kvalitet. Syddansk Universitetsfrlag Nichlsn-Crtty, Sean m.fl. (2006): Disparate Measures: Public Managers and Perfrmance-Measurement Strategies. Public Administratin Review. Jan. Feb. 2006. Dahler-Larsen, Peter (2004): Evaluering g magt. Magtudredningen. Dahler-Larsen, Peter (2008a): Knsekvenser af indikatrer. KREVI 14
Feller, Irwin (2002): Perfrmance Measurement Redux. In American Jurnal f Evaluatin, vl. 23 (4) pp. 435-452. Freeman, Tim (2002): Using perfrmance indicatrs t imprve health care quality in the public sectr: a review f the literature. Health Services Management Research, vl. 15 (2) pp. 126-137 Smith (1995): On the unintended cnsequences f publishing perfrmance data in the public sectr. In Internatinal Jurnal f Public Administratin, vl. 18 (2) pp. 277-310. Thiel & Leeuw (2002): The Perfrmance Paradx in the Public Sectr. In Public Perfrmance & Management Review, vl. 25 (3) pp. 267-281. 15