RAPPORTERING FRA KLINISKE KVALITETSDATABASER

Transkript

1 RAPPORTERING FRA KLINISKE KVALITETSDATABASER 2004 Retningslinjer for rapportering af klinisk kvalitet

2 Rapportering fra kliniske kvalitetsdatabaser Retningslinjer for rapportering af klinisk kvalitet Juli 2004

3 Rapportering fra kliniske kvalitetsdatabaser Retninglinjer for rapportering af klinisk kvalitet Udarbejdet af en arbejdsgruppe under Sundhedsstyrelsen: Projektleder Susie W. Bondorf, Sundhedsinformatik, Sundhedsstyrelsen Forskningsleder Søren Paaske Johnsen, Kompetencecenter Nord Seniorkonsulent Claude Koors Hoff, IBM - med bidrag fra: Biostatistiker Heidi H. Hundborg, Kompetencecenter Nord Overlæge Johan Kjærgaard, Kompetencecenter Øst Informatikkonsulent Niels Pedersen, Kompetencecenter Syd Overlæge Jan Utzon, Kompetencecenter Øst Sundhedsstyrelsen Islands Brygge København S sst@sst.dk URL: Emneord: database; klinisk; kvalitet; Sundhedsstyrelsen Sprog: Dansk Version: 1.0 Versionsdato: 7. juli 2004 Elektronisk ISBN: Den trykte versions ISBN: Publikationen kan hentes på Sundhedsstyrelsens hjemmeside, eller ved henvendelse til Sundhedsinformatik, Sundhedsstyrelsen Pris: 0,- kr. - dog betales ekspeditionsgebyr 2

4 Indhold 1 INDLEDNING Baggrund og formål Afgrænsning Målgruppe Klinisk tilbagemelding Metode/projektforløb RAPPORTERING Overordnet rapportskabelon Skabelon for løbende klinisk tilbagemelding Præsentation af indikatorer Præsentation af prognostiske faktorer Præsentation af datagrundlag Skabelon for kliniske årsrapporter Kommentering Sammenligning af afdelinger Formidling til offentligheden KONKLUSION OG PERSPEKTIVERING...20 BILAG...21 Bilag A: Grundlag for klinisk tilbagemelding Indikatorudarbejdelse og beskrivelse Afbildning i GEPJ Multidimensionel datamodel Bilag B: Eksempler på tabeller Bilag C: Eksempler på grafer Bilag D: Multivariate analyser Bilag E: Variationsanalyse - statistisk proceskontrol LITTERATURHENVISNINGER

5 1 Indledning 1.1 Baggrund og formål Eksisterende landsdækkende kliniske kvalitetsdatabaser rummer betydelige indbyrdes forskelle i forhold til bl.a. arkitektur, datamængder og tilgængeligheden af tidstro data. Disse forskelle afspejler sig i forskellige behov og muligheder for rapportering og tilbagemelding. Overordnet set skelnes der mellem intern tilbagemelding af kliniske data til de enheder, der leverer data, og offentliggørelse af data til befolkningen. Tilbagemeldinger til sundhedsinstitutioner samt offentliggørelse af resultater og sammenligninger skal understøtte sundhedsinstitutionernes eget ledelsesmæssige og klinisk/faglige arbejde med kontinuerlig kvalitetsforbedring, og samtidig understøtte patienternes ret til frit valg af planlagte sundhedsaktiviteter, samt sikre gennemsigtighed i sundhedsvæsenets ydelser. Klinisk tilbagemelding består typisk af ukommenterede standardrapporter, som genereres automatisk med korte regelmæssige intervaller samt kommenterede og mere detaljerede kliniske årsrapporter til brug for sundhedsinstitutionernes arbejde med kvalitetsforbedring. I øjeblikket findes der ikke en fælles standard for sådanne rapporter. Offentliggørelse til befolkningen indebærer en række formidlingsmæssige udfordringer, der ikke beskrives nærmere i denne sammenhæng. I det følgende beskrives en række generiske rapportskabeloner, der vil kunne anvendes som udgangspunkt for klinisk tilbagemelding fra kliniske kvalitetsdatabaser. Skabelonerne vil som udgangspunkt være tilpasset Integrerbare Kliniske Kvalitetsdatabaser (IKDB), men vil formentlig også helt eller delvist kunne anvendes af andre former for kliniske kvalitetsdatabaser. 1.2 Afgrænsning Målgruppe Målgruppen for dette arbejde med rapporter er de kliniske ledere og administratorer, der modtager klinisk tilbagemelding med bearbejdede oversigter over udvikling og status baseret på sundhedsinstitutionernes egne data og 4

6 vurderinger. Disse rapporter er således ikke rettet mod offentligheden, men danner udgangspunkt for offentliggørelse. I det følgende anvendes betegnelsen afdelinger for sundhedsinstitutionerne og dækker således såvel decideret afdelinger som sundhedsfaglige enheder Klinisk tilbagemelding Ved klinisk tilbagemelding forstås i denne sammenhæng: Den løbende rapportering fra den kliniske kvalitetsdatabase, hvor de enkelte afdelinger får tilbagemelding på deres egne ujusterede data. Uddybende og detaljerede rapporter, typisk én gang årligt, indeholdende kommenterede og evt. justerede data fra databasen. Klinisk tilbagemelding skal indeholde en præsentation af egne resultater inkl. sammenligning med det samlede resultat i databasens dækningsområde samt de på forhånd opsatte kvalitetsmål. Præsentation af udviklingen i kvaliteten over tid vil ofte være central. Desuden skal tilbagemeldingen indeholde en opgørelse af datakompletheden og en beskrivelse af patientpopulationen i form af fordelingen af prognostiske faktorer. 1.3 Metode/projektforløb Projektet omfattede følgende: Beskrivelse af overordnet rapportskabelon. Analyse af aktuelt anvendte rapporter i kliniske kvalitetsdatabaser, gennem oplæg fra Det Nationale Indikatorprojekt (NIP), Dansk Kolorektal Cancer Database, samt andre kliniske kvalitetsdatabaser. Beskrivelse og krav til rapportelementer for en klinisk kvalitetsdatabase: o Begreber og terminologi o Rapport til løbende klinisk tilbagemelding o Årsrapport Review af rapportskabelonerne af interessenter (daglige brugere/ kompetencecentre for kliniske kvalitetsdatabaser). 5

7 2 Rapportering I det følgende gennemgås en skabelon for løbende klinisk tilbagemelding samt årsrapport. I gennemgangen forudsættes det at læseren er bekendt med de grundlæggende principper vedrørende kvalitetsudvikling samt udvikling og drift af kliniske kvalitetsdatabaser. En kort beskrivelse heraf findes i bilag A. Analyse af de indsamlede data og efterfølgende rapportering er selvsagt afgørende for at de kliniske kvalitetsdatabaser kan medvirke til en kvalitetsudvikling. Der skelnes mellem den løbende kliniske tilbagemelding, hvor de enkelte afdelinger får tilbagemelding på deres egne ujusterede data og på den årlige rapportering hvor kommenterede og evt. justerede resultater fra databasen offentliggøres til både afdelinger, ledelse og borgere. I analysen af data anvendes epidemiologiske og biostatistiske principper og metoder på samme vis som ved enhver anden form for analyse af data indenfor det sundhedsvidenskabelige område. Dataanalysen til brug for den kliniske tilbagemelding vil som oftest begrænse sig til relativt simple opgørelser såsom beregning af proportioner, opstilling af frekvenstabeller etc. af praktiske og ressourcemæssige årsager. I modsætning hertil kan der i årsrapporterne foretages mere avancerede og arbejdskrævende analyser. Ofte vil sådanne analyser kræve grundige check af data for at sikre, at de nødvendige forudsætninger for anvendelsen af de statistiske metoder er til stede, ligesom analyserne bør ledsages af en faglig fortolkning. 2.1 Overordnet rapportskabelon Skabeloner for henholdsvis den løbende og den årlige rapportering beskrives i følgende hovedområder: Generel beskrivelse Navn Hvad kaldes rapporten? Beskrivelse Hvad viser rapporten, og hvad kan den anvendes til? Målgruppe Hvem er den primære og evt. sekundære målgruppe? Hyppighed Hvor ofte udarbejdes rapporten? Design Dataindhold Hvilke variable indgår og hvilke sammenhænge/hierarkier er der imellem dem? 6

8 Afgrænsning Dataanalyse Præsentation Tabellayout Grafisk layout Hvilken afgrænsning foretages? Hvilke faste værdier (eks. kvalitetsmål) findes i rapporten, hvilke beregning foretages (eks. totaler, gennemsnit, grupperinger) og hvilke formateringer foretages? Hvilket tabelformat anvendes (eks. simpel tabel, pivottabel) og hvilke variable indgår? ( se evt. bilag B) Hvilke grafer anvendes (eks. søjle- og lagkagediagram) og hvilke variable indgår? (se evt. bilag C) Hvilken præsentationsform, der i det enkelte tilfælde er bedst egnet, vil afhænge af det underliggende materiale, og de formål der ønskes opfyldt. Ofte kan det vise sig nødvendigt at anvende kombinationer af tabeller og grafer eller kombinationer af forskellige grafer samtidigt 2.2 Skabelon for løbende klinisk tilbagemelding Løbende klinisk tilbagemelding opfylder flere formål for de enkelte afdelinger: Overvågning af opfyldelse af fastlagte kvalitetsmål. Sammenligning af egne resultater med de samlede resultater fra alle deltagende afdelinger. Identifikation af indsatsområder, hvor initiativer er påkrævet for at forbedre eller fastholde kvaliteten. Monitorering af effekten af initiativer i forhold til indsatsområder. Der kan derfor stilles følgende krav til den kliniske tilbagemelding til de enkelte afdelinger: Præsentation af indikatorer. Præsentation af prognostiske faktorer. Præsentation af datagrundlag. For en given sygdom kan det være nødvendigt at tilpasse præsentationerne så de passer til det datagrundlag sygdommen har. Der kan være grunde til f.eks. at give den enkelte afdeling en detaljeret oversigt over de enkelte patienter, der indgår i datagrundlaget, men der kan også være grunde til, eksempelvis omfang, at dette ikke giver nogen mening. Retningslinier for hvilket indhold, der som minimum skal være, og evt. yderligere præsentation af data gennemgås nedenfor. 7

9 Som en del af den kliniske tilbagemelding er det vigtigt, at de enkelte afdelinger hele tiden kan følge den udvikling, der sker over tid, og det er derfor vigtigt, at den tidsmæssige dimension dækkes for alle tre præsentationer. For den kliniske tilbagemelding skal der således ske en fastlæggelse af dels hvad en periode dækker, dels hvor mange perioder der medtages til at vise udviklingen 1. Fastlæggelsen sker ud fra en rimelighedsbetragtning i forhold til datagrundlaget, samt de statistiske metoder, der tænkes anvendt. Følgende notation anbefales som standard: Tabeller: o Kolonner: o Farver: Grafer: o X-akse: o Farver: Tids dimension. Rød (Alarm), Gul (Advarsel), Grøn (Ok). Tids dimension. Rød (Egen afdeling), Gul (Samlet resultat for alle afdelinger), Grøn (Kvalitetsmål). Det er vigtigt altid at angive hvad de enkelte rækker, kolonner eller akser beskriver og hvilken notation der anvendes Præsentation af indikatorer Indikatorer præsenteres som konkrete indikatorværdier med tilhørende mål for den statistiske præcision. Endvidere er det vigtigt, at den enkelte afdeling kan følge udviklingen for den enkelte indikator for de seneste perioder. Løbende klinisk tilbagemelding er udelukkende baseret på ujusterede data, men samtlige variable, der indgår i indikatorberegning skal selvfølgelig være af gyldig værdi for at kunne indgå. Der vil derfor ud over evt. populations afgrænsning ofte være en gruppe patienter som ikke kan indgå i de enkelte indikatorberegninger eftersom nogle oplysninger mangler eller er invalide. Som en del af præsentationen af datagrundlaget er det derfor vigtigt, at mod- 1 Som regel vil en periode dække en måned, men der kan være sygdomsområder, hvor det er mere relevant med kvartaler, idet datagrundlaget er sparsomt eller registreringspraksis medfører, at månedlige opgørelser ikke er mulige. Antallet af perioder vil som regel være 12 eller 4 afhængig af periode længden, men det kan være relevant at tage flere perioder med for at se eks. årstidsbestemte variationer. 8

10 tageren har mulighed for at se hvilke data, der danner grundlag for de enkelte indikatorberegninger (se afsnit 2.2.3). Endvidere vil det være relevant med mulighed for sammenligning med diverse normer 2 og det samlede resultat for alle afdelinger. Generel beskrivelse Navn Indikatorer Beskrivelse Præsentationen viser udviklingen i indikatorværdier for de seneste perioder inkl. sikkerhedsgrænser, samt mulighed for sammenligning med diverse normer og med det samlede resultat for alle afdelinger. Præsentationen indeholder udelukkende ujusterede data. Målgruppe Præsentationen anvendes til klinisk tilbagemelding til kliniske afdelinger. Præsentationen henvender sig til klinikere og anvendes til at se udvikling i indikatorværdierne. Hyppighed Præsentationen udarbejdes og fremsendes hver periode til de enkelte afdelinger. Design Dataindhold Afgrænsning Dataanalyse Præsentation Tabellayout De variable, der indgår i indikatorberegninger fordelt på perioder. Evt. kvalitetsmål for indikatorer. Alle patienter for afdelingen der indgår i de seneste perioder. Evt. afgrænsning i population afhængig af definition af indikatorer. Der beregnes følgende værdier: Indikatorer beregnes jf. de tilhørende definitioner. Normer, eks.: kvalitetsmål defineres som faste værdier, mens andre eks. 75 % fraktilen beregnes. Evt. beregnes sammenligningsværdier i forhold til det samlede resultat for alle afdelinger. Pivottabel over seneste periodes indikatorværdier, samt kvalitetsmål og det samlede resultat for alle afdelinger: Kvalitetsmål Egen afdeling Samlet resultat for alle afdelinger % Antal Andel i % (95% CI) Antal Andel i % (95% CI) Indikator I (68; 80) (78;99) Indikator II 70 Indikator III 80 Grafisk layout Der anvendes for hver indikator et kontroldiagram med 2 Hvilke normer der er relevant vil afhænge af sygdomsområdet og af indikatoren. Mulige normer kunne være kvalitetsmål, egne mål, international standard, 75 % fraktilen, den bedste afdeling, den afdelingen der har forbedret sig mest, den afdeling man ligner mest. 9

11 sikkerhedsgrænser til at vise udviklingen i seneste perioder: Yderligere kan det være relevant at medtage følgende som en del af dokumentationen af indikatorer: Radardiagram over denne periodes indikatorværdier i forhold til kvalitetsmål og det samlede resultat for alle afdelinger: Indikator V Indikator I Indikator II Indikator IV Indikator III Egen afdeling Samlet resultat Kvalitetsmål Præsentation af prognostiske faktorer Fordeling og udvikling i de prognostiske faktorer 3 giver modtageren mulighed for at få en forståelse for datagrundlaget, og dermed oplysninger til brug for tolkning af udvikling og tendenser. 3 Hvilke prognostiske faktorer, der er relevant vil afhænge af de enkelte sygdomsområder, og kunne eksempelvis være alder (patient), medicinsk udstyr (struktur), interventionstype (proces) eller diagnose (resultat). 10

12 Generel beskrivelse Navn Prognostiske faktorer Beskrivelse Præsentationen viser udviklingen i de prognostiske faktorer. Målgruppe Præsentationen anvendes til klinisk tilbagemelding til kliniske afdelinger. Præsentationen henvender sig til klinikere og anvendes til at se udvikling i de prognostiske faktorer. Hyppighed Præsentationen udarbejdes og fremsendes hver periode til de enkelte afdelinger. Design Dataindhold De prognostiske faktorer fordelt på perioder. Afgrænsning Alle patienter for afdelingen der indgår i de seneste perioder. Dataanalyse Der beregnes følgende værdier: Proportioner Gennemsnit/medianer Præsentation Tabellayout Pivottabel over seneste perioders prognostiske faktorer (eks. alder): Aldersgrupper Januar Andel i % Februar Andel i % Marts Andel i % 0 20 år April Andel i % Maj Andel i % Juni Andel i % år år år Grafisk layout Ved variable, hvor der er en totalfordeling af population (eks. alder) anvendes lagkagediagrammer til at vise denne periodes fordeling: Aldersfordeling Afdeling X 17% 17% 26% 40% 0-20 år år år 60+ år 11

13 Og søjlediagrammer med procentfordeling til at vise udvikling: Aldersfordeling Afdeling X Kumuleret aldersfordeling i % Januar Februar Marts April Maj Juni Juli August 0-20 år år år 60+ år Ved variable, hvor der ikke er en totalfordeling af populationen kan anvendes søjlediagrammer til at vise udviklingen: Fordeling af prognostiske faktorer Afdeling X Andel af patienter i % Januar Februar Marts April Maj Juni Juli August Ryger Tidligere cancer Diabetes Yderligere kan det være relevant at medtage følgende som en del af dokumentationen af de prognostiske faktorer: Præsentationen af sammenhæng mellem flere variable - eks. diagnose fordelt på køn: Mænd Kvinder Total Antal Andel i % Antal Andel i % Antal Andel i % Diagno se A Diagnose B Diagnose C Præsentation af datagrundlag Kendskab til datakomplethed er en forudsætning for fortolkning af resultater fra kliniske kvalitetsdatabaser. Datakomplethed omfatter flere niveauer: 12

14 Afdeling Patient Variabel Ved løbende klinisk tilbagemelding skal der være adgang til oplysninger vedr. datakomplethed på patient- og variabelniveau. Diverse administrative eller sygdomsspecifikke registre, f.eks. de regionale patientadministrative systemer, Landspatientregistret, Cancerregisteret, Patologiregisteret etc., vil typisk blive anvendt som reference for datakomplethed på afdelings- og patientniveau. En vigtig del af præsentationen af datagrundlaget er også at give modtagerne mulighed for at se datagrundlaget for beregning af de enkelte indikatorer. Dels vil det være relevant at se datagrundlaget for beregning af indeværende periodes indikatorer, dels vil det være relevant at se udviklingen de seneste perioder for datagrundlaget for indikatorberegninger. Generel beskrivelse Navn Datagrundlag Beskrivelse Præsentationen dokumenterer datagrundlaget for afdelingen, herunder komplethed af patientregistreringen, samt af specifikke væsentlige variable. Videre dokumenteres datagrundlaget for indikatorberegning. Målgruppe Præsentationen anvendes til klinisk tilbagemelding til kliniske afdelinger. Præsentationen henvender sig til klinikere og anvendes til at se hvilke data, der indgår i den kliniske tilbagemelding, samt evt. problemer med afdelingens datakomplethed. Hyppighed Præsentationen udarbejdes og fremsendes hver periode til de enkelte afdelinger. Design Dataindhold De prognostiske faktorer og de variable, der indgår i indikatorberegninger. Afgrænsning Alle patienter for afdelingen der indgår i de seneste perioder. Dataanalyse Der beregnes følgende værdier: Datakomplethed: o Patienter o Variable 13

15 Præsentation Tabellayout Simpel tabel over antal patienter: Januar Antal Februar Antal Marts Antal April Antal Total Antal Patienter i alt Nye patienter Afsluttede patienter Simpel tabel over komplethed for variable: Total Oplyst Ikke relevant Uoplyst Komplethedsgrad Antal Antal % Antal % Antal % % Indlæggelse på apopleksienhed Scanning Alkoholforbrug Diabetes Simpel tabel over datafrafald i beregning af de enkelte indikatorer: Indikator I Indikator II Indikator III Indikator IV Antal patienter i alt Datakomplethed Ingen vurderingsdato Afgrænsning Ingen udskrivningsdato Scoringsværdi forkert Antal patienter der har valide data Akut indlagt Indlagt mindre end 2 dage Indlagt mindre end 7 dage Antal patienter der opfylder afgrænsning Signaturforklaring: - angiver at oplysningen ikke er relevant for indikatorberegningen. Simpel tabel over udvikling i datafrafald i beregning af de enkelte indikatorer: Indikator I Indikator II Indikator III Antal Januar Andel i % Antal Februar Marts April Andel i % Antal Andel i % Antal patienter i alt Antal patienter der har valide data Antal patienter der opfylder afgrænsning Antal patienter der har valide data Antal patienter der opfylder afgrænsning Antal patienter der har valide data Antal patienter der opfylder afgrænsning Antal Andel i % Grafisk layout Ikke relevant 14

16 Yderligere kan det være relevant at medtage følgende som en del af dokumentationen af datagrundlaget: Præsentation af patienter med samtlige variable: CPR-nummer Fornavn Efternavn Køn Indlæggelsesdato Udskrivningsdato Kurt Einersen M Else Hansen K Ole Viggo Olsen M Præsentation af tidsmæssig udvikling i datakomplethed for de prognostiske faktorer og de variable, der indgår i indikatorberegninger: Komplethed af prognostiske faktorer Afdeling X Andel af patienter i % Januar Februar Marts April Maj Juni Juli August Ryger Diabetes Tidligere cancer Præsentation af datakomplethed i en klinisk kvalitetsdatabase (KDB) ved samkøring med andre registre (eks. Lands Patient Registeret - LPR): Januar Februar Marts April Total Antal patienter i KDB Antal patienter i LPR Antal patienter i KBD og LPR Manglende patienter i KBD Manglende patienter i LPR Samlet antal patienter KBD komplethed (i %)

17 2.3 Skabelon for kliniske årsrapporter Årsrapporten har flere formål for den kliniske kvalitetsdatabase, der supplerer de formål, som dækkes af den løbende kliniske tilbagemelding: Præsentation af en faglig fortolkning, herunder mulige kliniske implikationer, af de opnåede samlede og afdelingsspecifikke resultater. Sammenligning af resultater for forskellige afdelinger med heraf følgende mulighed for erfarings udveksling og inspiration til forbedringsmuligheder. Frembringelse af det bedst mulige datagrundlag til sikring af patienternes ret til frit valg af behandlingssted. Grundlag for at styregruppen for den kliniske kvalitetsdatabase kan justere og videreudvikle de indikatorer og normer der anvendes. Komponenterne i årsrapporten adskiller sig ikke grundlæggende fra de komponenter, som indgår i den løbende kliniske tilbagemelding d.v.s. rapporten bør indeholde præsentation af indikatorer, prognostiske faktorer samt datagrundlag, herunder datakomplethedsgrad. Det er derfor kun naturligt og hensigtsmæssigt, at der i udbredt omfang anvendes de samme principper for årsrapporten som for den løbende kliniske tilbagemelding for så vidt angår design, d.v.s. dataindhold, afgrænsning og dataanalyse, samt præsentation, d.v.s. tabel- og grafisk layout. Se afsnit 2.2 for yderligere detaljer. På en række vigtige områder adskiller årsrapporten sig dog fra den løbende kliniske tilbagemelding: Kommentering Helt centralt for årsrapporten er den faglige stillingtagen til de præsenterede resultater i form af kommentarer og sammenfattende konklusioner og anbefalinger. Herved sikres databasernes faglige forankring samtidig med, at de relevante modtagere af information, herunder sundhedspersonale, ledelsessystemet, samt borgerne, der får mulighed for at omsætte de mange data til en reel indsigt i kvaliteten indenfor det pågældende sygdomsområde. Af hensyn til overskueligheden, bør årsrapporten indeholde en sammenfatning af de vigtigste fund samt tilhørende faglige konklusioner og anbefalinger Sammenligning af afdelinger Herudover er det kendetegnende, at dataanalysen i årsrapporten har en mere omfattende karakter end, hvad der er beskrevet ovenfor vedr. den løbende 16

18 kliniske tilbagemelding. Rapporten indeholder således bl.a. sammenligninger af den kliniske kvalitet, angivet v.h.a. indikatorværdier mellem enkelt afdelinger. Det er et grundlæggende princip ved disse sammenligninger, at det er muligt at identificere de enkelte kliniske afdelinger. En forudsætning for sådanne sammenligninger kan være, at der i dataanalysen tages højde for eventuelle forskelle i patientsammensætningen mellem de involverede afdelinger. Opmærksomhed på denne problemstilling er primært påkrævet når der er tale om sammenligning af baseret på resultatindikatorer, f.eks. dødelighed, funktionsniveau ved udskrivelse og genindlæggelse, idet sådanne udfald ofte vil være tæt knyttet til patienternes grundlæggende prognose. Der bør derfor ved sammenligninger tages hensyn til prognostiske faktorer, som f.eks. køn, alder, sygdomsstadie, rygevaner og andet som kan have betydning for behandlingsresultatet og som kan være skævt fordelt mellem patientpopulationerne på de enkelte afdelinger. Dette er nødvendigt for at afgøre, hvorvidt fundne forskelle er udtryk for at der findes reelle forskelle i den kliniske kvalitet mellem afdelingerne eller om de blot afspejler forskelle i patientsammensætningen. I modsætning hertil vil det ved sammenligninger baseret på struktur- og procesindikatorer, f.eks. antal strålekanoner per indbyggere eller andel af patienter som bliver behandlet med acetylsalicylsyre efter indlæggelse for akut myokardieinfarkt, ofte ikke være relevant eller rimeligt at tage højde for forskelle i patientsammensætningen. Ved sammenligninger af afdelinger på basis af resultatindikatorer anvendes typisk enten stratifikation eller multivariate statistiske teknikker, f.eks. i form af lineær regression, logistisk regression eller Cox regression, for at sikre sammenlignelighed. Se bilag D for en nærmere omtale af sidstnævnte metoder. Sammenligningerne kan både foretages i tabel- og grafisk form. Det kan have stor informationsværdi at identificere afdelinger, som vedvarende er placeret henholdsvis højt eller lavt i disse sammenligninger med henblik på at afklare forhold, f.eks. lokale arbejdsgange, uddannelsesmæssige tiltag, tilgængelige ressourcer etc., som kan forklare forskellene i den kliniske kvalitet. Det er dog problematisk at foretage en direkte indbyrdes rangstilling af 17

19 de enkelte afdelinger. Dette skyldes, at usikkerheden på hver enkelt ranglisteplacering summerer usikkerhederne fra alle de bagvedliggende indikatorværdier. I praksis betyder det, at selv om der er store forskelle mellem de enkelte afdelinger vedr. den aktuelle sundhedsfaglige indikator, vil der være stor usikkerhed omkring den sande rangposition af de enkelte afdelinger. Usikkerheden er selvfølgelig størst for de mindste afdelinger, hvor der kun foreligger begrænsede datamængder (se endvidere [1] og [2]). Ved den grafiske sammenligning mellem afdelinger kan der bl.a. anvendes box plot og funnel plot. Uanset valg af fremstillingsform, vil det være væsentligt at illustrere den statistiske usikkerhed som indikatorværdierne er behæftet med. I et boxplot plottes indikatorværdierne for de enkelte afdelinger og den statistiske usikkerhed angives v.h.a. konfidensintervaller omkring de specifikke indikatorværdier. I plottet kan endvidere angives forskellige former for normer: I funnel plots er indikatorværdien også angivet på y-aksen, mens x-aksen angiver størrelsen af datagrundlaget på de enkelte afdelinger. I plottet kan endvidere angives normer eller andet relevant sammenligningsgrundlag, f.eks. samlet indikatorværdi for alle afdelinger, med tilhørende konfidensinterval. Afdelinger som falder udenfor det opstillede konfidensinterval adskiller sig således statistisk signifikant fra det opstillede kvalitetsmål eller samlede indikatorværdi for alle afdelinger. 18

20 CT/MR scanning 100 Andel med CT/MR scanning E D F J I N H G K O M B C A L Antal patientforløb Denne type af plots er velkendt fra metaanalyser, hvor de anvendes til at belyse tilstedeværelsen af evt. publikationsbias. Udover sammenligninger mellem enkelt afdelinger, kan der også være behov for andre mere uddybende analyser baseret på subgrupper af patienter eller som konsekvens af ad hoc spørgsmål der måtte opstå Formidling til offentligheden Endeligt er det vigtigt at være opmærksom på, at årsrapporten typisk vil være grundlaget for formidling af oplysninger til offentligheden omkring den kliniske kvalitet inden for det givne område f.eks. på En nærmere gennemgang af principperne for denne formidling vil ikke blive beskrevet her. Under udarbejdelsen af årsrapporten er det dog vigtigt at sikre, at rapporten er tilgængelig for så stor en modtagerskare som muligt. Dette kan bl.a. sikres ved, at der inkluderes en lægmandsbeskrivelse af de centrale fund og konklusioner i rapporten. For den interesserede kan der hentes yderligere inspiration til udarbejdelse af årsrapporter fra bl.a. NIPs halvårsrapporter på samt Dansk Koloerektal Cancer Databases årsrapport for 2003 på 19

21 3 Konklusion og perspektivering Denne rapport anviser en oversigt over de komponenter, der skal indgå i den løbende kliniske tilbagemelding samt i årsrapporter fra kliniske kvalitetsdatabaser. Rapporterne er som udgangspunkt tilpasset integrerbare kliniske kvalitetsdatabaser, men vil formentlig også helt eller delvist kunne anvendes af andre former for kliniske kvalitetsdatabaser. Der foreligger hermed en beskrivelse af hvilke komponenter, der skal bruges ved klinisk tilbagemelding samt skabeloner for præsentation af den kliniske kvalitetsdatabases indikatorværdier, prognostiske faktorer og datagrundlag. Beskrivelsen giver mulighed for, at der fremover vil kunne udarbejdes mere ensartet rapportering til glæde for både klinikere, administratorer, politikere og i sidste ende også for befolkningen. I IKDB-projektet er integration med elektroniske patientjournaler (EPJ) beskrevet, hvilket danner baggrund for de udarbejdede rapportskabeloner. Ved anvendelse af de beskrevne skabeloner vil det således være muligt at generere generiske rapporter, med brug af data fra bl.a. EPJ, til brug for klinisk tilbagemelding. Med henblik på at afprøve de beskrevne rapportskabeloner i praksis vil der blive gennemført en test i samarbejde med NIP. Med oprettelsen af kompetencecentrene er der etableret en instans, der fremover vil have en central rolle i arbejdet med rapportering fra de enkelte kliniske kvalitetsdatabaser. Kompetencecentrene bistår allerede i dag de kliniske kvalitetsdatabaser med epidemiologisk og biostatistisk viden. Det vil derfor i særlig grad være kompetencecentrenes opgave og ansvar at medvirke til implementeringen af disse skabeloner. 20

22 Bilag Bilag A: Grundlag for klinisk tilbagemelding Arbejdet med kvalitetsudvikling bygger på princippet i kvalitetssikringsprocessen, der er vist nedenfor. Dataindsamling og -analyse Fastsætte mål (standarder) Problemidentifikation Kvalitets- Vurdering Er målene opfyldte? Klinisk kvalitetsudvikling Ja Nej Årsagsanalyse Afklare mulige årsager til manglende målopfyldelse Fastholde det opnåede ved: Løbende overvågning af Kvaliteten, løbende revision af problem og mål for kvaliteten Kvalitets forbedringer Løsninger tilrettelægges og iværksættes Evaluering af Kvalitetsforbedringsinitiativer Er målene nu opfyldte Figur 1: Klinisk kvalitetsudvikling Selve arbejdet er en iterativ proces, der gennem refleksion, normsætning, implementering, måling og formidling søger at optimere den kliniske kvalitet, der kort beskrives i det følgende. Indikatorudarbejdelse og beskrivelse Fastlæggelse af kvalitetsmål for god klinisk praksis og gode kliniske resultater indenfor det pågældende sygdomsområde er en forudsætning for de kliniske kvalitetsdatabaser. Disse kvalitetsmål skal fastsættes på grundlag af en systematisk gennemgang af den videnskabelige litteratur for at sikre den højeste evidens. Såfremt der ikke findes videnskabelig evidens, og den kliniske problemstilling i relation til sygdomsområdet er meget betydningsfuld, kan kvalitetsmålene fastsættes på basis af konsensus blandt erfarne og kompetente klinikere. 21

23 I relation til kvalitetsmålene udarbejdes faglige indikatorer til at belyse klinisk praksis, d.v.s. proces- eller resultatindikatorer, der anvendes til at monitorere graden af målopfyldelse. I arbejdet med fastlæggelse af kvalitetsmål og udarbejdelse af indikatorer skal en række forhold påtænkes med henblik på at sikre, at rapportering fra de kliniske kvalitetsdatabaser får den størst mulige relevans og validitet: Arbejdet gennemføres som en klar og gennemskuelig proces af fagfolk, det vil sige det konkrete sundhedspersonale, der i daglig klinisk praksis arbejder med de pågældende sygdomsområder. Antallet af indikatorer indenfor et enkelt sygdomsområde skal være begrænset. Definitionen af de enkelte indikatorer skal være så enkel og entydig som muligt med henblik på at lette såvel indsamling som fortolkning af data. Som et led i såvel indsamling som rapportering af data skal det sikres at der er nem adgang til information vedr. datadefinitioner samt in- og eksklusionskriterier for databasen som helhed såvel som for de enkelte indikatorer. Det skal være defineret, hvorledes afdelingerne forholder sig i tilfælde af at den kliniske kvalitet er lavere end de opstillede kvalitetsmål. Kvalitetsmålene og de tilhørende indikatorsæt skal med jævne mellemrum evalueres med henblik på at sikre, at de til en hver tid er i overensstemmelse med den videnskabelige litteratur. For en mere grundig beskrivelse af arbejdsprocessen omkring fastlæggelse af kvalitetsmål og udarbejdelse af indikatorer kan bl.a. henvises til erfaringer fra NIP og Den Gode Medicinske Afdeling 22

24 Afbildning i GEPJ På baggrund af de udarbejdede indikatorer og dertil hørende databehov, skal der ske en afbildning af databasens attributter i Sundhedsstyrelsens Grundstruktur for elektroniske patientjournaler (GEPJ) og i Sundhedsstyrelsens officielle klassifikationer. Figur 2: Sundhedsstyrelsens "Grundstruktur for elektroniske patientjournaler" (GEPJ) Sundhedsvæsnets klassifikationssystem (SKS) stiller en række koder til rådighed for struktureret registrering. Det er udviklet med hovedvægt på statistisk, økonomisk og administrativ anvendelse. I forbindelse med EPJudviklingen er der opstået et behov for en systematisk klinisk terminologi. SKS er derfor under forandring og udbygning. De kliniske kvalitetsdatabaser skal til en hver tid afspejle de officielle klassifikationer og skal derfor løbende tilrettes. Yderligere information om GEPJ kan findes på: medinfo.dk/epj/gepj. 23

25 Multidimensionel datamodel Når databasens attributter er afbilledet i GEPJ vil det være hensigtsmæssigt at opstille attributterne efter den multidimensionelle datamodel (MDDM). Patient Struktur Faktuel tabel Proces Resultat Figur 3: Multidimensionel datamodel (MDDM) til brug for "Integrerbare kliniske kvalitetsdatabaser" (IKDB) En MDDM er en formaliseret definition, beskrivelse og afgrænsning af klinisk information i anvendelsesområdet. Modellen definerer et fælles sæt af specialeuafhængige data, samt sikrer semantisk entydighed af data, der registreres og udveksles. Denne model er specielt orienteret mod analyseformål, og mod en mulig hierarkisk aggregering af data. Modeltegningen indeholder en række hovedområder: Patient, Proces, Struktur og Resultat. Når databasens attributter er opstillet i en MDDM vil grundlaget for dataanalyse og rapportering fra de kliniske kvalitetsdatabaser være optimalt. Hele rapporten om IKDB kan findes her: 24

26 Bilag B: Eksempler på tabeller Simple tabeller angiver oplysninger gennem en række kolonner, hvor hver række svarer til en dataforekomst: Navn Alder Køn Alder ved sygdomsudbrud Anni 35 K 15 Asger 44 M 41 Bente 22 K 1 Denne form for tabeller anvendes til at opstille en række oplysninger, hvor hver række beskriver en mængde oplysninger, der er uafhængig af de andre rækker. Eksempelvis anvendes denne type tabeller ofte ved detaildokumentation af datagrundlag. Pivottabeller derimod er todimensionale idet der findes både en vandret dimension og en lodret dimension, hvor de enkelte dataelementer placeres efter begge dimensioner: Antal patienter År Antal mænd Antal Kvinder Total Antal Total Denne type tabeller anvendes ofte når data ønskes sammenlignet indenfor såvel hver dimension for sig som begge dimensioner samtidigt. Videre kan det være relevant at beregne totaler i forhold til hver dimension. Eksempelvis anvendes denne type tabeller til at give overblik over udvikling i datagrundlag. 25

27 Bilag C: Eksempler på grafer Søjlediagrammer afbilder data gennem en række søjler: Fordeling på ASA score Afdeling Antal patienter Januar Februar Marts April Maj Juni Juli August ASA score I ASA score II ASA score III Søjlediagrammer kan også fremstå som procentfordeling af værdier: Fordeling på ASA score Afdeling Andel patienter i % Januar Februar Marts April Maj Juni Juli August ASA score I ASA score II ASA score III Denne form for grafisk fremstilling anvendes ofte når data ønskes sammenlignet indenfor såvel hver dimension for sig som flere dimensioner samtidigt. Eksempelvis anvendes denne type grafer til at give overblik over fordeling af datagrundlag. Histogrammer anvendes til fremstilling af frekvensfordelinger og afbildes ofte som et søjlediagram hvor søjlernes areal, og ikke disses højde, angiver antallet af iagttagelser. Histogrammer kan også afbildes som kurvediagrammer. 26

28 Kurvediagrammer afbilder data gennem en række forbundne punkter: Antal Q1 Q2 Q3 Q4 Periode Nord Syd Øst Denne form for grafisk fremstilling anvendes ofte til afbildning af tidsrækker, men kan også anvendes til frekvensfordelinger. Eksempelvis anvendes denne type grafer til at give overblik over udvikling i datagrundlag. Rundiagrammer anvendes til at præsentere tidsordnede data på en meget enkel og overskuelig form Andel i % Median 0 Januar Marts Februar April Maj Juni Juli August Diagrammet består af en x-akse (tid) og en y-akse (eks. indikator) med plot for de observerede værdier i de givne perioder og en indtegnet medianlinje. Rundiagrammet kan anvendes til at få et groft indtryk af hvor stor variation der er som funktion af tiden. 27

29 Kontroldiagrammer er en variant af rundiagrammer med større statistisk styrke. Styrke forudsætter dog et passende antal målinger (> 12), kendskab til datagrundlaget for hver måling, og kendskab til den bagvedliggende fordeling (Gauss, Poisson, Binomial etc.) Andel i % Øvre grænse Centerlinie Nedre grænse 10 0 Januar Marts Februar April Maj Juni Juli August Antal patienter På kontroldiagrammet fastlægges de grænser, øvre og nedre (kontrol-) grænser, inden for hvilke den tilfældige variation kan forklare den observerede værdi. Kontroldiagram bruges til at vurdere stabiliteten gennem vurdering af variationen i målingen over tid, såkaldt statistisk proceskontrol se endvidere bilag E. 28

30 Cirkeldiagrammer afbilder data gennem en procentvis fordeling: 13% 13% 17% 57% A C B D Denne form for grafisk fremstilling anvendes ofte til afbildning af simple fordelinger. Eksempelvis anvendes denne type grafer til at give overblik over fordeling af datagrundlag. 29

31 Radardiagrammer afbilder data for en række sammenlignelige værdier (eks. indikator opfyldelsesgrad): Indikator V Indikator I Indikator II Indikator IV Indikator III Egen afdeling Samlet resultat Kvalitetsmål Denne form for grafisk fremstilling anvendes ofte til afbildning af værdier i forhold til ønskede resultat. Eksempelvis anvendes denne type grafer til at give overblik over opfyldelsesgrad. 30

32 Bilag D: Multivariate analyser Multivariate analyser omfatter en række statistiske metoder, som muliggør samtidig justering/korrektion for flere forskellige variable med henblik på at bestemme den selvstændige betydning af de enkelte variable. Disse analyser spiller en vigtig rolle ved sammenligninger af kvaliteten på forskellige afdelinger, hvor det ofte vil være nødvendigt at tage højde for forskelle i patientsammensætningen i mellem de forskellige afdelinger for at afgøre, hvorvidt de forskelle som evt. måtte findes er reelle forskelle i den ydede kvalitet. De statistiske modeller indeholder typisk kvalitetsindikatoren som den afhængige variabel (respons/outcome), mens de mulige confoundere, som f.eks. køn, alder, sygdomsstadie, rygevaner og andet som kan have betydning for behandlingsresultatet, samt en variabel som angiver afdelingerne optræder som uafhængige (forklarende) variable. Ved hjælp af modellerne estimeres effekten af en eksponering, d.v.s. i denne sammenhæng indlæggelse på en given afdeling, på den afhængige variabel, d.v.s. kvalitetsindikatoren, under forudsætning af at patienterne på de forskellige afdeling er ens for så vidt angår de confoundere som er inkluderet i modellen. Der er udviklet adskillige typer af multivariate modeller, som hver især er tilpasset forskellige typer af outcomes. De hyppigst anvendte modeller omfatter: Multipel lineær regression: Anvendes når outcome er en kontinuert variabel, f.eks. blodtryk eller hæmoglobin A1c. Logistisk regression: Anvendes når outcome er binomialt, f.eks. hvorvidt patienten modtog behandling eller døde. Der er således tale om variabel med kun to muligheder for udfald ja eller nej. Cox regression: Anvendes på ventetidsdata. Outcome er i disse analyser ventetid til en bestemt begivenhed, f.eks. tid til løsning af protese eller remission. Multivariate analyser består sædvanligvis ikke i opstilling af en enkelt model, men derimod om trinvis udvikling af en endelig model som er tilpasset de konkrete data gennem en serie af modeller. Uanset valg af metode, vil der i arbejdet med udvikling af den endelig statistiske model være en række problemstillinger som der skal tages stilling til: 31

33 Hvorledes kan informationen, som er indeholdt i de enkelte variable, bedst håndteres? F.eks. skal alder inkluderes som en lineær variabel angivet i år eller bør alderen opdeles i et antal alderskategorier? Hvorledes skal patienter med manglende data håndteres? Hvilke forklarende variable skal inkluderes i modellen? Opfylder data de antagelser, som er en forudsætning for at modellen kan give et retvisende billede af virkeligheden? Ved opbygning af de statistiske modeller er det afgørende at sikre at modellerne er biologisk meningsfulde. En række statistiske programpakker tilbyder mere eller mindre automatiske procedurer, f.eks. forward selection eller backward elimination, til udvælgelsen af de forklarende faktorer. Disse procedurer, som er baseret på rent statistiske kriterier, bør omgås med stor varsomhed og må aldrig erstatte omhyggelige overvejelser vedrørende de enkelte variable med henblik på at sikre at de udviklede modeller er biologisk og klinisk meningsfulde. Metoderne er beskrevet i detaljer i en række biostatistiske lærebøger, hvoraf flere også kan have interesse for læsere med en sundhedsvidenskabelig baggrund [3], [4] og [5]. 32

34 Bilag E: Variationsanalyse - statistisk proceskontrol Statistisk proceskontrol har to hoved anvendelsesområder: Kvalitetsovervågning Dokumentere kvalitetsforbedring. Kontroldiagram anvendes til statistisk proceskontrol, og indikerer om en sundhedsfaglig proces eller et sundhedsfagligt resultat er i statistik kontrol (stabil, kun udvisende den variation der skyldes den allesteds nærværende tilfældige variation) eller ude af statistik kontrol (ustabil som følge af variation p.g.a. ikke-tilfældige, specielle årsager). Kvalitetsovervågning: Ved løbende monitorering overvåges, at kvaliteten ikke varierer mere end tilfældighederne forklarer. Hvis den statistiske overvågning viser, at en proces kommer ud af statistisk kontrol betyder det, at der er specielle årsager der påvirker processen så kvaliteten ændres signifikant (i gunstig eller i ugunstig retning). Det bør give anledning til nærmere vurderinger (audit) for at finde den forventede bagvedliggende specielle årsag. Dette med henblik på at fjerne årsagen, hvis den betinger ugunstig kvalitet, eller gøre den permanent, hvis den forårsager gunstig kvalitet. Dokumentere kvalitetsforbedring: Hvor man i en afdeling går aktivt ind med en indsats for at forbedre kvaliteten. I denne situation skal det vises, at den specielle indsats der gøres som led i kvalitetsforbedringsprojektet har en effekt, der er statistisk signifikant, altså som ikke blot kan forklares ved tilfældig variation. Det betyder, at kontroldiagrammet skal vise ude af statistisk kontrol som følge af speciel årsag: in casu den specielle indsats som led i projektet. Manglende statistisk kontrol kan identificeres ved at påvise målepunkter som ligger udenfor kontrolgrænserne. Herudover findes der også muligheder for at belyse, hvorvidt målepunkter placeret indenfor kontrolgrænserne er tilfældigt fordelt. Disse metoder kan f.eks. påvise om målepunkterne systematisk ligger over centerlinjen eller om der er en stigende eller faldende trend. Følgende figur dokumenterer et forbedringsprojekt, f.eks. at forbedre efterlevelsen af retningslinier for ernæringsvurdering, hvilket betyder at proces- 33

35 sen nu er ude af statistisk kontrol, da der de sidste seks måneder er en generelt stigende tendens: Andel i % Øvre grænse Centerlinie Nedre grænse 10 0 Januar Marts Februar April Maj Juni Juli August Antal patienter Følgende figur dokumenterer et forbedringsprojekt f.eks. at øge antallet af indgreb uden komplikationer, hvilket betyder at processen nu er ude af statistisk kontrol, da der de sidste seks måneder viser, at målepunkterne systematisk ligger over centrelinjen: Andel i % Øvre grænse Centerlinie Nedre grænse 10 0 Januar Marts Februar April Maj Juni Juli August Antal patienter Yderligere beskrivelse af statistisk proceskontrol kan findes i [6] og [7]. 34

36 Litteraturhenvisninger [1] Goldstein H, Spiegelhalter DJ: Leagues tables and their limitations: statistical issue in comparisons of institutional performance. J Royal Statis Soc A 1996; 156: [2] Endahl LA, Utzon J: Ranglister over sygehuses kvalitet er de vejledende eller er de vildledende? Ugeskrift for Læger 2002; 164: [3] Bland M: An introduction to medical statistics. 3rd edition, Oxford University Press, [4] Hosmer D, Lemeshow S: Applied survival analysis. Wiley, [5] Hosmer D, Lemeshow S: Applied logistic regression analysis. Wiley, [6] Benneyan JC, Lloyd RC, Plsek PE. Statistical process control as a toll for research and healthcare improvement. Qual Saf Health Care 2003; 12: [7] Hart MK, Hart RF: Statistical Process Control for Health Care. Duxury. Thomson Learning, USA