Mål med mening. Introduktion til statistisk kvalitetsudvikling. Jacob Anhøj & Anne-Marie Blok Hellesøe. Diagnostisk Center, Rigshospitalet

Transkript

1 Mål med mening Introduktion til statistisk kvalitetsudvikling Jacob Anhøj & Anne-Marie Blok Hellesøe Diagnostisk Center, Rigshospitalet 2014

2 Indhold Om at se på data Kvalitetsudviklerens fornemmelse for variation Seriediagrammet kvalitetsudviklerens schweizerkniv Den gode indikator Kontroldiagrammet kvalitetsudviklerens skalpel Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

3 Om at se på data Hvad kan vi sige om forekomsten af svær sepsis og septisk chok på dette hospital? Tre syn på data: Forskerens, udviklerens og bogholderens Måned Antal [Anhøj, Egebart: Forskeren, bogholderen og udvikleren. DSFP Jubilæumsskrift dec. 2011] Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

4 Tre syn på data Formål Forskning Forbedring Kontrol Skabe ny viden Implementere eksisterende viden Dokumentere, bedømme og sammenligne Hypotese Statisk Dynamisk Ingen hypotese Variation Kontrollér Studér Justér Stikprøve Stor Lille Ingen stikprøve Målehyppighed Statistiske metoder En eller få målinger Komparative metoder Dage, uger, måneder Statistisk processtyring [Solberg 1997: The Three Faces of Performance Measurement] Kvartaler, år Deskriptive metoder Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

5 Science of Improvement ifølge WHO The science of improvement has its origins in the work of W. Edwards Deming [...]. He described the following four components of knowledge that underpin improvement: appreciation of a system; understanding of variation; the theory of knowledge; and psychology. W. Edwards Deming ( ) [WHO: Safety Curriculum, 2011, p178] [ Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

6 Enumerative vs. analytical studies An enumerative study has for its aim an estimate of the number of units of a frame that belong to a specified class. An analytic study has for its aim a basis for action on the cause-system or the process, in order to improve product of the future. W. Edwards Deming ( ) [W. E. Deming: On Probability as a Basis for Action. The American Statistician, 1975] Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

7 Statisk og dynamisk statistik 1 Eksempel: Clostridium difficile-infektioner CD tilfælde (95% sikkerhedsgrænser) Antal per sengedage Herlev Hvidovre Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

8 Statisk og dynamisk statistik 2 Eksempel: Clostridium difficile-infektioner CD tilfælde, Hvidovre Antal per sengedage Måned Obs. (usefull) = 46 (46) Longest run (max) = 11 (9) Crossings (min) = 12 (17) Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

9 Statisk og dynamisk statistik 3 Eksempel: Clostridium difficile-infektioner CD tilfælde, Herlev Antal per sengedage Måned Obs. (usefull) = 46 (46) Longest run (max) = 10 (9) Crossings (min) = 19 (17) Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

10 Med papir og blyant Pencil and paper for construction of distributions, scatter diagrams, and run charts to compare small groups and to detect trends, are more efficient methods of estimation than statistical inference that depends on variances and standard errors, as the simple techniques preserve the information in the original data. W. Edwards Deming ( ) [W. E. Deming: On Probability as a Basis for Action. The American Statistician, 1975] Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

11 Alt er proces Proces: Forbundne aktiviteter som har til formål at frembringe et produkt eller en ydelse. Processer varierer Tilfældig (almindelig) variation findes i alle processer Ikke-tilfældig (særlig) variation kan skyldes tilsigtede forbedringer eller utilsigtede forværringer Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

12 Seriediagram Hjertestopkald Antal hjertetopkald Måned Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

13 Signaler om ikke-tilfældig variation i seriediagrammer Skiftsignal: Usædvanlig mange konsekutive datapunkter på samme side af medianen Krydssignal: Usædvanlig få krydsninger af medianen Andre: Fx cykliske mønstre og oplagt afvigende enkeltmålinger [Anhøj 2013: Noter om seriediagrammet] Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

14 Øvelse: Seriediagram med plat og krone Kast mønten 12 gange, og marker plat og krone med kryds over og under en streg. Tæl antal sideskift og længste serie. Antal kryds (sideskift) = 6 Længste serie = 4 Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

15 Øvelse: Analyse af seriediagram Tæl antal brugbare observationer, antal kryds og længste serie Hjertestopkald Antal hjertetopkald Måned Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

16 Øvelse: Analyse af seriediagram Tæl antal brugbare observationer, antal kryds og længste serie Hjertestopkald Antal hjertetopkald Måned Obs. (usefull) = 35 (30) Longest run (max) = 4 (8) Crossings (min) = 13 (10) Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

17 Dilbert on numbers Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

18 Bakteriæmi Hospitalserhvervede bakteriæmitilfælde, RH Antal Måned Obs. (usefull) = 18 (18) Longest run (max) = 3 (7) Crossings (min) = 12 (5) Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

19 Basisobservationer Procent indlæggelsesdøgn med komplette observationer Basisobservationer Start MAS Måned 96.5 Obs. (usefull) = 36 (36) Longest run (max) = 14 (8) Crossings (min) = 5 (13) Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

20 Hjertestopkald Hjertestopkald Antal hjertetopkald % komplians på basisobservationer Måned Obs. (usefull) = 34 (31) Longest run (max) = 6 (8) Crossings (min) = 9 (11) Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

21 Respiratorrelaterede lungeinfektioner Dage mellem VAP, RH 4131 (jan 2010 jul 2013) Dage VAP nr. Obs. (usefull) = 36 (37) Longest run (max) = 5 (8) Crossings (min) = 19 (13) Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

22 Sepsis Svær sepsis og septisk chok Antal Måned Obs. (usefull) = 35 (28) Longest run (max) = 7 (8) Crossings (min) = 7 (9) Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

23 Urinvejsinfektioner Hospitalserhvervede urinvejsinfektioner, Bispebjerg Antal UVI per sengedage Måned Obs. (usefull) = 47 (46) Longest run (max) = 7 (9) Crossings (min) = 27 (17) Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

24 Bakteriæmier i gitterlayout Hospitalserhvervede bakteriæmier per sengedage Herlev Hospital Hvidovre Hospital 20 Antal bakteriæmier per sengedage Bornholms Hospital Gentofte Hospital Amager Hospital Glostrup Hospital Frederiksberg Hospital Bispebjerg Hospital Måned Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

25 Øvelse: Øjenskader forårsaget af nytårsfyrværkeri Tegn et seriediagram over antallet af øjenskader siden 1999 [Politiken, 1. januar 2014] År Antal År Antal Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

26 Øvelse: Øjenskader Hvad viser seriediagrammet? Øjenskader pga. nytårsfyrværkeri Antal År Obs. (usefull) = 15 (13) Longest run (max) = 2 (7) Crossings (min) = 7 (3) Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

27 Faldgruber med seriediagrammer Autokorrelerede data, fx: På et plejehjem, hvor alle beboere skal have fodundersøgelse én gang årligt, tæller man hver måned dem, som er blevet undersøgt inden for det sidste år. I en daginstitution opgør man dagligt andelen af børn, som er fraværende pga. sygdom. For små stikprøver, fx: På en fødeafdeling med gennemsnitlig otte fødsler i døgnet tæller man dagligt antallet af nyfødte med lav ph. På en medicinsk afdeling, hvor der indlægges i gennemsnit 12 patienter i døgnet, og hvor medicinafstemning gennemføres hos 95%, opgør man dagligt andelen med medicinafstemning. Hov! Det jo slet ikke seriediagrammet, den er gal med. Hvad er det egentlige problem? Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

28 Dilbert on pie charts Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

29 Når tal taler eller noget om at bruge data til at skabe forbedringer Mål lokalt Mål nu Mål småt Mål hyppigt Mål processer Fjern nævneren Den gode: I dag fik 2 af vores patienter ikke målt vitalværdier. Den onde: I sidste måned fik over 90% af vores patienter målt vitalværdier. Den grusomme: Sidste år var der 3,8 uventede hjertestop per sengedage på jeres afdeling Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

30 Øvelse: Den gode indikator Vælg en indikator fra dit (kliniske) forbedringsprojekt og beskriv den så præcist som muligt med disse oplysninger: Indikatornavn Indikatortype (resultat, proces, ligevægt) Dataelementer (tæller, nævner) Dataindsamling (hvem, hvad, hvor, hvornår, hvordan?) Datakilder ( papir og blyant eller elektroniske data) Databehandling (aggregering, beregning af dataelementer) Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

31 Tip til praktisk dataindsamling og -behandling Begynd med den gode indikator Saml så vidt muligt data dagligt, fx tæller og nævner fra en lille stikprøve på 3-5 patienter eller procedurer Aggreger data ugentligt, fx ved at summere tæller og nævner fra ugens stikprøver Indsæt ugens tal som en ny prik på seriediagrammet, og genberegn medianen Lås medianen, når du har mindst 20 målepunkter, som kun viser tilfældig variation Dataaggrering og graf kan automatiseres med et regneark Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

32 Der må være en grænse: Kontroldiagrammet Hospitalserhvervede bakteriæmitilfælde, RH (C diagram) Antal Måned Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

33 Kontroldiagrammet SD 2SD 1SD 0 +1SD +2SD +3SD Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

34 Kontroldiagrammer Måledata Tælledata I: Én måling per stikprøve, fx navlesnors-ph fra individuelle børn Xbar: Flere målinger per stikprøve, fx gennemsnitlig navlesnors-ph i en ugentlige stikprøve fra flere børn T: Tid mellem hændelser, fx dage mellem dødsfald P: Andel, fx andel operationer med komplet tjekliste C: Antal, fx antal hjertestop U: Rate, fx patientskader per 1000 sengedage G: Antal mellem hændelser, fx patienter mellem dødsfald [Provost 2011: The Health Care Data guide] Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

35 I-diagram: ph-værdier hos nyfødte Navlesnors ph (I diagram) ph Nyfødt nr. Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

36 Xbar-diagram: Ventetider Brystkræft: Gennemsnitlig tid til behandlingstart (Xbar diagram) 54.5 Dage Uge Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

37 T-diagram: Dage mellem CVK-infektioner CVK infektioner, ITA (T diagram) Dage mellem CVK infektioner : CVK pakken Infektion nr. Obs. (usefull) = 14 (14) Longest run (max) = 3 (7) Crossings (min) = 7 (4) Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

38 P-diagram: PVK-komplikationer PVK komplikationer, med. afd. (P diagram) Procent Måned Obs. (usefull) = 38 (38) Longest run (max) = 5 (8) Crossings (min) = 17 (14) Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

39 C-diagram: Bakteriæmi Hospitalserhvervede bakteriæmitilfælde, RH (C diagram) Antal Måned Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

40 U-diagram: Clostridium difficile CD tilfælde, Gentofte (U diagram) Antal per sengedage Måned Obs. (usefull) = 46 (46) Longest run (max) = 6 (9) Crossings (min) = 17 (17) Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

41 G-diagram: Postoperative sårinfektioner Operationer mellem infektioner efter primær knæalloplastik (G diagram) Antal Operation nr. Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

42 Beregning af kontrolgrænser CL = X ± 3SD, SD = estimeret standardafvigelse i stikprøven I: x ± 2.66(MR), MR = gennemsnittet af parvise, absolutte forskelle P: p ± 3 p(1 p)/m i, p = n i / m i, n =defekte enheder, m =antal inspicerede enheder (fx patienter el. procedurer) C: c ± 3 c, c =antal defekter U: u ± 3 c/m i, c =antal defekter, m =antal inspicerede enheder (fx sengedage el. udskrivelser) G: x ± 3 dødsfald) x(x + 1), x =antal cases (fx patienter) mellem events (fx [Mohammed et al. Qual. Saf. Health Care 2008;17; ] [Benneyan. Health Care Management Science 4, , 2001] Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

43 Dilbert on measures Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

44 Øvelse: Øjenskader forårsaget af nytårsfyrværkeri Tegn et kontroldiagram over antallet af øjenskader siden 1999 [Politiken, 1. januar 2014] År Antal År Antal Tip: C-diagram, cl = c ± 3 c Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

45 Øvelse: Øjenskader Øjenskader pga. nytårsfyrværkeri (C diagram) Antal År Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

46 Planlægning forbedring kontrol 1 Hjertestopkald før og efter udflytning af akut kirurgi (C diagram) Antal hjertetopkald Måned Obs. (usefull) = 26 (26) Longest run (max) = 5 (8) Crossings (min) = 12 (8) Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

47 Planlægning forbedring kontrol 2 Hjertestopkald før og efter udflytning af akut kirurgi (C diagram) Antal hjertetopkald Måned Obs. (usefull) = 26 (26) Longest run (max) = 4 (8) Crossings (min) = 12 (8) Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

48 Planlægning forbedring kontrol 3 Hjertestopkald før og efter udflytning af akut kirurgi (C diagram) Antal hjertetopkald Calibration Data New Data Måned Obs. (usefull) = 56 (56) Longest run (max) = 16 (9) Crossings (min) = 20 (21) Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

49 Planlægning forbedring kontrol 4 Hjertestopkald før og efter udflytning af akut kirurgi (C diagram) Antal hjertetopkald Måned Obs. (usefull) = 56 (56) Longest run (max) = 8 (9) Crossings (min) = 24 (21) Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

50 Et godt råd Don t waste too much time on tools and techniques. You can learn the lot in 15 minuttes. W Edwards Deming ( ) Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

51 Vælg dine kampe Forbedringsstrategien afhænger af variationstypen Tilfældig variation: Tilfreds? Tilfreds: Overvåg processen Utilfreds: Ny proces Ikke-tilfældig variation: Hvorfor? Ønsket variation: Implementér årsagen Uønsket variation: Eliminér årsagen Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

52 Tampering 1 Tilfældige tal uden justering Tilfældige tal med justering Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

53 Tampering 2 Systolisk blodtryk med fast medicindosis mm Hg Dato Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

54 Tampering 3 Systolisk blodtryk med simuleret løbende justering af medicindosis mm Hg Dato Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

55 Tampering 4 De seneste uger mediestorm om den udviste pige Im Nielsen og hendes mor kulminerede i går, da et flertal i Folketinget vedtog en særlov, der giver de to lov at vende hjem til Aabybro. Men i stedet for at lave særlove på baggrund af en populær enkeltsag, burde politikerne se at få ændret hele udlændingeloven, lyder det fra Red Barnet. [Politiken 14. november 2013] Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

56 Tampering, kort sagt When a system is stable, telling the worker about mistakes is only tampering. Confusing common causes with special causes will only make things worse. W Edwards Deming ( ) Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

57 Faldgruber ved kontroldiagrammer Dårlige indikatorer, fx: autokorrelerede data for små stikprøver (skæve fordelinger) Forkert diagramtype, fx: forveksling af rater (U) og proportioner (P) brug af C-diagrammet til at monitorere volumen, fx antallet af indlæggelser brug af C-diagrammet til at analysere rater 1 Overspredning (overdispersion) falske signaler ved meget store stikprøver (P-, U- og C-diagrammer) 2 [1: Mattson et al. BMJ Qual Saf 2013;22: ] [2: Mohammed et al. BMJ Qual Saf 2013;22: ] Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

58 Seriediagrammer eller kontroldiagrammer? Seriediagrammer Hver gang Altid Hele tiden Når som helst Igen og igen Kontroldiagrammer Når seriediagrammet kun viser tilfældig variation, og det er vigtigt at opdage uønskede forværringer i en ellers tilfredsstillende proces, eller man ønsker at karakterisere processen før en forbedringsindsats. Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

59 Konklusioner Nosce te forsker, udvikler eller bogholder? Alt er proces processer varierer Variation i data til forbedring skal studeres med serie- og (eventuelt) kontroldiagrammer primitive sammenligninger og før-efter-målinger duer ikke. Forbedringsstrategien afhænger af variationstypen Forbedringer viser sig ved ikke-tilfældig variation i den ønskede retning. Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60

60 Evaluering På en skala fra 1 til 5, hvor 5 er størst, angiv dit udbytte af denne workshop. Giv desuden gerne dine kommentarer: ris, ros og forslag til forbedringer. Anhøj & Hellesøe (Rigshospitalet) Mål med mening / 60