Mål med mening Hvordan måler vi, om en forandring er en forbedring? Jacob Anhøj, overlæge, DIT Rigshospitalet 2015-11-05 Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 1 / 28
Program Om at se på data Seriediagrammet, kvalitetsudviklerens schweizerkniv Syv trin til gode målinger Test dig selv Evaluering Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 2 / 28
Vil du vide mere? [Jacob Anhøj: Kompendium i kvalitetsudvikling, Munksgaard 2015] [http://rpubs.com/anhoej/] Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 3 / 28
Om at se på data Hvad kan vi sige om forekomsten af svær sepsis og septisk chok på dette hospital? Tre syn på data: Forskerens, udviklerens og bogholderens Måned Antal 2012-03 9 2012-04 4 2012-05 6 2012-06 4 2012-07 3 2012-08 2 2012-09 4 2012-10 4 2012-11 6 2012-12 6 2013-01 4 2013-02 1 [Anhøj, Egebart: Forskeren, bogholderen og udvikleren. DSFP Jubilæumsskrift dec. 2011] Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 4 / 28
Tre syn på data Formål Forskning Forbedring Kontrol Skabe ny viden Implementere eksisterende viden Dokumentere, bedømme og sammenligne Hypotese Statisk Dynamisk Ingen hypotese Variation Kontrollér Studér Justér Stikprøve Stor Lille Ingen stikprøve Målehyppighed Statistiske metoder En eller få målinger Komparative metoder Dage, uger, måneder Statistisk processtyring [Solberg 1997: The Three Faces of Performance Measurement] Kvartaler, år Deskriptive metoder Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 5 / 28
Statisk og dynamisk statistik Eksempel: Vigtig kvalitetsindikator der skal reduceres 111 p = 0.002 89 0 20 60 100 2012 2013 70 90 110 130 Jan 2012 Apr 2012 Jul 2012 Oct 2012 Jan 2013 May 2013 Sep 2013 Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 6 / 28
Alt er proces Proces: Forbundne aktiviteter som har til formål at frembringe et produkt eller en ydelse. Processer varierer Tilfældig variation findes i alle processer Ikke-tilfældig variation kan skyldes tilsigtede forbedringer eller utilsigtede forværringer Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 7 / 28
Dilbert on numbers Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 8 / 28
Seriediagram Seriediagram 10 8 Indikator 6 5.5 4 2 1 2 3 4 5 6 7 8 9 11 13 15 17 19 21 23 Tidsperiode/rækkefølge Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 9 / 28
Signaler om ikke-tilfældig variation i seriediagrammer Skiftsignal: Usædvanlig mange konsekutive datapunkter på samme side af medianen Krydssignal: Usædvanlig få krydsninger af medianen Andre: Fx cykliske mønstre og oplagt afvigende enkeltmålinger [Anhøj, Olesen (2014): Run Charts Revisited. PLoS ONE 9(11): e113825] [Anhøj (2015): Diagnostic Value of Run Chart Analysis. PLoS ONE 10(3): e0121349] Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 10 / 28
Øvelse: Analyse af seriediagram Tæl antal brugbare observationer, antal kryds og længste serie Seriediagram 10 8 Indikator 6 5.5 4 2 1 2 3 4 5 6 7 8 9 11 13 15 17 19 21 23 Tidsperiode/rækkefølge Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 11 / 28
Øvelse: Analyse af seriediagram Tæl antal brugbare observationer, antal kryds og længste serie Seriediagram 10 8 Indikator 6 5.5 4 2 1 2 3 4 5 6 7 8 9 11 13 15 17 19 21 23 Tidsperiode/rækkefølge Obs. (usefull) = 24 (24) Longest run (max) = 5 (8) Crossings (min) = 12 (8) Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 12 / 28
Øvelse: Øjenskader forårsaget af nytårsfyrværkeri Tegn et seriediagram over antallet af øjenskader siden 1999 [BT, 1. januar 2015] År Antal År Antal 1999 22 2007 6 2000 8 2008 4 2001 7 2009 13 2002 10 2010 15 2003 16 2011 9 2004 4 2012 8 2005 9 2013 7 2006 11 2014 10 Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 13 / 28
Øvelse: Øjenskader Hvad viser seriediagrammet? Øjenskader pga. nytårsfyrværkeri 20 15 Antal 10 9 5 1999 2001 2003 2005 2007 2009 2011 2013 År Obs. (usefull) = 16 (14) Longest run (max) = 2 (7) Crossings (min) = 8 (4) Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 14 / 28
Dilbert on bad assumptions Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 15 / 28
Trafikdrab Trafikdrab, DK 25 20 Antal 15 CL = 13 10 2014 02 01 2014 07 01 2014 12 01 2015 05 01 Måned Obs. (useful) = 24 (19) Longest run (max) = 4 (7) Crossings (min) = 10 (6) Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 16 / 28
Basisobservationer Basisobservationer Procent indlæggelsesdøgn med komplette observationer 100 95 90 85 80 75 2011 01 2011 05 2011 09 2012 01 2012 05 2012 09 2013 01 2013 05 2013 09 97.02 Måned Obs. (usefull) = 33 (32) Longest run (max) = 11 (8) Crossings (min) = 5 (11) Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 17 / 28
Hjertestop Uventede hjertestop 12 80% komplians på basisobservationer 10 Antal hjertetopkald 8 6 4 5 2 0 2011 01 2011 06 2011 11 2012 04 2012 09 2013 02 2013 07 Måned Obs. (usefull) = 34 (31) Longest run (max) = 6 (8) Crossings (min) = 9 (11) Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 18 / 28
Nyfødte med iltmangel Dage mellem nyfødte med asfyksi 30 25 Dage 20 15 10 5 0 6.5 5 10 15 20 25 30 Case nr. Obs. (useful) = 34 (34) Longest run (max) = 4 (8) Crossings (min) = 17 (12) Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 19 / 28
Vildledt Uønskede hændelser Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 20 / 28
Vejledt Uønskede hændelser 16.6 15 Antal 10 8.1 5 2014 02 2014 04 2014 06 2014 08 2014 10 2014 12 Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 21 / 28
Vælg dine kampe Forbedringsstrategien afhænger af variationstypen Tilfældig variation: Tilfreds? Tilfreds: Overvåg processen Utilfreds: Ny proces Ikke-tilfældig variation: Hvorfor? Ønsket variation: Implementér årsagen Uønsket variation: Eliminér årsagen Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 22 / 28
Dilbert on pie charts Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 23 / 28
Syv trin til gode målinger 1 Beslutte mål 2 Udvælge indikatorer 3 Beskrive indikatorer 4 Indsamle og behandle data 5 Analysere og præsentere data 6 Reflektere 7 Gentage punkt 4-7 [Mike Davidge on Measurement for Improvement: www.youtube.com/watch?v=za1o77janbw] Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 24 / 28
Øvelse: Den gode indikator Vælg en indikator fra dit forbedringsprojekt og beskriv den så præcist som muligt med disse oplysninger: Indikatornavn Indikatortype: resultat, proces, ulempe Dataelementer: tæller, nævner Datakilder: papir og blyant eller elektroniske data Dataindsamling: hvem, hvad, hvor, hvornår, hvordan? Databehandling: aggregering, beregning af dataelementer Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 25 / 28
Konklusioner Nosce te forsker,udviklerellerbogholder? Alt er proces processer varierer Variation i data til forbedring skal studeres med serie- og eventuelt kontroldiagrammer primitive sammenligninger og før-efter-målinger duer ikke. Forbedringer viser sig ved ikke-tilfældig variation i den ønskede retning. Forbedringsstrategien afhænger af variationstypen Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 26 / 28
Test dig selv! Forklar på hvilke måder brug af data til forbedring adskiller sig fra brug af data til forskning og kontrol Beskriv seriediagrammets opbygning og fortolkning Beskriv en kvalitetsindikator til dit eget forbedringsprojekt Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 27 / 28
Evaluering På en skala fra 1 til 5, hvor 5 er størst, angiv dit udbytte af denne workshop. Giv desuden gerne dine kommentarer: ris, ros og forslag til forbedringer. Læge, helbred dig selv: www.rpubs.com/anhoej/kursusudbytte Jacob Anhøj (Rigshospitalet) Mål med mening 2015-11-05 28 / 28