Udvikling af den danske HSMR model DSKS årsmøde den 5. januar Malene Cramer Engebjerg
Program Konstruktion af datasæt Prediktionsmodellen Validering af prediktionsmodel Udregning af HSMR med prediktionsmodel Præsentation af HSMR tal
Konstruktion af datasæt Fra LPR data udvælges alle indlagte patienter i en given periode. På hinanden følgende indlæggelser kobles sammen til én lang indlæggelse (vi tillader et hul på dag).
Konstruktion af datasæt Vi har defineret følgende: Indlæggelsesmåde og aktionsdiagnose hentes fra første indlæggelse i forløbet. En overflytning inden for de første 3 dage betragtes som en høj risiko overflytning, hvis den foregår mellem to regioner. Den sammenkoblede indlæggelse tilskrives det sygehus, som patienten sidst var indlagt på inden for de første 3 dage.
Konstruktion af datasæt Faldgrubber: LPR afspejler ikke forløbsdata og derfor kan administrative fejl betyde, at en eller flere indlæggelser kan være indeholdt i en anden indlæggelse mm. Hvilke skskoder fra LPR skal med? SSTs sygehusafdelingsklassifikation kobling mellem offentlige sygehuse og hospice/privat hospitaler. sksklassifikationen ændrer sig over tid.
Charlsons komorbiditets index Sygdoms kategorier Akut myocardie infarkt Hjerteinsufficiens Karsygdomme Cerebrovaskulære sygdomme Demens Kronisk lungesygdom Bindevævssygdomme Ulcussygdomme Milde leversygdomme Diabetes (type og ), uden komplikationer Hemiplegi Moderate til svære nyresygdomme Diabetes (type og ), med komplikationer Solide eller hæmatologiske cancere Score Moderate til svære leversygdomme 3 Metastaserende cancer AIDS 6 Århus 9
Konstruktion af datasæt Komorbiditet: Charlson komorbiditetsindeks baseret på alle indlæggelser siden 977. Hvis aktionsdiagnosen svarer til én af Charlson diagnoserne tælles ikke med. Civilstandsoplysninger (gift, ugift, fraskilt, enke, ukendt) på indlæggelsestidspunktet er koblet på.
Prediktionsmodellen For at beregne en HSMR skal det forventede antal dødsfald udregnes. Idéen er at bruge dødelighedsraterne fra 8 som basis for denne udregning. Tidligere stratificerede vi på kvartal, diagnosegruppe, køn, aldersgruppe () og indlæggelsesmåde Overfitting/data massage (dvs. vi modellerer støj i stedet for reelle sammenhænge). Potentielt ingen information i sjældne strata.
Prediktionsmodellen Hvad gør man så? Logistisk regression: Modellere enhver patients sandsynlighed for at død inden for 3 dage efter indlæggelse, hvor der er taget højde for: aktionsdiagnose, alder, køn, indlæggelsesmåde, komorbiditetsindeks, overflytningsstatus, civilstand og indlæggelseskvartal.
Prediktionsmodellen Det betyder, at dødssandsynlighed = funktion af aktionsdiagnose, alder,... Vi har fittet en logistisk regressionsmodel til 8data, og så kan man i princippet:. Tage værdierne for en patient indlagt i 9.. Proppe dem ind i ovenstående formel. 3. Finde denne nye patients predikterede sandsynlighed for at dø inden for 3 dage.
Validering af prediktionsmodellen Vi validerede 3 forskellige prediktionsmodeller. En model:. Indeholdende kvartal, diagnosegruppe (8 stk.), alder ( grupper), køn, indlæggelsesmåde, komorbiditetsindeks (// 3+), overflytningsstatus (ja/nej) og civilstand.. Hvor der var justeret for komorbiditet ved at lade de 9 Charlson sygdomme indgå som dikotome variable. 3. Hvor alder blev inkluderet som en spline med 7 knudepunkter. 4. Uden kvartal. 5. Uden diagnosegruppe. 6. Uden køn. 7. Uden alder.
Validering af prediktionsmodellen 8. Uden indlæggelsesmåde. 9. Uden komorbiditet.. Uden overflytningsstatus.. Uden civilstandsoplysninger.. Med en interaktion mellem alder og komorbiditet. 3. Hvor alder blev inkluderet som en spline med 3 knudepunkter.
Validering af prediktionsmodellen
Validering af prediktionsmodellen Andre mål:. Afstanden fra hvert punkt på forrige figur til (,) svarende til perfekt kalibrering og refinement.. Brier score: gennemsnit af (y i p i ). 3. Arealet under ROC kurven (cindex):. Siger alene noget om diskrimination og ikke noget om kalibrering. Hosmer og Lemeshow: ROC=.5 Ingen diskrimination (svarer til at slå plat og krone)..7 ROC<.8 Acceptabel diskrimination..8 ROC<.9 Excellent diskrimination. ROC.9 Outstanding diskrimination.
Validering af prediktionsmodellen Sorted by area Area under the Curve Sorted by Brier Brier Sorted by distance Distance to (,) Model.844 Model.49 Model 7.6 Model.84 Model.49 Model 5.4 Model 3.84 Model 3.49 Model.5 Model 3.84 Model 3.49 Model 9.6 Model.84 Model.5 Model 6.7 Model.84 Model 4.5 Model.7 Model 4.84 Model.5 Model.8 Model 6.84 Model 6.5 Model.8 Model.84 Model.5 Model 4.8 Model 9.835 Model 9.5 Model 8.9 Model 8.8 Model 8.5 Model.3 Model 7.8 Model 7.5 Model 3.34 Model 5.769 Model 5.54 Model 3.36
Validering af prediktionsmodellen
Validering af prediktionsmodel Konklusion der ser ikke ud til at være de store forskelle mellem modellerne. Derfor vælger vi model (tager højde for mange klinisk relevante variable)!
Udregning af HSMR med prediktionsmodel Betragt et sygehus:. Tæl det observerede antal dødsfald inden for 3 dage efter indlæggelse det giver det observerede antal døde O.. Brug prediktionsmodellen til at prediktere hver patients sandsynlighed for at dø inden for 3 dage. Disse sandsynligheder summeres det giver det forventede antal døde E. 3. Da er HSMR = O/E.
Præsentation af HSMR tal Man skal af flere grunde være varsomme med at sammenligne HSMR tal på tværs af hospitaler: HSMR for små hospitaler varierer forventeligt mere end HSMR for store hospitaler
Præsentation af HSMR tal Derfor har vi valgt at offentliggøre empirisk Bayes justerede HSMR tal: Variationen på det enkelte HSMR tal sammenholdes med variationen på alle HSMR tal. Hvis der er forholdsvis stor usikkerhed på det enkelte HSMR tal, trækkes det empirisk Bayes justerede HSMR tal tættere på gennemsnittet.
Præsentation af HSMR tal Vi er ofte blevet spurgt: Hvor stor skal HSMRværdien være, før vi bør gå nærmere ind i eventuelle årsager? Det er et rigtigt godt spørgsmål.
Præsentation af HSMR tal Én løsning er at lave et kontrolkort: En eller anden størrelse, som siger noget om kvaliteten, plottes mod tiden. På plottet indtegnes en kontrolgrænse hvis denne krydses indikerer det, at processen er ud af kontrol. Det er vigtigt at tage højde for, at vi ønsker at lave en løbende analyse af det samme hospital og ikke bare et snapshot.
CUSUM kort Cumulative Sum chart (CUSUM kort) er velegnede til dette formål. Idéen er til tid t at plotte X t = max(, X t + W t ).
CUSUM kort Cumulative Sum chart (CUSUM kort) er velegnede til dette formål. Idéen er til tid t at plotte X t = max(, X t + W t ). Dag (t) Obs. (O) Forv. (E) W t = OE X t + W t X t 8 3 9 4 9.5.5.5.5 5.5.5
CUSUM kort Cumulative Sum chart (CUSUM kort) er velegnede til dette formål. Idéen er til tid t at plotte X t = max(, X t + W t ). Dag (t) Obs. (O) Forv. (E) W t = OE X t + W t X t 8 3 9 4 9.5.5.5.5 5.5.5
CUSUM kort Cumulative Sum chart (CUSUM kort) er velegnede til dette formål. Idéen er til tid t at plotte X t = max(, X t + W t ). Dag (t) Obs. (O) Forv. (E) W t = OE X t + W t X t 8 3 9 4 9.5.5.5.5 5.5.5
CUSUM kort Cumulative Sum chart (CUSUM kort) er velegnede til dette formål. Idéen er til tid t at plotte X t = max(, X t + W t ). Dag (t) Obs. (O) Forv. (E) W t = OE X t + W t X t 8 3 9 4 9.5.5.5.5 5.5.5
CUSUM kort Cumulative Sum chart (CUSUM kort) er velegnede til dette formål. Idéen er til tid t at plotte X t = max(, X t + W t ). Dag (t) Obs. (O) Forv. (E) W t = OE X t + W t X t 8 3 9 4 9.5.5.5.5 5.5.5
CUSUM kort Cumulative Sum chart (CUSUM kort) er velegnede til dette formål. Idéen er til tid t at plotte X t = max(, X t + W t ). Dag (t) Obs. (O) Forv. (E) W t = OE X t + W t X t 8 3 9 4 9.5.5.5.5 5.5.5
CUSUM kort Cumulative Sum chart (CUSUM kort) er velegnede til dette formål. Idéen er til tid t at plotte X t = max(, X t + W t ). Dag (t) Obs. (O) Forv. (E) W t = OE X t + W t X t 8 3 9 4 9.5.5.5.5 5.5.5
CUSUM kort Cumulative Sum chart (CUSUM kort) er velegnede til dette formål. Idéen er til tid t at plotte X t = max(, X t + W t ). Dag (t) Obs. (O) Forv. (E) W t = OE X t + W t X t 8 3 9 4 9.5.5.5.5 5.5.5
CUSUM kort Cumulative Sum chart (CUSUM kort) er velegnede til dette formål. Idéen er til tid t at plotte X t = max(, X t + W t ). Dag (t) Obs. (O) Forv. (E) W t = OE X t + W t X t 8 3 9 4 9.5.5.5.5 5.5.5
CUSUM kort Cumulative Sum chart (CUSUM kort) er velegnede til dette formål. Idéen er til tid t at plotte X t = max(, X t + W t ). Dag (t) Obs. (O) Forv. (E) W t = OE X t + W t X t 8 3 9 4 9.5.5.5.5 5.5.5
Præsentation af HSMR tal Det viser sig, at OE ikke er de optimale vægte, men derimod en vægtet difference mellem O og E. Men i princippet samme fortolkning som OE vægtene.
Præsentation af HSMR tal Et CUSUM kort er karakteriseret ved to ting:. Incontrol average run length: Det gennemsnitlige antal år der går, før kortet signalerer en falsk alarm. Ønskes stor. Analogt til type I fejl.. Outofcontrol average run length: Det gennemsnitlige antal år der går, fra der er sket et kvalitetsskred til kortet signalerer (sand alarm). Ønskes lille. Analogt til styrken/type II fejl. Det er ikketrivielt at fastsætte kontrolgrænserne
Præsentation af HSMR tal Eksempel på CUSUM kort: