Mål Kritisk vurdering af litteraturen Andreas H. Lundh nfektionsmedicinsk Afdeling, Hvidovre Hospital Anders W. Jørgensen Øre-Næse-Halsafdeling H, Aarhus Universitets Hospital - kunne skelne mellem systematiske og stokastiske fejl - kende til væsentlige typer af bias - kendskab til p-værdier og konfidensintervaller - kendskab til absolut og relativ risiko - skelne mellem statistisk og klinisk signifikans - kendskab til generaliserbarhed af resultater 1 2 Vurdering af evidensen Typer af fejlkilder Patientens problem præsenteres 1. Klinisk spørgsmål formuleres 2. Evidens identificeres Fejlkilder systematisk fejl (bias) stokastisk fejl (random error) Patientens problem løses 3. Evidens vurderes kritisk 4. Evidens anvendes Accuracy intern validitet præcision 5. Evaluering af læringsstrategi Ask/Aquire/Appraise/Apply/Assess 3 4 Fire muligheder Fejlkilder og studie størrelse fejl systematisk fejl (bias) stokastisk fejl (random error) studie størrelse 5 6 1
Vurdering af studier via GATE Kompressionsstrømper og DVT Population/problem P Personer der skal flyve langt (> 8 timer) Kompressionsstrømper ngen kompressionsstrømper Sammenligning O DVT tid Evid Based Med 2006;11:35-8 7 Lancet 2001;357:1485 9 8 Population Sammenligning i. Source population ii. nkluderbare patienter iii. nkluderede patienter i. Personer bosiddende i London, der skal flyve langt (n =??) ii. > 50 år, flyve > 8 t på economy, ingen hjertekar- el. lungesygdom el. cancer (n = 479) iii. nkluderede (n = 231) Er grupperne sammenlignelige? 1. Allokering til grupperne 2. Adfærd under studiet 3. Vurdering af outcomes Er de inkludere patienter repræsentative (generaliserbarhed)? 9 10 1. Allokering til grupperne Selektionsbias/konfounding i observationelle studier Er grupperne ikke sammenlignelige kan det introducere bias/konfounding Observationelle studier a) Undgik man selektionsbias i inklusionen? b) Blev der kontrolleret for relevante konfoundere? c) Var kodningen af exposure uden bias? Randomiserede forsøg a) Var allokeringen tilfældig? b) Var allokeringen skjult? 11 Screening for colorectal cancer Kohorte studie P: midaldrende mænd : har fået foretaget screening : har ikke fået foretaget screening O: død Er grupperne forskellige mht. alder, køn, komorbiditeter, sundhedsadfærd, genetisk disposition m.m.? 12 2
nformationsbias for exposure Selektionsbias/konfounding i randomiserede forsøg Mobiltelefonbrug og hjernetumorer ase-control studie P: Raske : Mobiltelefonbrug (> 1 t dagligt) : ngen til < 2 min s brug dagligt O: Hjernetumor a) Var allokeringen tilfældig? b) Var allokeringen skjult? Er kodningen af mobiltelefonbrug i tid (=exposure) påvirket af om personer havde +/- tumor (recall bias/informationsbias) 13 14 2. Adfærd under studiet Blinding Observationelle studier og randomiserede forsøg a) Var patienter og sundhedspersonale blindet? b) Var fordelingen af co-faktorer der kunne påvirke outcome ens grupperne i mellem? (medicin, motion, rygning etc) Var patienter og sundhedspersonale blindet? c) Var drop-out minimal og drop-out årsag ens grupperne imellem? d) Blev data analyseret efter intention to treat (RT) 15 16 Fordeling af co-faktorer Drop-out (attrition bias) 5-og-20% s reglen < 5% lille risiko for bias > 20% stor risiko for bias Drop-out antal < event antal Drop-out ens grupper imellem Drop-out 14% stocking group, 13% control group Var fordelingen af co-faktorer der kunne påvirke outcome ens grupperne i mellem? (medicin, motion, rygning etc) (performance bias) 27 passengers were unable to attend for subsequent ultrasound investigation because of ill-health (three), change of travel plans, or inability to keep appointments (24). Two who were upgraded to business class and two taking anticoagulants were also excluded. A similar number of men and women were excluded in the two groups: six and nine in the stocking group and seven and nine in the no stocking group, respectively. 17 Var drop-out minimal og drop-out årsag ens grupperne imellem? 18 3
ntention to treat 3. Vurdering af outcomes a) Var dem der vurderede outcomes blindede b) Hvis ikke, var outcomes objektive? (detection bias/informationsbias) 19 20 - effekt Gruppe Strømper Kontrol + Symptomfri DVT 0 12 - ngen DVT 100 88 21 Risiko Strømper: 0/100 Risiko Kontrol: 12/100 RR = 0,04 (95% 0,04 0,67) AR = 0,12 (95% 0,05 0,19) NNT = 1/0,12 = 8,3 (5,4 18,4) (p = 0,0003) 22 - skade Strømper Kontrol Effektmål Patienterelevante (eks. død, hospitalisering,dyspnøe) Surrogat effektmål (eks. BNP, EF) Superficiel thrombophlebitis ngen thrombophlebitis Risiko Strømper: 0/100 Risiko Kontrol: 4/100 4 0 96 100 RR = 9,00 (95% 0,49 165,0) AR = 0,04 (95% 0,00 0,08) NNT = 1/0,04 = 25,0 (-12,1 40,0) Sammensatte effektmål major cardiovascular events, a composite consisting of death from cardiovascular causes, aortic-valve replacement, congestive heart failure as a result of progression of aortic-valve stenosis, nonfatal myocardial infarction, hospitalization for unstable angina, coronary-artery bypass grafting (ABG), percutaneous coronary intervention (P), or nonhemorrhagic stroke NEJM 2008;359:1343-56 (p = 0,07) 23 24 4
Klinisk vs statistisk signifikans Rapporteringsbias Statistisk signifikans klinisk signifikant - slankolade gav vægttab på 113 g i forhold til placebo (95% 93 133) (p < 0,0001) - klinisk relevans, bias? ngen statistisk signifikans ingen klinisk signifikans - rygning gav RR = 2,0 for kardiovaskulære events (95% 0,94 4,24) (p = 0,07) - type 2 fejl? Skulderkirurgi vs. placebo v. periartrosis humeroscapularis. Effektmål diverse skulderfunktions skalaer ROM (p=0,72), SFA (p=0,15), FLEX-SF (p=0,53), SPAD (p=0,08), SST (p=0,87), ULA (p=0,04), Wolfgang (p=0,43). Kun ULA rapporteres i artikel Studieniveau (publikationsbias) niveau (selective outcome reporting) heck protokol eks. www.clinicaltrials.gov 25 26 Generaliserbarhed af resultater Anvendelse af evidensen PO patient P Dansk 40 årig mand kompressionsstrømpe PO forsøgsperson P Engelske mænd/kvinder (56 68 år) kompressionsstrømpe Patientens problem præsenteres 1. Klinisk spørgsmål formuleres ingen strømpe ingen strømpe 2. Evidens identificeres O død, symptomgivende DVT O symptomfri DVT Forventer vi en anden effekt hos vores patient? (patofysiologi, subgruppe effekt) P (alder, køn, komorbiditet) (dosis, compliance) (standardbehandling) Patientens problem løses 3. Evidens vurderes kritisk 4. Evidens anvendes 5. Evaluering af læringsstrategi O (patientrelevant, tidslængde) 27 Ask/Aquire/Appraise/Apply/Assess 28 Konklusion Kan vi stole på studiets konklusion (bias, statistisk usikkerhed og klinisk relevans) ja nej glem det Kan vi generalisere resultaterne til vores patient? ja nej glem det Tilbyd patienten behandling (effekt, bivirkninger, pris) 29 5