GRADE Grading of Recommendations Assessment, Development and Evaluation 18 september 2015, Britta Tendal brit@sst.dk 1
GRADE Grading of Recommendations Assessment, Development and Evaluation Et systematisk redskab til at: Fokusere klinisk relevante problemstillinger Vurdere kvaliteten af sundhedsvidenskabelig evidens Transparens i processen fra evidens til anbefaling Klar adskillelse mellem kvaliteten af evidensen og styrken af anbefalingen 2
Over 70 organisationer tilslutter sig eller bruger GRADE 3
Randomization increases initial quality P I C O Outcome Outcome Outcome Outcome Evidence synthesis Critical Critical Important Not Summary of findings & estimate of effect for each outcome Input 1. Risk of bias High 2. Inconsistency Moderate O 3. Indirectness Low OO 4. Imprecision Very low OOO 5. Publication bias 1. Large effect 2. Dose response 3. Opposing bias & Confounders Grade down Grade up Recommendation Grade recommendations For or against (direc3on) Strong or condi3onal/weak (strength) By considering balance of: q Quality of evidence q Balance benefits/harms q Values and preferences Revise if necessary by considering: q Resource use (cost) Guideline Grade overall quality of evidence across outcomes based on lowest quality of critical outcomes Formulate Recommendations ( ) The panel recommends that.should... ( ) The panel suggests that.should... (? ) The panel suggests to not... (? ) The panel recommends to not... ( )
GRADE processen Kliniske Spørgsmål (PICO) Identificer evidens (Studier) Generer estimater for hvert effektmål Vurder kvaliteten af evidens for hver effektmål Vurder den samlede evidens Formuler anbefaling 5
Fokuserede spørgsmål (PICO spørgsmål) Spørgsmålene skal afspejle de vigtige problemstillinger, som man ønsker belyst Population: Hvilken population drejer det sig om? Intervention: Hvilken intervention drejer det sig om? comparison: Hvad er alternativet til interventionen, hvad sammenligner man med? Outcome: Hvilke outcomes er relevante? 6
Hvilke patienter (P) P: Hvilken population drejer det sig om? Definition af sygdommen Definition af sygdommens sværhedsgrad Relevante demografiske faktorer (fx alder eller køn) eller risikogrupper 7
Hvilken intervention (I) I: Hvilken intervention drejer det sig om? Definition af interventionen/erne. Pleje, kirurgi, medicinsk behandling, osv. Hvilke variationer fx: Dosis, administrationsform o.l. Mono-terapi, kombinations-behandling Skal alle variationer inkluderes? Skal beskrives detaljeret 8
Hvilken intervention (I) C: Hvad er alternativet til interventionen, hvad sammenligner man med? Hvad er alternativerne til den undersøgte intervention? Andre interventioner Placebo Ingen behandling Sædvanlig behandling Hvilke sammenligninger er relevante for retningslinjen? 9
Hvilke outcome? (O) O: Hvilket outcome er der tale om? Hvilke effektmål er relevante for at vurdere den undersøgte intervention? Relevante for beslutningstagere, klinikeren såvel som patienten Skadevirkninger bør altid inkluderes (bivirkninger) Fastlægge hvilke tidspunkter, der er relevante at se på Definer om det er kritisk eller vigtigt for beslutningsprocessen 10
Identificering af evidens Systematisk gennemgang Pragmatisk 1. Eksisterende guidelines 2. Systematiske reviews 3. Primær litteratur fx RCT er og kohortestudier 11
Eksisterende retningslinjer Søgning Estimater Evidensvurderinger GRADE tabeller Systematiske oversigtsartikler Søgning Estimater Evidensvurderinger GRADE tabeller Primærstudier Estimater Vurdering af risiko for bias
Evidens fra guidelines / systematiske reviews Søgning Guidelines GRADE Har anvendt GRADE Har ikke anvendt GRADE AGREE II/AMSTAR Høj kvalitet Lav kvalitet Høj kvalitet Lav kvalitet NKR Søgninger, estimater, evidensvurderinger og GRADE tabeller Referencer Søgninger, estimater og evidensvurderinger Referencer
Vurder kvaliteten af evidens GRADE tilgangen Et mål for, hvor meget man kan stole på det præsenterede estimat i forhold til at understøtte en anbefaling. Niveauer: Høj Moderat Lav Meget lav 14
Hvad betyder kvaliteten af evidensen? Høj: Vi er meget sikre på, at den sande effekt af behandlingen er tæt på den es3merede effekt. Moderat: Vi er moderat sikre på den es3merede effekt. Den sande effekt ligger sandsynligvis tæt på denne, men der er en mulighed for at den er væsentligt anderledes. Lav: Vi har begrænset 3ltro 3l den es3merede effekt. Den sande effekt kan være væsentligt anderledes end den es3merede effekt Meget lav: Vi har meget ringe 3ltro 3l effekt es3matet. Den sande effekt er sandsynligvis væsentligt anderledes end effekt es3matet. 15
Assessing Quality of Evidence by Outcome
De fem grunde 6l at nedgradere RCT- er 1. Study limita3ons: er der risiko for bias? 2. Inconsistency: er der betydende heterogenicitet? 3. Indirectness: hvor direkte besvares spørgsmålet? 4. Imprecision: hvor præcist er det es3merede resultat? 5. Publica3on bias: er der tegn på det?
Bias er systematiske fejl i en undersøgelse, der fører til over- eller underestimering af effekten Lav risiko for bias -> høj intern validitet Bestemmes af studiets design og af hvor godt studiet er udført.
Methodological limitations Inconsistency of results Indirectness of evidence Imprecision of results Publication bias Risiko for bias For RCTs: Selec3on bias Performance bias Detec3on bias AXri3on bias Selec3ve outcome repor3ng bias Other sources of bias
Selection bias Systematiske baseline forskelle mellem grupperne Random sequence generation Allocation concealment
Performance bias Systematiske forskelle i behandlingen mellem grupperne ud over interventionen Blinding af deltagere og personale
Detection bias Systematiske forskelle i hvorledes effekter måles Blinding af dem, der måler effekterne
Attrition bias Systematiske forskelle i frafaldet Klinisk relevant indvirkning?
Selective outcome reporting Systematiske forskelle mellem rapporterede og ikke rapporterede resultater
Methodological limitations Inconsistency of results Indirectness of evidence Imprecision of results Publication bias Neurological or vascular complica3ons or death within 30 days of endovascular treatment (stent, balloon angioplasty) vs. surgical caro3d endarterectomy (CEA) 25
Methodological limitations Inconsistency of results Indirectness of evidence Imprecision of results Publication bias Judgment varia3on in size of effect, overlap in confidence intervals, sta3s3cal significance of heterogeneity I 2 0% to 40%: might not be important 30% to 60%: may present moderate heterogeneity 50% to 90%: may present substan3al heterogeneity 75% to 100%: considerable heterogeneity Look for explana3on for inconsistency popula3on, interven3on, comparator, outcome, methods
Methodological limitations Inconsistency of results Indirectness of evidence Imprecision of results Publication bias Indirect comparisons Interested in head- to- head comparison Drug A versus drug B but what if not studied? Differences in PICO
Methodological limitations Inconsistency of results Indirectness of evidence Imprecision of results Publication bias Any stroke (or death) within 30 days of endovascular treatment (stent, balloon angioplasty) vs. surgical caro3d endarterectomy (CEA)
Methodological limitations Inconsistency of results Indirectness of evidence Imprecision of results Publication bias All phase II and III licensing trials for an3depressant drugs between 1987 and 2004. 74 trials 23 were not published. Standardized mean difference: Unpublished: 0.15 FDA data: 0.33 Journals: 0.47 Turner EH et al. N Engl J Med 2008; 358:252-260
Lowering confidence in RCTs Table:'GRADE's'approach'to'rating'quality'of'evidence'(aka'confidence'in'effect'estimates)' For$each$outcome$based$on$a$systematic$review$and$across$outcomes$(lowest$quality$across$the$outcomes$critical$for$decision$making) 1.'' Establish'initial' level'of'confidence' ' 2.'' Consider'lowering'or'raising' level'of'confidence' ' 3.'' Final'level'of'' confidence'rating' Study&design& Initial& confidence&& in&an&estimate& of&effect& ' Reasons&for&considering&lowering&& or&raising&confidence&& ''!'Lower'if' ''"'Higher'if*' ' Confidence&& in&an&estimate&of&effect&& across&those&considerations& Randomized&trials!& High' confidence' Risk'of'Bias! Inconsistency! Large'effect' Dose'response' High! '! ' Observational&studies!&! ' Low' confidence' Indirectness! Imprecision' Publication'bias' All'plausible'' confounding'&'bias' would!reduce!a! demonstrated!effect!! '''or' would!suggest!a! spurious!effect!if!no! effect!was!observed! Moderate'!' Low'!!' Very'low'!!!' *upgrading criteria are usually applicable to observational studies only.
Observa6onelle studier
Opgradering Af observa3onelle studier, 3 grunde: Hvis der er en meget stor effekt Hvis der er en dosis- respons sammenhæng Hvis resultatet er robust selv ved forventet residual confounding
Altering confidence in observational studies Table:'GRADE's'approach'to'rating'quality'of'evidence'(aka'confidence'in'effect'estimates)' For$each$outcome$based$on$a$systematic$review$and$across$outcomes$(lowest$quality$across$the$outcomes$critical$for$decision$making) 1.'' Establish'initial' level'of'confidence' ' 2.'' Consider'lowering'or'raising' level'of'confidence' ' 3.'' Final'level'of'' confidence'rating' Study&design& Initial& confidence&& in&an&estimate& of&effect& ' Reasons&for&considering&lowering&& or&raising&confidence&& ''!'Lower'if' ''"'Higher'if*' ' Confidence&& in&an&estimate&of&effect&& across&those&considerations& Randomized&trials!& High' confidence' Risk'of'Bias! Inconsistency! Large'effect' Dose'response' High! '! ' Observational&studies!&! ' Low' confidence' Indirectness! Imprecision' Publication'bias' All'plausible'' confounding'&'bias' would!reduce!a! demonstrated!effect!! '''or' would!suggest!a! spurious!effect!if!no! effect!was!observed! Moderate'!' Low'!!' Very'low'!!!' *upgrading criteria are usually applicable to observational studies only.
EP Evidensprofil Er en præsentation af resultatet af GRADE processen. En EP Tabel indeholder: PICO-spørgsmål Præsentation af outcome Resultater En bedømmelse af evidensens kvalitet Kommentarer og fodnoter 34
Tænkt eksempel: Kaffe eller te 6l studerende Popula3on: Studerende Interven3on: Kaffe Sammenligning: Ingen kaffe Outcome (Tidsramme) Antal dumpet (Failed their exam) (Endt interven0on) Tissepauser pr dag (Pee breaks pr day) (Endt interven0on) Livskvalitet (Quality of life) (Endt interven0on) Absolut effekt* (95% CI) Ingen Kaffe kaffe 184 per 1000 138 per 1000 (108 to 174) Forskel med kaffe 47 færre per 1000 (76 færre 3l 10 færre) 3.5 stk 5 stk MD 1.5 (1.38 flere 3l 1.62 flere) SMD 0.11 (0.03 færre 3l 0.26 mere) Rela6v effekt 95% CI RR 0.75 (0.59 3l 0.95) Lavere værdi =bedre Højere værdi =bedre Antal deltagere (studier) Evidens- niveau (GRADE) 4929 (23) 2-24 LAV 1303 (1) 2 LAV 1015 (6) 3-8 LAV Kommentarer Kri3sk outcome. Risiko for bias og inkonsistente resultater Vig3gt outcome. Kun et ublindet studie Vig3gt outcome. Risiko for bias og upræcist es3mat *Den absoluxe effekt i kontrolgruppen er baseret på den gennemsnitlige effekt i de inkluderede studier medmindre andet er angivet i kommentarfeltet. Den absoluxe effekt i interven3onsgruppen er baseret på den rela3ve effekt og den absoluxe risiko i kontrolgruppen. CI: Konfidensinterval; RR: Rela3v risiko, MD: Gennemsnitlig forskel, SMD: Standardiserede gennemsnitlige forskelle GRADE evidensniveauer: Høj: Vi er meget sikre på, at den sande effekt ligger tæt på den es3merede effekt. Moderat: Vi er moderat sikre på den es3merede effekt. Den sande effekt ligger sandsynligvis tæt på denne, men der er en mulighed for, at den er væsentligt anderledes. Lav: Vi har begrænset 3ltro 3l den es3merede effekt. Den sande effekt kan være væsentligt anderledes end den es3merede effekt Meget lav: Vi har meget ringe 3ltro 3l den es3merede effekt. Den sande effekt vil sandsynligvis være væsentligt anderledes end den es3merede effekt.
Anbefalingerne formuleres med retning og styrke: Retning For eller imod Styrke Stærk eller svag Ingen evidens? God praksis anbefaling for eller imod
Faktorer der afgør anbefalingen Hvad afgør styrken af anbefalinger Kommentarer Kvaliteten af evidensen Balancen mellem fordele og ulemper Værdier og præferencer Andre overvejelser Jo bedre kvalitet af evidensen, des større sandsynlighed for en stærk anbefaling Jo større forskel på fordele og ulemper, des større sandsynlighed for en stærk anbefaling. Jo mindre fordelene er nexo, og jo større usikkerhed er om hvorvidt der er en nexo fordel, des større sandsynlighed for en svag anbefaling Jo større varia3on der er i værdier og præferencer, og jo større usikkerhed der er værdier og præferencer, des større sandsynlighed for en svag anbefaling F.eks behov for eperuddannelse eller ressourceforbrug 37
fewer symptoms lower risk of complica3ons bexer quality of life fewer medica3ons higher burden more symptoms more adverse effects D E S I R A B L E U N D E S I R A B L E
Stærk anbefaling for F.eks. Giv, Brug, Anvend Implika3oner: Pa6enter: de fleste pa3enter i den givne situta3on vil ønske interven3onen. Klinikere: langt de fleste ville ordinere interven3onen. Regulatorisk niveau: Rekommenda3onen vil være officiel poli3k og evt. udgøre en klinisk indikator.
Svag anbefaling for F.eks. Overvej at Implika3oner: Pa6enter: mange pa3enter vil stadig ønske interven3onen, men en hel del vil også afstå. Klinikere: vil skulle hjælpe pa3enterne med at træffe en beslutning, der passer 3l deres værdier og præferencer. Regulatorisk niveau: brug for diskussion og involvering af interessenter (regioner, specialeselskaber osv)
Stærk anbefaling imod F.eks. Brug ikke, Giv ikke, Undlad Implika3oner: Pa6enter: de fleste pa3enter i den givne situta3on vil ikke ønske interven3onen. Klinikere: langt de fleste vil ikke ordinere interven3onen. Regulatorisk niveau: Rekommenda3onen vil være officiel poli3k og evt. udgøre en klinisk indikator.
Svag anbefaling imod F.eks. Anvend kun ezer nøje overvejelse, da den gavnlige effekt er usikker og/eller lille og der er er dokumenteret skadevirkninger såsom Implika3oner: Pa6enter: mange pa3enter vil afstå fra interven3onen, men en hel del vil også ønske interven3onen. Klinikere: vil skulle hjælpe pa3enterne med at træffe en beslutning, der passer 3l deres værdier og præferencer. Regulatorisk niveau: brug for diskussion og involvering af interessenter (regioner, specialeselskaber osv)
Nyttige hjemmesider Cochrane Collaboration http://www.cochrane.org/ Cochrane Library http://www.thecochranelibrary.com/view/0/index.html The Cochrane Handbook http://www.cochrane.org/training/cochrane-handbook Revman Software http://ims.cochrane.org/revman CONSORT http://www.consort-statement.org/ EQUATOR http://www.equator-network.org/ Trial database http://www.clinicaltrials.gov/ Covidence https://www.covidence.org GRADE http://gradeworkinggroup.org GRADE Journal of Clinical Epidemiology serien www.gradeworkinggroup.org/publications/jce_series.htm GRADE McMaster online præsentationer http://cebgrade.mcmaster.ca/training/ NKR metodehåndbogen http://sundhedsstyrelsen.dk/da/sundhed/kvalitet-og-retningslinjer/nationalekliniske-retningslinjer/metode/metodehaandbog