Systematiske reviews. Thordis Thomsen, Seniorforsker, Abdominalcentret, Rigshospitalet

Transkript

1 Systematiske reviews Thordis Thomsen, Seniorforsker, Abdominalcentret, Rigshospitalet

2 Systematiske Reviews (SR) Systematiske reviews forsøger at samle al empirisk evidens indenfor præspecificerede kriterier med henblik på at besvare et specifikt forskningsspørgsmål. Systematiske reviews sigter mod at minimere bias ved brug af eksplicitte, systematiske metoder. Higgins, JPT. & Green, S. Cochrane Handbook for Systematic Reviews of Interventions. The Cochrane Collaboration & John Wiley & Sons Ltd. 2008

3 Traditionelle (ikkesystematiske) reviews: bruger ikke al tilgængelig evidens varierende kvalitet varierende metodologi forældes hurtigt risiko for intenderet/uintenderet BIAS

4 Indeholder: Systematiske reviews Fokuseret, klinisk spørgsmål (PICO) Publiceret protokol, hvori metoden er beskrevet før søgning af litteratur Fyldestgørende søgning U-biased udvælgelse og ekstraktion af data Kritisk vurdering af data Syntese af data Struktureret rapport Jævnlig opdatering

5 Det fokuserede kliniske spørgsmål P participants I interventions or risk factors C comparisons ~ controls O outcomes How does preoperative smoking cessation intervention compared to standard preoperative care affect the occurrence of postoperative complications following elective surgery?

6 Potentially relevant n=815 Detailed evaluation n=29 Potentially appropriate RCTs n=26 RCTs included n=11 9 trials/11 papers Flow chart Studies excluded n=786 n=786 Not relevant Not relevant Studies Studies excluded excluded n=3 n=3 Not RCTs Not RCTs Studies excluded RCTs excuded n=15 n=15 Not surgical pts not surgical Not preoperative patients n=5 intervention interventions not preoperative n=7 Compares smokers to non-smokers compares smokers to non-smokers n=1 outcomes Outcomes not relevant not n=2 relevant 6

7 Præsentation, og syntese, af data Narrativt? og/eller Meta-analyse?

8 Meta-analyse Meta-analyse er brugen af statistiske metoder med henblik på at opsummere og kombinere resultater af uafhængige studier. Hvert studie vægtes ift den information, studiet bidrager med (størrelse & præcision af effekt estimatet) Liberati et al The PRISMA Statement for Reporting Systematic Reviews and Meta-Analyses of Studies that Evaluate Health Care Interventions: Explanation and Elaboration. Annals of Internal Medicine: W65-W94; 151(4).

9 Fixed eller random effect model

10 Meta-analyse fixed effect Meta-analyse af effekten af præoperativ rygestopintervention på postoperative komplikationer

11 Meta-analyse random effect Meta-analyse af effekten af præoperativ rygestopintervention på postoperative komplikationer

12 Heterogeneitet Heterogeneitet er en konsekvens af klinisk eller metodologisk forskellighed eller både og mellem studier. Viser sig ved at interventionseffekter er mere forskellige fra hinanden end man ville forvente ud fra ren tilfældighed. I 2 -statistikken beskriver den %-del af variationen i interventionseffekten der skyldes heterogeneitet snarere end tilfældighed.

13 Heterogeneitet Lad være med at lave metaanalyse Undersøg heterogeneitet subgruppeanalyse Ignorer Random-effect

14 Risiko for bias

15 Risiko for bias Type af bias Beskrivelse Domæne i Cochrane s ROB tool Selektionsbias Performance bias Attrition bias Detektionsbias Reporting bias Systematiske forskelle ml grupper i baseline karakteristika Systematiske forskelle ml grupper i pleje/behandling/opførsel Systematiske forskelle ml grupper i withdrawals Systematiske forskelle ml grupper i outcome vurdering Forskelle ml planlagte/rapporterede fund Sequence generation Allocation concealment Blinding af deltagere, personale og outcome assessorer Ufuldstændig outcome data Blinding som ovenfor Blinding som ovenfor Selektiv rapportering af outcomes Higgins, JPT. & Green, S. Cochrane Handbook for Systematic Reviews of Interventions. The Cochrane Collaboration & John Wiley & Sons Ltd. 2008

16 Publikationsbias Publicerede studier afviger systematisk fra alle gennemførte studier på området Publicerede studier er generelt positive Forskerpræference for positive fund Journal editors ditto Industrifinansiering

17 Risiko for bias vurdering Wolfenden 2005 (41) Warner 2005 (40) Villebro 2008 (23) Sorensen 2007 (42) Sorensen 2003 (38) Ratner 2004 (39) Myles 2004 (37) Moller 2002 (36) Lindström 2008 (22) Azodi 2008 (21) Andrews 2006 (15) Adequate sequence generation? Allocation concealment????? Blinding?? Incomplete outcome data addressed? Free of selective reporting? Free of other bias?

18 GRADE The Grades of Recommendation, Assessment, Development and Evaluation Formål: At evaluere kvaliteten af evidensen for individuelle outcomes

19 Likelihood of and Confidence in an effect

20 Kriterier for kvalitet? 5 faktorer kan reducere kvaliteten af evidensen 1. Limitations ift design og udførelse (risiko for bias) 2. Inconsistency (eller heterogeneitet) 3. Indirectness (PICO og applikerbarhed) 4. Imprecision (antal events og konfidensintervaller) 5. Publikationsbias

21 Hvordan graduere?

22 Summary of findings (SOF) tables Sammenfatter fundene i et systematisk review Præsenterer Kvaliteten af evidensen Størrelsen af effekten Begrundelser for beslutninger vedr vurderingerne

23 GRADE Symbol Kvalitet Fortolkning Høj Meget usandsynligt, at mere forskning vil ændre tiltroen tll præcision af effekt estimat Moderat Sandsynligt, at mere forskning vil påvirke tiltroen til effekt estimatet og kan eventuelt resultatet Lav Meget sandsynligt, at mere forskning vil påvirke tiltroen til effekt estimatet og ændre resultatet Meget lav Estimat af effekt meget usikker Oversat fra Schünnemann H et al. Undervisning i The GRADE-approach, Cochrane Colloquium 2011, Madrid

24 Risk of bias

25 GRADE -Inconsistency Når studier har vidt forskellige effektestimater eller heterogeneitet Undersøg årsager til heterogeneitet (forskellige populationer, interventioner, outcomes) Din tiltro til resultaterne er lavere når der er uforklaret heterogeneitet lower quality of the evidence

26 Inconsistency

27 GRADE - indirectness Direkte evidens kommer fra forskning der Er udført på populationer og systemer, som dem vi søger evidens til Inkluderer de interventioner, vi er interesseret i og sammenligner dem med relevante comparators Har målt effekt på de outcomes, som vi er interesseret i Sammenligner A vs B, ikke A vs kontrol B vs Kontrol

28 Directness

29 GRADE - directness

30 GRADE - Imprecision Lille sample size Mindre antal events Brede konfidensintervaller

31 Imprecision

32 Publikationsbias Systematisk over- eller under estimering af effekt pga selektiv publikation af studier File drawer problem Hurtigere og hyppigere publikation af positive studier Langsom og mindre hyppig publikation af negative/inkonklusive studier

33 Hvornår skal man mistænke publikationsbias? Store studier med mange patienter inkluderet forbliver oftest ikke upublicerede og giver ofte mere nøjagtige estimater af effekt Risikoen for bias er sandsynligt større i reviews baseret på små studier Studier finansieret af industrien vil mere sandsynligt have outcomes, der er fordelagtige for sponsor

34

35 GRADE-CERQual Confidence in Findings from Qualitative Evidence Syntheses Hvor meget tillid kan vi have til fundene fra synteser af kvalitative studier? CERQual er en tilgang, der kan støtte brugere i at vurdere dette

36 GRADE kriterier Kvantitativ Risk of bias Directness Consistency Precision Risk of publication bias Kvalitativ Methodological limitations Relevance Coherence Adequacy of data

37

38

39