Seminar for arbejdsgrupperne om kliniske retningslinjer

Transkript

1 Seminar for arbejdsgrupperne om kliniske retningslinjer Skabelon for udarbejdelse af kliniske retningslinjer Annette de Thurah Adjunkt, MPH, ph.d. Institut for Folkesundhed Aarhus Universitet

2 Det fokuserede spørgsmål Er baggrund for: Litteratursøgning Udvælgelse af abstrakts Gennemlæsning af artikler Vurdering af evidensens kvalitet

3 Søgningens resultat Abstracts Inkluderet Ekskluderet Kritisk litteraturlæsning af artiklerne Smides væk Udfyldte checklister Liste over forkastede artikler

4 Inden vi starter. It is much easier to pick holes in other peoples work, than to do a methodologically perfect piece of research oneself Trisha Greenhalgh: How to read a paper

5 Hvorfor kritisk litteraturvurdering? Kun få studier er perfekte Det fokuserede spørgsmål afgør, hvilket design man vælger Ensartet udvælgelse og vurdering af artikler i projektgruppen

6 Kvaliteten af artiklen Vurdering ved systematisk gennemlæsning med en checkliste Kan artiklen besvare det fokuserede spørgsmål? Er artiklen troværdig? Hvilken kvalitet har evidensen i artiklen?

7 Metodologiske checklister 1. Systematiske reviews og metaanalyser 2. Randomiserede kontrollerede undersøgelser 3. Kohorte undersøgelser 4. Case-kontrol undersøgelser 5. Diagnostiske undersøgelser Checklister + tilhørende forklarende noter findes i intro-mappen eller på

8 Checklisternes opbygning - generelt 1. Artiklens troværdighed Vurdering af metode Statistik 2. Overordnet bedømmelse af studiet Bias Anvendelighed 3. Beskrivelse af studiet (udfald, effekt, population) sammenfatning af nøgleområder i studiet som efterfølgende skal anføres i evidenstabellen 4. Generelle kommentarer

9 SfR Checkliste 2: Randomiserede kontrollerede undersøgelser Forfatter, titel: Tidsskrift, år: Checkliste udfyldt af: 1. INTERN GYLDIGHED (troværdighed) Evalueringskriterier I hvor høj grad er kriteriet opfyldt? 1.1 Er der en velafgrænset og relevant klinisk problemstilling? 1.2 Blev forsøgspersonerne randomiseret? 1.3 Var behandlings- og kontrolgruppen ens ved undersøgelsens start? 1.4 Var randomiseringen (allokeringen) skjult? 1.5 Blev forsøgspersonerne, behandler og forsker blindet? 1.6 Er alle relevante slutresultater (outcome) målt standardiseret, gyldigt og pålideligt? 1.7 Bortset fra den undersøgte behandling, blev grupperne så behandlet ens? 1.8 Hvor stor en del af de personer, der blev rekrutteret til undersøgelsen, blev endeligt medtaget i analyserne? (dropout) 1.9 Blev alle de undersøgte personer analyseret i henhold til randomiseringen?(intention to treat analyse) 1.10 Er resultaterne homogene mellem de forskellige undersøgelsessteder (multicenterundersøgelser)?

10 2. OVERORDNET BEDØMMELSE AF UNDERSØGELSEN 2.1 I hvor høj grad forsøgte undersøgelsen at minimere bias? Anfør ++, + eller. 2.2 Hvis bedømt som + eller, i hvilken grad kan bias påvirke undersøgelsesresultatet? 2.3 Med baggrund i kliniske overvejelser, evaluering af metoden og undersøgelsens statistiske styrke, mener du så, at sluteffekten skyldes undersøgelsens intervention? 2.4 Er resultatet af undersøgelsen direkte anvendeligt på referenceprogrammets patientmålgruppe? 3. BESKRIVELSE AF UNDERSØGELSEN 3.1 Hvilke behandlinger evalueres i undersøgelsen? 3.2 Hvilke måleparametre er anvendt på slutresultatet? (outcome) 3.3 Hvor mange patienter deltog i undersøgelsen? (totalt og i behandlings- hhv. kontrolgruppen). 3.4 Hvorledes er effekten målt? Og i hvilken retning gik den målte effekt? 3.5 Er der statistiske usikkerhedsberegninger? (p-værdier eller sikkerhedsintervaller) 3.6 Hvad karakteriserer deltagerne (populationen)? (fx køn, alder, sygdomsprævalens). 3.7 Hvorfra er forsøgspersonerne rekrutteret? (fx by, land, hospital, ambulatorier, almen praksis, amt). 3.8 Hvor mange grupper/centre er med i undersøgelsen? 3.9 Er der rejst nogle specifikke spørgsmål ved denne undersøgelse? Anfør generelle kommentarer vedr. undersøgelsens resultater og betydningen af disse).

11 Intern validitet 1. Sektion af checklisten

12 Generelle betragtninger vedr. design Formålet med et undersøgelsesdesign er : at få størst mulig gavn af studiet at mindske mulige fejlkilder at studiet skal være praktisk gennemførligt

13 Metodologiske fejlkilder Systematiske fejl Bias Confounding Tilfældige fejl (random error)

14 Design typer (1) Et eksperiment er med andre ord et studie, hvor investigator manipulerer med eksponeringen: Behandling 1 Hændelse 1 Sample Randomisering Behandling 2 Hændelse 2

15 Design typer (2) Non-eksperimentelle studier laves, når det enten er uoverkommeligt eller uetisk at lave et eksperimentelt studie Eksponering 1 Hændelse 1 Sample Kategorisering Eksponering 2 Hændelse 2

16 Hvad er en confounder?

17 Confounding - eksempel

18 Forvirret???? Fra Int J Epidemiol

19 Randomisering Randomiseringsprincippet bør være tilfældigt (uden hukommelse) og uden mulighed for at forudsige et randomiseringsresultat Udvælgelsen skal være uafhængig af forskerens bevidste eller ubevidste ønsker om at opnå bestemte resultater. Eksempler: ANBEFALES: Centraliseret: computerudtrækning af tilfældige tal fordelt til lukkede, ikke-gennemsigtige randomiseringskuverter ANBEFALES IKKE: Kvasi-randomisering (fødselsdag, ugedag, hver anden) kan ikke anbefales

20 Eksempler på bias Eksempler på selektionsbias Eksempler på informationsbias Bias i design fasen Misklassifikation Bias i bortfald Forkert valg af måleredskab Lead-time-bias

21 Data misklassifikation

22 Intention to treat Alle patienter der i et RCT er randomiseret til en behandling, opgøres i den gruppe, hvortil de var randomiseret, uafhængigt af om de fik eller gennemførte behandlingen Det vil sige: ALLE analyseres i henhold til den gruppe de er allokeret til. Dette er den eneste måde hvorpå man kan udnytte fordelene ved den tilfældige allokering og dermed forebygge konfounding!

23 Hvad var resultaterne? 2. sektion af checklisten

24 Måling og tolkning af resultaterne At forholde sig kritisk til en undersøgelses interne validitet er første trin i den kritiske litteraturlæsning Næste trin er at vurdere om undersøgelsens resultater er anvendelige: Hvor stor er effekten? Hvilke kvantitative metoder er anvendt til at måle effekten af behandlingen?

25 Hvad var resultaterne? (1) Ofte er resultaterne præsenteret som dikotome outcomes JA eller NEJ til, at et outcome optræder (ex. død, forekomst af cancer, AMI) Eksempel: I et studie blandt palliative patienter i opioidbehandling var 9% (0.09) obstiperede i kontrolgruppen mod 5% (0.05) i interventionsgruppen Dette resultat kan udtrykkes på flere måder

26 Hvad var resultaterne (2) Hvilket mål Relativ Risiko (RR) = risiko for outcome i interventionsgruppen/risiko for outcome i kontrolgruppen RR= 0.05/0.09=0.56 Absolut risiko reduktion (ARR) = risikoen for outcome i kontrolgruppen risikoen for outcome I interventionsgruppen Hvad betyder det? Fortæller hvor mange gange mere sandsynligt det er, at et outcome vil optræde i interventionsgruppen relativt til kontrolgruppen. RR=1: ingen forskel RR<1: behandlingen har en beskyttende effekt på outcome RR>1: behandlingen øger risikoen for outcome Fortæller om den absolutte risiko mellem de to grupper AAR=0 ingen forskel AAR= =0.04 ~4 %

27 Hvad var resultaterne (3) Hvilket mål Relativ risiko reduktion (RRR)= Absolut risikoreduktion/risikoen for outcome i kontrolgruppen RRR=0.04/0.09=0.44 ~44% Eller =0.44 ~ 44% Hvad betyder det? Fortæller om reduktionen i outcome raten i interventionsgruppen relativt til kontrolgruppen Behandlingen reducerede risikoen for obstipation med 44% relativt til kontrolgruppen Number needed to treat (NNT)=1/AAR NNT=1/0.04=25 Antallet af patienter du skal behandle for at forebygge et uønsket outcome. Vi skal altså behandle 25 patienter for at forbygge en obstiperet patient

28 Eksempel: obstipationsbehandling Fire forskellige vurderinger af effekten af et laksantia på obstipationshyppigheden hos Opioid behandlede patienter i palliativ behandling: 1. Sandsynligheden for obstipation er 0.55 gange højere i kontrolgruppen relativt til interventionsgruppen 2. Behandlingen medførte en absolut risiko reduktion i antallet af obstiperede patienter på 4 % 3. Behandlingen medførte en relativ risikoreduktion på 44% patienter skulle behandles for at forebygge en obstiperet patient

29 Absolut- og relativ risiko Studie 1 Absolut risikoreduktion: =10% Relativ risikoreduktion: 30 10/40=25% % RISIKO FOR HÆNDELSE Studie 1 Høj risiko patienter Studie 2 1 Lav risiko patienter Studie 2 Absolut risikoreduktion: 10-7,5=2,5% Relativ risikoreduktion: 2,5/10=25%

30 Generelle overvejelser Intention-to-treat (ITT) analyse Power Initial beregning af stikprøvestørrelsen sikrer tilstrækkelig styrke til at påvise effekt P-værdi Sikkerhedsgrænser

31 Tilfældig variation Når vi sammenligner to behandlinger, hvor sandsynligt er det så, at den observerede forskel skyldes tilfældighed?

32 Hypotesetestning (1) Nul hypotesen: Man kan aldrig bekræfte en hypotese, den falsificeres. Vi formulerer en hypotese, der siger det modsatte af det vi vil vise: at der ikke er forskel. P-værdien Denne hypotese forsøger vi så at forkaste ved at udregne sandsynligheden for, at forskellen er opstået ved en tilfældighed Signifikansniveauet Er den grænse vi har sat for, hvor stor eller lille en risiko vi vil løbe for tilfældigvis at få den forskel vi fandt. Vi kalder det α værdien og den er normalt sat til 5 % (eller 5 gange ud af 100)

33 Kritik af P-værdier Why use a single cut-off point when the choice of such a point is arbitrary? Why make a question of whether a treatment is effective a dichotomy (yes/no) when it would be more appropriate to view it as a continuum Guyatt G, Jaeschke R, Heddle N, Cook D, Shannon H, Walter S. Basic statistics for clinicians: 1. Hypothesis testing.cmaj Jan 1;152(1): Review.

34 Sikkerhedsgrænser (1) Hvilken værdi repræsenterer mest sandsynligt den sande forskel mellem intervetions og behandlingsgruppen? Inden for hvilket område, vil vi finde den sande værdi i 95% af tilfældene?

35 Sikkerhedsgrænser (2) Vi bruger sikkerhedsgrænserne til at sige noget om størrelsen af tilfældige fejl i datasættet Smallere sikkerhedsgrænser betyder større præcision og er et resultat af et større patientmateriale og dermed flere hændelser Almindeligvis er sikkerhedsgrænsen sat til 95%: Hvis samme undersøgelse bliver gentaget mange gange skal sikkerhedsgrænsen indeholde den sande værdi i 95% af tilfældene

36 Sikkerhedsgrænser Ingen virkning Skadelig virkning 1 Gavnlig virkning

37 Generelle kommentarer til artiklen Overordnet vurdering Besvarer artiklen mit fokuserede spørgsmål? Bruges eller kasseres? Bruges med forbehold Har artiklen den anførte evidensklasse?

38 Ekstern validitet og anvendelighed Kan disse resultater overføres til mine patienter? Er behandlingen gennemførlig i min praksis? Vi de potentielle fordele ved behandlingen være større for patienten end de potentielle bivirkninger?

39 De gode råd Glem ikke begrænsningens kunst: Find klinisk relevante problemområder Afgræns og formuler fokuserede spørgsmål Læs og vurdér litteratur Vend gentagne gange tilbage til det fokuserede spørgsmål

40 Hvis du vil vide mere.