Vurdering af det Randomiserede kliniske forsøg RCT Evidensbaseret Praksis DF Region Nord Marts 2011 Jane Andreasen, udviklingsterapeut og forskningsansvarlig, MLP. Ergoterapi- og fysioterapiafdelingen, Aalborg Sygehus
For kritisk at kunne vurdere en videnskabelig artikel må man forstå nogen basale aspekter af den videnskabelige metode. 2
Evidenshierarki Styrke Design 1a SR (systematisk review) af RCT 1b individuel RCT (randomiseret controlled trial) 1c all or none 2a SR af kohorte studier 2b Individuelle kohorte studier, low quality RCT 3a SR af Case-Control studier 3b Individuel Case-Control studier 4 Case serier, low quality kohorte og C-C 5 Expertvurdering 3
Randomiseret klinisk kontrolleret undersøgelse randomisering Samlet gruppe Interven tionsgruppe Inter måling 1 vention måling 2 ----------------------------------------------------------- (baselinedata) Kontrol gruppe måling 1 måling 2 4
Randomiseret klinisk kontrolleret undersøgelse I den randomiserede kliniske kontrollerede undersøgelse (RCT), fordeles de inkluderede patienter tilfældigt mellem interventionsgruppe og kontrolgruppe. Derudover skal undersøgelsen være velplanlagt, veludført, etisk forsvarlig og kritisk statistisk analyseret. 5
Randomiseret klinisk kontrolleret undersøgelse Det randomiserede klinisk kontrollerede studie er et meget stærkt design til at udtale sig om årsager til effekt af forskellige risikofaktorer og interventioner. En velgennemført undersøgelse begrænser bias og confounding mest muligt. Undersøgelsesdesignet er ikke altid muligt af etiske årsager (man kan ikke tvinge en gruppe mennesker til at en uønsket adfærd. eks rygning) og af praktiske årsager (umuligt at kontrollere alle udefrakommende faktorer i en undersøgelsesperiode). 6
Videnskabelig metode Forklaringsmodeller ved effekt af behandling 1. Systematisk fejl også kaldet bias, Confounding, Spontanforløb af sygdom (kontrolgruppe, randomisering, blinding) 2. Tilfældighed (p-værdi, signifikans, confidensinterval) 3. Behandlingen virker (alternative forklaringer er udelukket) 7
Udvikling af sygdom Sværhedsgrad Behov for en kontrolgruppe Behov for randomisering Tid 8
Randomisering Fordeler tilfældigt alle kendte og ukendte faktorer jævnt mellem interventionsgruppe og kontrolgruppe, således at interventionsgruppe og kontrolgruppe er ens på alle kendte og ukendte betydende faktorer. 9
Baseline Var grupperne ens ved forsøgets begyndelse eller kan forskellene helt eller delvist skyldes at der var forskel i grupperne ved baseline (tabel 1)? Kontrol af randomiseringen, er kendte faktorer fordelt ligeligt mellem grupperne (eks. alder, køn fordeling af væsentlige faktorer for sygdomsudvikling) 10
Blinding Blinding foretages for at undgå at præferencer påvirker udførsel, måling af outcome. Hold randomiseringsresultatet (altså om patienten er i interventionsgruppe eller kontrolgruppe) skjult for patienter, forskere og klinikere, men vigtigst at testeren er blindet. 11
Blinding Mennesker kan have præferencer for en bestemt behandling Derfor kan følgende blindes: 1.Behandleren 2.Patienten 3.Effektmåleren 4.Analysanden 12
Bias Selektionsbias er bias der bevirker at interventionsgruppen / kontrolgruppen er skævt udvalgt i forhold til hele undersøgelsesgruppen. Observationsbias er bias der bevirker at aflæsninger, observationer o.lign. registreres forkert. 13
Bias Alle de processer der uden forskerens viden eller mod hans vilje tenderer til at give resultater der afviger systematisk fra sandheden. Selektionsbias er bias der bevirker at interventionsgruppen / kontrolgruppen er skævt udvalgt i forhold til hele undersøgelsesgruppen. Observationsbias er bias der bevirker at aflæsninger, observationer o.lign. registreres forkert. 14
Confounding Confounding Determinant Outcome confounder 15
Confounding Confounding confoundere er selvstændige risikofaktorer for et bestemt outcome og er associeret med ekspositionen. en confounder kan være helt eller delvis årsag til den forskel der ses mellem studiegrupperne. confoundere må ikke være et led i årsagskæden mellem eksposition og outcome. 16
P-værdi Tilfældigheder er alle de forhold vi IKKE har mulighed for at påvirke så vi ikke bliver narret, fordi vi ikke kender dem!! Løsningen er at give et sandsynlighedssvar på spørgsmålet: Hvor stor er sandsynligheden (p) for at vi vil finde denne forskel ved en tilfældighed Typisk: p < 0,05 hvis der IKKE er forskel 17
P-værdi udtrykker antagelsen om under tilfældig fordeling sandsynligheden for ved gentagelse af forsøget af få et estimat lige så ekstremt som dette eller mere ekstremt. 18
Statistik Statistik bygger på sandsynligheder afvisning af en hypotese som usandsynlig, men aldrig bevis for at en hypotese sand (falsifikation, men ikke statistisk bevis) statistisk signifikans udtrykker således at der er under 5 % sandsynlighed for at dette resultat kan opnås ved en tilfældighed 19
Confidensinterval sikkerhedsgrænser, udtrykker et interval indenfor hvilket den sande værdi ligger med en bestemt sandsynlighed ligger oftest anvendes 95 % confidensinterval eks VAS = 5,5 [3,5; 7,5] 20
Intention to treat Effectiveness Blev alle patienter analyseret i de grupper de var randomiseret til svarende til intention to treat analyse (ITT - analyse)? Efficacy eller blev der kun analyseret på dem der gennemførte 80 % af træningen eller lignende (per protokol analyse, PP)? 21
Number needed to treat Udregn control event rate (CER) som er risikoen for outcome i kontrolgruppen Udregn eksperimental event rate (EER) som er risikoen for outcome i interventionsgruppen Udregn absolut risikoreduktion (ARR) som er EER -CER Number needed to treat (NNT) er 1/ AAR og udtrykker hvor mange skal der behandles med interventionen i forhold til kontrolgruppen for at 1 person opnår det ønskede outcome. 22
Studiets troværdighed (intern validitet) 1. Er formålet med studiet klart og entydigt? 2. Er et RCT det korrekte design til at svare på spørgsmålet? 3. Blev patienterne fordelt tilfældigt (randomiseret) til behandlings- eller kontrolgruppen? 4. Var patienterne ens ved baseline? 5. Blev grupperne behandlet ens udover forskellen i interventionen? 6. Var patienten, behandleren og effekt-måleren blindet? 7. Blev der gjort rede for alle inkluderede patienter? 23
Randomiseret klinisk forsøg population stikprøve 1. Baseline målinger 2. Randomisering 3. Behandling 4. Efter måling Statistisk analyse: 5. Opfølgning 1. Kan tilfældighed udelukkes? 2. Hvor stor var effekten klinisk relevant? 3. Basis for at generalisere 24
Lidt om check-listen Frafald: Hvis nu alle de som får den nye behandling ikke kan tåle den og går ud (falder fra) - hvad bliver så resultatet? At kun de som havde effekt bliver tilbage og derfor ser det ud som om behandlingen er god, selvom den faktisk går nogen patienter dårlig. Der skal altså gøres regnskab for ALLE inkluderede. 25
Lidt om check-listen Opfølgning: 3 mdr s beh Opfølgning i 6 mdr Spørgsmålet er om opfølgningstiden er lang nok i forhold til den effekt vi ønsker at se 26
Lidt om check-listen Behandlingseffekt Alle patienter og behandlere spørger: hvor stor er effekten? Det er IKKE nok at vide at p<0,05. Du vil gerne vide om smerterne går helt væk, eller kun dæmper dem. Konfidens - interval: du fandt en smertereduktion på 20 mm med CI mellem 10 mm og 30 mm. 27
NNT Hvor mange skal behandles, før du ser effekt? (Number Needed to be Treated) Ex: Vil udspænding reducere risikoen for skader? Næppe - for at undgå én skade, skal du udspænde 3100 gange á 5 min, eller udspænde i alt 260 timer. Med Sci Sports Exerc, 2000; 32(2):271-77 28
Checkliste RCT Intern validitet Overordnet bedømmelse Beskrivelse af undersøgelsen på vej mod ekstern validitet
Checkliste 2: Randomiserede, kontrollerede undersøgelser Forfatter, titel: Tidsskrift, år: Checkliste udfyldt af: 1. INTERN PÅLIDELIGHED Evalueringskriterier I hvor høj grad er kriteriet opfyldt? 1.Er der en velafgrænset og relevant klinisk problemstilling? 1.Blev forsøgspersonerne randomiseret? 1.Var behandlings- og kontrolgruppen ens ved undersøgelsens start? 1.Var blindingsmetoden tilstrækkelig? 1.Blev forsøgspersonerne, behandler og forsker blindet mht. randomiseringen?
1.Er alle relevante slutresultater målt standardiseret, troværdigt og pålideligt? 1.Bortset fra den undersøgte behandling, blev grupperne så behandlet ens? 1.Hvor stor en del af personer, der blev rekrutteret til undersøgelsen, blev endeligt medtaget i analyserne? 1.Blev alle de undersøgte personer analyseret i henhold til randomiseringen? 1.Er resultaterne homogene mellem de forskellige undersøgelsessteder (multicenterundersøgelser)?
2. OVERORDNET BEDØMMELSE AF UNDERSØGELSEN 1.I hvor høj grad forsøgte undersøgelsen at minimere bias? Anfør ++, + eller. 1.Hvis bedømt som + eller, i hvilken grad kan bias påvirke undersøgelsesresultatet? 1.Med baggrund i kliniske overvejelser, evaluering af metoden og undersøgelsens statistiske styrke, mener du så, at sluteffekten skyldes undersøgelsens intervention? 1.Er resultatet af undersøgelsen direkte anvendeligt på MTV ens patientmålgruppe?
3. BESKRIVELSE AF UNDERSØGELSEN 1.Hvilke behandlinger evalueres i undersøgelsen? 1.Hvilke måleparametre er anvendt på slutresultatet? (outcome) 1.Hvor mange patienter deltog i undersøgelsen? (total og i behandlings- hhv. kontrolgruppen). 1.Hvorledes er effekten målt? Og i hvilken retning gik den målte effekt? 1.Er der statistiske usikkerhedsberegninger? (p-værdier eller sikkerhedsintervaller). 1.Hvad karakteriserer befolkningstypen (=populationen)? (køn, alder, sygdomsprævalens). 1.Hvorfra er forsøgspersonerne rekrutteret? (fx by, land, hospital, ambulatorier, almen praksis, amt). 1.Hvor mange grupper/centre er med i undersøgelsen? 1.Er der rejst nogen specifikke spørgsmål ved denne undersøgelse? (Anfør generelle kommentarer vedr. undersøgelsens resultater og betydningen af disse).