-Hvordan bruges de som outcome, pitfalls og korrekt tolkning

Transkript

1 Hoveduddannelseskursus i Forskning og Forsikringsmedicin Hvidovre Hospital august 2015 Patient Reported Outcome Measures -Hvordan bruges de som outcome, pitfalls og korrekt tolkning Michael Krogsgaard Idrætskirurgisk Enhed M51 Bispebjerg Hospital

2 Hvad er en PROM? Det er et spørgeskema, som patienten udfylder og derigennem uden indblanding eller fortolkning (fra fx behandlere) tilkendegiver sin tilstand. PROMs tillægges stigende betydning ved valg af behandlinger, prioritering i sundhedsvæsenet osv. FDA betegner PROMs som det vigtigste redskab til at vurdere effekt af behandlinger.

3 Hvordan kan man bruge spørgeskemaer? Ikke tilstandsspecifikke (generiske) og tilstandsspecifikke (condition specific) Hvilken forskel er relevant? Krav til spørgeskemaer Fornuftige items Indholdsvaliditet (content validity) indholdsrelevans og indholdsdækning Fagekspertvaliditet (face validity) Begrebsvaliditet (construct validity) Faldgruber (pitfalls) Tolkning

4 Generiske vs specifikke spørgeskemaer Generiske spørgeskemaer vurderer almentilstanden, dvs. mange aspekter af legeme og psyke og er velegnede til at vurdere alvorlige tilstande, fx kræftlidelser og kemobehandling. Specifikke spørgeskemaer vurderer en meget begrænset del af sundhedstilstanden og er velegnede til at måle forskel mellem to behandlinger i bevægeapparatet. Eksempelvis er det generiske spørgeskema SF-36 ikke egnet til at vurdere, hvordan det går efter korsbåndsskade. Dels er tilstanden ikke alment alvorlig, dels er de fleste spørgsmål for lette (ceiling effekt). Nogle spørgeskemaer er udviklet til patienter med flere forskellige lidelser i samme del af bevægeapparatet (fx DASH) og fungerer næsten som generiske hvis de anvendes til vurdering af en afgrænset lidelse.

5 FRA SF-36: De følgende spørgsmål handler om aktiviteter i dagligdagen. Er du på grund af dit helbred begrænset i disse aktiviteter? I så fald, hvor meget? (Sæt ét kryds i hver linie) Ja, Ja, Nej, meget lidt slet ikke begrænset begrænset Krævende aktiviteter, som fx at løbe, løfte tunge ting, deltage i anstrengende sport Lettere aktiviteter, såsom at flytte et bord, støvsuge eller cykle At løfte eller bære dagligvarer At gå flere etager op ad trapper At gå én etage op ad trapper At bøje sig ned eller gå ned i knæ Gå mere end én kilometer Gå nogle hundrede meter Gå 100 meter Gå i bad eller tage tøj på 1 2 3

6 FRA SF-36: Domænet ADL De følgende spørgsmål handler om aktiviteter i dagligdagen. Er du på grund af dit helbred begrænset i disse aktiviteter? I så fald, hvor meget? (Sæt ét kryds i hver linie) Ja, Ja, Nej, meget lidt slet ikke begrænset begrænset Krævende aktiviteter, som fx at løbe, løfte tunge ting, deltage i anstrengende sport Lettere aktiviteter, såsom at flytte et bord, støvsuge eller cykle At løfte eller bære dagligvarer At gå flere etager op ad trapper At gå én etage op ad trapper At bøje sig ned eller gå ned i knæ Gå mere end én kilometer Gå nogle hundrede meter Gå 100 meter Gå i bad eller tage tøj på 1 2 3

7 FRA SF-36: De følgende spørgsmål handler om aktiviteter i dagligdagen. Er du på grund af dit helbred begrænset i disse aktiviteter? I så fald, hvor meget? (Sæt ét kryds i hver linie) Ja, Ja, Nej, Item = spørgsmål med svarmuligheder meget lidt slet ikke begrænset begrænset Krævende aktiviteter, som fx at løbe, løfte tunge ting, deltage i anstrengende sport Lettere aktiviteter, såsom at flytte et bord, støvsuge eller cykle At løfte eller bære dagligvarer At gå flere etager op ad trapper At gå én etage op ad trapper At bøje sig ned eller gå ned i knæ Gå mere end én kilometer Gå nogle hundrede meter Gå 100 meter Gå i bad eller tage tøj på 1 2 3

8 Items, der belyser forskellige aspekter af den samme dimension i livet, fx smerter, adl eller psykisk tilstand samles i et domæne. Derfor kaldes disse items for uni-dimensionelle. For hvert domæne udregnes pointsummen ved at lægge pointene fra alle items sammen. Ja, Ja, Nej, meget lidt slet ikke begrænset begrænset Gå mere end én kilometer x Gå nogle hundrede meter 1 x 2 3 Gå 100 meter 1 2 x 3 = 6 point De fleste PROMs er multi-dimensionelle, dvs. de består af flere domæner, der hver især belyser en dimension.

9 Hvilken forskel er relevant? Minimal clinically important difference = MCID kan fastlægges på tre forskellige måder: Distribution-based methods: En klinisk betydende forbedring = > ½ SD. Anchor-based methods: Patienterne spørges om de synes forskellen mellem før og efter har været betydningsfuld. Delphi method: et panel af eksperter prøver at definere MCID. (Jaeschke R, Singer J, Guyatt GH (1989). "Measurement of health status. Ascertaining the minimal clinically important difference". Control Clin Trials 10 (4): ).

10 Krav til spørgeskemaer de skal have: Fornuftige items Indholdsvaliditet (content validity) for patienterne = indholdsrelevans og indholdsdækning Fagekspertvaliditet (face validity) Begrebsvaliditet (construct validity) Opgave: Hvilke krav vil I stille til items? Nævn 5 vigtige krav.

11 Opgave: Hvilke krav vil I stille til items? Nævn 5 vigtige krav. Spørgsmålene skal være forståelige Spørgsmålene skal være entydige, dvs. ikke flere spørgsmål i et item Svarmulighederne skal være realistiske Har Du haft murren i knæet, hørt klik eller andre lyde fra knæet, når Du bevæger det? Aldrig Sjældent Ind imellem Ofte Altid S2. Do you feel grinding, hear clicking or any other type of noise when your knee moves? Never Rarely Sometimes Often Always Oversatte spørgsmål skal tilpasses den lokale kultur

12 Svarene skal give mening og de skal fordele sig nogenlunde jævnt når man spørger en gruppe patienter der skal være mulighed for forbedring/forværring Q4: In general, how much difficulty do you have with your knee? 0= none, 1= mild, 2= moderate, 3= severe, 4= extreme

13 Et eksempel på et spørgsmål, som ikke fungerer hos en bestemt patientgruppe svarmulighederne giver ikke mening S5 Can you bend your knee fully? 0= always, 1= often, 2= sometimes, 3= rarely, 4= never

14 Indholdsvaliditet (content validity) betyder, at alle spørgsmål og svar (items) i et spørgeskema er relevante for personer med den pågældende lidelse, og at items tilsammen dækker alle aspekter af tilstanden. Dette kan kun opnås ved aktiv patientinvolvering med drøftelse indtil der ikke er nye aspekter på bordet (mætning).

15 Fagekspert validitet (face validity) betyder, at items skal se fornuftige ud set med ekspertens øjne

16 Disse spørgsmål er beregnet til vurdering af knælidelser hos børn: Hvor svært har du haft ved at redde sengen, rydde op på dit værelse, sætte i/tømme opvaskemaskinen eller lignende, indenfor de sidste 7 dage? Hvor svært har du haft ved at bevæge knæet, senere på dagen, efter at have holdt det i ro et stykke tid, indenfor de sidste 7 dage? Har de face validity?? Er de forståelige??

17 Begrebsvaliditet (construct validity) måles på baggrund af en række udfyldte spørgeskemaer. Det er undersøgelse af, om skemaet er skruet korrekt sammen.

18 Begrebsvaliditet (construct validity) Ved klassisk test teori, som ikke tager hensyn til sværhedsgraden af de enkelte items (hvilke betyder mest) laves vurderingerne på baggrund af den samlede pointscore: bl. a. intern konsistens, reliabilitet, reproducerbarhed og følsomhed (responsiveness). Med Baysiansk statistik måles sensitivitet/præcision, og med deskriptiv statistik gulv/lofteffekter. Desuden korreleres spørgeskemaets resultater over for gold standards. Klassisk test teori er mest velegnet til konkrete målinger, fx mm.

19 Item Response Theory (som bedst udføres med Rasch modeller) tager hensyn til sværhedsgraden af de enkelte spørgsmål og hvis et item passer med den statiske model (fx i Rasch modellen), så giver det statistisk mening (fitter). Item Response Theory er den mest stringente metode til at vurdere bløde parametre, som typisk findes i spørgeskemaer og kan validere, at items tilhører samme domæne.

20 Hvis data fitter en Rasch model, så er skalaen pålidelig og man har evidens for et responsivt mønster, hvor de personer det har mindst lidelse scores lavest på skalaen og dem der har det værst scorer højest. Man har robust evidens for at skalaen er én-dimensionel (dvs. belyser forskellige aspekter af den samme ting), og at man dermed kan lægge scoren fra de enkelte items sammen til en sumscore. Desuden er målingerne invariante (ens uanset hvor på skalaen man befinder sig), en kvalitet som kun opnås umiddelbart ved en Rasch model, og som de andre IRTmodeller ikke besidder.

21 COSMIN COnsensus-based Standards for the selection of health Measurement INstruments Initiativ udgået fra Department of Epidemiology and Biostatistics and the EMGO Institute for Health and Care Research, Amsterdam i Qual Life Res May; 19(4): Published online 2010 February 19. doi: /s PMCID: PMC The COSMIN checklist for assessing the methodological quality of studies on measurement properties of health status measurement instruments: an international Delphi study

22 COSMIN Baggrund: Rigtig mange spørgeskemaer (til ACL fx 34 forskellige) Meget svingende kvalitet Tvivlsomme rekommendationer for valg af skema (fx krav om anvendelse af Constant-Murley score for at kunne publicere i J Shoulder Elbow Surg) Qual Life Res May; 19(4): Published online 2010 February 19. doi: /s PMCID: PMC The COSMIN checklist for assessing the methodological quality of studies on measurement properties of health status measurement instruments: an international Delphi study

23 COSMIN En gennemgang af litteraturen om kriterier for det gode spørgeskema. På baggrund heraf opstille en liste over standarder og kriterier (checklist) som sendes til høring i et panel bestående af ca. 30 eksperter med erfaring og viden om statistiske metoder i relation til udvikling af spørgeskemaer Deltagerne i panelet skal hver især give udtryk for deres enighed eller uenighed i hvert af de fremsatte kriterier. Kriteriet blev vedtaget hvis > 67 % gik ind for det ( Agree eller Strongly Agree ). I tvivltilfælde besluttede styregruppen hvad der skulle være gældende. Kriterierne blev sendt rundt i alt 4 gange.

24 COSMIN Der blev inviteret 91 eksperter, hvoraf 57 sagde ja til at medvirke. Konsensus blev præsenteret Følgende skal være undersøgt, for at en PROM kan anses for at være god standard: Grundlæggende: Indholdsvaliditet (Content validity) Fagekspert validitet (Face validity)

25 Intern sammenhæng (Internal consistency) belyser alle items det samme domæne? måles oftest med Cronbach s Alfa. Pålidelighed (Reliability) test/retest, inter-rater reliability, intrarater reliability Måleusikkerhed (Measurement error) Begrebsvaliditet (Construct validity) including structural validity, hypotheses testing and cross-cultural validity Overensstemmelse med gold standard (Criterion validity) Følsomhed (Responsiveness) Fortolkning (Interpretability) Disse egenskaber kan undersøges med klassisk test teori eller item response theory.

26 (Mokkink LB et al. Qual Life Res 2010; 19: )

27

28 = relevans og dækning for den gruppe man vil undersøge

29 WOMET - Western Ontario Meniscal Evaluation Tool Udviklet 2007 til patienter med meniskproblemer. Domæner: Physical symptoms Sports/recreation/work/lifestyle Emotions Udviklet ved interviews med 31 patienter med MR-forandringer i en menisk. Ingen krav om, at der ikke måtte være andre knælidelser. Item reduktion ved fokusgruppe interviews med 20 patienter og ved eksperter. Nogle items blev fjernet, fordi de ikke kunne bringes på en VAS. Afprøvet på patienter, der var opereret for menisklæsion med klassisk test teori. Valideret blandt patienter med degenerativ menisklæsion med klassisk testteori med acceptabelt resultat.

30

31

32 Opgave: Hvad synes I om den måde at udregne scoren?

33 Points fra domæner kan IKKE lægges sammen til én samlet score. Ingen kender patienternes vægtning af de enkelte domæner for den samlede tilstand. Domænerne indgår med forskellig vægt: 900 / 400 / 300 Der er ikke god sammenhæng mellem hvordan patienterne svarer almindelige items og items hvor svaret er på VAS

34 Hvordan udvælger man konkret spørgeskema til vurdering af knæ, hofte og skulder? Man skal bruge det spørgeskema, der er relevant og dækkende for det man vil undersøge og som er konstrueret, så det er pålideligt. Derfor er det vigtigt, hvordan spørgsmålene er fremkommet/konstrueret og hvilke patienter det aktuelle spørgeskema er valideret i relation til. Et skema, hvis spørgsmål er formuleret af patienter med korsbåndsskade, kan derfor ikke bruges til fx patienter med slidgigt. Et skema, hvis spørgsmål er formuleret af patienter med korsbåndsskade, kan ikke valideres mhpå brug til fx patienter med slidgigt, fordi man FØRST skal være sikker på indholdsvaliditeten og DEREFTER kan teste begrebsvaliditet. LÆS SKEMAET virker det fornuftigt??

35 Et af disse spørgsmål indgår IKKE i den PROM, som er den mest udbredte i verden til at vurdere outcome ved korsbåndsskade hvilket? Angiv graden af besvær Du har oplevet ved aktivitet i løbet af den sidste uge: 1. Udføre let husarbejde (lave mad, tørre støv af etc.) Hvor mange knæsmerter har Du haft i løbet af den sidste uge, under følgende aktiviteter:. 2. Gå på jævnt underlag 3. Stå stille 4. Jeg kan ikke stole på mit skadede knæ, når jeg bevæger mig. 5. Hvor stift er dit knæ senere på dagen, når Du har siddet eller ligget og hvilet?

36 Faldgruber

37 De PROMS man bruger til at vurdere patienter med specifikke lidelser er ofte for uspecifikke (= generiske?) til at kunne forventes at vise forskel i behandling.

38 Er de eksisterende skemaer valide? Knælidelser Ud af 37 spørgeskemaer fandtes der i 2011 (Howe TE et al. Manual Therapy 2012; 17: ) publiceret tilstrækkelige oplysninger til at vurdere validiteten for 10 (parentes = ikke oversat til dansk): Slidgigt: WOMAC Ligamentskader: Lysholm, Tegner Menisklæsioner: (WOMET) Patellofemorale smerter: AKPS = Kujala score Knæproblemer generelt: (AAOS), KOOS, IKDC Underekstremiteten: (LEFS) Hertil kommer: ACL skader: KNEES-ACL Slidgigt: Oxford Knee Scale Til børn: Pedi-IKDC og KOOS-Child

39 Er de eksisterende skemaer valide? Skulderlidelser Osteoarthritis: WOOS Instabilitet: WOSI, Oxford instability shoulder score, Rowe Arm generelt: DASH Rotatorcuff: WORC Blandet skulder: Oxford Schoulder Score, Constant Score, SPADI, Simple Shoulder Test 285 patienter, som havde gennemgået skulderkirurgi, udfyldte Short Form-36; University of California, Los Angeles shoulder score; American Shoulder and Elbow Surgeons shoulder evaluation form; Constant score; Simple Shoulder Test; Western Ontario Shoulder Instability Index; og Rowe score. Der var manglende overensstemmelse mellem resultaterne af de forskellige scores.

40 Hvis der ikke findes en relevant PROM for den problemstilling du skal belyse, så kan det være sikrest at vælge et andet primært outcome end PROM, fx luksationsrate ved patellainstabilitet

41 Vær sikker på hvordan PROMen udfyldes - Fx.: Constant-Murley Shoulder Assessment Udviklet i 1987 til at vurdere skulderfunktion, og J Shoulder Elbow Surg vedtog at man kun ville publicere studier, hvor denne PROM var brugt som outcome. Består af en subjektiv del og en objektiv del, hvor der bl.a. skal måles kraft. Udviklet uden medvirken af patienter. Ikke primært og heller ikke senere egentlig valideret. Ved test-retest på 63 patienter i 2008 fandtes dårlig overensstemmelse mellem outcomes, formentlig fordi skemaet kan udfyldes på flere måder og der ikke er enighed om hvordan. Derfor blev den modificeret i 2008, og der blev lavet en vejledning i, hvordan den skulle udfyldes.

42 Undersøg om der findes flere versioner/medier og flere oversættelser af den PROM du vil bruge. WOMAC: Der findes flere korrektioner af papirudgaven og to computerversioner af WOMAC (WOMAC C og WOMAC P), og de giver ikke samme resultater som WOMAC. Man skal anvende den samme version ved longitudinelle studier. Det er ikke sikkert, at en elektronisk version giver samme resultat som en papirudgave. Vælg en PROM, der er relevant for de patienter du vil undersøge. Eksempel: De > patienter i de skandinaviske korsbåndsdatabaser bliver bedt om at besvare et spørgeskema, hvor tre spørgsmål lyder: Graden af besvær, når du: 1. tager sokker af 2. står ud af sengen - 3. tager sokker på. Irrelevante spørgsmål er formentlig medvirkende årsag til, at < halvdelen svarer på PROMen ved follow-up.

43 Tolkning

44 A Randomized Trial of Treatment for Acute Anterior Cruciate Ligament Tears The primary outcome was the change from baseline to 2 years in the average score for four of the five KOOS subscales, covering pain, symptoms, difficulty in sports and recreational activities, and quality of life (KOOS4), with scores ranging from 0 (worst) to 100 (best).

45 2 years follow-up. KOOS to assertain clinical status From year 1 to 2: 3 revisions # * * Pre-op 1 year post-op 2 years post-op 30 Normals * * # : p< S P A SP Q Symptoms Pain Activity Sports Quality of life * : p< 0.001

46 Opgave: Hvordan tolker I dette resultat? KOOS to assertain clinical status From year 1 to 2: 3 revisions # * * Pre-op 1 year post-op 2 years post-op 30 Normals * * # : p< S P A SP Q Symptoms Pain Activity Sports Quality of life * : p< 0.001

47 Ved signifikant forskel med en relevant score bør man skønne, om forskellen har klinisk betydning. Ved manglende forskel med en PROM, der ikke er specifik for den pågældende tilstand bør man tilkendegive, at den uspecifikke målemetode kan forårsage en type II fejl.

48 Konklusion: Der er meget få vel validerede PROMs til vurdering af lidelser i bevægeapparatet. Til at vurdere specifikke spørgsmål (fx vurdere konkrete behandlinger) bør optimalt anvendes en PROM, som er udviklet til og testet for den pågældende lidelse. Alle PROMs bør testes med Item Response Theory og mange PROMs vil formentlig udgå på grund af manglende pålidelighed. Der bør udvikles PROMs fra bunden til vurdering af de fleste bevægeapparatslidelser.