En undersøgelse af inter-rater reliabiliteten for den danske udgave af det kognitive screeningsredskab The Montreal Cognitive Assessment (MoCA)

Transkript

1

2 En undersøgelse af inter-rater reliabiliteten for den danske udgave af det kognitive screeningsredskab The Montreal Cognitive Assessment (MoCA) Bachelorprojekt fra: VIA University College Ergoterapeutuddannelsen, Århus Januar 2013 Udarbejdet af: Trine Damgaard Rasmussen Bettina Bonde Louise Hoberg Mie Riis Holbæk Nielsen Metodevejleder: Stina Bjørnskov Hansen Ergoterapeut, cand.scient.san. Faglig konsulent: Karina Lund Ergoterapeut, cand.scient.san. Anslag: (inkl. figurer og tabeller) Dette skriftlige produkt er udarbejdet af studerende ved VIA University College, Ergoterapeutuddannelsen som led i et uddannelsesforløb. Projektet foreligger ukommenteret fra uddannelsens side, og er således et udtryk for forfatternes egne synspunkter. Dette projekt eller dele heraf må kun offentliggøres med forfatternes tilladelse, jævnfør cirkulære af 16. juli 1973 og bekendtgørelse af lov om ophavsret af 11. marts 1997.

3 Vi vil gerne sige tak til: Patienter og personale på F2, en speciel tak til ergoterapeuterne da det uden dem ikke havde været muligt at gennemfører projektet. Desuden vil vi gerne takke: Stina Bjørnskov Hansen Karina Lund Mette Rasmussen Charlotte Hoberg Melek Yigit Janna Karll Familie og venner for at have været overbærende. Side 1 af 47

4 Forfatteransvar Afsnit Resumé og abstract Problembaggrund og problemstilling Teori Ergoterapeutisk teori Videnskabsteori Kvalitetskrav til undersøgelses redskaber Design, materiale og metode Resultater Diskussion Konklusion Perspektivering Ansvarlig Fælles Louise og Mie Louise og Mie Bettina Bettina og Trine Trine og Mie Mie og Bettina Louise og Trine Trine og Bettina Bettina og Louise Side 2 af 47

5 Resumé Titel En undersøgelse af inter-rater reliabiliteten for den danske udgave af det kognitive screeningsredskab The Montreal Cognitive Assessment (MoCA). Problembaggrund I Danmark findes der ingen studier, som belyser hvorvidt den danske udgave af det kognitive screeningsredskab The Montreal Cognitive Assessment (MoCA), er et reliabelt redskab til screening for kognitive udfald hos patienter med apopleksi. Udenlandske studier har testet MoCA validt og reliabelt til undersøgelse af patienter med demens. Neurologisk Afdeling, Aarhus Universitetshospital, Nørrebrogade (F2), anvender MoCA til kognitiv udredning af patienter med apopleksi, uden at kende dens validitet og reliabilitet. Et amerikansk studie viste, at hvis ergoterapeuter ikke anvendte valide og reliable undersøgelsesredskaber i sin undersøgelse af patienter var der stor risiko for, at et eller flere kognitive udfald blev overset. Formål Dette projekt har til formål, at undersøge hvor god inter-rater reliabiliteten er for den danske udgave af det kognitive screeningsredskab MoCA, når det anvendes til undersøgelse af patienter med apopleksi. Problemstilling Hvor god er inter-rater reliabiliteten af den danske udgave af screeningsredskabet The Montreal Cognitive Assessment ved screening af patienter med apopleksi i forhold til den samlede score og cut-off på 26 point. Design, materiale og metode Der blev i projektet foretaget en undersøgelse af MoCAs inter-rater reliabilitet på en studiepopulation bestående af 18 patienter indlagt på F2, med apopleksi eller til observation herfor. Der var i projektet foretaget videofilmning af undersøgelsen, hvorefter scoringen blev foretaget ud fra videofilmene. Side 3 af 47

6 Resultater Projektets resultater viste, at der var god overensstemmelse mellem testerne idet Intraclass korrelationskoefficienten (ICC) var 0,95. Der kunne dog ikke findes statistisk signifikans for resultatet idet p-værdien for ICC var 0,521. Kliniske resultater viste en observeret overensstemmelse på 94 % mellem testerne i forhold til om patienter scores over eller under cut-off på 26 point. Den beregnede Kappa-værdi for cut-off på 26 point gav 0, hvilket betyder, at der ikke kan konkluderes noget om enigheden. Konklusion På baggrund af projektets samlede resultater blev der konkludet, at der ud fra kliniske resultater ses en god inter-rater reliabilitet i forhold til den samlede score, og i forhold til cut-off score. Dette understøttes dog ikke af statistisk signifikante resultater. Søgeord The Montreal Cognitive Assessment, inter-rater reliabilitet, apopleksi og ergoterapi. Antal ord: 359 Side 4 af 47

7 Abstract Title A study of the interrater reliability of the Danish version of The Montreal Cognitive Assessment (MoCA). Background In Denmark there are no studies, elucidating whether the Danish version of cognitive screening tool The Montreal Cognitive Assessment (MoCA), is reliable for screening cognitive impairment in patients suffering from stroke. In foreign studies MoCA has been proven valid and reliable for testing patients with dementia. Department of Neurology at Aarhus University Hospital, Nørrebrogade (F2), MoCA is applied for cognitive examination of patients with stroke, without knowing its validity or reliability. An American study showed a high risk of one or more cognitive impairment being overlooked, if the occupational therapist failed to use valid and reliable examination tools for testing the patient. Purpose This project aims to investigate the interrater reliability of the Danish version of the cognitive screening tool MoCA, when used in test of patients with stroke. Problem How good is inter-rates reliability of the Danish version of the screening tool The Montreal Cognitive Assessment for screening of patients with stroke compared with the total score and cut-off? Method An interrater reliability investigation was made on a study population of 18 patients with stroke in F2. The test has been recorded on film, after which scores are made based on the recorded material. Results The project results showed a good correlation between the two testers, as Intraclass correlation coefficient (ICC) was However, this was not of statistical significance Side 5 af 47

8 because the p-value equals ICC showed a good correlation. In the study it showed a good observed concordance at 94% in regard to whether the patients scored above the cutoff value of 26 points. Kappa values for cut-off 26 points equals 0, which means that it is not possible to conclude anything about the consensus. Conclusion Based on the total project results, it is concluded that clinical results prove a good interrater reliability in regard to the total score and cut-off, but this is not supported by statistically significant results. Mesh terms The Montreal Cognitive Assessment, Inter-rater reliability, apoplexy, stroke and occupational therapy. Antal ord: 344 Side 6 af 47

9 Indholdsfortegnelse 1.0 Problembaggrund Apopleksi The Montreal Cognitive Assessment MoCA i et dansk perspektiv Problemstilling Formål Hypotese Ergoterapifaglige perspektiver og teori Modellen for menneskelig aktivitet Undersøgelse af kognitive udfald Occupational Therapy Intervention Process Model Videnskabsteori Signifikansniveau Kvalitetskrav til undersøgelsesredskaber Reliabilitet Validitet Standardisering Design, materiale og metode Design Litteratursøgning Materiale Etik Metode Dataindsamling Databearbejdning Intraclass korrelationskoefficient Side 7 af 47

10 Kappa-statistik Bland-Altman-plot Resultater Deskriptiv statistik Studiepopulationen Bortfaldsbeskrivelse Beskrivende statistik Statistiske beregninger Intraclass korrelationskoefficient Kappa-statistik Bland-Altman-plot Diskussion Resultat Hypotese Hypotese Metode Studiepopulationen Testerne Udførelse af undersøgelse Videofilmning Projektets tidshorisont Praksisplan Teoretisk diskussion Modellen for menneskelig aktivitet The Occupational Therapy Intervention Process Model Standardisering MoCAs vejledning Side 8 af 47

11 Oversættelsesprocessen Validitet Intern validitet Ekstern validitet Konklusion Perspektivering Litteraturliste Side 9 af 47

12 1.0 Problembaggrund 1.1 Apopleksi Apopleksi er en samlet betegnelse for en akut opstået forstyrrelse i hjernens blodgennemstrømning forårsaget af enten en blodprop eller en blødning i hjernen (1). I Danmark rammes hvert år ca mennesker af apopleksi. Denne sygdom er den hyppigste årsag til handicap opstået i voksenalderen. Behandling og omsorg for mennesker med apopleksi koster årligt samfundet ca. 2,7 milliarder kroner (2), og det anslås, at mellem mennesker i dag lever med følger af apopleksi. Statistik fra Hjerteforeningen viste, at hver fjerde patient med apopleksi blev afhængig af andres hjælp for at kunne udføre dagligdagsaktiviteter (2). Patienter, som rammes af en apopleksi, kan opleve dysfunktioner både på de motoriske- og kognitive færdigheder. Kognitive og følelsesmæssige symptomer beskrives ofte, som de mest hæmmende symptomer for patienten, og ubehandlet kan disse få negativ indvirkning på patientens evne til at generhverve sit tidligere funktionsniveau (3). Et amerikansk studie viste, at mellem 35 % og 91 % af patienter med apopleksi fik kognitive udfald, afhængig af apopleksiens sværhedsgrad (4). Motoriske udfald er ofte mere synlige for det sundhedsfaglige personale end de kognitive udfald. Derfor stilles der store krav til, at de ergoterapeutiske undersøgelsesredskaber er pålidelige og måler det, de forventes at måle. Et amerikansk tværsnitsstudie viste, at hvis sundhedspersonalet ikke anvendte valide og reliable undersøgelsesredskaber til kognitiv udredning af patienter med apopleksi, blev der i gennemsnit overset mindst et udfald pr. patient. Der blev hos 35 % af patienterne i studiet overset tre eller flere udfald (5). Hvis et undersøgelsesredskab ikke identificerer alle patientens kognitive udfald, kan det få alvorlige konsekvenser, idet patienten risikerer at blive udskrevet til eget hjem med et eller flere ubehandlede kognitive udfald. Sådanne udfald kan påvirke patientens aktivitetsudførelse i eget hjem i en sådan grad, at patienten ikke længere er i stand til at klare sig selvstændigt i hjemmet, hvorved patientens autonomi påvirkes (6,7). 1.2 The Montreal Cognitive Assessment Det kognitive screeningsredskab The Montreal Cognitive Assessment (MoCA) blev udviklet i 1996 i Montreal, Canada for hurtigt at kunne identificere lette kognitive udfald hos patienter med demens. MoCA er en samling af eksisterende neuropsykologiske test og Side 10 af 47

13 udviklet af en neurolog og neuropsykolog, og tager kun 10 minutter at udføre. MoCA er testet valid og reliabelt på original sproget til screening for Alzheimers Demens og Parkinson (8-10). MoCA er oversat til flere sprog, herunder dansk, men langtfra alle oversættelser er valideret (11). Der er endnu ikke foretaget en validering af den danske udgave, som senest er revideret i 2010 (se bilag 1). Den danske udgave af det kognitive screeningsredskab indeholder en oversættelse af vejledningen og det tilhørende testark. Vejledningen til MoCA indeholder ordret, hvilke informationer testeren skal give patienten ved hver delopgave, samt hvornår der gives point for en opgave. Testarket indeholder delopgaver inden for seks kognitive domæner: visuospatial konstruktion, eksekutiv funktion, episodisk hukommelse, opmærksomhed, sprogfunktion og orientering (12). For hver delopgave gives der point, hvorved der opnås en score, som går fra nul til 30 point, hvor 30 point er bedst. I undersøgelsen tages der hensyn til patientens uddannelsesniveau, idet patienter med under 12 års uddannelse får tillagt et point til deres score. En score på 26 eller derover anses, som normalt (9). På nuværende tidspunkt er der ingen studier, der undersøger hvorvidt MoCA er et validt og reliabelt screeningsredskab til patienter med apopleksi. Et studie har undersøgt validiteten og reliabiliteten af Hong Kong udgaven af MoCA i forhold til screening af patienter med cerebral small vessel disease (SVD) (13), på dansk kaldet småkarssygdom. Dette studie fandt en god inter-rater reliabilitet for MoCA når det anvendes til patienter med småkarssygdom. Småkarssygdom kan medfører akut apopleksi og giver risiko for gradvis udvikling af b.la. kognitive dysfunktioner og demens (14). MoCA er i flere studier undersøgt i forhold til Alzheimers Demens og Parkinson (4,9). Disse studier fandt alle, at MoCA var velegnet, som undersøgelsesredskab til patienter med lettere kognitive udfald (MCI), samt til patienter med Alzheimers Demens(9). MoCA var i studiet fundet mere sensitiv, end MMSE, som er et kendt kognitivt screenings redskab, i forhold til at identificerer lette kognitive udfald, idet den indeholdt opgaver, som stillede krav til de eksekutive funktioner, og den psykomotoriske reaktionsevne, som typisk er forringet hos patienter med vascular cognitive impairment (VCI) (15). Side 11 af 47

14 1.3 MoCA i et dansk perspektiv Det danske samfund er præget af en omkostnings-effektiv tankegang. Derfor stilles der i samfundet krav til, at patienter gennemgår en hurtig og målrettet rehabilitering. Flere studier viste, at tidlig og målrettet genoptræning havde betydning for hvor godt patienten genvandt sine tidligere funktioner, og sin evne til at være selvhjulpen (6,16). Derfor skal patienter på akutafdelingerne indenfor de to første døgn af deres indlæggelse tilses af både en fysio- og ergoterapeut. Her foretages en akut udredning af patientens tilstand og behov for rehabilitering, så der sikres en hurtig implementering af en målrettet genoptræning af patientens færdigheder (6). På Neurologisk Afdeling, Aarhus Universitetshospital, Nørrebrogade (F2) anvendes MoCA, hvis ergoterapeuten skønner et behov for nærmere undersøgelse af patientens kognitive funktioner. MoCA benyttes på afdelingen, idet screeningsredskabet giver ergoterapeuterne mulighed for hurtigt og nemt at supplerer deres udredning af patienten med en undersøgelse, som undersøger patientens kognitive tilstand og dennes behov for rehabilitering. Dette er til trods for, at MoCA ikke er testet validt og reliabelt til screening af patienter med apopleksi. Det er derfor af stor betydning for kvaliteten af den ergoterapeutiske intervention, at ergoterapeuter opnår viden om hvorvidt MoCA er validt og reliabelt, som screeningsredskab til undersøgelse af kognitive udfald hos patienter med apopleksi. Side 12 af 47

15 2.0 Problemstilling 2.1 Formål Dette projekt ønsker at undersøge hvor god inter-rater reliabiliteten er for den danske udgave af det kognitive screeningsredskab MoCA, ved screening af patienter med apopleksi. Projektet ønsker herved at sammenligne bedømmernes samlede score, samt sammenligne om der er forskel på, hvor scoringerne placerer patienterne i forhold til MoCAs cut-off score på 26 point. I projektet opstilles følgende problemstilling: Hvor god er inter-rater reliabiliteten af den danske udgave af det kognitive screeningsredskab The Montreal Cognitive Assessment ved screening af patienter med apopleksi i forhold til den samlede score og cut-off på 26 point? 2.2 Hypotese I projektet opstilles følgende hypoteser, på baggrund af problemstillingen: Hypotese 1: Der er ingen forskel på de to testeres samlede resultat. Hypotese 2: Der er ingen forskel på de to testeres resultat i forhold til den opstillede cutoff på 26 point. 3.0 Ergoterapifaglige perspektiver og teori Ergoterapi har oplevet et behov for at etablere et mere videnskabeligt grundlag for faget, for derved at kunne leve op til de stigende krav til omkostningseffektive interventioner og forebyggelsesprogrammer, som skal forbedre eller vedligeholde patientens funktionsniveau og livskvalitet (17). Herved er der opstået et gennemgående tema i den ergoterapeutiske intervention, som skal identificere årsagen til patientens nedsatte funktionsevne (18). 3.1 Modellen for menneskelig aktivitet Mennesket er skabt til at være aktiv. Det er gennem aktivitet, at tiden får mening, da det er disse, som strukturerer hverdagen, og giver livet mening og indhold. Evnen til at udøve aktivitet afhænger af forskellige kropslige systemer, mentale og kognitive evner, såsom hukommelse og planlægning. Modellen for menneskelig aktivitet (MOHO) giver et bredt Side 13 af 47

16 og samlet syn på menneskelig aktivitet, idet den søger at forklare, hvordan aktivitet motiverer, danner mønstre og udøves (19). Formålet med den ergoterapeutiske intervention er, at sikre patientens deltagelse i betydningsfulde aktiviteter. MOHO er en udbredt og anvendt referenceramme i ergoterapi, idet den tilbyder en forståelsesramme til at kunne forstå de komponenter, som har indflydelse på menneskets aktivitetsudøvelse (19). Modellen beskriver det dynamiske samspil mellem individ, aktivitet og omgivelser og hvorledes individets aktivitetsudøvelse påvirkes af forandringer i komponenterne. Patienter beskriver ofte kognitive symptomer, som de mest invaliderende, og uidentificeret kan disse nedsætte patientens mulighed for en vellykket rehabilitering. Det er ofte de fysiske funktionsnedsættelser, som er tydeligst for det sundhedsfaglige personale, men de kognitive funktioner har mindst lige så stor betydning for patientens aktivitetsudøvelse (3). 3.2 Undersøgelse af kognitive udfald Aktivitets- og funktionsvurderinger ser på hvordan kognitive udfald påvirker patientens funktion, tilfredsstillelse, livsstil og personligt narrativ. Formålet med at undersøge patientens aktivitetsmæssige funktion er at klarlægge i hvilket omfang de kognitive udfald indskrænker patientens uafhængighed, påvirker patientens tryghed og funktionsnedsættelsens indvirkning på patientens generelle aktivitetsliv (18). En aktivitetsbaseret tilgang er velegnet til at undersøge patientens erkendelse og eksekutive funktioner, idet ergoterapeuten ved at se patienten i aktivitet får indsigt i patientens bearbejdningsstrategier, funktionel svækkelse og generelt kognitivt niveau (18). For at få en detaljeret vurdering af patientens kognitive problemer og sikre at patienten får en målrettet og effektiv rehabilitering, er det ofte nødvendigt også at undersøge patienten ved hjælp af en standardiseret test, som undersøger specifikke kognitive funktioner såsom visuel og spatial perception, orientering, praksis, hukommelse, opmærksomhed og unilateral neglect (18). En sådan test er velegnet til at undersøge patientens basale kognitive funktioner, idet disse kognitive funktioner ofte er svære at identificerer ved en ren aktivitetsbaseret tilgang. Et eksempel på en sådan test er det kognitive screeningsredskab MoCA. Side 14 af 47

17 3.3 Occupational Therapy Intervention Process Model På baggrund af det biomedicinske paradigme, har den ergoterapeutiske praksis i løbet af årene oplevet stigende behov for at kvalitetsudvikle og kvalitetssikre den ergoterapeutiske praksis, samt at kunne dokumentere den ergoterapeutiske indsats (20). Occupational Therapy Intervention Process Model (OTIPM) er inspireret af MOHO og blev udviklet af Anne Fisher i midten af 1990 erne idet hun erkendte behovet for en klientcentreret arbejdsprocesmodel, som med sin ergoterapeutisk, klientcentreret, aktivitetsbaseret og top-down tilgang til aktivitet og deltagelse, tilbød ergoterapeuterne en arbejdsprocesmodel, som kombinerede den biomedicinske tilgang med den aktivitetsorienteret (20). En arbejdsprocesmodel er en model for en interventionsproces i praksis, samt en forskrift på hvad der ifølge modellens perspektiv er god praksis. En ergoterapeutisk arbejdsprocesmodel er således udviklet, som et middel til at kvalitetsudvikle og kvalitetssikre den ergoterapeutiske praksis (21) OTIPM består af en undersøgelses del og en interventionsdel, og bør følges trin for trin i en top-down tilgang for at sikre klientcentrering. En top-down tilgang tager først og fremmest udgangspunkt i aktivitetsparadigmet med fokus på aktivitet og deltagelse, før årsager til eventuelle aktivitetsproblematikker. Gennem indhentning af oplysninger, og ved samtale med patienten og/eller de pårørende danner ergoterapeuten sig et helhedsorienteret billede af patienten, og dennes meningsfulde aktiviteter og deltagelse i hverdagslivet. Herefter udfører ergoterapeuten en observationsbaseret analyse af patientens aktivitetsudførelse for at klarlægge effektive og ineffektive færdigheder. For at sikrer et fuldstændigt billede af patientens aktivitetsproblematikker og behov for rehabilitering, kombinerer arbejdsprocesmodellen den biomedicinske tilgang med den aktivitetsbaserede. Derfor indeholder den et trin, som omfatter at ergoterapeuten undersøger patienten på kropsniveau for at kunne tolke og årsagsforklare patientens forringede aktivitetsudførelse. Der er i den kognitive udredning på kropsniveau kun få redskaber til rådighed, som tilbyder ergoterapeuterne en hurtig og simpel måde at undersøge patienten på. MoCA kan derfor være et velegnet screeningsredskab til at undersøge patienter med apopleksi for kognitive udfald, idet det er et hurtigt og simpelt redskab. Dette forudsætter dog, at screeningsredskabet viser sig validt og reliabelt til patienter med apopleksi (17). Side 15 af 47

18 3.4 Videnskabsteori Projektet hører under det naturvidenskabelige paradigme, idet projektet anvender en kvantitativ metode til at besvare projektets opstillede hypoteser. Naturvidenskaben sigter mod at være så objektiv, som mulig idet den stræber efter at finde årsagssammenhænge mellem observerbare fænomener, som virkeligheden antages at bestå af (22). Ligeledes er det centralt for den naturvidenskabelige forskning, at det undersøgte er målbart, således at det enten kan tælles, måles eller vejes. Dette kræver, at der er reliable og valide undersøgelsesredskaber til rådighed for at sikre, at det der måles er troværdigt (23,24). Når der udføres undersøgelser inden for det naturvidenskabelige paradigme, vil studiets resultater altid være underlagt usikkerhed om hvorvidt resultatet er fremkommet ved en tilfældighed Signifikansniveau Når man undersøger naturvidenskabelige fænomener kan man aldrig udtale sig med 100 % sikkerhed. Derfor anvendes der inden for naturvidenskaben et signifikansniveau. Signifikansniveauet angiver sandsynligheden for, at projektets nul-hypotesen, som siger at der ingen sammenhæng er, fejlagtigt forkastes, selvom der i virkeligheden ingen sammenhæng er. I naturvidenskabelige undersøgelser vælges sædvanligvis et signifikansniveau på 0,05 (5 %), også kaldet p-værdi. En p-værdi på under 0,05 angiver at der er under 5 % risiko for at projektets hypotese fejlagtigt accepteres, hvilket kaldes for en type I fejl. Type I fejl forekommer ofte på grund af bias i undersøgelsens design (optimistfejl). Når der i naturvidenskabelige undersøgelser fastsættes et lavt signifikansniveau og derved sikre en lille type I fejl, øger man i stedet risikoen for at lave en type II fejl. En type II fejl betyder at nul-hypotesen fejlagtigt accepteres selvom der er en sammenhæng (pessimistfejl). Denne type fejl forekommer ofte ved undersøgelser med få deltagere (25). 3.5 Kvalitetskrav til undersøgelsesredskaber Forudsætningen for en målrettet og kvalificeret ergoterapeutisk intervention er, at ergoterapeuten anvender undersøgelsesredskaber, som har gennemgået et grundigt udviklings- og standardiseringsarbejde. Herved sikres også, at undersøgelsesredskaberne kan anvendes til forskning, dokumentation og evalueringer af den ergoterapeutiske praksis(26). Side 16 af 47

19 Danske ergoterapeuter anvender undersøgelsesredskaber, som er oversat til dansk fra fremmedsprog, i praksis. En korrekt oversættelse af et undersøgelsesredskab har stor betydning for redskabets anvendelighed i praksis, da det har betydning for redskabets validitet og reliabilitet. Er et undersøgelsesredskab validt og reliabelt på et sprog, er det ikke ensbetydende med, at det er validt og reliabelt, når det oversættes til et andet sprog, idet der kan være tværkulturelle forskelle, som kan påvirke redskabets validitet og reliabilitet hvis det oversættes direkte. Det er derfor vigtigt, at undersøgelsesredskabet oversættes efter eksisterende internationale retningslinjer (27). WHO har på deres hjemmeside offentliggjort retningslinjer for oversættelse og tilpasning af instrumenter (28). Formålet med denne proces er at sikre, at oversættelsen af et undersøgelsesredskab er begrebsmæssigt svarende til det sprog, den oversættes til. Dermed slås fast, at oversættelsen af et undersøgelsesredskab bør have fokus på kulturelle og begrebsmæssige forskelle, snarere end på sproglig- og bogstavelig lighed. Ifølge WHO er en veletableret metode, til at sikre en korrekt oversættelse, som nedenstående: Oversættelse fra originalsprog til det nye sprog Ekspertpanel som tilbage oversætter til originalsproget Pre-test og interview af målgruppen Den endelige udgave Når der i praksis foretages undersøgelser af patienten, måles der på virkeligheden. Af denne grund får undersøgelsernes validitet og reliabilitet en central rolle for resultaternes sikkerhed og konklusion af disse. Når et undersøgelsesredskab valideres, er kortlæggelsen af reliabiliteten første skridt på vejen (26,27,29). 3.6 Reliabilitet Reliabilitet betyder pålidelighed. Det er et udtryk for redskabets evne til at kunne reproducere samme resultater ved gentagne undersøgelser, uden at blive påvirket af tilfældige fejl. Der skelnes mellem forskellige former for reliabilitet: Side 17 af 47

20 Test-retest reliabilitet, som er udtryk for hvor godt undersøgelsesredskabet er til at få det samme resultat hvis den samme ergoterapeut gentager undersøgelsen. Denne egenskab er især vigtig ved undersøgelsesredskaber, som skal måle en ændring over tid (29). Intra-rater reliabilitet, som angiver i hvilket omfang den samme tester får det samme resultat når der testes flere gange på samme person (29). Inter-rater reliabilitet, som er den grad en observatørs vurdering er konsistent med en anden observatørs vurdering i samme screening. Hvis et undersøgelsesredskab skal benyttes af flere ergoterapeuter, er det vigtigt at opnå viden om i hvilken grad to eller flere ergoterapeuter kan undersøge den samme patient og få samme resultat. Da MoCA fortages at forskellige ergoterapeuter, er det vigtigt at resultaterne ikke er et udtryk for hvilken ergoterapeut, som har foretaget undersøgelsen, men derimod er udtryk for patientens faktiske tilstand (27,30,31) Når man undersøger et redskabs reliabilitet, er det vigtigt at man er særlig opmærksom på bias og tilfældige fejl, idet disse kan påvirke undersøgelsens resultat for redskabets reliabilitet. Et eksempel på en bias, kan være knyttet til testerne idet deres instruktion af patienten, gennemførelse af testprocedure, verbal opmuntring, tolkning af resultat m.m. have betydning for reliabiliteten (29). 3.7 Validitet Validitet betyder gyldighed. Det er et udtryk for om redskabet undersøger det, det har til hensigt at undersøge hos den specifikke målgruppe. Der skelnes mellem forskellige former for validitet. Overfladevaliditet, som angiver i hvilken udstrækning et undersøgelsesredskab undersøger det den angiver at undersøge (32). Kriterievaliditet, som angiver i hvor høj grad undersøgelsens resultater er i overensstemmelse med et eksisterende undersøgelsesredskab som opfattes som Goldstandard (32). Begrebsvaliditet og indholdsvaliditet, er begreber der er tæt knyttede og referer til om testen undersøger det vi gerne vil havde den til at undersøge (32). Side 18 af 47

21 I begrebet validitet ligger det implicit, at der også tales om redskabets specificitet og sensitivitet (29). Specificitet og sensitivitet er begreber, som knytter sig til hvor godt et redskab identificerer de raske og de syge. Et undersøgelsesredskabs specificitet er dens evne til at identificere raske patienter (sandt negativ), mens et undersøgelsesredskabs sensitivitet er dens evne til at identificere de syge (sandt positiv). Hvis et redskab har lav sensitivitet kan det have konsekvenser for de patienter, som er syge, idet testen ikke giver udslag (falsk negativ). Har testen derimod lav specificitet, kan testen give udslag hos patienter, som ikke er syge (falsk positiv). I den kliniske praksis er det derfor af stor betydning, hvorvidt ergoterapeuten anvender et redskab med høj sensitivitet eller et redskab med høj specificitet. Det er derfor vigtigt, at ergoterapeuten har kendskab til fordele og ulemper ved henholdsvis høj og lav sensitivitet og specificitet, når undersøgelsesredskabet udvælges, samt tager højde for formålet med undersøgelsen. Et undersøgelsesredskab er validt til at vurdere om en sygdom er til stede, hvis det har høj specificitet og høj sensitivitet (29,31,33) Standardisering Standardisering af undersøgelsesredskaber omfatter ensartethed i forhold til anvendelse af procedurer, apparatur, scoring og fortolkning heraf. Standardisering af et undersøgelsesredskab sikrer, at der opnås en vis ensartethed og forenkling af metoden, for på den måde at reducere antallet af faktorer, som kan påvirke resultatet. For at et undersøgelsesredskab kan siges at være standardiseret, skal redskabet for det første havde gennemgået studier, som sikrer validiteten og reliabiliteten (27). Derefter skal der udarbejdes retningslinjer for anvendelse af undersøgelsesredskabet. Ved at udarbejde retningslinjer for anvendelsen af undersøgelsesredskabet øges redskabets reliabilitet. Af den grund er der udarbejdet en anbefaling til hvad en standardiseret vejledning bør indeholde. En god vejledning bør indeholde følgende punkter: En klar beskrivelse af formålet En beskrivelse af anvendt udstyr/materialer Administrative instruktioner for brugen af undersøgelsesredskabet Instruktioner med hensyn til tolkning og scoring af resultater Side 19 af 47

22 Evt. beskrivelse af normative data Referenceliste over studier vedr. undersøgelsesredskabet Anvendes retningslinjer, som ikke er standardiserede, risikeres det at man får forskellige resultater fra gang til gang (27). 4.0 Design, materiale og metode I det følgende afsnit vil projektets design, materiale og metode blive gennemgået. 4.1 Design Projektet undersøgte inter-rater reliabiliteten af det kognitive screeningsredskab MoCA, når det var anvendt til screening af patienter med apopleksi (32). Desuden blev der foretages en sammenligning af cut-off scoren på 26 point hos to testere. 4.2 Litteratursøgning Ud fra projektets problemstilling var der søgt med søgeord, som relaterede sig til projektets emne. Der blev lavet systematisk søgning samt kædesøgning. Der blev i projektet søgt i CINAHL PLUS, PubMed, OT-Seeker, AMED og The Cochrane Library, i perioden fra oktober 2012 frem til januar Ud fra den systematiske søgestrategi fremkom der ved flere af søgningerne over 1000 hits. Det har derfor været nødvendigt at være konkret i forholdet til hvilke søgeord der blev anvendt. Desuden var det nødvendigt at anvende boolskeoperatorer, som for eksempel AND for at kombinere flere søgeord med hinanden. Nogle søgninger var begrænset bl.a. i forhold til udgivelsestidspunkt. Det gav en mere målrettet søgning og begrænsede antallet af hits markant. For eksempel gav en kombination af Montreal Cognitive Assessment AND stroke, gav kun én artikel. Der blev primært søgt i All text, fritekstsøgning, samt i headings. Oftest kom der derigennem kun få artikler frem (Bilag 2). Grundet det lave antal af relevante artikler der blev fundet, var det nødvendigt at anvende kædesøgning for at finde frem til mere litteratur. Ved kædesøgningen blev der fundet artikler i databaserne, som kunne være interessant for projektet. Ud fra artiklernes referencer blev der fundet primær litteratur i form af andre artikler og eller bøger, som kunne være relevant. Side 20 af 47

23 Under hele litteratursøgningsprocessen blev der taget højde for artiklernes design, metode samt deres resultater og kvalitet. Desuden blev der også set på hvem der var forfatter til artiklerne, samt i hvilket tidsskrift de var udgivet. Alle relevante artikler, som fremkom ved projektets litteratursøgning, fremkom både i PudMed og i CINAHL PLUS. 4.3 Materiale Der er opsat følgende inklusions og eksklusion kriterier for patienter, som deltog i projektet: Tabel 1: Projektets inklusions- og eksklusionskriterier Inklusionskriterier - Indlagt på F2, med apopleksi eller til observation herfor - Vurderet egnet af ergoterapeut på F2 til at kunne deltage Eksklusionskriterier - Diagnosticeret med demens eller anden sygdom som kan påvirke kognitionen - Global afasi - Svær apraksi - Taler eller forstår ikke dansk - Kan ikke se eller høre instruktioner - Kan ikke skrive læseligt Undersøgelsen af inter-rater reliabiliteten i projektet var målt på en studiepopulation bestående af patienter, som var indlagt på F2 med apopleksi eller til observation herfor. Der var i studiepopulationen inkluderet alle patienter, som opfyldte inklusionskriterierne for at give så bred en stikprøve, som muligt (34). 4.4 Etik Projektet var underlagt Datatilsynets krav til studerendes specialeopgaver (35). Desuden blev Helsinki deklarationen fulgt (36). Inden projektets påbegyndelse var der indhentet skriftlig tilladelse fra den ledende overlæge på F2 til at udføre undersøgelser af patienter indlagt på F2 (Bilag 3). Side 21 af 47

24 Patienterne i projektet var inden deltagelse, i tilstrækkelig grad, informeret om projektets formål, metode og institutionelle tilhørsforhold mundtligt og skriftligt (se bilag 4). Patienterne er desuden, både mundtlig og skriftligt, informeret om deres ret til at afstå fra at deltage, samt retten til enhver tid at trække deres samtykke tilbage. For at beskytte patienternes identitet, var alle tildelt et løbenummer, som blev oplyst såfremt de ønskede, at trække samtykket tilbage. Patienterne var desuden oplyst om, at de deltog anonymt i projektet, og at det kun var projektets forfattere, som var bekendt med deres identitet. Derfor var der i projektet truffet særlige foranstaltninger, som sikrede at fortrolige oplysninger om patienterne opbevares og behandles fortroligt. 4.5 Metode I det følgende afsnit beskrives hvordan dataindsamlingen var udført, samt hvilke statistiske beregninger der blev foretaget Dataindsamling Følgende dataindsamling blev foretaget for at kunne besvare projektets problemstilling som lød: Hvor god er inter-rater reliabiliteten af den danske udgave af det kognitive screeningsredskab The Montreal Cognitive Assessment ved screening af patienter med apopleksi i forhold til den samlede score og cut-off? Dataindsamlingen blev foretaget af fire ergoterapeutstuderende med hjælp fra ergoterapeuter på F2. To ergoterapeutstuderende stod for dataindsamlingen på F2. En ergoterapeutstuderende eller en ergoterapeut fra F2, testede indlagte patienter med det kognitive screeningsredskab MoCA, imens en ergoterapeutstuderende videofilmede. De andre to ergoterapeutstuderende udførte scoring af patienterne ud fra de optagede videofilm. De to ergoterapeutstuderende, som stod for at udføre scoring af patienterne var blindet, for ikke at påvirke inter-rater reliabiliteten. Hermed menes, at testerne ikke måtte tale sammen om, hvordan de scorede efter dataindsamlingens begyndelse (37). Derudover kendte de ikke til patientens tilstand. Side 22 af 47

25 Inden dataindsamlingen udførte alle ergoterapeutstuderene i gennemsnit fem pilottest på familie og medstuderende for at blive sikre i anvendelsen af MoCA. Pilottestene blev ikke videofilmet, og derfor blev scoringen foretaget samtidig med at undersøgelsen blev udført Databearbejdning Der blev i projektet foretaget analytiskstatistik og deskriptivstatistik for at kunne besvare projektets problemstilling. Efter endt dataindsamlingen blev resultaterne indtastede i Excel, hvorefter der blev udført deskriptiv og analytisk statistik. For at skabe overblik blev der til den deskriptive statistik anvendt tabeller. Vi har valgt at anvende intraclass korrelationskoefficient (ICC), Kappa og Bland-Altmanplot fordi det er de typiske statistiske analyser der anvendes, når reliabiliteten skal undersøges (34). Der blev i projektet taget udgangspunkt i et signifikansniveau på 0, Intraclass korrelationskoefficient Intraclass korrelationskoefficient (ICC) viser graden af sammenhæng og overensstemmelse mellem to eller flere måleværdier. Herved fås et tal mellem 0 og 1, som er udtryk for den relative reliabilitet. En værdi, som nærmer sig 1 er udtryk for, at der eksisterer en høj grad af overensstemmelse mellem testværdier. Værdier over 0,75 anses for at være udtryk for god reliabilitet (25). ICC er i projektet valgt i stedet for korrelationskoefficienten, da beregningen tager udgangspunkt i den ideelle overensstemmelse, og ikke graden af sammenhæng. ICC kræver, at de anvendte data er normalfordelt (29) Kappa-statistik Kappa-statistik blev anvendt i projektet, da vi ønskede en beregning for enigheden mellem de to testere i forhold til om patienterne placeres over eller under cut-off scoren. Fordelen ved at anvende Kappa-statistik er, at der tages højde for, at nogle resultater kan være fremkommet ved en tilfældighed. Dette vil almindelig procentregning ikke kunne tage højde for, idet der vil være stor usikkerhed forbundet med denne procent. Kappa-statistik kan anvendes, når data befinder sig på en binominal skala, hvilket projektets data tilhører, idet kategorierne er over / under cut-off scoren på 26 ud af 30 point. Da Kappa inddeles Side 23 af 47

26 efter sandsynligheden for overensstemmende resultater, vil værdien af Kappa ligge mellem 0 og +1. Hvis overensstemmelsen er perfekt, er Kappa 1,00 (29) Bland-Altman-plot Bland-Altman-plot med Limits of Agreement giver et absolut udtryk for reliabiliteten. Bland-Altman-plottet er en grafisk mulighed for at vurderer om der er forskelle i variationerne mellem to testere, idet den viser middelværdien mellem to målinger og den faktiske forskel mellem disse. Herved fås et interval indenfor hvilket, man ved en ny stikprøve kan forvente at finde 95 % af resultaterne ved to målinger. Jo mindre dette interval er, jo bedre er reliabiliteten (25). 5.0 Resultater I det følgende afsnit beskrives studiepopulationen og projektets resultater præsenteres. 5.1 Deskriptiv statistik Studiepopulationen I perioden var 154 patienter indlagt på F2. 22 af patienterne opfyldte inklusionskriterierne, idet de var indlagt med apopleksi eller til observation for apopleksi. Ud af de 22 bortfaldt fire patienter. Studiepopulationen endte således med at bestå af 18 patienter (Bilag 5) Bortfaldsbeskrivelse Projektet havde et bortfald på fire patienter, der alle var kvinder, svarende til 18 %. Årsagen til bortfaldene var følgende: To patienter ønskede ikke at deltage To var af forskellige årsager forhindret i at deltage Beskrivende statistik I projektet blev oplysninger om patienternes køn, alder og uddannelse noteret. De statistiske beregninger tog udgangspunkt i data for 18 patienter, hvor to testere har foretaget scoring af samme patient, hvilket i alt gav 36 scoringsresultater. Side 24 af 47

27 Tabel 2: Demografiske data over studiepopulationen (n=18) Demografisk data (n=18) Kvinder: Antal (%) 3 (16,7) Alder: Gennemsnit (min/max) 68,8 (41-88) Uddannelse 12år: Antal (%) 4 (22,2) Tabel 3: Samlet score for tester 1 Tester 1 (n=18) Score: Middelværdi (sd) 19,61 (4,5) Over cut-off 26 (%) 0 (0) Tabel 4: Samlet score for tester 2 Tester 2 (n=18) Score: Middelværdi (sd) 19,83 (4,58) Over cut-off 26 (%) 1 (5,6%) Da ICC beregning forudsætter at data er normalfordelt, har vi udarbejdet Q-Q plot for henholdsvis tester 1 og tester 2 for at undersøge om resultaterne er normalfordelt (Bilag 6). Figur 1: Q-Q plot for tester 1 2,5 2 1,5 1 0,5 0-0,5-1 -1,5-2 -2,5 Figur 1 Q-Q plot, tester standardnorm invers T1 Lineær (standardnorm invers T1) R² = 0,9236 Side 25 af 47

28 Tester 2 Figur 2: Q-Q plot for tester 2 2,5 2 1,5 1 0,5 0-0,5-1 -1,5-2 -2,5 Q-Q plot, tester standardnorm invers T2 Lineær (standardnorm invers T2) R² = 0,9579 Figur 1 og figur 2 er Q-Q plot, som viser data for henholdsvis tester 1 og tester 2. På figurerne ses at data med storsandsynlighed beskriver en normalfordeling, da der er lineær sammenhæng mellem data(25). Figur 3: Scatterplot, grafiskfremstilling af forholdet mellem tester 1 og tester 2 30 Scatterplot samlet score Lineær (samlet score) R² = 0, Tester 1 Figur 3 viser en grafisk fremstilling af enigheden mellem to testere. Der ses en god positiv lineær sammenhæng mellem de to testeres resultater. Side 26 af 47

29 5.1.5 Statistiske beregninger Intraclass korrelationskoefficient For at beregne ICC har vi anvendt Excel-funktionen dataanalyse til at udregne følgende: Between subject Mean Square (BMS) Rater Mean Square (RMS) Error Mean Square (EMS) For at beregne ICC indsættes ovenstående i følgende formel(25): Uddybning og endelig beregninger ses i bilag 7. Tabel 5: Hovedresultater for ICC Intraclass korrelationskoefficient ICC (p-værdi) 0,95(0,521) Tabel 5 viser de endelige resultater for ICC. Ved beregning fås en ICC på 0,95. Da ICC var over 0,75 anses reliabiliteten, som god(25). Ved ICC beregning fås en p-værdi på 0, Kappa-statistik For at udregne Kappa-værdi udføres følgende trin(29). Uddybning og endelig beregninger ses i bilag 8. Først indtastes data i 2x2 tabel: Over cut-off Under cut-off Over cut-off a b a+b Under cut-off c d c+d a+c b+d N Side 27 af 47

30 Derefter udregnes den observerede overensstemmelse: Herefter den tilfældige overensstemmelse: Hvorved Kappa-værdien kan udregnes: Tabel 6: 2x2 tabel for vurdering af om der er kognitive udfald hos patienterne i studiepopulationen ved cut-off på 26 point. Tester 1 Tester 2 Over cut-off ( 26) under cut-off ( 26) Over cut-off ( 26) Under cut-off ( 26) Tabel 6, viser at de to testere i 17 ud af 18 tilfælde er enige om hvorvidt patienten placeres over eller under cut-off scoren. Tabel 7: Resultater for cut-off på 26 point Cut-off ( 26) Den observerede Den tilfældige Kappaværdi Reliabilitet overensstemmelse, overensstemmelse, på baggrund P obseved P chance af Kappaværdi (29) 0,94 0,94 0 Dårlig Side 28 af 47

31 Ud fra tabel 7 ses at Kappa-værdi for en cut-off score på 26 point er 0. Da Kappa-værdien ligger under 0,20 anses reliabiliteten for dårlig(29). Den observerede overensstemmelse mellem de to testere i forhold til om patienten scores over eller under cut-off på 26 point er 94 %. På baggrund af anden litteratur blev der valgt, at udføre en post hoc analyse af Kappaværdien ved en cut-off score på 22 ud af 30 point(8). Tabel 8: 2x2 tabel vurdering af om der er kognitive udfald hos patienterne i studiepopulationen ved cut-off på 22 point. Tester 1 Tester 2 Over cut-off ( 22) Under cut-off ( 22) Over cut-off ( 22) Under cut-off ( 22) Tabel 8, viser at de to testere i 17 ud af 18 tilfælde er enige om hvorvidt patienten placeres over eller under cut-off scoren på 22 point. Tabel 9: Resultater for cut-off på 22 point Cut-off ( 22) Den observerede Den tilfældige Kappaværdi Reliabilitet på overensstemmelse, overensstemmelse, baggrund af P obseved P chance Kappa-værdi (29) 0,94 0,50 0,89 Særdeles god Kappa-værdien for en cut-off score på 22 point er 0,89. Da Kappa-værdien er over 0,81, anses reliabiliteten for særdeles god(29). Den observerede overensstemmelse mellem de to testere i forhold til om patienten scores over eller under cut-off på 22 point er 94 %. Tabel 7 og 9 viser, at den observerede overensstemmelse for begge cut-off er 94 %, hvorimod Kappa-værdien ved cut-off 26 er 0 og ved cut-off 22 er den 0,89. Hvilket giver en henholdsvis dårlig og særdeles god reliabilitet. Side 29 af 47

32 Forskel mellem T1 og T Bland-Altman-plot For at kunne lave Bland-Altman-plot har vi brugt Excel-funktionen dataanalyse til at beregne gennemsnitlig forskel, SD og Limits of agreement. Uddybning og endelig beregninger ses i bilag 9. Tabel 10: Resultater for Bland-Altman-plot Bland-Altman Gennemsnitlig forskel -0,222 SD 1,437 Limits of agreement 2,594 og -3,039 Tabel 10 viser resultater for Bland-Altman-plot, som er brugt til at lave plottet. Figur 4: Bland-Altman-plot Bland-Altman-plot Gennemsnit af de to screninger Forskel T1 og T2 Gennemsnitlig forskel gns * SD gns * SD Figur 4 viser at spredningen mellem de testere er størst ved de høje resultater. Desuden ses at testerne i 6 ud af 18 tilfælde er enige, hvilket svarer til 33,3 %. I de resterende 66,7 % er der en forskel på et til fire point, og den gennemsnitlige forskel på de to testere er -0,22, dvs. at den ene tester generelt score en anelse lavere end den anden. Side 30 af 47

33 6.0 Diskussion I det følgende afsnit diskuteres projektets væsentligste resultater, hvorefter resultaterne relateres til relevante forskningsresultater, teoretisk viden samt til praksis på området. Formålet med dette projekt var, at undersøge inter-rater reliabiliteten for MoCA på patienter indlagt med apopleksi. Derfor vil dette afsnit have sit hovedfokus på de hovedfaktorer, som kunne have påvirket MoCAs inter-rater reliabilitet. 6.1 Resultat Projektets hovedresultater viste, at ICC for den samlede score var 0,95. P-værdien for ICC var 0,521. Projektets Kappa-værdi ved cut-off på 26 point var 0, hvorimod den ved cut-off på 22 point var 0, Hypotese 1 Den opstillede hypotese 1 i projektet lød, som følgende: Hypotese 1: Der er ingen forskel på de to testeres samlede resultat. Projektets resultater viste, at ICC var 0,95. Dette var udtryk for, at der blev fundet god sammenhæng mellem testerne, og dermed en god inter-rater reliabilitet for MoCA når den anvendes til patienter med apopleksi(25). Den fundne p -værdi for ICC var 0,521. Hvilket betød, at projektets resultat med 52,1 % sandsynlighed var fremkommet ved et tilfælde. På baggrund af at projektet fandt en p-værdi, som var højere end 0,05 kunne der ikke findes statistisk signifikans for, at der ikke var forskel på testernes samlede resultat når patienter med apopleksi undersøges med det kognitive screeningsredskab, MoCA. Derfor burde hypotese 1 forkastes, men da projektets ICC var over 0,90, var der stor sandsynlighed for, at den høje p-værdi var fremkommet ved en type II fejl. Type II fejlen kunne skyldes projektets lille studiepopulation. Ud fra Bland-Altman-plot (Figur 4) sås at der i 14 ud af 18 scoringer, svarende til 77,8 %, var enighed eller et points forskel mellem de to testere, hvilket understøtter den kliniske signifikans om en god sammenhæng mellem de to testere. Side 31 af 47

34 Dette understøttes yderligere af et studie, som har undersøgt inter-rater reliabiliteten for Hong Kong udgaven af MoCA. Studiet opnåede gode resultater for inter-rater reliabiliteten. Her fremkom en ICC på 0,87 og en p-værdi under 0,0001. Der var 80 deltagere i studiet. Der skal dog tages forbehold for at studiet var lavet i for hold til patienter med cerebral small vessel disease (SVD)(13). At et andet studie har fundet høj ICC underbygger, at der kan være tale om type II fejl i forhold til den høje p-værdi og støtter dermed at der er klinisk signifikans for at der er god sammenhæng mellem de to testere Hypotese 2 Den opstillede hypotese 2 i projektet lød, som følgende: Hypotese 2: Der er ingen forskel på de to testeres resultat i forhold til den opstillede cut-off på 26 point. I projektet blev Kappa-værdien for en cut-off score på 26 point beregnet, idet denne var fastsat, som standard cut-off ved undersøgelse af patienter med demens og fremgår af vejledning og testark(9). Kappa-værdien ved en cut-off på 26 point gav 0, hvilket viste en dårlig overensstemmelse i forhold testernes enighed om hvor patienterne placerede sig i forhold til cut-off scoren. På baggrund af dette resultat kan vi statistisk ikke vurdere overensstemmelsen mellem de to testeres resultat. Den observerede overensstemmelse mellem testerne var 94 %. Derfor findes der klinisk signifikans for, at der ingen forskel var på de to testeres resultat i forhold til den opstillede cut-off på 26 point. Forklaringen på, at projektets Kappa-værdi ved en cut-off på 26 point gav en Kappa på 0, var at den observerede overensstemmelse, og den tilfældige overensstemmelse havde samme værdi (Bilag 8). Af den grund valgte projektet at udregne Kappa-værdien ved en cut-off på 22 point. Et studie anbefalede at cut-off sænkes til 22 point, idet dette gav en højere sensitivitet og specificitet hos redskabet. Dog er dette undersøgt i forhold til patienter med Demens(8). Flere studier anbefalede ligeledes at cut-off scoren sænkes, fordi studierne viste at sensitivteten og specificiteten blev øget. Der var dog ikke enighed om hvilken cut-off score, der var mest optimal, da flere studier viste, at en høj specificitet var på bekostning af en høj sensitivitet(8,15,38). Derfor er det en vurdering af om man ønsker Side 32 af 47

35 en høj sensitivitet eller høj specificitet, som er afgørende for hvilken cut-off score, der er optimal. Vi har valgt at udregne en Kappa-værdi for cut-off 22 point, da der her sås både en høj sensitivitet (90 %) og specificitet (91 %). Dette er dog i forhold til patienter med demens(8). Ved beregning af Kappa-værdien for en cut-off score på 22 point fås en Kappaværdi på 0,89. Da Kappa-værdien var over 0,81, viste det en særdeles god enighed mellem projektets to testere i forhold til om patienten scores over eller under cut-off scoren på 22 point.ved begge cut-off score sås en observeret overensstemmelse på 94 %. 6.2 Metode Ved en inter-rater reliabiltets undersøgelse kan resultaterne blive påvirket af forskellige faktorer. Hovedfaktorerne, som kan påvirke resultaterne i dette projekt var studiepopulationen, testerne, som udførte scoringen af patienterne, samt måden hvorpå undersøgelsen af inter-rater reliabiliteten ved MoCA blev udført. Det følgende afsnit vil derfor behandle disse faktorer, og deres indflydelse på projektets resultater for inter-rater reliabiliteten ved MoCA når det anvendes til patienter med apopleksi Studiepopulationen Projektets studiepopulation var generelt mere svækket end den patientgruppe, som normalvis undersøges med det kognitive screeningsredskab MoCA på F2. Dette skydes at vi valgte at inkludere disse for at få en bred studiepopulation. Studiepopulationen bestod både af patienter, som havde fået konstateret apopleksi og patienter, som var indlagt til observation for apopleksi. Vi valgte at inkludere begge grupper, da vi ellers havde fået en endnu mindre studiepopulation, idet vi oplevede at nogle patienter blev udskrevet eller overflyttet til andet hospital straks efter diagnosticering. Det havde derfor ikke været muligt for disse patienter at deltage i projektet. At begge patientgrupper er inddraget i studiepopulationen har ikke haft direkte indflydelse på inter-rater reliabiliteten i projektet, men haft betydning i forhold til projektets overførbarhed(34,37). Side 33 af 47