Hvordan kan man evaluere telemedicin? Kristian Kidholm 1 MTV-enheden, Odense Universitetshospital
?
Indhold Hvorfor evaluere velfærdsteknologi og telemedicin? MAST - De tre trin Trin 1. Forudgående vurdering Trin 2. Multidisciplinær vurdering Trin 3. Vurdering af generaliserbarhed Hvilke studier giver et godt beslutningsgrundlag? 4 Case - dansk eksempel på evaluering af telemedicin Øvelse! Fordele og ulemper Anvendelse af MAST i praksis Konklusion
Hvorfor evaluere effekter af velfærdsteknologi? For at sikre at teknologierne er sikre for brugerne, effektive og omkostningseffektive Fordi læger og ledere foretrækker EBP Evidence Based Practise Fordi velfærdsteknologi er en af mange typer af teknologier: Medicin Kirurgi Medicinsk udstyr Nye organisationsformer Patientuddannelse.. 5
Hvorfor evaluere effekter af velfærdsteknologi?
Hvorfor evaluere effekter af velfærdsteknologi?
Hvordan? MAST - modellen Udviklet i EU-projekt i 2009 EU: Mangel på god evidens er bariere for telemedicin i EU 8 Metode: Litteraturstudie + møder med beslutningstagere
MAST Model for Assessment of Telemedicine Hvis formålet med en evaluering af telemedicin er: At beskrive effekter og bidrag til kvalitet i behandling OG At producere et beslutningsgrundlag Da er den relevante evaluering : 9 En multidisiplinær proces der sammenfatter information om medicinske, samfundsmæssige, økonomiske og etiske aspekter ved brug af teknologien på en systematisk, unbiased og robust måde.
MAST Model for Assessment of Telemedicine Hvis formålet med en evaluering af telemedicin er: At beskrive effekter og bidrag til kvalitet i behandling OG At producere et beslutningsgrundlag Da er den relevante evaluering : Baseret på MTV 10 En multidisiplinær proces der sammenfatter information om medicinske, samfundsmæssige, økonomiske og etiske aspekter ved brug af teknologien på en systematisk, unbiased og robust måde. Baseret på god forskning
Elementer i MAST TRIN 1: Forudgående vurdering: Er teknologien modnet? Juridiske, økonomiske forudsætninger? TRIN 2: Multidisiplinær vurdering (domæner): 1. Helbredsproblem og karakteristika ved teknologi TRIN 3: Generaliserbarhed Over grænser Skala 11 2. Patientsikkerhed 3. Klinisk effekt 4. Patient vurdering 5. Økonomiske aspekter 6. Organisatoriske aspekter 7. Socio-kulturelle, etiske and juridiske aspekter
TRIN 1: Forudgående vurdering Effectcost ratio. Initial development (formative ) Steady state (Summative) 12 Time
TRIN 1: Forudgående vurdering Omkostning per patient 120 100 80 60 Serie1 40 20 0 100 500 1000 1500 2000 2500 3000 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 Antal patienter
TRIN 1: Forudgående vurdering INNOVATIONSPROCESSEN: Metoder: Hvilken teknologi? - Formative studier Hvilke patienter? - Fokusgrupper Hvornår i behandlingsforløbet? - Experienced design Hvor mange dage? En del af en samlet service/pakke fx med patientuddannelse/empowerment? Aktivitet I både primær og sekundær sektor? Interoperability integration med andre IT systemer? MTV giver ikke meget hjælp her!
TRIN 2: Måling af effekter 1. Patienternes helbredsproblem og teknologien: Patienternes helbredsproblem Hvor stort er problemet Burden of disease Nuværende tilbud og behandling Interventionen teknologien: Indhold og udformning Hvordan hjælper den patienten? Interoperability 15
TRIN 2: Måling af effekter 2. Patientsikkerhed : Klinisk sikkerhed for patient og personale Teknisk reliabilitet 3. Klinisk effekt: Hvor mange vil bruge den? Mortalitet Morbiditet Helbredsrelateret livskvalitet (fx SF-36) Adfærdsmæssige outcomes Forbrug af sundhedsydelser 16 4. Patient vurdering: Tilfredshed og accept Forståelse af information Evne til at anvende Adgang Empowerment, self-efficacy
Patient Kommune Region Stat TRIN 2: Måling af effekter Udgifter/indtægter Andre ressourcer 5. Økonomiske effekter: Sundhedsøkonomisk evaluering: Hvad er det samfundsmæsige ressourceforbrug ved interventionen? Hvad er effekt på brug af sundhedsydelser? Cost-effectiveness forholdet fx. udgift per undgået genindlæggelse Business case: Udgifter per år Indtægter per år (fx DRG) 17 6. Organisatoriske aspekter: Proces Struktur Kultur Ledelse 7. Etiske, juridiske og samfundsmæssige aspekter
Trin 2: Hvilke studier giver et godt beslutningsgrundlag? RCT STOP -Så vil det ske! Randomiserin g
Trin 2: Valg af design i studier af telemedicin COPD briefcase for patients at home Video conferencing between hospitals 19
Trin 2: Valg af design i studier af telemedicin COSTS High COPD briefcase for patients at home Low Minor Video conferencing between hospitals Major EXPECTED HEALTH OUTCOMES 20
Trin 2: Valg af design i studier af telemedicin COSTS High COPD briefcase for patients at home Low Minor Video conferencing between hospitals Major EXPECTED HEALTH OUTCOMES 21
Valg af design Lui og Wyatt( 2010): Brug RCT når: - Man ønsker at finde størrelsen af effekten af en teknologi, OG - Teknologien kan have store omkostninger eller medføre risiko for patienter/personale Valg af design skal afspejle formålet Interview af brugere Interview med borgere Fokusgruppe med brugere Før-efter studie Randomiseret studie Hvordan opfatter brugerne tilbuddet? Hvor stor andel af borgerne er tilfredse med tilbuddet? Hvordan kan tilbuddet forbedres? Hvilke ændringer opnåede vi efter tilbuddet blev indført? (uanset årsag) Hvor stor effekt har tilbuddet på vores målgruppe og vores outcome?
Eksempel på et før-efter design Formål: Vil nyt IT-system med storskærme give øget aktivitet på OP? Teori: Skærme giver færre afbrydelser og dermed hurtigere operationer Design: To kirurgiske afdelinger Måling i 2011 Indførelse af IT Måling i 2012 Måling af aktivitet I 30 dage hhv. før og efter Korrigeret for produktionsdage Resultat: Afdeling 1: Aktivitet steg med 0,5 OP/dag Afdeling 2: Aktivitet steg med 0,4 OP/dag Andre årsager: Min. per operation: Åbningstid på OP/dag: Andet: Afd. 1 + 19 min. + 30 min. Ny afdelingsledelse Akkreditering Andet casemix Afd. 2-15 min. - 10 min. Akkreditering Sammenlagt med Sv. Sh. Andet casemix?
Hvad sker der, hvis vi tager fejl? A: Hvis vi undervurderer de kliniske og økonomiske gevinster? SVAR: Nye teknologi indføres for sent Patienter får ikke den optimale behandling Vi får ikke de økonomiske gevinster B: Hvis vi overvurderer de kliniske og økonomiske gevinster? SVAR: Risiko for patienternes helbred Risiko for dårlig patientoplevelse Økonomiske tab på sygehuse/kommuner => besparelser skal hentes andre steder
Gode råd til evaluering af sundhedsindsatser Skriv en projektbeskrivelse protokol Lad ikke tidlige gæt på effektens størrelse styre jeres beregninger og skøn Pas på med at overfortolke 3 ud af 5 er IKKE 60% af befolkningen Brug forskningen: Har andre undersøgt effekten af din intervention? (Medline, Cochrane) Brug validerede redskaber til dataindsamling (livskvalitet, patienttilfredshed, ) Følg standarder for god rapportering, se http://www.equator-network.org/ Randomised controlled trials (RCTs) Non-randomised evaluations of behavioural and public health interventions Observational studies Quality improvement studies
Trin 3: Generaliserbarhed Baseret på litteraturstudie: God litteratursøgning? Hvad er den interne validitet af studierne? Hvad er den eksterne validitet (mht. patienter, organisering, financiering)? 26?
Case - dansk eksempel: Studie af KOL-kufferten Patientsikkerhed Klinisk effekt Patienttilfredshed Økonomiske effekter Mortality FEV1, SAT, MRC, BMI SF-36 Exercise WSD acceptability questionnaire Qualitative interviews Investments Number of consultations Number of telephone calls Number of readmissions, bed days Number of outpatient visits Number of home nurse visits Use of emergency ward Changes in revenue (DRG) DESIGN: RCT, Similar for intervention and control group, 3- month follow-up (n = 266) Organisatoriske aspekter Interview with nurses on task shifts, use of time, satisfaction etc. Generaliserbarhed: Sammenligning mellem DK, E, GR
Øvelse! 1. Find eksempel på en ny teknologi, som I overvejer at indføre: - P: Hvem er patienterne? - I: Hvad er teknologien? - C: Hvad er comparator? - O: Hvilke outcomes er vigtigste? 2. Prøv at bruge MAST domænerne: Hvilke information skal I bruge for at vurdere, om I skal indføre teknologien? 3. Hvad er jeres krav til dokumentation af effekterne?
Hvad betyder MAST i praksis? Beslutningstagere IKKE vil nøjes med: Beskrivelser af hvordan teknologien er udviklet Interview med 10 glade patienter Citater fra 5 positive sygeplejersker Producentens gæt på hvor meget sygehuset kan spare 29 Beslutningstagere vil have forskningsbaseret beslutningsgrundlag: Publicerede kliniske studier af helbredsmæssige effekter Undersøgelser af tilfredshed hos repræsentativ stikprøve Publicerede sundhedsøkonomiske evalueringer Publicerede organisations-studier
30
Styrker og svagheder Svagheder: Kræver meget tid 2-3 år Fokuseret på effekter af telemedicin Kun relevant for modne teknologier Styrker: Baseret på ønsker fra beslutningstagere Multidisciplinært og tværfagligt Baseret på videnskabelige studier og kriterier for god kvalitet Baseret på MTV (EUnetHTA): Kendt af mange beslutningstagere I EU, på hospitaler.
Hvem Søren bruger MAST? Mest anvendte evalueringsramme i EU: (19 lande) Renewing Health, http://www.renewinghealth.eu/ (20 studier, 7.000 pat.) United4Health (3 studier, 15.000 pat.) SmartCare (9.000 pat.) incasa: http://www.incasa-project.eu/news.php (5 studier) Integrated Home Care, http://www.integratedhomecare.eu/ Regioner der bruger MAST som generel model: Norbotten, Sweden Veneto Region; Italy Basque Region, Spain 32 Anbefalinger: British Thoracic Society om telemedicin (2011) Regionernes IT strategi for Telemedicin (2011) National handlingsplan for udbredelse af telemedicin (2012)
Nå, men er der så noget hjælp? MAST - Manual (www.renewinghealth.eu) Beskrivelse af domæner, metoder, outcomes Guide til dataindsamling Guide til analyse af data YouTube videoer Artikel: Kidholm et al. A model for assessment of telemedicine applications MAST International Journal of Technology Assessment in Health Care, 28:1 (2012), 44 51. 33
Konklusion 1. Telemedicin kan medvirke til løse sundhedsvæsenets fremtidige problemer 2. Men ikke alle teknologier er gode => Vi skal sorte skidt fra kanel! 3. Brug forskningen og lav tværfaglig vurdering 4. MAST giver et forslag til en struktur, outcomes og kriterier for kvalitet