Er brugerundersøgelser til at stole på? Danske Ældreråd, Nyborg Strand 12. maj 2015 Erik Riiskjær, chefkonsulent, erik.riiskjaer@stab.rm.dk CFK Folkesundhed og Kvalitetsudvikling www.cfk.rm.dk
Min baggrund Jeg stod for udviklingen af en af de første brugerundersøgelser i hjemmeplejen i 1994 i Aarhus Jeg har stået for at udvikle og styre et system til måling af patientoplevelser i 1999-2006 i Aarhus Amt Forsket 4 år i begrebet patientinddragelse på Aarhus Universitet Skrevet 16 artikler om måling og organisering I dag chefkonsulent i CFK Folkesundhed og Kvalitetsudvikling bl. a. mange interview af patienter og ansatte
Tre praksisformer Paternalisme Partnerskab Forbrugerisme Patientrolle /egenskab Passiv Lydig Tillidsfuld Aktiv Tillidsfuld Vidende Aktiv Moderat kritisk Strategisk tænkende Veldefineret sygdom Navigeringsevne Lægens rolle Aktiv Vidende Lederen Aktiv Vidende Dialog-partner Konsulent Operatør Sælger Beslutning ved Lægens faglige eller personlige autoritet Dialog Forhandling Enighed (SDM) Kontraktforhold Patientens værdier Økonomi
Indhold Metode Kritiske eksempler Hvordan kan man gøre det bedre? Konklusion
Metode
Det er desværre en almindelig antagelse at tro at brugerundersøgelser er nemme at lave og nemme at bruge.
Ide om at måle Tilsigtet ændring af praksis overfor brugeren
Ide om at måle Hvordan måler man? Hvordan følger man op? Tilsigtet ændring af praksis overfor brugeren
Berl. 11. april 2015
Århus Kommunes værdigrundlag Al magt til borgerne Det er en grundlæggende værdi i Magistratsafdelingen for Sundhed og Omsorg, at borgerne altid bestemmer, og at de gør det i alle situationer Set i et stillingsopslag til en områdechefstilling i Jyllandspostens Karrieresektion den 8. september 2013.
Formål med brugerundersøgelser Nuanceret information til offentligheden Støtte borgerens frie valg af udbyder Støtte til kvalitetsudvikling Brugernes demokratiske stemme
Den ideelle tilfredshedsundersøgelse? Set fra politikerne/administratorerne Fra frontpersonalet Fra brugere/pårørende Fra evaluatorvinklen
Metoder til brugerundersøgelser - Spørgeskema - Netundersøgelser - Telefoninterview - Personligt interview - Fokusgruppemetoden - Observationsmetoden - Indsamling af historier
Emner til diskussion - Anonymitet ikke anonymitet? - Hvilken rolle skal brugerne spille i udforming/valg af redskab? - Hvordan skal der spørges og hvad skal der spørges til? - Svarskalaer (2,3,4,5 eller 7) Ved ikke? - Åbne/lukkede svarkategorier? - Præmier for besvarelse? - Sammenlægninger af svarkategorier? - Organisatorisk detaljeringsgrad? - Hvordan tolkes resultatet og af hvem? - Hvordan skal der følges op?
Hvorfor er målt tilfredshed så høj? Meget tilfredse blandes med Tilfredse (Collins, 2003) Aparte svarkategorier: Meget godt, Godt, Dårligt, Meget dårligt. Solidaritet med personalet, - gør jo hvad de kan patienter tager højde for arbejdsvilkår (Williams, 1998). Patienter vil gerne leve op til rollen som den gode patient (Williams, 1998). Kritik er kompleks i modsætning til ros, og kalder på forklaring (Staniszewska og Henderson, 2004) Angst for at komme med kritik, når man er afhængig (Marcinowicz, 2009) (Riiskjær mfl., 2011)
Svarkategorier og tolkninger af helhedsvurdering Fremtvingende valg, asymetrisk, glidende, advokerende Danske LUP Virkelig godt Godt Dårligt Virkelig dårligt Den Svenske Nationell enkät Utmärkt Mycket bra Bra Nogenlunde Dårligt Sondrer ikke, men udregner et index Aarhus Amt Enestående Godt Godt og dårligt Dårligt Uacceptabelt Ved ikke Kræftens Bekæmpelse (Patientorganisation) Meget god Overvejende god Hverken eller Overvejende dårlig Meget dårlig Ved ikke/ Ej relevant
Kritiske eksempler
Statsministre har brugt undersøgelserne.. Nu deler jeg så i øvrigt ikke heller, den her opfattelse af at alt står galt til. Går du ud hos de ældre, så tror jeg, at det er ni ud af ti der siger, de er tilfredse med deres hjemmehjælper. Når du går ud og spørger de patienter der har været på vores sygehuse, om de har været tilfredse med deres indlæggelse og behandling så er det nogenlunde det samme niveau af gode svar du får tilbage. Statsminister Lars Løkke Rasmussen i duel med Helle Thorning Schmidt 2. januar 2011 DR1
Helhedsvurdering over tid - sygehuse? Hvad er dit samlede indtryk af din indlæggelse på afdelingen (Procent Virkelig godt og Godt) 2000 2002 2004 2006 2009 2010 2011 2012 2013 Indlagte 89 90 90 90 90 93 93 92 92 Ambulante - - - - 95 96 96 96 96 Inklusionsperiode skiftede fra vinter til sommer
Helhedsvurdering over tid Aarhus hjemmepleje Hvor tilfreds er De alt i alt med plejen og den praktiske hjælp, de modtager? (% Meget tilfreds og Tilfreds)* (let skiftende formuleringer) 1999 2000 2001 2002 2008 2010 2012 2014 Modtagere af hjemmepleje 80 74 79 81 ---- 82 84 77 69
2013 2014
LUP-resultaternes udvikling over tid (psykiatri) Hvad 1. runde* er dit samlede 2. runde* indtryk af 3.runde*? Start 2005 Start 2008 Start 2010 4.runde** 2013 Distriktspsykiatri (Pårørende) 77 (38) 81 (42) 83 (51) 95 (73) Sengeafsnit (Pårørende) 66 (34) 71 (46) - 90 (62) Børn og Unge indlagt (Pårørende) 45 (70) 50 (72) - - Børn og unge ambulant (Pårørende) 70 (77) 75 (82) - 94 (94) 5-pkt skala Enestående og godt **4-pkt skala Virkelig godt og godt
Det halter med at inddrage patienter? I LUP 2013 oplyses det, at 14 % af patienterne ikke føler sig godt nok inddraget I LUP 2014 oplyses det, at 40 % ikke føler sig godt nok inddraget Forklaringen er, at man i 2014 har anvendt en fem-punktsskala med ny formulering og i 2013 en fire-punktsskala Forskellen giver et meget forskelligt indtryk i offentligheden
Tilfredshed med alarmcentralen? Kritik i Aarhus Stiftstidende af at AMKvagtcentralen ikke sender ambulancer (december 2014) 99 procent af de adspurgte svarede, at de havde et meget godt eller godt indtryk af alarmcentralen (Regionsrådsformand) Undersøgelsens metode indebar imidlertid at kun de der faktisk fik en ambulance var spurgt
Hvordan kan man gøre det bedre?
Svarprocenten 1994 (første undersøgelse) 72 % 2002 55 % 2005 52 % 2015 58 %
Hvad kan brugerundersøgelser? De kan sige noget om forskelle (organisationer, tidsudviklinger, forskellige grupper) De kan ikke sige noget om niveauet er godt eller skidt (kun med forbehold) Men de bruges ikke altid sådan
Hvorfor gav du det antal stjerner? Vidste ikke, at man blev sendt hjem få timer efter operationen. Kom som et nummer, gik som et nummer. En stjerne (uacceptabelt) 60-69 år Diagnose: Anallidelser De havde ikke styr på min medicinske behandling. Jeg talte med en læge på gangen. Det var om noget meget vigtigt. Jeg græd. Det var en elendig læge. To stjerner (dårligt) 19-39 år Diagnose: tarm De glemte at tilbyde mig middag en af dagene. De skulle tale med patienterne. Nogen gange oplevede jeg det som om jeg slet ikke var der. Tre stjerner (god og dårlig) 19-39 år Diagnose: medicin Alt i alt fik jeg en god behandling. Men jeg ønsker at kritisere, at jeg var indkaldt til klokken 8.00, men jeg blev først scannet klokken 12.00. Jeg fik svaret klokken 21.00. Og først da kunne jeg tage hjem. Jeg synes at ventetiden var for lang. Fire stjerner (god) 40-59 år Diagnose: tarm Fordi de behandler gamle og syge som menneskelige væsner og som intelligensvæsener. Fem stjerner (enestående) 70-79 år Diagnose: medicin
Kommentar-erfaringer (sygehuse) (149.221 kommentarer) 76 % har en eller flere kommentarer Stigende over tid (12 procentpoint) Flest kommentarer fra kvinder, de yngre og bedst uddannede De kritiske kommenterer mest Sygeplejersker og læger ser kommentarerne som anvendelige
Analyser og sammenhænge Akutte har dårligere oplevelser end planlagte Ældre har bedre oplevelser end yngre patienter Kvinder har dårligere oplevelser end mænd Patienter har bedre oplevelser på små sygehuse Patienter dårligere oplevelser i hovedstadsområdet end i Vest-Danmark Faste store variationer mellem sygehuse/afdelinger interessante
Kan disse overskrifter stamme fra samme undersøgelse? - 9 ud af 10 fødende kvinder tilfredse med fødselshjælpen - Halvdelen af de fødende kvinder har vigtig kritik til fødestederne
Hvad påvirker opfølgningen? Et klart kritisk resultat til den lille enhed indebærer ændringsinitiativer Virkningen aftager over tid Høje belægningsprocenter, høje akutandele, stress og ringe faglig stolthed synes at hænge sammen med stilstand og tilbagegang i patientoplevelser Riiskjær et al., 2010; 2011
Spredning af helhedsvurdering på sengeafsnit fra 1. til 3. måling
Konklusion
Konklusion Begræns antallet af spørgsmål til de vigtigste og mest kritiske områder Lad brugerne være med til at udforme redskabet Lad brugerne være med i tolkningen af resultater Lad de små organisatoriske enheder få svar Vær opmærksom på, at det kan være ressourcer/vilkår der er skævt fordelt Fokuser på skismaet mellem brug til udvikling og salg t).(her går det god Spørg mere til hændelser og mindre til tilfredshed Brug indsamling af kommentarer Tilbyd konkret opfølgning over den enkelte bruger Følg op med dialoger
Tak for opmærksomheden