Evaluering af kompetencerne kommunikator og samarbejder ved hjælp af mini-cex

Transkript

1 Evaluering af kompetencerne kommunikator og samarbejder ved hjælp af mini-cex Jesper Grau Eriksen, Dorit Simonsen, Lars Bastholt, Knut Aspegren, Claus Vinther, Kirsten Kruse, Troels Kodal Onkologisk Afdeling R, Odense Universitetshospital Parenkymkirurgisk afd, Sydvestjysk Sygehus Esbjerg

2 De 7 kompetencer Medicinsk ekspert Kommunikator Samarbejder Leder og administrator Sundhedsfremmer Akademiker Professionel

3 Evalueringsmetoder Struktueret samtale med vejleder Struktureret kollegial bedømmelse 360 -evaluering Opgave Kursus Audit af journaler Mini-CEX

4 Hvad er mini-cex? Mini-CEX = mini-clinical Evaluation Excercise Udviklet i USA i 1995 Vurdere kliniske færdigheder hos students/residents Evaluere situationer, hvor den uddannelsessøgende interagerer med patienter eller andre personalegrupper Direkte observation af den uddannelsessøgende Umiddelbart derefter udfyldes skema og feedback gives

5 mini-cex andre steder Evalueringsredskab i USA og England I onkologisk regi: - England - Sverige - Holland - Danmark

6 At evaluere om mini-cex: Formål - I praksis kan anvendes til at evaluere intro-lægers kompetencer i kommunikation og samarbejde - Er egnet til at give reproducerbare informationer

7 Set-up Et samarbejde mellem Onkologisk afd. R, OUH og Parenkymkirurgisk afdeling, Sydvestjysk Sygehus i Esbjerg Evaluere introlæger i ambulatoriefunktionen

8 Metode Observation i ambulatoriet Tilstede: observatøren, intro-lægen samt sygeplejerske Observatøren i Odense var flue på væggen Observatøren i Esbjerg = sygeplejerske Accept fra patient Mini-CEX (x3) Spørgeskema Evaluering

9 mini-cex skemaet

10 mini-cex skemaet Vejledning i vurdering af 7 målepunkter: - Anamnese - Objektiv undersøgelse - Empati og professionel adfærd - Klinisk dømmekraft og vurdering - Patientvejledning og rådgivning - Organisation og samarbejde - Generel klinisk kompetence

11 mini-cex skemaet Tid Sted Patienttype Intention med konsultationen Sværhedsgrad

12 mini-cex skemaet Scoring af de 7 målepunkter 9-punkts skala 1-3 under forventet niveau 4-6 forventet niveau 7-9 over forventet niveau Registrering af obs.tid Registrering af feedback-tid Tilfredshed med mini-cex

13 Supplerende spørgeskemaer 2 skemaer et til sygeplejersken og et til intro-lægen 4-5 spørgsmål om evaluering med mini-cex Fritekst m.h.p. refleksion Udfyldt efter konsultationen og afleveret til observatøren indenfor få dage efter observationen

14 Databearbejdning Kvantitative data bearbejdet med hjælp fra DPU Kvalitative data analyseret og kategoriseret af to personer med erfaring med kvalitativ forskning

15 Resultater Fra 1/ til 30/ indgik 21 læger i projektet Alle blev superviseret en gang og 17 mindst to gange I alt 47 observationer 15 læger blev observeret i Odense 6 læger blev observeret i Esbjerg Alle evalueringer foregik i ambulatoriet Forskellige typer konsultationer

16 Kompleksiteten af konsultationen Kompleksiteten af konsultationen: - let 37%, moderat i 52%, svære 11% Ingen sammenhæng mellem scoringer, kompleksitet, lægen og ændringer i kompleksitet fra første til anden mini-cex Ingen forskel mellem lægens og observatørens vurdering af konsultationens kompleksitet Tendens til at læger med svære konsultationer scorede højere end læger vurderet på lettere konsultationer

17 Den interne stabilitet Generelt stor intern stabilitet (troværdighed) i data vurderet med Chronbachs α (værdi > 0,7) Lægernes egenevaluering Ambulatoriesygeplejersker Odense Sygeplejerske observatører Antal observationer Chronbachs rå alfa 0,64 0,86 0,77

18 Forskelle mellem lægens og observatørens vurderinger Kategori P-værdi Middel score observatører Middel score læger Patientens kompleksitet 0,95 Anamneseoptagelse 0,46 Objektiv undersøgelse 0,02 5, Empati og professionel adfærd 0,41 Klinisk dømmekraft og vurdering 0,45 Patientvejledning og rådgivning 0,23 Organisation og samarbejde 0,01 5,90 5,74 Generel klinisk kompetence 0,11 N=47

19 Forskelle mellem sygeplejerskens og observatørens vurderinger Kategori P-værdi Middel score observatører Middel score sygeplejersker Patientens kompleksitet 0,70 Anamneseoptagelse 0,75 Objektiv undersøgelse 0,75 Empati og professionel adfærd 0,11 Klinisk dømmekraft og vurdering 0,78 Patientvejledning og rådgivning 1,0 Organisation og samarbejde 0,03 5,92 6,04 Generel klinisk kompetence 0,67 N=47

20 Tiden brugt på observation og feedback Overall observationstid var mediant 20 min. (10-60 min.) Ingen forskel mellem observationstiden ved første og efterfølgende konsultation Overall feedback-tid var mediant 15 min. (5-60 min.) Første gangs-feedback, tog mediant 20 min. (7-60 min.) Næste feedback tog mediant 10 minutter (5-20 min.)

21 Resultater Antal observationer 10 Antal observationer Observationstid (minutter) Feedbacktid (minutter)

22 Spørgeskemaer om selve processen Lægerne besvarede skemaet ved 81% af observationerne Ambulatoriesygeplejerskerne besvarede ved 80% af observationerne

23 Kvalitative data fra lægerne I 69% af svarene blev mini-cex omtalt som udbytterig: - Godt at få kommentarer til min samtale, og ideer til forbedringer -...tænker ikke over at der observeres under konsultationen og rart med feedback efterfølgende - Man føler sig noget eksponeret, men rart at få konstruktiv kritik - God idé, at det er en sygeplejerske; det fjerner lidt af det faglige pres

24 Kvalitative data fra lægerne Samtlige læger anførte at de følte sig retfærdigt bedømt - Det var professionelt - Uvildig bedømmelse, god tid til at tale om eventuelle forbedringer 54 % kommenterede værdien af feedback - Blev gjort opmærksom på ting jeg ikke var bevidst om, som jeg forhåbentligt kan huske at bruge - Der var fokus på mine stærke og svage sider i kommunikationen

25 Kvalitative data fra lægerne Alle læger anførte at de havde haft nytte af feedback - Ja meget. Fået redskaber til at komme lidt videre i meget besværlige samtaler - Ja, jeg oplever at få konstruktiv kritik, som jeg kan bruge i fremtidige situationer. - Jeg synes, at det var godt. Sjældent at vi som reservelæger får evaluering

26 Kvalitative data fra sygeplejerskerne I 40 af 45 konfrontationer følte sygeplejersken ikke det var svært at bedømme lægen -...jeg havde ikke så meget tid til at sætte mig ind i det Alle fandt metoden brugbar til at evaluere læger med - På denne måde bliver det legalt for sygeplejersker at vejlede/evaluere yngre læger - Det giver anledning til en tværfaglig samtale og refleksion - Er lærerigt for alle parter

27 Konklusioner Metoden er enkel og let at bruge Der er stor intern konsistens i data - læger og observatører kan reproducere deres data Sygeplejerskernes data var mindre konsistente mange skiftende sygeplejersker og manglende træning i metoden

28 Konklusioner Stor overensstemmelse mellem observatør og læge indenfor de enkelte målepunkter - stor enighed i hvordan konsultationen forløb I Odense-data, var der en stor enighed mellem sygeplejerskens og observatørens vurderinger - er sygeplejersker = dedikerede observatører? - kvaliteten af den efterfølgende feedback?

29 Konklusioner Observationstiden påvirker ikke ambulatorieprogrammet Feedback tager 15 minutter - 20 min. ved første evaluering - 10 min. ved næste Mini-CEX er en evalueringsmetode som kan indpasses i dagligdagen specielt ved gentagende evalueringer

30 Konklusioner Ikke muligt at måle progression i evnen til kommunikation Selve proceduren sikrer at man åbent og legalt kan vurdere den uddannelsessøgendes evner og får givet feedback baseret på observerede handlinger Kvalitative data peger på høj accept af mini-cex hos alle - standard i uddannelsesforløbet? - lægerne: stor glæde af systematisk feedback - sygeplejerskerne: legalt at vejlede læger

31 Konklusioner Pilotprojektet tyder på at mini-cex er et effektivt og accepteret formativt evalueringsredskab til at vurdere uddannelsessøgende lægers evner i kommunikation og samarbejde med personale og patient

32 Perspektiver Projekt og dataindsamling fortsætter i Odense Mini-CEX til andre kompetencer? Mini-CEX i det Europæiske core curriculum i radioterapi

33 Kommunikation er vigtig