Evaluering af kompetencerne kommunikator og samarbejder ved hjælp af mini-cex Jesper Grau Eriksen, Dorit Simonsen, Lars Bastholt, Knut Aspegren, Claus Vinther, Kirsten Kruse, Troels Kodal Onkologisk Afdeling R, Odense Universitetshospital Parenkymkirurgisk afd, Sydvestjysk Sygehus Esbjerg
De 7 kompetencer Medicinsk ekspert Kommunikator Samarbejder Leder og administrator Sundhedsfremmer Akademiker Professionel
Evalueringsmetoder Struktueret samtale med vejleder Struktureret kollegial bedømmelse 360 -evaluering Opgave Kursus Audit af journaler Mini-CEX
Hvad er mini-cex? Mini-CEX = mini-clinical Evaluation Excercise Udviklet i USA i 1995 Vurdere kliniske færdigheder hos students/residents Evaluere situationer, hvor den uddannelsessøgende interagerer med patienter eller andre personalegrupper Direkte observation af den uddannelsessøgende Umiddelbart derefter udfyldes skema og feedback gives
mini-cex andre steder Evalueringsredskab i USA og England I onkologisk regi: - England - Sverige - Holland - Danmark
At evaluere om mini-cex: Formål - I praksis kan anvendes til at evaluere intro-lægers kompetencer i kommunikation og samarbejde - Er egnet til at give reproducerbare informationer
Set-up Et samarbejde mellem Onkologisk afd. R, OUH og Parenkymkirurgisk afdeling, Sydvestjysk Sygehus i Esbjerg Evaluere introlæger i ambulatoriefunktionen
Metode Observation i ambulatoriet Tilstede: observatøren, intro-lægen samt sygeplejerske Observatøren i Odense var flue på væggen Observatøren i Esbjerg = sygeplejerske Accept fra patient Mini-CEX (x3) Spørgeskema Evaluering
mini-cex skemaet
mini-cex skemaet Vejledning i vurdering af 7 målepunkter: - Anamnese - Objektiv undersøgelse - Empati og professionel adfærd - Klinisk dømmekraft og vurdering - Patientvejledning og rådgivning - Organisation og samarbejde - Generel klinisk kompetence
mini-cex skemaet Tid Sted Patienttype Intention med konsultationen Sværhedsgrad
mini-cex skemaet Scoring af de 7 målepunkter 9-punkts skala 1-3 under forventet niveau 4-6 forventet niveau 7-9 over forventet niveau Registrering af obs.tid Registrering af feedback-tid Tilfredshed med mini-cex
Supplerende spørgeskemaer 2 skemaer et til sygeplejersken og et til intro-lægen 4-5 spørgsmål om evaluering med mini-cex Fritekst m.h.p. refleksion Udfyldt efter konsultationen og afleveret til observatøren indenfor få dage efter observationen
Databearbejdning Kvantitative data bearbejdet med hjælp fra DPU Kvalitative data analyseret og kategoriseret af to personer med erfaring med kvalitativ forskning
Resultater Fra 1/10 2005 til 30/9 2006 indgik 21 læger i projektet Alle blev superviseret en gang og 17 mindst to gange I alt 47 observationer 15 læger blev observeret i Odense 6 læger blev observeret i Esbjerg Alle evalueringer foregik i ambulatoriet Forskellige typer konsultationer
Kompleksiteten af konsultationen Kompleksiteten af konsultationen: - let 37%, moderat i 52%, svære 11% Ingen sammenhæng mellem scoringer, kompleksitet, lægen og ændringer i kompleksitet fra første til anden mini-cex Ingen forskel mellem lægens og observatørens vurdering af konsultationens kompleksitet Tendens til at læger med svære konsultationer scorede højere end læger vurderet på lettere konsultationer
Den interne stabilitet Generelt stor intern stabilitet (troværdighed) i data vurderet med Chronbachs α (værdi > 0,7) Lægernes egenevaluering Ambulatoriesygeplejersker Odense Sygeplejerske observatører Antal observationer 22 47 47 Chronbachs rå alfa 0,64 0,86 0,77
Forskelle mellem lægens og observatørens vurderinger Kategori P-værdi Middel score observatører Middel score læger Patientens kompleksitet 0,95 Anamneseoptagelse 0,46 Objektiv undersøgelse 0,02 5,80 5.25 Empati og professionel adfærd 0,41 Klinisk dømmekraft og vurdering 0,45 Patientvejledning og rådgivning 0,23 Organisation og samarbejde 0,01 5,90 5,74 Generel klinisk kompetence 0,11 N=47
Forskelle mellem sygeplejerskens og observatørens vurderinger Kategori P-værdi Middel score observatører Middel score sygeplejersker Patientens kompleksitet 0,70 Anamneseoptagelse 0,75 Objektiv undersøgelse 0,75 Empati og professionel adfærd 0,11 Klinisk dømmekraft og vurdering 0,78 Patientvejledning og rådgivning 1,0 Organisation og samarbejde 0,03 5,92 6,04 Generel klinisk kompetence 0,67 N=47
Tiden brugt på observation og feedback Overall observationstid var mediant 20 min. (10-60 min.) Ingen forskel mellem observationstiden ved første og efterfølgende konsultation Overall feedback-tid var mediant 15 min. (5-60 min.) Første gangs-feedback, tog mediant 20 min. (7-60 min.) Næste feedback tog mediant 10 minutter (5-20 min.)
Resultater 20 20 15 15 Antal observationer 10 Antal observationer 10 5 5 0 0 10 20 30 40 50 60 70 0 0 10 20 30 40 50 60 70 Observationstid (minutter) Feedbacktid (minutter)
Spørgeskemaer om selve processen Lægerne besvarede skemaet ved 81% af observationerne Ambulatoriesygeplejerskerne besvarede ved 80% af observationerne
Kvalitative data fra lægerne I 69% af svarene blev mini-cex omtalt som udbytterig: - Godt at få kommentarer til min samtale, og ideer til forbedringer -...tænker ikke over at der observeres under konsultationen og rart med feedback efterfølgende - Man føler sig noget eksponeret, men rart at få konstruktiv kritik - God idé, at det er en sygeplejerske; det fjerner lidt af det faglige pres
Kvalitative data fra lægerne Samtlige læger anførte at de følte sig retfærdigt bedømt - Det var professionelt - Uvildig bedømmelse, god tid til at tale om eventuelle forbedringer 54 % kommenterede værdien af feedback - Blev gjort opmærksom på ting jeg ikke var bevidst om, som jeg forhåbentligt kan huske at bruge - Der var fokus på mine stærke og svage sider i kommunikationen
Kvalitative data fra lægerne Alle læger anførte at de havde haft nytte af feedback - Ja meget. Fået redskaber til at komme lidt videre i meget besværlige samtaler - Ja, jeg oplever at få konstruktiv kritik, som jeg kan bruge i fremtidige situationer. - Jeg synes, at det var godt. Sjældent at vi som reservelæger får evaluering
Kvalitative data fra sygeplejerskerne I 40 af 45 konfrontationer følte sygeplejersken ikke det var svært at bedømme lægen -...jeg havde ikke så meget tid til at sætte mig ind i det Alle fandt metoden brugbar til at evaluere læger med - På denne måde bliver det legalt for sygeplejersker at vejlede/evaluere yngre læger - Det giver anledning til en tværfaglig samtale og refleksion - Er lærerigt for alle parter
Konklusioner Metoden er enkel og let at bruge Der er stor intern konsistens i data - læger og observatører kan reproducere deres data Sygeplejerskernes data var mindre konsistente mange skiftende sygeplejersker og manglende træning i metoden
Konklusioner Stor overensstemmelse mellem observatør og læge indenfor de enkelte målepunkter - stor enighed i hvordan konsultationen forløb I Odense-data, var der en stor enighed mellem sygeplejerskens og observatørens vurderinger - er sygeplejersker = dedikerede observatører? - kvaliteten af den efterfølgende feedback?
Konklusioner Observationstiden påvirker ikke ambulatorieprogrammet Feedback tager 15 minutter - 20 min. ved første evaluering - 10 min. ved næste Mini-CEX er en evalueringsmetode som kan indpasses i dagligdagen specielt ved gentagende evalueringer
Konklusioner Ikke muligt at måle progression i evnen til kommunikation Selve proceduren sikrer at man åbent og legalt kan vurdere den uddannelsessøgendes evner og får givet feedback baseret på observerede handlinger Kvalitative data peger på høj accept af mini-cex hos alle - standard i uddannelsesforløbet? - lægerne: stor glæde af systematisk feedback - sygeplejerskerne: legalt at vejlede læger
Konklusioner Pilotprojektet tyder på at mini-cex er et effektivt og accepteret formativt evalueringsredskab til at vurdere uddannelsessøgende lægers evner i kommunikation og samarbejde med personale og patient
Perspektiver Projekt og dataindsamling fortsætter i Odense Mini-CEX til andre kompetencer? Mini-CEX i det Europæiske core curriculum i radioterapi
Kommunikation er vigtig