Kompetencevurdering - anno 2015 Gitte Eriksen Uddannelseskoordinerende overlæge Ph.d. MPM HR-lægelig uddannelse
Indhold/temaer Hvorfor kompetencevurdering? Historien bag SST rapport ganske kort Fra teori til praksis Hvorfor er det så svært? Er vi lykkedes med det? Kompetencevurdering på OUH Det uddannende hospital - strategi OUH 2013 Udfordringer Argumenter Take home
Kompetence er. lægens evne til at udføre de opgaver, og udfylde de roller, som forventes på et givet tidspunkt i lægens professionelle udvikling evne til at udføre f. eks. praktiske færdigheder personlige evner og egenskaber evne til at omsætte viden og færdigheder evne til at udnytte personlige evner i praksis SST rapport 7 lægeroller, 2012
Noter på papir eller andet medie - 2 min alene Hvilken effekt vil det have i min afdeling, hvis vi systematisk kompetencevurderede alle uddannelsessøgende læger? Hvad ville være anderledes, hvis jeg tog et billede eller en video? Status Systematisk kompetencevurdering Effekt Diagnose Behandling Helbredelse
Under oplægget Lav dine egne noter.. Hvad bliver jeg inspireret af i oplægget i forhold til at indføre systematisk kompetencevurdering? Hvordan kan jeg i min funktion konkret arbejde med nogle af oplæggets pointer?
Arbejdspladsbaseret læring = vurdering som en af det daglige arbejde Kompetencer vurderer vi fordi Driver læring Sikrer, at alle er gode nok Er vores specialist eksamen
Kompetencevurdering af hvad? Viden Opgaver, MCU GØR KAN VED HVORDAN VED Handlinger i klinikken = performance Struktureret observation 360º feedback Video Handlinger under kontrol = kompetencer OSCE Simulation mm Miller s pyramide for evaluering af kliniske kompetencer Framework from Miller, GE (1990) Acad. Med 65 (9): 63-67 workplace based assessment
Kompetencevurdering har en konsekvens. Low-stake Del af læringsproces = formativ Skaber refleksion hos den lærende High-stake Del af produkt kontrol = summativ Er kompetencen erhvervet er målet opnået? Det kan vi blive bedre til..
Baggrund Historien bag kompetencevurdering.
2013 Rapporter & anbefalinger i den lægelige videreuddannelse DE SYV LÆGEROLLER
Udfordringer anno 2012 Kompetencevurdering i speciallægeuddannelsen Der mangler viden om KV og feedback hos vejledere og YL dette er en væsentlig barriere Der mangler KV kultur/tradition Dvs. der er brug for en værktøjskasse. for at fremme struktureret anvendelse af KV for en arbejdsgruppe Obs kommissoriet var ikke en implementeringsplan
Indhold i rapporten Formål med KV Ansvar for KV Skalaer Validering Metoder Direkte Helhedsvurderinger Retrospektiver Simulation Konklusion Anbefalinger & perspektiver Bilag kan gøres bedre!!!
Skabelon for beskrivelse af metoderne The Good Assessment guide Definition Anvendelighed Fordele & ulemper Validitet Pålidelighed Gennemførlighed Praktiske eksempler på anvendelse Jolly B & Grant J, London 1997
Opdeling af KV-metoder Direkte observation Struktur via skema / checkliste Kompetencekort, Mini-Cex OSATS, NOTSS/ANTS, Helhedsvurderinger Struktur via skema / checkliste Generelle vurderinger (global skala), 360 s feedback
Opdeling af KV-metoder Retrospektive metoder Audit Refleksive rapporter Casebaseret diskussion KV i forbindelse med anvendelse af simulation
En bred vifte af metoder - ingen metode kan stå alene! Struktureret Kompetence observation kort Checklister OSATS DOPF Mini-Cex Simulation NOTTS 360 feedback Generel vurdering Struktureret vejledersamtale Audit Case-baseret diskussion Refleksive rapport
Konklusion fra rapporten - anvendelse af KV forudsætter Kendskab til metoderne Hvilke metoder bruges til hvad? Forståelse af rollen som bedømmer Due/høg perspektiv, det rette niveau Konsekvenshavende license to eller no go Konstruktiv feedback Brug af og evne til at modtage feedback understøtter læring Formel uddannelse af vejledere og yngre læger en forudsætning for implementering Prioriteres af afdelingen/hospitalet/regionen Opbakning fra både ledelsen og fra speciallægerne
Fra teori og redskaber på papir til praksis det opleves tungt hvad er det, der bremser os?
En skal opgave - er altså ikke til diskussion!
Er det fordi vi har styr på kvaliteten?
Tør vi ikke vurdere? Er vi konfliktsky? Har vi hensynsbetændelse? Er det næste afdelings opgave? Tør vi ikke spørge; Hvorfor drikker Jeppe?
Tror vi ikke på udbyttet af systematisk kompetencevurdering? FAST tracks Glæde DRG Søvn Kvalitet og patientsikkerhed SLOW tracks
Forskellige perspektiver på det at skabe noget nyt. Græsk metafysik Ud af ingenting kan der ikke komme noget Kristendom Ud af intet skabte gud alting Storm P Ingenting kommer af ingenting undtagen lommeuld
OUH vil Kompetencevurdere uddannelsessøgende læger
Målet er at blive et af Danmarks bedste hospitaler for videreuddannelse af læger det hospital yngre læger anbefaler som videreuddannelsessted
Indsatsområde 2 Prioritering af praktisk-klinisk uddannelse Effekt leve op til best practice YL indgår hurtigere og mere kompetent i driften forbedret kvalitet i patient behandlingen Midler Udnytte uddannelsespotentialet Identificere indeks-situationer (krydspunkter) Tilrettelæggelse af arbejdet (planlægning af læring) Fokus på vurdering af kompetencer (IT, 360 web)
Hvad ved vi der udfordrer kompetencevurdering? Viden Hvilke metoder findes? Hvilke metoder kan bruges til hvad? Hvordan kan/skal skalaer bruges? Hvad siger er evidensen? Færdigheder Anvendelse af i praksis Standardisering Niveau for godt nok Indsamling af vurderinger Holdninger Motivation? Er KV vigtig for mig og/eller YL? Lærings & feedbackkulturen Det plejer vi ikke her! Det tager tid fra patienterne!
Der er modstand mod KV Niveau 1; Manglende forståelse Jeg forstår ikke hvorfor? Hvordan jeg skal gribe det an! Niveau 2; Emotionel reaktion Jeg kan ikke lide det! Jeg er for presset! Jeg kan ikke overskue..! Niveau 3; Manglende tillid til uddannelseslederne Jeg kan ikke lide dig! Jeg tror ikke på, at vi anderkendes.!» Rick Maurer: Modstand mod forandringer
Brug for strategi - en kampplan frit efter John Kotter Fred ved der er en sprække i isen Hvordan flytter Fred pingvinerne? UAOér, UKYLér og led ovl på OUH ved, at kompetencevurdering giver dygtigere læger Hvordan flytter i vejlederne og de yngre læger i fællesskab? Dagens opgave i gruppediskussionerne
DER ER IKKE EVIDENS SOM ARGUMENT
Krav til kompetencevurderingsmetode Anvendelighed = R x V x A x E x C Reliabilitet pålidelige Validitet måler det som ønskes målt Acceptable/gennemførlig Mulig i praksis - give mening og opleves som fair Effekt på læring forbedre performance References Cost-effectiveness pmetb/publications/ balance mellem udgifter/gevinster Van der Vleuten s Utility Index 1. PMETB. Principles for an assessment system for postgraduate medical training. 2004. Available from: www.pmetb.org.uk 2. van der Vleuten C. The assessment of professional competence: developments, research and practical implications. Advances in Health Sciences Education. 1996; 1: 41-67. 3. Schuwirth L, van der Vleuten C. How to design a useful test: the principles of assessment. Region Edinburgh: Midtjylland ASME. 2006.
Reproducerbar pålidelighed = træfsikkerhed (reliability) samme score ved gentagne målinger på samme individ ved forskellige bedømmere eller flere gange med samme bedømmer under samme betingelser
Skema til Struktureret Klinisk Observation Begrebsvaliditet (construct) en novice scorer lavere end en mere erfaren YL osv.
ACTA Obstetricia et Gynecologica AOGS M A IN RESEARCH A RTICLE A st ruct ured f our -st ep curricul um in basic laparoscopy: developm ent and validat ion JEANETT STRANDBYGAARD 1, FLEMMING BJERRUM 1, MATHILDE MAAGAARD 1, CHRISTIAN RIFBJERG LARSEN 2, BENT OTTESEN 1 & JETTE L. SORENSEN 1 1 Department of Obstetrics and Gynecology, Juliane Marie Center, Center for Children, Women ACTA andobstetricia Reproduction, et Gynecologica Rigshospitalet University Hospital, Copenhagen and 2 Department of Obstetrics and Gynecology, Nordsjaellands Hospital, Hillerød, Denmark AOGS M A IN RESEARCH A RTICLE 2014 Key w ords Laparoscopy, virtual reality simulation, multiple-choice test, assessment, curriculum Correspondence Jeanett Strandbygaard, Department of Obstetrics and Gynecology, 4232, Rigshospitalet, University Hospital of Copenhagen, Blegdamsvej 9, Copenhagen 2100, Denmark. E-mail: jeanett78@gmail. com Confl ict of interest The authors have stated explicitly that there are no conflicts of interest in connection with Abstract A st ruct ured f our -st ep curricul um in developm ent and validat ion Objective. The objective of this study was to develop JEANETT a four-step STRANDBYGAARD curriculum in 1, FLEMMING BJERRUM 1, MATHILD basic laparoscopy consisting of validated modules LARSEN integrating 2, BENT a cognitive OTTESEN component, a practical component and a procedural 1 Department component. of Obstetrics Design. Aand four- Gynecology, Juliane Marie Center, Center f 1 & JETTE L. SORENSEN 1 step curriculum was developed. The methodology Rigshospitalet was different University for each Hospital, step. Copenhagen and 2 Department of Obstet Hillerød, Denmark Step 1: A 1-day course in basic laparoscopy developed on the background of a regional needs analysis. Step 2: A multiple-choice test, developed and validated through interviews with experts in laparoscopy and subsequently through a Delphi audit involving regional chief physicians. Key Step w ords 3: A procedural training Abstract Laparoscopy, virtual reality simulation, task (a salpingectomy) on a validated virtual reality simulator. Step 4: An operation on a patient (asalpingectomy) with following formative assessment based basic Region laparoscopy Midtjylland consisting of v multiple-choice test, assessment, curriculum Objective. The objective of this s on a validated assessment scale. Setting. University Correspondence hospital, Copenhagen, Den- ponent, a practical component Jeanett Strandbygaard, Department of
Brug Intended Use Argument (IUA) Hvad vil vi opnå med kompetencevurderingen? At understøtte feedback og læring? At godkende/certificere? At afsløre uprofessionel adfærd Cees Van der Vleuten, Ottowa 2014 Guld standarden findes ikke Professionalisme, holdning & klinisk vurdering EVIDENSEN skal ses i det lys..
Bedømmerne er JO ikke ens Som argument
Bedømmeres vurdering af adfærd påvirkes bl.a. af Stringens eller blødhed høg & due effekten Bias relateret til casen kæp-hest effekten Bias pga. påvirkning mellem enkelte delelementer alt vurderes ens - halo effekten Positive skævheder det er synd for effekten Køn, etnicitet mm Rip, Rap og Rup effekten
Konklusioner fra artiklen Bested et al 2011 - om Bedømmerbias Kendskab til kompetencevurdering motiverer til at gennemføre KV Diskussion af standard/norm for vurdering blandt bedømmere øger pålideligheden af KV Bedømmere bør foretage KV indenfor eget arbejdsfelt/subspeciale Bedømmere bør erkende sympatier eller antipatier overfor YL
En score - er ikke sandheden, men en information et datasæt blandt mange
Kompetencevurdering er bare en masse krydser og skemaer TICK BOX Det giver ikke mening.. Som Argumentet
Mini-CEX dialog og feedbackredskab Anamneseoptagelse (ikke observeret) 1 2 3 4 5 6 7 8 9 Under forventet niveau Forventet niveau Over forventet niveau Ikke tilfredsstillende niveau Tilfredsstillende Meget tilfredsstillende niveau Objektiv undersøgelse (ikke observeret) 1 2 3 4 5 6 7 8 9 Under forventet niveau Forventet niveau Over forventet niveau Ikke tilfredsstillende niveau Tilfredsstillende Meget tilfredsstillende niveau Empati og professional adfærd (ikke observeret) 1 2 3 4 5 6 7 8 9 Under forventet niveau Forventet niveau Over forventet niveau Ikke tilfredsstillende niveau Tilfredsstillende Meget tilfredsstillende niveau Valideret metoder < 4 obs pro Vise progression, men Klinisk dømmekraft Patient vejledning og rådgivning Organisation og samarbejde Generel klinisk kompetence
- Professionel udvikling Professionel kompetencevurdering skal bruges til at bedømme den yngre læges performance! Dygtig Mester Ekspert Adv. begynde Kompetent
MILEPÆLE/NIVEAUER skal defineres af Jer Dygtig Mester Ekspert Adv. begynde Kompetent
En model kunne være EPAs Entrusted Professional Activities Kan YL varetage en professionel praksis? ansvar for en konkret opgave/aktivitet kræver multiple kompetencer Vurderes i klinisk praksis kan klares uden supervision? også om natten/fredagen? Jeg har tillid til at du kan..
Synsninger - er tilladt at bruge sammen med struktureret kompetencevurdering Helhedsvurderingen af den yngre læge søstertesten skal den læge behandle min søster? den professionelle eksperts vurdering af komplekse kompetencer Cees van der Vleuten, Ottawa 2012 Subjektivitet er nødvendig Måske er supervisor ikke præget af bias, men af visdom? Kevin Era, 2011
Vi arbejder aldrig sammen der er FOR mange Mestre. yngre læger opsøger ikke feedback. Det er for komplekst.. Som Argumenter...
Ja det er vilkårene for kompetencevurdering Observation + Vurdering + Feedback Observation + Vurdering + Feedback Observation + Vurdering + Feedback Yngre læge + klinisk vejleder XX Yngre læge + klinisk vejleder XY Yngre læge + klinisk vejleder XXX Egnet til specialet ja/nej? Speciallæge ja/nej?
Brug for en organisationsmodel Mange observationer Klinisk praksis (AT & UP) Vurdering Feedback Nye læringsmål/aftaler Summer og beslut Vejledermøder +/- godkendt Informer og byg ovenpå Vejledersamtaler Feedback Nye læringsmål/aftaler Eriksen G - unpublished 2014
Take home.
Opstil fælles succeskriterier Alle afdelinger skal selv om de er forskellige kunne besvare.. Hvornår kompetencevurderer vi yngre læger? Hvordan bruger vi metoderne? Hvad er godt nok hos os? Hvordan følger vi op? og Hvad er vores feedback kultur?
Opfind ikke flere dybe tallerkner BRUG DET DER ER VIST
KV kan vi gøre det bedre? Kompetencevurderingsredskaber til diskussion Er der vi styr på de metoder vi skal bruge? Bruger vi metoderne systematisk og planlagt? Er de yngre læger aktive medspillere Kan vi bruge metoderne mere enkelt end vi gør? Er vejlederne godt nok uddannet i metoderne Har vi styr på bedømmer bias? Bruger vi KV som til at skabe og følge udviklingen? KV er styrende for læring
Tak for opmærksomheden