Kompetencevurdering. C Ringsted Center for Klinisk Uddannelse CEKU

Transkript

1 Kompetencevurdering C Ringsted Center for Klinisk Uddannelse CEKU

2 Oversigt Om kompetencevurdering Kompetencevurdering i praksis Vores erfaring

3 Evaluering i videreuddannelsen Tidligere antagelser Målbeskrivelse + uddannelsesprogram + samtaler + læringsmiljø = kompetente læger Målbeskrivelse - uddannelsesprogram - samtaler - læringsmiljø = ikke kompetente læger Fokus på rammerne for uddannelsen Findes der et uddannelsesprogram? Afholdes samtalerne? Hvordan er læringsmiljøet/afdelingen (skala 1-9)? CS-skemaet attesterer at uddannelsen er fulgt

4 Men - er fokus på rammerne nok? Rammerne kan være gode og lægen dårlig Rammerne kan være dårlige og lægen god Der kræves noget mere - Kompetencevurdering Har den uddannelsessøgende opnået den kompetence, som forventes i relation til målene for uddannelsen? Kære Charlotte, I den afdeling, hvor jeg lige har været, var der - ikke noget udd.program, ingen udd. ansvarlig ovl. ingen vejledere ingen samtaler Men - jeg har aldrig lært så meget før i mit liv!!! Mvh.

5 Er løsningen en eksamen? Historisk var der i NA kun eksamen Multiple choice questions (MCQ) og mundtlig eksamen Men - er eksamen nok? Er den valid? JA - i nogle tilfælde Korrelation mell. farmakologi og medicinordination Korrelation mell. eksamen og screening for mamma cancer, o.a. Korrelation mell. eksamen og håndtering af AMI NEJ - i andre tilfælde De uddannelsessøgende har ikke den fornødne kliniske erfaring Korrelation mellem eksamen og klinisk færdighed er lav Resultat ved eksamen afhænger af studieteknik - ikke klinik

6 Kompetencevurdering Postgraduat uddannelse DOES SHOWS HOW KNOWS HOW KNOWS En masse DOES/handling Kompetencevurdering tester DOES og SHOWS HOW Eksamen tester KNOWS HOW og KNOWS Prægraduat uddannelse

7 Bred definition af professionel kompetence Kompetence er en væremåde (Ebstein og Hundert, JAMA 2002;9) Den rutinemæssige og velovervejede anvendelse af kommunikation, viden, tekniske færdigheder, klinisk vurdering, følelser, værdier og refleksion i daglig praksis - til fordel for individet og det samfund, som tjenes Viden og færdigheder bliver først til kompetence, når det omsættes med eftertanke i praksis En teoretisk eksamen kan ikke teste kompetence forstået som en væremåde i praksis Derfor kompetencevurdering i praksis

8 Kompetencevurderingsprogram Mange observationer/metoder Bredt spektrum af kompetencer Progression/udvikling Læring gennem vurdering Minimums standard Mange eksaminatorer

9 Eksamen og kompetencevurdering Eksamen Kompetencevurdering Testen ligger til sidst Er ofte teoretisk Mange timer på én gang Er hemmelig Først læring så test Giver utryghed, angst Ofte summativ Få ekspert-bedømmere Høj pålidelighed Let at sætte en standard Test undervejs Er mest klinisk orienteret Mange små dele undervejs Er åben Test bruges til oplæringen Giver sikkerhed, selvtillid Både formativ og summativ Mange kliniske bedømmere Lav pålidelighed Svært at sætte en standard

10 Kompetencevurdering i praksis Uddannelsen Logbog og dokumentation

11 Uddannelsen Uddannelsesforløb sammensættes af de specialespecifikke råd Uddannelsesprogrammer skal hænge sammen over hele forløbet Introduktionsuddannelse Hoveduddannelse -forløb over flere afd./hospitaler Uddannelsesprogram Introduktion Arbejdsplan Undervisning Vejledning Kompetencevurdering Nøglepersoner Uddannelsesansvarlig overlæge Hovedvejleder Daglige kliniske vejledere

12 Kompetencevurdering Logbog for kompetencer Kompetence 1 Underskrift Kompetence 2 Underskrift Kompetence 3 Underskrift Kompetence 4 Underskrift Kompetence 5 Underskrift Kompetence 6 Underskrift Kompetence 7... Kompetence 8... Dokumentation Kompetence nr. 6 Checkliste JA... X... X... X... X... X... X Godkendt underskrift

13 Portefølje Dokumenter fra fra hvert hvert element element üuddannelsesplan og og rapportering üdokumentation fra fra specifikke vurderinger üregistrering af af aktiviteter üandet üandet üattestation i i logbog logbog for for kompetencer Introduktion Hoveduddannelse Uddannelsesforløb bestående af forskellige elementer Kurser i uddannelsen Forskningstræning Porteføljen Logbog for for kompetencer Dokumenter fra fra hvert hvert element element Attestation at at kurser kurser Godkendt forskningsprojekt

14 Metoder til kompetencevurdering Metoder Struktureret observation Struktureret mundtlig gennemgang Vejledersamtaler Patientforløbsbeskrivelser Refleksive rapporter Gennemgang af journaler Audit på journaler Vurdering af registrerede aktiviteter (erfaringer m. procedurer/ptt.) Cusumskoring 360-graders vurdering Generel vurdering Set, læst, hørt, gennemgået, diskuteret

15 Kompetencevurdering DOES/action SHOWS HOW KNOWS HOW KNOWS Generel vurdering Erfaringsregistrering Cusumskoring 360-graders vurdering Struktureret observation Gennemgang af journal Journal audit Patientforløbsbeskrivelser Refleksive rapporter Mundtlig gennemgang MCQ

16 Vores erfaring IMI Anæstesiologi Introduktionsuddannels e Professionalisme Måden at arbejde på Viden og færdigheder Intern Medicin Introduktionsuddannelsen

17 ITA-program anæstesi, 21 elementer Kliniske færdigheder (12) Cusum scoring Logbook Læringsportefølje Introduktionsudd. Kommunikation (1) Organisation/samarbejde (2) Academisk kompetence (3)

18 YL s holdning til kompetencevurdering Eksempel fra anæstesi, introduktionsuddannelsen N = Cusumskoring Writ. ass. (18-20) Collab. (16-17) Clin.skills (1-12) Learn. portfolio Communication Experience log

19 Uddannelsesmæssig værdi Fordele Struktur, overblik og klarhed vedr. mål og uddannelsen, en hjælp til oplæringen. Opmærksomhed begge veje på emner og kompetencer, som ellers ikke ville blive berørt. Fastholder krav til både udd.søg. og afd., sikrer oplæring og supervision. Dokumentation for kompetence. Hjælp til at se progressionen og identifikation af problemer undervejs. Værdien afhænger af Relation til praksis og patientsikkerhed, kørekort Indehold af udfordring og læringselement Eksaminatorernes og afdelingens engagement

20 YL s holdning, intern medicin, introduktionsudd. Median (1-9) Patient konsultation (lunger) 5 Patient konsultation (hjerte) 6 Gennemgang af primær journal 6 Patientforløbsbeskrivelse 6,5 Audit på journaler 6,5 Stuegang 7 Fremlæggelse ved konference 7 EBM øvelse 7 Præsentation/foredrag 7

21 Konklusion Kompetencevurdering Er nødvendig for at teste et bredt spektrum af kompetence Foregår undervejs frem for ved afslutning af uddannelse En hjælp til at strukturere uddannelse Bruges til oplæring, sikrer supervision Anbefalinger Metoder skal vælges ud fra formål og mål Hellere få gode end mange uoverkommelige Skal give mening i forhold til praksis og uddannelsesniveau Skal planlægges omhyggeligt i hverdagen, skemasættes

22 Referencer Davis D, Ringsted C. Akkreditering af uddannelse. Ugeskr Laeg 2004;166: Ringsted C, Aspegren K. uddannelsesterminologi. Begreber anvendt i medicinsk uddannelse. Ugeskr Laeg 2004;166: Ringsted CV, Eika B, Wallstedt B. Kompetencemåling i klinisk uddannelse. Ugeskr Laeg 2001;163: Ringsted C. Doktorafhandling. In-training assessment - in a work-based postgraduate medical education context. Maastricht University, Faculty of Health Science Ringsted C, Pallisgaard J, Østergaard D, Scherpbier A. The effect of formal in-training assessment on clinical confidence in postgraduate education. Med Educ 2004;38: Ringsted C, Henriksen AH, Skaaraup AM, Van der Vleuten CPM. Educational impact of in-training assessment (ITA) in postgraduate medical education: a qualitative study of an ITA programme in actual practice. Med Educ 2004;38: Ringsted C, Østergaard D, Ravn L, Pedersen JA, Berlac PA, Van der Vleuten CPM. A feasibility study comparing checklists and global rating formas to assess resident performance in clinical skills. Med Teach 2003;25: Ringsted C, Østerggard D, Van der Vleuten CPM. Implementation of a formal in-training assessment programme in anaesthesiology and preliminary results of acceptability. Acta Anaesthesiol Scand 2003;47: Ringsted C, Østergaard D, Scherpbier A. Embracing the new paradigm of assessment in resident education. An assessment programme for first year residency training in anaesthesiology. Med Teach 2003;25: Ringsted C, Østergaard D, Scherpbier A. Consultants opinion on a new practice based assessment programme for first year residents in anaesthesiology. Acta Anaesthesiol Scand 2002;46: Davis DJ, Skaarup AM, Ringsted C. A pilot survey of junior doctors confidence in tasks related to broad aspects of competence. Med Teach 2005; in press. Norgaard K, Ringsted C, Dolmans D. Validation of a checklist to assess ward round performance in internal medicine. Med Educ 2004;38: Nørgaard K, Ringsted C, Dolmans D. Validering af checkliste til brug for kompetencevurdering af stuegang i intern medicin. Ugeskr Laeg 2004;166: