Uddannelsesbekendtgørelsen Prøveformer ved kandidatuddannelsen i medicin Syddansk Universitet 9. januar 2009 Svend Stenvang Pedersen Studieleder for medicin, Overlæge, infektionsmedicin kvalificere den studerende til at opnå de kompetencer inden for naturvidenskabelige, adfærds- og samfundsvidenskabelige fag, samt kliniske og parakliniske fag, der er nødvendige for efter afsluttet kandidateksamen at kunne bestride underordnede lægestillinger på tilfredsstillende måde med hensyn til viden, færdigheder og holdning, herunder lægeetiske forhold. Uddannelsens spor Hovedområder i de bærende spor AKADEMIKER SPOR VIDENSKABSTEORI VIDENSKABELIG METODE INFORMATION- OG LÆRINGSKOMPETENCE Professionspor Klinisk Medicin Biomedicin Akademikerspor r PROFESSIONS SPOR BIOMEDICIN KLINISK MEDICIN KOMMUNIKATION FÆRDIGHEDSTRÆNING KLINIK OPHOLD STUDIESTART BACHELOR KANDIDAT Bacheloruddannelsen i medicin Kandidatuddannelse i medicin 1. år 1. sem HJERTE-KREDSLØB RESPIR BEVÆGEAPPARAT BLOD Liv, sundhed og sygdom 2. år Energi og vitale funktioner Fra celle til individ Ernæring og vækst Gener og information Regulation og kommunikation Bevægelse og arbejde Homeostase 2. sem 3. sem 4. sem 5. sem FORDØJELSE METABOLISME KLINIKOPHOLD PSYK & ADFÆRD MOR OG BARN KVINDE- NYRE- REPRO URIN KLINIKOPHOLD CNS & SANSER HUD KANDIDATSPECIALE LÆGE+ 3. år Hjerne og sanser Angreb og forsvar Bachelor- Projekt Fra rask til syg 6. sem UGEKURSER OSCE 1
Evaluering og assessment Videnstestning efter hvert modul Multiple choice. Bestået/ikke-bestået Anvendt viden Embedseksamen Objektiv struktureret t klinisk i k eksamen 7-trins skala Professionsspor Portefølje Godkendt/ikke-godkendt Akademikerspor Forsvar af kandidatspeciale 7-trins skala Hvorfor eksamen/prøve? Aftagerkontrol Fakultet, politikere, samfund Kvalitetskontrol Undervisning Studerende d Progression Feedback Adfærds-styrende Eksamen styrer læring Ideel Evalueringsmetode (highstake) Diskriminerer mellem de kompetente og de inkompetente Er pålidelig (R>0,8) Er valid i såvel form som indhold Er objektiv Er nem at administrere Er billig Eksamen er en diagnostisk test! Stikprøve Måler patientens/den studerendes tilstand på specifikke og veldefinerede områder Præcis Er videnskabeligt gennemtestet Reproducerbar Sensitivitet/specificitet Opgave vs. retning Underviserne skal hellere bruge tid på at lave gode spørgsmål end at bruge tid på at gætte hvad den studerende måske har ment! Krav til eksamen Validitet Reliabilitet Acceptabilitet Gennemførlighed En eksamen skal kunne diskriminere mellem gode og mindre gode præstationer 2
Reliable og valid Reliability og Validity Unreliable og invalid Reliable, men invalid Hvorfor MCQ? Videnskabeligt veldokumenteret Best evidence medical education Standardiseret Alle bedømmes ens Stort sample size Reliability Klinisk relevant Validity Begrænsninger Tester kun viden Effektiv Opgave parametre MCQ Sværhedsgrad Hvor mange procent svarede rigtigt på opgaven Selektivitet Hvorledes diskriminerer opgaven mellem de bedste 25% og de dårligste 25% af studerende? Selektivitet >20% Hvad kan testes ved MCQ? Diagnostik Anamnese Objektiv undersøgelse Udredningd Behandling Forebyggelse Kommunikation Etik og holdning Love Opgave 19 Laryngologi Angiv det mest korrekte svar a. Hyperfunktionel dysfoni uden organiske forandringer giver aldrig hæshed b. Virusinduceret i papilloma laryngis behandles udelukkende med kirurgisk excision ved laser c. Larynxpapillomer behandles udelukkende talepædagogisk og ikke kirurgisk d. Dysplasi på stemmelæber giver aldrig anledning til hæshed e. Dysplasi på stemmelæber har ikke relation til tobak Let spørgsmål uden diskrimination Opgave 19 Laryngologi Angiv det mest korrekte svar a. Hyperfunktionel dysfoni uden organiske forandringer giver aldrig hæshed b. Virusinduceret papilloma laryngis behandles udelukkende med kirurgisk excision ved laser c. Larynxpapillomer behandles udelukkende talepædagogisk og ikke kirurgisk d. Dysplasi på stemmelæber giver aldrig anledning til hæshed e. Dysplasi på stemmelæber har ikke relation til tobak Bund Mellem Top A 0 0 1 B 27 28 28 C 2 0 0 D 0 0 0 E 0 0 0 % rigtig besvarelse: 95% Selektivitet: 3,5% 3
Hvordan var prøven? Feedback til undervisere Analyse af Blok 5 MCQ E04 Opgave 47 60 80 100 27 35 9 22 1 23 20 15 10 6 19 14 13 24 31 32 26 18 33 11 16 30 8 17 21 46 38 3 2 37 39 43 29 28 58 60 50 56 5 52 55 36 4 59 47 41 34 48 48-årig kvinde, som du kender med astma, henvender sig på grund af recidiverende tilfælde af kløe i munden og gastrointestinale gener i forbindelse med indtagelse af fyldte chokolader og grønne frugter. Hvad er den mest sandsynlige diagnose? % rigtige svar diff 0 20 40 44 61 12 54 40 51 7 42 45 49 53 25 57-20 0 20 40 60 selekt Diskrimination mellem top og bund (Top% -Bund%) Middelsvær, god diskrimination 48-årig kvinde, som du kender med astma, henvender sig på grund af recidiverende tilfælde af kløe i munden og gastrointestinale gener i forbindelse med indtagelse af fyldte chokolader og grønne frugter. Hvad er den mest sandsynlige diagnose? A. Intolerans overfor sprøjte- eller konserveringsmidler B. Inflammatorisk tarmsygdom C. Allergisk krydsallergi ved pollenallergi D. Anden fødevareallergi E. Cøliaki F. Ingen af delene Reliability Sample size Jo større jo bedre Statistisk koefficient Cronbachs alfa > 0,80 Bund Mellem Top A 4 1 0 B 0 0 0 C 14 25 24 D 9 3 5 E 0 0 0 F 2 0 0 % rigtig besvarelse: 72% Selektivitet: 34,5% Testing Time in Hours MCQ 1 1 2 Reliabilitet af evalueringsformer 0.62 0.76 Case- Based Short Essay 2 PMP 1 0.68 0.73 0.36 0.53 Oral Exam 3 0.50 0.69 Long Case 4 OSCE 5 0.60 0.75 0.43 0.60 Practice Video Assessment 6 0.62 0.76 Validitet Hvis du ikke tester det de studerende k l b d id til skal bruge deres viden til så vil de med tiden ikke heller ikke lære det! 4 0.93 0.84 0.69 0.82 0.86 0.76 0.93 8 0.93 0.82 0.82 0.90 0.90 0.86 0.93 1 Norcini et al., 1985 2 Stalenhoef-Halling et al., 1990 3 Swanson, 1987 4 Was et al., 2002 5 Newble & Swanson, 1987 6 Ram et al., 1999 4
Anvendt Viden Millers Triangle Objektiv Struktureret Clinical Eksamination OSCE Udviklet af Harden og Gleason i Skotland 1978-1979 Udviklet til at teste clinical competence Anvendes specielt i engelsksprogede lande til bedømmelse af medicinstuderende, politifolk, speciallægelicens. Publiceret over 900 artikler om OSCE hvoraf 301 er i medline Hvorfor OSCE? OSCE CLASSIC Internationalt gennemprøvet metode Kan simulere klinisk situationer Kan teste mange i det samme Giver objektive resultater Giver pålidelige resultater Direkte observation Standardiserede bedømmelseskriterier (checkliste) Kliniske scenarier Brug af rigtige eller standardiserede patienter Objektivt Struktureret Ønsket adfærd/viden/færdighed nedfældes før eksamen afholdes, i form af checklister. Ved brug af standardiserede patienter kan et stort antal studerende testes i den samme situation ud fra de samme kriterier. Ved designet af den enkelte station fastlægges, hvilke kompetencer der testes. Ved at kombinere mange stationer kan testes både i dybden og i bredden Såvel patienter som spørgsmål standardiseres. 5
En OSCE opgave Klinisk tager udgangspunkt i en klinisk situation. tester en kompetence. er centreret omkring anvendt viden frem for systematisk viden. Opgaveformulering Du er forvagt på medicinsk afdeling. Sygehistorie Fru Hansen er netop ankommet til skadestuen med åndenød. Opgave Optag en anamnese med fokus på patientens problem. Efter 6 minutter får du forelagt undersøgelsesresultater Du har 10 minutter til denne stand Du bliver observeret af en eksaminator, men skal ikke henvende dig til vedkommende. Embedseksamen Vinter 08/09 3 prøvedage 35 stationer 15 skriftlige, samlet varighed 15 x 12 minutter, 2½ time 2 dage á 10 mundtlige (10 x 10 min)+(10 x 2 min) = 2 timer En karakter kt Antal Stationer Gennemsnit fra 13 studier Test længde Gns antal Gns reliabilitets Timer stationer koefficient OSCE 1 Interval OSCE 2 Interval OSCE 3 Skriftlig 1 uge Mundtlig 2 dage Mundtlig 15 stationer 10 stationer 10 stationer 2 uger efter uv. 6. Januar 13. jan 15. januar Lægeløfte 27. jan 2009 1 2 4 6 8 4 8 16 24 32 0.43 0.60 0.75 0.82 0.86 van der Vleuten & Swanson, 1990) Blokke på kandidatuddannelsen 4. Hjertekarsygdomme 5. Lungesygdomme 6. Bevægeapparatet 7. Blod og bloddannende organer 9. Psykiatri 10. Fordøjelsessystemet 11. Ernæring og metabolisme 12. Mor og Barn 13. Kvindesygdomme og reproduktion 14. Urinvejene 15. Hudens sygdomme 16. Nervesystem og sanser 17. Lægen og loven 18. Den ældre patient 19. Den akutte patient Prøvemodaliteter 1. Anamnese. ( fokusområder: kommunikation, udvælgelse af relevante spørgsmål, struktur.) 2. Objektiv undersøgelse ( kvalitet, fremgangsmåde, konklusion). 3. Tolkning af prøvesvar og røntgenbilleder. 4. Tilrettelæggelse af udredningsplan, herunder information om undersøgelser. 5. Tilrettelæggelse af behandling herunder korrekt ordination af lægemidler. 6. Sundhedsfremme og forebyggelse 7. Kommunikation mundtlig 8. Kommunikation skriftligt 9. Holdning og etik. 6
Tilrettelæggelse af stationer Alle blokke leverer stationer Matrix så alle prøvemodaliteter medtages Kommunikationsscore på stationer med simuleret patient (vægter højst 25%) Hver station vægter lige meget Points fordeles umiddelbart OSCE gruppe Laver forslag til stationer Undervisere laver sygehistorie og bedømmelseskriterier OSCE gruppe gennemser Stationsmuligheder Standardiseret eller rigtig patient til anamnese, undersøgelse eller information/rådgivning Fantomer Struktureret mundtlig overhøring. Billedmateriale/Video Prøvesvar Præparater Til student Instrukser Varighed af station f.eks. 10 min Form på station f.eks. patientmøde Setting f.eks. ambulatorie Lægerolle f.eks. reservelæge Opgave SPECIFICER klart f.eks. Optage en fokuseret anamnese Eksaminators rolle Instrukser Til patient/skuespiller Hvem er du? Sociale forhold Lægelige g problemstilling på dansk og med værdiladning Stikord prompts Gør ikke / gør Træning med bedømmer Instrukser Til bedømmer Checkliste Globale scores Strukturerede spørgsmål Rettenøgle til skriftlige stande Træning med medbedømmere og med skuespillere Bedømmelse Checkliste Konkret Max 9-10 punkter Undlad det mest åbenlyse Max 3-4 muligheder Centrale områder kan vægtes højere. Summen af 2-3 keypoints skal vægte lige så meget som resten af checklisten 7
Globale Scores 0-5(7)(9) Komplekse kompetencer Struktur Kommunikation VÆR SPECIFIK Bedømmelse Checkliste eller global? Checklister er bedre til studenter og yngre læger end til eksperter Hvis man ønsker at bedømme ekspertise, komplekse kompetencer, bør man anvende globale scores på specifikke områder Med.Educ. B. Hodges 2002 vol 8 p.742-748 Censorerne Kvalitetssikring og standard setting inden eksamen Får opgave1-2 måneder før eksamen Godkende/kommentere Sygehistorie Bedømmmelseskriterier På dagen: Stikprøve kontrollere at bedømmerne bedømmer ensartet og i overensstemmelse med kriterier Retter skriftlige opgaver Deltage i censormøde Godkendelse af eksamen og karakterer Logistik en stor udfordring Sommereksamen 20008 4 dobbelt-rotation = 4-fold dublering 127 studerende 100 eksaminatorer 44 censorer 148 simulerede patienter Skuespillere Frivillige og andre stud. Ansattes børn! Ca 30 eksamensvagter Hele sekretariatet 14.840 målepunkter Dobbeltchecket Forplejning Statistiker Logistik en stor udfordring og det kører som en drøm! Bestå kriterier SDU For at bestå skal den studerende: Score flere points end pointskravet og Bestå over halvdelen e af stationerne e 8
Eksamensresultat V08 Pointfordeling V08 Totalpoint(max 59 95) 400 450 500 550 300 350 600 650 Total point vs. antal dumpede stationer Vinter2008 0 5 10 15 20 25 Antal dumpede stationer( max 35) 15 Antal Studerende 0 5 10 Point fordeling Vinter2008 300.0 340.0 380.0 420.0 460.0 500.0 540.0 580.0 Point intervaller (max 700) Dumpeprocent for stationer EmbedsOSCE ved SDU er Stationsnumme dpro1 dpro2 dpro3 dpro4 dpro5 dpro6 dpro7 dpro8 dpro9 dpro10 dpro11 dpro12 dpro13 dpro14 dpro15 dpro16 dpro17 dpro18 dpro19 dpro20 dpro21 dpro22 dpro23 dpro24 dpro25 dpro26 dpro27 dpro28 dpro29 dpro30 dpro31 dpro32 dpro33 dpro34 dpro35 Procent der dumpede pr. station Vinter2008 0 10 20 30 40 Skriftlige Mundtlige % Studenter Dumpet Cronbachs n n alfa S04 41 1 0,88 V05 71 2 0,86 S05 75 3 0,89 V06 78 1 0,77 S06 80 10 0,91 V07 100 6 0,89 S07 90 6 0,88 V08 106 3 0,90 S08 127 3 0,80 Invitation Karakterfordeling V08 Kom og oplev Antal 60 50 40 30 20 10 0 0 2 4 7 10 12 Karakter 9
Borderline metode til beståelse Checklist 1. Ησ σηϕσ σϕνησσ σϕησ σϕσ σϕ 2. Κσκσ σκσμσιθοπθλ θλθμθ θ θ θκλ 3. Λαλκα κδμ δδκκ δλκλ δλλδ 4. Κεψω δδ ε ρ ρρμτ τμκ 5. ϑφϕφκ δδ 6. Ησκλ;σ σκϕ σλσ σκα ακ ακλ αλδ 7. Ηδηηδδη σησ αηηακκ ασ TOTAL b b b b Σ Pass, Fail, Borderline P/B/F Test score distribution Borderline score distribution Prøvemodaliteter 1. Anamnese. ( fokusområder: kommunikation, udvælgelse af relevante spørgsmål, struktur.) 2. Objektiv undersøgelse ( kvalitet, fremgangsmåde, konklusion). 3. Tolkning af prøvesvar og røngtenbilleder. 4. Tilrettelæggelse af udredningsplan, herunder information om undersøgelser. 5. Tilrettelæggelse af behandling herunder korrekt ordination af lægemidler. 6. Sundhedsfremme og forebyggelse 7. Kommunikation mundtlig 8. Kommunikation skriftligt 9. Holdning og etik. Passing score Ændres reliabilitet v. 2 examinatorer? Test length In hours One examiner per station Two examiners per station 1 0.43 0.47 2 0.60 0.64 4 0.75 0.78 6 0.82 0.84 8 0.86 0.88 Embedseksamens organisation 3 prøvedage 35 stationer 15 skriftlige, samlet varighed 15 x 12 minutter, 2½ time 2 dage á 10 mundtlige (10 x 10 min)+(10 x 2 min) = 2 timer En samlet karakter Kørt siden sommer 04 OSCE 1 Interval OSCE 2 Interval OSCE 3 Skriftlig 1 uge Mundtlig 2 dage Mundtlig 15 stationer 10 stationer 10 stationer 2 uger efter uv. 10
Station indhold En station kan teste max. 2-3 prøvemodaliteter Det faglige indhold skal ligge inden for målbeskrivelsen 11