EVALUERINGSRAPPORT - MEDICINSK ENGELSK II

Transkript

1 Handelshøjskolen i Århus Fuglesangs Allé 4 DK Århus V Tlf Web CVR NR Morten Pilegaard Center for Medicinsk Fagsprog, HHÅ Karen Harbo Udviklingskonsulent, Biblioteket, HHÅ EVALUERINGSRAPPORT - MEDICINSK ENGELSK II 2002 Medicinsk engelsk

2 EVALUERINGSRAPPORT MEDICINSK ENGELSK II Morten Pilegaard Center for Medicinsk Fagsprog, HHÅ Karen Harbo Udviklingskonsulent, Biblioteket, HHÅ Abstract Rapporten beskriver produktudviklingen af den netbaserede læringsplatform Medicinsk engelsk. Der er med det aktuelle kursus tale om 2. generation af webproduktet Medicinsk engelsk. Beskrivelsen omfatter den valgte teknologi (Webnize), begrunder valget samt redegør for de metodiske og pædagogiske overvejelser, der er gjort i forbindelse med præsentation og organisation af viden og information i læringsplatformen (metrokonceptet). Endelig gives en grundig analyse af den evalueringsundersøgelse af produktet, som iværksattes ved kursets afslutning i maj / juni 2002 og denne søges sammenholdt med en vurdering af produktets udvikling over tid. Rapportens konklusion giver dels forslag til konkrete forbedringer af Medicinsk engelsk dels søges udledt en generel model, der kan inspirere arbejdet med tilsvarende kursusforløb. Indholdsoversigt 1. Baggrund 1.1 Hvad er Medicinsk engelsk? 1.2 Kursets pædagogiske intentioner 1.3 Kursets afviklingsforløb 1.4 Kursets udviklingsforløb 1.5 Produktionsteam 1.6 Metrokonceptet 1.7 Organisering af viden i Medicinsk engelsk II 2. Evaluering 2.2 Overordnede evalueringsspørgsmål 2.3 Evalueringsmetode 3. Om resultater (se også bilag 1 og 2) 3.1 Anbefalinger 4. Konklusion 4.1 Udviklingslinje Bilag 1: Analyse af spørgeskemaundersøgelse Spørgsmålsgruppe 1: Fungerer den nye kursusplatform hensigtsmæssigt? Spørgsmålsgruppe 2: Understøtter platformens organisation og præsentation de pædagogiske intentioner med kurset? Spørgsmålsgruppe 3: Fungerer det eksisterende elektroniske konferencerum (WebBoard) som den rette pædagogiske ramme for undervisningen på kurset og for egen læring? Spørgsmålsgruppe 4: Hvad er din holdning til undervisning over internettet? Bilag 2: Dokumentation af konferenceaktivitet 1

3 BAGGRUND Hvad er Medicinsk engelsk? Medicinsk engelsk er et ED 2. dels kursus udbudt af Center for Medicinsk Fagsprog ved Handelshøjskolen i Århus (CMS) i samarbejde med Handelshøjskolens Bibliotek i Århus (HBÅ). Undervisningen i Medicinsk engelsk er en introduktion til videnskabeligt engelsk opbygget omkring 6 temaflader. Hver temaflade indeholder en blanding af teoretiske introduktioner efterfulgt af praktiske øvelser og oversættelses-, tekstproduktions- eller sprogrevisionsopgaver. Kursisterne får gennem temafladerne viden og færdigheder, der sætter dem i stand til at analysere og producere professionelle tekster på engelsk inden for forskellige sundhedsfaglige områder. De seks temaflader er tekststruktur, hjælpemidler, analyse, fagsprog, oversættelse og sprogrevision. For hver temaflade gives en instruktion i form af en artikel, der leder kursisten gennem teorien og viser, hvordan teorien skal anvendes i praksis. Der gives også direkte elektronisk adgang til den litteratur, der ligger til grund for kurset. Der stilles mindst én opgave til hver temaflade. Undervisningen indledes med et introduktionsseminar, der er det eneste fysiske møde mellem underviser og kursister. Derefter mødes underviser og kursister på internettet, hvor der lægges lektionsplaner, litteratur og opgaver på kursets hjemmeside, der nås via hjemmesiden for Center for Medicinsk Fagsprog Kursisterne læser materialet til temafladens undervisning, diskuterer det i grupper og temafladens opgave løses individuelt eller gruppevis og afleveres elektronisk. Gruppen er central for undervisningen. Grupperne sammensættes så vidt muligt efter interesse og geografisk tilhørsforhold, så man har mulighed for at mødes både fysisk i gruppen og på Internettet. Kurset afsluttes med en eksamen, der afvikles som en 24-timers prøve over internettet. Kursets pædagogiske intentioner Kurset er tilrettelagt med henblik på, at kursisterne skal opleve størst mulig relevans i forhold til de arbejdsopgaver, translatører og sprogmedarbejdere sidder med i medicotekniske virksomheder, medicinalindustrien og i de sundheds- og lægevidenskabelige miljøer. Derfor er der i 4 af 6 temaflader stillet to forskellige og altid autentiske opgaver, så kursister kan vælge den opgave, der ligger tættest på deres egen virkelighed eller svarer bedst til deres lærings- og opgaveafprøvningsønsker. Også eksamensopgaven er autentisk. Kurset er sprogteoretisk interdisciplinært (fagleksikografi, funktionel sætningsgrammatik, tekstlingvistik) og afspejler på den måde de forskellige sproglige kompetencer, ansatte i medico-sundhed erfaringsmæssigt har brug for. Kurset prioriterer maksimal synlighed i informationsstrukturen. De fleste kursister har fuldtidsarbejde og er under hårdt arbejds- og tidspres, og skal derfor uden instruktion, intuitivt og let kunne finde den nødvendige information om kurset - herunder kursusplan, læringsmål, kursusmaterialer, opgaver, hjælpemidler, konference med videre. En flad visuel informationsstruktur, der viser så mange af de relevante informationselementer som muligt, giver øget studieaktivitet og sikrer informationernes brugsværdi. Kursets funktionalitet skal være høj. Fjernundervisningens software skal være klient uafhængig, enkel, funktionel, kendt af de fleste eller intuitivt forståelig for at mindske opstartsvanskeligheder og fastholde kursister i et aktivt studieforløb. Der anvendes derfor et enkelt browser-baseret kommunikationssystem (Web- Board), tekstbehandlingssystemet Word, og som dokumentformater anvendes alene pdf og Word. Eventuelle tekniske og kommunikationsmæssige problemer søges mindsket dels ved på et opstartsseminar at gennemgå systemet og afprøve det med enkle øvelser, dels ved at lave en virtuel hotline og opfordre kursister til at ringe, hvis der er problemer. Kurset skal være dynamisk og interaktivt og aktiviteten livlig og arbejdspladslignende for at fastholde og motivere de studerende. Dynamikken er indbygget i materialernes måde at være organiseret på. De er organiseret i 6 temaflader, der afvikles fortløbende, og som hver varer 14 dage. Temafladerne kan betragtes som vidensproduktionsforløb, hvor kursisten skal nå givne produktionsmål (dvs. læringsmål), overholde bestemte arbejdsgange, samarbejde i teams og producere en opgave til en bestemt dato. Når én temaflade er afviklet, åbnes den næste i rækken. Dynamikken afspejles også i dialogen via konferencen, hvor underviser har tilstræbt, at der maksimalt går 12 timer inden svar gives på indlæg og 48 timer inden rettede 2

4 tilstræbt, at der maksimalt går 12 timer inden svar gives på indlæg og 48 timer inden rettede opgaver returneres. Temaerne præsenteres udtrykkeligt som videns-åbne, og kursisterne opfordres til at styrke fælles dynamisk læring (co-learning) ved at informere andre kursister og underviser om resultaterne af egen læring (metoder, erkendelser, hjælpemidler, mv.). Kurset er tilrettelagt modulært i et kumulativt forløb. Materialerne er organiseret i moduler eller temaer (tekststruktur, hjælpemidler, analyse, fagsprog, oversættelse, sprogrevision), som afvikles fortløbende på en måde, der gradvist opbygger et helhedsbillede og en samlet forståelse af problematikkerne i medicinsk sprogproduktion. Hvert modul eller tema udgør en selvstændig enhed med tilhørende 1) arbejdspapirer, der syntetiserer teori inden for området og illustrerer teoriens praktiske anvendelse, 2) elektronisk litteratur klassificeret som primær litteratur (vigtigst) eller sekundær litteratur ( godt at læse, når man har tid ), 3) opgave og 4) konference, der knytter sig til den pågældende temaflade. Kursisterne inddeles i grupper for at styrke samlæringsaspektet, og grupperne får på opstartsseminaret en arbejdsplan, der viser hvad gruppen skal producere (dvs. hvilke opgaver den skal løse og hvornår) og giver forslag til, hvordan gruppen kan samarbejde (mødeplan, intern og ekstern kommunikation, m.v.). Grupperne sammensættes udover interesse og geografisk tilhørsforhold også med basis i forskellig baggrund inden for medico-sundhed. Dette giver mulighed for erfaringsbaseret læring og personlig netværksdannelse gerne ud over selve kursusforløbet. Kursets afviklingsforløb Medicinsk engelsk II, der evalueres i denne rapport, er en videreudvikling af to tidligere kursusforløb (Sundhedsvidenskabelig tekstproduktion og Medicinsk engelsk I). Det aktuelle kursus forløb over perioden Temafladerne blev afviklet fortløbende over internettet. De enkelte temaflader var primært åbne for faglig dialog mellem kursister og underviser i de viste studieperioder, men man kunne altid stille spørgsmål til de temaflader, der var blevet gennemgået. Forslag til løsning af opgaver og øvelser forelå timer efter sidste indleveringsdag, og diskussion af opgaver og øvelser foregik overvejende i den sidste del af en temaflades studieperiode undertiden lidt ind i næste periode. Kurset blev afsluttet med en 24-timers hjemmeopgave. Alle studerende bestod. Kursets afviklingsforløb kan skitseres som følger: 22/2-23/2 Introseminar København + Århus 25/2-10/3 Tekststruktur 11/3-24/3 Hjælpemidler 25/3-7/4 Opsamling 8/4-21/4 Analyse 22/4-5/5 Fagsprog 6/5-20/5 Oversættelse 21/5-2/6 Sprogrevision 4/5-5/6 Eksamen 12/8-13/8 Omeksamen Spørgeskemaevaluering blev foretaget i forbindelse med den sidste temaflade (21/5-2/6) og interviews blev gennemført umiddelbart efter afholdt eksamen. Kursets udviklingsforløb Kurset er blevet udviklet fra at være et pilotkursus i 1999 til at være et etableret kursus på ED-uddannelsens 2. del, der nu har været udbudt og afviklet 2 gange (2000 og 2002). Udviklingen er foregået i regi af nedenstående på hinanden følgende udviklingsprojekter med deltagelse af det Erhvervssproglige Fakultet (SPF) ved Handelshøjskolen i Århus (HHÅ) og Handelshøjskolens Bibliotek i Århus (HBÅ): 3

5 Projektet Knowledge and Education Forum ( ) finansieret af Center for Teknologistøttet Undervisning (CTU) Projektsamarbejdet Det elektroniske forskningsbibliotek i det virtuelle læringsmiljø ( ) finansieret af Danmarks Elektroniske Forskningsbibliotek (DEF) Projektsamarbejdet gælder for nuværende projekt Fremtidens Fakultet (P2F), et 3-årigt samarbejdsprojekt mellem SPF og HBÅ, som er finansieret af Undervisningsministeriet Kurset har undergået en dynamisk udvikling både teknologisk og pædagogisk jf. nedenstående. Pilotkurset forløb i regi af udviklingsprojektet Knowledge and Education Forum i perioden marts-maj 1999 i form af fjernundervisningsforløbet Sundhedsvidenskabelig tekstproduktion, udbudt af Engelsk Institut. Adgang til kurset blev givet gennem et website udviklet og etableret af HBÅ, som på denne måde styrede adgangen til de forskellige informationsressourcer, hvoraf nogle var stillet til fri afbenyttelse, mens andre var forbeholdt de kursister, som var tilknyttet ovennævnte kursusforløb. De erfaringer, som pilotkurset gav, dannede grundlag for videreudvikling af den virtuelle understøttelse af andre uddannelser på Handelshøjskolens erhvervssproglige fakultet, hvilket skete under projektet Det elektroniske forskningsbibliotek i det virtuelle læringsmiljø. Pædagogisk var Sundhedsvidenskabelig tekstproduktion en nyskabelse, fordi tre undervisere inden for adskilte områder (leksikografi, tekstanalyse og systemisk funktionel lingvistik) samarbejdede og hver skrev arbejdspapirer, der kombinerede de tre fagfelter, og fandt 3-5 nøgleartikler, som blev indscannet, lagt på Bibliotekets server og herfra tilgængeliggjordes via kursets hjemmeside, hvorefter kursisterne kunne downloade teksterne. Dialog mellem underviser og kursister foregik dels i et virtuelt klasseværelse (WebBoard), dels via . Evaluering viste tilfredshed med kurset, men at dialogen primært foregik mellem studerende og faglærere og ikke imellem kursisterne. Det var derfor nødvendigt at styrke samarbejdet mellem de studerende. Det fjernbaserede pilotkursus Sundhedsvidenskabelig tekstproduktion blev, af det Erhvervssproglige studienævn for Åben Uddannelse, i efteråret 1999 fundet velegnet som specialiseringsmodul på EDuddannelsen, altså et ordinært studieforløb. Det blev besluttet at udbyde kurset i efteråret 2000 med titlen Medicinsk engelsk (I). Pædagogisk blev kurset nu tilrettelagt som gruppelæring, hvor kursister blev inddelt i grupper efter erhvervs- og studiemæssig baggrund og geografisk tilhørsforhold. Brugerevalueringen blev foretaget efter kursets afslutning og viste generelt stor tilfredshed, men der var samtidig et ønske hos kursusgiver om en intuitivt mere overskuelig og pædagogisk præsentation af de elektroniske ressourcer. Biblioteket var samtidig i gang med at afprøve nye måder at præsentere og organisere elektronisk information på, og det blev besluttet at afprøve disse i forbindelse med læringsplatformen for Medicinsk engelsk. Produktionsteam Et produktionsteam bestående af lektor Morten Pilegaard, CMS (leder) samt fra Biblioteket grafiker Hreinn Gudlaugsson, HK fuldmægtig Kirsten Pedersen (klarering) samt Udviklingskonsulent Karen Harbo (koordinator).trådte derfor sammen ultimo efteråret 2001 for at planlægge produktionen af Medicinsk engelsk II. Arbejdet placeredes organisatorisk indenfor rammerne af IT-omstillingsprojektet P2F ( et 3-årigt samarbejdsprojekt mellem Det erhvervssproglige Fakultet og Biblioteket. Kursusstart var fastsat til Arbejdsdelingen lå i kortene, idet underviser stod for fagligt input og Biblioteket for webproduktion, klarering, oplægning og etablering af adgang til copyright behæftet materiale samt etablering og administration af dels et elektroniske konferencerum dels et virtuelt Bibliotek. Sidstnævnte skulle understøtte undervisningen på kurset i forhold til relevant informationssøgning. Underviser havde den ledende rolle i samarbejdet, Biblioteket den koordinerende. 4

6 En del af arbejdet i processen omkring skabelse af kursusforløb på nettet var kendt, da Medicinsk engelsk som før nævnt allerede var afviklet to gange. Således var metode og teknologi omkring klarering og skabelse af adgang til information kendt og samme fremgangsmåde som i tidligere projekter blev anvendt. Men webpræsentationsformen skulle antage helt nye former (metrokonceptet) og således også præsentation og organisering af websitets viden og information. Også de tidligere erfaringer med brug af det elektroniske konferencerum skulle tages op til overvejelse. Det blev besluttet netop i forhold til websitets organisation og præsentation af viden og information samt i forhold til kursets kommunikationsforum at der ved kursets afslutning skulle foretages en spørgeskemaundersøgelse blandt de studerende på kurset. På denne måde kunne det bekræftes/afkræftes, hvorvidt de nye tiltag virkelig var relevante for produktets beskaffenhed og brugsværdi og således sikre produktets fremtidige brugsværdi. Metrokonceptet Biblioteket havde i en årrække samarbejdet med softwarehuset Hypergenic a/s (udsprunget af forskningsmiljøet omkring Datalogisk institut ved Århus Universitet) om softwareproduktet Webnize. Samarbejdet førte til udviklingen af et metrokoncept for organisering og præsentation af information og viden på web Konceptet som bygger på ideen om struktureret navigation på internettet og begrebet guided tours er enkelt i sin struktur og logikken er kendt af langt de fleste brugere. Det er anvendt med succes i forhold til millioner af S-togs-, undergrunds- og metrobrugere i København, London og Paris. Kunsten var imidlertid med denne grafiske præsentationsform som udgangspunkt at få fagligt relevante informationer lagret i logiske kontekster samt at anvende en prægnant og sigende terminologi i beskrivelsen af de faglige indholdselementer, som grafikken giver adgang til. Konceptet gør det ikke alene og er aldrig bedre end sit indhold. Biblioteket har anvendt metrokonceptet i forhold til en lang række webprodukter. Den første metro Metroen var den erhvervssproglige fagportal som i et samarbejde med SPF skabtes i forbindelse med indvielsen af Handelshøjskolens Learning Resource Centre som en virtuel portal til relevante erhvervssproglige elektronisk tilgænelige informationsressourcer. Dette produkt er netop blevet evalueret og hovedkonklusionen synes at være, at konceptets måde at præsentere viden på umiddelbart tiltaler brugerne, men at det faglige indhold og den måde, hvorpå viden organiseres i et website er altafgørende for dets brugsværdi. Fokus skal være på de faglige indholdselementer. Med etableringen af CMS blev Bibliotektet bedt om at varetage udviklingen af centerets website og metrokonceptet blev valgt hertil ( ). Metrokonceptet blev ligeledes valgt som koncept for nyudviklingen af kurset Medicinsk engelsk, som nu skulle afvikles i regi af CMS og være tilgængeligt fra CMS nyetablerede website. Netop fordi de første undersøgelser af Metroen viste, at indholdssiden var overordentlig vigtig, blev det besluttet at kurset Medicinsk engelsk II, som nu blev afviklet i regi af CMS, skulle søges præsenteret i en Metro webgrænseflade med fokus på den faglige organisering af stoffet. Med hensyn til indholdets relevans for brugergruppen havde evalueringen af første generation af kurset Sundhedsvidenskabelig tekstproduktion og Medicinsk engelsk I vist at de faglige elementer i højere grad burde fremhæves i sitets indgangsflade. Fokus skulle være på de faglige indholdselementer. Underviser skønnede, at metrokonceptet i højere grad end det oprindelige ville understøtte kursets pædagogiske og faglige intentioner specielt synligheden af informationerne i kraft af den meget flade struktur. Metrometaforen skønnedes desuden at være ideel netop til læring, der kan ses som en rejse mod bestemte læringsmål, hvor kursister på rejsen gør holdt bestemte stationer og der tilegner sig viden og genoptager turen. Den visuelt og intuitivt forståelige struktur med metrolinier blev derfor adapteret og metrolinierne blev konciperet som læringsrejser (temaflader) med naturlige stoppesteder, hvorfra litteratur og konference kunne nås. 5

7 Organisering af viden i Medicinsk engelsk II Det overordnede princip for organiseringen af websitets indholdselementer har således været enkelhed og faglig relevans. Endvidere er det forsøgt at tilgodese de ovennævnte principper omkring, synlighed, funktionalitet og dynamik. Det stod klart, at nogle af indholdselementerne i det tidligere produkt var om ikke fagligt irrelevante så dog optrådte i en irrelevant faglig sammenhæng og fremstod som støj, der hindrede brugerens overblik i grænsefladen. Oplysningerne var ikke overflødige, men levnet for meget og den forkerte plads. Således er afsnittet om ophavsretlige forhold i forbindelse med det til kurset klarerede materiale flyttet og udgør ikke længere et afsnit for sig. Denne vigtige information er nu placeret i umiddelbar nærhed af litteraturen, hvor den fremtræder i en helt naturlig sammenhæng. Ligeledes gives der stadig adgang til kursets ophav CMS, HHÅ og HBÅ, men linkene er ikke placeret så centralt som før. Sitets indholdselementer er således koncentreret om kursets faglige indhold. Supplerende information er søgt integreret i en relevant faglig sammenhæng. Fokus i præsentation af indhold er lagt på den grundlæggende organisering af kurset i seks temaflader, som visualiseres grafisk i anden generations grænsefladen med forskellige farver og numre, og et kumulativt forløb med uret. Den faktuelle kursusbeskrivelse og det virtuelle Bibliotek er de eneste to elementer, der udover temafladerne har fået egne linjer. Det virtuelle Bibliotek deler kurset med CMS. Alt dette er til stor forskel fra første generation, hvor den faglige struktur ikke på samme måde grafisk fremgik ved første blik. Nedenfor viser øverste lag af websitet Medicinsk engelsk i første og anden generation Ovenstående illustration viser Medicinsk engelsk, 1. generation (her: Sundhedsvidenskabelig tekst produktion) 6

8 Ovenstående illustration viser Medicinsk engelsk, 2. generation EVALUERING Overordnede evalueringsspørgsmål I organiseringen og tilrettelæggelsen af Sundhedsvidenskabelig tekstproduktion og senere Medicinsk engelsk er evaluering en integreret og fast del af den løbende udvikling, der er foregået i faser, som på skift har sat fokus på de tekniske og de pædagogiske aspekter. Samtidig har evalueringen været del af en samarbejdsproces, der har involveret medarbejdere fra HBÅ, Engelsk Institut og senere det nydannede CMS. Evalueringen af det aktuelle forløb sætter fokus på udvalgte dele af kurset, men den skal ses i et større perspektiv, der ikke kun fokuserer på de pågældende aspekter (f.eks. tekniske) men omfatter hele udviklingsprocessen, og som ideelt burde anvendes i ethvert (virtuelt baseret) kursus. Med hensyn til de overordnede spørgsmål, der ligger bag evalueringsrapporten og som er forsøgt besvaret, har vi ladet os inspirere af dele af evalueringsmetoden RUFDATA (Reason and purpose, Uses, Foci, Data and evidence, Audience, Timing and Agency), som anvendes af Department of Teaching and Learning ved Henley Management College, UK ( ) med hvem vi har drøftet kurset Medicinsk engelsk ved flere lejligheder. 7

9 Hvad er begrundelsen og formålet med evalueringen? Evalueringen foregår dels for at inspirere planlægningen og udviklingen af nye kurser udbudt af Center for Medicinsk Fagsprog (f.eks.tal sundt dansk, der dur), dels som led i den løbende kvalitetsudvikling af det aktuelle kursus. Evalueringen er desuden en af måderne, hvorpå vi kan lære at blive bedre og konstant udbygge og forbedre vores undervisningsportefølje. Hvad vil evalueringen blive anvendt til? Evalueringen vil blive anvendt til at informere ledelsen af projekt Fremtidens Fakultet (P2F), Biblioteket og Det Erhvervssproglige Fakultet om udviklingen i projektet. Rapporten vil også tilgå Studienævnet for Åben Uddannelse, som et eksempel på, hvorledes et virtuelt kursus kan afvikles, og som inspiration til videre udvikling af IKT-baserede efteruddannelseskurser. Rapporten vil også blive anvendt til at informere kolleger, der beskæftiger sig med IKT-baseret undervisning, om de erfaringer, vi har gjort. Evalueringen vil være en del af den løbende dokumentation og rapportering over aktiviteter i regi af Center for Medicinsk Fagpsprog og vil som sådan også tjene et PR formål. Hvad er fokus i evalueringen? Evalueringen sætter fokus på de tekniske sider, specifikt grænsefladen, og på kommunikationsaspektet. Vi søger at besvare følgende spørgsmål: Fungerer den nye kursusplatform hensigtsmæssigt? Understøtter platformens organisation og præsentation de pædagogiske intentioner? Fungerer det elektroniske konferencerum som den rette pædagogiske ramme for undervisningen og for de studerendes egen læring? Understøtter platformen som helhed de tilrettelagte læringsaktiviteter? Formålet med at stille netop disse spørgsmål var at få feedback på de dele af kurset, vi har lavet om på (den virtuelle undervisningsdel), fordi vi formoder, at de kan videreudvikles og gøres bedre. Hvilke data og belæg bruger vi i evalueringen? Der anvendes en kombination af objektive data i form af en opgørelse over aktivitesniveauet i konferencerne og kursisternes aktivitetsniveau målt på indlæg og antal observationer, samt subjektive data. De subjektive data består dels af en kvantitativ/kvalitativ spørgeskemaundersøgelse med lukkede såvel som åbne spørgsmål og tilfredshedsscore (VAS) inden for fire udvalgte fokusområder, dels en interviewundersøgelse (udvalgt ved random sampling). Hvem er modtagerne af evalueringen? Modtagerne af evalueringen er læringsmiljøerne, kursister, kursusudbydere, ledelse og styrende organer samt eksterne interessenter (f.eks. Hypergenic, Novo Nordisk m.fl.) Hvordan vil timingen i evalueringen være? Evalueringen markerer afslutningen på det aktuelle kursus, og foretages på et tidspunkt hvor kursisterne har erfaringerne tættest på. Evalueringen markerer samtidig begyndelsen på en udviklingscyklus, hvor det aktuelle kursus omlægges og forbedres i lyset af evalueringens resultater. Hvem foretager evalueringen? Evalueringen foretages dels af kursusgivere (Center for Medicinsk Fagsprog i samarbejde med Biblioteket), som vurderer og sammenfatter de objektive data, dels af kursister som afleverer spørgeskemaer og deltager i interviews. Rapporten fremsendes som nævnt til Studienævnet, der kan forventes at tage stilling til en evt. fortsættelse. Evalueringsmetode Medicinsk engelsk II blev evalueret ved en kombineret kvantitativ/kvalitativ spørgeskemaundersøgelse med grupper af spørgsmål (templates) hvor der for hver template er et åbent spørgsmål og mulighed for indikation af tilfredshed på en visuel analog skala (VAS). Derefter er der foretaget en kvalitativ interviewundersøgelse med 4 tilfældigt udvalgte deltagere. Evalueringen blev introduceret via WebBoard og spørgeskemaet gjort 8

10 tilgængeligt via hjemmesiden. For at øge deltagelsen blev der udlovet og trukket lod om 3 flasker god vin. Resultatet af lodtrækningen blev meddelt i WebBoard umiddelbart efter lodtrækningen, der foregik på interviewmødet. Respondenterne blev takket for god indsats og konstruktiv kritik. Spørgeskemaundersøgelsen var ikke anonymiseret. Vi har valgt at kombinere en kvantitativ/kvalitativ spørgeskemaundersøgelse med en kombination af lukkede spørgsmål for at få svar på konkrete områder, hvor vi har udviklet kurset, og åbne spørgsmål for at få afdækket nye problemområder og emner, vi som kursusudbydere ikke var opmærksomme på. Spørgeskemaundersøgelsen er blevet efterfulgt af en kvalitativ interviewrunde med et udsnit af deltagerne for at kunne gå i dybden med udvalgte emner og få en dialog om kursets videre udvikling. Spørgsmålene er blevet stillet som 4 grupper (templates) af spørgsmål, der belyser 1) kursusplatform, 2) samspil mellem organisation/præsentation og pædagogiske principper, 3) det virtuelle rum som pædagogisk ramme for læring, 4) holdninger til uddannelse via Internettet. Spørgeskemaet blev besvaret af 14 (77%) ud af 18 fuldførende studerende. Ved kursusstart var der 21 studerende, hvoraf to faldt fra pga. personlige forhold og en af ukendte årsager. Spørgeskemaundersøgelsen blev foretaget under den sidste temaflade (21/5-2/6) og interviews blev gennemført umiddelbart efter afholdt eksamen. Resultaterne, der gennemgås i detaljer (bilag 1), viste generelt stor tilfredshed med metroorganiseringen af undervisningsmaterialerne, men afslørede også et ønske om en større dialog på fysiske møder, mulighed for at diskutere på tværs af gruppe- og ansættelsesforhold, samt større integration af teori og øvelse. Respondenterne blev bedt om at angive deres subjektive tilfredshed med kurset inden for hver enkelt spørgsmålskategori på en VAS, der ikke har faste punkter eller verbaliserer tilfredshedsniveauer for ikke at indsnævre og/eller fastlåse respondenternes score. Til interviewundersøgelsen blev udvalgt to af seks grupper, hvorfra alle blev inviteret. De udvalgte grupper var begge fra Århus, og de blev udvalgt fordi de for begges vedkommende havde udvist særlig aktivitet i den elektroniske konference selv om den ene af grupperne havde mulighed for og benyttede sig af ugentlige fysiske møder. Vi skønnede, at fokusinterview med disse grupper ville give mulighed for at kvalitetsudvikle konferencedelen, der har vist sig at være et af de svage punkter ved det aktuelle kursus. Deltagerne i interviewet var en afdelingsleder, en ansat, en selvstændig translatør og en CLM studerende. Aldersspredningen var fra Alle var kvinder. Resultater Analysen af spørgeskemaundersøgelsen sammenholdt med diskussionen på fokusgruppemødet har således ført frem til en række anbefalinger, som afslutningsvist skal opsummeres og sammenholdes med de problemfelter, som lå til grund for udformningen af spørgeskemaet. Da spørgsmålene er stillet som en kombination af åbne og lukkede spørgsmål, vil en række svar gå igen fra en spørgsmålsgruppe til en anden, og vi har i udarbejdelsen af analysen bevidst undladt at samle resultaterne, da deres gentagelse skønnes at være udtryk for den vigtighed, de tillægges af respondenterne. Den fuldstændige analyse vedlægges som bilag 1 og henvisninger til konkrete spørgsmål heri anføres i parentes i nedenstående opsummering af analysen. Det fuldstændige datagrundlag besvarelser af spørgeskemaundersøgelsen og sammenskrivningen (referat, ikke transskription) af interview på fokusgruppemødet som analysen bygger på kan ses ved henvendelse. Endvidere vedlægges en kvantitativ dokumentation af aktivitet i konferencesystemet WebBoard som bilag 2. 9

11 Anbefalinger Fungerer den nye kursusplatform hensigtsmæssigt? Samtlige respondenter udtrykker sig positivt om kursusgrænsefladens hensigtsmæssighed (1.1), og samtlige på nær én giver udtryk for, at den har været uden problemer at orientere sig i (1.2). Om at orientere sig i grænsefladens underliggende lag (1.3) siger halvdelen, at de helt uden problemer bevarer overblikket over fladens indholdselementer. Andre nævner her, at konferencesystemet WebBoard volder nogle orienteringsproblemer, men det gælder især en bestemt konference som fremhæves igen og igen; nemlig Afleverede opgaver (1.1), (1.5), (1.6) og også (3.9). Et overvejende flertal af respondenter siger (1.4), at det har været meget nemt at navigere i grænsefladen mellem de forskellige menupunkter, at der er en naturlig / logisk opdeling af menupunkterne (1.5), samt at man nemt finder de informationer man søger (1.6), men det ekspliciteres af flere, at det er et irritationsmoment, at man flere gange skal afgive det samme login og password (1.4). Meget få (1.7) er stødt ind i reelle tekniske problemer i forhold til adgang til kursusplatformen, flere har imidlertid haft problemer med brugen af WebBoard. Et stort flertal af kursisterne giver kursusplatformens funktionalitet karakteren over middel på den VAS, som de fire gange i spørgeskemaundersøgelsen er blevet bedt om at markere deres tilfredshed på. På baggrund af disse tilbagemeldinger anbefales det 1. at arbejde videre med metrokonceptet i forhold til grafisk præsentation og organisering af de faglige indholdselementer 2. at problemet vedrørende de mange gange, der skal afgives login og password for at få adgang til litteraturen, skal søges løst 3. at der, hvad angår det elektroniske konferencesystem WebBoard, skal arbejdes med organiseringen af indlæg i de enkelte konferencer. Et ønske som går igen i besvarelserne af flere af spørgsmålskategorierne 4. at der skal gives en mere omhyggelig introduktion til brugen af WebBoard og eventuelt indføres tekniske chat timer, hvor ofte stillede spørgsmål kan opsamles og løbende lagres i det tekniske konferencerum, hvor de så kan konsulteres når som helst og efter behov. Understøtter platformens organisation og præsentation de pædagogiske intentioner med kurset? Ovenstående gode feedback på grænsefladens funktionalitet giver et generelt indtryk af, at den ikke har stået alvorligt i vejen for kursisterne, når de har skullet anvende den som indgang til kursets faglige stof. Undtaget én synes alle, at den måde, materialet er organiseret på, hjælper dem i deres egen læreproces (2.1). Den trinvise opbygning af kursets indhold i delelementer (temaflader) nævnes eksplicit. Det samme gør prioriteringen og den grafiske adskillelse mellem den primære og sekundære litteratur. Den grafiske illustration af en pædagogisk ide synes således at fremme forståelsen for strukturen i formidlingen af det faglige stof. Ekspliciteringen af læringsmålene i kursusgrænsefladen gør respondenterne bevidste herom og har til en vis grad støttet læreprocessen (2.2). Flere mener dog, at der er tale om meget overordnede målsætninger, som kan være svære at forholde sig til i den konkrete læringsproces (2.3). Om respondenterne har lært mere og andet end pensum ved at studere netbaseret gennem en elektronisk kursusgrænseflade, er det svært at sige præcist. Men nogle angiver netop netdimensionen som ny lærdom både i forhold til søgning og til samarbejde (2.4). På VAS markerer et flertal af respondenterne deres tilfredshed med kursusplatformens værdi som hjælp til egen læreproces som værende over middel (2.8). 10