Indholdsfortegnelse. Notat. Angående: Evaluering af pilottest af digital eksamen. Evalueringsrapport på pilot for digital eksamen sommeren 2015

Transkript

1 Notat Angående: Evaluering af pilottest af digital eksamen Indholdsfortegnelse Indledning 2 Fakta om piloten 2 Informationsinitiativer 2 Support 3 Stedprøver 4 Opsamling på spørgeskemaundersøgelsen 5 Konklusioner 9 Afrunding 11 Dato: 14. august 2015 Sags nr.: Ref: Side 1/11 Aarhus Universitet Tlf.: Fax:

2 Indledning Evaluering af piloten af Digital eksamen sommeren 2015 indeholder fakta og information om piloten, beskrivelse af pilotens forløb, setup af support og forløb, resumeer af svar fra online spørgeskemaer fra de tre deltagende brugergrupper; STUD, VIP og TAP samt konklusioner på piloten, som skal bringes videre ind i den næste fase af projektet. Side 2/11 Fakta om piloten Pilottesten bestod af 31 prøver fordelt på ARTS og ST (herunder ASE) på følgende brugere: 13 TAP 952 studerende 44 VIP. Prøverne blev afviklet fra d. 14. maj til d. 10. august med mulighed for efterfølgende reeksamen. Der blev afviklet 4 stedprøver, hvoraf 3 var 100 % digitale. I den ene stedprøve kunne de studerende vælge, om de ville aflevere digitalt eller analogt. Der har i pilotperioden været enkelte småfejl, som Arcanic har rettet direkte på AU s miljø. Der har derudover været en enkelt stor fejl på VIP-modulet vedrørende online annotering. Forløbet med udbredelsen af fejlen var følgende: D. 3. juni: Problemet blev identificeret af bedømmere. Samme dag sendes mail til TAP om at give besked videre til alle bedømmere om den manglende funktionalitet. D. 9. juni: Systemet meldes klar. Det viser sig, at problemet ikke er løst, da det er AU s loginsystem, der forhindrer forbindelse til online annotering funktionen. D. 15. juni: Alle problemer er løst, og det meldes ud til TAP, at de kan klarmelde til alle VIP. Informationsinitiativer Nedenstående aktiviteter blev igangsat: Planlægningsmøde med de administrative centre. Informationsmøder for VIP og de faglige miljøer. Orienteringsmail om pilottesten til VIP. Tilbud til VIP om deltagelse fra projektet i undervisning, så studerende kunne blive orienteret om eksamen i DE (ca. 15 hold fik en introduktion som led i undervisningen). Der er oprettet supportsite til DE ( Der er lavet videoer med gennemgang af systemet for STUD og VIP. Videoerne er på supportsitet.

3 Der arbejdes sammen med AU KOM om artikler vedr. piloten, ligesom der er holdt møde om kommunikation og samarbejde i tilfælde af, at pressen fatter interesse for piloten. Der blev afholdt forberedelsesworkshops med TAP d. 12. og 13. maj. Her blev givet en grundig introduktion til platformen og de endelige eksamener sat op. Der blev ydet støtte og support til de enkelte aktører efter behov og ønske. De eksamensansvarlige studiesekretærer har udsendt informationsbreve til studerende, samt interne og eksterne bedømmere på baggrund af brevskabeloner. I brevene er eksamensproces og forløb, definitioner og kontaktinformationer på faglig- og teknisk support videreformidlet til brugerne. Brevene var tiltænkt som både generel informationskilde til den digitale eksamenshåndtering, samt som klar og tydelig skelnen i forhold til hvad der konstituerer faglige og tekniske supportspørgsmål. Side 3/11 Support Den faglige support skulle håndteres af eksamensansvarlige studiesekretær, mens al teknisk support skulle håndteres af DE-projektet. I eksamensperioden (ordinær- og re-eksamen) har supporten været åben på alle hverdage inden for tidsrummet kl Der er ydet både telefon og mailsupport. Brugerne har også haft mulighed for at få teknisk support via hjælpeuniverset I den digitale eksamensplatformen er der et direkte link til denne side, hvor det oftest stille spørgsmål vedr. digital eksamen besvares. Nedenfor er en oversigt over de ofte stillede spørgsmål fra de 3 brugergrupper. Studerende: For de studerende fremgår det, at størstedelen af spørgsmålene ikke er af ikke teknisk karakter. Den studerende skal til digital eksamen på BSS digital eksamenssystem, men har ad omveje fundet frem til DE-systemet, og kan ikke forstå, at vedkommende ikke kan logge ind Den studerende skal aflevere via DE, men kan ikke se sin eksamen, fordi den eksamensansvarlige studiesekretær ikke har oprettet eksamen Den studerende har fået en dispensation, men denne er ikke registreret af den eksamensansvarlige studiesekretær Bedømmere: Ud over påvirkninger fra føromtalte fejl på systemets annoteringsfunktion (d ), som har stået for de altovervejende supporthenvendelser, har bedømmernes supporthenvendelser i drejet sig om: Annoteringsværktøjet: Generel funktionalitet til indsættelse af kommentarer (gule sedler) Mistet arbejde som følge af time out grundet inaktivitet

4 Karakterindberetning Generelt, hvordan karakterer oprettes, bliver videresendt og delt med studerende Hvordan man hurtigt får printet de studerendes besvarelser ud på papir Side 4/11 Eksamensadministratorer: Ud over diverse spørgsmål vedr. bugs i filtreringsfunktionalitet, sorteringsmuligheder og administrative bedømmelser, har en stor del af eksamensadministratorernes supporthenvendelser drejet sig om håndteringen af for sent afleverede besvarelser fra studerende. Håndtering af for sent afleverede besvarelser: Systemet muliggør, at de studerende kan aflevere deres besvarelser digitalt efter fristen for eksamen er overskredet. For sent afleverede besvarelser vil ikke blive videresendt til bedømmelse, og i kvitteringen, som den studerende modtager i afleveringsøjeblikket, fremgår det, at besvarelser afleveret efter tidsfristen ikke vil blive godkendt til bedømmelse med mindre den studerende sender en dispensationsansøgning. Dette gælder også, hvis den studerende afleverer ét sekund efter eksamensfristen. Supporthenvendelserne har gået på, hvor for sent den studerendes aflevering skal være før en dispensationsansøgning er nødvendig, og hvordan de kan sagsbehandles i situationer, hvor studerende kun har afleveret lidt for sent. Hjælp til selvhjælp: Generelt har eksamensadministratorer et ønske om mere skriftlige information om processen for den digitale eksamensafvikling; f.eks. om hvordan man sætter en eksamen op, om der er særlige ting, man skal være opmærksom på, samt hvad man skal gøre efter en eksamen er afsluttet. Som en konsekvens af det manglende materiale, har eksamensadministratorerne anvendt Digital Eksamens hjælpe-site (for bedømmere og studerende), hvor de via vejledningsmateriale udarbejdet til studerende og bedømmere, har forsøgt at danne sig et overblik over den digitale eksamensproces. DE-projektet har løbende været i dialog med eksamensadministratorerne og småproblemer og almindelig support er blevet løst ad hoc og efter behov. Stedprøver Selvom modulet for digital stedprøveafvikling endnu ikke er færdigudviklet og implementeret, blev der ved sommerens pilotprojekt gennemført 4 digitale stedprøver på ASE. Formålet ved denne test var mestendels at indhente praktiske erfaringer om processen for digital stedprøvehåndtering. Til eksamensafviklingen blev modulet for Prøver uden tilsyn anvendt til igangsættelse af eksamen, udlevering af eksamensopgavesæt til de studerende og aflevering af de studerende opgavebesvarelser. Da modulet for Prøver uden tilsyn har nogle begrænsninger ift. eksamenssikkerhed, blev en medarbejder for Digital Eksamen udstationeret til hver af disse eksamener. Hver

5 gang en studerende forlod lokalet eller afleverede sin besvarelse, lukkede denne medarbejder for den studerendes adgang til systemet, så de studerende efter endt eksamen, ikke kunne arbejde videre med deres besvarelse i systemet. Ud over nogle issues i kommunikationen vedr. tilladte hjælpemidler til den digital stedprøve, forløb eksamensafviklingen uden problemer og alle studerende fik afleveret uden problemer. Side 5/11 Opsamling på spørgeskemaundersøgelsen Der er udfærdiget og distribueret tre spørgeskemaer, et til hver af de tre brugergrupper: STUD, VIP og TAP som opfølgning på piloten. Følgende er et kort resume af de resultater spørgeskemaerne har vist. Deltagende respondenter fra de 3 brugergrupper: Brugergruppe Antal respondenter Svar % STUD % VIP % TAP 8 61 % Tilbagemeldinger fra de studerende Tilfredsheden blandt de studerende i forhold til adgang, modtagelse og aflevering: Hvor mange modtog eksamensopgave via DE? 70 % Hvor mange oplevede adgang til platform som nem? 94 % Hvor mange oplevede det, at få udleveret eksamensopgave som let? 77 % Hvor mange oplevede det som let, at aflevere eksamensbesvarelse? 93 % Blandt de studerende oplevede 5 % fejl, såsom problemer med login eller problemer med at modtage s. Vedr. brug af supportsitet ses resultatet her: Hvor mange har brugt supportsitet? 11 % Hvor mange fandt svar på det de ledte efter? 83 % Spørgeskemaundersøgelsen viser stor tilfredshed hos de studerende.

6 Tilbagemeldinger fra eksamenssekretærer (TAP) Side 6/11 Tilfredsheden blandt eksamensadministration: Hvor mange oplevede det som let at oprette og igangsætte eksamener? 100 % Hvor mange oplevede systemet som brugervenligt? 100 % Hvor mange oplevede at gennemførslen af deres eksamener var tilfredsstillende? 100 % 38 % af eksamensadministrationen meldte om fejl eller nedbrud i systemet i eksamensperioden. Et eksempel på fejl var, at WAYF-integrationen var nede, da de studerende skulle præsenteres for systemet, hvilket var uden for eksamensperioden. Derfor formodes den reelle procentsats at være lavere end de 38 %. Tilfredshed med instruktion og support er således: Hvor mange oplevede introduktion og undervisning som fyldestgørende? 86 % Hvor mange benyttede supportsitet? 71 % Hvor mange oplevede supportsitet som anvendeligt? 57 % Bemærk: Der er ikke lavet information på supportsitet specifikt henvendt til TAP, da support til TAP har været via tlf., mail, og ved fysisk tilstedeværelse. Tilfredsheden med supportsitet viser, at TAP har brugt den information, der var til STUD og VIP. Der blev ligeledes spurgt om hvilke funktionelle krav TAP havde til systemet. Det ses i herunder: Funktionelle krav Interne censorer skal stå som interne censorer og ikke eksaminatorer Ved stedprøver: Når studerende forlader lokalet, skal deres adgang til opgaven lukkes. Under besvarelsesinformation er der yderligere stort behov for Besvarelse af eksamensspørgsmål nr.?, et fritekstfelt og et felt til tlf. nr. TAP har givet mange positive kommentarer vedrørende pilottesten og mere generelt omkring overgangen til et digitalt eksamenssystem. Eksempler på dette er følgende: Det var en fornøjelse at være med til at afprøve systemet Deltog ikke i introduktion, men det gik alligevel :) Mange VIP'er og censorer (og jeg selv) ser frem til at alle eksaminer bliver digitale.

7 De studerende til eksamen i BT4PRC og BD4PRC havde slet ingen spørgsmål i løbet af eksamen. Det viser, at systemet er meget brugervenligt. Også tilsynet var begejstret, da de slet ikke oplevede udfordringer på de studerendes vegne. Side 7/11 Tilbagemeldinger fra VIP VIP erne var fordelt på tre roller, og der var mulighed for at have mere end én rolle. Fordeling af VIP roller var således: VIP rolle Eksaminator 67 % Censor 38 % Intern bedømmer 13 % Ca. halvdelen af VIP erne har tidligere deltaget i en digital eksamensafvikling. 80 % af VIP var tilfredse med det informationsmateriale, de modtog i forbindelse med gennemførslen af DE. VIP erne brugte forskellige browsere. Fordelingen, med mulighed for at have brugt mere end én, fordelte sig således: Browser Chrome 43 % Firefox 22 % Internet Explorer 22 % Safari 26 % Vedrørende håndteringen af eksamensbesvarelserne har VIP givet følgende tilbagemelding: Hvor mange har printet eksamensbesvarelserne, for derefter at læse og kommentere dem? Hvor mange har læst og kommenteret eksamensbesvarelserne ved hjælp af det online kommenteringsværktøj? Hvor mange har læst og kommenteret eksamensbesvarelserne ved hjælp af selvvalgt kommenteringsværktøj? 58 % 30 % 17 %

8 Tilfredsheden med online annoteringsværktøjet ser således ud: Side 8/11 Hvor mange fandt værktøjet anvendeligt? 17 % Hvor mange fandt ikke værktøjet anvendeligt? 17 % Hvor mange benyttede ikke værktøjet? 48 % Hvor mange af dem der benyttede værktøjet oplevede mangler ved det? 67 % VIP erne havde bl.a. følgende kommentarer til værktøjet: De havde udfordringer med at finde ud af, hvordan de slettede annoteringer. De havde svært ved at identificere, hvilket annoteringsværktøj der var valgt. De fandt ikke talebobler tilstrækkeligt i forhold til kommentering. Tegneværktøjet var ikke enkelt at bruge. Værktøjsvinduet skalerer ikke med browseren. Der er forsinkelse i forbindelse med at scrolle i teksten. Det er blevet italesat, at der muligvis foreligger bedømmelseskrav om, at kommentarer/annoteringer skal anføres med anden farve end eksamensbesvarelsen. (Dette er ikke muligt i systemet). Ikke muligt at kommentere med symboler, hvilket er nødvendigt i forbindelse med at rette matematik og lignende. Deling af noter med medbedømmer og feedback til studerende er langsommelig ved mange tilmeldte, da det skal gøres for hver enkelt opgave. Det er ikke muligt for bedømmer at se noget sted, hvorvidt der er vedlagt bilag til opgaven. Dette kan bedømmer kun finde ud af, ved at downloade besvarelsen. Der blev spurgt ind til, hvorvidt funktionen med at dele kommentarer og annoteringer med studerende og medbedømmer blev brugt. Det gav følgende svar: Hvor stor en andel af respondenterne delte annoteringer eller kommentarer med studerende eller medbedømmer? 22 % Hvor stor en oplevede denne funktion som værende ikke brugervenlig? 60 % Spørgeskemaundersøgelsen viser, at tilfredsheden hos VIP er mindre end de to andre brugergrupper. Undersøgelsen viser, at det indbyggede annoteringsværktøj ikke funktionelt lever op til samtlige af VIP ernes forventninger, idet flere af dem har ønsker til ændringer eller yderligere funktionalitet. Undersøgelsen viser, at flere ikke har benyttet sig af de digitale værktøjer enten, fordi de ikke har virket efter hensigten, VIP erne har fundet det besværligt eller ikke vist, hvordan de praktisk skulle anvende det.

9 Konklusioner Side 9/11 Der er følgende klare tendenser at spore i forhold til de tre brugergrupper: Studerende: Er generelt glade for systemet, idet det understøtter deres eksamensbehov. Der kan være et problem i forhold til aflevering af store filer, men det er der en løsning på vej til. Eksamensadministrator: Er glade for systemet, idet det understøtter deres arbejdsproces godt. Der var ikke etableret et supportsite specifikt for dem i forbindelse med pilottesten, men dette er en prioritering fremadrettet. Bedømmere: Har overordnet set ikke været tilfredse med systemet, da det har vist sig ikke i tilstrækkelig grad at understøtte deres bedømmelsesproces. Denne brugergruppe har desuden mange krav/ønsker til systemet, som til dato ikke er opfyldt. Konklusioner for studerende Det kan konkluderes, at de studerende altovervejende har været tilfredse med gennemførelsen af deres skriftlige eksamensforløb. 94 % af de studerende oplevede en let adgang til systemet og 93 % fandt det let at aflevere digitalt. De studerendes tilfredsheds med systemet skal blandt andet ses i lyset af den væsentlige tids- og økonomibesparelse, der opnås med en digitalisering af den skriftlige eksamensbesvarelsesproces. Hvor de studerende før både skulle udskrive tre eksemplarer af deres eksamensbesvarelse på papir, samt kører op på et aftalt bestemmelsessted og aflevere disse, skal de nu (typisk) blot konvertere deres besvarelse til pdf og uploade besvarelsen i systemet. Meget få studerende har derudover oplevet menneskeskabte- eller systemfejl, hvorfor eksamensprocessen for de fleste har været en positiv oplevelse. De udsendte breve har vist sig tilstrækkelige i forhold til at dække de studerendes informationsbehov, idet kun 11 % af de studerende har besøgt det digital supportunivers. Konklusioner for eksamensadministratorer Ligesom for de studerende har modtagelsen af Digital Eksamenssystemet blandt eksamensadministratorerne været positiv. 100 % oplevede det let at oprette og igangsætte eksamen, mens 100 % oplevede systemet som brugervenligt og gennemførelserne af deres eksamener som tilfredsstillende. Den høje tilfredshed i denne brugergruppe skal ses i lyset af, at samarbejdet mellem Digital Eksamens projektgruppe og den enkelte administrative medarbejder har været meget håndholdt. Dvs. at hver gang et problem/spørgsmål er opstået, så har der været lynhurtigt, umiddelbar og direkte hjælp at hente fra en Digital Eksamensmedarbejder. I et driftssetup er det ikke praktisk muligt, hvorfor fokus på optimering af

10 Digital Eksamens support-hjemmeside og skriftligt vejledningsmateriale, vil være essentielt for opretholdelsen de høje tilfredshedsprocenter. Side 10/11 Konklusioner VIP Piloten viser, at der er helt konkrete spørgsmål, som der skal tages højde for i den videre udvikling og implementering af DE. Et af disse spørgsmål handler om bedømmerne selv skal stå for eventuelt print af opgaver, og hvad AU holdning er til print er? Et andet og bredere spørgsmål er, i hvor høj grad systemet skal understøtte arbejdsprocessen hos bedømmerne i forhold til i hvor høj grad denne gruppe skal tilpasse sig nye digitale arbejdsformer. Piloten anskueliggør, at det især er i forbindelse med sidstnævnte problemstilling utilfredsheden opstår. Selvom Digital Eksamen også er kravsat og udviklet med bedømmernes arbejdsprocesser in mente, så har evalueringerne vist et behov for fremadrettet at have en endnu tættere dialog med denne brugergruppe. Digitaliseringen - og i særdeleshed Digital Eksamen tilvejebringer en række muligheder og udfordringer, som skal kommunikeres videre til bedømmerne. Afledt af dette vil der fra administrationens side fremadrettet være en opgave med at sikre en kontinuerlig og inddragende dialog mellem bedømmere og eksamensadministratorer for at finde de bedste samarbejdsformer og processer. Det er vigtigt, at digitaliseringens mange muligheder i tilstrækkeligt grad bliver belyst og anvendt, samt at udfordringer bliver håndteret inden de bliver til problemer. DE projektet har identificeret en række indsatsområder for at højne brugertilfredsheden: Konsolidering af et mere stabilt system i drift. Forbedring og tilpasning af funktionalitet i annoteringsfunktionen til brugernes basale krav og behov. Forbedring af digital understøttelse af dialog og deling af kommenterer og feedback mellem bedømmere. Brugerrettede vejledninger og hjælpeværktøjer Herudover bør der arbejdes med både centralt og decentralt med en strategi og handlingsplan for, hvordan der skal støttes op om VIP ernes vej fra en analog til en digital arbejdsgang. En strategi kan f.eks. indeholde følgende: Klare retningslinjer for hvorvidt VIP s arbejdsgang skal være 100 % digital. Klare aftaler vedr. printning af eksamensbesvarelser. Klare aftaler om VIP ens analoge materiale indgår i en digital bedømmelse. En kort guide til brug af systemet i en digital arbejdsgang. (herunder skal det fremgå klart, hvad systemet kan og ikke kan). En liste over eksterne programmer til brug i VIP s arbejdsgang. Klare retningslinjer for, hvor meget og hvordan TAP understøtter VIP.

11 Slutteligt skal det konkluderes, at piloten viser, at der kan være behov for mere information til og kommunikation med VIP erne, ligesom de udarbejdede videoer enten har vist sig ikke at være tilstrækkelige som vejledninger, eller slet ikke har været taget i brug af VIP erne. Side 11/11 Afrunding Evalueringen af piloten kan sammenfattes med følgende læringspunkter til det videre projekt: Der er stor tilfredshed blandt de studerende, som ikke må forstyrres i det videre udviklings- og implementeringsforløb. Der er stor tilfredshed hos TAP, som skal fastholdes ved opskalering af omfang i support. Endvidere skal der sikres dokumentation og vejledning af såvel system og arbejdsgange. Det skal indtænkes, at nye it-understøttende arbejdsgange kræver tilpasning til nuværende processer og udvikling af nye processer. Dette er et centralt og afgørende indsatsområde i den forestående organisatoriske implementering.