DIGITAL EKSAMEN EVALUERING AF PILOTDRIFT SOMMEREKSAMEN J e s p e r B j ø r n G o r m P o u l s e n / S t u d i e f o r v a l t n i n g e n

Transkript

1 DIGITAL EKSAMEN EVALUERING AF PILOTDRIFT SOMMEREKSAMEN 2015 J e s p e r B j ø r n G o r m P o u l s e n / S t u d i e f o r v a l t n i n g e n September 2015

2 INDHOLDSFORTEGNELSE INDHOLDSFORTEGNELSE... 1 INDLEDNING... 3 PILOT SOMMEREKSAM EN Distribution af Spørgeskemaer og antal respondenter... 4 Information til brugerne... 4 EVALUERINGER... 6 Studerende... 6 Studiesekretærer... 9 Bedømmere KONKLUSION

3 INDLEDNING Evaluering af pilot drift sommereksamen 2015 er udarbejdet på baggrund af samtaler med brugere, supporthenvendelser, evalueringsm øder med projektets brugergrupper samt brugernes svar fra spørgeskemaer. Der blev sendt elektroniske spørgeskemaer til samtlige brugere i pilotdriften; studerende, studiesekretærer, eksaminatorer og censorer. Evalueringsrapporten gennemgår setuppet ved pilotdriften, de 3 primære brugeres (studerende, studiesekretærer og bedømmere) evalueringer hver for sig, og sidst i rapporten konkluderes der overordnet på pilotdriften. For spørgsmål til evalueringsrapporten kan Jesper Bjørn Gorm Pouls en kontaktes på enten mail (jp@adm.aau.dk) eller telefon

4 PILOT SOMMEREKSAMEN 2015 I pilotdriften deltog 16 prøver med c irka 600 afleveringer fordelt på 460 studerende, 9 studiesekretærer og 50 bedømmere fordelt på 28 eksaminatorer og 22 censorer. Hovedområderne SAMF, SUND og TEKNAT var repræsenteret i pilotdriften. Det var des værre ikke muligt at inddrage prøver under HUM. Systemet blev anvendt til skriftlige hjemmeopgaver, projekter og en enkelt stedprøve. Prøverne blev afholdt i perioden fra den 7. m aj til 27. juni. Derudover blev 3 reeksamen er afholdt i perioden fra den 17. august til den 31. august. Følgende uddannelser deltog: Bacheloruddannelsen i nanoteknologi Bacheloruddannelsen i fysik Bacheloruddannelsen i idræt Bacheloruddannelsen i s undhedsteknologi Bacheloruddannelsen i s ociologi Bacheloruddannelsen i erhvervsøkonomi DISTRIBUTION AF SPØR GESKEM AER OG ANTAL RESPONDENTER Der blev udarbejdet og distribueret 4 forskellige spørgeskemaer pr. mail, til hhv. studerende, studiesekretærer, eksaminatorer og censorer. Respondenter: Antal respondenter Svar Studerende 196 ud af % Studiesekretær 4 ud af 9 44 % Eksaminator 18 ud af % Censor 10 ud af % I nogle af graferne i evalueringen kan der være flere s var end respondenter vist i tabellen. Dette skyldes, at nogle respondenter ikke svarede på samtlige spø rgsmål, men faldt fra undervejs i undersøgels en. I tabellen er kun anført for de respondenter der gennemførte hele undersøgelsen.. INFORM ATION TIL BRUGERNE I foråret 2015 blev projektets hjemmeside etableret ( der indeholder information om projektet, svar på generelle spørgsmål samt vejledninger i brugen af Digital Eksamen. Der blev derudover afholdt følgende informationsarrangementer for brugerne inden eksamenerne blev afviklet: Studerende Der blev afholdt 3 informationsmøder: Onsdag den 6. maj Fredag den 8. maj Onsdag den 27. maj 4

5 Der blev yderligere afholdt et separat informationsmøde på første studieår for de studerende på bacheloruddannelserne i hhv. nanoteknologi og fysik torsdag den 21. maj. Studiesekretærer Der blev afholdt 2 workshops, hvor prøverne til sommereksamen blev oprettet: Tirsdag den 28. april Torsdag den 7. maj Der blev derudover afholdt en separat workshop på første studieår for studiesekretærerne torsdag den 21. maj. Bedømmere for de interne eksaminatorer blev der afholdt 2 hands-on introduktioner, hvor systemet blev gennemgået, og hvor der var mulighed for at prøve s ystem et på testprøver: Tirsdag den 5. maj Fredag den 8. maj Censorerne blev ikke inviteret til hands-on introduktioner, men der blev udarbejdet specielt informationsmateriale til dem, som studiesekretærerne sendte til dem. Censorformandskaberne blev informeret om overgangen til digitale prøver på Aalborg Universitet i foråret

6 EVALUERINGER Da brugergrupperne og modulerne i Digital Eksamen til brugergrupperne er meget forskellige, gennemgås hver brugergruppe for sig. Evalueringerne baseres primært på skemaunders øgelserne, men gennem gang i brugergrupper, supporthenvendelser, m ailhenvendelser, telefonopkald og bl.a. samtaler med brugerne efter eksamen er også inddraget i evalueringerne. Spørgeskemaerne omhandler 5 overordnede tem aer: Tilgængelighed Information og vejledninger Brugervenlighed Support Generelt indtryk af Digital Eksamen STUDERENDE Tilgængelighed De studerende havde generelt ikke problemer med at logge på Digital Eksamen, og de studerende var også klar over, hvor de skulle logge på Digital Eksamen henne. 9 % svarede, at de ikke vidste hvor de skulle logge på systemet, og 6 % kunne ikke logge på systemet og hente deres eksamensopgave. Nogle af udfordringerne for de studerende skyldes bl.a. glemt kodeord, samt fejlindskrivning er der medførte, at de studerende ikke var eksamenstilmeldt, og dermed heller ikke kunne tilgå prøven. 61 % af de studerende k ender hjemmesiden Information og vejledninger Cirka halvdelen af de studerende deltog på et af informationsmøderne, hvor systemet på en halv time blev gennemgået, og hvor der blev informeret om vejledninger, hjælp og support. 90 % af de studerende svarede, at de efter informationsmødet var enig e eller meget enige i, at de nu var klar til at bruge systemet. Efter informationsmøderne gav adskillige studerende udtryk for, at det var spild af tid at deltage i informationsm ødet, da systemet var meget brugervenligt, og at der var vejledninger på hjemmesiden. Dette har mange studerende også kommenteret i spørgeskemaet. 6

7 Bortset fra ganske få studerende er der tilfredshed med vejledningerne. Vejledningerne er nemme at finde og forstå. I både skemaundersøgelsen og samtaler med de studerende er der kommet forslag om at udarbejde korte videofilm, der guider de studerende igennem en prøvesituation, alternativt, at der oprettes en t estprøve til de studerende, så de kan prøve at arbejde i systemet inden en rigtig eksamen. Dette vil for nogle studerende kunne give lidt ro i maven, inden første prøvesituation hvor s ystemet skal tages i brug. Brugervenlighed De studerende roser s ystemets brugervenlighed. De studerende finder nemt information om prøven og eksamensopgaven. De har ikke svært ved at navigere i systemet, eller forstå systemets trinvise opbygning. Få studerende har haft s vært ved at finde knappen af lever, og få studerende har misforstået opbygningen med hoveddokument og bilag. Bortset fra de ganske få studerende der havde problemer, er de resterende studerene enige eller meget enige i, at systemet er brugervenligt. Dette er også i overensstem melse me d mundtlige tilbagemeldinger efter eksamen. 7

8 Support 7 % af de studerende havde behov for hjælp til Digital Eksamen, hvoraf d e fleste søgte hjælp hos deres studiesekretær. De studerende melder generelt tilbage, at de hurtigt kommer i kontakt med suppo rt, og at de får hurtige og brugbare svar på deres spørgsmål. Generelt indtryk af Digital Eksamen De studerende har generelt et godt indtryk af Digital Eksamen, hvor 93 % svarede, at de s ynes systemet er godt eller meget godt. Kun 1 % har svaret, at s ystemet er dårligt. 8

9 STUDIESEKRETÆRER Prøverne til de ordinære eksamener er blevet oprettet i samarbejde mellem studiesekretær og projektmedarbejder. Der har været hjælp under hele processen med oprettelserne, hvilket muligvis har haft indflydelse på studiesekretærernes svar, da de ikke selv har skullet sidde med oprettelsen første gang. Tilgængelighed Samtlige studiesekretærer vidste hvor de skulle logge på Digital Eksamen, og ingen havde problemer med at logge på s ystemet. De var også alle bekendt med hjemmesiden Information og vejledninger Alle prøver blev oprettet med projektmedarbejder, enten på workshop s eller efterfølgende hos studiesekretæren. Der var derfor ikke behov for deciderede vejledninger til studiesekretærerne, og disse er først efter pilotdriftens afslutning blevet udarbejdet. Der evalueres derfor ikke på vejledningerne for studiesekretærer. Af både spørgeskema og evaluering i brugergruppen for studiesekretærer fremgår det, at studiesekretærerne var tilfredse med de afholdte workshops, der gav dem en god introduktion til Digital Eksamen, og efterfølgende følte sig klar til at anvende systemet. En del studiesekretærer havde ikke mulighed for at deltage på en af de afholdte workshops, og i de tilfælde kom projektmedarbejder en ud til dem og gennemgik system og hjalp med opsætning af prøverne. 9

10 Studiesekretærerne følte sig godt informeret om Digital Eksamen, og de var ikke i tvivl om, hvor de skulle henvende sig for hjælp. Brugervenlighed For vurdering af s ystem ets brugervenlighed for studiesekretærerne er der spurgt til s ystemets forskellige faner og funk tioner. Til spørgsmålene om hvorvidt fanerne og funktionerne enten giver et nemt overblik, eller nemt giver mulighed for at indtaste/redigere data, har ingen af studiesekretærerne svaret, at de er uenige eller meget ueni ge i, at det er nemt. Dette svarer meget godt overens med samtaler og evaluering i brugergruppen for studiesekretærerne. Der er stor tilfredshed med systemets brugervenlighed. 10

11 Support 40 % af studiesekretærerne har haft behov for at kontakte support, enten IT afdelingen eller projektmedarbejder. I de tilfælde der har været behov for hjælp, er der tilfredshed med tilgængelighed, s var og svartider. Generelt indtryk af Digital Eksamen Det generelle indtryk af Digital Eksamen er enten godt eller meget godt. Studiesekretærerne kan se nogle rigtig gode muligheder i systemet. Systemet håndterer afleveringerne digitalt, så studiesekretærerne ikk e skal kopiere opgaver og distribuere dem til eksaminatorer og censorer. Mulighed for at se problematisk e ek samenstilmeldinger meget tidligt samt håndteringen af karaktergivning og visning i systemet er studiesekretærerne meget glade for. Spurgt til hvordan studiesekretærerne vurderer tidsforbruget ved digitale prøver sammenlignet med de nuværende løsninger vil være, når de har oparbejdet en del rutine i systemet, svarer 25 % at de forventer, at skulle bruge mere tid på en prøve, og 75 % s varer, at de forventer, at skulle bruge mindre eller meget mindre tid på en prøve. 11

12 BEDØMMERE Der blev sendt et spørgeskema til hhv. eksaminatorerne og et til censorerne, da der var mindre forskelle på spørgsmålene vedrørende information, vejledninger og workshops, idet der ikke blev afholdt workshops for censorerne. Svarene er for eksaminator og censor samlet i gennemgangen. Tilgængelighed 16 % af bedømmerne oplevede problemer med at logge på Di gital Eksamen og med at hente eksamensbesvarelserne i systemet. Der var blandt andet problemer med Nem Id for en censor, der ikke mente, at han var informeret om dette. Der var også problemer med at hente og åbne eksamensbesvarelserne, for bedømmer der ikk e havde installeret et program på sin computer der kunne åbne zip -filerne. Dette blev afhjulpet i supporten af projektmedarbejderen. Der er generelt ikke s å godt kendskab til hjemmesiden kun 34 % af bedømmerne kender den Vidste du på hvilken hjemmeside, du skulle logge på Digital Eksamen? Havde du problemer med at logge på Digital Eksamen? Ja Havde du problemer med at tilgå prøven i Digital Eksamen? Nej Kender du projektets hjemmeside Information og vejledninger Af 28 eksaminatorer deltog 4 på en af de afholdte hands -on introduktioner. Dem der deltog på introduktion var enige eller meget enige i, at de fik en god gennemgang af Digital Eksamen, og fik besvaret deres spørgsmål til systemet og funktionerne. Efter introduktionen var i ngen uenige i, at de nu var klar til at bruge Digital Eksamen til eksamenerne. 80 % af eksaminatorerne der ikk e deltog på introduktionen svarede, at dette sk yldes travlhed. Enkelte svarede også, at de ikke havde behov for at deltage, og flere ringede også og fortalte, at de allerede kendte lignende systemer. 20 % af censorerne og 55 % af eksaminatorerne besøgte hjemmesiden for at læse vejledningerne. Der er generelt enighed om, at vejledningerne er nemme at finde på hjemmesiden, samt at de er hensigtsmæssigt opbygget og nemme at forstå. 12

13 Hjemmesiden giver et godt overblik over informationerne på hjemmesiden Det er nemt at finde vejledningerne til Digital Eksamen på hjemmesiden Meget enig Enig Hverken eller Vejledningerne er nemme at forstå Uenig Meget uenig Vejledningerne giver svar på mine spørgsmål Brugervenlighed Bedømmerne er generelt ikke tilfredse med systemets brugervenlighed. Systemet opfattes som meget stift, og opfylder ikke bedømmernes behov i forbindelse med læsning, votering og bedømmelse af de studerendes besvarelser. En del bedømmere mener ikke, at oversigtsbilledet giver dem de oplysninger de har behov for, og enkelte har også haft problemer med at hente og uploade de studerendes besvarelser til systemet igen. Adskillige bedømmere har skrevet, at der er behov for at kunne samle alle besvareler på en prøve i en enkelt pdf -fil. Dette ønske er også fremkommet ved flere informationsarrangementer og diskussion i VIP brugergruppen. Det er nemt at finde de studerendes besvarelser Overbliksbilledet i prøven giver mig et godt overblik over eksamensinfo, studerende, besvarelser, karakter Meget enig Enig Det er nemt at downloade de studerendes besvarelser Hverken eller Uenig Meget uenig Det er nemt at uploade de studerendes besvarelser

14 Til spørgsmålene vedrørende systemets muligheder for læsning og annotering, er der generelt stor utilfredshed med s ystemet s muligheder. For de fleste bedømmere er det nemt at åbne eksamensbesvarelserne i browservisningen, men der er stor enighed om, at det er s vært og uhåndterligt at skulle læse besvarelserne i browseren, dette gælder specielt for bes varelser, der er længere end nogle sider. For større afleveringer og projekter, svares der, at disse opgaver ikke kan læses i browseren. Lidt større tilfredshed er der dog i en speciel FireFox browservisning, hvor besvarelsen fylder noget mere på skærmen, men denne visning er heller ikke tilfredsstillende, og ikke alle bedømmere har mulighed for at benytte Firefox som browser. Bedømmerne er generelt ikke tilfredse med annoteringsværktøjerne. Systemet stiller alt for få værktøjer til rådighed, og de opfattes som værende tunge at arbejde med. Cirka halvdelen af bedømmerne har ikke benyttet annoterings værktøjerne, eller også har de opgivet at bruge dem i forsøget. Værktøjerne er ikke ret gode, og bedømmerne henviser til mere brugervenlige værktøjer som f.eks. kommentarmuligheden i W ord. Flere bedømmere havde også probleme r med notefelter der lukkede, og digitale gule sedler der ikke kunne flyttes. Det er nemt at åbne besvarelsen i browser Det er nemt at læse besvarelsen i browser (standardvisning) Det er nemt at læse besvarelsen i browser (speciel visning i Firefox) Det er nemt at oprette annoteringer i besvarelsen Jeg har adgang til de annoteringsværktøjer, som jeg har Jeg har adgang til de annoteringsværktøjer, som jeg har Meget enig Enig Hverken eller Uenig Meget uenig Det er ikke så mange af bedømmerne der har benyttet sig af muligheden for at skrive noter til besvarelserne eller give de studerende feedbac k på deres besvarelser. Men af dem der ha r benyttet sig af muligheden, er det ikke ret mange, der er enige i, at det er nemt at oprette noter, dele sine noter eller give de studerende feedback. Ingen af bedømmerne har været meget enige i, at det er nemt at oprette noter eller give feedback. Forho ldsvis mange af bedømmerne har ikke brugt funktionerne. Det er nemt at oprette noter til en besvarelse Det er nemt at dele noter med eventuel medbedømmer Det er nemt at give feedback på besvarelsen Det er nemt at give samtlige studerende på en prøve fælles Meget enig Enig Hverken eller Uenig Meget uenig 14

15 Der er i skemaundersøgelsen stor tilfredshed med bedømmelsesmodulet. Det er nemt at give de studerende karakterer, og der er tilfredshed med overblikket over bedømmelserne. Det er desuden nemt at forstå, hvordan karaktergivningen fungerer i systemet. På trods af de gode svar i skemaundersøgelsen, har der været en del support henvendelser til selve bedømmelsen. Det var nødvendigt at ryk ke et par af bedømmerne f or indberetning af bedømmelser, hvortil bedømmerne svarede, at det havde de da gjort for længe siden. De havde dog ikke endeligt indberettet bedømmelserne. Der var også en systemfejl, der medførte, at det var umuligt at indberette mange bedømmelser på en gang, dette rettede leverandøren samme d ag fejlen blev meldt ind. Det er nemt at give de studerende karakterer Meget enig Det er nemt at forstå, hvordan karaktergivningen fungerer Enig Hverken eller Uenig Bedømmelsesstatus giver mig et godt overblik over status på bedømmelsen Meget uenig 68 % af bedømmerne printede besvarelserne på papir. Det var primært bedømmere med større afleveringer og projekter, der havde behov for at printe besvarelserne. Som de primære årsager til printning s varer bedømmerne: Umuligt at læse større aflevering på skærm Dårlige annoterings værk tøjer og muligheder for noter Ved projekteksamen er det ødelæggende for processen ikke at have afleveringen i papir Bedre overskuelighed Nemmere at have med på farten Printede besvarelserne på papir Ja Nej 15

16 Support Cirka 50 % af bedømmerne har haft behov for at kontakte support i forløbet, og det har primært været studiesekretæren, de har henvendt sig til. De forholdsvis mange supporthenvendelser skyldes muligvis, at så få eksaminatorer deltog på en introduktion, sam t det dårlige kendskab til systemets hjemmeside med vejledninger. Bedømmerne er enten enige eller meget enige i, at det er nemt at komme i kontakt med support, samt de hurtigt får brugbare svar. Det er nemt at komme i kontakt med support Meget enig Jeg får hurtigt svar på mine spørgsmål Enig Hverken eller Uenig Jeg får brugbare svar på mine spørgsmål Meget uenig Generelt indtryk af Digital Eksamen Spurgt til det gen erelle indtryk af Digital Eksamen svarer 5 7 % af bedøm merne, at systemet er godt eller meget godt. 7 % mener, at s ystemet er dårligt. Generelt indtryk af Digital Eksamen Meget godt Godt Hverken eller Dårligt Meget dårligt 50 % af bedømmerne har svaret, at deres tidsforbrug i forhold til sammenlignelig prøve uden for Digital Eksamen har været større. For 42 % har tidsforbruget været uændret, og 8 % svarer, at de har brugt mindre tid på prøven. 16

17 26 % af bedømmerne har en forventning om, at deres tidsforbrug vil være større, s elv efter at de er blevet fortrolige med systemet. 59 % af bedømmerne forventer, at tidsforbruget vil være det samme for prøver der afvikles i Digital Eksamen og prøver der ikk e afvikles i Digital Eksamen. 15 % har en forventning om, at skulle bruge mindre tid på prøver der afvikles i Digital Eksamen. Hvordan har tidsforbruget været til denne prøve i forhold til sammenlignelig prøve, der ikke afvikles i Digital Eksamen Meget mindre Mindre Uændret Større Hvordan vil tidsforbruget være, når der er opnået større rutine med systemet Meget større 17

18 KONKLUSION Der er generelt stor tilfredshed med s ystemet fra de studerende. De studerende s ynes, at systemet har et godt flow, er brugervenligt, nemt at navigere i, samt at de t er meget nemt at hente eksamensopgaver og aflevere eksamensbesvarelsen. Mange s tuderende har meldt tilbage, at de er positivt overraskede over, hvor nemt og hurtigt det er at aflevere i s ystemet. De studerende vurderer generelt ikke, at der er behov for i nformationsmøder. Dels fordi de i forvejen er så vant til at navigerer i digitale s ystemer, men også fordi de nemt kan finde s varet i vejledningerne. De studerende er selvk ørende, og det vurderes ikke, at der er behov for specielle tiltag i forhold til en egentlig introduktion for de studerende. Hjemmesiden kan med fordel opdateres med et par små videofilm, der demonstrerer hvordan studerende henter eksamensopgaven og bes varer den i s ystemet. Der er generelt stor tilfredshed med s ystemet fra studiesekretæ rerne. Systemet er opbygget på en fornuftig måde m ed et godt flow. Der er mange funktioner i systemet, me n systemet er meget brugervenligt, og det er nærmest selvforklarende studiesekretærerne er ikke i tvivl om, hvad de skal registrere i de forskellige faner. Der er store tilfredshed med fanen overblik, der hurtigt giver en status på prøveoprettelsen. Der er gode filtreringsmuligheder i systemet, og der er megen ros for funktionen der gør det muligt, at administrere prøvetider, eksamensopgave, bedømmere og notefelter på de enkelte studerende. For nogle prøver skal studiesekretærerne i dag kopiere opgaverne i 3 eksemplarer, og derefter distribuere dem til eks aminatorer og censor, denne opgave overflødiggøres, hvis prøven afvikles i Digital Eksamen. Der br uges i dag også megen tid på bestilling af karakterlister hos fakulteterne, gennemgang og fejlfinding af f.eks. manglende studerende på karakterlisterne. I Digital Eksamen skal der ikke oprettes karakterlister, og det er nemt for studiesekretæren at se, om der f.eks. er afviste eksamenstilmeldinger når prøven oprettes, hvilket vil lette opgaven med at opklare hvorfor der evt. mangler studerende på prøven. Bedømmerne afgiver karatkerne i s ystemet, hvorfor studiesekretærerne heller ikke skal runds ende karakte rlister til bedømmere, og huske på at rykke bedømmerne, når de ikke returnerer dem inden tidsfristen. Enkelte bedømmere har udtrykt begejstring over systemet, men langt de fleste bedømmere har ikke været tilfredse med Digital Eksamen. Systemet opleves tu ngt, og bedømmerne har ikke de værktøjer til rådighed, som de har behov for i bedømmelsessituationerne. Annoterings værktøjerne virker meget simple og browservisningen er meget lille, hvilket medfører, at der skal scrolles rigtig meget, for at kunne læse se lv en lille aflevering. En generel kommentar fra bedømmerne der har benyttet muligheden for at hente besvarelserne ned på egen pc, er, at de gerne vil have mulighed for at kunne hente samtlige besvarelser ned i en enkelt pdf. -fil, fremfor at skulle hente alle besvarelser og forsider hver for sig. Enkelte af bedømmerne har også haft s vært ved at indberette bedømmelserne, og knappen [Indberet bedømmelse] virker for nogen mis vis ende. For prøver med flere bedømmere, vil knappen kun for den sidste bedømmer ree lt være en indberetning, og for de andre bedømmere vil der mere være tale om en gem mit fors lag til karakter knap. Bedømmerne efterlyser også muligheden for at kunne give delopgaver i en besvarelse point. I opgaver med f.eks. 10 spørgsmål der hvert udlø ser mellem 0 og 10 point, mangler bedømmerne et felt til at sk rive disse point. Bedømmerne stiller yderligere forslag om en intelligent sammenlægning og udregning af samlet point med tilhørende forslag til karakter. 18

19 Derudover er der spørgs målet om, hvorvid t større afleveringer og projek ter kun skal afleveres digitalt, eller om de også skal printes og hvem der evt. skal printe besvarelserne ; de studerende, studiesekretærer eller bedømmerne selv? Denne diskussion har fyldt meget i møderne med bedømmerne, og i deres tilbagemeldinger til hvordan piloten er forløbet. Mange bedømmere har ligeledes givet udtryk for, at det vil være umuligt at afholde projekteksamen, hvis ik ke besvarelserne medbringes i papir. Flere har direkte sagt, at det vil være ødelæggende f or projekteksamener, såfremt de skal afvikles uden printning af besvarelserne. Eventuelt medbragte computere vil kunne opfattes som en mur mellem bedømmere og studerende, være uhensigtsmæs sig i gennemgangen hvor der ofte er behov for at sammenligne noget p å forskellige sider. Det vil derudover ikke være muligt for bedømmerne at se, om de studerende kommunikerer elektronisk med hinanden under eksaminationen. På trods af de mange forslag og kommentarer til forbedringer og den generelle utilfredshed med systemet, har 57 % af bedømmerne svaret, at de synes godt eller meget godt om Digital Eksamen. Dette kunne tyde på, at bedømmerne på trods af deres utilfredshed ser potentiale i systemet, som der bør bygges videre på. 19