Notat AARHUS UNIVERSITET. Moderniseringsstyrelsen. Udfærdiget af: Maria Volf Lindhardt, projektejer Rasmus Blok, projektleder Hans Jørgen Hansen

Transkript

1 AARHUS UNIVERSITET Moderniseringsstyrelsen Notat Udfærdiget af: Maria Volf Lindhardt, projektejer Rasmus Blok, projektleder Hans Jørgen Hansen Afrapportering ABT-projekt: Overgang til digital aflevering og bedømmelse af skriftlige prøver Sammenfatning og anbefaling 3! Beskrivelse af demonstrationsprojektet 5! Formål og vision 5! Grundlæggende idé og præmis 6! Digitalt workflow 7! Mission og mål 7! Løsningsbeskrivelse 10! Den eksamensansvarlige 10! Den studerende 12! Bedømmeren 12! Data om demonstrationsprojektets løsning DigEx 15! Proces og udvikling 15! Projektplan og faser 17! Inddragelse af brugere 19! Vejledning og support 22! Digital arbejdsgang 24! Demonstrationsprojektets medarbejdere 25! Pilot og afprøvning 26! Evaluering 28! Modeller & Dataindsamling 28! Målinger 28! Spørgeskemaer 30! Testimonials 31! Arbejdskraftbesparende potentiale 31! Eksamensansvarlig 32! Post og Distribution 32! Bedømmer 32! Potentiel økonomisk besparelse 33! Bæredygtighedsmåling 34! Spørgeskemaer 35! Maria Volf Lindhardt Dato: 14. december 2012 Side 1/45 Stab Aarhus Universitet Fredrik Nielsens Vej Aarhus C studiestab@au.dk

2 AARHUS UNIVERSITET Studerende 35! Eksamensansvarlige (studieadministration) 37! Bedømmere 38! Testimonials 41! Studerende 42! Eksamensansvarlig 42! Bedømmere 42! Teknologiens modenhed og mulighed for udbredelse 42! Side 2/45 Konklusion 43! Bilag 45!

3 AARHUS UNIVERSITET Sammenfatning og anbefaling Side 3/45 Demonstrationsprojektet har med sin etablering af DigEx-løsningen vist det muligt at digitalisere håndtering, gennemførelse og bedømmelse af en stor del af de skriftlige prøver ved Aarhus Universitet, og etableret en ramme der gør det økonomisk fordelagtigt og kvalitativt ønskeligt. På baggrund af demonstrationsprojektets resultater anbefales det at forfølge mulighederne for en fuldt uddigitaliseret håndtering og bedømmelse af de skriftlige prøver. Aarhus Universitet har med demonstrationsprojektet vist og dokumenteret følgende økonomiske fordele igennem afprøvningen af en konkret løsning på mere end studerende: Kraftig arbejdsbesparelse på det studieadministrative arbejde Fuldstændig arbejdsbesparelse på distribution og fragt Betydelig ressourcebesparelse på driftsomkostninger som porto, håndtering og arkivering = 6.2 mio. kr. i årlig besparelsespotentiale ved fuld implementering Endvidere har Aarhus Universitet demonstreret og dokumenteret en række forbedringer i kvaliteten som følge af digitaliseringen: Lettere adgang for de studerende til udlevering af eksamensopgaver og aflevering af besvarelser Hurtig adgang til evt. skriftlig feedback på besvarelser for de studerende Lettere adgang til og overblik over de studerendes besvarelser for bedømmerne Flere muligheder for bedømmerne i kommentering og censurering af de studerendes besvarelser, herunder tjek for plagiat og mulighed for direkte skriftlig feedback til den studerende Større mulighed for arbejdsdifferentiering og -planlægning for de studieadministrative medarbejdere Bedre rationalisering og større overblik over eksamensafviklingen for de studieadministrative medarbejdere Færre fejl og større sikkerhed generelt under eksamensafviklingen og for de involverede brugere Endelig har Aarhus Universitet efter en evaluering af demonstrationsprojektet dokumenteret stor tilfredshed med digitaliseringen: et massivt flertal af de studerende foretrækker fremover at modtage deres eksamensopgaver og aflevere deres besvarelser digitalt via DigEx-løsningen. et massivt flertal af de eksamensansvarlige medarbejdere ønsker fremover at håndtere de skriftlige eksamener gennem DigEx-løsningen et stort flertal af bedømmerne ønsker fremover at anvende DigEx-løsningen til at modtage og bedømme de studerendes besvarelser. Demonstrationsprojektet har således nået sit foresatte mål og gennem DigExløsningen etableret en mulighed for digitalisering af de skriftlige prøver, på en måde der er arbejdskraftsbesparende, kvalitetsforbedrende, ønskelig for brugerne og med en positiv bæredygtighedsprofil.

4 AARHUS UNIVERSITET Aarhus Universitet ser ingen særegne eller nævneværdige risici ved digitalisering af de skriftlige prøver.. Det bør dog bemærkes, at som ved alle andre digitaliseringer af arbejdsgange, gør demonstrationsprojektet sig også afhængig af digital infrastruktur og sikkerhedskodeks. Forudsætningen for en succesrig digitalisering vil således være: Stor driftsstabilitet og adgang til løsningen 24/7, herunder monitorering af løsningen driftsstatus Stor sikkerhed i autentificeringen af brugerne og i relation til uvedkommendes uretmæssige adgang Stor mulighed for skalering af samtidig brug og pladsforbrug over tid Side 4/45

5 AARHUS UNIVERSITET Beskrivelse af demonstrationsprojektet Formål og vision Demonstrationsprojektet har overordnet haft til formål, at gøre det muligt at skriftlige opgaver stilles og at besvarelser afleveres, bedømmes, håndteres og arkiveres digitalt. Demonstrationsprojektet har derfor søgt at kortlægge mulighederne for at afskaffe papir og gøre skriftlige prøver 100% digitale, samt fra det udgangspunkt at etablere en løsning til deres digitale afvikling. Demonstrationsprojektet har mestendels haft fokus på skriftlige prøver uden tilsyn, da der på bevillingsinstitutionen (Aarhus Universitet) i projektforløbet er opstartet et sideløbende forsøg med skriftlige prøver under tilsyn og denne types særlige fokus på snyd-problematikken (USB-løsningen) 1. Side 5/45 Kvantitativt har demonstrationsprojektet haft til formål, at: 1. fjerne overflødige arbejdsgange og derigennem samlet set spare arbejdskraft i afviklingen af skriftlige prøver 2. begrænse eller helt fjerne brugen af papir via digitalisering af arbejdsprocesserne omkring den skriftlige prøve 3. reducere tunge løft, pakning, post, kopiering og kommunikation gennem digitaliseringen, og dermed overflødiggøre mange af de hidtidige manuelle processer ved skriftlige prøver 4. digitalt forbinde AU med de studerende og underviserne/censorerne, for således at bringe universitetet i tættere og lettere forbindelse mellem brugerne Kvalitativt har demonstrationsprojektet haft til formål, at: 1. bedre understøtte universitetets primære processer og arbejdsgange omkring skriftlige prøver 2. lette de studerendes adgang til prøvning 3. øge eksaminatorernes og censorernes bedømmelsesmuligheder og -frihed 4. forbedre studieadministrationens muligheder for håndtering og styring af prøverne Overordnet set kan man påpege, at demonstrationsprojektet har haft til mål for de skriftlige prøver at gå fra en manuel håndtering til en digital automatisering. Til denne proces har det været vigtigt overordnet set at knytte følgende indikatorer: færre fejl, mere kontrol og styring mindre stress og øget fleksibilitet og sikkerhed større tilgængelighed og mere åbenhed I tillæg til de angivne formål, har det tillige været demonstrationsprojektet sigte, at indskrive sig i en bæredygtighedsdagsorden, qua sit store besparelsespotentiale på ressource-siden her mestendels sparede papirvarer og transportomkostnin- 1 Jf. Projekt gennemført i samarbejde mellem UBST og Aarhus Universitet. Se

6 AARHUS UNIVERSITET ger. Af samme årsag har demonstrationsprojektet udviklet et bæredygtighedsbarometer, ligesom demonstrationsprojektet har bidraget positivt til Aarhus Universitets egen nyetablerede opgørelse af bæredygtighed. Side 6/45 Endelig er det værd at påpege, at siden demonstrationsprojektets begyndelse, har regeringen i 2011 vedtaget en digitaliseringsstrategi, som specifikt peger på initiativer omkring digitalisering af de skriftlige prøver indenfor universitetsområdet. 2 Således bekendtgør den fællesoffentlige digitaliseringsstrategi, at universiteterne ved udgangen af 2013 skal overgå til digital afvikling: Digitalisering på universiteterne omfatter dog ikke kun selve undervisningen. Når semesteret slutter, skal eksamensopgaven som en selvfølge afleveres digitalt. [ ] Derfor skal eksamensformerne udvikles og tilpasses den digitale tidsalder. Og den teknologiske infrastruktur skal opgraderes, så de skriftlige prøver senest i 2013 kan gennemføres uden brug af blyant og papir. Opsamlende udstikker den fællesoffentlige digitalisering fælgende krav til universiteterne omkring eksamensområdet (strategiens punkt 7.1): Universiteterne skal udbyde eksaminer, der fremstår tidssvarende. Senest i 2013 vil det være obligatorisk, at alle stedprøver, opgaver og afhandlinger så vidt muligt afleveres digitalt. Demonstrationsprojektets erfaringer vil sammen med ændrede og moderniserede prøveformer således være de to ben en succesfuld digitalisering af eksamensområdet skal stå på. Grundlæggende idé og præmis Når en studerende på traditionel vis afleverer en skriftlig eksamensbesvarelse, er det i form af udskrevet papir og ofte i adskillige eksemplarer. Besvarelserne afleveres personligt på et eksamenskontor og sendes med intern post rundt til eksaminatorer og oftest med anbefalet post til censorer. Undervejs skal den eksamensansvarlige koordinere, informere og administrere en blanding af tidskrævende papirgange, tjeklister, informationsudvekslinger og forskellige digitale systemer. Alt i alt er papirforbruget, portoomkostningerne og administrationsbyrden for afvikling af skriftlige eksamener ganske betydelig ikke mindst, når man tager i betragtning, at der for Aarhus Universitet som enkeltstående institution er omkring studerende tilknyttet og estimeret omkring afleverede eksamensbesvarelser årligt. Det estimeres, at en standard besvarelser udgør 15 si- 2 Jf. Den fællesoffentlige digitaliseringsstrategi, punkt 7.1. Se

7 AARHUS UNIVERSITET der, og denne som hovedregel afleveres i 3 printede eksemplarer. Det vil sige langt mere end stykker papir, der printes og manuelt håndteres årligt. Hertil skal lægges eksamensforsider, protokoller og eksamensomslag, samt bilag i form af illustrationer, artikler, audiovisuelt materiale mv., som både udgøres af papir, cd-rommer, usb-stik og lignende. I tillæg hertil bør man også indregne de mange skiftlige prøver, hvor bundne opgaver og spørgsmål udleveres på papir og ofte fulgt af en del skriftlige bilag i form af artikler, case-beskrivelser og lignende. Det er opgavesæt som kan veksle mellem printede sider pr. studerende pr. opgave. Side 7/45 Digitalt workflow Demonstrationsprojektet har arbejdet på at konceptualisere et digitalt workflow, der sammenfletter de forskellige led i en skriftlig prøve, så den vanlige praksis med at printe og manuelt håndtere opgaver og besvarelser overflødiggøres. Dette workflow integrerer de studieadministrative systemer med de praktiske processer omkring skriftlige prøver, hvilket samler afviklingen af skriftlige prøver ét og samme sted for alle involverede. Særligt fokus har der været på udvikling af tilfredsstillende procedurer for censor/eksaminator i forhold til læsning og kommentering af besvarelser digitalt, da disse arbejdsopgaver er dem som udgør størstedelen af den arbejdstid, der skal erlægges pr. prøve. Med et sådant workflow vil skriftlige eksamener kunne holdes digitalt fra start til slut, hvorved administrative og logistiske ressourcer frigøres, eksamensprocessen smidiggøres og miljøbelastningen minimeres. Med et estimeret antal af skriftlige eksamener på op omkring en halv million årligt ved de danske universiteter, er der således ganske betragtelige ressourcer der kan spares ved et digitaliseret workflow. Projektets grundkoncept er derfor ikke blot digitalisering, men i lige så høj grad integration; både i form af integration med eksisterende digitale databaser og tjenester, men også som en integration af de allerede digitaliserede arbejdsprocesser blandt de involverede, som hidtil har været adskilt analogt. Fx formuleres opgaven traditionelt på computer og udleveres som udskrevne sider, ligesom besvarelserne også skrives på computer, men afleveres udskrevet på papir i flere eksemplarer. På den måde er projektets mål ikke at skabe flere systemer til datahåndtering i rækken af systemer, men at sammenflette eksisterende information og koble vante arbejdsgange sammen i ét digitalt bindeled, så unødige og fysiske mellemled så vidt muligt overflødiggøres. Mission og mål Demonstrationsprojektet har fra udgangspunktet omsat projektets vision og mål til følgende overordnede mission i relation til løsningen: Løsningen skal skabe et effektivt, smidigt og ensartet workflow for håndtering af skriftlige prøver ved i bogstaveligste forstand at skære unødvendige papir-gange væk.

8 AARHUS UNIVERSITET Grundkonceptet skal være integration; både i form af løsningens integration med eksisterende digitale databaser og tjenester, men også som en integration af de allerede digitaliserede arbejdsprocesser blandt de involverede, som hidtil har været adskilt analogt. Løsningen skal via ét enkelt indgangspunkt samle rækken af handlinger fra initiering af eksamen, over udlevering af eksamensopgave til endelig bedømmelse af besvarelsen og efterfølgende vejledning for både eksaminator, censor, studerende og studieadministrativt personale. Løsningen skal være platformsuafhængig, og således ikke være afhængig af om brugerne tilgår den via PC, Mac eller andre styresystemer. Løsningen skal sigte mod fremtidens digitale håndtering og brug, og således basere sig på morgendagens teknologiske scenarium, hvor brugerne forventes at være endnu mere online forbundne, end de er i dag. Løsningen skal foruden anvendelsen af PC som primært arbejdsredskab for brugerne, søge at integrere brugen af mobil teknolog (fx tablets) i den digitale håndtering af opgaver - og særligt besvarelser - således at smidighed og mobilitet i eksempelvis bedømmelse og censur så vidt muligt bibeholdes. Løsningen skal i første omgang rette sig mod processen og håndteringen af skriftlige prøver, herunder også håndteringen af skriftlige prøver med tilsyn uden dog at forholde sig til en eventuel snyd-problematik med henblik på studerendes adgang til eksterne, online ressourcer. Men kan på sigt bør løsningen kunne udvides til også at inkorporere og håndtere andre eksamensformer. Løsningen skal ikke blot orientere sig mod digitaliseringen og automatiseringen af manuelle og papirbårne processer, men også søge at digitalisere den kommunikation som eksisterer ved og omkring skriftlige prøver. Fx gennem etablering af digitale muligheder for at afvikle bedømmernes mundtlige censur og votering, tillige med eksaminators senere mundtlige vejledning af de studerende. Side 8/45 Demonstrationsprojektet har fra udgangspunktet omsat projektets vision og mål til følgende overordnede mission i relation til brugerne: Alle: For alle brugere skal digitaliseringen betyde en lettelse i adgangen til de skriftlige eksamener, idet løsningen sikrer en adgang uafhængigt af tid og sted. Informationerne skal være tilgængelige når brugerne har tid og brug for dem. For alle brugere skal digitaliseringen af de skriftlige prøver betyde en lettelse af den fysiske byrde i form af en afskaffelse af papirbundne opgaver, besvarelser og bedømmelser. For alle brugere skal digitaliseringen skabe større overblik over eksamensprocessen. For alle brugere skal digitaliseringen skabe let adgang til arkiveret eksamensdata (opgaver, besvarelser, kommenteringer, votering mv.).

9 AARHUS UNIVERSITET Studerende: For den studerende skal digitaliseringen betyde en eliminering af behovet for printning og aflevering i fysisk kopi. Side 9/45 Bedømmere: For bedømmerne skal digitaliseringen betyde en eliminering af den fysiske håndtering af besvarelses ved bedømmelse og ved evt. efterfølgende feedback/vejledning. For bedømmerne skal digitaliseringen betyde, at de kan slippe for opbevaringspligten og efterfølgende sikker destruktion af besvarelser og noter. For bedømmerne skal digitaliseringen betyde en mere fleksibel adgang til bedømmelsesarbejdet, idet de skal kunne tilgå de samlede besvarelser online uafhængigt af fysisk lokation og tidspunkt, og via mobile enheder (fx ipads). 3 For bedømmere skal digitaliseringen betyde en smidigere inddatering af eksamensresultater og håndtering af formalia omkring eksamen. Administration: For studieadministrationen skal digitaliseringen betyde, at de ikke længere fysisk behøver at administrere, håndtere og distribuere opgaveformuleringer til studerende og eksamensbesvarelser til bedømmerne. Universitet: For universitetet skal digitaliseringen betyde en smidigere og mere effektiv eksamenshåndtering, samt allokering af færre ressourcer (arbejdsmæssigt og driftsmæssigt). For universitetet skal digitaliseringen sikre bedre overholdelse af den lovpligtige arkivering og opbevaring af besvarelser herunder sikringen af dokumentation i relation til evt. klagesager. Nedenstående tegning illustrerer det grundlæggende eksamens-workflow, som søges digitaliseret gennem demonstrationsprojektet: 4 3 Der blev til demonstrationsprojektet indkøbt en række ipads, som man gennem projektet udlånte til interne bedømmere og derigennem testede for brugen af. På det tidspunkt hvor demonstrationsprojektet startede og et langt stykke ind i projektet, var ipad eneste eller altdominerende tablet på markedet. Da den udviklede løsning desuden var browser-båret, var der ingen grund til umiddelbart at stille andre typer tablets til udlån. Demonstrationsprojektet testede dog med succes på nogle enkelte android-baserede tablets. 4 Der blev til demonstrationsprojektets hjemmeside udfærdiget en animeret workflow-beskrivelse, der mere detaljeret beskrev det digitaliserede workflow trin for trin. Jf.

10 AARHUS UNIVERSITET Side 10/45 Løsningsbeskrivelse Demonstrationsprojektets udviklede løsning til digital håndtering af skriftlige prøver, er blevet døbt DigEx en sammentrækning af Digital Exam. DigEx er en online platform til håndtering af skriftlige prøver og eksamener, uden brug af papir eller fysisk distribution. DigEx håndterer alle aspekter af en prøve, og tilvejebringer et enkelt indgangspunkt for den studerende, for bedømmerne og for den eksamensansvarlige. Den studerende får udleveret en opgaveformulering og afleverer efterfølgende eksamensbesvarelsen, som efter afleveringsfrist bliver tilgængelige for den eller de tilknyttede bedømmere. Bedømmeren kan derefter læse og kommentere besvarelserne direkte på platformen og slutteligt afgive vurdering og eventuelt dele kommentarer med de studerende. Den eksamensansvarlige opretter og administrerer forinden prøven, hvorefter frister og tilgængelighed håndteres automatisk af DigEx. I det følgende beskrives et eksempel på afviklingen af en prøve i DigEx, som den tager sig ud for de tre forskellige involverede brugere. Den eksamensansvarlige DigEx er bygget op omkring en integration med det studieadministrative system STADS, som blandt andet håndterer udbud af og tilmeldinger til prøver og eksamener. 5 Som eksamensansvarlig opretter man en eksamen i DigEx med eksamenens aktivitetskode, hvorved alle grunddata på eksamenen automatisk overføres. Dernæst defineres start- og sluttidspunkter for henholdsvis de studerendes eksamensperiode og bedømmernes censureringsperiode. Det er disse indstillinger, der efterfølgende automatisk sørger for at gøre en opgaveformulering tilgængelig 5 STADS er i perioden for demonstrationsprojektet overgået til at være det standard-studieadministrative system, som samtlige danske universiteter i Danmark benytter. Endvidere er der truffet beslutning om at STADS også fremadrettet skal anvendes ved en række øvrige uddannelsessektorer, så som CVU erne.

11 AARHUS UNIVERSITET ved starttidspunktet, lukker for aflevering af besvarelser ved sluttidspunktet, og efterfølgende gør besvarelserne tilgængelige for bedømmerne. Side 11/45 Når prøven oprettes i DigEx, er den i første omgang ikke aktiveret, hvilket tillader den eksamensansvarlige at sætte eksamenen op i ro og mag, uden at tilknyttede studerende og bedømmere vil kunne se den fra deres profil i DigEx. Som eksamensansvarlig kan man uploade den opgaveformulering og det ekstramateriale, som skal udleveres til den studerende ved prøvestart. Ekstramateriale kunne være artikler, videoklip eller henvisninger til internetsider og meget andet, mens opgaveformuleringen holdes i standard pdf-format for statisk at sikre indholdet form og karakter. Endvidere kan den eksamensansvarlige tilføje relevante elementer, som den studerende må udfylde og angive som del af besvarelsens officielle forside. Det kan være antal anslag, om besvarelsen må gøres tilgængelig for udlån og lignende. Den officielle eksamensforsides basisinformation, så som den studerendes navn, årskortnummer og studieretning, samt eksamens navn, ECTSpoint osv. indføjes automatisk. Hvis der i det studieadministrative system STADS er lavet eksamensprotokoller til bedømmeren, vil bedømmerne endvidere automatisk blive tilknyttet eksamenen og tildelt de rigtige studerende i DigEx. Men på et hvilket som helst tidspunkt under eksamensafviklingen kan den eksamensansvarlige egenhændigt tilknytte eksaminatorer og censorer til prøven og fordele disse på de studerende, dersom data herom ikke er indeholdt fra STADS. Denne fordeling kan gøres individuelt, men kan også automatiseres således at DigEx selv fordeler de studerende hvis der er flere eksaminatorer eller flere censorer. DigEx tilvejebringer den eksamensansvarlige med en liste over studerende, så vedkommende kan se nøjagtigt hvilke studerende, der er tildelt hvilke bedømmere, samt ændre tildelingerne direkte efterfølgende. Den enkelte studerende kan gives dispensation til senere aflevering, hvis dette er påkrævet, samt tildeles en individuel opgaveformulering, hvis prøven er struktureret således. Der kan derudover uploades eller linkes til materiale, som kun er til bedømmerne på eksamenen, hvilket eksempelvis kan være et link til prøvens studieordning, en fast rettevejledning, skabeloner til censorrapporter mv. Den eksamensansvarlige kan til hver en tid frembringe en særlig opsummering af den pågældende eksamen, der giver et samlet overblik over alle indstillinger og tildelinger, samt fortæller hvis der er ting, der mangler at blive håndteret. Herunder også om alle relevante parter (fx de pågældende studerende og bedømmere) har fået meddelelse om at prøveafviklingen foregår i DigEx. Først når alle påkrævede ting er forud for eksamens-afviklingen er håndteret af den eksamensansvarlige, kan den pågældende eksamen aktiveres, hvorved den vil figurere aktiv på de eksamenstilmeldtes og pågældende bedømmeres profil i DigEx, ligesom der udsendes notifikation herom til dem på .

12 AARHUS UNIVERSITET Den eksamensansvarlige kan i øvrigt løbende følge med i sin egen oversigt over eksamenen, hvem og hvor mange, der har afleveret, ligesom hvem og hvor mange afleveringer bedømmerne har bedømt. Side 12/45 Den studerende Som studerende fremgår ens aktive eksamener af oversigten når man er logget ind i DigEx. Først når udleveringstidspunktet er nået, vil opgaveformuleringen være synlig og tilgængelig på den pågældende eksamen. Og først herefter kan de studerende følgelig læse den skriftlige opgaveformulering, og tilgå det eventuelle ekstramateriale som er vedlagt. Herefter kan den studerende gå i gang med udarbejdelsen af besvarelsen indenfor den tidsramme, som er sat for den pågældende prøve. Når besvarelsen er klar til aflevering, tilgår den studerende atter DigEx og udvælger den rette eksamen til besvarelsen. For at aflevere besvarelsen, skal den studerende først udfylde de påkrævede oplysninger til den officielle forside. Når oplysningerne er udfyldt, åbnes der for upload af besvarelsen, samt eventuelt digitalt ekstramateriale. Besvarelsen skal altid afleveres som PDF, hvilket sikrer, at indhold i og opsætning af dokumentet ikke ændres efterfølgende. Ekstramaterialet derimod kan være allehånde digitale dokumenter og fil-formater. Når forsiden er udfyldt og besvarelsen uploadet, kan den studerende så længe afleveringsfristen ikke er overskredet trykke Aflevér, hvorved eksamensbesvarelsen afleveres. Når besvarelsen er afleveret kan den studerende ikke længere ændre i forsideinformationer og uploadede filer, men får til gengæld en kvittering for det afleverede materiale. Hvis den studerende inden afleveringsfristen alligevel gerne vil ændre på forsideoplysningerne eller uploade en ny besvarelse, kan vedkommende trække afleveringen tilbage, og rette de ønskede ting. Den tidligere kvittering annulleres og først når den studerende atter trykker Aflevér fås igen en gyldig kvittering. Når den studerende har afleveret sin eksamensbesvarelse rettidigt, vil det desuden fremgå af den studerendes eksamensoversigt i DigEx, ligesom den studerende her også kan se eventuelle kommentarer på besvarelsen, som bedømmerne har delt, når eksamensperioden og bedømmelsen er overstået. Bedømmeren Når afleveringsfristen er overskredet, går de afleverede besvarelser videre til de bedømmere, som er blevet tildelt de enkelte studerende på den pågældende eksamen. I eksamensoversigten for den enkelte bedømmer fremgår det, at der ligger besvarelser klar til bedømmelse og censurering. Når bedømmeren tilgår den enkelte eksamen, ser vedkommende alle de relevante informationer om eksamenen, som kan være nødvendige for at komme i gang med at bedømme besvarelserne. Opgaveformuleringen som de studerende har fået udleveret kan læses, det særlige materiale (rettevejledninger mv.) som den eksamensansvarlige har lagt ud til be-

13 AARHUS UNIVERSITET dømmerne kan tilgås og de studerende som bedømmeren er blevet tildelt præsenteres i listeform. Side 13/45 Ud for hver enkelt studerende kan bedømmeren se forskellige basisoplysninger om den studerende, den enkelte studerendes besvarelses officielle forside, samt hvilke øvrige bedømmere den studerende er blevet tildelt. Derudover får bedømmeren præsenteret en indikation på, om der er fundet plagierede afsnit i den studerendes besvarelse, da alle besvarelser automatisk skannes for plagiat. Hvis der er indikation herpå og bedømmeren vil undersøge dette nærmere, kan vedkommende ved et enkelt klik få adgang til den plagieringsrapporten der udfærdiges for hver besvarelse, her leveret online af firmaet Urkund. Som bedømmer kan man med det samme gå i gang med at læse de studerendes besvarelser direkte på platformen i den indbyggede DigEx Reader. Det kræves ikke, at man downloader besvarelserne og installerer speciel software for at kunne læse og kommentere besvarelserne, blot en nyere browser, hvorved al bedømmelsesarbejdet kan foregå online. Bedømmerens kommentarer gemmes automatisk i DigEx, og ligger derved sikret og samlet ét sted, så de er lette at finde tilbage til på et senere tidspunkt. Dette gør det muligt at arbejde fra flere forskellige computere, uden at skulle bekymre sig om at flytte filer eller holde styr på forskellige udgaver af samme besvarelse og kommentarer. I DigEx Reader kan bedømmeren se den afleverede besvarelse og begynde at læse i den. Standardannotationer som overstregning af tekst og indsættelse af symboler i besvarelsen kan anvendes og kan samtidig tilknyttes skriftlige kommentarer. Kommentarer som retter sig mod besvarelsen som helhed og ikke kun et bestemt sted i teksten, kan tilmed løbende skrives ind i besvarelsens generelle notesblad, i toppen af DigEx Reader. Endvidere kan man som en særlig annotationsform, skrive formler i Latex-sprog. Som bedømmer kan man løbende i bedømmelsesprocessen få overblikket over alle ens annotationer i den enkelte besvarelse, via en kronologiske annotationsliste, ligesom opgaveformulering og eventuelt ekstramateriale også kan tilgås direkte fra DigEx Reader. Bedømmeren kan søge på ord i besvarelsen, samt indstille hvordan besvarelsen skal vises på siden mht. tekst- og sidestørrelse. Vil man som bedømmer arbejde på flere besvarelser på samme tid, kan disse blot åbnes som nye tabs i browseren, således man hurtigt kan skifte mellem dem. I DigEx Reader er der for bedømmerne også mulighed for at få vist et sammendrag af de annotationer man har gjort i den enkelte besvarelse. Det gør det lettere og mere overskueligt at genlæse ens kommentarer, fx i relation til mundtlig vejledning af den studerende efterfølgende. Man kan også vælge, hvis nogle af kommentarerne skal deles enten med den studerende eller med ens medbedømmere. På den vis faciliterer DigEx Reader en hurtig og simpel metode til at give de stu-

14 AARHUS UNIVERSITET derende feedback på deres besvarelser. Delte kommentarer, bliver tilgængelige for den studerende, når censureringsperioden er overstået og den endelige bedømmelse har fundet sted. Side 14/45 Som bedømmer kan man også vælge at downloade besvarelserne lokalt til sin computer eller tablet, hvis man ønsker at bedømme opgaverne uden behov for at være online. For at lette adgangen til besvarelserne og opretholde fordelene ved at gemme annotationerne online, er der udviklet en tilhørende DigEx App, der gør det let og overskueligt at hente og sende besvarelserne frem og tilbage mellem DigEx og ens tablet. Derved kan bedømmeren læse besvarelserne offline på fx sin ipad, men via App en sende sine kommentarer mv. tilbage til DigEx og arkivere dem online, fx hvis disse skal bruges som feedback til de studerende. Når bedømmeren er klar til at afgive sin karaktermæssige bedømmelse af den studerendes besvarelse, kan vedkommende fastsætte sin midlertidige vurdering ud for hver enkelt studerendes besvarelse. DigEx stiller endvidere et online videokonferencerum til rådighed for de involverede bedømmere, som evt. kan bruges til at foretage selve censureringen online, hvorved man kan gennemgå besvarelserne på skærmen sammen, men fra hver sin computer og opholdssted. Når der er opnået enighed omkring de endelige karakterer, kan bedømmerne klikke sig videre til den direkte inddatering af karaktererne i det studieadministrative system (STADS-VIP). For alle brugere, hvad enten det er den eksamensansvarlige, den studerende eller bedømmeren, bliver den pågældende eksamen de har været involveret i efterfølgende arkiveret efter end eksamensperiode. Fra hver enkelt brugers arkiv kan de altid vende tilbage til besvarelserne og kommentarerne, samt aflæse den historiske data tilknyttet den pågældende eksamen. Demonstrationsprojektet har udfærdiget denne demonstrationsvideo, som på kort og klar vis introducerer til og demonstrerer hvad DigEx kan og hvordan løsningen fungerer. Her den engelske udgave:

15 AARHUS UNIVERSITET Side 15/45 Se: Data om demonstrationsprojektets løsning DigEx Demonstrationsprojektets løsning DigEx er bygget på åbne standarder og benytter en standard LAMP-opsætning (Linux, Apache, MySql og PHP). Løsningen fungerer som SaaS (Software as a Service) og fungerer online gennem alle nyere og opdaterede browsere (Chrome, Safari & Internet Explorer). Til brug for synkronisering for offline brug af ipad, er der desuden udviklet en DigEx App. Løsningen bygger på en autentificering gennem tjenesten WAYF (Where Are You From), med reference til AUs brugerdatabase (mit.au.dk). Endvidere benytter løsningen NemID som alternativ autentificering, med reference til AUs STADSdatabase. DigEx er fuld integreret med AUs studieadministrative system STADS, hvorfra relevant eksamensdata hentes, ligesom løsningen henviser direkte til AUs karakterinddatering STADS-Vip. Endelig integrerer løsningen med plagieringsværktøjet URKUND, der skanner studenterbesvarelser for snyd, og tilbyder brug af web- og videokonference-værktøjet Adobe Connet Pro for bedømmerne. DigEx baserer sin løsning på opgaver og besvarelser i pdf-formatet, for at modvirke forvanskning, og idet pdf-formatet fungerer som international standard for kommentering. DigEx tillader dog bilag til disse i allehånde øvrige formater. DigEx-løsningen læser pdf-formaterne og gør dem tilgængelige for kommentering, men opbevarer og videreformidler kun bilagenes øvrige formater og gør dem til genstand for download. Proces og udvikling Det skriftlige eksamensområde har igennem århundreder udviklet sig i sammenhæng med udviklingen i universiteternes undervisning og de enkelte fagligheder. Der er således et tæt bånd mellem faglig praksis og undervisning heraf, også den måde man ønsker at udføre en evaluering af de studerende på. Endvidere er universiteterne selvforvaltende og kun reguleret overordnet på dette område, hvorfor

16 AARHUS UNIVERSITET der ikke eksisterer nogen standard-praksis på tværs af sektoren, der dikterer en entydig udmøntelse af den skriftlige eksamen. Af samme grund eksisterer der ikke nogen ensartet praksis på tværs af universiteterne eller indenfor det enkelte universitet. Side 16/45 Endvidere er eksamensområdet og den daglige praksis, qua det tætte bånd til uddannelse og faglige discipliner, historisk set blevet forvaltet tæt på studierne. I forlængelse heraf er der opstået lokale eksamens-kulturer og differentieringer af den skriftlige eksamen, som har udmøntet sig i en stor og varieret mængde af tilgange, udformninger og håndteringer af den skriftlige eksamen ikke blot på tværs af institutioner, men også indenfor det enkelte universitet. Mange steder forvaltes prøve- og eksamens-området til stadighed decentralt enten på institut eller fakultetsniveau, mens man dog på Aarhus Universitet i slutningen af demonstrationsprojektets periode har gennemført en centralisering af eksamensadministrationen. Demonstrationsprojektet stod derfor i sit udgangspunkt overfor en decentral organisering af eksamens-området, hvorfor der heller ikke har været en central kilde til overblik og kravspecifikation ved igangsætning af projektet. Der var ganske enkelt ingen på universitetet eller i universitetssektoren, som havde indsigt i alle de mange forskellige måder de skriftlige eksamener blev gennemført og forvaltet på, på tværs af alle universitetets studier. For at kunne tilvejebringe en brugbar løsning, var projektet således helt konkret fra start nødt til at vende sig mod brugerne i planlægningen og udviklingen af en digital løsning. Udviklingen af eksamensplatformen DigEx har således været bundet op på en stor brugerinddragelse og kontinuerlig evaluerings- og feedbackproces. Udviklingsarbejdet har være iterativt struktureret, hvor løbende afprøvning og brugerinvolvering tilstræbte trinvist at skabe en løsning, der i videst muligt omfang favnede brugernes forskelligartede arbejdsgange, behov og ønsker. Målet blev derfor heller ikke at udvikle en på én gang komplet løsning først, for dernæst at udrulle den trinvist i organisationen, som oprindeligt tænkt. 6 Målet blev i stedet gradvist at opbygge en løsning, hvor brugerne var med til at tilpasse den løbende, og i samme proces trinvist indføre den i organisationen. Kvaliteten af denne udviklingsproces blev blandt andet sikret gennem følgende forhold: Løbende dialog og supporthåndtering af brugerne. Direkte berøring med brugerne, gennem præsentationer og informationer om digitaliseringen af prøverne og løsningens funktionalitet og brug. Trinvis evaluering og monitorering af brugsmønstre og tilfredshed. Trinvis måling af besparelsespotentiale. Det blev derfor planlagt at gennemføre fire pilot- og udviklingstest undervejs i demonstrationsprojektet henholdsvis eksamenstermin vinter 2010/11, sommer 6 Jf. oprindelig projektplan angivet ved ansøgningstidspunktet i den endelige ansøgning (bilag a)

17 AARHUS UNIVERSITET 2011, vinter 2011/12 og sommer Pilottestene fungerede som løbende afprøvning og optimering af både de tekniske forhold omkring de involveredes brug af løsningen, såvel som selve workflowet i eksamensafviklingen som helhed. Da det af mange forskellige og indlysende årsager ikke er muligt at simulere gennemførelse af skriftlige eksamener, og da data og tilbagemelding i så fald ikke vil være validt, gennemførtes de enkelte pilottests på virkelige og konkrete eksamener i de pågældende perioder. Side 17/45 Projektplan og faser Den endelige projektplan endte med 6 distinkte faser, som havde følgende overordnede mål og struktur: FASE BESKRIVELSE START SLUT MÅL 1 Projektstart Designe processen - Få relevante parter og instanser tilknyttet 2 Udvikling og test Start udvikling af løsning - Test af brugbar hardware 3 Udvikling og pilottest Fortsat udvikling af løsning - Test af løsning 5 prøver - Igangsætning af afklaring vedr. drift 4 Udvikling og pilottest Fortsat udvikling af løsning - Test af løsning 2 x 25 prøver - Fortsat afklaring af overgang til 5 Udvikling og pilottest Fortsat udvikling af løsning drift - Test af løsning 50 prøver 6 Drift Overgang til drift - Endelig afklaring af overgang til drift 1. fase bestod i en kort afklaringsperiode, hvor krav til løsning blev kortlagt og udspecificeret mere i detaljer. Projektlederen blev udpeget og den overordnede tilgang til demonstrationsprojektet blev designet, herunder det konkrete eksamensworkflow som man ønskede at digitalisere. Endelig blev hovedinteressenter og samarbejdsorganisation (mellem Aarhus Universitet og Ingeniørhøjskolen i Aarhus) udpeget og der blev indledt dialog med disse. I relation til prøver under tilsyn, blev der udpeget relevant lokale og påbegynd kabling af dette til gennemførelse af test. 2. fase bestod i påbegyndelse af udviklingen af en decideret løsning for digitalisering af workflowet omkring de skriftlige prøver. Systemudviklere blev tilkoblet demonstrationsprojektet og der blev udført en række test af muligt brugbart hardware til digitaliseringen bl.a. digitale kuglepenne, mobile enheder og tab-

18 AARHUS UNIVERSITET lets. Endvidere blev prøver udpeget og med succes gennemført i nyetableret kablet prøvelokale mhp. de skriftlige prøver under tilsyn. Endelig blev der udført en nulpunktsmåling mhp. det arbejdskraftsbesparende potentiale. Side 18/45 Det bør bemærkes, at som konsekvens af, at Aarhus Universitet i løbet af 2010 blev udpeget som forsøgs-institution af det daværende Videnskabsministerium, i forbindelse med digitalisering af prøver under tilsyn (digitalisering af stedprøver), valgte man i demonstrationsprojektet at fokusere mere ensidigt på digitaliseringen af de skriftlige prøver uden tilsyn, og således ikke også forholde sig til stedprøvens særlige fokus på tilsynet. 3. fase bestod i forsat udvikling af en løsning til digitaliseringen af workflowet. Med baggrund i 2. fases test af relevant hardware og samarbejde med interessenterne, blev det desuden besluttet at gå efter en løsning som var online og baseret i skyen, således at løsningen var tilgængelig 24/7 og uafhængigt af sted og hardware-device (PC, Mac, Linux, tablet computer, mobiltelefon etc.). Sigtet for løsningen i denne fase var dog først og fremmest at sikre afviklingen af prøverne i et simpelt digitalt workflow uden udprint i processen. Kort sagt var succeskriteriet at muliggøre digital sikker udlevering af opgave, sikker upload af besvarelse og sikker distribution af besvarelserne til bedømmelse. De kommende prøver ved demonstrationsprojektets første pilottest (vinter 2010/11) blev udpeget og der foregik dialog og informering af de pågældende prøvers bedømmere. Endelig blev første pilottest udført på 5 prøver og der blev efterfølgende samlet op og afholdt et seminar om de indledende erfaringer. 7 Der blev desuden foretaget midtvejsmåling af det arbejdskraftsbesparende potentiale. Afslutningsvis i perioden og efter første vellykkede pilotforsøg, blev der taget hul på en begyndende drøftelse med Aarhus Universitets ledelse, med henblik på en efterfølgende idriftsættelse af løsningen. 4. fase bestod i fortsat udvikling af løsningen, nu korrigeret og udvidet på baggrund af 1. pilottests evalueringsresultater og kvalitative opsamlinger. Det overordnede sigte for løsningen blev nu at sikre, at det digitale workflow kunne foregå online via browser, også for bedømmelse-processen, samt etablere bedre redskaber for eksamensopsætningen for administratorerne og inkorporere de studerendes individuelle eksamensforsider. 8 Da fasen indeholdt 2 pilottest-perioder, blev der udviklingsmæssigt tillige samlet op efter 2. pilottest og udviklingen af løsningen fortsatte frem mod 3. pilottest, hvor fokus mestendels blev rettet direkte mod integration af løsningen med Aarhus Universitets studieadministrative system 7 Jf. uddybende information om 1. pilottest her: 8 Jf. uddybende information om 2. pilottest her:

19 AARHUS UNIVERSITET (STADS), således relevant eksamensdata automatisk kunne tilflyde løsningen. 9 Endvidere blev der arbejdet på at sikre løsningen kunne tilgås og bedømmelsen håndteres via ipad, ligesom webkonference (lyd og video) blev muliggjort for bedømmerne i relation til censur. Side 19/45 Forrige fases seminar hidkaldte en del interesse, hvorfor der i denne fases 2. pilottest (sommer 2011) kunne udføres test på 62 prøver mod projektplanens korrigerede mål om 25. Efter 2. pilottest blev der ligeledes opsamlet og evalueret, ligesom resultaterne blev præsenteret ved nationalt seminar om digital eksamen, arrangeret i regi af Videnskabsministeriet i december pilottest (vinter 2011/12) som også blev afviklet indenfor demonstrationsprojektets 4. fase, blev på grund af den stadig stigende interesse for deltagelse, gennemført med 107 prøver, mod de oprindeligt planlagte 25. Ligeledes blev der samlet op, evalueret og foretaget kvalitative interviews, ligesom der i forbindelse med den fortsatte drøftelse og udredning mhp. efterfølgende idriftsættelse, blev udfærdiget notat til ABT-fonden og Økonomistyrelsen fase bestod i fortsat udvikling og tilpasning af løsningen, korrigeret af de mange inputs, evaluering og afprøvning havde givet. Ud over konsolidering af løsningen, blev det overordnede sigte i udviklingsarbejdet at fokusere mere på bedømmernes muligheder, herunder inkorporere et meget efterspurgt værktøj til plagierings-tjek og mulighed for at kunne overføre noter foretaget offline fra ipad. 11 Således blev DigEx udvidet med plagieringsværktøjet URKUND med automatisk skanning af alle besvarelser og der blev udviklet en særlig DigEx-app. Atter var der stor interesse for deltagelse, og ved gennemførelsen af sidste pilottest 4 (sommer 2012) blev 209 prøver således afviklet gennem DigEx (mod de planlagte 50). Efterfølgende blev der samlet op via evaluering og via slutmåling af det arbejdskraftsbesparende potentiale. 6. fase bestod i overgang til drift af den udviklede DigEx-løsning. DigEx blev projektmæssigt forlænget internt til 1. november, mens Aarhus Universitet blev endelig afklaret om, hvorledes servicen lovmæssigt korrekt kunne videreføres på AU, efter frasalget af rettighederne. Ved projektafrapporteringen var Aarhus Universitet således i proces med etablering af udbud og sikring af service i interimperioden frem mod dette udbud. Inddragelse af brugere Med henblik på en bedst mulig udvikling af den digitale løsning (DigEx) i demonstrationsprojektet, og da der ikke eksisterede en samlet kravspecifikation eller 9 Jf. uddybende information om 3. pilottest her: 10 Jf. notat udarbejdet i samarbejde med ABT-fonden/Økonomistyrelsen (bilag b). 11 Jf. uddybende information om 4. pilottest her:

20 AARHUS UNIVERSITET overblik over de skriftlige eksamener forud for projektstart, blev det afgørende med inddragelse af brugergrupperne (studerende, bedømmere og studieadministration). Denne inddragelse skulle både tilvejebringe retning og feedback på de kvantitative og de kvalitative elementer af demonstrationsprojektets løsning og pilottests. Ud over de obligatoriske nulpunkts-, midtvejs- og slutmålinger som gav kvantitative indikationer om løsningens arbejdskraftsbesparende potentiale, blev der iværksat omfattende evalueringer af de kvalitative elementer efter hvert pilottest, ligesom der blev lavet kvalitative interviews og testimonials. Side 20/45 De kvantitative målinger af det arbejdsbesparende potentiale, gav ud over de resultatmæssige indikationer om besparelser (jf. nedenstående afsnit om målinger), også anledning til at forstå de enkelte aktørers grundlæggende arbejde og proces mere nøje. For at kunne foretage målinger af deres arbejde, var man nødt til at danne sig et overblik over arbejdsgangene, deres generalitet og sammenlignelighed på tværs af universitetet. Herfra kunne man nedbryde arbejdsgangene og processerne i sektioner, der kunne måles og sammenholdes med andre målinger. Dette arbejde og overblik kunne kun tilvejebringes med inddragelse af brugergrupperne særligt de personer som varetog studieadministration, bedømmelse og distribution af de skriftlige eksamener. For at tilvejebringe den nødvendige procesforståelse og overblik over arbejdsgange der skulle måles, blev der forud for nulpunktmålingen foretaget kvalitative interviews med en række nøglepersoner indenfor de forskellige brugergrupper. I samarbejde med disse blev arbejdsopgaver udpeget og fase-opdelt, således et endeligt måleskema kunne udfærdiges. Efterfølgende og løbende i demonstrationsprojektet blev selvsamme nøglepersoner rådført vedr. justering og ændring af skemaet, som følge af overgang til den digitaliserede proces, hvor nogle enkelte processer ændredes, nogle bortfaldt og nye opstod. De kvalitative evalueringer blev foretaget efter hver af de fire pilottest i demonstrationsprojektet, og blev foretaget på de tre brugergrupper. 12 Evalueringerne blev iværksat som spørgeskemaer, der blev udsendt semi-automatisk til hver enkelt bruger efter endt arbejdsproces i DigEx. Dvs. når den studerende havde uploaded endelig besvarelse, når bedømmeren havde færdiggjort bedømmelsen og givet karakter og når den eksamensansvarlige var færdig med eksamensperioden. Spørgeskemaet spurgte til brug, brugsmønstre og til tilfredshed, men havde også reserveret en række sektioner til uddybende svar, udviklingsforslag og evt. mangler og kritik. Endvidere blev enkelte personer fra de tre brugergrupper udvalgt til kvalitativ interview og optagelse af testimonials, på baggrund af deres tilkendegivelse om 12 Jf. Jf.