RAPPORT OPI-samarbejde mellem UNIwise og Universitetet i Agder, høsten 2013 Version 1.0
INDHOLDSFORTEGNELSE KORT AF PROJEKTET OMFANG OG ORGANISERING LØSNINGEN RESULTATER UDVIKLINGSFORLØB 2 2 3 4 4 i
KORT AF PROJEKTET Universitetet i Agder ønsker, som et af de første universiteter i Norge, at overgå til fuld digital eksamensafvikling. Med nutidens teknologiske løsninger er der mulighed for at implementere løsninger, som kan lette, effektivisere og højne kvaliteten i arbejdsgangene inden for uddannelsesområdet til gavn for både den studerende, det administrative personale og bedømmerne. Firmaet UNIwise leverer i dag løsningen WISEflow som Software as a Service. Løsningen kan afvikle eksamensflow for en række typer af eksamen. På denne baggrund er der gennemført et offentligt-privat innovationssamarbejde (OPI-Projektet) med henblik på at få tilpasset og testet løsningen WISEflow til afvikling af skoleeksamen og dets betydning for de IT- og forretningsmæssige interne processer og teknologier. Formålet med OPI-projektet for Universitetet i Agder har været at få skabt viden om og afprøvet nye måder at afholde digitale skoleeksamener sikkert. Formålet for UNIwise har været at udvikle egen viden på området i forhold til skoleeksamensafvikling, herunder afprøve og tilpasse det i WISEflow udviklede modul, FLOWlock. OMFANG OG ORGANISERING OPI-Projektet er gennemført i perioden 1. September 2013 31. Januar 2014. OPI-Projektet har indeholdt følgende faser: Fase 1: Tilpasning og klargøring af FLOWlock (UNIwise, pba. UNIwise Baggrundsviden) Fase 2: Test- og fejlretning (UNIwise, pba. UNIwise Baggrundsviden) Fase 3: Systemtest (Universitetet i Agder) Fase 4: Funktionalitets- og produktionstest på liveeksamener (Universitetet i Agder) Fase 5: Afslutning, udarbejdelse af rapport (Forgrundsviden) Baggrundsviden er immaterielle rettigheder, know-how og ikke-offentliggjorte opfindelser, som en part har rettighederne til ved OPI-Projektets opstart, og som den anden part gøres bekendt med eller som stilles til rådighed med henblik på udførelse af OPI-Projektet. Forgrundsviden er den viden, herunder know-how og de projektresultater, herunder immaterielle rettigheder, som genereres under samarbejdet om OPI-Projektet, uanset hvem der skaber denne viden. UNIwise har bidraget med følgende: WISEflow leveret som Service, jf. UNIwise standardkontrakt for op til 2.000 studerende 2
Leverance af FLOWlock til afvikling af skoleeksamen for forventet op til 10 eksamener og op til 600 studerende. Rådgivning og konsulenthjælp i forbindelse med afvikling af systemtest samt funktionalitetstest, herunder bidrag til udarbejdelse af afrapportering. LØSNINGEN FLOWlock fungerer i et samspil mellem WISEflow-platformen og en dedikeret Lock-Down- Browser, som installeres på den studerende computer. Når FLOWlock-browseren startes fra WI- SEflow er der ikke adgang til andet end netop denne browser på computeren, og kun til nøjagtigt de websider og bilag, som i forvejen er godkendt i opsætningen af eksamensflowet i WISEflow. Alle andre applikationer, systemhandlinger/-opdateringer, systemgenveje mv. låses ned mens browseren kører, hvilket sikrer at den studerende alene kan operere på computeren i netop dette sikrede, kontrollerede og web-baserede FLOWlock-modul. Eftersom FLOWlock-browseren er en almindelig applikation, der kan downloades og installeres fra WISEflow, kan den studerendes egen computer anvendes med høj grad af sikkerhed. uden videre sikkerhedsproblematikker. FLOWlock tilvejebringer en teksteditor for den studerende, hvori besvarelsen på en opgave kan udfærdiges, som løbende og automatisk gemmes i WISEflow. Opgaven bliver automatisk gjort tilgængelig ved eksamenens start og kan læses direkte i FLOWlock-modulet. Den studerende kan dernæst skrive sin besvarelse lige så længe eksamenen er aktiv, og når det ønskes, kan besvarelsen afleveres direkte fra FLOWlock. FLOWlock-browseren kan ikke lukkes af den studerende, før besvarelsen er afleveret eller deltageren vælger at afslutte eksamensflowet uden at aflevere.. Genåbning af samme eksamen, kan kun ske med accept (indtastning af password) af eksamensadministrator/eksamensvagt. Det gælder også hvis computeren har været afbrudt eller lukket ned. FLOWlock sørger i samspil med WISEflow-platformen for at der sendes kvittering og besvarelsen overgår videre til bedømmelse mv. Lock-down-browseren er bygget med netop det formål at afvikle sikre eksamener i forskelligartede webbaserede løsninger, og tager derfor også højde for forskellige former for forsøg på at omgå de indbyggede sikkerhedsmekanismer. Browseren kan ikke køres fra virtuelle miljøer, og der kan ikke køres uautoriserede scripts mens browseren kører, ligesom alle former for kommunikationsapplikationer, tidsbaserede programopstarter og systemopdateringer bliver forbipasseret af browseren, så længe den er i funktion. Lock-down-browseren leveres både i en stand-alone udgave til mac og pc, samt i en lab-udgave, til institutionelle maskiner, hvor deltageren fx ikke har administrator-adgang til at installere browseren selv. 3
FLOWlock beror på en dedikeret, zonedelt serverarkitektur, uden single-points-of-failure og med en dynamisk skalerbarhed, der sikrer kapacitet og tilgængelighed for alle FLOWlock-deltagere. Tre servere under ét dnssystem, men i hver deres fysisk adskilte zone, fungerer som loadbalancers til et variabelt antal FLOWlockservere. Disse servere varetager strømmen af data fra klienterne til en NoSQL-database med høj og skalerbar skrivehastighed, som i sig selv er fuld redundant. Det er derved usandsynligt, at det i sidste instans er skriveadgangen til databasen, der ikke er tilgængelig, men i højere grad sandsynligt, at det er et andet led i forbindelsen mellem deltageren og WISEflow, der kan risikere at fejle med manglende forbindelse til følge (computerens netkort, netværket i stedprøvelokalet, adgangen til nettet fra institutionens netværk mv.). RESULTATER Universitetet i Agder har i perioden 21. November til 19. December gennemført 9 af 10 planlagte skoleeksamener digitalt gennem WISEflow/FLOWlock. Det blev på selve eksamensdagen besluttet at afvikle én af de planlagte eksamener på papir. Nedenfor følger en nærmere beskrivelse af udviklings- og testforløbet, herunder en kort gennemgang af de erfaringer og tilpasninger der blev gjort undervejs. UDVIKLINGSFORLØB Forløbet fra frigivelse af FLOWlock først i november 2013 til sidste eksamen d. 19. december 2013 var ganske intensivt og bidrog med en række vigtige erfaringer med afvikling af sikre eksamener på studerendes egne computere (BYOD). Erfaringer, som ville have været vanskelige at opnå gennem traditionelle, standardiserede testforløb. Der er naturligvis ulemper i at køre så intensivt et forløb på rigtige eksamener - mest af alt fordi konsekvensen af opståede/uforudsete fejl kan være ganske alvorlig. Omvendt er det først under rigtige eksamener at et modent system kan testes fuldt ud; brugsmønsteret er anderledes, når ting foregår under pres, hvilket giver udslag i andre potentielle fejltyper, samtidig med at muligheden for hurtig og direkte afhjælpning af problemer er udslagsgivende for eksamenens uhindrede afvikling og systemets pålidelighed. Set i bakspejlet ville det formentlig have givet et endnu mere rent forløb, hvis de første af UiAs eksamener afviklet i FLOWlock havde haft mere karakter af simulerede, low-stakes prøver, efterfulgt af en lidt længere periode med efterudvikling og implementering af rettelser inden den endelige række af rigtige eksamener. Det ville ihvertfald have givet on-site personalet mere erfaring og deraf følgende tryghed ifht. at afhjælpe in situ hændelser. Det ændrer dog ikke ved, at forløbet er lykkes med at afvikle eksamen successfuldt for omkring 400 studerende, samt trykprøvet FLOWlock-browseren på samme antal forskellige personlige 4
computere. Derudover er forbindelsen til WISEflow fra FLOWlock-browseren trykprøvet over forskellige netværk i forskellige grader af signalkvalitet. Den erfaring som dette har givet, er meget svær at opnå ved traditionel simulering af computeropsætning og netværksforbindelse, og har givet mulighed for at konsolidere og stabilisere FLOWlock i særlig høj grad. Teknisk set har de største udfordringer i forløbet således også været at sørge for, at FLOWlockbrowseren fungerer pålideligt og stabilt på alle supporterede Windows og Mac-maskiner. Ældre Mac-maskiner viste sig at have problemer med at oprette en sikker forbindelse til WISEflow i FLOWlock-browseren, og måtte derfor undlades i piloten. Visse ældre udgaver af Windows viste sig at have problemer med at afdække, hvorvidt de reelt havde forbindelse eller ej til netværket, hvilket resulterede i, at den automatiske genetablering af forbindelse i FLOWlock ikke fungerede i første del af forløbet. Derudover blev den vedvarende forbindelse mellem FLOWlock-browseren og WISEflow afprøvet på svage netværksforbindelser, hvor store dele af kommunikationen gik tabt, hvilket gav indblik i, hvordan den løbende lagring skulle fintunes, for ikke at blive påvirket heraf. I ett tilfelle blev også selve Respondus-løsningen endret fra leverandøren underveis, noe som skapte overraskelser på eksamen. I det følgende er forløbet skitseret i forhold til de forskellige løbende implementeringer foretaget på baggrund af brugerfeedback og sparring med universitets projektgruppe. 5
1. NOVEMBER 2013 WISEFLOW 1.2.1 FRIGIVELSE TIL EKSTERN TEST PÅ UNIVERSITET I AGDER FLOWlock tilgængeliggøres på Universitet i Agders licens, hvorved modulet kan testes i WISEflow. Modulet gør det muligt at oprette og opsætte flows, hvor udleveringen af opgaven til den studerende og den efterfølgende udfærdigelse af besvarelsen foregår online i en skræddersyet og sikret browser på den studerendes egen PC. En række ekstraindstillinger på flowet er med til at højne sikkerheden for, at kun studerende, der reelt sidder i prøvelokalet kan deltage i prøven. FEEDBACK Modulet lever i det store hele op til forventningerne hvad angår sikkerhed, brugervenlighed og funktionalitet. Der er nogle ønsker og forslag til funktionalitet, som ses som nødvendige, for fleksibelt at kunne afvikle prøver, samt for at øge sikkerheden: Forlængelse af prøvens sluttid (generelt/individuelt), mens flowet er i gang. Adgangskode på Exit -knap, så studerende ikke kan afslutte FLOWlock-browseren uden tilladelse Visse computere kan ikke forbinde til WISEflow fra FLOWlock-browseren 18. NOVEMBER 2013 WISEFLOW 1.2.2 NYE FUNKTIONER, RETTELSER OG FORBEDRINGER Ændring af sluttiden mens flowet er i gang er nu blevet tilgængelig for administratoren. Adgangskode er blevet påkrævet, for at den studerende kan afslutte FLOWlock-browseren. Problemerne med at skabe forbindelse til WISEflow fra FLOWlock-browseren er isoleret til at gælde Mac-computere med OS/X 10.6. Der kan ikke laves et hurtigt workaround, da Safaribrowseren ikke findes i en tilstrækkelig ny version til de aktuelle OS/X-versioner, og denne er nødvendig for FLOWlock-browseren for at kunne kommunikere sikkert med WISEflow. 21. NOVEMBER - FEEDBACK PÅ FØRSTE LIVE EKSAMEN Umiddelbart vellykket eksamen, hvor 69 ud af 70 udførte og afleverede digitalt (én udførte fra starten på papir pga. usupporteret OS/X). Tre af de studerende mistede forbindelsen undervejs, og afleverede indirekte gennem den indbyggede mulighed for lokal sikkerhedskopi. Der blev registreret et teknisk problem, hvor en ustabil internetforbindelse kunne bringe en kli- 6
ents FLOWlock-browser i et stadie, hvor ændringer i besvarelsen ikke længere fortløbende blev gemt. Derudover var der enkeltstående problemer med computere, der mistede forbindelsen til WISEflow og ikke automatisk kunne genoprette forbindelsen igen - deraf de tre indirekte afleveringer. Førstnævnte problem resulterede efter alt at dømme i at en studerende mistede dele af sin besvarelse undervejs, hvilket derfor var af højeste prioritet at få løst. 25. NOVEMBER 2013 WISEFLOW 1.2.2(.92) ØGET LOGNING, SEKUNDÆR BACKUP OG FEJLRETTELSE Den potentielle fejl omkring den fortløbende lagring af besvarelsen er rettet, således at fejl i netkommunikationen ikke vil kunne påvirke FLOWlock-browserens lagringsmekanik. Derudover er der indbygget en ekstra backup-mekanik af bevarelsen i forbindelse med den studerendes aflevering, således at den fortløbende databaselagrede besvarelse altid suppleres af en ren kopi af besvarelsen i WISEflows object-storage. Endelig er det blevet indbygget i FLOWlock, at den studerende efter aflevering automatisk gives manuel mulighed for at lave lokal sikkerhedskopi. Logning af de studerendes aktivitet undervejs i FLOWlock-prøven er udbygget, således at et komplet billede af prøvens gang for hver enkelt studerende kunne rekonstrueres, og fungere som dokumentation i eventuelle tvivlsmål. Den meget korte tid til udvikling, test og implementering af disse features medførte desværre, at en planlagt digital eksamen måtte udføres på analogt i stedet for i FLOWlock. Èn af de tilføjede log-meddelelser blev fejlfortolket af serveren, hvilket medførte at ikke alle studerende kunne oprette forbindelse til WISEflow fra FLOWlock-browseren, hvorfor det in situ blev besluttet at afvikle eksamenen på papir i stedet. 27. NOVEMBER - FEEDBACK FRA EKSAMEN Generelt vellykket eksamen, hvor alle 22 afleverede digitalt, heraf én indirekte gennem den indbyggede lokale sikkerhedskopi. Enkelte studerende oplevede problemer med at deres Maccomputer ikke kunne forbinde til WISEflow, og overgik til reserve-pc ere i stedet. Der blev skabt direkte dialog mellem UNIwise og de berørte studerende, og det blev deraf afdækket, at FLOWlock-browseren til Mac OS/X 10.7 anvendte Safari 5-motoren, selvom Safari 6 var installeret på maskinen. Dette resulterede i en beslutning om, at Mac OS/X 10.7 ikke var supporteret i den resterende del af pilotperioden, eftersom der ikke kunne garanteres tilstrækkelig sikkerhed for forbindelse til WISEflow med FLOWlock-browseren. 7
4. DECEMBER 2013 WISEFLOW 1.2.2(.94) SMÅJUSTERINGER I BRUGERINTERFACE OG TILFØJELSE AF PROCTOROPTIONS Nogle mindre og ikke kritiske rettelser blev implementeret, samtidig med at det blev muliggjort at foretage nogle enkelte proctor options ( Manual reconnect og Alternative hand in ). Disse indbyggede værktøjer muliggjorde eksamensvagtens afhjælpning af visse problemer i forhold til genetablering af forbindelse til nettet, hvis ikke den automatiske genetablering lykkedes. 6. DECEMBER - FEEDBACK FRA EKSAMENER Fire eksamener blev afviklet denne dag, hvor i alt 123 studerende udfærdigede og afleverede deres besvarelse i FLOWlock. En del måtte anvende reserve-pc, da deres Mac havde styresystemet OS/X 10.7, som var blevet erklæret usupporteret tidligere på ugen. En enkelt studerende mistede noget skrevet tekst i forbindelse med en kombination af undo og refresh i browseren. Det lykkedes UNIwise at føre besvarelsen nogle revisioner tilbage, hvorved den studerende kunne fortsætte med den komplette tekst. En betragtelig del af de studerende mistede forbindelsen til internettet undervejs, og FLOWlock lykkedes ikke automatisk at genetablere forbindelsen, hvorved de studerende endte med at aflevere indirekte gennem den indbyggede mulighed for lokal sikkerhedskopi. I pilotudgaven af FLOWlock foregår afleveringen af lokale sikkerhedskopier manuelt ved at de tilsendes UNIwise, der lægger dem ind i systemet. En lokal sikkerhedskopi er bygget således op, at den ikke vil kunne valideres af WISEflow, hvis der ændres i filen efter at den er blevet gemt i FLOWlock. Derved bibeholdes sikkerheden for en ægte besvarelse, der ikke kan være ændret uden for de sikrede rammer af FLOWlock-browseren. Det har derfor fra starten været planen, at det i den endelige driftsudgave af FLOWlock skal være muligt for den studerende, selv at uploade sikkerhedskopien til WISEflow efter prøven er slut, FLOWlock lukket og en forbindelse til internet genetableret. I princippet kan dette gøres både timer og dage efter prøvens afslutning. 11. DECEMBER 2013 WISEFLOW 1.2.2(.98) INTERNET EXPLORER RECONNECT OG FLERE PROCTOROPTIONS Efter en længere afklaringsrunde i forhold til problemet med automatisk genetablering af internetforbindelse i FLOWlock-browseren, blev problemet fundet i selve måden FLOWlock opdaterer 8
sin interne forbindelses-status. Ældre udgaver af Internet Explorer (som FLOWlock-browseren trækker på i Win XP og Win Vista) reagerede ustabilt på den metode, der løbende kontrollerer forbindelsen til nettet. Ved at omskrive denne metode lykkedes det at få den automatiske genetablering af forbindelse til at fungere konsekvent på alle Windows platforme. Betaudgave af et monitoreringsværktøj, såvel som en betaudgave af dynamiske revisionsoversigter blev implementeret, til brug for UNIwise under de resterende eksamener. 12. DECEMBER - FEEDBACK FRA EKSAMEN Højskolen i Telemarken deltog med en enkelt eksamen, hvor 40 studerende udfærdigede og afleverede succesfuldt. En enkelt studerende mistede forbindelsen lige efter prøvens start og fik aldrig forbindelse igen. Da vedkommende forsøgte at gemme en lokal sikkerhedskopi crashede FLOWlock-browseren. Vedkommende afleverede i stedet på papir. 13. DECEMBER - FEEDBACK FRA EKSAMENER Fordelt over tre eksamener udfærdigede og afleverede 153 studerende deres eksamensbesvarelse i FLOWlock uden nævneværdige problemer, og var således en succesfuld kombination af velfungerende mekanik og velforberedt personale. IT-afdelingen på Universitet udførte kompetent overvågning af det trådløse netværk, og det kunne bl.a. verificeres, at de enkelte studerende, der oplevede udfald i netforbindelsen, alle havde valgt et andet trådløst netværk end det oplyste, hvorved forbindelsen ikke var optimal. Disse studerende blev hjulpet undervejs til at afslutte FLOWlock-browseren, vælge det rigtige netværk, hvorefter de kunne fortsætte hvor de slap, men uden netværksudfald. En studerende oplevede igen, at browseren crashede, da vedkommende forsøgte at lagre den lokale sikkerhedskopi. Et større antal studerende oplevede ligeledes, at browseren crashede, efter besvarelsen var vel afleveret og FLOWlock-browseren blev forsøgt lukket. UNIwise registrerede at en indbygget dialog i selve FLOWlock-browseren på visse Windowsmaskiner, som studerende skulle klikke på i forbindelse med opstart af browseren, blev gemt bag et af de vinduer som browseren samtidig åbnede op, hvorved dialogen aldrig blev lukket. Dette blev mistænkt for at være årsagen til at browseren i visse tilfælde kunne crashe, når der blev udført browser-relaterede handlinger (luk browser, tilgå filsystem/ lagring af sikkerhedskopi). 19. DECEMBER - FEEDBACK FRA EKSAMEN 30 studerende udfærdigede og afleverede deres besvarelse i FLOWlock, uden nævneværdige problemer. 9
21. JANUAR 2014 WISEFLOW 1.2.2(.104) OFFLINE-DIALOG, SIDETALSANGIVELSE OG NY FLOWLOCK-BROWSER TIL WINDOWS Hvis en studerende mister forbindelsen til nettet, vil der nu blive vist en dialog, der forklarer mere detaljeret om, hvad det betyder og at vedkommende skal starte med at gemme sikkerhedskopier manuelt, så længe forbindelsen ikke er til stede. Et generelt ønske fra de studerende om en dynamisk sideomfang-angivelse som supplement til den løbende tegnoptælling er tilmed blevet indbygget. Leverandøren af lock-down browseren (Respondus) har, på baggrund af UNIwise og UiA s debugging efter 13. december, derudover leveret et nyt windows-build af browseren, som sikrer, at den påkrævede dialog ved opstart af FLOWlock bibeholdes øverst, og at man ikke kan fortsætte i FLOWlock uden at klikke den af. Herved skulle problemerne med at FLOWlock-browseren crasher i forbindelse med lagring af sikkerhedskopi samt afslutning efter aflevering være løst. 30. JANUAR - FEEDBACK FRA TESTEKSAMENER Tre testeksamener blev afviklet med omkring 30 studerende i alt, der forsøgte at teste FLOWlockbrowserens funktionalitet og stabilitet mere indgående. Der blev ikke tilkendegivet nogle kritiske fejl eller mangler, men et problem med den indbyggede låse-kombinationsgenvej i Windows, som efterfølgende gjorde det umuligt at skrive videre i FLOWlock uden at genstarte den, er blevet taget videre i UNIwise s dialog med leverandøren af lock-down browseren. Det var også muligt at starte eksamen med en ældre version af Flowlock, hvilket der fremover automatisk kontrolleres for. Andre behov som blev afdækket på denne test var: Cut og Undo (ctrl-x, ctrl-z) fungerede ikke på alle computere. WISEFLOW 1.3.0 FRIGIVES MEDIO MARTS 2014 KONSOLIDERING AF FLOWLOCK I DRIFTSVERSION MED BL.A.: INDBYGGET REVISIONSOVERSIGT, IND- BYGGET UPLOAD-MULIGHED AF SIKKERHEDSKOPI, WEB-CAM BILLEDER SOM EKSTRAMATERIALE, MONI- TORERINGS-VÆRKSTØJ TIL OVERVÅGNING AF LIVE-EKSAMEN. 10