Digitale skriftlige prøver Eksisterende løsninger, løsningskoncepter og potentialevurdering

Digitale skriftlige prøver Eksisterende løsninger, løsningskoncepter og potentialevurdering BILAG 6. maj 2014 ENDELIG

Indholdsfortegnelse Bilag 1: Erfaringer med digitale skriftlige prøver... 3 Bilag 2: Standardeksamensløsninger... 8 Bilag 3: Tilgang til proces- og ressourcekortlægning... 10 Bilag 4: Beregning af effektiviseringspotentiale... 15 Bilag 5: Procesdiagrammer for nuværende og fremtidige processer forbundet med skriftlige prøver... 16 Bilag 6: Eksisterende systemer på grundskole- og avu-området... 27 Bilag 7: Ikke-funktionelle krav... 29 Bilag 8: Businesscases... 32 Bilag 9: Deloittes midtvejsrapportering... 38 2 Digitale skriftlige prøver

Bilag 1: Erfaringer med digitale skriftlige prøver Deloitte har indhentet erfaringer med danske implementeringer af digitale eksamener fra Aarhus Universitet (AU), Syddansk Universitet (SDU) og Professionshøjskolerne (UC). De tre projekter dækker cirka 80 procent af institutionerne på de videregående uddannelser i Danmark, idet AU har indgået samarbejde med KU, RUC, AAU og CBS om et fælles udbudsprojekt. Internationalt er der indhentet erfaringer fra Norge og Australien. AU og SDU er udvalgt som interessante aktører af arbejdsgruppen, idet de begge har arbejdet med digitale eksamener i en årrække og har valgt forskellige tilgange og løsningsdesign. UC har for nylig gennemført et udbud af en digital eksamensplatform, og da de på flere punkter ligner gymnasier og grundskoler mere end universiteterne, er de også medtaget i en afdækning af de nationale erfaringer. Deloittes analyse har taget afsæt i en gennemgang af tilgængeligt materiale, samtaler og interview med aktørerne. Deloitte har gennemført interview med følgende personer: Professionshøjskolerne: Interview af programleder, Anne Eskildsen. Syddansk Universitet: Interview af e-læringskonsulent, Pernille Stenkil Hansen, og systemansvarlig for e-læring, Martin Dollerup Nielsen. Desuden indhentning af oplysninger om økonomi for udvikling af eksamensløsninger fra it-chef, Kurt Gammelgaard Nielsen. Aarhus Universitet: Interview af vicedirektør for AU Studier Driftsstab, Maria Volf Lindhardt og chefkonsulent i AU Studier Driftsstab, Hans Jørgen Hansen. Aarhus Universitet Aarhus Universitet (AU) har siden 2008 arbejdet med digitalisering af eksamener og har netop gennemført et udbud af en platform til håndtering af digitale eksamener. Udbuddet blev gennemført sammen med henholdsvis AAU, RUC, CBS og KU. Forud for udbuddet har AU gennemført to pilotprojekter et for digital aflevering af skriftlige prøver med tilsyn (digitale stedprøver, USB-løsning) og et for digital aflevering af skriftlige prøver uden tilsyn (DigEx). DigEx-projektet har siden ført til oprettelsen af virksomheden UNIwise og en kommercialisering af DigEx i form af WISEflow. De to pilotprojekter har givet input til de krav, AU har stillet til den nye løsning. Tabel 1. Beskrivelse af Aarhus Universitets digitale eksamensløsning Område Procesunderstøttelse Beskrivelse AU s nye løsning skal understøtte samtlige processer i eksamensflowet fra en underviser stiller opgaven, til opgaven i sidste ende er bedømt og arkiveret. Planlægning af prøver foregår dog i et andet system, og arkivering af opgaver sker i AU s ESDHsystem. Både prøveplanlægning og arkivering vil være integreret til eksamensløsningen. 3 Digitale skriftlige prøver

Område Prøveformer Teknisk løsning Drift Faglige og økonomiske gevinster Beskrivelse Både skriftlige og mundtlige prøver. De skriftlige stedprøver uden eller med begrænsede hjælpemidler udgør langt den største udfordring. AU ønsker at have maksimal kontrol over sin tekniske løsning, så AU kan styre udviklingen og sikre, at den fremover bedst muligt understøtter AU s særlige krav til digitale prøver. Dette taler for valget af en ikke-standardløsning. AU har valgt leverandøren Arcanic, der har rødder i universitetssektoren og står bag LMS et CampusNet. Arcanic udvikler en ny løsning til AU m.fl., men tilbyder at genbruge allerede udviklede komponenter. Leverandøren drifter løsningen, men de enkelte universiteter kan vælge at hjemtage driften, hvis de ønsker det på et senere tidspunkt. De enkelte universiteter får separate driftsmiljøer, der sikrer uafhængighed mellem dem. AU har langtfra samme udfordring med spidsbelastninger, som gymnasie-, grundskole og avuområderne forventes at få. Det primære sigte med en udbygget it-understøttelse ligger for AU ikke på effektivisering, men på opfyldelse af lovkrav (at overholde den fællesoffentlige digitaliseringsstrategi), moderniseret understøttelse af prøver og eksamener samt smidige processer for universitetets administrative personale. Syddansk Universitet Syddansk Universitet (SDU) har haft learning-management-system Blackboard siden 2001 og har løbende udviklet standardplatformen. Siden 2010 har SDU med brug af interne udviklerressourcer arbejdet på at digitalisere de skriftlige stedprøver og har blandt andet udviklet komponenterne SDU Assignment, SDU Scribble og SDU Boot. Tabel 2. Beskrivelse af Syddansk Universitets digitale eksamensløsning Område Procesunderstøttelse Prøveformer Teknisk løsning Drift Faglige og økonomiske gevinster Beskrivelse SDU s løsning fokuserer på understøttelse af prøveafvikling og digital aflevering af prøver. Der er ikke fuld procesunderstøttelse på tværs af de anvendte moduler, hvorfor løsningen indeholder en del manuelle processer (for eksempel upload af PDF-filer med r til plagiatkontrol, manuelle forsendelser af PDF-filer med r til censorer og manuel arkivering af r). SDU ønsker at understøtte digital aflevering af stort set alle prøveformer. Prøver uden eller med begrænsede hjælpemidler er de mest krævende prøveformer og stiller store krav til itunderstøttelsen. Blackboard og egenudviklede komponenter: SDU Assignment (anonym digital aflevering), SDU Scribble (software til digital pen, der muliggør digitalisering af håndskrift), SDU Boot (USB-løsning til hindring af snyd). Exam4 til afvikling af rent tekstbaserede prøveformer med begrænset eller ingen adgang til hjælpemidler. Respondus LockDown Browser til afvikling af digitale prøver uden adgang til hjælpemidler. Øvrige tekniske tiltag mod snyd: Stikprøver af netværkstrafikken under stedprøverne, herunder mobile scannere, der spotter aktive mobiltelefoner i lokalet. Universitetet drifter og vedligeholder selv løsningen. SDU har langtfra samme udfordring med spidsbelastninger, som gymnasie-, grundskole- og avuområdet forventes at få. SDU ser ikke noget stort effektiviseringspotentiale i digitalisering af skriftlige prøver. De forventer tværtimod, at udgifterne til de skriftlige prøver vil blive højere med øget digitalisering. Det primære sigte med udbygget it-understøttelse ligger ifølge SDU ikke på effektivisering, men på moderniseret understøttelse af prøver såvel som opfyldelse af den fællesoffentlige digitaliseringsstrategi. Professionshøjskolerne Professionshøjskolerne har for nylig gennemført et udbud af et digitalt eksamenshåndteringssystem og har valgt standardsystemet WISEflow fra virksomheden UNIwise. Før udbuddet brugte nogle af 4 Digitale skriftlige prøver

professionshøjskolerne allerede WISEflow, mens andre brugte løsninger fra Arcanic, Fronter og itslearning. Alle professionshøjskolerne, undtaget Metropol, er med i implementeringen. Metropol er med som option. Tabel 3. Beskrivelse af professionshøjskolernes digitale eksamensløsning Område Procesunderstøttelse Prøveformer Teknisk løsning Drift Faglige og økonomiske gevinster Beskrivelse Understøtter oprettelse af prøver, udlevering af prøver, aflevering, bedømmelse og karaktergivning. Eksamensplanlægning, skemalægning, lokalebooking, censorallokering mv. vil ikke være understøttet af professionshøjskolernes nye løsning. Disse processer vil eventuelt blive inkluderet på et senere tidspunkt. Professionshøjskolerne vil understøtte aflevering af stort set alle prøveformer, herunder de løbende afleveringer af opgaver, der er en forudsætning for, at en studerende kan gå op til eksamen. Professionshøjskolernes løsning strækker sig dermed ind over det område, der typisk er dækket af learning-management-systemerne (LMS). Professionshøjskolerne ønsker ikke prøveformer uden hjælpemidler, hvorfor stedprøver uden eller med begrænsede hjælpemider ikke er omfattet af de understøttede prøveformer. Standardsystem (WISEflow). Professionshøjskolerne har prioriteret hurtig implementering og standardisering over fleksibilitet og ejerskab. SSO med UNI Login og WAYF. Måske NemID senere. Et par udenlandske og en række danske leverandører viste interesse for udbuddet. Kun én leverandør bød på opgaven. Professionshøjskolerne understøtter kun eksamener, hvor hjælpemidler er tilladt. Snydproblematik fylder ikke meget, og professionshøjskolerne overvejer ikke i noget særligt omfang tekniske foranstaltninger til at hindre snyd. Leverandøren UNIwise hoster løsningen, men professionshøjskolerne kan flytte eller selv overtage driften, hvis de ønsker det på et senere tidspunkt. Krav om 10.000 samtidige afleveringer og op til 300.000 eksamener om året. Prismodel: Engangssum for køb af komponenter. Betaling for videreudvikling og for drift, vedligehold og support. Professionshøjskolerne vurderer ikke, at der er decideret faglige fordele ved den digitale løsning, udover at den giver de studerende et let overblik over deres opgaver og prøver. Der estimeres med besparelser svarende til cirka 6 mio. kr. om året. Australien Det australske Department of Education har igangsat et projekt om implementering af digitale prøver. Projektet er rettet mod førskoleelever til og med grundskoleniveau, hvilket omfatter cirka 10.000 skoler og 1,2 millioner elever. Løsningen skal skaleres for at sikre, at alle 1,2 millioner elever potentielt kan gå til eksamen på samme tid. Tabel 4. Beskrivelse af Australiens digitale eksamensløsning Område Procesunderstøttelse Prøveformer Teknisk løsning Drift Beskrivelse Løsningen dækker den fulde eksamensproces fra opgaveudarbejdelse til endelig karaktergivning. Derudover er det planlagt, at løsningen også skal kunne anvendes som en del af den løbende undervisning (løbende opgaver og test), herunder af forældre, i en senere fase. Løsningen understøtter alle brugte prøveformer (herunder løbende opgaver og test, eksamensopgaver og stedprøver), men primært multiple choice-prøver. Løsningen er delt op i komponenter (prøveudarbejdelse, distribution, adgangsstyring, rapportering etc.), der potentielt kan leveres af forskellige udbydere. Udbud er ved at blive gennemført for at anskaffe et eller flere standardsystemer eventuelt med en grad af tilpasning/udvikling, hvis ikke alle krav er understøttet. Løsningen vil have høj belastning i en kort periode hvert år (op til 1,2 million samtidige brugere), hvilket har ledt til valg af en cloudbaseret platform, der muliggør midlertidig skalering. 5 Digitale skriftlige prøver

Område Faglige og økonomiske gevinster Beskrivelse Den digitale løsning skal forventes at forbedre de nationale test og gøre det muligt at levere nye, fleksible prøver af høj kvalitet, der understøtter elevernes læring. Norge Norge er ligesom Danmark godt i gang med at indføre digitale skriftlige prøver, og det norske UNI- NETT, der er ejet af Kunnskapsdepartementet, har nedsat en national arbejdsgruppe, som har til opgave at koordinere indsatsen for digitale eksamener i universitets- og højskolesektoren. Arbejdsgruppen skal blandt andet understøtte videndeling blandt pilotprojekterne og formulere fælles retningslinjer og anbefalinger for området. UNINETT har indgået intentionsaftaler med leverandørerne Inspera og UNIwise, der på sigt bliver til udviklingsaftaler på vegne af sektoren. Blandt de universiteter, der er længst fremme, er Universitetet i Agder (UIA), Universitetet i Oslo (UiO) og Universitetet i Tromsø. Handelshøyskolen BI anses også for førende, men da de har afgrænset sig fra stedprøver og kun understøtter hjemmeopgaver, medtages de ikke her. På Universitetet i Oslo har juridisk fakultet i de seneste år arbejdet med at indføre digitale eksamener, og i 2014 forventes hele fakultetet at benytte digitale eksamener. Juridisk fakultet har udelukkende fokus på stedprøver uden hjælpemidler og har egenudviklet en portalløsning, hvortil eksaminanderne anvender fakultetets udstyr (stationære computere med Windows), der låses for brug af programmer udover Word. Løsningen giver mulighed for at digitalisere hele eksamensprocessen fra opgaveudarbejdelse til karaktergivning. Universitetet i Agder har i samarbejde med Ansgar Teologiske Høgskole og Mediehøgskolen Gimlekollen gennemført en række pilotprojekter, hvor forskellige løsninger er afprøvet herunder UNIwise og Fronter. UNIwise har indgået et OPI-samarbejde (offentligt-privat innovationssamarbejde) med Universitetet i Agder om afprøvning og tilpasning af FLOWlock, der er WISEflows modul til sikker afvikling af eksamener. Universitetet i Tromsø har også indgået aftale med UNIwise om pilotafprøvning af digitale prøver og undersøger samtidig muligheden for at anvende portalløsningen fra Universitetet i Oslo eller et fremtidigt nationalt system. På grundskole-, avu- og gymnasieområdet har det norske undervisningsministerium siden 2007 udviklet og implementeret en løsning, der understøtter distribution af prøver, aflevering af r og digitalisering af de administrative processer for eksamensafvikling. Løsningen er delt op i et prøveadministrationssystem (PAS) og et prøvegennemførelsessystem (PGS). PAS understøtter de administrative processer i forbindelse med afholdelse af eksamener, herunder administration af eksamener såvel som bedømmelses- og klageprocesserne. PGS anvendes i forbindelse med gennemførelse af eksamenerne, hvor eksaminanderne henter eksamensopgaven, udfærdiger deres og uploader og afleverer n i PGS. PGS understøtter ligeledes den eksamensansvarliges opgaver under eksamen. Til forskel fra universitetsløsningerne afgrænses løsningen fra hindring af snyd, der i stedet er et lokalt ansvar. PGS understøtter også afvikling af prøver i forbindelse med nationale test og diagnostiske prøver. Norges digitale eksamensløsning anvendes til alle fag undtagen matematik, der er en todelt eksamen. 6 Digitale skriftlige prøver

Tabel 5. Beskrivelse af de norske digitale eksamensløsninger Område Procesunderstøttelse Prøveformer Teknisk løsning Drift Faglige og økonomiske gevinster Beskrivelse I universitetssektoren har der været et initialt fokus på den tekniske understøttelse af prøveafviklingen og hindring af snyd, men projekterne har nu stigende fokus på den fulde procesunderstøttelse fra opgaveudarbejdelse til bedømmelse. Den nationale løsning på grundskole-, avu-, og gymnasieområdet understøtter det fulde eksamensflow, mens snydproblematikken anses for at være et lokalt anliggende. Der eksperimenteres med flere prøveformer, herunder hjemmeopgaver, stedprøver med og uden hjælpemidler og multiple choice-prøver. I universitetssektoren er der generelt fokus på standardløsninger. Universitetet i Olso har dog egenudviklet en eksamensplatform til afvikling af stedprøver, og den nationale løsning til grundskole-, avu- og gymnasieområdet er udviklet af Utdanningsdirektoratet. På universiteterne er der indtil videre tale om spredte projekter, der ikke skal understøtte eksamener i større skala og derfor ikke har et større antal samtidige brugere. Driftsansvaret for løsningerne varierer alt efter, om der er tale om egenudviklede løsninger eller standardsystemer. Den nationale løsning på grundskole-, avu- og gymnasieområdet driftes af Utdanningsdirektoratet. Den norske nationale arbejdsgruppe under UNINETT har fokus på potentialet for udvikling af nye eksamensformer i forbindelse med digitaliseringsprocessen. Der er dog endnu ikke nogen klare anbefalinger. 7 Digitale skriftlige prøver

Bilag 2: Standardeksamensløsninger Nedenfor følger en overordnet beskrivelse af de digitale løsninger fra de fire leverandører, der besvarede Deloittes request for information (RFI). Inspera Inspera Assessment er en norsk end-to-end eksamensløsning, der understøtter hele eksamensflowet og en række prøveformer, herunder både essaybaserede opgaver, selvrettende prøver og andre interaktive prøveformer. Inspera anvendes til nationale test i Norge og bruges desuden til diagnostiske test i grundskolerne i Oslo. Derudover anvender syv universiteter og høgskoler Inspera. Løsningen er cloudbaseret og bliver hostet hos Amazon Web Services i Irland. Løsningen indeholder ingen personfølsomme data, da eksaminander identificeret ved hjælp af et eksamens-id, der refererer til personhenførbare data i institutionernes studieadministrative systemer. Driftsarkitekturen er elastisk og understøtter ifølge Inspera mere end 100.000 samtidige eksamener. I august/september 2013 blev der gennemført 450.000 nationale test i Norge på Insperas platform. I denne periode var der ved de største spidsbelastninger 9-10.000 samtidige brugere, og den norske installation er ifølge Inspera testet til at kunne håndtere 21.000 samtidige brugere. RM Results RM Results er en engelsk leverandør, der tilbyder en modulbaseret løsning, der understøtter afvikling af forskellige prøvetyper såvel som administrative processer før, under og efter eksamenen. Løsningen understøtter ikke p.t., at elever kan bruge deres egne programmer til at udarbejde en med efterfølgende upload af n, men dette kan ifølge RM Results udvikles. RM Results har ikke p.t. plagiatkontrol. RM Results tilbyder at hoste løsningen i UK med elastisk infrastruktur, hvor RM Results påtager sig ansvaret for, at applikation og infrastruktur kan håndtere det forventede load. Leverandøren tilbyder dog også, at kunder selv står for drift, og bistår i så fald i fornødent omfang med installation, uddannelse mv. RM Results har ikke angivet specifikke kundereferencer i deres svar på Deloittes RFI, men ifølge RM Results understøttede deres løsning i 2013 bedømmelse af mere end 5 millioner prøver worldwide. UNIwise WISEflow er et dansk eksamenshåndteringssystem med fokus på understøttelse af processerne før, under og efter prøver. Systemet understøtter skriftlige, summative prøver med understøttelse af diverse bilag og er senere udbygget til også at understøtte stedprøver uden hjælpemidler, flermoduls- og kombinationsprøver, og fra efteråret 2014 vil der ifølge UNIwise også være moduler til understøttelse af multiple choice og mundtlige prøver. Løsningen kan integreres til planlægnings- og studieadministrative systemer, men kan også fungere som stand-alone-system. UNIwise tilbyder løsningen som SaaP (software as a product) og som SaaS (software as a service), hvor UNIwise står for drift af infra- 8 Digitale skriftlige prøver

struktur og løsning med mulighed for automatisk adgang til den funktionalitet, UNIwise udvikler for andre kunder. UNIwises driftspartner er Netic A/S, der driver flere kritiske løsninger i Danmark (herunder det nationale Fælles Medicinkort). Driftsarkitekturen er elastisk og kan skaleres til det ønskede behov. WISEflow benyttes i dag i både Danmark, Sverige, Norge, Island og Grønland og på folkeskole-, gymnasie-, professionshøjskole- og universitetsniveau. Med de netop erhvervede professionshøjskoler er der +100.000 tilknyttede brugere til WISEflow, og UNIwise forventer en fordobling heraf indenfor det kommende år. itslearning itslearning er en dansk/norsk LMS, der foruden moduler til undervisning og læring også understøtter afholdelse af digitale eksamener herunder de administrative processer før, under og efter eksamen. Eksamensopgaverne formuleres i en editor, der giver mulighed for forskellige typer indhold og vedhæftede filer. Løsningen understøtter også multimodale opgaver. Løsningen understøtter BYOD og fokuserer på den essaybaserede eksamensform, hvor eksaminanden uploader en, der er udformet lokalt. Løsningen er cloudbaseret og driftes på itslearnings servere i skyen. Infrastrukturen er fleksibel og skalerbar, og løsningen kan ifølge itslearning godt understøtte 60.000 samtidige brugere. itslearning overtager i sommeren 2014 Skoleintra, der er et udbredt skoleintranet og LMS på grundskoleområdet. Bergen Kommune i Norge har siden 2008 anvendt itslearnings eksamensløsning. Lectio For beskrivelse af MaCom og systemet Lectio henvises der til rapportens kapitel 4, afsnit 4.3. 9 Digitale skriftlige prøver

Bilag 3: Tilgang til proces- og ressourcekortlægning For at kvalificere det foreliggende løsningskoncept og den tilhørende businesscase på gymnasieområdet og udarbejde et løsningskoncept og en potentialevurdering for grundskolen og avu-området har Deloitte foretaget en grundig proces- og ressourcekortlægning. For grundskole-, avu- og gymnasieområdet har Deloitte anvendt en systematik med kortlægning af de nuværende processer, indsamling af data om ressourceforbruget i processerne, kvalitetssikring af processer og ressourceforbrug med repræsentanter fra områderne og udarbejdelse af potentialevurdering. Tilgang til kortlægning af nuværende processer og ressourceforbrug I forbindelse med dataindsamlingen på de tre områder har Deloitte anvendt en tilgang i fire trin. Formålet har været at sikre inddragelse af repræsentanter fra områderne for dels at forstå hvert trin i processerne for aflæggelse af skriftlige prøver, herunder særlige forhold, som de fremadrettede løsningskoncepter skal tage højde for, dels at kvalitetssikre resultaterne undervejs og dermed underbygge potentialevurderingen. Kortlægning af processer Dataindsamling Databehandling Kvalitetssikring og fortolkning Kortlægning af processerne i diagrammer Kvalitetssikring af processerne med Undervisningsministeriet Kvalitetssikring af processer med repræsentanter fra institutionerne/skolerne Udarbejdelse af spørgeskemer på baggrund af procesbeskrivelser Kvalitetssikring af spørgeskemaer Gennemførelse af spørgeskemaundersøgelser med fokus på ressourceforbrug og udgifter relateret til de administrative aktiviterer i processerne Validering af r og frasortering af outliers Beregning af kvartiler, median og gennemsnit Udarbejdelse af beregninger af absolut tidsforbrug og tidsforbrug per elev for henholdsvis små, mellemstore og store institutioner/skoler Drøftelse af tidsforbrug på hver enkelt aktivitet med repræsentanter fra institutionerne/skolerne Drøftelse af usikkerhedsfaktorer og årsager til udsving Kvalificering af repræsentative gennemsnit Kortlægning af processer Processerne er kortlagt, fra institutionerne indmelder elever/kursister og censorer til prøverne, til en eventuel klagesag er behandlet, og eksamensbeviset er udarbejdet. Der er i kortlægningen lagt vægt på de administrative aktiviteter, der er nødvendige for at gennemføre prøverne, og som med fordel kan digitaliseres. Processerne for henholdsvis gymnasiet, grundskolen og avu er dokumenteret i diagrammer med svømmebaner, der viser aktørerne i processen, bokse, som viser hver aktivitet, og pile, der viser flowet mellem aktiviteterne. Kortlægningen fremhæver blandt andet skift og afhængigheder mellem aktører og eventuelle tilbageløb i de nuværende processer. Aktører i processerne er Undervisningsministeriet, institutionerne, eleverne og bedømmerne. 10 Digitale skriftlige prøver

Procesdiagrammerne er indledningsvist kvalitetssikret med medarbejdere fra prøveområdet i Undervisningsministeriet. De er efterfølgende kvalitetssikret og verificeret med repræsentanter fra institutionerne på workshops for henholdsvis det almene gymnasium, erhvervsgymnasiet, grundskolen og avu. Der er store ligheder i processerne for prøveaflæggelse i gymnasiet, grundskolen og avu. Den primære forskel er proceduren for bedømmelse, der for gymnasieområdet omfatter et centralt censormøde, hvilket ikke anvendes på grundskole- og avu-området. Hertil er der forskel på håndteringen af elever med særlige behov, og gymnasieområdet er præget af større kompleksitet og større risiko for fejl, fordi det er individuelt, hvilke eksamener den enkelte elev skal op til. Overordnet set er der dog tale om det samme forløb. Nedenfor er indsat diagram over processen for prøveaflæggelse for grundskolen. Diagrammer for hvert område findes i bilag 5. Generisk proces for stedprøver UVM og trykkeri Opgavekommission laver + ekstra i i DOPLO UVM planlægger censur Eksternt bureau trykker og laver materiale til elever med særlige behov Eksternt bureau pakker og distribuerer håndterer bestillinger af ekstra Fagkonsulenter mv. retter stikprøve af r og rettedirektiv Skole/institution melder elever/ kursister og censorer ind bestiller ekstra Adm. modtager og kontrollerer, distribuerer evt. til andre afdelinger, opbevarer i i Korrekte pengeskab og korrekt antal? Prøveansvarlig pakker ud og fordeler til prøvelokaler Tilsynsførende uddeler til hver enkelt elev/kursist printer karakterlister Tilsynsførende noterer, at elev/ kursist har afleveret Adm. sorterer r, fordeler, pakker og kører til forsendelse Adm. modtager r, fordeler til lærere modtager og arkiverer r indtaster karakterer i i studieadm. system Skoleleder/ forstander behandler klage Skoleleder/ forstander afviser klage Klage imødekommes? Skoleleder/ forstander hører bedømmere og fastlægger ny karakter prøvebevis indtaster ny karakter i i studieadm. system Elev/kursist Elev/kursist besvarer prøve Elev/kursist printer, underskriver og afleverer samt evt. digital backup Elev/kursist tilfreds med karakter? Elev/kursist klager over karakter Bedømmere Bedømmer 1 (censor) bedømmer Bedømmer 1 (censor) pakker r og sender til skole/inst. Bedømmer 2 (lærer) bedømmer Bedømmere drøfter evt. karakter pr. telefon Bedømmere underskriver karakterlister Bedømmer 2 (lærer) afleverer r og karakterlister på skole/inst. Bedømmer 1 (censor) sender karakterlister til skole/inst. Dataindsamling Ressourceforbruget i de nuværende processer er kortlagt ved hjælp af en spørgeskemaundersøgelse for henholdsvis gymnasiet, grundskolen og avu. Spørgeskemaerne er udarbejdet på baggrund af de kortlagte processer og er koncentreret om de administrative aktiviteter og udgifter, der relaterer sig til håndteringen af fysiske prøver og prøver, og som vil ændres eller falde bort som følge af digitalisering. Konkret er der spurgt ind til det anslåede tidsforbrug i minutter i skoleåret 2012-2013 og til driftsudgifterne for seneste regnskabsår. Herudover er der spurgt ind til institutionernes anvendelse af it-systemer i forbindelse med prøver og løbende opgaveaflevering. De udarbejdede spørgeskemaer er sendt i høring hos Kvalitets- og Tilsynsstyrelsen, UNI C og henholdsvis Rektorforeningen, VUC-lederforeningen og Skolelederforeningen med henblik på kvalitetssikring af spørgeskemaerne inden gennemførelse af spørgeskemaundersøgelserne. Det har resulteret i, at enkelte spørgsmål er taget ud, slået sammen eller præciseret, så spørgeskemaerne er målrettet modtagerne mest muligt. Spørgeskemaundersøgelserne er gennemført ved hjælp af et webbaseret værktøj. Undersøgelserne er gennemført blandt henholdsvis alle gymnasiale institutioner, alle institutioner, der udbyder avu, og en stikprøve på 400 grundskoler, der omfatter både folkeskoler, privatskoler og frie grundskoler. Stikprøven på grundskolen er udtaget ved stratificeret udvælgelse, der tager højde for repræsentativitet i 11 Digitale skriftlige prøver

forhold til skolernes størrelse og geografiske placering. Skemaet nedenfor viser institutioner i spørgeskemaundersøgelserne og gennemførte r. Tabel 6. Antal institutioner i Deloittes spørgeskemaundersøgelse og svarprocent Gymnasiet avu Grundskolen Institutioner omfattet af spørgeskemaundersøgelserne Alle gymnasiale institutioner, såvel almene som erhverv Alle institutioner, der udbyder avu Stikprøve, der tager højde for skolernes størrelse og geografi Antal institutioner i spørgeskemaundersøgelserne Antal institutioner, der har gennemført 221 29 400 139 17 135 Svarprocent 63 % 59 % 35 % Databehandling Data i de indkomne r fra spørgeskemaundersøgelserne er valideret i tre trin: Vurdering af repræsentativitet af stikprøven i forhold til institutionernes størrelse og regionale tilhørsforhold. For såvel gymnasiet, grundskolen som avu er de indkomne r repræsentative for populationernes sammensætning i forhold til størrelse og regioner. Vurdering af hver institutions samlede tidsforbrug i processen. Her er hele r med ekstraordinært højt eller lavt samlet tidsforbrug (outliers) frasorteret. Vurdering af spredning i institutionernes tidsforbrug på hver aktivitet. Her er enkelte svar med ekstraordinært højt eller lavt tidsforbrug på den pågældende aktivitet (outliers) frasorteret. Herefter er der for hvert af de tre områder udarbejdet følgende beregninger: Beregning af 25 procent kvartil, median, 75 procent kvartil og gennemsnit. Beregninger er udarbejdet for det samlede tidsforbrug per institution for henholdsvis store, mellemstore og små institutioner på gymnasieområdet, for avu samlet set og for henholdsvis store, mellemstore og små skoler på grundskolen. Beregninger er udarbejdet for tidsforbruget per elev/kursist for henholdsvis store, mellemstore og små institutioner på gymnasieområdet, for avu samlet set og for henholdsvis store, mellemstore og små skoler på grundskolen. Beregning af den gennemsnitlige fordeling af tidsforbruget på personalegrupper. Fordelingen er beregnet for hver aktivitet. Kvartiler og gennemsnit udtrykker spredningen i rne, hvilket har givet input til drøftelser i forbindelse med kvalitetssikring af dataene. Det nedre og øvre kvartil er anvendt som udtryk for et spænd, som effektiviseringspotentialet forventes at ligge indenfor. 12 Digitale skriftlige prøver

Kvalitetssikring og fortolkning Til kvalitetssikring af de indkomne data er der gennemført workshops med repræsentanter fra den administrative opgaveløsning i forbindelse med prøveaflæggelse for henholdsvis det almene gymnasium (A-gym), erhvervsgymnasiet (E-gym), avu og grundskolen. Her er de kortlagte processer valideret, og de enkelte aktiviteter er præciseret eller suppleret. Fokus har dog været på at drøfte tidsforbruget og omkostningerne i processerne med særlig fokus på dataudsving. Formålet har været at kvalificere et repræsentativt gennemsnitligt tidsforbrug og omkostning per elev/kursist for hvert område. Beregningerne har vist, at der ikke er store udsving mellem store og små institutioner, hvorfor der ikke er anvendt en opdeling af datagrundlaget for hvert område. På baggrund af drøftelserne er der foretaget enkelte justeringer af de beregnede tal. Med udgangspunkt i de beregnede gennemsnit og enkelte justeringerne er der således fastlagt et repræsentativt gennemsnitligt tidsforbrug og omkostning per elev/kursist for henholdsvis gymnasiet, grundskolen og avu til brug for potentialevurderingen. Nedenstående justeringer i de indmeldte data er foretaget på baggrund af kvalitetssikring af de indkomne data og drøftelser på workshop. Gymnasiet Avu Grundskolen Tidsforbrug ved aflevering af prøver Gennemsnitligt tidsforbrug per institution er reduceret med halvdelen på baggrund af drøftelser på workshopper Tidsforbrug per elev er reduceret fra 7,5 minutter til 4,5 minutter på baggrund af drøftelser på workshop Omkostninger til print Median anvendes i stedet for gennemsnit på baggrund af drøftelser på workshop Omkostninger til eksterne vagter Udeladt, da omkostningen indgår via tidsforbrug i forbindelse med aflevering Udeladt, da omkostningen indgår via tidsforbrug i forbindelse med aflevering Udeladt, da omkostningen indgår via tidsforbrug i forbindelse med aflevering Omkostninger til andet Udeladt Udeladt Udeladt Kortlægning af ressourceforbrug i Undervisningsministeriet I tillæg til dataindsamlingen på institutionerne er der indhentet data på ressourceforbrug og omkostninger relateret til de centrale aktiviteter i Undervisningsministeriet. Data er indhentet hos Kvalitets- og Tilsynsstyrelsen ved hjælp af et separat spørgeskema, der er udarbejdet på baggrund af den kortlagte proces, og som indeholder spørgsmål til aktiviteter og udgifter, der afholdes i Undervisningsministeriet. De indkomne data er drøftet og valideret telefonisk med Kvalitets- og Tilsynsstyrelsen. Beregning af effektiviseringspotentiale for tidsforbrug Det validerede gennemsnitlige tidsforbrug for hvert af de tre områder er omregnet til et effektiviseringspotentiale ved hjælp af den gennemsnitlige fordeling på personalegrupper, som blev kortlagt i spørgeskemaundersøgelsen, og nedenstående timesatser for hver personalegruppe. Timesatserne er baseret på de gennemsnitlige lønudgifter for personalegrupperne, inklusive ferie og pension. Der er ikke indregnet overhead. For gymnasiet og avu er timesatserne baseret på data for 4. kvartal 2013 fra forhandlingsdatabasen, Moderniseringsstyrelsen. For grundskolen er timesatserne baseret på data for december 2013 fra SIRKA, Kommunernes og Regionernes Løndatakontor. 13 Digitale skriftlige prøver

Tabel 7. Timesatser, der indgår i Deloittes beregninger af effektiviseringspotentiale Gymnasiet Avu Grundskolen Timesatser decentralt (kr. per time) HK Akademiker Ekstern vagt 219 310 197 Lærer HK Akademiker Intern vagt Ekstern vagt 271 219 310 164 164 Lærer HK Akademiker Skoleleder Intern tilsynsførende Ekstern tilsynsførende 254 189 261 343 164 164 Timesatser centralt (kr. per time) KTS 354 KTS 354 KTS 354 Estimater og udsving De samlede potentialer for henholdsvis arbejdstid og driftsomkostninger viser, at der er forskellige grader af spænd i de estimater, som er beregnet. Alle estimater og gennemsnit er drøftet og valideret med repræsentanter for sektorerne på workshops. Det er således anerkendt, at der findes spænd mellem estimaterne, som har flere forskellige årsager. Disse årsager er afdækket og kvalificeret på de forskellige workhops: Først og fremmest er opgørelsen af tid og omkostninger på institutionerne gennemført ud fra en skønsmæssig vurdering af opgavernes omfang på baggrund af respondenternes hukommelse. Dette skaber en usikkerhed sammenlignet med en konkret måling af det reelle tidsforbrug (eller af reelle driftsomkostninger) i forbindelse med selve opgavens gennemførelse. Dertil kommer, at det på tværs af institutionerne varierer, hvordan opgaverne tilrettelægges og gennemføres der er forskellige processer og procedurer, som involverer et forskelligt antal personer. For eksempel kan kvalitetssikringsprocedurer variere i omfang fra den ene institution til den anden. Endelig er der også forskel på, hvilke personalegrupper, der løser opgaverne, og dette har betydning for, hvor mange lønkroner, der anvendes til den konkrete opgaveløsning. Med hensyn til driftsomkostninger har det i nogle tilfælde også været vanskeligt for institutionerne at adskille driftsudgifterne til prøverne fra de samlede driftsudgifter. Disse forhold udgør til sammen og hver for sig de mulige forklaringer på de spænd, der ses i estimaterne for det decentrale ressourceforbrug. 14 Digitale skriftlige prøver

Bilag 4: Beregning af effektiviseringspotentiale Gymnasiet Effektiviseringspotentialet for gymnasieområdet er dokumenteret i følgende to Excel-filer: Bilag 4 Gymnasier Udregning tidsforbrug.xlsx Bilag 4 Gymnasier Afrapportering.xlsx Grundskolen Effektiviseringspotentialet for grundskoleområdet er dokumenteret i følgende to Excel-filer: Bilag 4 Grundskole Udregning tidsforbrug.xlsx Avu Effektiviseringspotentialet for avu-området er dokumenteret i følgende to Excel-filer: Bilag 4 Avu Udregning tidsforbrug.xlsx Alle Excel-filer er vedlagt som bilag til rapporten. 15 Digitale skriftlige prøver

Bilag 5: Procesdiagrammer for nuværende og fremtidige processer forbundet med skriftlige prøver Processerne for henholdsvis gymnasiet, grundskolen og avu er dokumenteret i diagrammer med svømmebaner, som viser aktørerne i processen, bokse, som viser hver aktivitet, og pile, der viser flowet mellem aktiviteterne. Kortlægningen fremhæver blandt andet skift og afhængigheder mellem aktører og eventuelle tilbageløb i de nuværende processer. I det følgende er de nuværende processer for hvert område gengivet. Hvert af procesdiagrammerne er kvalitetssikret med repræsentanter for processerne for hvert område. 16 Digitale skriftlige prøver

Bedømmere Elev Institution UVM og trykkeri Processer for gymnasiet Figur 1. Nuværende proces for gennemførelse af skriftlige stedprøver Opgavekommission laver + laver + ekstra i ekstra i DOPLO UVM udtrækker elever og planlægger censur melder elever og censorer ind Eksternt bureau trykker Eksternt bureau pakker og pakker og distribuerer distribuerer Adm. modtager og kontrollerer, opbevarer i i pengeskab håndterer håndterer bestillinger af ekstra bestillinger af ekstra Korrekte og korrekt antal? omslag til prøver Adm. håndterer fejl i i pakning og forsendelse (bestiller ekstra sæt) Eksamensansvarlig pakker ud og fordeler til eksamenslokaler Nuværende proces for stedprøver GYM håndterer fejl og udsender evt. ny prøve pr. mail UVM planlægger og indkalder til censormøde printer evt. ny prøve retter henvendelse til UVM vedr. fejl sorterer r mv. klargør mapper, udskriver karakterlister, labels mv. Eksamensvagt uddeler til hver enkelt eksaminand Rette prøve til rette elevgruppe? Eksamensvagt noterer, at elev har noterer, at elev har afleveret og afleveret og kontrollerer sider kopierer, fordeler, pakker og kører til forsendelse Elev besvarer prøve Elev printer, underskriver og afleverer samt evt. digital udgave Bedømmer evaluerer Besvarelse bedømt to gange? Bedømmer 1 pakker og sender til bedømmer 2 Bedømmere mødes til centralt møde i til centralt møde i Odense, medbringer Odense, medbringer r Bedømmere bliver enige om karakter UVM sorterer r og karakterlister, pakker og sender til institutionerne modtager og arkiverer r indtaster karakter i i studieadm. system Elev tilfreds med karakter? Bedømmere underskriver karakterlister Rektor behandler klage Elev klager over karakter Rektor afviser klage Klage imødekommes? Bedømmere genbedømmer opgave og opgave og fastlægger ny fastlægger ny karakter eksamensbevis indtaster ny karakter i i studieadm. system 17 Digitale skriftlige prøver

Censor (ekstern) Vejleder Elev Institution Figur 2. Nuværende proces for store skriftlige opgaver (SSO og SRP) Nuværende proces for skriftlig prøve, som ikke er stedprøve GYM fordeler r, fordeler r, pakker til vejleder pakker til vejleder og censor og sender og censor og sender til censor arkiverer r registrerer karakterer i i studieadm. system Elev besvarer prøve Elev printer og afleverer prøve i i 4 kopier Vejleder(e) formulerer og udleverer prøve Vejleder bedømmer Vejleder afleverer r på institutionen Vejleder underskriver karakterliste og afleverer på institution Censor og vejleder drøfter pr. telefon og fastlægger karakter Censor bedømmer Censor underskriver karakterliste og sender pr. post 18 Digitale skriftlige prøver

Bedømmere Elev Institution UVM og opgavekommission Figur 3. Fremtidig proces for skriftlige stedprøver i gymnasiet Opgavekommission laver Prøvesæt uploades til XIT UVM udtrækker elever og planlægger censur XPRS indlæser stamdata til XIT Elever og censorer meldes ind via XPRS Adm. kontrollerer at elever og elever og bedømmere er korrekt tilmeldt / bedømmere er korrekt tilmeldt / tilknyttet Elever korrekt tilmeldt? Prøvesæt kvalitetssikres i i XIT Adm. håndterer fejl i i tilmeldinger tilmelder eksaminand i i XIT Eksaminand tilgår Fremtidig proces for stedprøver GYM UVM planlægger og indkalder til censormøde Studieadm. systemer henter karakterer Elev tilfreds Elev besvarer prøve med karakter? Korrekt tilgængeligt? Elev uploader i i XIT og modtager kvittering Bedømmer tilgår Bedømmere mødes til centralt møde i til centralt møde i Odense, medbringer Odense, medbringer r Bedømmer evaluerer Bedømmer uploader noter og feedback Bedømmere bliver enige om karakter Bedømmere registrerer karakterer i i XIT og underskriver digitalt Rektor behandler klage Elev klager over karakter Rektor afviser klage Klage imødekommes? Bedømmere genbedømmer opgave, fastlægger og registrerer ny karakter eksamensbevis Studieadm. System henter ny karakter 19 Digitale skriftlige prøver

Censor (ekstern) Vejleder Elev Institution Figur 4. Fremtidig proces for store skriftlige opgaver (SSO og SRP) Fremtidig proces for skriftlig prøve, som ikke er stedprøve GYM Elever, vejledere og censorer tilmeldes prøver Studieadm. system henter karakter Elev besvarer prøve Elev afleverer prøve i i system Vejleder(e) formulerer og udleverer prøve Vejleder tilgår og bedømmer Censor og vejleder bliver enige om karakter Censor og vejleder registrerer karakter og underskriver digitalt Censor tilgår og bedømmer 20 Digitale skriftlige prøver

Bedømmere Elev Skole UVM og trykkeri Processer for grundskolen Figur 5. Nuværende proces for gennemførelse af skriftlige stedprøver Opgavekommission laver + laver + ekstra i ekstra i DOPLO UVM planlægger censur og registrerer censur og registrerer bestillinger af bestillinger af materiale til særlige materiale til særlige behov Adm. registrerer elever med særlige behov og bestiller særligt materiale melder elever ind Eksternt bureau trykker og laver materiale til elever med særlige behov Eksternt bureau pakker og pakker og distribuerer distribuerer Adm. modtager og kontrollerer, opbevarer i i pengeskab håndterer håndterer bestillinger af ekstra bestillinger af ekstra bestiller ekstra Korrekte og korrekt antal? Prøveansvarlig pakker ud og fordeler til prøvelokaler Nuværende proces for stedprøver GRUND Fagkonsulenter mv. retter stikprøve af r og r og rettedirektiv printer karakterlister Adm. sorterer r, fordeler, pakker og kører til forsendelse Tilsynsførende uddeler til hver enkelt elev Tilsynsførende noterer, at elev har afleveret Adm. modtager r, fordeler til lærere Elev besvarer prøve Elev printer, underskriver og afleverer samt evt. digital backup Bedømmer 1 (censor) bedømmer Bedømmer 2 (lærer) bedømmer Bedømmer 1 (censor) pakker r og sender til skolen modtager og arkiverer r indtaster karakterer i i studieadm. system Elev tilfreds med karakter? Bedømmere drøfter evt. karakter pr. telefon Bedømmere underskriver karakterlister Skoleleder behandler klage Elev klager over karakter Bedømmer 2 (lærer) afleverer afleverer r og karakterlister på r og karakterlister på skolen Bedømmer 1 (censor) sender karakterlister til skolen Skoleleder afviser klage Klage imødekommes? Skoleleder hører bedømmere og fastlægger ny karakter prøvebevis indtaster ny karakter i i studieadm. system 21 Digitale skriftlige prøver

Bedømmere Elev Skole UVM og opgavekommission Figur 6. Fremtidig proces for skriftlige stedprøver Opgavekommission laver UVM planlægger censur Elever og censorer meldes ind via PAS Prøvesæt uploades til løsningen PAS indlæser stamdata til løsningen Adm. kontrollerer at elever og elever og bedømmere er korrekt tilmeldt / bedømmere er korrekt tilmeldt / tilknyttet Prøvesæt kvalitetssikres i i løsningen Adm. håndterer fejl i i tilmeldinger Elever korrekt tilmeldt? Fremtidig proces for stedprøver GRUND It-kyndige klargør skolens eller elevernes devices tilmelder elev i i løsningen Elev uploader eller i i løsningen Elev modtager kvittering på kvittering på aflevering af i aflevering af i løsningen Elev tilgår Elev besvarer prøve Korrekt tilgængeligt? Bedømmer tilgår Bedømmer evaluerer Bedømmer uploader eller registrerer eller registrerer noter i løsningen og noter i løsningen og noterer karakter Studieadm. systemer henter karakterer Elev tilfreds med karakter? Bedømmere registrerer karakter i registrerer karakter i løsningen og løsningen og underskriver digitalt Bedømmere bliver enige om karakter Skoleleder behandler klage Elev klager over karakter Skoleleder afviser klage Klage imødekommes? Skoleleder hører bedømmere, bedømmere, fastlægger og registrerer ny fastlægger og registrerer ny karakter prøvebevis Studieadm. system henter ny karakter 22 Digitale skriftlige prøver

Bedømmere Kursist Institution UVM og trykkeri Processer for avu Figur 7. Nuværende proces for gennemførelse af skriftlige stedprøver Opgavekommission laver + ekstra i i DOPLO UVM planlægger censur melder kursister og censorer ind Eksternt bureau trykker Eksternt bureau pakker og distribuerer Adm. modtager og kontrollerer, distribuerer evt. til andre afdelinger, opbevarer i i pengeskab håndterer bestillinger af ekstra bestiller ekstra Korrekte og korrekt antal? Eksamensvagt uddeler til hver enkelt eksaminand Eksamensansvarlig pakker ud og fordeler til prøvelokaler Nuværende proces for stedprøver avu Fagkonsulenter mv. retter stikprøve af r og rettedirektiv Kursist med særlige behov? Eksamensvagt Adm. sorterer indscanner prøve og r, distribuerer til printer karakterlister fordeler, pakker og eksaminand med kører til forsendelse særlige behov Eksamensvagt modtager noterer, at kursist r har afleveret og fordeler til lærere Kursist printer, underskriver Kursist besvarer og afleverer prøve samt evt. digital udgave Bedømmer 1 Bedømmer 2 (lærer) (censor) bedømmer bedømmer Bedømmer 1 (censor) pakker r og sender til institution modtager og arkiverer r indtaster karakter i i studieadm. system Kursist tilfreds med karakter? Bedømmere drøfter evt. karakter pr. telefon Bedømmere underskriver karakterlister Forstander behandler klage Kursist klager over karakter Bedømmer 2 (lærer) afleverer r og karakterlister på skolen Bedømmer 1 (censor) sender karakterlister til skolen Forstander afviser klage Klage imødekommes? Forstander hører bedømmere og fastlægger ny karakter eksamensbevis indtaster ny karakter i i studieadm. system 23 Digitale skriftlige prøver

Bedømmere Kursist Institution UVM og opgavekommission Figur 8. Fremtidig proces for gennemførelse af skriftlige stedprøver Opgavekommission laver UVM planlægger censur Kursister og censorer meldes ind via XPRS Prøvesæt uploades til løsningen XPRS indlæser stamdata til løsningen Adm. kontrollerer at kursister og kursister og bedømmere er korrekt tilmeldt / bedømmere er korrekt tilmeldt / tilknyttet Prøvesæt kvalitetssikres i i løsningen Adm. håndterer fejl i i tilmeldinger Kursister korrekt tilmeldt? It-kyndige klargør skolens eller kursisternes devices Kursist tilgår Fremtidig proces for stedprøver avu tilmelder kursist i i løsningen Kursist uploader eller i i løsningen Kursist uploader i i løsningen og modtager kvittering Kursist besvarer prøve Korrekt tilgængeligt? Bedømmer tilgår Bedømmer evaluerer Bedømmer uploader eller registrerer eller registrerer noter i løsningen og noter i løsningen og noterer karakter Studieadm. systemer henter karakterer Kursist tilfreds med karakter? Bedømmere registrerer karakter i registrerer karakter i løsningen og løsningen og underskriver digitalt Bedømmere bliver enige om karakter Rektor behandler klage Kursist klager over karakter Rektor afviser klage Klage imødekommes? Bedømmere genbedømmer opgave, fastlægger og registrerer ny karakter eksamensbevis Studieadm. system henter ny karakter 24 Digitale skriftlige prøver

Bedømmere Elev/kursist Skole/institution UVM og trykkeri Figur 9. Oversigt over procestrin, som bortfalder ved digitalisering Opgavekommission laver + laver + ekstra i ekstra i DOPLO UVM planlægger censur melder elever/ kursister og censorer ind Eksternt bureau trykker og laver materiale til elever med særlige behov Eksternt bureau pakker og pakker og distribuerer distribuerer Adm. modtager og kontrollerer,, distribuerer evt. til andre afdelinger, opbevarer i i pengeskab håndterer håndterer bestillinger af ekstra bestillinger af ekstra bestiller ekstra Korrekte og korrekt antal? Prøveansvarlig pakker ud og fordeler til prøvelokaler Tilsynsførende uddeler til hver enkelt elev/kursist Elev/kursist besvarer prøve Generisk proces for stedprøver printer karakterlister Tilsynsførende noterer, at elev/ kursist har afleveret Fagkonsulenter mv. retter stikprøve af r og r og rettedirektiv Adm. sorterer r, fordeler, pakker og kører til forsendelse Adm. modtager r, fordeler til lærere modtager og arkiverer r indtaster karakterer i i studieadm. system Skoleleder/ forstander behandler klage Skoleleder/ forstander afviser klage Klage imødekommes? Elev/kursist printer, underskriver og underskriver og afleverer afleverer samt evt. digital samt evt. digital backup Elev/kursist tilfreds med karakter? Elev/kursist klager over karakter Bedømmer 1 (censor) bedømmer Bedømmer 1 (censor) pakker r og sender til skole/inst. Bedømmer 2 (lærer) bedømmer Bedømmere drøfter evt. karakter pr. telefon Bedømmere underskriver karakterlister Bedømmer 2 (lærer) afleverer r og karakterlister på skole/inst. Bedømmer 1 (censor) sender karakterlister til skole/inst. Skoleleder/ forstander hører bedømmere og fastlægger ny karakter prøvebevis indtaster ny karakter i i studieadm. system 25 Digitale skriftlige prøver

Bedømmere Elev/kursist Skole/institution UVM og trykkeri Randsystemer Test- og prøvesystemet UNI Login UVM datavarehus Opgavekommission laver + ekstra i DOPLO UVM planlægger censur melder elever/ kursister og censorer ind Eksternt bureau trykker og laver materiale til elever med særlige behov Eksternt bureau pakker og distribuerer Adm. modtager og kontrollerer, distribuerer evt. til andre afdelinger, opbevarer i pengeskab håndterer bestillinger af ekstra bestiller ekstra Korrekte og korrekt antal? Prøveansvarlig pakker ud og fordeler til prøvelokaler Tilsynsførende uddeler til hver enkelt elev/kursist Elev/kursist besvarer prøve Generisk proces for stedprøver Fagkonsulenter mv. retter stikprøve af r og rettedirektiv Adm. sorterer Skoleleder/ r, modtager og forstander afviser printer karakterlister fordeler, pakker og arkiverer klage prøvebevis kører til forsendelse r Skoleleder/ Tilsynsførende Adm. modtager Skoleleder/ forstander hører noterer, at elev/ r, fordeler indtaster karakterer forstander bedømmere og indtaster ny karakter kursist har afleveret til lærere i studieadm. system behandler klage fastlægger ny i studieadm. system karakter Klage imødekommes? Elev/kursist printer, Elev/kursist underskriver og tilfreds med Elev/kursist klager afleverer karakter? over karakter samt evt. digital backup Bedømmer 2 (lærer) Bedømmer 1 Bedømmer 2 (lærer) Bedømmere drøfter afleverer r og karakter- (censor) bedømmer bedømmer evt. karakter pr. telefon lister på skole/inst. Bedømmer 1 Bedømmer 1 Bedømmere (censor) pakker (censor) sender underskriver r og karakterlister til karakterlister sender til skole/inst. skole/inst. Studieadministration Prøveplanlægning Prøveudarbejdelse 26 Digitale skriftlige prøver