DET HUMANISTISKE FAKULTET KØBENHAVNS UNIVERSITET. E-Aflevering. Afrapportering for forår og efterår 2011 (projektets 2. og 3.

Transkript

1 DET HUMANISTISKE FAKULTET KØBENHAVNS UNIVERSITET E-Aflevering Afrapportering for forår og efterår 2011 (projektets 2. og 3. semester) Projektleder Annette Q Pedersen, ITMEDIA og projektgruppen for E-Aflevering. Marts 2012

2 Indholdsfortegnelse Projektet og dets baggrund... 3 E- aflevering på Det Humanistiske Fakultet... 3 Projekt: E-Aflevering Projektets overordnede formål... 3 Fremgangsmåde: Inddragelse og gennemsigtighed... 3 Delmål F Delmål E Projektorganisering... 4 Baggrund for projektet... 4 Forårssemesteret Opfølgning på evalueringerne fra E Studerende... 6 Institutadministratorerne... 6 Censorer... 6 Undervisere... 7 Eksamensmedarbejdere... 7 Løsninger på de tekniske udfordringer... 7 Forberedelser til E Eksamensmedarbejdernes forberedelser... 7 Fildistribution til censorer... 8 Scannemuligheder på fakultetet... 8 ipads til undervisere... 8 Absalon-kaos ved semesterstart... 9 Information til studerende... 9 Information til censorer... 9 IKK Musik Vidensdeling om projekt e-aflevering Resultater af de 4 evalueringer (E2011) Evaluering: Studerende Evaluering: Undervisere Evalueringsopsamling: Censorer Evaluering: Eksamensmedarbejdere Vejledninger IT-systemerne og samarbejde med UIT, KIT osv Konklusion Studerende Eksamensmedarbejdere Undervisere Censorer KU-samarbejde om de tekniske løsninger Projektgruppen og projektarbejdet Overordnede konklusioner for Mål for og afslutning af projektet Censorer Tidsplan E-eksamen BA-opgaver

3 Projektet og dets baggrund E- aflevering på Det Humanistiske Fakultet Projekt e-aflevering startede med mindst én aflevering pr. uddannelse i efterårssemesteret 2010 (rapporten kan hentes på itmedia.hum.ku.dk/projekter/e-aflevering) som resulterede i 128 elektroniske afleveringer. I foråret 2011 blev projektet udskudt pga. problemer med indførelsen af Stads som nyt administrativt IT-system for hele KU - et af de 6 institutter (ToRS) valgte dog at fortsætte med e-afleveringerne. I efteråret 2011 blev alt afleveret elektronisk - med få undtagelser. Der afleveres stadig opgaver til mundtligt forsvar på papir, nodepapirer og særlige formidlingsopgaver som kræver anden aflevering grundet form eller indhold. Denne rapport beskriver projektets resultater og evalueringsresultaterne for de 2 semestre i Projekt: E-Aflevering Indtil 2010 modtog Det Humanistiske Fakultet ca opgavebesvarelser fra de studerende pr. semester. De studerende fremmødte med 3 udprintede kopier, som blev håndteret og distribueret til undervisere og censorer i papirform. Projekt e-aflevering forsøger, hvor det er muligt at afskaffe papiraflevering, for at opnå følgende: Projektets overordnede formål Modernisering af afleveringsvilkårene og eksamensafholdelsen på Humaniora, KU. Lettelse af den administrative byrde. Lettere adgang for studerende og undervisere til opgaver. Besparelse på porto, sortering, opsyn mv. Fremme internationalisering, fjernundervisning og mobilitet. På linje med bestræbelserne i Grøn Campus: Minimere papirforbruget! Fremgangsmåde: Inddragelse og gennemsigtighed De elektroniske afleveringer skal foregå i universitetets E-læringssystem Absalon. Der er således ikke tale om indførelse af ny IT, men derimod om en forandring af arbejdsgangene for håndtering af opgaver for alle involverede parter - hvilket ikke er nogen let opgave. Arbejdsgangen i projektet er derfor også at inddrage alle relevante parter, så meget som muligt i processen - for derved at få lavet de bedst mulige løsninger, så der kan tages højde for særlige forhold på fag og institutter. Målet med projektet er at få lavet gode og holdbare løsninger for dem, der skal bruge dem. Endnu en dimension i projektet er gennemsigtighed: For at give flest muligt af de involverede eller interesserede mulighed for at følge med og komme med input, gøres alt materiale løbende tilgængeligt på projektets hjemmeside: itmedia.hum.ku.dk/projekter/eaflevering/ 3

4 Delmål F2011 I forårssemesteret 2011 udskydes processen med indførelse af e-aflevering et semester. Det skyldes dels problemerne med indførelsen af det nye administrative system Stads, dels at der fortsat manglede en sikker måde at distribuere filer til censorerne. Det officielle sagsnotat om udskydelsen kan læses på projektets hjemmeside. Der var dog e-aflevering på alt undtagen opgaver med mundtligt forsvar på institut for Tværkulturelle og Regionale Studier (ToRS) - erfaringerne herfra er medtaget i denne rapport, men det meste af denne rapport vil dreje sig om E2011. Delmål E2011 Al opgaveudlevering og aflevering af skriftlige opgaver sker elektronisk. Undtaget er dog specialer1, afleveringer med mundtligt forsvar og særlige formidlingsopgaver (fx. store lyd- og videofiler). Projektorganisering Projektejer: Dekan Ulf Riber Hedetoft (E2011) (i F2011 Fakultetsdirektør Michael Cholewa-Madsen) Projektleder: E-læringskonsulent Annette Q Pedersen (ITMEDIA) Projektdeltagere: Lars Palmqvist (ITMEDIA) Mette Low Wittrup Sørensen (Fakultetsservice, eksamensteamet) Anne Korsholm Bergenholtz (Eksamensmedarbejder, ToRS) Emil N. Munk (Studentermedhjælp) Styregruppen bestod ud over projektgruppen og projektejeren af: Prodekan for uddannelse Jens Erik Mogensen (fra E2011) Studiechef Annette Christina Moe Baggrund for projektet Der har tidligere været lavet pilotprojekter med elektronisk aflevering og eksamen på Det Humanistiske Fakultet. Der er generelt enighed på fakultetet om, at vi bør kunne tilbyde vores studerende bedre og mere moderne afleveringsvilkår og at papiradministrationen er tung og tidskrævende. Fra politisk side er der samme strømninger: (nu tidligere) Videnskabsminister Charlotte Sahl-Madsen har presset på for at få digitaliseret på universiteterne, og der er i disse år generelt et politisk pres på at få rationaliseret universiteternes administration. 1 Specialerne er undtaget, da de skal håndteres af KU og Det Kongelige Bibliotek i fællesskab - projektet om aflevering (og senere tilgængelighed på biblioteket) hedder Diskurs - læs mere på 4

5 Forårssemesteret 2011 I forårssemesteret 2011 var det planlagt at projektet skulle skaleres til at omfatte de fleste afleveringer - men både fakultetets, institutternes eksamensafdelinger og administrationer er hårdt presset af mange implementeringsproblemer med det nye administrative system Stads. Stads giver problemer med holdsætning, skemalægning og eksamensplanlægning. Desuden er der stadig visse tekniske udfordringer med fejl, der ikke er rettet i centrale systemer - og det har det stadig ikke været muligt at finde en løsning på, hvordan besvarelserne kan udsendes elektronisk til censorerne. Fakultetsdirektør Michael Cholewa- Madsen (og projektgruppen) udskyder derfor e-afleveringen - jf. sagsnotat af 1. april af de 6 institutter udskyder derfor e-afleveringen til E2011. Institut for Tværkulturelle og Regionale Studier (ToRS) er ikke så ramt af de tekniske udfordringer (der er mange små fag, og dermed ikke så store afleveringer). Desuden har ToRS tidligere haft forsøg med elektronisk aflevering - og allerede i E2010 valgte instituttet at modtage en stor del af afleveringerne elektronisk, ikke kun at leve op til minimumskravet om én pr. uddannelse. På den baggrund vurderer ToRS, at de kan fortsætte med e-afleveringerne (frem for at gå tilbage til papir), og i F2011 afleveres alt undtagen specialer og opgaver med mundtligt forsvar på ToRS elektronisk. For at understøtte e-afleveringen på ToRS afholder vi et infomøde om e-aflevering i praksis for interesserede undervisere på ToRS den 2. maj. Evalueringen af e-afleveringen på ToRS for de studerende viser at tilfredsheden stiger, også undervejs i processen. Modellen viser de studerendes holdninger før og efter e- afleveringen i procent: Forventninger Reel oplevelse Praktisk Smart Besværligt Stressende 5

6 Tendensen er generelt, at de studerende har oplevet, at det ikke blev så slemt som forventet. Dog har lidt flere fundet det mere besværligt end forventet. Overordnet er det positivt at hele 70 hhv. 60 % har oplevet e-afleveringen som Praktisk/Smart frem for Besværligt/Stressende (begge 19%). At det samlede antal giver mere end 100 % skyldes, at det har været muligt at angive flere svar - altså kunne man vælge at sætte kryds i fx. Praktisk og Stressende, eller både Besværligt og Stressende. Men der er ikke nogen påfaldende mønstre. De tekniske vanskeligheder faldt i kategorierne (fra flest til færrest): Konvertering til pdf-filer Problemer med at lokalisere afleveringsrum Problemer med forside (fx. formatering, der ændrer eget dokument) Upload-grænse (for store filer) Opfølgning på evalueringerne fra E2010 I løbet af forårssemesteret 2011 samlede projektgruppen op på de problemer, der dukkede op i evalueringerne fra E2010 og på ToRS i F2011. Studerende De studerende savnede i 2010 en kvittering fra Absalon om at deres opgave var afleveret - det skyldes flere forvirrende signaler. Den blå prik, der burde forsvinde, når opgaven var afleveret forsvandt ikke, dette tekniske problem blev rettet. Når man har afleveret sin opgave i Absalon, var status "Ej rettet", det blev ændret så status nu er "Afleveret". Den misvisende tæller der på den studerendes forside opgjorde fx. 13 dage til "en uge" blev helt fjernet. Endelig reviderede vi vores instruktionsvideo til de studerende, så det blev klarere, hvordan de selv kunne tjekke, at de havde afleveret. Vi har også på vejledningssiden lagt et screenshot, der viser hvordan det skal se ud i Absalon, når opgaven er afleveret. Institutadministratorerne Vi havde i E2010 fået tilbagemeldinger fra nogle institutadministratorer, der synes de manglede information om projektet. Projektleder Annette Q Pedersen deltog derfor 27/4 i et møde i Forum for chefer og institutadministratorer (CIA) og fremlagde evalueringen af E2010 samt planerne for projektet i Desuden blev det aftalt, hvordan institutadministratorerne kan holdes bedst muligt informeret fremover. Censorer Fakultetets censorportal har fået en side med information om e-aflevering - censorerne er blevet gjort opmærksomme på, at de kan finde al relevant information dér i al kommunikation fra KU (fx. information om hvilket gratis program vi anbefaler til at kommentere PDF-filer). Vi udsendte naturligvis også et informationsbrev om udskydelsen i F

7 Undervisere Underviserne påtalte (ud over deres studerendes problemer) mest af alt de nye arbejdsrutiner med elektronisk retning - og e-bogslæsernes manglende kommentarfunktion. Det var på denne baggrund, vi foreslog dekanatet at indkøbe ipads, for at se om det kunne afhjælpe denne problematik. Eksamensmedarbejdere Der var ikke så meget feedback om deres eget arbejde i evalueringerne, de fleste af eksamensmedarbejdernes kommentarer gik på, hvilke ting studerende, undervisere og censorer søgte hjælp hos dem om - så disse udfordringer er behandlet under disse grupper. Men vi fortsatte det gode samarbejde og løbende kontakt med eksamensmedarbejderne for at få rettet til. Løsninger på de tekniske udfordringer En del af de problemer der har været med Absalon løses, da systemet midt på sommeren 2011 flyttes til It's Learnings (systemleverandøren) egne servere i Norge. Dels bliver fejlmeldingen lettere, dels opgraderes systemet til en nyere version. Det løser i stort omfang de performanceproblemer Absalon har lidt under i E alting går nu meget hurtigere for undervisere og studerende (administratordelen har stadig problemer med tempoet, og der arbejdes fortsat på det). Plagiatsystemet er også blevet opgraderet, og det løser problemet fra E at systemet ikke kunne henvise til filer den genkendte fra tidligere aflevering i Absalon. Underviseren kan altså se, hvilken opgave der er overensstemmelse med - og dermed at der ikke er tale om plagiat, blot genaflevering fra den samme student. Der blev også fra systemadministratorernes side (UIT) arbejdet med at få styr på eksamensmedarbejdernes rettigheder i Absalon - da deres administratorkonti uden grund mistede rettigheder. Samtlige eksamensmedarbejdere fik en ekstra administratorprofil, hvilket i nogen grad løste problemet. Forberedelser til E2011 For at forberede processen bedst muligt, deltager Annette Pedersen og Lars Palmqvist i HUM-LT-møde (Humanioras ledelsesteam) for at orientere om status på projektet, og for at få institutternes input til, hvordan den fulde implementering af e-aflevering i efterårssemesteret kan ske bedst muligt på alle fag. Henover sommeren skifter fakultetets ledelse (både dekanat og fakultetsdirektør), så projektet får ny ejer, nemlig Dekan Ulf Hedetoft - der vælger at fortsætte projektet som planlagt. Det officielle sagsnotat af 30/8 bekendtgør også, at fakultetet vil indkøbe 15 ipads til hvert institut (90 i alt), der fx. kan bruges til elektronisk retning af opgaver. Køreplanen for E2011 er således, at alle opgaver skal afleveres elektronisk, medmindre det er specialer, opgaver med mundtligt forsvar eller særlige formidlingsopgaver. Eksamensmedarbejdernes forberedelser Vi afholder workshop for eksamensmedarbejderne 31/8, hvor de informeres om dekanens beslutning om, at e-afleveringen fortsætter som planlagt, og om at der er fundet en løsning på fildistributionen til censorer via KUnet. Ellers bruges dagen på at udveksle erfaringer, 7

8 tips og eventuelle bekymringer på tværs af institutterne. Stemningen er optimistisk - eksamensmedarbejderne er ved godt mod og giver udtryk for at de er klar til at håndtere e- aflevering i fuld skala. Senere på semestret holder vi i hele uge 43 "fælles arbejdsdage" for eksamensmedarbejdere. Her kan eksamensmedarbejderne sidde og oprette de mange opgaver for første gang sammen, og få hjælp til at komme godt i gang. Nogle benytter tilbuddet, andre har prøvet det før, og har ikke noget behov for tilbuddet, og endnu andre opretter opgaverne senere med personlig hjælp fra ITMEDIA, hvor der er behov for det. Fildistribution til censorer Vi har fra projektets start efterspurgt en løsning på, hvordan vi kan distribuere de studerendes besvarelser til censorerne. Det letteste ville være, hvis det kunne ske direkte fra Absalon, uden at censorerne får adgang til undervisningsrummet eller skal finde rundt derinde (hvilket de jo ikke bliver betalt for), men det er desværre ikke muligt. Filerne må ikke distribueres på , da det ikke er en sikker distributionsform, ligesom det heller ikke kan lade sig gøre ved større afleveringer, da filpakkerne simpelthen ville blive for store. Løsningen bliver, at eksamensmedarbejderne henter filpakken til censor ud af Absalon og derefter uploader den til et grupperum i KUnet (vores Sharepoint-baserede intranet). Så tildeler de censor rettigheder, så den rigtige censor får adgang til den - hvorefter systemet automatisk sender en mail til censor om at filpakken ligger klar til afhentning. Censor føres fra et link i mailen forbi KUnets login-side og får derefter automatisk downloadet deres filpakke. Dette kræver dog at alle censorer genoprettes i (personaleregistreringssystemet) Scanpas - så de får en profil til kun dette formål. Ergo har vi en student til at oprette de ca censorer i Scan Pas, det tager ca. 3 uger. Og resulterer i at censorerne får tilsendt et overraskende standardbrev fra KU om deres nye identitet (mere om det under censorernes evaluering). Scannemuligheder på fakultetet Vi undersøger også, hvilke muligheder der er for at vores studerende kan indscanne bilag, blanketter mv, hvis de ikke findes elektronisk. Der er mulighed for at scanne både hos Publi@Kom (tidl. studenterafdelingen) og på fakultetets kopimaskiner, hvilket vi henviser til på informationssiden for studerende. ipads til undervisere De bevilligede ipads anskaffes og ITMEDIA og HUMIT samarbejder om at finde en opsætning, der kan fungere i praksis (Apple har stadig ikke en løsning for at distribuere til mange ipads, og 90 brugerkonti til formålet virkede uoverskueligt). Softwareløsningen bliver app'en Goodreader - der både kan bruges til at annotere PDF-filer og håndtere filhentningen fx. fra en server, eller via ipadens browser direkte fra Absalon. Der findes andre programmer, der kan Annotere eller håndtere filer, men Goodreader er den bedste løsning, der kan begge dele på en brugervenlig måde. Denne app for-installeres af HUMIT via en institutkonto. Ønsker folk at installere andre apps selv, så har de mulighed for også at knytte en privat Apple konto til. HUMIT udbyder support på ipads, hvor man kan komme og få hjælp til tekniske problemer, eller få opdateret sin Goodreader. 8

9 ITMEDIA udbyder introduktionskurser til ipad som redskab til at rette opgaver. Der afholdes kurser på samtlige institutter i løbet af efteråret, så alle kan komme godt i gang med at rette på ipad. ITMEDIA laver også en instruktionsvideo om brugen, den ligger sammen med al anden information om ipads til e-aflevering på Absalon-kaos ved semesterstart Da semesteret starter er alt kaos i E-Læringssystemet Absalon - eller det føles i hvert fald sådan for de fleste. For det nye administrative system Stads og skemaplanlægningsprogrammet Syllabus leverer dårlige data til Absalon. Studerende dukker ikke op i rummene, rum sammenlægges ikke hvor de skal, studerende og undervisere "falder af" systemet uden klar grund. Alle er bekymrede for at skulle holde e- aflevering i fuld skala i Absalon om et par måneder. Men paradoksalt nok fungerer Absalon selv faktisk bedre end nogensinde før, nu hvor det kører på systemleverandørens egne servere og er blevet opgraderet. De mange datafejl løses (heldigvis for e-afleveringen) i løbet af semestrets første uger, men skaber meget kaos og utryghed. Information til studerende De studerende informeres på alle platforme om e-afleveringen: Der er en artikel i nov/decnummeret af Humanist 2, nyheder på intranettet og opslag på infoskærmene på KUA. Først om at der er e-aflevering for alle, og da afleveringen nærmer sig om, at der IKKE må afleveres word-dokumenter, men kun PDF-filer til e-aflevering. Alle steder forklares at de studerende kan finde mere information og instruktionsvideoer på: Vi holder også et arrangement for studerende, der i november kan møde op og få en introduktion til e-aflevering i Absalon, lære at lave en PDF-fil osv. Få studerende møder op, men dem, der gør, er glade for tilbuddet om hjælp. Information til censorer Censorerne varsles via brev til censorformandskaberne om at e-afleveringen vil være standard fra efteråret Siden efteråret 2010 har der været varslet om e-aflevering, så det er ikke nogen overraskelse - men der kommer igen ca. en håndfuld henvendelser fra censorerne både med konkrete spørgsmål til processen og af mere principiel karakter. Censorformændene for hhv. Dansk og Historie har henvendt sig og inviteres til et møde med dekanen og projektgruppen, hvor de kan fremføre deres punkter og få svar på spørgsmål. På opfordring fra disse censorer udarbejdes, der en folder til censorerne med den information, der også er tilgængelig i censorportalen - fx. om installation af det anbefalede PDF-kommenteringsprogram. Censorformændene kan så medsende denne, når de videreformidler information til deres censorkorps. Emner som udprintning, ekstrabetaling og eventuel printerrefusion bringes også på banen - men fakultetet har desværre ikke mulighed for at kompensere censorer, der ønsker at udprinte opgavebesvarelserne. 2 Artiklen kan findes her: 9

10 IKK Musik Musikvidenskab har særlige problematikker i forhold til aflevering af noder og lydfiler. For få Musik godt i gang med e-aflevering, har vi samarbejdet med dem om at få afdækket deres særlige behov, undersøge software og -licens situationen på musik, og mulighederne for studenterlicenser til musikprogrammer. Inden vintereksamen udarbejdede Musik en liste over hvilke eksaminer, der umiddelbart kunne holdes som e-aflevering - og hvilke der måtte undtages i denne termin. Ca. halvdelen blev afleveret elektronisk i E2011. Der arbejdes fremadrettet med at kunne få alle afleveringer med, og med muligheden for evt. at tilbyde introduktion til musiksoftware til de studerende. Målet er de fleste (om ikke alle) afleveringer kan komme med allerede i F2012. Vidensdeling om projekt e-aflevering Selv om Det Humanistiske Fakultet har været tidligt ude, er vi ikke de eneste, der er i gang med at digitalisere papirprocesser og modernisere de studerendes afleverings eller eksamensvilkår. Vi har derfor i projektet løbende delt erfaringer med alle der har interesse for projektet. Projektets hjemmeside er frit tilgængelig for alle, men vi har også været ude at fortælle om projektet. I dette semester fx. på Geografi på KU, der overvejer at gå i gang, og på seminaret "Digital eksamen på universiteterne" afholdt 15/ på Aarhus Universitet af Det nationale netværk for IKT-støttet læring. Vi har også opsamlet og formidlet projektet, og erfaringerne derfra, i tidsskriftet Læring og Medier (LOM) nr. 8, der udkom i november Vi har dels lavet en video om projektet, dels en artikel om hvordan vi har håndteret forandringsprocesserne. Video ligger på projektets hjemmeside 3 og artiklen "Implementering af organisatoriske forandringsprocesser ved indførelse af elektronisk aflevering og eksamen" findes i LOM nr. 7/8 (2011) 4 Videoen om projektet er pr. 20/ blevet set af 502 unikke brugere. 3 Videoen permanente URL er: 4 Link til artiklen i LOM 10

11 Resultater af de 4 evalueringer (E2011) Evaluering: Studerende De studerende er meget glade for e-aflevering. 742 har deltaget i evalueringen, heraf har 627 besvaret alle spørgsmålene. De fleste har afleveret en enkelt opgave eller to Forventninger Reel oplevelse Praktisk Smart Besværligt Stressende Andet For mange af de studerende er det første gang de har e-aflevering, men der er (ligesom på ToRS i foråret) en klar positiv respons. Blandt dem der svarer "Andet" udtrykkes undren over også at skulle aflevere papirudgaver samtidigt med den elektroniske udgave. Det var ikke planen fra vores side, men et enkelt institut (Engerom) havde bedt de studerende også aflevere papir - et forhold der også kan have medvirket til at hæve stressniveauet - da de jo dårligt kunne stå på instituttet og aflevere papir, samtidigt med at de skulle uploade deres opgave. Hele 72,2% synes, at det har været nemt eller meget nemt at aflevere elektronisk, mens kun 10,4% har fundet det svært eller meget svært. Hele 74 % har ikke oplevet tekniske problemer, blandt de 22,5 % der rapporterer om problemer har det typisk drejet sig om: Ingen adgang til intranettet, og dermed til Absalon Konvertering af filer til PDF-format Uploadproblemer pga. for store filer (uploadgrænsen) Aflevering af.py (python filer) på datalogi Meget lang uploadtid Problemer med at finde afleveringsrummet i Absalon Forsider, der kopieres ind og ændrer formatering på hele opgaven. Gruppeafleveringer Forvirring om tilladt afleveringsformat 11

12 Hele 73,3% af de studerende søgte ikke hjælp - det kan skyldes at 74% ikke oplevede problemer, og 69% fandt det nemt eller meget nemt at aflevere elektronisk. Af dem der søgte hjælp kontaktede 18,2% deres eget institut. I øvrigt er der søgt hjælp hos HUMITs helpdesk, venner, familie, medstuderende, tutor, facebookgrupper for studerende og undervisere. Derudover nævnes eksamensmedarbejdere og studieadministration - der nok burde have været med i kategorien "eget institut". De fleste (63,2%) var (evt. meget) tilfredse med den hjælp de fik, mens 17,7 enten var (evt. meget) utilfredse. Halvdelen af de studerende (49,1%) har besøgt hjemmesiden om e-aflevering (og 15,6% er i tvivl om de har besøgt siden). 69,3% svarer at de ikke har set instruktionsvideoer på hjemmesiden, 25,5% har set én video, mens 5,2% har set flere (hele 91,3% er i øvrigt neutrale, tilfredse eller meget tilfredse med vejledningerne). Blandt dem, der savnede vejledning drejede det sig mest om PDF-formatet: Sammenlægning af 2 PDF-filer, konvertering til PDF (der findes både vejledninger og video) samt forvirring over at Absalon fortæller om mange afleveringsformater. Enkelte savner også stadig en kvittering på aflevering. Ud fra den klare tendens om at de studerende søger hjælp på deres eget institut, er det vigtigt, at vi sørger for at institutterne også fremover er klædt godt på til at hjælpe. Ang. de rapporterede problemer, så skyldes en del at Absalon var utilgængelig i 2 dage i eksamensperioden pga. et totalt nedbrud på navneserveren ku.dk. Selv om Absalon fungerede kunne de studerende ikke komme ind. Vi slås stadig med uploadgrænsen, der blokeres af plagiatkontrollen - og håber fortsat UIT kan nå frem til en automatisk løsning, så systemet selv kan slå fra ved for stores filer, frem for at afvise besvarelserne. Uploadproblemerne på datalogi med pythonfiler (.py) kan måske også skyldes plagiatkontrollen, da den håndterer færre filformater end Absalon selv. Her vil vi kontakte instituttet for at få undersøgt hvilke filtyper de bruger som afleveringsformater, og om de kan håndteres af systemet. Vi bedt undervisere og institutter henvende sig til os, hvis de har store afleveringer eller afleveringer i andre formater, så vi kan sikre os, at Absalon kan modtage dem - men vi har ikke hørt noget fra datalogi. Men vi koordinerer med dem inden næste afleveringstermin, så samme problem ikke opstår. Problemerne med forsideformatering, der smitter af på resten af opgaven kan klares ved at merge (sammenlægge) de to PDF-filer, frem for at indsætte forsiden i fx worddokumentet, før der laves en PDF. Vi har allerede udarbejdet vejledninger og video om hvordan man gør, så det kan undgås til næste gang. Men det kan også være en ide at få gennemset institutternes forsider for uheldig formatering. Nogle studerende er stadig forvirrede over at Absalon fortæller om en hel række mulige afleveringsformater (inkl. worddokumenter), mens de kun må aflevere PDF-filer. Men når det efter halvandet år stadig ikke kan lade sig gøre at få leverandøren til at fjerne eller ændre den forvirrende tekst (der stammer fra plagiatsystemet), så må vi glæde os over at det dog er lykkedes os af få formidlet kravet om aflevering i PDF. 94% af de studerende har afleveret PDF-filer, et fremskridt fra de 80,3% i E2010. Af dem der ikke afleverede PDF-filer skulle nogle aflevere i andet format, og kun 3% svarer at de ikke vidste det, eller ikke kunne finde ud af det. I feltet til øvrige kommentarer nævner de studerende (i parentesen antallet af denne type kommentarer): Savner en bekræftelse på at afleveringen er gået igennem (37) Finder det dumt og stressende at de også skulle aflevere papir samtidigt (32) 12

13 Positive tilkendegivelser om E-aflevering med opfordring til at fortsætte (20) Forsideproblemerne - dels formatering, dels at nogle skal underskrives i hånden og scannes ind (19) Forvirring over modstridende information om afleveringsformatet (12) Utryghed over efterfølgende at logge på Absalon og se "For sent" med rødt - trods at de allerede har afleveret til tiden. (12) Problemer med at uploade filer med store billeder (5) Forvirring over at Absalon afrunder 3,5 dage til 3 dage (3) Efterspørger instruktionsvideoer optaget i det nye design (3) Ud over de allerede behandlede problematikker skal vi have fjernet kravet om underskrift på forsiderne. Det misvisende "For sent" kan klares ved at eksamensmedarbejderne sætter opgaven til at lukke - fx ved midnat efter afleveringen, så forsvinder den fra de studerendes forside mv. Vi har talt om, hvorvidt vi skulle vejlede om at ændre størrelse på digitale billeder (resize) - og det ser ud til at der er et behov. Og endelig skal den dobbelte aflevering digitalt + papir fjernes. Vi antager at det er studerende på Engerom - som er det eneste institut, der har krævet dette. Vi har på vejledningssiden lagt et screenshot, der viser hvordan det skal se ud i Absalon, når opgaven er afleveret - men de studerende ønsker sig altså stadig en kvittering fx. via e- mail. Evaluering: Undervisere 65 har udfyldt evalueringsskemaet, heraf har 61 besvaret alle spørgsmålene. Det er ikke mange i betragtning af, at det har været adviseret både på KUnet og af eksamensmedarbejderne lokalt på institutterne. Fordelingen er ikke lige på institutterne. Saxo er det institut, hvor flest undervisere har deltaget i e-aflevering med 43% (28 besvarelser) efterfulgt af IKK 31% (20) INSS 11% (7) MEF 8% (5) ToRS 5% (3) og færrest på Engerom 3% (2). At tallet er så lavt på ToRS kan skyldes at det for mange nu er 3. semester de har e- aflevering, og det kan evt. være at Engeroms dobbeltaflevering med papir har fået underviserne der til at mene de ikke havde e-aflevering - men ellers kan den lave deltagelse undre. Til sammenligning fik vi i E2010 ca. 50 besvarelser på trods af at højst 127 undervisere havde e-aflevering. Tallene må altså tages med dette forbehold. 13

14 Forventninger Reel oplevelse 10 0 Praktisk Smart Besværligt Stressende Andet Generelt er underviserne noget mindre begejstrede end de studerende. Dog er der heldigvis en klar tendens til at e-afleveringen ikke levede op til de bekymrede forventninger. Efter at have prøvet det mener flere det er Praktisk/Smart og færre at det er Besværligt/Stressende. Underviserne har selv hentet deres opgavebesvarelser i Absalon, 5% har sågar læst dem direkte i Absalon - kun 6% har fået dem på anden vis, fx. på mail (3%), USB-stik eller printet. De fleste synes det var nemt eller meget nemt (74 %), 14 % var neutrale, mens 12 % fandt det svært. 31% af underviserne rapporterer om tekniske vanskeligheder (ca. 20 prs.). Der rapporteres om disse problemer: Besvær med kommenteringen (4) Kunne ikke udskrive PDF (3) KUnet nede / ikke adgang til opgaver på Absalon (3) Modtog opgaver i forskelligt format, fx. wordfiler (2) Manglede trådløst netværk til at hente opgaverne over på ipad (2) Opgaver der forsvandt (sidenhen fundet) (1) Problemer mellem PC og Mac (1) Forvirring over at plagiatkontrollen reagerer på forsiderne (1) 47% søgte ikke hjælp, mens 42% søgte hjælp på eget institut, 11% hos HUMIT og 11% andre steder. De fleste (60%) var tilfredse eller meget tilfredse med hjælpen, 30% neutrale og kun 10% eller 1 respondent var meget utilfreds. Angående læsning og kommentering af opgaver, så har 65% slet ikke printet nogen opgaver ud, mens 26% har printet mellem 1 og 26 opgaver. I E2010 var det 60%, der havde printet i hvert fald nogle af opgaverne, så det er et væsentligt fald. Kommenteringen 14

15 er foretaget på flere måder (også hos den enkelte underviser) - og vi finder det positivt, at så mange har forsøgt sig med elektroniske retteteknikker Noter på papir ved siden af Skrevet ind i opgaven Printet og noteret på elektronisk opgaven Andet De nyindkøbte ipads har været i brug hos 50% af underviserne. Overordnet er tilfredsheden stor - lidt mere med læsningen end med annoteringen. Men rigtig mange har tydeligvis været glade for muligheden for at rette elektronisk på ipad. E-bogslæserne har til gengæld næsten ikke været i brug blandt de deltagende undervisere. På spørgsmålet om, hvordan det har været at rette elektronisk, svarer over halvdelen at det har været det samme eller ligefrem lettere, mens kun 23% fandt det sværere (det er et fald fra 51% i E2010): 15

16 11% Lettere 24% 23% 42% Det samme Sværere Har ikke rettet elektronisk På spørgsmålet om hvorvidt det bliver lettere næste gang svarer 57% nej, mens 43% svarer ja, hvilket er en stigning i forhold til E2010, hvor 30% mente det ville blive lettere fremover. Vi kan håbe, at der er sammenfald mellem de håbefulde og dem, der fandt det svært denne gang. De fleste har været tilfredse med vejledningerne (kun 10% er utilfredse eller meget utilfredse). Der ønskes fremadrettet vedledning om, eller opmærksomhed på: Installation af software på egen ipad Sammenlignelige annotationer med censors Hvad der sker med den akademiske tænkning, når arbejdsprocessen lægges om At de studerende kun afleverer én samlet PDF-fil (ikke 2-3 dokumenter) Vejledninger/erfaringer fra folk med erfaring med elektronisk retning Information om, hvordan man uploader eksamensspørgsmål (findes allerede) Trådløst netværk til ipads Angående trådløst netværk så har vi rejst spørgsmålet - og svaret er, at der ikke kan bruges midler på at udvide den trådløse dækning i gamle KUA, der skal rives ned snart. Til gengæld er der fokus på, at KUA2-byggeriet afleveres med fuld dækning på trådløst netværk. Vi tager selvfølgelig de gode ideer og forslag med i det videre arbejde med e-aflevering. Derudover er der fortsat en opgave i at gøre underviserne opmærksom på de eksisterende vejledninger, selv om der er tilfredshed med informationsniveauet. 20% har slet ikke brugt vejledningerne (måske fordi de ikke kender til dem) og kun 5% har benyttet idekataloget over elektroniske rettemuligheder: Vi kan også se på statistikken over vores instruktionsvideoer, at videoerne til underviserne ikke er så anvendte (alle tal er unikke brugere): Oplægget om plagiatsystemet: 55 Installer PDF-viewer-softwaren til at kommentere PDF-filer: 40 Download besvarelserne fra Absalon: 42 Videoerne om at kommentere på Windows eller Mac er begge set under 30 gange hver. 16

17 Evalueringsopsamling: Censorer Det er første gang vi for alvor har haft e-aflevering hos de eksterne censorer. 102 har deltaget i evalueringen, heraf har 87 besvaret alle spørgsmålene. Der er tale om 92% eksterne censorer og 8% interne censorer Forventninger Reel oplevelse Praktisk Smart Besværligt Stressende Andet Censorerne er den mindst begejstrede gruppe. Der er flest der synes det er Besværligt, de fleste af uddybningerne under Andet er også negative kommentarer. Faktisk har censorerne som den eneste gruppe oplevet, at den reelle oplevelse var værre end de havde forventet. Censorerne oplever informationsniveauet som middelmådigt: 57% svarer hverken/eller, 29% mener informationsniveauet har været lavt eller meget lavt, mens kun 14% synes det har været højt eller meget højt. Det er klart ud fra svarene at mange af problemerne har skyldes distributionen gennem KUnet. Der har været forundring over at modtage et papirbrev med login-information uden forklaring et par måneder før eksamen. Og så har der været mange problemer med at få leverancerne via KUnet (sharepoint) til at fungere ordentligt. Det her første gang vi har brugt denne metode, og derfor har der både være begyndervanskeligheder blandt eksamensmedarbejderne, der skulle tildele rettigheder i systemet og blandt censorerne, der skulle logge ind på KUnet for at modtage deres filer. Men selve systemet har også været plaget af problemer. Måske derfor har næsten halvdelen af censorerne faktisk til slut fået tilsendt besvarelserne på som det fremgår af diagrammet (de interne censorer har selv hentet opgaverne direkte i Absalon). 46% 9% 45% Via e- mail Hentede selv på Absalon 17

18 Kommentarerne afslører problemer med rettigheder til at se opgaverne, ikke-aktive links, manglende tilsendelse af brugernavn og password og sågar at censor har fået et link til forkerte besvarelser. Der er flere, der har følt sig grundigt informeret (40%) end det modsatte (24%), men 36% føler sig usikre på systemet, mens kun 19% var trygge ved det. Kun 38% har ikke søgt hjælp - så der har været massiv brug for hjælp. Institutterne har hjulpet 34%, Brugerservice, der står for KUnet har hjulpet 7%, HUMITs helpdesk har hjulpet 3%, mens 17% har søgt hjælp andre steder. 69% af censorerne har printet (nogle af) deres opgaver, mens 31% har rettet elektronisk. Dog har kun 47% rettet og bedømt opgaverne ved at notere på udprint: Noter på papir ved siden af 5% 13% 46% 23% 13% Skrevet i opgave på e- læser/ computer Printet opgaven og noteret på den På ipad Andet Kommentarerne til kategorien "Andet" viser, at der er tale om andre typer elektronik retning, fx. notetagning i et elektronisk dokument ved siden af, direkte i en, noter i et særligt noteprogram, eller en kombination af forskellige metoder. Alt i alt har over halvdelen af censorerne altså rettet elektronisk, og det på trods af at vi ikke som med vores egne undervisere har mulighed for fx. at stille ipads til rådighed for dem. Det viser at mange af censorerne enten er vant til at håndtere opgaver elektronisk (fx. fra gymnasieskolen, eller egne institutioner) - og/eller har et rimeligt niveau af IT-literacy. Det antyder også at en hel del ikke har problemer med at rette og kommentere besvarelser elektronisk, men har været besværet af de mange problemer med distributionsmetoden via KUnet. Generelt mener 61% ikke det ændrer ved rettearbejdet, 27% synes det har været sværere, mens 11% synes, at det var lettere at rette elektronisk. 48% forventer at det vil være det samme næste gang, 17 % tror det bliver lettere, mens 35% ikke forventer at det bliver lettere. Vejledningerne på nettet er blevet brugt af 36%, hvoraf 85% var enten neutrale eller tilfredse, kun 16% var utilfredse med vejledningerne. Til e-afleveringen savner censorerne vejledninger om Login-proceduren på KUnet og mere information om læse/annoteringsprogrammer til ipad. Men på spørgsmålet om vejledninger, handlede de fleste svar faktisk om andre ting end e-aflevering: manglende pensumlister, henvisninger til studieordninger, information om indsendelse af censorregnskab og rapporter. Det tyder på at censorerne i det hele taget føler sig dårligt informeret, men sjældent har mulighed for at gøre opmærksom på det. 18

19 Censorportalen er blevet opdateret både med information om e-aflevering og har også oplysninger om afregning mv. så forhåbentlig vil det afhjælpe situationen, når flere opdager den. Vi har i al kommunikation om e-aflevering gjort opmærksom på at censorerne kan finde al relevant information dér. Den skriftlige kommunikation foregår via censorformændene, der videreformidler til deres censorkorps. Vi går absolut ud fra, at de alle videresender informationen, men alligevel føler mange censorer sig altså underinformeret. Evaluering: Eksamensmedarbejdere Vi har indtil videre kun fået 6 evalueringssvar fra de ca. 25 medarbejdere. Vi håber det skyldes at der ikke er de store problemer - men har valgt at genåbne spørgeskemaet for at få mere feedback. Mere om det senere. Vejledninger Som det fremgår af de forskellige evalueringer har de studerende i høj grad opdaget og brugt vejledningerne. Undervisere og censorer har i mindre grad brugt vejledningerne, nogle måske fordi de ikke kender til dem - så der er stadig en oplysningsopgave i forhold til dem. Der er også i evalueringerne gode ideer til yderligere vejledninger, som vi vil følge op på. Vores instruktionsvideoer er blevet flittigt set. I afleveringsperioden i E2011 er videoen til studerende om at hente og aflevere sin opgave i Absalon blevet set af unikke brugere. Den engelske udgave af samme video er set af 135 unikke brugere. Som det fremgår af statistikken topper visningen omkring de store afleveringsdage. 19

20 I løbet af projektets 3 semestre er den danske udgave i alt blevet set af 3926 unikke brugere: Også videoen om opgaveoprettelse i Absalon er blevet flittigt set af undervisere og medarbejdere. 780 unikke brugere har set den danske udgave, mens 39 har set den engelske version. I løbet af E2011 er en del af videovejledningerne blevet genindspillet, da Absalon lige før eksamen fik nyt udseende. Så videoerne er nu opdateret, så det er med det nye design. IT-systemerne og samarbejde med UIT, KIT osv. Fildistributionen til censorerne har været et smertensbarn i hele projektet - vi har som også beskrevet i sidste års rapport forsøgt at få KUs centraladministration til at hjælpe med en gennemtænkt løsning. Men der har ikke været megen hjælp at få til at tænke i helhedsløsninger. UIT og KIT har tydeligvis været presset - så alle har haft rigeligt at gøre med at passe deres egne systemer. Så det lette svar har været "det kan desværre ikke lade sig gøre i vores system". Den mindst ringe løsning, der kunne lade sig gøre, var at distribuere filpakkerne til censorerne via KUnet. Det krævede at eksamensmedarbejderne hentede filpakkerne i Absalon og uploadede dem i KUnet, for så at tildele dem rettigheder. Der er mange fejlkilder (også menneskelige, det er en presset periode), og heller ikke KUnet (Sharepoint) har fungeret fejlfrit. Den valgte løsning har således været den eneste løsning, omend det var mindst ringe løsning. Det betød også, at vi selv måtte stå for at genoprette næsten 1000 censorer (der allerede findes i systemet) i ScanPas. Oprettelsen resulterede i at de alle modtog et autogenereret papirbrev med deres login og password, samt sågar en blanket til udstedelse af IDkort. Censorerne blev enten forvirrede eller ignorerede skrivelsen, og manglede så deres password, da de senere skulle hente deres opgaver. Alle de tekniske problemer, der stadig opleves med aflevering af opgaver i Absalon er velkendte fra E2010, men er stadig ikke blevet udbedret. Fx. Der er stadig generelle performanceproblemer for administratorer Rettigheder - eksamensmedarbejderne har igen uden grund mistet deres adminrettigheder her i evalueringsperioden. Status på upload (fx. en statusbar), så de studerende kan se, at der faktisk sker noget At plagiatsystemetet kan slå fra automatisk ved for store filer, frem for at blokere for aflevering Om plagiatsystemet kan overspringe billeder (der giver for store filer) Sletter man en enkelt besvarelse, kan den ikke genfindes i rummets skraldespand. Problemer med tegnsæt (fx. polsk) i testmodulet. Opgaveoprettelsen udsender mails til alle i rummet, inden der tildeles rettigheder på opgaven (selv om kun 2 skal have opgaven, sendes der altså mail til alle ) MEF har op til 800 i deres grupperum. Den forvirrende tekst fra plagiatkontrollen: Tilladte filtyper: Microsoft Word (doc), Microsoft Word 2007 (docx), Internetfil (htm), Internetfil (html), Open Office (odt), Adobe Acrobat (pdf), Rich text-format (rtf), Open Office (sxw), Tekstdokument (txt) 20