København, 3/5 2002 Godkendelsesopgave G5 i MMT 2002 Erik Frøkjær & Kasper Hornbæk Indledning Godkendelsesopgaven G5 går ud på at prøve og sammenligne teknikker til evaluering af brugsvenlighed. G5 udleveres fredag den 3. maj og skal afleveres senest fredag den 24. maj 2002, klokken 14.00. Opgaven skal løses i grupper af 3-4 personer. Opgaven er normeret til at kunne løses på to uger, men strækkes af hensyn til overlap med karaktergivende opgave i Datalogi 0 over tre uger. Nedenfor er opgaven beskrevet yderligere og formalia ved afleveringen er angivet. Eventuelle yderligere oplysninger om opgaven vil blive annonceret på kursets hjemmeside. Opgavebeskrivelse I G5 skal anvendes to teknikker til evaluering af brugsvenlighed. Disse teknikker anvendes på web-stedet.ku (http://punkt.ku.dk). En del af G5 skal dokumentere brugsvenlighedsproblemer fundet ved dette web-sted. Desuden skal G5 sammenligne og diskutere erfaringer med de to teknikker. I forbindelse med G5 håber vi at I giver os mulighed for at bruge jeres resultater i et forskningsprojekt om teknikker til evaluering af brugsvenlighed. Teknikker til evaluering af brugsvenlighed I G5 skal I prøve at bruge to teknikker til evaluering af brugsvenlighed. Ikke alle grupper skal bruge de samme teknikker. Når I har etableret en gruppe bestående af 3-4 personer, afleverer I Bilag A og får navnet på den første evalueringsteknik I skal bruge, samt et gruppe-identifikationsnummer. Når I afleverer Bilag A får i navnet på første evalueringsteknik teknikken er beskrevet i ét af de udleverede bilag. Det er vigtigt at I først gennemfører evalueringen individuelt og dokumenterer den i en individuel problemliste. Denne problemliste skal være på en særlig form, som angivet i Bilag B. Efter at I har lavet den individuelle problemliste skal I samarbejde de problemer I har fundet til gruppens problemliste. Denne liste skal følge formen i Bilag C. Det er afgørende at I ikke påbegynder gruppens problemliste før I har lavet den individuelle problemliste, ligesom I ikke bør diskutere jeres individuelle problemlister før I alle er færdige. Alle disse lister (Bilag B erne og Bilag C) skal afleveres på elektronisk form. Efter at I har gennemført den første evaluering, skal I henvende jer til førstedelsadministrationen, som giver jer navnet på den anden evalueringsteknik. I skal være fuldstændigt færdige med de individuelle problemlister og gruppens problemliste for første evalueringsteknik, før I kontakter førstedelsadministrationen 1
og fortsætter til anden evalueringsteknik. For anden evalueringsteknik skal I kun udarbejde gruppens problemliste (Bilag C). Web-stedet.ku Web-stedet.ku (http://punkt.ku.dk, udtales punkt-ku) er en samlet indgang til information og serviceydelser for studerende på Københavns Universitet. Ved evalueringen af.ku skal I kun fokusere på login, brug af e-mail (e-post.ku) og selvbetjeningsfaciliteterne (studie.ku). En del af.ku kræver at I logger ind med cpr-nummer og pinkode. I har inden for de sidste uger modtaget pinkoden til login sammen med brevet om årskortfornyelse. Studiekontoret på fakultetet kan hjælpe med pinkoden (tlf. 35324200), hvis I ikke kan finde den. I krisesituationer kan I ringe til portalprojektet på tlf. 35323960, bede om jeres pinkode og som identifikation sige G5 for multimedieteknologi på datalogi. Vedlagt i bilag D er eksempler på de opgaver som studerende kunne tænkes at løse på.ku. Disse opgaver er kun vejledende; I må gerne tænke på andre opgaver. Del af forskningsprojekt Vi håber at kunne bruge jeres besvarelser af G5 som en del af et forskningsprojekt om teknikker til evaluering af brugsvenlighed. Hvis I giver os lov til at bruge jeres besvarelser vil vi behandle dem anonymt. Når I afleverer opgaven skal I angive om vi må bruge jeres besvarelse i vores forskningsprojekt. Denne evaluering kan give et unikt materiale om evaluering af brugsvenlighed. For at sikre kvaliteten og uafhængigheden af jeres evalueringer er det vigtigt at I under opgaven ikke i nogen som helst detalje diskuterer med andre grupper hvilke problemer I har fundet ved evalueringen. Indhold af besvarelsen Besvarelsen af G5 skal som nævnt for første evalueringsteknik indeholde en individuel problemliste for hvert gruppemedlem og en problemliste for hele gruppen; for anden evalueringsteknik kun en fælles problemliste. I alt skal afleveres 5 til 6 problemlister afhængigt af antallet af personer i gruppen. Ud over problemlisterne består G5 af en rapport hvori gruppen sammenligner og diskuterer teknikkerne. Rapporten skal sammenligne teknikkerne, herunder de problemer I har fundet med den enkelte teknik, redegøre for jeres erfaring med brug af de to teknikker og diskutere gode og dårlige sider ved teknikkerne. I skal som minimum besvare følgende spørgsmål: Hvordan foregik tilegnelsen af teknikkerne? Hvad var særligt nemt eller svært? Hvilke dele af teknikkerne var særligt vanskelige at bruge? Hvorfor? Kan besvares ved for hver af de to afprøvede teknikker at udpege og diskutere to til tre særligt vanskelige punkter. Hvordan nåede I frem til gruppens problemliste? Hvordan håndterede I de problemer hvor der var uenigheder fx om problemet overhovedet var et problem, dets alvorsgrad og hvordan problemet bedst kunne beskrives. Er der forskel på hvilke problemer I fandt med de to teknikker? 2
Bilag Til brug for jeres arbejde med opgaven udleveres sammen med denne opgavetekst følgende bilag: Bilag A En blanket til at registrere jeres gruppe med Bilag B Format for individuelle problemlister Bilag C Format for gruppens problemliste Bilag D Eksempler på opgaver som kunne tænkes løst på.ku. Bilag E Spørgeskema De evalueringsteknikker I skal bruge er beskrevet i tre bilag, navngivet Bilag 1 (heuristisk evaluering), Bilag 2 (tænkehøjt forsøg) og Bilag 3 (metafor-baseret evaluering). Også disse tre bilag udleveres sammen med opgaveteksten. Formalia Aflevering Besvarelsen af G5 skal afleveres i DIKUs førstedelsadministration i to eksemplarer med fire udfyldte forsideblanketter senest fredag den 24. maj 2002, klokken 14.00. Grupper Opgaven skal laves i grupper af tre-fire personer. Husk, at det er jeres ansvar at I finder en gruppe og at opgaven ikke kan løses uden en gruppe. Kan I ikke finde en gruppe må I straks kontakte jeres instruktor, eller møde op til spørgetimer om opgaven. Så vil instruktor- og lærergruppen meget hurtigt finde en løsning. Omfang Omfanget af opgaven må maksimalt være 10 sider, eksklusiv de individuelle problemlister og gruppens to problemlister som afleveres på elektronisk form, jævnfør nedenfor. Frysning og e-mailing af filer med problemlister Individuelle problemlister og gruppens to problemlister skal være tilgængelige i et katalog med navnet G5 på én af gruppemedlemmernes diku-førstedelshjemmekatalog. Stien til dette katalog skal angives på forsideblanketten. Desuden skal I samtidig sende jeres problemlister til Khornbaek@nik.ku.dk. Når I har udarbejdet individuelle problemlister og gruppens problemlister for første evalueringsteknik skal disse placeres i kataloget og må efterfølgende ikke ændres. Derefter kan I fortsætte til anden evalueringsteknik. For anden evalueringsteknik skal problemlister på samme måde placeres i kataloget. Efter afleveringstidspunktet for G5 må ingen filer i dette katalog ændres. Ændring af filerne vil blive betragtet som eksamenssnyd. 3
Resumé af fremgangsmåde For at opsummere fremgangsmåden for G5: (1) Dan grupper på 3-4 personer. Aflever bilag A efter forelæsningen den 3. maj eller i førstedelsadministrationen snarest muligt. Her modtager I navnet på første evalueringsteknik og et gruppe-identifikationsnummer. (2) Evaluering med første evalueringsteknik, udarbejdelse af individuelle problemlister, herefter udarbejdelse af gruppens problemliste. (3) Frysning af filer indeholdende individuelle problemlister for første evalueringsteknik og gruppens problemliste for brugsvenlighedsproblemer fundet med første evalueringsteknik. (4) Kontakt førstedelsadministrationen for udlevering af navnet på anden evalueringsteknik. Husk jeres gruppeidentifikation. (5) Evaluering med anden evalueringsteknik, udarbejdelse af problemlister. (6) Frysning af filer indeholdende individuelle problemlister og gruppens problemlister for brugen af anden evalueringsteknik. (7) Skrivning af rapport som sammenligner de to teknikker, som afleveres. (8) Aflevering af rapport senest fredag den 24. maj 2002, klokken 14.00. Rapporten vedlægges et Bilag E for hver gruppemedlem. 4
Bilag A: Gruppedannelse Skal udfyldes og afleveres umiddelbart efter forelæsningen den 3. maj 2002, eller i førstedelsadministrationen snarest muligt. Navn E-mail Navn E-mail Navn E-mail Navn E-mail 5
Bilag B: Format for individuel problemliste Formen på de individuelle problemlister skal være som nedenfor. På kursets hjemmeside findes en HTML skabelon, individuel.html, for individuelle problemlister. Denne skabelon skal benyttes. Problemlisterne skal udfyldes med et problemnummer, som dannes ved at sammensætte gruppenummeret (fx 10) med identifikationen af det gruppemedlem som har udarbejdet problemlisten (hertil bruges et nummer som svarer til rækkefølgen af personnavne på bilag A, fx 3) samt en fortløbende nummerering af problemer (fx 1). Derved får individuelle problemnumre formen gruppe.individ.problem, fx 10.3.1. Øverst på de individuelle problemlister skal angives hvilken teknik I har benyttet. Tillige med et problemnummer, skal problemet karakteriseres med en sætning, fx Hjælpemenu svær at finde. I kolonnen beskrivelse kan I uddybe denne beskrivelse, fx Hjælpemenuen er svær at få øje på helt til højre på skærmen. Desuden er det ikke klart om brugeren forbinder ordet assistance med hjælpefunktionen. Derefter kan I angive hvilken heuristik/heuristikker (for heuristisk evaluering) eller hvilken metafor/metaforer (for metafor-baseret evaluering) som giver støtte til at udpege problemet. Endelig skal I angive en alvorsgrad for hvert problem. Alvorsgraderne tildeles efter følgende skala (Molich 1994, side 111): Alvorsgrad 1 gives til et kritisk problem; giver anledning til hyppige katastrofer; bør rettes inden systemet sættes i drift. Denne kategori er reserveret de ganske få problemer, som er så alvorlige, at brugere er bedre tjent med at få udskudt leveringen af systemet. Alvorsgrad 2 gives til et alvorligt problem; giver lejlighedsvis anledning til katastrofer; bør rettes i næste udgave. Alvorsgrad 3 gives til et kosmetisk problem; bør rettes ved lejlighed. Problemlisten skal ligne nedenstående eksempel; I tilføjer rækker til tabeller som det er nødvendigt. BEMÆRK at problemer og beskrivelsen af problemerne skal være forståelige for personer som ikke har kendskab til den evalueringsteknik I har anvendt. Undgå således fagudtryk og specielle formuleringer som findes i beskrivelserne af de anvendte evalueringsteknikker (Bilag 1, 2 og 3). 6
Brugsvenlighedsproblemer ved brug af teknik. Problemnr. Problem Beskrivelse Heuristik/ Alvorsgrad Metafor 10.3.1 Hjælpemenu Hjælpemenuen H1,H3 2 svær at finde er svær at få øje på helt til højre på skærmen. Desuden er det ikke klar om brugeren forbinder ordet assistance med hjælpefunktionen 7
Bilag C: Format for gruppens problemliste Formen på de gruppens problemliste skal være som nedenfor. På kursets hjemmeside findes en HTML skabelon, gruppe.html, for gruppens problemliste. Denne skabelon skal benyttes. Ved udarbejdelsen af gruppens problemliste skal I kombinere de individuelle problemlister og sammenfatte problemer på tværs af disse når ens problemer er beskrevet. Problemer I er uenige om er en særlig vanskelighed som I må diskutere hvordan I løser. Måske kan I ændre karakteriseringen af problemet, ændre problemets alvorsgrad, eller blive enige om at lade problemet udgå. I skal på problemlisten skrive hvor mange personer i gruppen som har beskrevet problemet på deres individuelle lister. Problemnummeret dannes som for den individuelle problemliste. Brugsvenlighedsproblemer ved brug af teknik. Problemnr. Problem Beskrivelse Heuristik/ Metafor 10.3.1 Hjælpemenu svær at finde Hjælpemenuen er svær at få øje på helt til højre på skærmen. Desuden er det ikke klar om brugeren Antal personer som havde problemet med på deres individuelle liste H1,H3, H9 2 1 forbinder ordet assistance med hjælpefunktionen Alvorsgrad 8
Bilag D: Eksempler på opgaver på.ku. Scenarie 1: Indlogning Du sidder derhjemme og skal ordne nogle studierelaterede ting. Du er koblet til Internettet, din browser er åben og står på din normale startside. Opgave: 1. Find.ku og log dig ind Scenarie 2: E-post Du er nu inde på.ku. Det første du vil gøre er at checke, om du har fået nogle e-mails fra dine undervisere. Opgaver: 1. Find en oversigt over de e-mails du har fået på din.ku adresse. 2. Tilføj en mailadresse til din personlige adressebog. 3. Skriv en besked til en person fra din adressebog. 4. Find en oversigt over dine aktuelle e-postindstillinger. 5. Hvis ikke du allerede har et alias, opret da et. Ellers spring til næste opgave. 6. Hvis du ikke har valgt videresendelse tidligere, videresend da din e-post til en anden postadresse, ellers spring til næste opgave. 7. Finde én af dine venners KU-mailadresse. Du kender kun navnet på vedkommende og ikke mailadressen. Du har heller ikke vedkommende i dit private adressekartotek. 8. Send mailen til vedkommende. 9. Hvis du ikke ønsker at opretholde alias og videresendelse, slet da begge dele, så opsætningen er, som da testen startede. Scenarie 3: Studieadministration Efter at have sendt et par mails, er der også lidt administration du skal have styr på. Opgaver: 1. Find en oversigt over de eksamener du er tilmeldt. 2. Kan du få flere oplysninger om de enkelte eksaminer? 3. Du kunne egentlig godt tænke dig at gå op til et ekstra fag. Prøv at se, om det stadig er muligt at melde sig til eksamen for det fag eller om det er for sent. 4. Forny dit årskort. 5. Du kan ikke huske, hvilken studieordning du er indskrevet under. Find ud af det. 6. Find en oversigt over de fag du har været til eksamen i i løbet af din studietid. 7. Skriv et indlæg i selvbetjeningsdebatten (husk at angive, at der er tale om en test) 8. Find en oversigt over nyheder fra Københavns Universitet 9. Log af.ku 9
Bilag E: Spørgeskema Alle personer skal sammen med deres rapport aflevere nedenstående spørgeskema. Oplysningerne behandles fortroligt og benyttes alene i det tilknyttede forskningsprojekt, dvs. holdes helt ude fra bedømmelsen af jeres opgave. Navn: Gruppe-identifikationsnummer: Køn: Kvinde Mand Alder: år Studie-anciennitet: Bestået Dat0 Bestået Dat1E Bestået Dat1F Bifag begyndt? Bifag i hvad? Bifag afsluttet? FORTSÆTTES PÅ NÆSTE SIDE 10
Forhåndskendskab til evalueringsteknikker inden MMT: Tænke-højt forsøg Heuristisk evaluering Metafor-baseret evaluering Kognitiv gennemgang Common sense Andre, hvilken: Ingen Havde Havde Havde kendskab hørt om læst om brugt den Dit tidsforbrug på G5-opgaven: Antal timer Første evalueringsteknik (tilegnelse og udførelse) Anden evalueringsteknik (tilegnelse og udførelse) Rapportskrivning Andet 11