Københavns Universitet 17/2 2003 Erik Frøkjær og Kasper Hornbæk Det Fælles Usability-evalueringsprojekt Det Fælles Usability-evalueringsprojekt går ud på at tilegne sig, at afprøve samt at sammenligne teknikker til evaluering af brugsvenlighed. Projektet er tilrettelagt som et ambitiøst og realistisk usability-evalueringsprojekt i samarbejde med ledende systemudviklere og usability-eksperter i to ITvirksomheder. Nedenfor er projektet beskrevet med fokus på den måde I skal dokumentere jeres evalueringer på. Det er uhyre vigtigt at I nøje følger disse instrukser. Ellers vil det være umuligt for os i det fælles usability-evalueringsprojekt at benytte jeres evalueringsresultater på en kontrolleret måde. Hvis det under projektforløbet bliver nødvendigt med yderligere oplysninger om opgaven vil disse blive annonceret på kursets hjemmeside og/eller til øvelserne. Teknikker til evaluering af brugsvenlighed I skal hver især benytte to teknikker til evaluering af brugsvenlighed; i alt afprøves tre teknikker. Ikke alle personer skal bruge de samme teknikker. Ved forelæsningen mandag den 17. februar får I navnet på den første evalueringsteknik I skal bruge, samt et gruppe-identifikationsnummer. Det er vigtigt at I først gennemfører evalueringen individuelt og dokumenterer den i en individuel problemliste. Denne problemliste skal være på en særlig form som er angivet i Bilag B. Efter at I har lavet den individuelle problemliste skal I samarbejde de problemer I har fundet til gruppens problemliste. Denne liste skal følge formen i Bilag C. Det er afgørende at I ikke påbegynder gruppens problemliste før I har lavet den individuelle problemliste. Endvidere må I ikke indbyrdes diskutere jeres individuelle problemlister før alle i jeres gruppe er færdige. Alle disse lister (Bilag B erne og Bilag C) skal afleveres på elektronisk form. I et bilag E beskrives den talesprogsgrænseflade I skal evaluere i løbet af projektets første uge. Efter at I har gennemført den første evaluering får I mandag den 24/2 2003 navnet på den anden evalueringsteknik. Denne skal I arbejde med på samme måde som den første evalueringsteknik og aflevere både de individuelle problemlister og én gruppens problemliste. Mandag den 24/2 får I udleveret en beskrivelse af den anden brugergrænseflade I skal evaluere. Endelig vil vi bede jer om individuelt at sammenligne de evalueringsteknikker I har brugt. Formatet for denne sammenligning findes i Bilag D. Registrering af dit tidsforbrug ved de individuelle evalueringer I forbindelse med evalueringen beder vi dig holde øje med hvor lang tid du bruger til (a) at læse om evalueringsteknikken; (b) at forberede evalueringen; (c) at gennemføre evalueringen; og (d) at rapportere evalueringen. Før i løbet - 1 -
af ugen en liste over hvor lang tid du bruger på hver af disse aktiviteter. Når du afleverer den individuelle problemliste, skal du skrive dette tidsforbrug ind. Tænke-Højt forsøg - Særlige forhold De grupper som skal benytte evalueringsteknikken tænke-højt forsøg skal finde forsøgspersoner som ikke er datalogistuderende. Hvert gruppemedlem skal finde én person som kan deltage som forsøgsperson i det forsøg som vedkommende er forsøgsleder for. Også denne evaluering skal gennemføres individuelt, altså uden deltagelse af de andre gruppemedlemmer. Find en egnet forsøgsperson som klart falder indenfor det evaluerede systems målgruppe. Redegør for forsøgspersonens baggrund ved at udfylde et baggrundsskema som det du selv har udfyldt ved grupperegistreringen, jf Bilag A (findes på kursets hjemmeside som en del af opgaveformuleringen). Baggrundsskemaet for forsøgspersonen skal afleveres sammen med den individuelle evalueringsliste for dit tænke-højt forsøg. Obligatorisk kursusopgave og del af forskningsprojekt Resultaterne fra dette fælles usability-evalueringsprojekt kan bidrage med et materiale af stor vigtighed både for de to virksomheder vi samarbejder med for at sikre realisme i projektet og for forskningen i usability-teknikker. En oversigt over det samlede projekt er givet i Figur 1. Subjects Groups All Clients 1 2 3 a 4 5 6 b 60 t Individual lists Group lists Goal list Prioritization and judgment lists Figur 1. Det Fælles Usability-evalueringsprojekt. Oversigt over proceduren og de resulterende usability-problemlister: jeres individuelle lister, gruppernes lister, hele holdets målliste samt vore kunders bedømmelser heraf. For at sikre kvaliteten og uafhængigheden af jeres evalueringer er det vigtigt at I under opgaven ikke i nogen som helst detalje diskuterer med andre grupper hvilke problemer I har fundet ved evalueringen. Eventuelle spørgsmål til beskrivelserne af de benyttede evalueringsteknikker og til proceduren for - 2 -
det fælles usability-evalueringsprojekt kan afklares ved kontakt til jeres instruktorer. Hvis spørgsmålene har almen interesse vil svarene blive kommunikeret ud til alle kursusdeltagere på kursets hjemmeside. Gennemførelse af usability-evalueringsprojektet indgår som en obligatorisk del af kurset. Jeres erfaringerne med teknikkerne til usability-evaluering samt erfaringerne med oparbejdningen af usability-problemlister pr. gruppe og for hele kursusholdet på tværs af grupperne kan forventes inddraget i kursets eksamensopgave, tag-hjem opgaven. Vi håber at få din tilladelse til at benytte dine besvarelser som led i et forskningsprojekt om teknikker til evaluering af brugsvenlighed. Hvis du giver os lov til at bruge dine besvarelser vil vi sikre at de bliver behandlet anonymt. Ønsker du ikke at din evaluering skal indgå i databehandlingen, skal du meddele Erik Frøkjær dette per e-mail (erikf@diku.dk) inden mandag den 3/3. Opsummering af procedure Mandag 17/2. Kl. 12. Udlevering af opgave. Grupperegistrering. Udlevering af ark med gruppenummer og teknik til den første uge. Søndag 23/2. Kl. 24. Seneste frist for aflevering af den individuelle evalueringsliste for første uges evaluering. Mandag 24/2 Kl. 12. Seneste frist for aflevering af gruppens problemliste for første uge. Udlevering af ark som beskriver hvilken teknik og brugergrænseflade I skal evaluere i anden uge. Søndag 2/3. Kl. 24. Seneste frist for aflevering af den individuelle evalueringsliste for anden uges evaluering. Mandag 3/3. Kl. 12. Seneste frist for aflevering af gruppens problemliste. HUSK: Også seneste frist for aflevering af den individuelle sammenligning af evalueringsteknikker (bilag D). Elektronisk aflevering Alle afleveringer skal ske som HTML-dokumenter ved at e-maile dokumenterne til adjunkt Kasper Hornbæk, kash@diku.dk. Emne-linien skal være [eksperiment]: plus gruppenummer og ID. Bilag Til brug for jeres arbejde med opgaven udleveres sammen med denne opgavetekst følgende bilag: Bilag A En blanket til at registrere jeres gruppe med, inklusiv baggrundsspørgeskemaer. Bilag B Format for individuelle problemlister Bilag C Format for gruppens problemliste Bilag D Format for sammenligning af evalueringsteknikker Bilag E Beskrivelse af talesprogsgrænseflade (eng. NLI) - 3 -
De evalueringsteknikker I skal bruge er beskrevet i tre bilag, navngivet Bilag 1 Kognitiv gennemgang Bilag 2 User testing, Discount User Testing (Tænke-højt forsøg) Bilag 3 Evaluating user interfaces with metaphors of human thinking (Metafor-baseret evaluering) Også disse tre bilag udleveres sammen med opgaveteksten. - 4 -
Bilag A: Grupperegistrering og baggrundsspørgeskema Skal udfyldes og afleveres ved forelæsningen mandag den 17/2 2003. Gruppe ID: Navn E-mail Navn E-mail Navn E-mail - 5 -
Baggrundsspørgeskema Alle personer skal sammen med deres rapport aflevere nedenstående spørgeskema. Oplysningerne behandles fortroligt og holdes helt ude fra bedømmelsen af jeres opgave. ID for gruppemedlem: i Gruppe ID: Identifikation af gruppemedlemmer inden for en gruppe foregår ved at den person som i løbet af året først har fødselsdag får nummer 1; personen med den første fødselsdag derefter nummer 2; den sidste person nummer 3. Køn: Kvinde Mand Alder: år Hvor mange år har du studeret datalogi: år Forhåndskendskab til evalueringsteknikker: Tænke-højt forsøg Ingen Havde Havde Havde kendskab hørt om læst om brugt den Heuristisk evaluering Metafor-baseret evaluering Kognitiv gennemgang Andre, Hvilke: - 6 -
Erfaring med design af brugergrænseflader: Erhvervserfaring med design af brugergrænseflader, fx web-sider eller grafiske brugergrænseflader Ingen 2 år >2 år Kurser om brugergrænseflader, fx om Håndholdt udstyr eller Introduktion til HCI Ingen 1-2 >2 Erfaring med mobiltelefoner: Har du en mobiltelefon : Nej Ja Hvis Ja: 0 år 0-1 år 1-2 år >2 år Hvor mange år har du haft en mobiltelefon? Hvor længe har du haft en Nokia telefon? Hvor længe har du haft en Nokia model 7210? Erfaring med talesprogsgrænseflader: Har du benyttet systemer, hvor interaktionen foregår ved tale? Nej Ja Hvis ja, hvilke: - 7 -
Bilag B: Udfyldning af individuelle problemlister Formen på de individuelle problemlister skal være som nedenfor. På kursets hjemmeside findes en HTML skabelon, individuel.html, for individuelle problemlister. Denne skabelon skal benyttes ved aflevering. Problemlisterne skal udfyldes med et problemnummer, som dannes ved at sammensætte gruppenummeret (fx 10) med identifikationen af det gruppemedlem som har udarbejdet problemlisten samt en fortløbende nummerering af problemer (fx 1). Identifikation af gruppemedlemmer inden for en gruppe foregår ved at den person som i løbet af året først har fødselsdag får nummer 1; personen med den første fødselsdag derefter nummer 2; den sidste person nummer 3. Derved får individuelle problemnumre formen gruppe.individ.problem, fx 10.3.1. Øverst på de individuelle problemlister skal angives hvilken teknik I har benyttet. Tillige med et problemnummer, skal problemet karakteriseres med en sætning, fx Hjælpemenu svær at finde. I kolonnen beskrivelse kan I uddybe denne beskrivelse, fx Hjælpemenuen er svær at få øje på helt til højre på skærmen. Desuden er det ikke klart om brugeren forbinder ordet assistance med hjælpefunktionen. Derefter følger en kolonne hvor I for metafor-baseret evaluering skal angive hvilken metafor/metaforer som giver støtte til at udpege problemet. For kognitiv gennemgang skal angives hvilket kriterie problemet er fundet med. For tænke-højt forsøg skal intet angives i denne kolonne. Endelig skal I angive en alvorsgrad for hvert problem. Alvorsgraderne tildeles efter følgende skala: Alvorsgrad 1 gives til et katastrofalt problem. Problemer i denne kategori vil hyppigt medføre at brugere forhindres i at udføre opgaven. Alvorsgrad 1 er reserveret de ganske få problemer, som er så alvorlige, at brugere er bedre tjent med at få udskudt leveringen af systemet. Alvorsgrad 2 gives til et alvorligt problem. Problemer i denne kategori vil forsinke brugere væsentligt eller være til alvorlig gene; for enkelte brugere så alvorligt at de må opgive at udføre opgaven. Alvorsgrad 2 tildeles problemer der er så alvorlige at de bør rettes i næste udgave af systemet. Alvorsgrad 3 gives til et kosmetisk problem. Problemer i denne kategori vil kun forsinke brugere kortvarigt eller være til mindre gene. Kosmetiske problemer bør rettes ved lejlighed. I skal bruge disse alvorsgrader på problemlisterne, også hvor andet måtte være beskrevet i beskrivelser af evalueringsteknikkerne (Bilag 1, 2 og 3). Problemlisten skal ligne nedenstående eksempel; I tilføjer rækker til tabellen som det er nødvendigt. BEMÆRK at problemer og beskrivelsen af - 8 -
problemerne skal være forståelige for personer som ikke har kendskab til den evalueringsteknik I har anvendt. Undgå således fagudtryk og specielle formuleringer som findes i beskrivelserne af de anvendte evalueringsteknikker (Bilag 1, 2 og 3). Hvad angår opgørelsen af tidsforbrug henvises til afsnittet Registrering af dit tidsforbrug ved de individuelle evalueringer. - 9 -
Individuel Problemliste Brugsvenlighedsproblemer ved brug af teknik. Dit samlede tidsforbrug til at: læse om evalueringsteknikken: forberede evalueringen: gennemføre evalueringen: rapportere evalueringen: Problemnr. Problem Beskrivelse Metafor/ Kriterie Alvorsgrad 10.3.1 Hjælpemenu svær at finde Hjælpemenuen er svær at få øje på helt til højre på skærmen. Desuden er det ikke klar om brugeren forbinder ordet assistance med hjælpefunktionen M1,M3 2-10 -
Bilag C: Udfyldning af gruppens liste Formen på de gruppens liste over brugsvenlighedsproblemer skal være som nedenfor. På kursets hjemmeside findes en HTML skabelon, gruppe.html, for individuelle problemlister. Denne skabelon skal benyttes. Problemlisten skal udfyldes med et problemnummer, som dannes ved at sammensætte gruppenummeret (fx 10) med et forløbende nummer. Derved får problemerne på listen formen gruppe.problem, fx 10.1. Øverst på gruppens liste skal angives hvilken teknik I har benyttet. Rækkefølgen af problemerne skal afspejle hvor vigtigt I anser dem for at være: det vigtigste problem skal have nummer 1, det næst vigtigste problem 2, osv. Husk denne prioritering. Prioriteringen vil komme til at spille en afgørende rolle når vi sammen skal oparbejde hele holdets målliste, se figur 1. Gruppens liste skal indeholde en angivelse af hvilke individuelle problemer et problem er sammenfattet fra. Angiv desuden en forklaring på hvorfor de individuelle problemer er slået sammen. I skal i forbindelse med samarbejdningen af gruppens liste ikke foretage en ny evaluering. Tillige med gruppens liste skal I under jeres sammenfatning af gruppens usability-problemer lave en liste over de problemer som I af den ene eller anden grund ikke længere opfatter som problemer. Til sådanne ikkeproblemer skal I tilføje en forklaring på hvorfor I ikke længere opfatter det som et problem. BEMÆRK at alle problemerne på de individuelle lister således skal optræde mindst et sted på gruppens liste. Check dette grundigt inden I afleverer gruppens liste. - 11 -
Gruppens Problemliste Brugsvenlighedsproblemer ved brug af teknik. Problemnr. Problem Beskrivelse Individuelle problem-numre 10.1 Hjælpemenu Hjælpemenuen 10.2.3 svær at er svær at få 10.1.10 finde øje på helt til højre på skærmen. Forklaring Begge problemer vedrører placering af hjælpe-menuen. Ikke-problemer Individuelle Forklaring problem-numre 10.3.1 Problemet er ikke et brugsvenlighedsproblem; der er tale om smag og behag som varierer mellem gruppens medlemmer. - 12 -
Bilag D: Sammenligning af evalueringsteknikker Nedenfor skal du sammenligne de to evalueringsteknikker du har brugt. På kursets hjemmeside findes en HTML skabelon, sammenligning.html, for individuelle problemlister. Denne skabelon skal benyttes. ID for gruppemedlem: i Gruppe ID: Resumer fordele og ulemper ved den første evalueringsteknik du brugte. Resumer fordele og ulemper ved den anden evalueringsteknik du brugte. Hvilken evalueringsteknik foretrak du at bruge? Første teknik Anden teknik Hvorfor: - 13 -
Bilag E: Beskrivelse af talesprogsgrænseflade (eng. NLI) Talesprogsgrænsefladen (eng. NLI) I skal evaluere er udviklet i et samarbejde mellem Prolog Development Center A/S (Hans Dybkjær), Laboratoriet for Naturligt Interaktive Systemer, NISLab (Laila Dybkjær) og ATP-Huset. NLI tilbyder information af generel art om feriepenge, informationer som også er tilgængelige på www.feriekonto.dk. Brugergruppen for NLI antages at benytte NLI i den situation hvor et spørgsmål om feriepenge opstår. Eksempler på opgaver som kunne få brugere til at ringe til NLI er: 1. Du vil gerne sende en e-mail eller måske en fax til FerieKonto. Find ud af hvor til. 2. Du er flyttet til udlandet hvor du har fået job. Du har feriepenge til gode og de kunne være gode at have til at klare nogle af flytteudgifterne. Mon du kan få dem alle nu hvor du flytter, selv om du ikke lige står og skal holde ferie? 3. Du står og mangler penge og ved at du har indsendt dit feriebevis, så det kunne være rart hvis FerieKonto havde sat penge ind på din konto. Find ud af om de har. 4. Du har brug for FerieKontos adresse. Skaf den. 5. Du er ret sikker på du har feriepenge til gode, men du kan ikke finde dit feriekontobevis, så du bliver nødt til at prøve at skaffe et nyt. Den typiske bruger ringer op fra 1 til 3 gange i løbet af et helt liv. Udviklerne bag NLI beder derfor om at I fokuserer på førstegangsbrug. I kan selv i forbindelse med evalueringen finde på andre opgaver end dem ovenfor. NLI indgår i en applikationen som indledes med følgende sekvens: S: Velkommen til FerieKontos servicetelefon. If you need information in English, press zero. S: Vi kan oplyse at vi sender feriekontobeviser ud fra begyndelsen af marts måned. S: Du har nu følgende muligheder. S: Har du brug for et nyt feriekontobevis, tast 1. S: Hvor hurtigt kan du få dine penge, tast 2. S: For generel vejledning, tast 3. B: (3) S: Generel vejledning ligger på... Bemærk at på telefonnummeret I ringer op til er det antaget at disse skridt allerede er gennemført, og at brugeren er kommet ind til generel vejledning. NLI er tilgængelig på telefon 36360091. Antallet af telefonlinjer til systemet er begrænset. I bedes derfor overholde de skemaer som beskriver hvornår I må ringe til systemet; er der optaget så prøv igen. Er der gennem mere end en time problemer med at komme igennem til systemet beder vi jer straks kontakte os, erikf@diku.dk og kash@diku.dk. - 14 -
Adgangen til NLI er begrænset, derfor skal I finde ud af hvornår I kan evaluere systemet ud fra nedenstående skema. Tid Tirsdag Onsdag Torsdag Fredag Lørdag Søndag 8-12 1 5 9 13 17 21 12-16 2 6 10 14 18 22 16-20 3 7 11 15 19 23 20-24 4 8 12 16 20 24 I finder tidspunktet I må ringe til NLI på ved a) jeres gruppenummer og b) tallet ((gruppenummer+9) modulo 20) +1. Disse to tal bruger I til at finde to celler i tabellen. Disse to celler specificerer de to tidspunkter jeres gruppe må ringe til NLI. Indenfor gruppen må I selv koordinere at gruppens medlemmer ikke bruger systemet samtidig. Hvis jeres gruppenummer for eksempel er 12, så kan I ringe til systemet torsdag 20-24 og tirsdag 12-16. - 15 -