En vurdering og diskussion af seks usability metoder

En vurdering og diskussion af seks usability metoder Gruppe: Mathilde, Katrine, Martin og Kim UES2001 IT- højskolen, April 2001

Indledning [Usability is] the effectiveness, efficiency and satisfaction with which specified users can achieve specified goals in particular envinonments (Jordan 1998:s. 5) Hvorfor beskæftige sig med usability? Et færdigt website skal afspejle brugernes behov og forventninger. Udviklingsprocessen af et website er dynamisk og består af forskellige faser. I et User Centered Design perspektiv er det nødvendigt at inddrage brugerne i udviklingsfasen. Herved kan man sikre at designet passer til målgruppens behov og forventinger. Til dette formål eksisterer en række usability metoder, der på hver deres måde kan være med til at kvalificere brugervenligheden af produktet. 1.1 Problemformulering En komparativ analyse af seks udvalgte usability metoder og en diskussion af de udvalgte metoders anvendelighed i forskellige sammenhænge. Vi vil identificere: Metodernes fordele og ulemper Hvornår i udviklingsprocessen de er brugbare 1.2 Afgrænsning Vi har valgt udelukkende at fokusere på udvikling af websites og kun behandle de seks usabilitymetoder, der er blevet gennemgået i kurset Usability Engineering foråret 2001. Metoderne er: Heuristisk Evaluering, Cultura Probes, Card Sorting, Contextual Inquiry, Tænke-Højt test, Eye- Tracking. 2.0 Den iterative udviklingsproces af websites Vi ser designudvikling som en iterativ proces, hvor det er muligt at bevæge sig frit mellem de enkelte udviklingsfaser. Dette står i kontrast til vandfaldsmodellen, der i højere grad beskriver udviklingsprocessen som et trinsvist lineært forløb. I den iterative udviklingsproces er der mulighed for at justere designudviklingen på baggrund af nyindsamlede data. Den iterative designproces kan illustreres ud fra en kuglemodel, der angiver fire faser i udviklingen af et website: 2

Figur 1: Den iterative kuglemodel VEDLIGEHOLDELSE IDE Foranalyse IMPLEMENTERING FASE 4 FASE 3 FASE 1 FASE 2 KRAV UDVIKLING DESIGN PROTOTYPE De grå pile viser et forløb gennem fase 1 fase 4 1. I modellen er der lagt vægt på at give et indtryk af en dynamisk udviklingsproces, hvori de enkelte pile angiver bevægelserne mellem de forskellige faser. Modellen illustrerer, at faserne ikke følger et lineært forløb f.eks. kan man gå fra fase 1 til fase 4 og fra fase 3 til fase 1 etc. Enkelte faser eller delelementer i faserne kan springes over eller gentages, men et normalt projektforløb kører evolutionært, altså lineært med større og større viden (gennem bla. løbende dataindsamling/analyse vha. metoderne). Den viden man indsamler i én fase tages med over i den næste fase osv. Modellen illustrerer udviklingsprocessens dynamiske forløb og altså ikke i hvilken rækkefølge projektets faser nødvendigvis følger. Fase 1: Idé - analyse - kravspecifikation. På baggrund af kendskab til målgruppen og markedsforholdene justerer man idéen, så den afpasses målgruppens behov og forventninger samt konkurrencesituationen. Man opstiller kravspecifikationer, som vil være retningsgivende for den efterfølgende fase. 1 Med inspiration fra: http://www.perception-research.com/eperception/2.html samt Lars Schmidt s (FramFab) forelæsning i forbindelse med undervisningen (IT-C: 23/2-2001). 3

Fase 2: Krav design udvikling af prototype. Der udvikles en prototype på baggrund af de opstillede kravspecifikationer f.eks. i forhold til sitets målgruppe, tekniske forudsætninger, økonomi m.v. Fase 3: Udvikling og implementering. Ud fra en prototype foretages brugertest for at se hvordan websitet virker på brugerne. Websitet implementeres på internettet. Derudover foretages (endnu) en konkurrentanalyse for at sikre at sitet stadig er konkurrencedygtigt. Fase 4: Vedligeholdelse. I denne fase bliver/er websitet implementeret og kører online på internettet. En del af vedligeholdelsen består af at opdatere og videreudvikle sitet i forhold til dets målgruppe og markedsforholdene. 3.0 Analyse af usability metoder og indplacering i model I det følgende vil vi gennemgå de seks usability metoder, der ligger til grund for analysen. Disse udgør vores referenceramme for den løbende diskussion. 3.1 Heuristisk Evaluering Metoden baseres på en gruppe usability eksperters vurdering af et given websites usability tilstand ud fra en fast emneliste, der fungerer som en heuristisk skabelon, eller ti tommelfingerregler 2. De problemer eksperterne finder omsættes i målbare værdier, typisk i en skala fra 1-4, der angiver, hvor alvorligt problemet er. En tabel over værdierne giver et grafisk indtryk af sitets brugervenlighed. Vurdering af metoden Den heuristiske evaluering inddrager ikke direkte brugerne i testforløbet. Et hold usability eksperter vurderer sitets brugervenlighed ud fra en checkliste, der bygger på erfaringer fra generelle brugerobservationer. Metodens resultater vil være meget afhængige af hvilke elementer eksperterne leder efter. For eksempel opererer Jakob Nielsen med ti heuristikker, hvortil Pearrow tilføjer yderligere fem 3. 2 Se bilag nr. 1 3 Pearrow 2000: s.180. 4

Metoden kan kritiseres for at være subjektivt baseret ud fra den enkelte evaluators ekspertise og personlige vurdering. Molich mener, at der i den sammenhæng yderligere er en fare for en evaluator effekt, hvor der findes fejl blot for at behage kundens forventning 4. Derudover er der et grundlæggende problem i at forskellige eksperter vil finde forskellige fejl og graduere disse forskelligt. Der er en udbredt uenighed med hensyn til, hvor mange eksperter der foretager evalueringen. Nielsen mener, at fem eksperter er tilstrækkeligt, og at disse i løbet af en halv time vil kunne finde 70% af alle fejl på et site uafhængigt af dets størrelse. Molich bestrider dette udsagn og fremhæver behovet for en mere stringent testguide, og brug af erfarne fremfor uerfarne evaluatorer, da disse vil vil finde flere fejl. Fordelen ved den heuristiske evaluering er, at den kan foretages hurtigt og ikke kræver videre testudstyr. På baggrund af ovenstående mener vi, at den heuristiske evaluering kan bruges, når der er en prototype eller et produkt, man kan evaluere på. Hvis man kun har ressourcer til én heuristisk evaluering, er den mest anvendelig i fase 3, altså så tæt på den endelige implementering som mulig for at sikre, at de mest alvorlige fejl rettes, inden websitet implementeres. 3.2 Cultural Probe Metoden er oprindeligt udviklet til at få indblik i en målgruppes liv og adfærdsmønstre i forskellige kulturelle miljøer. Informanterne får tilsendt en pakke ( kulturel sonde ), der indeholder forskellige genstande, f.eks. postkort, kamera, spørgeskema mm. som informanterne skal bruge eller udfylde. Opgaverne skal spejle informanternes hverdagssituationer, erindringer, vaner og interesser. Vurdering af metoden Metoden anvendes i eksperimentelle designprocesser, hvor den skal give inspiration til udvikling og design af forskellige produkter. Der ligger i ordet sonde at opgaverne sendes ud og returneres med data. Metoden er derfor god, hvis man er langt fra informanterne og empirisk feltarbejde er umulig. 4 Molich s forelæsning i forbindelse med undervisningen (IT-C: 9/3-2001). 5

Metoden giver et innovativt indspark til produktvalget og udviklingen af designet. Den er ikke bundet til noget bestemt produkt eller design. Derfor kan denne metode anvendes i fase 1, der omfatter selve idéudviklingen. Som udgangspunkt er metoden fortrinsvist blevet anvendt af grafiske designere, hvorfor sammensætningen og konstruktionen af sonden er lige så central, som selve analysen af de indsamlede data. Man kunne forestille sig, at cultural probes kunne bruges til forudbestemte produkter, f.eks. den æstetiske udvikling af et web design, hvor sonderne eksempelvis kan give en konkret indsigt i, hvad brugerne finder attraktivt ud fra fotos, postkort, udklip etc. 3.3 Card Sort Card Sorting metoden går ud på at observere, hvordan en brugerrepræsentant grupperer et sites indhold. Ved hjælp af indekskort med hhv. titler og indholdsbetegnelser skal en bruger intuitivt sortere og kategorisere titlerne. Derved kan der observeres, hvor sigende titlerne er for brugeren, og om der er en overensstemmelse med brugerens hverdagssprog og kategoriseringen af indholdet. Vurdering af metoden Card Sort er en hurtig, nem og meget billig metode, der er velegnet til at gøre strukturen af et website mere brugervenlig. Der er i høj grad tale om en justering af sitets navigationsstruktur dvs. forholdet mellem titel og indhold. Metodens usikkerhed er, at testpersonerne sandsynligvis vil kunne sortere ud fra forskellige ordensopfattelser. Man kan ikke være sikker på en konsistent navigation ved brug af metoden. Den giver blot en indikation, om hvorvidt titlerne og indholdsbetegnelserne er sigende for brugerne. Card sort metoden kan med fordel bruges i fase 2 og 3 som en del af udviklingen af sitets struktur for at forbedre brugerens navigering i sitet. 3.4 Contextual Inquiry Contextual techniques aim to ground the design process in a solid base of customer data. (Holtzblatt & Beyer 1996: s.301) Metoden har til formål at udvikle et design på baggrund af en forståelse af og indblik i brugernes konkrete arbejdspraksis. Der er tale om et brugerorienteret perspektiv, hvor der tilstræbes en oplevet 6

erfaring ud fra et etnografisk feltarbejde (deltagerobservation og interview), hvorved der indsamles data om det ønskede undersøgelsesfelt 5. Brugerne inddrages i fortolkningen af data, og undersøgerne er på en måde i en slags mesterlære. De forsøger ved brug af cross-functional teams at få indsigt i en bestemt arbejdspraksis og de arbejdsfunktioner, der præger den. Som analytiske redskaber gøres der brug af forskellige arbejdsmodeller, der grafisk viser i hvilken kontekst (organisationstruktur) den givne arbejdspraksis skal forstås (context models), hvilke fysiske forhold der er tale om (physical models), hvordan arbejdsgangene flyder (flow model), hvilke redskaber tages i brug (artifact models). Vurdering af metoden Contextual Inquiry er en forholdsvis krævende metode, der stiller store krav til feltarbejdets udførelse og behandlingen af de indsamlede oplysninger. Metoden er forholdsvis billig, da den ikke gør brug af teknologisk udstyr. Det gode ved metoden er at den forholder sig til tavs viden, da den i højere grad lægger vægt på det personerne gør, end det, de siger de gør. Problemet ved Contextual Inquiry er risikoen for fejltolkning af empiri. Desuden kræver den en omstillingsvillig/parat organisation. Metoden er meget omfattende, og det kan være svært at opretholde et fokus, da den forsøger at skabe indblik i en udvalgt arbejdsfunktion og hele dets omkringliggende miljø. Det vil være fordelagtigt at benytte metoden tidligt i udviklingsprocessen f.eks. i fase 1 til udvikling af koncept/idé og prototype, da den giver inspiration til, hvordan arbejdsgange kan forbedres. Metoden er med til at sikre en brugerorienteret udvikling af sitet og sætter det ind i sin rette kontekst. 3.5 Tænke højt test Tænke højt metoden har til formål at få indblik i brugerens arbejds- og tænkeproces (kognitive adfærd). Den minder om Card sort metoden, idet den tester sites navigationsmuligheder. Testpersonen får stillet nogle realistiske og velformulerede opgaver, som kan være formuleret i samarbejde med 5 Se bilag 3. 7

designeren 6. Samtidigt med at opgaverne løses skal testpersonen fortælle hvad han/hun tænker og føler. Testen skal helst foregå der, hvor brugeren selv ville benytte systemet, eksempelvis i brugerens arbejdsmiljø. Efter tænke højt testen skal testlederen debriefe informanten om sine observationer samt give informanten mulighed for at give en tilbagemelding på tænke højt testens udførelse. Vurdering af metoden Ligesom med Card Sorting er tænke højt metoden meget nem at kritisere ud fra et krav om objektivitet, men eftersom det med brug af nutidens teknologi ikke er muligt at læse brugernes tanker mens de interagerer med et site, er denne metode det tætteste, man kan komme på brugerens tanker og oplevelser i forbindelse med opgavebesvarelserne. Metoden tager udgangspunkt i brugerens behov og ikke i websitets menupunkter og indhold. Det er en prisvarierende metode, der ikke nødvendigvis kræver et professionelt usability-lab for at kunne fungere i praksis, dog er der en fordel i at benytte et veludstyret usability-lab, da det ellers kan være svært at registrere testforløbets fulde indhold (dvs. klikraten, tid, tankeproces etc.). Situationen for testpersonen vil altid være kunstig og eksamensagtig, da han/hun er under observation gennem hele testforløbet. Testpersonen kan føle sig dum og vil måske ikke sige, hvad han/hun rigtigt tænker, men mere hvad han/hun tror, at moderator vil høre. Det er nemt for moderator og observanter at komme til at hjælpe testpersonen ubevidst. En uerfaren moderator kan let komme til at stille ledende spørgsmål til testpersonen under tænke højt testen, hvilket kan give støj i testresultaterne. Jo flere, der taler under et testforløb, jo større sandsynlighed er der for, at referenten kommer til at citere en person for at sige noget, en anden har sagt. Tænke højt metoden anvendes på f.eks. prototyper eller dele af systemet (fase 2 & 3), men den kan med fordel anvendes i alle faserne for at høre hvordan brugeren reagerer på de ideer eller det design man er ved at udvikle. F.eks. ved redesign, her foretages testen af det gamle system. På den måde sikrer man sig løbende feedback fra brugeren på hvad man laver. 6 Molich, Rolf (1994): s.102 8

3.6 Eyetracking Eye-Tracking er en metode, der præcist måler en persons øjenbevægelser og giver oplysninger om, hvor lang tid personen fokuserer på de enkelte dele af f.eks. et website. Testpersonen eller testpersonerne bliver stillet en eller flere opgaver, som de skal udføre i relation til produktet. Metoden bruges til at registrere, hvad der tiltrækker brugerens opmærksomhed omkring et givent produkt. Eksempelvis anvendes den ved testing af bannerplaceringer, andre former for branding og reklame på et website. Metoden kan også bruges ved redesign af websites eller trykte medier. Vurdering af metoden En ulempe ved metoden er, at den er forholdsvis dyr, da den kræver en række dyre specialapparater samt uddannede eksperter til at foretage de efterfølgende analyser. Eye-track udstyret består normalt af et kamera, der placeres under computerskærmen og som følger testpersonens øjne. En computer registrerer løbende koordinaterne for, hvor respondenten kigger på skærmbilledet. Dette giver mulighed for direkte overvågning af, hvor og på hvad testpersonen kigger under testen 7. I modsætning til de øvrige gennemgåede metoder er resultaterne fra eyetracking objektivt målbare. Man ser, hvad testpersonen ser, og testpersonen kan ikke snyde, da metoden også kan måle personens ubevidste små øjebevægelser. Metoden har således en fordel i forhold til de øvrige metoder, fordi den er lettere at forsvare som en videnskabelig objektiv metode. Metoden har også den fordel, at den kan teste med bevægelseshandicappede personer. Metoden kan med fordel bruges i alle udviklingsfaser f.eks. til test af prototyper (fase 2 og 3), men også til løbende justering af skærmlayout/designet af et færdigt site (fase 4). Desuden kan man bruge metoden i fase 1 (på konkurrenters site). 4.0 Diskussion og konklusion I brugerorienteret design er det centrale aspekt at inddrage brugeren så tidligt og så ofte som muligt i udviklingen af websitet. Der er udviklet flere metoder til denne inddragelse af brugerne. I vores gennemgang af de seks metoder har vi måttet konstatere at de ikke nødvendigvis er konkurrenter. Metoderne har forskellige styrker og svagheder. De kan noget hver især i forskellige dele af udviklingsfaserne. 7 http://www.perception-research.com/eperception/2.html 9

I fase 1 som er planlægningsfasen er det for eksempel nyttigt at søge inspiration hos brugeren, og han eller hendes verden. Det er det som Cultural probes metoden og contextual inquiry hver især går ud på. Her er en indgangsmetode til brugerens umiddelbare verden. I fase 2 fastlægges designet og en prototype produceres. Så snart der foreligger en prototype kan man inddrage brugeren og få deres reaktion på prototypen. Det kan man f.eks. gennem tænke højt test, eller eye tracking. I den del af designudviklingen som omhandler navigationstruktur kan man bruge card sort. Det er også muligt at lave en heuristisk evaluering. Den heuristiske evaluering er en slags garant for at man undgår de typiske fejl fordi man leder bevidst efter dem. Fase 3 er udviklingen af de ting man er kommet frem til i fase 2. Der er en prototype at teste på, og brugerne kan med fordel inddrages hver gang man laver en væsentlig ændring. Foreksempel for at afeller bekræfte brugerens reaktioner på en tidligere prototype har ført til ændringer. Den nye prototype kan så testes for at se om ændringen har løst kritikkken. I fase 4 skulle det endelige site gerne være implementeret. De usability tests der kan bruges i denne fase kører på vurderinger af Release 1, som kan føre til ændringer på en evt Release 2. En diskussion som bør tages op er, om kravet om en videnskabelig saglighed skal være et mål i udbredelsen af usability metodernes videre anerkendelse. Som altid når man undersøger følelser og tanker på mennesker er det svært at forvente en høj grad af videnskabelighed. Usability metoderne kan kritiseres for deres manglende videnskabelig validitet. Bortset fra Eye-tracking er der tale om en forholdsvis holdningsladet, subjektiv bedømmelse af sitets brugervenlighed. Omvendt må man konstatere, at metoderne er effektive og at de fungerer, og at de konkret kan være med til at gøre sitet mere brugervenligt. 10

Bilag BILAG 1: Heuristisk evaluering 1. Visibility of system status en tydelig markering af hvor man befinder sig i systemet. 2. Match between system and the real world naturligt sprogbrug ift. målgruppe, real world conventions, naturlig og logisk orden i informationsstrukturen. 3. User control and freedom brugerkontrol, mulighed for undo og redo. 4. Consistency and standards konsistent sprogbrug/termer og konventioner. 5. Error prevention undgå fejl! 6. Recognition rather than recall brugeren skal umiddelbart kunne se og genkende mulighederne i sitet og ikke være tvunget til at huske, hvordan man bruger dem. Hjælp skal være synlig hele tiden. 7. Flexibility and efficiency of use gør det muligt for brugeren at skræddesy egne løsninger. 8. Aesthetic and minimalist design tænk over design i forhold til indholdet. 9. Help users recognize, diagnose, and recover from errors brugervenlige fejlmedelelser og en løsning på problemet. 10. Help and documentation selvom sitet burde fungere uden dokumentation og hjælp, skal disse være til rådighed og på en vejledende trin-for-trin form. (Jakob Nielsen 2000) Bilag 2: Contextual inquiry Contextual Inquiry indeholder faserne: Identifikation af problem og undersøgelsefelt Indsamling af data Fortolkning af data Udvikling og implementering Kilde: (Holtzblatt & Beyer 1996) 11

Bilag 3 Et eksempel på en flow-model Baggage Podium -handling luggage Eagle One -eyes of Eagle Observation Checking Reporting Exchanging data Reporting Exchanging data Checking Eagle Observation trailor -reporting time for arrivals/departures -registration of aviations and passengers -reporting maintenance tasks Reporting Exchanging data Airport HQ -schedules -complexsheets Aviation maintenance crew -refueling -mechanics etc. The Eagle observation ramp Bilag 4: Tænke højt test Hele tænke-højt metodens proces foregår således: Udformning af opgaver Udvælgelse af deltagere Test af afprøvning (pilot forsøg) Revision af afprøvning (evt. redesign af opgaver) Indledende kontakt til deltagere Gennemførelse af selve afprøvningerne (60-90 min.) Forberedelse af afprøvningen Modtagelse af bruger Løsning af opgaver Afsluttende snak med bruger (vigtig del, brugeren får lov til at snakke ærligt og generelt om systemet) Dataanalyse (problemer skal rates) Kilde: Molich (1994): s.100 12

Bilag 5: Eye tracking Trin i testen: Definér problem og hypotese Opstil den eksperimentelle procedure (apparater o.lign.) Udgør testen Analysér data Kilde: Paulin s forelæsning samt uddelte slides i forbindelse med undervisningen. Samt: http://www.perception-research.com/eperception/2.html 13

Litteraturliste Pearrow, Mark: Web Site Usability Handbook. Charles River Media, Inc. 2000. Molich, Rolf: Tænke højt afprøvning, i: Molich, Rolf: Brugervenlige edb-systemer, s. 100-115. Teknisk Forlag. 1994. Gaver, Bill (et. al.): Cultural Probes. Interactions, January-February, s.21-29. Association for Computing Machinery. 1999. Holtzblatt, Karen & Beyer, Hugh: Contextual Design: Principles and Practice, i: Wixon (et. al.). Field Methods Casebook for Software Design: s. 301-333.1996. Nielsen, Jakob: Finding Usability Problems Through Heuristic Evaluation. CHI 1992, May 3-7. 1992. Online (http://www.) Useit.com perception-research.com Forelæsninger i forbindelse med undervisningen Lars Schmidt (FramFab) Rolf Molich (Heuristisk evaluering og UCD) John Paulin (Eye tracking) 14