Usability testing
Agenda Hvem er Laurs Schifter? Hvad er Usability testing? Hvorfor er det vigtigt? Pause Usability testing i praksis Case Spørgsmål TestHuset A/S Lautruphøj 1-3 DK-2750 Ballerup info@testhuset.dk +45 44 979 979 www.testhuset.dk
Hvem er Laurs Schifter Testkonsulent i TestHuset A/S It erfaring siden 2007, primært som Testmanager Cand. IT fra ITU med speciale i user experience ISTQB Advanced Test Manager Certified Agile Tester Privat: Gift og har 1 barn TestHuset A/S Lautruphøj 1-3 DK-2750 Ballerup info@testhuset.dk +45 44 979 979 www.testhuset.dk
Hvad er Usability testing?
Hvad er Usability? Usability er defineret af fem kvalitetselementer: Learnability: Hvor nemt er det for brugerne at løse simple opgaver første gang de møder designet? Efficiency: Når først brugeren har lært designet at kande, hvor hurtigt kan han så udføre opgaver? Memorability: Når brugere vender tilbage til designet efter et fravær, hvor hurtigt kan de så etablere færdighederne igen? Errors: Hvor mange fejl laver brugeren, hvor alvorlige er de fejl og hvor nemt kan brugeren komme videre fra de fejl? Satisfaction: Hvor behageligt er designet at bruge?
Hvad er Usability? Introduktion til nogle få basis termer Affordance = opfattet brug Påstand: Et godt design giver brugeren en intuitiv forståelse af brugen af en genstand. Påstand: Et dårligt design kan give brugeren en forkert opfattelse af brugen af en genstand
En lille opgave Tegn et komfur som har god Usability Tid: 2 3 minutter Alene eller i grupper af 2 personer
Mapning og Synlighed Mapning Sammenhæng mellem en funktion og dens effekt. F. eks en play knap eller tydeligt placeret komfur knap Synlighed Brugere kan deducere brug af et produkt eller interface ved at inspicere det. Handlinger er givet ud fra designet uden behov for ord eller symboler (i en perfekt verden) Hvilket af de 3 komfur layouts har den bedste Mapning/Synlighed?
Gestalt Love Law of proximity (nærhed) Law of closure (lukkethed) Law of similarity (ensartethed) Law of good continuation (forbundethed)
Hvad er Usability testing? Opsummering: Hvad er Usability testing Non functional Learnability Efficiency: Memorability Errors: Satisfaction:
Hvorfor er Usability testing vigtigt? Vi opnår: God usability hjælper os med at opnå mere effektive brugere (tid = penge) God usability hjælper os med at opnå tilfredse brugere og kunder (exceptionel kundeoplevelse) God usability tillader brugere at udføre avancerede opgaver uden online assistance fra en brancheperson eller supporter
Hvorfor er Usability testing vigtigt? Vi undgår God usability hjælper os med at undgå at kunderne skifter til konkurrenter med mere fokus på kundeoplevelsen God usability hjælper os med at undgå at mindre dygtige brugere har brug for hjælp og support Et fokus på usability hjælper os med at undgå kun at have et teknisk perspektiv, på de systemer vi er med til at udvikle og teste. (højere fokus på brugeroplevelsen)
Summeopgave Giv eksempler på god og dårlig usability
Eksempler på usability udfordringer
Nogle ville sige at Vi har ikke brug for usability test vi følger en design standard! Design standarder er ikke lig usability (højest ensartethed) Tjekker du at du følger design standarden? Vi har ikke tid til usability test i vores projekt Usability testing behøver hverken være tids- eller ressourcekrævende Er kundens tid (brugt på det færdige produkt) ikke vigtig? Usability er ikke særligt godt beskrevet i vores udviklingsmodel Betyder det også, at det ikke er vigtigt for jeres produkt? TestHuset A/S Lautruphøj 1-3 DK-2750 Ballerup info@testhuset.dk +45 44 979 979 www.testhuset.dk
Eller at Vi ved ikke hvordan vi skal udføre usability test Usability er stort set bare sund fornuft Brug de tilgængelige netværk for at finde en med kompetencerne Vi er glade så længe funktionaliteten virker usability er ikke vigtigt Er du sikker på du har prioriteret rigtigt? Giver dit produkt værdi hvis ingen kan finde ud af at bruge det TestHuset A/S Lautruphøj 1-3 DK-2750 Ballerup info@testhuset.dk +45 44 979 979 www.testhuset.dk
Spørgsmål? Source: Baekdal.com
Pause TestHuset A/S Lautruphøj 1-3 DK-2750 Ballerup info@testhuset.dk +45 44 979 979 www.testhuset.dk
Usability testing i praksis Overblik over usability evalueringsmetoder Inspektion Forespørgsler Prototyper Test Andet Tænke højt I detaljer Forberedelse Test-setup Roller Gennemførsel Eksempler på usability problemer & klassifikation af fejl
Inspektionsmetoder Heuristikker Kræver en Reviewer Revieweren gennemgår eksempelvis et website efter bestemte regler. Fejl registreres og tildeles et severity nummer hver. Jakob Nielsens heuristikker bruges oftest til det www.useit.com TestHuset A/S Lautruphøj 1-3 DK-2750 Ballerup info@testhuset.dk +45 44 979 979 www.testhuset.dk
Inspektionsmetoder Visibility of system status: The system should always keep users informed about what is going on, through appropriate feedback within reasonable time. Match between system and the real world: The system should speak the users' language, with words, phrases and concepts familiar to the user, rather than system-oriented terms. Follow real-world conventions, making information appear in a natural and logical order. User control and freedom: Users often choose system functions by mistake and will need a clearly marked "emergency exit" to leave the unwanted state without having to go through an extended dialogue. Support undo and redo. Consistency and standards: Users should not have to wonder whether different words, situations, or actions mean the same thing. Follow platform conventions. Error prevention: Even better than good error messages is a careful design which prevents a problem from occurring in the first place. Either eliminate error-prone conditions or check for them and present users with a confirmation option before they commit to the action. Recognition rather than recall: Minimize the user's memory load by making objects, actions, and options visible. The user should not have to remember information from one part of the dialogue to another. Instructions for use of the system should be visible or easily retrievable whenever appropriate. Flexibility and efficiency of use: Accelerators -- unseen by the novice user -- may often speed up the interaction for the expert user such that the system can cater to both inexperienced and experienced users. Allow users to tailor frequent actions. Aesthetic and minimalist design: Dialogues should not contain information which is irrelevant or rarely needed. Every extra unit of information in a dialogue competes with the relevant units of information and diminishes their relative visibility. Help users recognize, diagnose, and recover from errors: Error messages should be expressed in plain language (no codes), precisely indicate the problem, and constructively suggest a solution. TestHuset A/S Lautruphøj 1-3 DK-2750 Ballerup info@testhuset.dk +45 44 979 979 www.testhuset.dk
Kan I huske. TestHuset A/S Lautruphøj 1-3 DK-2750 Ballerup info@testhuset.dk +45 44 979 979 www.testhuset.dk
Inspektionsmetoder Kortsortering Kræver deltager, moderator og observatør Testpersonen lægger kortene ud i den rækkefølge han mener er den korrekte for eksempelvis et menu system. Kortene er mærket med hvert enkelt menupunkt TestHuset A/S Lautruphøj 1-3 DK-2750 Ballerup info@testhuset.dk +45 44 979 979 www.testhuset.dk
Forespørgsels metoder Opgave analyse Forståelse af brugerens mål og måde at arbejde på Forståelse af hvilke opgaver der leder til disse mål og hvilke handlinger der skal foretages for at løse opgaverne Fokusgrupper Anvendes under produkt definitionsfasen Erfaren moderator guider deltagerne til, af udviklerne specifikt udvalgte interesseområder Optages og anvendes til at sammenfatte meninger og holdninger TestHuset A/S Lautruphøj 1-3 DK-2750 Ballerup info@testhuset.dk +45 44 979 979 www.testhuset.dk
Prototype metoder Rapid prototyping Anvendes før programmering påbegyndes Kan hjælpe med at fjerne tvivl om ændringer i design Papir-prototype præsenterer en grov version af en computer skærm på et stykke papir. Elementer kan tilføjes og flyttes rundt, og navne kan ændres øjeblikkeligt. TestHuset A/S Lautruphøj 1-3 DK-2750 Ballerup info@testhuset.dk +45 44 979 979 www.testhuset.dk
Testmetoder Skaber den største mængde kvantitative data Optages ofte, så den kan anvendes til senere analyse Tænke højt protokol TestHuset A/S Lautruphøj 1-3 DK-2750 Ballerup info@testhuset.dk +45 44 979 979 www.testhuset.dk
Andre metoder Kognitive walkthrough Bruges til at evaluere systemets learnability Bruges til at evaluere brugerinteraktion med et færdigt produkt eller en fungerende prototype. Anvendes bedst med første-gangs-brugere Persona Bruges til at skabe fiktive personprofiler baseret på en demografisk evaluering Testerne påtager sig den fiktive profil og prøver at anskue systemet fra profilens synspunkt Kan bruges på forskellige tidspunkter i processen, men jo før des bedre Giver udviklerne en bedre forståelse af hvem brugerne er TestHuset A/S Lautruphøj 1-3 DK-2750 Ballerup info@testhuset.dk +45 44 979 979 www.testhuset.dk
Andre metoder Hallway testing Remote usability testing A/B testing TestHuset A/S Lautruphøj 1-3 DK-2750 Ballerup info@testhuset.dk +45 44 979 979 www.testhuset.dk
Tænke højt protokol Termen Usability test associeres ofte med tænke højt test Hvad er det? Brugere udfører opgaver og siger hvad de ser, tænker, gør og føler Observatører ser opgavegennemførselsprocessen Test sessioner bliver video optaget Anvendelse Passer godt til test af fungerende prototyper eller papirbaserede mock-ups Kan bruges til at teste alt. Lige fra indpakningen af et produkt til user interface og dokumentation TestHuset A/S Lautruphøj 1-3 DK-2750 Ballerup info@testhuset.dk +45 44 979 979 www.testhuset.dk
Tænke højt protokol Fordele Relativt billigt Resultaterne er tæt på brugerens oplevelse kvalitative resultater Ulemper Miljøet er ikke naturligt for brugeren Tænke højt virker unaturligt for mange brugere Kameraer osv. kan være intimiderende TestHuset A/S Lautruphøj 1-3 DK-2750 Ballerup info@testhuset.dk +45 44 979 979 www.testhuset.dk
Tænke højt protokol - forberedelse Definer rollerne for alle i test teamet F.eks. Test dirigent, Observatører, Loggere, kameraoperatør Deltager Karakteristika Vælg brugere der repræsenterer målgruppen Vælg brugere med variabelt erfaringsniveau Brug 5-6 brugere Test miljø bør være så realistisk som muligt Forbered en opgaveliste (minder om test cases/scenarier) Afslør usabilityfejl indirekte Definer slutkriterier for testen TestHuset A/S Lautruphøj 1-3 DK-2750 Ballerup info@testhuset.dk +45 44 979 979 www.testhuset.dk
Tænke højt protokol - forberedelse Test output Observationer optaget eller nedskrevet Anvend optagelser til data analyse Gennemfør en pilot test Vær sikker på test miljøet virker Vær sikker på opgavelisten er passende Hold alle test konsistente Samme Test dirigent til alle test Samme introduktion til all test deltagerne (skriv den ned) Regler for Test dirigent <> bruger interaktion KISS - Keep it simple ******! TestHuset A/S Lautruphøj 1-3 DK-2750 Ballerup info@testhuset.dk +45 44 979 979 www.testhuset.dk
Tænke højt protokol Alle roller Test dirigent/ Administrator Data Logger Tidstagere Kameraoperatør Produkt / Teknisk Ekspert Test Observatører (F.eks medlemmer af udviklingsteamet) Test brugere Vælg repræsentative brugere Vælg erfarne så vel som nybegyndere 5 brugere/test er nok til at finde hovedparten af usability problemerne! Det er bedre at udføre 3 iterationer af testen med 5 brugere end én test med 15 brugere Source: Jakob Nielsen & Tom Landauer TestHuset A/S Lautruphøj 1-3 DK-2750 Ballerup info@testhuset.dk +45 44 979 979 www.testhuset.dk
Tænke højt protokol Top ti Liste af ting du IKKE skal sige til deltageren Dirigent Rollen 1. Sige husk det er ikke dig vi tester mere end 3 gange 2. Kender du termen afvigelse? Test dirigent Ingen har nogensinde det der før Introducerer test 3. bruigeren til testen & hver gjort ny opgave Minder brugeren 4. om HA! at tænke højt mens vedkommende løser opgaverne HA! HA! Beder brugeren om at forklare tanker 5. interview Det er umuligt. Jeg vidste ikke den kunne stå på Valgfrit: Opfølgende hovedet Gode råd 6. Kan vi stoppe et øjeblik jeg bliver træt af at se dig Styr sessionen upartisk kæmpe med det Vær klar over effekten af din stemmeføring og kropssprog Behandl hver ny individuelt 7.deltager Jeg mente ikke rigtigt at du kunne trykke på en red ikke brugerenvilkårlig hvis denne slås med opgaven knap Fortsæt selvom du laver en fejl ja detererfærdig meget normalt at observatørerne græder Vær sikker på at8.brugeren med en opgave før du går videre til den næste. undervejs Brug humor for at holde stemningen afslappet Indiker overfor brugeren at der ikke er rigtige og forkerte svar 9. Tag det roligt, der er mange der er nødt til at prøve 15 eller 16 gange Kilde: Jeff Rubin Handbook of Usability Testing 10. Er du sikker på du har brugt en computer før? TestHuset A/S Lautruphøj 1-3 DK-2750 Ballerup info@testhuset.dk Source: Jeff Rubin Handbook of Usability Testing +45 44 979 979 www.testhuset.dk
Opsætning af test miljø Hold miljøet ens for alle brugere (husk at dokumentere det!) Du behøver ikke et komplet usability laboratori for at få værdiskabende resultater Det er en stor fordel at kunne optage testen Sjovt at se udviklere observere en usability test af deres system! TestHuset A/S Lautruphøj 1-3 DK-2750 Ballerup info@testhuset.dk +45 44 979 979 www.testhuset.dk
Eksempel på et usability problem TestHuset A/S Lautruphøj 1-3 DK-2750 Ballerup info@testhuset.dk +45 44 979 979 www.testhuset.dk
Alvorsgrad af usability problemer Problem alvorsgrad Forsinkelse på opgaveløsning Irritation Forventet handling Kosmetisk Mindre end 30 seckunders forsinkelse Let irritation Mindre forskelle fra forventet handling Alvorlig Mere end 30 sekunders forsinkelse Middel irritation Alvorlig forskel fra forventet handling Kritisk Kunne ikke løse opgaven Høj irritation Kritisk forskel fra forventet handling
Alvorsgrad af usability problemer Normalt anses usability problemer som mindre vigtige end andre defects Er de det? Usability problemer kan klassificeres som defects Severity Description 0 Not an issue but might be considered a future enhancement 1 Minor Issues like cosmetic errors, spelling problems, non-critical workflow issues 2 Serious Normal status for an issue 3 Major Loss of functionality, problematic impact on person s workflow 4 Critical System crashes, workflow breaks down, complete loss of focus for a specific task, loss of information 5 Fatal Blocker, the issue prevents further use Source: Baekdal.com
Case Kunde hos TestHuset Formål med testen Afdække om arbejdsprocesser var lette og intuitive at anvende Forudsætning Testen var kravsat hos kunden Der var en klikbar prototype klar inden udviklingsfasen startede Prototype indeholdt kun funktionalitet i scope for testen Source: Baekdal.com
Case Testmetode Tænke-højt test Udført hos kunden Testdeltagere inviteret ind Testdeltagere 8 slutbrugere Nybegyndere og erfarne brugere Intet kendskab til det nye design men til den eksisterende løsning
Case Testeksekvering Testen blev afviklet i to rum et til testen og et til observatører Testerne sad sammen med brugervenlighedsekspert fra leverandøren og en repræsentant fra kunden Hver tester gennemførte 8 scenarier på 50 min og blev efterfølgende interviewet TM og andre interessenter fulgte testen fra det andet lokale på video Alle kommentarer og observation blev logget undervejs og gennemgået efterfølgende
Case Resultat af testen Der blev identificeret mere end 50 findings, der skal arbejdes videre med i udviklingsfasen. Dette blev dokumenteret i en testrapport. Alle findings blev klassificeret i 3 alvorlighedsgrader Umuligt at gennemføre arbejdsgang, Noget besvær med gennemførsel Mindre uhensigtsmæssigheder
Case Evaluering og videre forløb Testen var en succes designet bestod testen og slutbrugerne var glade for designet Ingen alvorlige fejl blev fundet så proof of concept på designet holdt og det er det design der køres videre med
Fremtiden Usability er vigtigere end nogensinde (Tænk eksempelvis på apps. Brugerne bruger få sekunder på at bedømme, om det er noget de gider anvende) Usability - en del at softwaretesterens arbejde? Hvis ikke, hvem så? Hvor tidligt skal man starte? Source: Baekdal.com
Spørgsmål? Source: Baekdal.com