Evaluering fortsat Analytisk Evaluering Marianne Graves Petersen Associate Professor Computer Science Dept, University of Aarhus Center for Interactive Spaces, mgraves@cs.au.dk
Interaktionsdesign processen Identificer brugernes behov og etabler krav til brugsoplevelsen Udvikl en række designs, der opfylder disse krav Byg/revider interaktive versioner af design, så de kan kommunikeres og vurderes Evaluer
Evaluering Tre tilgange til evaluering usability testing test og omgivelser kontrolleret af evaluator felt studier naturlige omgivelser og handlinger analytisk evaluering Inspektioner Prediktive modeller Kombinationer af disse
ANALYTISK EVALUERING
Analytiske Evalueringsmetoder Heuristisk evaluering Cognitive Walkthrough Prediktive modeller
Heuristisk evaluering Ekspert review af grænseflade guidet af en samling brugbarheds principper, kaldet heuristikker Uformel inspektion Jakob Nielsen 1990s
Nielsen (1994) Visibility of system status feedback Match between system and the real world Familiar language User control and freedom Consistency and standards Help users recognize, diagnose, and recover from errors Helpful errormessages Error prevention Recognition rather than recall Objects and actions should be visible Flexibility and efficiency of use Shortcuts Aesthetic and minimalist design Help and documentation
HOMERUN (Nielsen Commercielle websites 1999) High quality content Often Updated Minimal download time Ease of use Relevant to users needs Unique to the online medium Netcentric corporate culture
Playability Heuristics for Mobile Games Korhonen, H. and Koivisto, E. M. 2006 Nokia research, H1: Don t waste the player s time H2: Prepare for interruptions H3: Take other persons into account H4: Follow standard conventions H5: Provide gameplay help H6: Differentiation between device UI and the game UI should be evident H7: Use terms that are familiar to the player H8: Status of the characters and the game should be clearly visible H9: The Player should have clear goals H10: Support a wide range of players and playing styles H11: Don t encourage repetitive and boring tasks Korhonen, H. and Koivisto, E. M. 2006. Playability heuristics for mobile games. In Proceedings of the 8th Conference on Human-Computer interaction with Mobile Devices and Services (Helsinki,
Heuristikker: fordele bred evaluering Let at gå til Flexibel Ikke mange etiske issues Discount usability metode
Heuristikker: ulemper False alarms (43 % false alarms) Vigtige problemer kan overses Afhængig af evaluators ekspertise og erfaring Bedste evaluatorer har viden om både domæne og brugere
Discount usability evaluation
2 minutter: Udfør vha Nielsen s heuristikker en evaluering af jeres mobiltelefon Visibility of system status feedback Match between system and the real world Familiar language User control and freedom Consistency and standards Help users recognize, diagnose, and recover from errors Helpful errormessages Error prevention Recognition rather than recall Objects and actions should be visible Flexibility and efficiency of use Shortcuts Aesthetic and minimalist design Help and documentation
Analytiske Evalueringsmetoder Heuristisk evaluering Cognitive Walkthrough Prediktive modeller
Walkthroughs Med udgangspunkt i en opgave gennemgås systemet for at diagnosticere eventuelle brugbarhedsproblemer
Cognitive Walkthrough Bygger på læringsteori Learning by exploration (Wharton 1994) Vurdering af hvor let det er at lære at bruge et system
Procedure Repræsentativ opgave(r)/brugsscenarie udvælges Prototype/mock up Evaluator indlever sig i bruger, og brugskontekst Den korrekte serie handlinger, der skal til for at løse opgaven identificeres Skridt for skridt evalueres om Er den korrekte handling oplagt for brugeren Vil brugeren opdage tilstedeværelsen af handlingsmuligheden Vil brugeren fortolke resultatet af handlingen korrekt (vide hvad der skal gøres, se hvordan det skal gøres, forstå hvad der skete)
eksempel: skift af Korrekt handlinger menu værktøj indstillinger generelt tilpasning toner vælg -> skift osv. ringetone på
Skridt for skridt evalueres om Er den korrekte handling oplagt for brugeren Vil brugeren opdage tilstedeværelsen af handlingsmuligheden Vil brugeren fortolke resultatet af handlingen korrekt (vide hvad der skal gøres, se hvordan det skal gøres, forstå hvad der skete)
Cognitive Walkthrough resultat Problemer afrapporteres inkl. årsagen til problemer Forslag til design ændringer
Cognitive Walkthrough: trade-offs Teoretisk funderet Fokuserer på læring smal, dyb evaluering Simulering af brugere vs. Rigtige brugere Kedelig i længden Kræver velspecificeret design
Variationer Cognitive Walkthrough Pluralistic Walkthrough Brugere, udviklere og brugbarhedseksperter Activity based walkthrough
2 minutter Start på at udføre en cognitiv walkthrough på modificering af profil (eller tilsvarende) på jeres egen mobiltelefon
Analytiske Evalueringsmetoder Heuristisk evaluering Cognitive Walkthrough Prediktive modeller
Prediktive modeller Modeller, der gør det muligt at forudsige aspekter af brugbarhed uden direkte involvering af brugere GOMS og keystroke level analyse Fitts lov
GOMS model Modellerer hvorledes brugeres viden og kognitive processer kommer i spil når et menneske interagerer med en computer
The Model Human Processor
GOMS Goals: den opgave/task der skal udføres Operators: adfærds atomer Methods: en bestemt sekvens af operatorer (kan være på mange niveauer) Selection rules: valg mellem metoder Eksempel: slet et ord i en tekst Goal slet et ord i en tekst Operators klick og drag med mus, tryk på delete tast Methods marker m mus og slet med delete eller slet karakter for karakter med delete Selection rules brug af mus vs. Brug af piletaster
Keystroke level model Forudsigelse af den tid, det tager en ekspert, fejlfrit at udføre en kendt opgave Gennemsnitstider baseret på stort empirisk materiale Sammenligning mellem alternative muligheder Antagelser om brug: additiv, sekventiel Modellerer udelukkende interaktion vha mus og tastatur
Task analyse Metode Keystroke-level analyse Tidsforudsigelser for fejlfri ekspert udførsel
Keystroke-level analyse Operatorer: 4 slags - Keystroking, Pointing, Homing, Drawing M (den mentale operator) og R systemets svar. T execute =T K + T P + T H +T D + T M + T R
Operator Description Time (sec) K Pressing a single key or button Average skilled typist (55 wpm) Average non-skilled typist (40 wpm) Pressing shift or control key Typist unfamiliar with the keyboard 0.22 0.28 0.08 1.20 P P1 Pointing with a mouse or other device on a display to select an object. This value is derived from Fitts Law which is discussed below. Clicking the mouse or similar device 0.40 0.20 H Bring home hands on the keyboard or other 0.40 device M Mentally prepare/respond 1.35 R(t) The response time is counted only if it causes the user to wait. t
Keystroke level modellen Find tastesekvens (metode) Indsæt M-operator Læg tallene sammen Sammenlign fx. brugen af menu med tastaturshortcuts
Syntagm designing for usability
GOMS, keystroke level trade-offs Forudsigelser Sammenligninger Pre-implementering evaluering ikke nødvendigt at se på faktisk brug Ikke nødvendigt med specialiseret viden Fejlfri ekspertbetjening modelleret Vel-specificeret design nødvendigt Ignorerer betydningen af kontekst, andre brugere mv Ignorere læring, udvikling i brug Fokuserer på lav-niveau handlinger
Motivation The Prospects for Psychological Science in Human-Computer Interaction (Newell & Card 1985) Hard sciences drive out softer sciences, even if softer sciences have important contributions to make. Hardening the applicable psychological science Critique: too low level, too limited in scope, too late to effect computer technology, too difficult to apply
Regneeksempel
Fitts lov T = k log(d/s + 0.5) k~100 msec T tid det tager at flytte hånd til target D afstand mellem hånd og target S størrelsen af target
Metoders Brugbarhed
Reflektion Hvilke mål (usability / user experience) er vigtige ift. vores projekt Hvilket tidspunkt i processen Hvilke aspekter kan metode afdække Hvor troværdige er resultaterne Forankring af metode i teori Hvilke antagelser bygger metoden på Hvor tids-effektiv er metoden Hvilken metode er nyttig til at afdække et givet problem
Hvor færdige skal design / implementation være før evaluering kan gennemføres?
1 minut med sidemanden Hvilke(n) analytisk evaluering vil være mest relevant at gennemføre i jeres projekt?
3 Tilgange Karakteristika Usability testing Field studies Analytical Users do task natural not involved Location controlled natural anywhere When prototype early prototype Data quantitative qualitative problems Feed back measures & errors descriptions problems Type applied naturalistic expert
Trade-offs Laboratorium vs. Kontekst Quick and dirty vs. Velunderbyggede resultater Synlig manifestation af interaktionsdesignarbejde vs. faktisk påvirkning af udvikling Integration af resultater i udviklingsarbejdet Horisontal - vertikal evaluering Pris og omfang Sammensætning af metoder fra værktøjskassen
Evaluering Tre tilgange til evaluering usability testing test og omgivelser kontrolleret af evaluator felt studier naturlige omgivelser og handlinger analytisk evaluering Inspektioner Prediktive modeller Kombinationer af disse