Evaluering fortsat Inspektioner, Analytics, Modeller Marianne Graves Petersen Associate Professor Computer Science Dept, University of Aarhus Center for Interactive Spaces, mgraves@cs.au.dk
Interaktionsdesign processen Identificer brugernes behov og etabler krav til brugsoplevelsen Udvikl en række designs, der opfylder disse krav Byg/revider interaktive versioner af design, så de kan kommunikeres og vurderes Evaluer
Evaluering Tre tilgange til evaluering (Eksperimenter) usability testing test og omgivelser kontrolleret af evaluator felt studier naturlige omgivelser og handlinger analytisk evaluering Inspektioner Analytics Prediktive modeller Kombinationer af disse
Analytisk Evaluering Inspektioner Heuristisk evaluering Cognitive Walkthrough
Heuristikker: fordele bred evaluering Let at gå til Flexibel Ikke mange etiske issues Discount usability metode
Heuristisk Evaluering - praktisk udførelse Briefing af eksperter Individuelt arbejde med evaluering 1-2 timer, 2 gennemløb) De-briefing Diskussion af resultater, prioritering
2 minutter: Udfør vha Nielsen s heuristikker en evaluering af jeres mobiltelefon Visibility of system status feedback Match between system and the real world Familiar language User control and freedom Consistency and standards Help users recognize, diagnose, and recover from errors Helpful errormessages Error prevention Recognition rather than recall Objects and actions should be visible Flexibility and efficiency of use Shortcuts Aesthetic and minimalist design Help and documentation
Analytisk Evaluering Inspektioner Heuristisk evaluering Cognitive Walkthrough
Walkthroughs Med udgangspunkt i en opgave gennemgås systemet for at diagnosticere eventuelle brugbarhedsproblemer
Cognitive Walkthrough Bygger på læringsteori Learning by exploration (Wharton 1994) Vurdering af hvor let det er at lære at bruge et system
Procedure Repræsentativ opgave(r)/brugsscenarie udvælges Prototype/mock up Evaluator indlever sig i bruger, og brugskontekst Den korrekte serie handlinger, der skal til for at løse opgaven identificeres Skridt for skridt evalueres om Er den korrekte handling oplagt for brugeren Vil brugeren opdage tilstedeværelsen af handlingsmuligheden Vil brugeren fortolke resultatet af handlingen korrekt (vide hvad der skal gøres, se hvordan det skal gøres, forstå hvad der skete)
eksempel: skift af ringetone på mobiltelefon Korrekt handlinger menu værktøj indstillinger generelt tilpasning toner vælg -> skift osv.
Skridt for skridt evalueres om Er den korrekte handling oplagt for brugeren Vil brugeren opdage tilstedeværelsen af handlingsmuligheden Vil brugeren fortolke resultatet af handlingen korrekt (vide hvad der skal gøres, se hvordan det skal gøres, forstå hvad der skete)
Cognitive Walkthrough resultat Problemer afrapporteres inkl. årsagen til problemer Forslag til design ændringer
Cognitive Walkthrough: trade-offs Teoretisk funderet Fokuserer på læring smal, dyb evaluering Simulering af brugere vs. Rigtige brugere Kedelig i længden Kræver velspecificeret design
Variationer Cognitive Walkthrough Pluralistic Walkthrough Brugere, udviklere og brugbarhedseksperter Activity based walkthrough
2 minutter Tænk på en specifik opgave ift. brug af jeres mobiltelefon. Eksempelvis skift af ringetone. Eller tilsvarende. Start på at udføre en cognitive walkthrough ift. jeres egen mobiltelefon Skridt for skridt evalueres om Er den korrekte handling oplagt for brugeren Vil brugeren opdage tilstedeværelsen af handlingsmuligheden Vil brugeren fortolke resultatet af handlingen korrekt (vide hvad der skal gøres, se hvordan det skal gøres, forstå hvad der skete)
Kan I se forskellen? Heuristisk Evaluering Cognitive Walkthrough
Analytics
Prediktive modeller Modeller, der gør det muligt at forudsige aspekter af brugbarhed uden direkte involvering af brugere GOMS og keystroke level analyse Fitts lov
GOMS model Modellerer hvorledes brugeres viden og kognitive processer kommer i spil når et menneske interagerer med en computer
The Model Human Processor
GOMS Goals: den opgave/task der skal udføres Operators: adfærds atomer Methods: en bestemt sekvens af operatorer (kan være på mange niveauer) Selection rules: valg mellem metoder Eksempel: slet et ord i en tekst Goal slet et ord i en tekst Operators klick og drag med mus, tryk på delete tast Methods marker m mus og slet med delete eller slet karakter for karakter med delete Selection rules brug af mus vs. Brug af piletaster
Keystroke level model Forudsigelse af den tid, det tager en ekspert, fejlfrit at udføre en kendt opgave Gennemsnitstider baseret på stort empirisk materiale Sammenligning mellem alternative muligheder Antagelser om brug: additiv, sekventiel Modellerer udelukkende interaktion vha mus og tastatur
Task analyse Metode Keystroke-level analyse Tidsforudsigelser for fejlfri ekspert udførsel
Keystroke-level analyse Operatorer: 4 slags - Keystroking, Pointing, Homing, Drawing M (den mentale operator) og R systemets svar. T execute =T K + T P + T H +T D + T M + T R
Operator Description Time (sec) K Pressing a single key or button Average skilled typist (55 wpm) Average non-skilled typist (40 wpm) Pressing shift or control key Typist unfamiliar with the keyboard 0.22 0.28 0.08 1.20 P P1 Pointing with a mouse or other device on a display to select an object. This value is derived from Fitts Law which is discussed below. Clicking the mouse or similar device 0.40 0.20 H Bring home hands on the keyboard or other 0.40 device M Mentally prepare/respond 1.35 R(t) The response time is counted only if it causes the user to wait. t
Keystroke level modellen Find tastesekvens (metode) Indsæt M-operator Læg tallene sammen Sammenlign fx. brugen af menu med tastaturshortcuts
Syntagm designing for usability
GOMS, keystroke level trade-offs Forudsigelser Sammenligninger Pre-implementering evaluering ikke nødvendigt at se på faktisk brug Ikke nødvendigt med specialiseret viden Fejlfri ekspertbetjening modelleret Vel-specificeret design nødvendigt Ignorerer betydningen af kontekst, andre brugere mv Ignorere læring, udvikling i brug Fokuserer på lav-niveau handlinger
Motivation The Prospects for Psychological Science in Human-Computer Interaction (Newell & Card 1985) Hard sciences drive out softer sciences, even if softer sciences have important contributions to make. Hardening the applicable psychological science Critique: too low level, too limited in scope, too late to effect computer technology, too difficult to apply
Regneeksempel
Fitts lov T = k log(d/s + 0.5) k~200 msec T tid det tager at flytte hånd til target D afstand mellem hånd og target S størrelsen af target
Reflektion Hvilke mål (usability / user experience) er vigtige ift. vores projekt Hvilket tidspunkt i processen Hvilke aspekter kan metode afdække Hvor troværdige er resultaterne Forankring af metode i teori Hvilke antagelser bygger metoden på Hvor tids-effektiv er metoden Hvilken metode er nyttig til at afdække et givet problem
Hvor færdige skal design / implementation være før evaluering kan gennemføres?
1 minut med sidemanden Hvilke(n) analytisk evaluering vil være mest relevant at gennemføre i jeres projekt?
3 Tilgange Karakteristika Usability testing Field studies Analytical Users do task natural not involved Location controlled natural anywhere When prototype early prototype Data quantitative qualitative problems Feed back measures & errors descriptions problems Type applied naturalistic expert
Evaluering Tre tilgange til evaluering usability testing test og omgivelser kontrolleret af evaluator felt studier naturlige omgivelser og handlinger analytisk evaluering Inspektioner Prediktive modeller Kombinationer af disse
Du udvikler et system hvor det er et krav at systemet skal være let at lære at bruge. Du vælger derfor en relevant kombination af interaktionstype og evalueringsteknik (vælg den mest oplagte mulighed): Manipulation og Cognitive walkthrough Instruktion og heuristisk evaluering Exploration og usability test
Følgende par af teknikker vil det typisk ikke være relevante at benytte ved det samme system (vælg det par som sjældent benyttes i kombination): Keystroke level analyse og cognitive walkthrough Observation og Storyboards Spørgeskemaer og Interviews
Følgende par af teknikker bruges i forskellige faser af interaktionsdesign processen Interviews og observation Cognitive walkthrough og Storyboards Keystroke level analyse og heuristisk evaluering
Interaktionsdesign processen Identificer brugernes behov og etabler krav til brugsoplevelsen Udvikl en række designs, der opfylder disse krav Byg/revider interaktive versioner af design, så de kan kommunikeres og vurderes Evaluer