Evaluering fortsat Analytisk Evaluering

Transkript

1 Evaluering fortsat Analytisk Evaluering Marianne Graves Petersen Associate Professor Computer Science Dept, University of Aarhus Center for Interactive Spaces,

2 Interaktionsdesign processen Identificer brugernes behov og etabler krav til brugsoplevelsen Udvikl en række designs, der opfylder disse krav Byg/revider interaktive versioner af design, så de kan kommunikeres og vurderes Evaluer

3 Evaluering Tre tilgange til evaluering usability testing test og omgivelser kontrolleret af evaluator felt studier naturlige omgivelser og handlinger analytisk evaluering Inspektioner Prediktive modeller Kombinationer af disse

4 ANALYTISK EVALUERING

5 Analytiske Evalueringsmetoder Heuristisk evaluering Cognitive Walkthrough Prediktive modeller

6 Heuristisk evaluering Ekspert review af grænseflade guidet af en samling brugbarheds principper, kaldet heuristikker Uformel inspektion Jakob Nielsen 1990s

7 Nielsen (1994) Visibility of system status feedback Match between system and the real world Familiar language User control and freedom Consistency and standards Help users recognize, diagnose, and recover from errors Helpful errormessages Error prevention Recognition rather than recall Objects and actions should be visible Flexibility and efficiency of use Shortcuts Aesthetic and minimalist design Help and documentation

8 HOMERUN (Nielsen Commercielle websites 1999) High quality content Often Updated Minimal download time Ease of use Relevant to users needs Unique to the online medium Netcentric corporate culture

9 Playability Heuristics for Mobile Games Korhonen, H. and Koivisto, E. M Nokia research, H1: Don t waste the player s time H2: Prepare for interruptions H3: Take other persons into account H4: Follow standard conventions H5: Provide gameplay help H6: Differentiation between device UI and the game UI should be evident H7: Use terms that are familiar to the player H8: Status of the characters and the game should be clearly visible H9: The Player should have clear goals H10: Support a wide range of players and playing styles H11: Don t encourage repetitive and boring tasks Korhonen, H. and Koivisto, E. M Playability heuristics for mobile games. In Proceedings of the 8th Conference on Human-Computer interaction with Mobile Devices and Services (Helsinki,

10 Heuristikker: fordele bred evaluering Let at gå til Flexibel Ikke mange etiske issues Discount usability metode

11 Heuristikker: ulemper False alarms (43 % false alarms) Vigtige problemer kan overses Afhængig af evaluators ekspertise og erfaring Bedste evaluatorer har viden om både domæne og brugere

12 Discount usability evaluation

13 2 minutter: Udfør vha Nielsen s heuristikker en evaluering af jeres mobiltelefon Visibility of system status feedback Match between system and the real world Familiar language User control and freedom Consistency and standards Help users recognize, diagnose, and recover from errors Helpful errormessages Error prevention Recognition rather than recall Objects and actions should be visible Flexibility and efficiency of use Shortcuts Aesthetic and minimalist design Help and documentation

14 Analytiske Evalueringsmetoder Heuristisk evaluering Cognitive Walkthrough Prediktive modeller

15 Walkthroughs Med udgangspunkt i en opgave gennemgås systemet for at diagnosticere eventuelle brugbarhedsproblemer

16 Cognitive Walkthrough Bygger på læringsteori Learning by exploration (Wharton 1994) Vurdering af hvor let det er at lære at bruge et system

17 Procedure Repræsentativ opgave(r)/brugsscenarie udvælges Prototype/mock up Evaluator indlever sig i bruger, og brugskontekst Den korrekte serie handlinger, der skal til for at løse opgaven identificeres Skridt for skridt evalueres om Er den korrekte handling oplagt for brugeren Vil brugeren opdage tilstedeværelsen af handlingsmuligheden Vil brugeren fortolke resultatet af handlingen korrekt (vide hvad der skal gøres, se hvordan det skal gøres, forstå hvad der skete)

18 eksempel: skift af Korrekt handlinger menu værktøj indstillinger generelt tilpasning toner vælg -> skift osv. ringetone på

19 Skridt for skridt evalueres om Er den korrekte handling oplagt for brugeren Vil brugeren opdage tilstedeværelsen af handlingsmuligheden Vil brugeren fortolke resultatet af handlingen korrekt (vide hvad der skal gøres, se hvordan det skal gøres, forstå hvad der skete)

20 Cognitive Walkthrough resultat Problemer afrapporteres inkl. årsagen til problemer Forslag til design ændringer

21 Cognitive Walkthrough: trade-offs Teoretisk funderet Fokuserer på læring smal, dyb evaluering Simulering af brugere vs. Rigtige brugere Kedelig i længden Kræver velspecificeret design

22 Variationer Cognitive Walkthrough Pluralistic Walkthrough Brugere, udviklere og brugbarhedseksperter Activity based walkthrough

23 2 minutter Start på at udføre en cognitiv walkthrough på modificering af profil (eller tilsvarende) på jeres egen mobiltelefon

24 Analytiske Evalueringsmetoder Heuristisk evaluering Cognitive Walkthrough Prediktive modeller

25 Prediktive modeller Modeller, der gør det muligt at forudsige aspekter af brugbarhed uden direkte involvering af brugere GOMS og keystroke level analyse Fitts lov

26 GOMS model Modellerer hvorledes brugeres viden og kognitive processer kommer i spil når et menneske interagerer med en computer

27 The Model Human Processor

28 GOMS Goals: den opgave/task der skal udføres Operators: adfærds atomer Methods: en bestemt sekvens af operatorer (kan være på mange niveauer) Selection rules: valg mellem metoder Eksempel: slet et ord i en tekst Goal slet et ord i en tekst Operators klick og drag med mus, tryk på delete tast Methods marker m mus og slet med delete eller slet karakter for karakter med delete Selection rules brug af mus vs. Brug af piletaster

29 Keystroke level model Forudsigelse af den tid, det tager en ekspert, fejlfrit at udføre en kendt opgave Gennemsnitstider baseret på stort empirisk materiale Sammenligning mellem alternative muligheder Antagelser om brug: additiv, sekventiel Modellerer udelukkende interaktion vha mus og tastatur

30 Task analyse Metode Keystroke-level analyse Tidsforudsigelser for fejlfri ekspert udførsel

31 Keystroke-level analyse Operatorer: 4 slags - Keystroking, Pointing, Homing, Drawing M (den mentale operator) og R systemets svar. T execute =T K + T P + T H +T D + T M + T R

32 Operator Description Time (sec) K Pressing a single key or button Average skilled typist (55 wpm) Average non-skilled typist (40 wpm) Pressing shift or control key Typist unfamiliar with the keyboard P P1 Pointing with a mouse or other device on a display to select an object. This value is derived from Fitts Law which is discussed below. Clicking the mouse or similar device H Bring home hands on the keyboard or other 0.40 device M Mentally prepare/respond 1.35 R(t) The response time is counted only if it causes the user to wait. t

33 Keystroke level modellen Find tastesekvens (metode) Indsæt M-operator Læg tallene sammen Sammenlign fx. brugen af menu med tastaturshortcuts

34

35 Syntagm designing for usability

36 GOMS, keystroke level trade-offs Forudsigelser Sammenligninger Pre-implementering evaluering ikke nødvendigt at se på faktisk brug Ikke nødvendigt med specialiseret viden Fejlfri ekspertbetjening modelleret Vel-specificeret design nødvendigt Ignorerer betydningen af kontekst, andre brugere mv Ignorere læring, udvikling i brug Fokuserer på lav-niveau handlinger

37 Motivation The Prospects for Psychological Science in Human-Computer Interaction (Newell & Card 1985) Hard sciences drive out softer sciences, even if softer sciences have important contributions to make. Hardening the applicable psychological science Critique: too low level, too limited in scope, too late to effect computer technology, too difficult to apply

38 Regneeksempel

39 Fitts lov T = k log(d/s + 0.5) k~100 msec T tid det tager at flytte hånd til target D afstand mellem hånd og target S størrelsen af target

40 Metoders Brugbarhed

41 Reflektion Hvilke mål (usability / user experience) er vigtige ift. vores projekt Hvilket tidspunkt i processen Hvilke aspekter kan metode afdække Hvor troværdige er resultaterne Forankring af metode i teori Hvilke antagelser bygger metoden på Hvor tids-effektiv er metoden Hvilken metode er nyttig til at afdække et givet problem

42 Hvor færdige skal design / implementation være før evaluering kan gennemføres?

43 1 minut med sidemanden Hvilke(n) analytisk evaluering vil være mest relevant at gennemføre i jeres projekt?

44 3 Tilgange Karakteristika Usability testing Field studies Analytical Users do task natural not involved Location controlled natural anywhere When prototype early prototype Data quantitative qualitative problems Feed back measures & errors descriptions problems Type applied naturalistic expert

45 Trade-offs Laboratorium vs. Kontekst Quick and dirty vs. Velunderbyggede resultater Synlig manifestation af interaktionsdesignarbejde vs. faktisk påvirkning af udvikling Integration af resultater i udviklingsarbejdet Horisontal - vertikal evaluering Pris og omfang Sammensætning af metoder fra værktøjskassen

46 Evaluering Tre tilgange til evaluering usability testing test og omgivelser kontrolleret af evaluator felt studier naturlige omgivelser og handlinger analytisk evaluering Inspektioner Prediktive modeller Kombinationer af disse