Introduktion til Evaluering Usability testing og feltstudier

Introduktion til Evaluering Usability testing og feltstudier Marianne Graves Petersen Associate Professor Computer Science Dept, University of Aarhus Center for Interactive Spaces, mgraves@cs.au.dk

Opvarmning... ;-)

B&O vil gerne lave musik betjening til badeværelset. Du har fået til opgave at udvikle nogle forslag til interaktionsdesign. Du overvejer hvilke dataindsamlingsteknikker der vil være relevante og beslutter dig for følgende (vælg én mulighed): Interviews og dagbog Spørgeskema og observation Observation og interviews

Indirekte observation går ud på at (vælg én mulighed): Track e brugernes aktiviteter gennem f.eks. dagbøger og interaction logs Observere brugerne uden de ved det Evaluere systemer imens de bliver anvendt til et andet formål end det de er tiltænkt

Når vi analyserer data indsamlet ifm brugerstudier kigger vi efter (vælg én mulighed): Konceptuelle modeller Interaktionstyper Mønstre og workarounds

Du designer et musiksystem til badeværelset for B&O. Du finder frem til at folk ønsker effektiv betjening af musik i badeværelset og du beslutter dig for at basere designet primært på én af følgende interaktionstyper: Manipulation Konversation Instruktion Eksploration

Du skal designe et turistinformationssystem til banegården. Systemet er rettet mod folk der har god tid, og som gerne vil have inspiration til hvad der er værd at se i byen. Du vælger én primær interaktionstype til systemet: Manipulation Konversation Instruktion Eksploration

Indenfor interaktionsdesign anvender vi prototyper for at (marker det udsagn der ikke er korrekt): Understøtte kommunikation mellem stakeholders i et projekt Vælge mellem alternative løsninger Undersøge hvordan en design løsning fungerer i praksis Kunne forudsige brugernes mentale modeller

Marker det udsagn der er meningsfyldt ift. brug af low-fidelity prototyping (vælg én mulighed): Low fidelity prototyping er godt til tidligt i processen at vurdere design alternativer Low fidelity prototyping er bedre end high fidelity prototyping til at vurdere æstetiske aspekter af et produkt Low fidelity prototyping benyttes især til systemer der ikke er komplekse

Interaktionsdesign processen Identificer brugernes behov og etabler krav til brugsoplevelsen Udvikl en række designs, der opfylder disse krav Byg/revider interaktive versioner af design, så de kan kommunikeres og vurderes Evaluer

HVORFOR ER DER BRUG FOR EVALUERING??

Bruce Tognazzini om evaluering Iterative design, with its repeating cycle of design and testing, is the only validated methodology in existence that will consistently produce successful results. If you don t have usertesting as an integral part of your design process you are going to throw buckets of money down the drain.

Vi designer ikke til os selv Feedback tidligt i designprocessen Iterativ udvikling virker Fokus på virkelige problemer Afklar hvilke usability og user experience kriterier der er vigtige for produktet iterativ proces. fail early, fail often

Evaluering Vigtigt område ift. interaktionsdesign Forskellige tilgange til evaluering Styrker og svagheder Forskellige spørgsmål kræver forskellige undersøgelsesmetoder

Forskellige former for evaluering/test Software/device test - lever op til specs Performance test - hastighed, kapacitet Market test - hvad er potentialet ift. markedet Hypothesis test - generaliserbare videnskabelige resultater Usability evaluering - gør det som brugerne ønsker/forventer

Planlæg og udfør evaluering Hvad er målene med evalueringen Hvilke spørgsmål ønskes besvaret Hvilke evalueringsmetoder er relevante Hvilke praktiske udfordringer skal løses Hvordan håndteres etiske aspekter Udfør evalueringen, analyser resultaterne og udfør re-design

Tre tilgange til Evaluering Usability testing fra 1980s typiske brugere der udfører typiske opgaver kontrollerede omgivelser fejl og problemer ved design Felt studier naturlige omgivelser muligheder, introduktion af teknologi, evaluering Analytisk evaluering expert evaluering: brugere ikke involveret direkte inspection teoretisk informeret plus kombinationer af disse

3 Tilgange Karakteristika Usability testing Field studies Analytical Users do task natural not involved Location controlled natural anywhere When prototype early prototype Data quantitative qualitative problems Feed back measures & errors descriptions problems Type applied naturalistic expert

flere metoder og teknikker kan bruges både ift. 1 og 4 Identificer brugernes behov og etabler krav til brugsoplevelsen Udvikl en række designs, der opfylder disse krav Byg/revider interaktive versioner af design, så de kan kommunikeres og vurderes Evaluer

USABILITY TESTING Kontrollerede eksperimenter etablering og test af hypoteser Usability test i laboratium udførsel af testopgaver i kontrollerede omgivelser Design collaboratorium tæt dialog og samarbejde med brugere omkring afprøvning og re-design

Usability test Metode til at evaluere brugbarhed mhp at forbedre design Omhyggeligt planlagt, men ikke dokumenteret mhp. replikerbarhed Kvalitative resultater Pragmatisk tilgang Eksperiment Videnskabelig metode til etablering af ny viden Procedure dokumenteres mhp replikerbarhed Statistiske tests

Eksperiment Videnskabelig metode til etablering af ny viden Antal emner i en menu Icon design Scrollbars

Eksperiment Test af hypotese der forudsiger sammenhængen mellem to eller flere variable Uafhængig variabel varieres og afhængig variabel studeres for at identificere en sammenhæng Eksempler Læsehastighed (afhængig variabel) i forhold til font, bogstavstørrelse, spaltebredde (uafhængige variable) etc.. Konceptuel model for scrolling (afhængig variabel) i forhold til indholdstype (uafhængig variabel) Design af eksperimenter

eksempler

hypoteser Hypotese 1:Ved opførelse på mixitui kan publikum i højere grad end ved traditionel opførelse opfatte hvilke delelementer/instrumenter, musikken er opbygget af. Hypotese 2: Publikum kan i højere grad opfatte musikerens handlinger og den resulterende effekt ved opførelse på mixitui end ved traditionel opførelse. Hypotese 3: Publikum får en bedre forståelse af, hvordan musikeren påvirker musikken, når der opføres på mixitui, end når der opføres på traditionel vis. Hypotese 4: Ved opførelse på mixitui får publikum i højere grad end ved traditionel opførelse indtrykket af, at musikeren kan improvisere og forme musikken, som han har lyst.

Udfordring og engagement i collaborativt spil Spørgeskemaer samt Fysiologiske målinger

Spillere er mere engagerede når de spiller mod en person end mod computeren high values indicate more variation Playing against computer Playing against friend Mean St. Dev. Mean St. Dev. Boring 2.3 0.949 1.7 0.949 Challenging 3.6 1.08 3.9 0.994 Easy 2.7 0.823 2.5 0.850 Engaging 3.8 0.422 4.3 0.675 Exciting 3.5 0.527 4.1 0.568 Frustrating 2.8 1.14 2.5 0.850 Fun 3.9 0.738 4.6 0.699 Source: Mandryk and Inkpen (2004).

Hypotese: synkrone diskussionssystemer med indlejret struktur er bedre til at understøtte beslutningsprocesser i grupper end systemer uden struktur

En eller flere uafhængige variable Produktversioner, brugerprofiler 2 n, hvor n er antal uafhængige variable Hvad måles der på Hastighed for udførsel Antal fejl (kvantitative mål)

Design af eksperiment - Deltagere Forskellige deltagere Svært at få nok Individuelle forskelle får betydning Undgår ordering effects Samme deltagere Færre deltagere Individuelle forskelle mindre betydning Counterbalancing vigtig Parrede deltagere Som forskellige deltagere, men forskelle forsøgt udlignet

Analyse af resultat Statistik Signifikans Strategi for hvad der måles på, samt hvordan analysen udføres, er en del af planlægningen af eksperimentet

2 minutter... Formuler en hypotese, som I kunne tænke at teste, og som kunne informere jeres design. Diskuter kort hvordan I kunne designe et eksperiment.

Usability testing

HomeLab (Philips, Eindhoven)

Noldus.com

Mobilt udstyr til brug i felten

Typisk test situation Usability laboratorie eller andre kontrollerede omgivelser Repræsentative brugere Repræsentative opgaver 5-10 brugere Samme situation og opgave for alle brugere ca 30 minutter Informeres om formålet med test

Eksempler på data der indsamles Time to complete a task. Time to complete a task after a specified time away from the product. Number and type of errors per task. Number of errors per unit of time. Number of navigations to online help or manuals. Number of users making a particular error. Number of users completing task successfully.

Tænke højt test Clayton Lewis (IBM) Brugere inviteres til at tænke højt imens de udfører en opgave Observator kigger på og hjælper kun hvis brugere slet ikke kan komme videre Variant: to brugere udfører sammen opgave

Tænke højt / Think aloud (B.Tognazzini, User Testing on the cheap. In Tog on Interface, Addison Wesley publ. 1990) Introducer dig selv Beskriv formål med test Sig det er ok at stoppe Fortæl om udstyret i rummet Forklar hvordan man tænker højt Forklar at du ikke vil hjælpe undervejs Lad evt. folk undersøge systemet inden opgaven gives Beskriv opgaven og produktet Spørg om der er spørgsmål < praktisk udførsel > Konkluder

design collaboratorium (BIDI projektet)

Problemer med usability tests Ringe samarbejde mellem udviklere, usability testere, og brugere Ofte sent i processen - begrænset impact på endeligt design

Felt studier

Felt studier Studere hvordan produkt/prototype bruges i virkelige omgivelser Tilpasning over tid Fra minutter til år Observation og interviews Aftale om brug af kamera og data er vigtig

What people say and what they do Tacit knowledge

Kombination af evalueringsmetoder

Trade-offs Laboratorium vs. Kontekst Quick and dirty vs. Velunderbyggede resultater Synlig manifestation af interaktionsdesignarbejde vs. faktisk påvirkning af udvikling Integration af resultater i udviklingsarbejdet Horisontal - vertikal evaluering Pris og omfang Sammensætning af teknikker fra værktøjskassen

Planlægning af evaluering Scope - hvad undersøges Formål - hvilke spørgsmål/områder skal undersøgelsen belyse hvornår og hvor Deltagere Hvordan - valg af metode Spørgsmål Set up Roller

Data indsamling Tid Fejl Stier Hjælp, manual Lykkes det at gennemføre opgave(r) Kommentarer, kropssprog Post test spørgeskema Midler Noter Video Interaction log

Formål med undersøgelsen Identificere problemer Sammenligne alternativer Generel vurdering - Hvad er vigtigt for projektet på dette tidspunkt

2 minutter med sidemanden Hvad er vigtigt at evaluere ift. jeres projekt og hvordan vil I tilrettelæge en evaluering så dette kan belyses?

Evaluering fortsat Inspektioner, Analytics, Modeller Marianne Graves Petersen Associate Professor Computer Science Dept, University of Aarhus Center for Interactive Spaces, mgraves@cs.au.dk

Interaktionsdesign processen Identificer brugernes behov og etabler krav til brugsoplevelsen Udvikl en række designs, der opfylder disse krav Byg/revider interaktive versioner af design, så de kan kommunikeres og vurderes Evaluer

Evaluering Tre tilgange til evaluering usability testing test og omgivelser kontrolleret af evaluator felt studier naturlige omgivelser og handlinger analytisk evaluering Inspektioner Analytics Prediktive modeller Kombinationer af disse

Analytisk Evaluering Inspektioner Heuristisk evaluering Cognitive Walkthrough

Heuristisk evaluering Ekspert review af grænseflade guidet af en samling brugbarheds principper, kaldet heuristikker Uformel inspektion Jakob Nielsen 1990s

Nielsen (1994) Visibility of system status feedback Match between system and the real world Familiar language User control and freedom Consistency and standards Help users recognize, diagnose, and recover from errors Helpful errormessages Error prevention Recognition rather than recall Objects and actions should be visible Flexibility and efficiency of use Shortcuts Aesthetic and minimalist design Help and documentation

HOMERUN (Nielsen Commercielle websites 1999) High quality content Often Updated Minimal download time Ease of use Relevant to users needs Unique to the online medium Netcentric corporate culture

Playability Heuristics for Mobile Games Korhonen, H. and Koivisto, E. M. 2006 Nokia research, H1: Don t waste the player s time H2: Prepare for interruptions H3: Take other persons into account H4: Follow standard conventions H5: Provide gameplay help H6: Differentiation between device UI and the game UI should be evident H7: Use terms that are familiar to the player H8: Status of the characters and the game should be clearly visible H9: The Player should have clear goals H10: Support a wide range of players and playing styles H11: Don t encourage repetitive and boring tasks Korhonen, H. and Koivisto, E. M. 2006. Playability heuristics for mobile games. In Proceedings of the 8th Conference on Human-Computer interaction with Mobile Devices and Services (Helsinki,

Heuristikker: fordele bred evaluering Let at gå til Flexibel Ikke mange etiske issues Discount usability metode

Heuristikker: ulemper False alarms (43 % false alarms) Vigtige problemer kan overses Afhængig af evaluators ekspertise og erfaring Bedste evaluatorer har viden om både domæne og brugere

Discount usability evaluation

2 minutter: Udfør vha Nielsen s heuristikker en evaluering af jeres mobiltelefon Visibility of system status feedback Match between system and the real world Familiar language User control and freedom Consistency and standards Help users recognize, diagnose, and recover from errors Helpful errormessages Error prevention Recognition rather than recall Objects and actions should be visible Flexibility and efficiency of use Shortcuts Aesthetic and minimalist design Help and documentation

Interaktionsdesign processen Identificer brugernes behov og etabler krav til brugsoplevelsen Udvikl en række designs, der opfylder disse krav Byg/revider interaktive versioner af design, så de kan kommunikeres og vurderes Evaluer