Introduktion til Evaluering Usability testing og feltstudier Marianne Graves Petersen Associate Professor Computer Science Dept, University of Aarhus Center for Interactive Spaces, mgraves@cs.au.dk
Interaktionsdesign processen Identificer brugernes behov og etabler krav til brugsoplevelsen Udvikl en række designs, der opfylder disse krav Byg/revider interaktive versioner af design, så de kan kommunikeres og vurderes Evaluer
HVORFOR ER DER BRUG FOR EVALUERING??
Bruce Tognazzini om evaluering Iterative design, with its repeating cycle of design and testing, is the only validated methodology in existence that will consistently produce successful results. If you don t have usertesting as an integral part of your design process you are going to throw buckets of money down the drain.
Vi designer ikke til os selv Feedback tidligt i designprocessen Iterativ udvikling virker Fokus på virkelige problemer Afklar hvilke usability og user experience kriterier der er vigtige for produktet iterativ proces. fail early, fail often
Evaluering Vigtigt område ift. interaktionsdesign Forskellige tilgange til evaluering Styrker og svagheder Forskellige spørgsmål kræver forskellige undersøgelsesmetoder
Planlæg og udfør evaluering Hvad er målene med evalueringen Hvilke spørgsmål ønskes besvaret Hvilke evalueringsmetoder er relevante Hvilke praktiske udfordringer skal løses Hvordan håndteres etiske aspekter Udfør evalueringen, analyser resultaterne og udfør re-design
Tre tilgange til Evaluering Usability testing fra 1980s typiske brugere der udfører typiske opgaver kontrollerede omgivelser fejl og problemer ved design Felt studier naturlige omgivelser muligheder, introduktion af teknologi, evaluering Analytisk evaluering expert evaluering: brugere ikke involveret direkte inspection teoretisk informeret plus kombinationer af disse
3 Tilgange Karakteristika Usability testing Field studies Analytical Users do task natural not involved Location controlled natural anywhere When prototype early prototype Data quantitative qualitative problems Feed back measures & errors descriptions problems Type applied naturalistic expert
USABILITY TESTING Kontrollerede eksperimenter etablering og test af hypoteser Usability test i laboratium udførsel af testopgaver i kontrollerede omgivelser Design collaboratorium tæt dialog og samarbejde med brugere omkring afprøvning og re-design
Usability test Metode til at evaluere brugbarhed mhp at forbedre design Omhyggeligt planlagt, men ikke dokumenteret mhp. replikerbarhed Kvalitative resultater Pragmatisk tilgang Eksperiment Videnskabelig metode til etablering af ny viden Procedure dokumenteres mhp replikerbarhed Statistiske tests
Eksperiment Videnskabelig metode til etablering af ny viden Antal emner i en menu Icon design Scrollbars
Eksperiment Test af hypotese der forudsiger sammenhængen mellem to eller flere variable Uafhængig variabel varieres og afhængig variabel studeres for at identificere en sammenhæng Eksempler Læsehastighed (afhængig variabel) i forhold til font, bogstavstørrelse, spaltebredde (uafhængige variable) etc.. Konceptuel model for scrolling (afhængig variabel) i forhold til indholdstype (uafhængig variabel) Design af eksperimenter
eksempler
hypoteser Hypotese 1:Ved opførelse på mixitui kan publikum i højere grad end ved traditionel opførelse opfatte hvilke delelementer/instrumenter, musikken er opbygget af. Hypotese 2: Publikum kan i højere grad opfatte musikerens handlinger og den resulterende effekt ved opførelse på mixitui end ved traditionel opførelse. Hypotese 3: Publikum får en bedre forståelse af, hvordan musikeren påvirker musikken, når der opføres på mixitui, end når der opføres på traditionel vis. Hypotese 4: Ved opførelse på mixitui får publikum i højere grad end ved traditionel opførelse indtrykket af, at musikeren kan improvisere og forme musikken, som han har lyst.
Udfordring og engagement i collaborativt spil Spørgeskemaer samt Fysiologiske målinger
Spillere er mere engagerede når de spiller mod en person end mod computeren high values indicate more variation Playing against computer Playing against friend Mean St. Dev. Mean St. Dev. Boring 2.3 0.949 1.7 0.949 Challenging 3.6 1.08 3.9 0.994 Easy 2.7 0.823 2.5 0.850 Engaging 3.8 0.422 4.3 0.675 Exciting 3.5 0.527 4.1 0.568 Frustrating 2.8 1.14 2.5 0.850 Fun 3.9 0.738 4.6 0.699 Source: Mandryk and Inkpen (2004).
Hypotese: synkrone diskussionssystemer med indlejret struktur er bedre til at understøtte beslutningsprocesser i grupper end systemer uden struktur
En eller flere uafhængige variable Produktversioner, brugerprofiler 2 n, hvor n er antal uafhængige variable Hvad måles der på Hastighed for udførsel Antal fejl (kvantitative mål)
Design af eksperiment - Deltagere Forskellige deltagere Svært at få nok Individuelle forskelle får betydning Undgår ordering effects Samme deltagere Færre deltagere Individuelle forskelle mindre betydning Counterbalancing vigtig Parrede deltagere Som forskellige deltagere, men forskelle forsøgt udlignet
Analyse af resultat Statistik Signifikans Strategi for hvad der måles på, samt hvordan analysen udføres, er en del af planlægningen af eksperimentet
2 minutter... Formuler en hypotese, som I kunne tænke at teste, og som kunne informere jeres design. Diskuter kort hvordan I kunne designe et eksperiment.
Usability testing
HomeLab (Philips, Eindhoven)
Noldus.com
Mobilt udstyr til brug i felten
Typisk test situation Usability laboratorie eller andre kontrollerede omgivelser Repræsentative brugere Repræsentative opgaver 5-10 brugere Samme situation og opgave for alle brugere ca 30 minutter Informeres om formålet med test
Eksempler på data der indsamles Time to complete a task. Time to complete a task after a specified time away from the product. Number and type of errors per task. Number of errors per unit of time. Number of navigations to online help or manuals. Number of users making a particular error. Number of users completing task successfully.
Tænke højt test Clayton Lewis (IBM) Brugere inviteres til at tænke højt imens de udfører en opgave Observator kigger på og hjælper kun hvis brugere slet ikke kan komme videre Variant: to brugere udfører sammen opgave
Tænke højt / Think aloud (B.Tognazzini, User Testing on the cheap. In Tog on Interface, Addison Wesley publ. 1990) Introducer dig selv Beskriv formål med test Sig det er ok at stoppe Fortæl om udstyret i rummet Forklar hvordan man tænker højt Forklar at du ikke vil hjælpe undervejs Lad evt. folk undersøge systemet inden opgaven gives Beskriv opgaven og produktet Spørg om der er spørgsmål < praktisk udførsel > Konkluder
Data indsamling Tid Fejl Stier Hjælp, manual Lykkes det at gennemføre opgave(r) Kommentarer, kropssprog Post test spørgeskema Midler Noter Video Interaction log
2 minutter Byt mobiltelefon med sidemanden og bed sidemanden om at skifte ringetone imens personen tænker højt
Fra usability test til design collaboratorium (BIDI projektet)
Problemer med usability tests Ringe samarbejde mellem udviklere, usability testere, og brugere Ofte sent i processen - begrænset impact på endeligt design
Felt studier
Felt studier Studere hvordan produkt/prototype bruges i virkelige omgivelser Tilpasning over tid Fra minutter til år Observation og interviews Aftale om brug af kamera og data er vigtig
What people say and what they do Tacit knowledge
Kombination af evalueringsmetoder
Trade-offs Laboratorium vs. Kontekst Quick and dirty vs. Velunderbyggede resultater Synlig manifestation af interaktionsdesignarbejde vs. faktisk påvirkning af udvikling Integration af resultater i udviklingsarbejdet Horisontal - vertikal evaluering Pris og omfang Sammensætning af teknikker fra værktøjskassen
Interaktionsdesign processen Identificer brugernes behov og etabler krav til brugsoplevelsen Udvikl en række designs, der opfylder disse krav Byg/revider interaktive versioner af design, så de kan kommunikeres og vurderes Evaluer
på onsdag Overblik over evaluering Analytisk evaluering 3. obligatoriske opgave evaluering med og uden brugere re-design