Introduktion til Evaluering Usability testing og feltstudier

Transkript

1 Introduktion til Evaluering Usability testing og feltstudier Marianne Graves Petersen Associate Professor Computer Science Dept, University of Aarhus Center for Interactive Spaces,

2 Interaktionsdesign processen Identificer brugernes behov og etabler krav til brugsoplevelsen Udvikl en række designs, der opfylder disse krav Byg/revider interaktive versioner af design, så de kan kommunikeres og vurderes Evaluer

3 HVORFOR ER DER BRUG FOR EVALUERING??

4 Bruce Tognazzini om evaluering Iterative design, with its repeating cycle of design and testing, is the only validated methodology in existence that will consistently produce successful results. If you don t have usertesting as an integral part of your design process you are going to throw buckets of money down the drain.

5 Vi designer ikke til os selv Feedback tidligt i designprocessen Iterativ udvikling virker Fokus på virkelige problemer Afklar hvilke usability og user experience kriterier der er vigtige for produktet iterativ proces. fail early, fail often

6 Evaluering Vigtigt område ift. interaktionsdesign Forskellige tilgange til evaluering Styrker og svagheder Forskellige spørgsmål kræver forskellige undersøgelsesmetoder

7 Planlæg og udfør evaluering Hvad er målene med evalueringen Hvilke spørgsmål ønskes besvaret Hvilke evalueringsmetoder er relevante Hvilke praktiske udfordringer skal løses Hvordan håndteres etiske aspekter Udfør evalueringen, analyser resultaterne og udfør re-design

8 Tre tilgange til Evaluering Usability testing fra 1980s typiske brugere der udfører typiske opgaver kontrollerede omgivelser fejl og problemer ved design Felt studier naturlige omgivelser muligheder, introduktion af teknologi, evaluering Analytisk evaluering expert evaluering: brugere ikke involveret direkte inspection teoretisk informeret plus kombinationer af disse

9 3 Tilgange Karakteristika Usability testing Field studies Analytical Users do task natural not involved Location controlled natural anywhere When prototype early prototype Data quantitative qualitative problems Feed back measures & errors descriptions problems Type applied naturalistic expert

10 USABILITY TESTING Kontrollerede eksperimenter etablering og test af hypoteser Usability test i laboratium udførsel af testopgaver i kontrollerede omgivelser Design collaboratorium tæt dialog og samarbejde med brugere omkring afprøvning og re-design

11 Usability test Metode til at evaluere brugbarhed mhp at forbedre design Omhyggeligt planlagt, men ikke dokumenteret mhp. replikerbarhed Kvalitative resultater Pragmatisk tilgang Eksperiment Videnskabelig metode til etablering af ny viden Procedure dokumenteres mhp replikerbarhed Statistiske tests

12 Eksperiment Videnskabelig metode til etablering af ny viden Antal emner i en menu Icon design Scrollbars

13 Eksperiment Test af hypotese der forudsiger sammenhængen mellem to eller flere variable Uafhængig variabel varieres og afhængig variabel studeres for at identificere en sammenhæng Eksempler Læsehastighed (afhængig variabel) i forhold til font, bogstavstørrelse, spaltebredde (uafhængige variable) etc.. Konceptuel model for scrolling (afhængig variabel) i forhold til indholdstype (uafhængig variabel) Design af eksperimenter

14 eksempler

15 hypoteser Hypotese 1:Ved opførelse på mixitui kan publikum i højere grad end ved traditionel opførelse opfatte hvilke delelementer/instrumenter, musikken er opbygget af. Hypotese 2: Publikum kan i højere grad opfatte musikerens handlinger og den resulterende effekt ved opførelse på mixitui end ved traditionel opførelse. Hypotese 3: Publikum får en bedre forståelse af, hvordan musikeren påvirker musikken, når der opføres på mixitui, end når der opføres på traditionel vis. Hypotese 4: Ved opførelse på mixitui får publikum i højere grad end ved traditionel opførelse indtrykket af, at musikeren kan improvisere og forme musikken, som han har lyst.

16 Udfordring og engagement i collaborativt spil Spørgeskemaer samt Fysiologiske målinger

17 Spillere er mere engagerede når de spiller mod en person end mod computeren high values indicate more variation Playing against computer Playing against friend Mean St. Dev. Mean St. Dev. Boring Challenging Easy Engaging Exciting Frustrating Fun Source: Mandryk and Inkpen (2004).

18 Hypotese: synkrone diskussionssystemer med indlejret struktur er bedre til at understøtte beslutningsprocesser i grupper end systemer uden struktur

19 En eller flere uafhængige variable Produktversioner, brugerprofiler 2 n, hvor n er antal uafhængige variable Hvad måles der på Hastighed for udførsel Antal fejl (kvantitative mål)

20 Design af eksperiment - Deltagere Forskellige deltagere Svært at få nok Individuelle forskelle får betydning Undgår ordering effects Samme deltagere Færre deltagere Individuelle forskelle mindre betydning Counterbalancing vigtig Parrede deltagere Som forskellige deltagere, men forskelle forsøgt udlignet

21 Analyse af resultat Statistik Signifikans Strategi for hvad der måles på, samt hvordan analysen udføres, er en del af planlægningen af eksperimentet

22 2 minutter... Formuler en hypotese, som I kunne tænke at teste, og som kunne informere jeres design. Diskuter kort hvordan I kunne designe et eksperiment.

23 Usability testing

24 HomeLab (Philips, Eindhoven)

25

26 Noldus.com

27 Mobilt udstyr til brug i felten

28 Typisk test situation Usability laboratorie eller andre kontrollerede omgivelser Repræsentative brugere Repræsentative opgaver 5-10 brugere Samme situation og opgave for alle brugere ca 30 minutter Informeres om formålet med test

29

30 Eksempler på data der indsamles Time to complete a task. Time to complete a task after a specified time away from the product. Number and type of errors per task. Number of errors per unit of time. Number of navigations to online help or manuals. Number of users making a particular error. Number of users completing task successfully.

31 Tænke højt test Clayton Lewis (IBM) Brugere inviteres til at tænke højt imens de udfører en opgave Observator kigger på og hjælper kun hvis brugere slet ikke kan komme videre Variant: to brugere udfører sammen opgave

32 Tænke højt / Think aloud (B.Tognazzini, User Testing on the cheap. In Tog on Interface, Addison Wesley publ. 1990) Introducer dig selv Beskriv formål med test Sig det er ok at stoppe Fortæl om udstyret i rummet Forklar hvordan man tænker højt Forklar at du ikke vil hjælpe undervejs Lad evt. folk undersøge systemet inden opgaven gives Beskriv opgaven og produktet Spørg om der er spørgsmål < praktisk udførsel > Konkluder

33 Data indsamling Tid Fejl Stier Hjælp, manual Lykkes det at gennemføre opgave(r) Kommentarer, kropssprog Post test spørgeskema Midler Noter Video Interaction log

34 2 minutter Byt mobiltelefon med sidemanden og bed sidemanden om at skifte ringetone imens personen tænker højt

35 Fra usability test til design collaboratorium (BIDI projektet)

36 Problemer med usability tests Ringe samarbejde mellem udviklere, usability testere, og brugere Ofte sent i processen - begrænset impact på endeligt design

37

38 Felt studier

39 Felt studier Studere hvordan produkt/prototype bruges i virkelige omgivelser Tilpasning over tid Fra minutter til år Observation og interviews Aftale om brug af kamera og data er vigtig

40 What people say and what they do Tacit knowledge

41 Kombination af evalueringsmetoder

42

43 Trade-offs Laboratorium vs. Kontekst Quick and dirty vs. Velunderbyggede resultater Synlig manifestation af interaktionsdesignarbejde vs. faktisk påvirkning af udvikling Integration af resultater i udviklingsarbejdet Horisontal - vertikal evaluering Pris og omfang Sammensætning af teknikker fra værktøjskassen

44 Interaktionsdesign processen Identificer brugernes behov og etabler krav til brugsoplevelsen Udvikl en række designs, der opfylder disse krav Byg/revider interaktive versioner af design, så de kan kommunikeres og vurderes Evaluer

45 på onsdag Overblik over evaluering Analytisk evaluering 3. obligatoriske opgave evaluering med og uden brugere re-design