Usabilityarbejde i softwarevirksomheder

Transkript

1 Usabilityarbejde i softwarevirksomheder udnyt eksisterende ressourcer Jan Stage Professor, PhD Forskningsleder i Informationssystemer (IS)/Human-Computer Interaction (HCI) Aalborg Universitet, Institut for Datalogi, HCI-Lab jans@cs.aau.dk

2 Institut for Datalogi 2 Oversigt 1. Usability-arbejde: Forhindringer i praksis 2. Indførelse af usability-arbejde: Fire strategier 3. Strategi 3: Uddan udviklerne 4. Strategi 4: Inddrag brugerne 5. Realisering af strategierne i praksis

3 Institut for Datalogi 3 Oversigt 1. Usability-arbejde: Forhindringer i praksis Usability: Definition Hvorfor er det vigtigt? Usability i praksis 2. Indførelse af usability-arbejde: Fire strategier 3. Strategi 3: Uddan udviklerne 4. Strategi 4: Inddrag brugerne 5. Realisering af strategierne i praksis

4 Institut for Datalogi 4 Usability Definition (ISO 1998): The effectiveness, efficiency and satisfaction with which a specified set of users can achieve a specified set of tasks in a particular environment Usability-arbejde: Aktiviteter i et software-projekt, der bidrager til at forbedre usability User experience Design, evaluering og redesign Utility Usability

5 Institut for Datalogi 5 Usability: Hvorfor er det vigtigt? Et stigende antal software-organisationer har fokus på usability Kravene til systemerne ændrer sig: Risiko: flere systemer, hvor fejl påvirker menneskers helbred Nødvendighed: flere systemer uden mulighed for hjælp i brugssituationen Konkurrence: flere systemer, som er i direkte konkurrence med andre tilsvarende systemer Kundekrav: flere systemer, hvor kunden eksplicit stiller krav til usability Systemerne udvikles: Antallet og typen af brugere Brugssituationen og -formålet Kompleksiteten af software (og hardware) Mange systemer lever slet ikke op til dette

6 Institut for Datalogi 6 Usability: Hvorfor er det vigtigt? Dårlig usability vedbliver med at give problemer Tiden heler ikke dårligt design Longitudinal study of usability with EPR system: IBM IPJ 2.3 ( og ) Evaluation with nurses

7 Hvorfor: Dårlig usability koster Evaluering af IKEA s hjemmeside Det er vist lettere at køre derned (til Århus) Evaluering af Budget Cars hjemmeside Lej en bil på 60 sekunder 10 personer: 4-17 min.; snit: 7,5 min. 79 usability problemer (5 / 36 / 38) Dokumenteret, at det koster kunder For eksempel Star Tour Institut for Datalogi 7

8 Institut for Datalogi 8 Betydningen af usability-arbejde Godt usability-arbejde giver konkurrencefordele og besparelser I danske software-virksomheder er der en klar og stigende forståelse af dette Hvorfor sker der så ikke mere?

9 Institut for Datalogi 9 To undersøgelser af praksis Første undersøgelse: Mellemledere i nordjyske softwarevirksomheder Udvalgt geografisk ( ) Anden undersøgelse: Resource demands 11 Developer mindset 15 8 Customer participation 8 Test participants Conducting tests No problems Low priority No answ er Ansatte i softwarevirksomheder Deltog i en en-dages konference om usability Første undersøgelse Anden undersøgelse

10 Institut for Datalogi 10 Oversigt 1. Usability-arbejde: Forhindringer i praksis 2. Indførelse af usability-arbejde: Fire strategier 1. Lej en ekspert 2. Ansæt eksperter 3. Uddan udviklerne 4. Inddrag brugerne 3. Strategi 3: Uddan udviklerne 4. Strategi 4: Inddrag brugerne 5. Realisering af strategierne i praksis

11 Institut for Datalogi 11 Strategi 1: Lej en ekspert Typisk forløb: Der udvikles et software-produkt Der hyres en ekspert (en usability-konsulent) til at lave en usabilityevaluering Problemer: Konsulenter er dyre og der er få af dem Outsidere med svag forankring i virksomheden Evalueringen sker alt for sent Ingen blivende effekt i virksomheden

12 Institut for Datalogi Strategi 2: Ansæt eksperter Typisk forløb: Der ansættes en mindre gruppe eksperter De etableres som en selvstændig usability-afdeling Usability-afdelingen udfører evalueringer for projekter Problemer: Vanskeligt for små og mellemstore virksomheder Afdelingen får et selvstændigt liv (stadig outsidere) Konflikter mellem udviklere og evaluatorer

13 Institut for Datalogi 13 Strategi 3: Uddan udviklerne Inspiration: Barfodslæger i Kina stol på egne kræfter / tjen folket Forløb: Udviklere uddannes til at gennemføre usability-evalueringer De indgår i udviklingsprojekter De gennemfører evalueringer for egne eller andres projekter Problemer: Uddannelsen tager tid Prioritering af udvikling kontra evaluering er vanskelig

14 Institut for Datalogi 14 Strategi 4: Inddrag brugerne Inspiration: User-centred design / crowd sourcing Forløb: Brugerne anvender et system og giver respons i form af oplevede problemer Responsen fra brugerne danner grundlag for problemliste Problemer: Svag forpligtelse for brugerne Varierende omfang og kvalitet af respons

15 Institut for Datalogi 15 Oversigt 1. Usability-arbejde: Forhindringer i praksis 2. Indførelse af usability-arbejde: Fire strategier 3. Strategi 3: Uddan udviklerne Undervisningsforløb i software-virksomhed Moderne metode med reduktion af tidsforbrug 4. Strategi 4: Inddrag brugerne 5. Realisering af strategierne i praksis

16 Undervisningsforløb for udviklere Udviklerne kan trænes i usability-evaluering Første forsøg et forløb på 10 x 4 timer (40 timer) Mere fokus på problemidentifikation Nu et revideret forløb på (40 timer): 2 dages undervisning 1 dags øvelse 1 dags evaluering med coaching 1 dags dokumentation Hvor kompetente bliver de? Udviklet et værktøj til identifikation og kategorisering af usability-problemer 16 Institut for Datalogi 16

17 Institut for Datalogi 17 Tidsforbrug til usability-evaluering Rolf Molich: CUE-2 projektet ( 8 grupper, men ikke alle opsamlede systematisk data om tidsforbrug A B C D E F G H J Gennemsnit Forberedelse Testing Analyse og rapportering Samlet tidsforbrug Andre tal: timer for en total evaluering med 6-8 brugere og systematisk video-baseret dataanalyse Varighed: 4-6 uger

18 Reducere tidsforbruget Data analysis is the single most resource demanding activity IDA right after the evaluation: Usability problems are documented Organized by a facilitator Significant reduction: 75-90% of effort Almost the same number of problems are identified 18 Institut for Datalogi 18

19 Instant Data Analysis (IDA) Antal fundne problemer: IDA Video Total Kritisk Alvorligt Kosmetisk Total Tid brugt på analyse: IDA = 11.5 t., Video = t. Instant Data Analysis kan: Hjælpe evaluatorer til at identificere de mest kritiske og alvorlige usability-problemer oplevet af testbrugerne. Udføres på kun 20% af tiden sammenlignet med traditionel videoanalyse Reducere støj skabt ved kosmetiske og unikke usability-problemer Institut for Datalogi 19

20 Institut for Datalogi 20 Sammenfatning Det er muligt at lave et kort og effektivt undervisningsforløb, hvor universitetsstuderende lærer at lave gode usability-evalueringer Tidsforbruget til usability-evaluering kan reduceres markant resultat fra dag til dag Men virker det i praksis

21 Institut for Datalogi 21 Oversigt 1. Usability-arbejde: Forhindringer i praksis 2. Indførelse af usability-arbejde: Fire strategier 3. Strategi 3: Uddan udviklerne 4. Strategi 4: Inddrag brugerne Remote usability test To studier 5. Realisering af strategierne i praksis

22 Institut for Datalogi 22 Remote usability test Remote usability-evaluering er en situation hvor evaluatorerne er adskilt fra brugerne i tid og/eller rum (Castillo, Hartson og Hix, 1998) Remote synkron: Testleder og bruger er fysisk adskilt med realtids-observation af brugere ellers som almindelig evaluering Remote asynkron: Brugerne laver beskrivelser af de problemer, de oplever. Ingen observation af brugeren. Testlederen uddrager usability-problemer fra brugernes beskrivelser

23 Institut for Datalogi 23 Første studium: hvilken metode er bedst? No significant difference in task completion Significant difference in task completion time The users in the two asynchronous conditions spent considerably more time We do not know the reason

24 Institut for Datalogi 24 Identificerede usability-problemer A total of 46 usability problems No significant difference between LAB and RS AE/AU identified significantly fewer problems, also critical problems No significant difference between AE and AU in terms of problems identified

25 Andet studium: tre asynkrone metoder User-reported critical incident (UCI) Well-defined method (Castillo et al. CHI 1998) Forum-based online reporting and discussion (Forum) Assumption: through collaboration participants may give input which increases data quality and richness (Thompson, 1999) A source for collecting qualitative data in a study of auto logging (Millen, 1999): the participants turned out to report detailed usability feedback Diary-based longitudinal user reporting (Diary) Used on a longitudinal basis for participants in a study of auto logging to provide qualitative information (Steves et al. CSCW 2001) First day: same tasks as the other conditions (first part of diary delivered) Four more days: new tasks (same type) sent daily (complete diary delivered) Conventional user-based laboratory test (Lab) Included as benchmark Institut for Datalogi 25

26 Institut for Datalogi 26 Results: Task Completion Time Considerable variation in task completion times Participants in the remote conditions worked in their home at a time they selected For each task there was a hint that allowed them to check if they had solved the task correctly As we have no data on the task solving process in the remote conditions, we cannot explain the variation in time

27 Institut for Datalogi 27 Results: Usability Problems Identified Lab N=10 UCI N=10 Forum N=10 Task completion time in minutes: Average (SD) (6.3) (14.33) (5.83) Diary N=10 Tasks 1-9: (28.34) Usability problems: # % # % # % # % Critical (21) Serious (17) Cosmetic (24) Total (62) LAB: significantly better than the 3 remote conditions UCI-Forum: no significant difference UCI-Diary: significant overall: Diary also significant on cosmetic Forum-Diary: significant overall: Diary not significant on any level

28 Institut for Datalogi 28 Results: Evaluator Effort Lab (46) UCI (13) Forum (15) Diary (29) Preparation 6:00 2:40 2:40 2:40 Conducting test 10:00 1:00 1:00 1:30 Analysis 33:18 2:52 3:56 9:38 Merging problem lists 11:45 1:41 1:42 4:58 Total time spent 61:03 8:13 9:18 18:46 Avg. time per problem 1:20 0:38 0:37 0:39 The sum for all evaluators involved in each activity Time for finding test subjects is not included (8h, common for all) Task specifications from an earlier study. Preparation in the remote conditions: work out written instructions Considerable differences between the remote conditions for analysis and merging of problem lists

29 Institut for Datalogi 29 Conclusion The three remote methods performed significantly below the classical lab test in terms of the number of usability problems identified The Diary was the best remote method it identified half of the problems found in the Lab condition UCI and Forum performed similarly for critical problems but worse for serious problems UCI and Forum took 13% of the lab test. Diary took 30% The productivity of the remote methods was considerably higher

30 Institut for Datalogi 30 Oversigt 1. Usability-arbejde: Forhindringer i praksis 2. Indførelse af usability-arbejde: Fire strategier 3. Strategi 3: Uddan udviklerne 4. Strategi 4: Inddrag brugerne 5. Realisering af strategierne i praksis IT-Vest: Masteruddannelse Infinit: Interessegruppe i Usability og interaktionsdesign

31 Institut for Datalogi 31 IT-Vest: Interaktionsdesign og usability-evaluering Master i IT Videreuddannelse under IT-Vest Fagpakke i Interaktionsdesign og usability-evaluering starter 1/ Optager bachelorer, men også indgang for datamatikere Information:

32 Institut for Datalogi 32 Infinit: Usability og interaktionsdesign Infinit: innovationsnetværk for virksomheder Interessegruppe i Usability og interaktionsdesign 3-4 arrangementer om året inden for temaet Næste gang 20/6-13: interaktionsdesign (uden display) Mere information: infinit.dk -> interessegrupper

33 Institut for Datalogi 33 Litteratur Andreasen, M. S., Nielsen, H. V., Schrøder, S. O. and Stage, J. (2007) What Happened to Remote Usability Testing? An Empirical Study of Three Methods. Proceedings of Conference on Human Factors in Computing Systems 2007 (CHI 2007), pp New York: ACM Press. Bak, J. O., Nguyen, K., Risgaard, P. and Stage, J. (2008) Obstacles to Usability Evaluation in Practice: A Survey of Software Organizations. Proceedings of NordiCHI Bruun, A., Gull, P., Hofmeister, L. and Stage, J. (2009) Let Your Users Do the Testing: A Comparison of Three Remote Asynchronous Usability Testing Methods. Proceedings of Conference on Human Factors in Computing Systems 2009 (CHI 2009), pp New York: ACM Press. Kjeldskov, J., Skov, M. B. and Stage, J. (2004) Instant Data Analysis: Evaluating Usability in a Day. Proceedings of NordiCHI 2004, pp ACM. Kjeldskov, J., Skov, M. B. and Stage, J. (2010) A Longitudinal Study of Usability in Health Care: Does Time Heal? International Journal of Medical Informatics, 79(6): Skov, M. B. and Stage, J. (2009) A Conceptual Tool for Usability Problem Identification in Website Development. International Journal of Information Technology and Web Engineering, 4(4): Skov, M. B. and Stage, J. (2012) Training Software Developers and Designers to Conduct Usability Evaluations. Behaviour and Information Technology, 31(4):