Forskning om usability-arbejde i praksis Kasper Hornbæk Datalogisk Institut, Københavns Universitet
Udfordringer i forskningen Mange forskningsstudier fokuserer på at generere rapporter som beskriver problemerne med en applikation (Wixon 2003) Meget få studier af usability-arbejde foretages i relation til praktisk udviklingsarbejde (Gray & Salzman 1998; Hartson et al. 2001) Forskningen er kun begyndt at se på hvordan udviklere forstår og vurderer feedback fra evaluering (fx Hornbæk & Frøkjær 2004)
Udfordringer i praksis Usability-arbejde har for beskeden indflydelse på udviklingsaktiviteter
Hvad gør evaluatorer egentlig? Tænke-højt forsøg er den mest udbredte evalueringsmetode Stort set ingen studier af hvordan evaluatorer gennemfører tænke-højt forsøg (se dog Boren & Ramey 2000) Nørgaard, M. & Hornbæk, K. (2006), What Do Usability Evaluators Do in Practice? An Explorative Study of Think- Aloud Testing, ACM Symposium on Designing Interactive Systems (DIS 2006), 209-218.
Hvad gør evaluatorer egentlig? 14 tænke-højt sessioner i syv virksomheder 2-8500 ansatte 2-8 af disse arbejder med evaluering Evaluatorers erfaring mellem 1 og 8 år Følger opsætning, gennemførelse, analyse og uformel diskussion af testen Cirka 25 times optagelse
Hovedresultat
Hvordan analyseres TH-forsøg? Ingen sessioner blev umiddelbart efterfulgt af et forsøg på en struktureret analyse af tænke-højt forsøget Analysen synes en svag del af forløbet Udfordring til forskere Praktikere kunne mere systematisk fastholde og diskuteres deres observationer
Spørgsmål under forsøget Nogle spørgsmål prøver ikke at forstå/uddybe problemer som opleves af brugeren men opfordrer brugeren til at forudsige problemer Problematiske spørgsmål: Forskere må konstatere at praktikere ønsker at få en vifte af information: kan dette gøres gyldigt? Praktikere bør udvise forsigtighed med hensyn til hvordan de formulerer spørgsmål
Nytte over for usability Vi kan skelne usability og nytte/utility Nytte problemer er mindre hyppigt udpeget end usability problemer Nytte problemer forekommer meget vigtige: Forskere kunne udvikle teknikker til at undersøge nytte Praktikere kunne spørge om et systems nytte og om hvordan brugere normalt løser en opgave
Hvad værdsætter udviklere? Få anvisninger på hvordan man bør rapportere en usability evaluering De anbefalinger som eksisterer er baseret på brugsvenlighedsspecialisters meninger (e.g., Dumas, Molich & Jeffries 2004; Capra & Smith- Jackson 2005) Hornbæk, K. & Frøkjær, E. (2006), What kind of usability-problem description are useful for developers?, Proceedings of the Annual Meeting of Human Factors and Ergonomics Society, 2523-2527
Procedure 43 studerende evaluerede et stort web site med Tænke-højt test (Molich 2003) Metaphors of human thinking (Hornbæk & Frøkjær 2002) Fire udviklere vurderede de identificerede problemer Hvor nyttigt er problemet i dit videre arbejde med Jobindex? Ikke nyttigt Meget nyttigt
Procedure, fort. Hvert problem blev herefter bedømt på fem aspekter: Løsningsforslag Vedvarende Begrundelse Observerbare handlinger Klarhed
Resultater Løsningsforslag forbedrer nyttevurdering Uklart om løsningen bruges (cf. Hornbæk & Frøkjær 2005) 40 30 Utility 20 10 0 Yes Solution proposal No
Resultater II Problemer der vurderes som vedvarende modtager højere nyttevurdering af udviklere 30 20 Utility 10 0 Yes Persistent No
Resultater III Problemer som indeholder begrundelser bliver vurderet som signifikant mere nyttige 30 20 Utility 10 0 Yes Justification No
Andre forskelle Forskel for klarhed af problemer Ingen forskel for observerbare handlinger Til forskel fra Hornbæk & Frøkjær (2005) Nogle forskelle mellem evalueringsmetoder med hensyn til hvilke typer beskrivelser de producerer
Videre arbejde Workshop på CHI 2007 om at forbedre påvirkningen af brugsvenlighedsarbejde på systemudvikling (tobiasue@diku.dk) (www.diku.dk/forskning/infosys/chiworkshop/) Hvordan kan forskellige interessenter involveres mere aktivt i usability-arbejdet? Mie Nørgaard (mien@diku.dk) Ide-generering (Hornbæk 2007)
Spørgsmål? Artikler kan downloades fra www.diku.dk/~kash kash@diku.dk / 35321425