Kognitiv systemanalyse og elicitering af brugerkrav

Transkript

1 Kognitiv systemanalyse og elicitering af brugerkrav Hans H. K. Sønderstrup-Andersen, Roskilde Universitet LUG B første værksted 15. januar 2014, Sorø LUG delprojekt B første værkstedsmøde

2 Net handel støttet af digitale butlere - COGITO Partnere: DTU / Risø National Laboratory IPSI Frauenhofer University of Bari SWORD PDV BOL/Amazon Design Confidence and trust Dialogue intelligence Enhanced consumersupplier relationships Usability Naturalness of dialogue Usefulness Precise, relevant information Personalization DTU/Risø Bruger krav til og evaluering af prototype Animation Dialogue management Learning Profiles Intelligent access 2 LUG delprojekt B første værkstedsmøde

3 Brugerkrav og evaluering Fremdragelse og opstilling af brugerkrav til digitale agenter/butlere Hvorvidt de digitale agenter får engageret brugere i dialoger Hvorvidt dialogteknikkerne resulterer i flere købstransaktioner end på sitet uden disse teknikker Brugerevaluering af de digitale agenters visuelle fremtræden 3 LUG delprojekt B første værkstedsmøde

4 Metode til elicitering af brugerkrav Tænke højt protokol og eksplorerende spørgeteknik Bruger-teknologi interaktion - Internetbaserede intelligente butlere/agenter Elicitering af generelle e-handels problemer Elicitering af brugerkrav til digitale butlere Fokus gruppe interview Diskussion af generelle problemer ved handel på nettet Digitale butleres visuelle fremtræden og tilknyttede brugerassocieringer Diskussion af problemer i og krav til interaktionen Data analyse Transskription og analyse af video optagelser Analyse og opstilling af bruger krav i mål-middel hierarkier 4 LUG delprojekt B første værkstedsmøde

5 Tænke-højt protokol En person ( brugeren ) tænker højt mens han/hun løser opgaver i et givet scenarie En anden person ( evaluatoren ) observerer forsøgspersonen og lytter til hans højttænkning, mens hun/han noterer de problemer respondenten kommer ud for 5 LUG delprojekt B første værkstedsmøde

6 Tænke-højt protokol En person ( brugeren ) tænker højt, mens han/hun besvarer spørgsmål i et spørgeskema En anden person ( evaluatoren ) observerer forsøgspersonen og lytter til hans højt-tænkning, mens hun/han noterer de problemer respondenten kommer ud for 6 LUG delprojekt B første værkstedsmøde

7 Fordele ved højt-tænkning I teorien ingen interviewer påvirkning af respondenten Let at lære Ikke struktureret 7 LUG delprojekt B første værkstedsmøde

8 Begrænsninger ved højt-tænkning Påvirker tid til besvarelse Påvirker besvarelsesstrategi Mere struktureret Tager mentale ressourcer Folk holder op med at tænke højt når spørgsmålene bliver svære Giver ikke mening for spørgsmål man besvarer på rygmarven 8 LUG delprojekt B første værkstedsmøde

9 Brug af eksplorerende spørgeteknik Interaktion med respondent men han/hun arbejder med agenten/systemet i løsningen af en opgave Intervieweren stiller uddybende eksplorerende spørgsmål med det formål at afdække tankerne bag respondentens interaktionsadfærd 9 LUG delprojekt B første værkstedsmøde

10 Fordele ved eksplorerende spørge teknik Kontrol af interviewforløb Aktiv afsøgning af mulige problematikker ved interaktion med agent Nemt for respondenten at forstå teknikken 10 LUG delprojekt B første værkstedsmøde

11 Begrænsninger ved den eksplorerende spørgeteknik Kan have indflydelse på problemløsningsstrategi i forhold til de aspekter ved interaktionen man ønsker at undersøge Kan virke ledende Kan være sværere at lære for interviewer 11 LUG delprojekt B første værkstedsmøde

12 Mål-middel hierarkier why why what what how how 12 LUG delprojekt B første værkstedsmøde

13 Hvor mange brugere har man brug for Nielsen & Landauer (1993) 13 LUG delprojekt B første værkstedsmøde

14 Scenarier og tænke højt protokol kombineret med eksplorerende spørgeteknik 8 respondenter introduktion til forløb prøve scenarie med interviewing by doing og tænke højt protokol teknik ( fulde scenarier med cases fra 3 sites (Mr.Clean, one2one, Amazon) spørgeskema forløb af 1-2 timers længde 14 LUG delprojekt B første værkstedsmøde

15 Set-up af forløb 15 LUG delprojekt B første værkstedsmøde

16 Set-up af scenarier og forløb Observation, memoskrivning Tænke højt protokol kombineret med eksplorerende interviewteknik 16 LUG delprojekt B første værkstedsmøde

17 Første prototype Evaluering øjenbevægelsesregistrering BOLsite Agent torso Tekst output Bruger input Tom flade 17 LUG delprojekt B første værkstedsmøde

18 Analyse af data fra øjenbevægelsesregistrering 70,0 60,0 50,0 All BOL prototype All COGITO prototype Average in % 40,0 30,0 20,0 10,0 0,0 Agent torso Agent text output User input field Bol site Right lower corner Outside display Areas of interest 18 LUG delprojekt B første værkstedsmøde

19 Analyse af brugerkrav 19 LUG delprojekt B første værkstedsmøde

20 Fokus gruppe interview Samme 8 respondenter Video optagelse af session Diskussion af problemer med net handel Ord associations test digitale agenter Diskussion af bruger krav til digitale agenter 4/29/2004 CSEC-CHII Workshop; Research Day 20 LUG delprojekt B første værkstedsmøde 20

21 Fokus gruppe set-up 21 LUG delprojekt B første værkstedsmøde

22 Ord associations test Ord association Respondenter præsenteret for 10 agenter Associations respons frekvens Ord værdier 22 LUG delprojekt B første værkstedsmøde

23 Ord association set-up 23 LUG delprojekt B første værkstedsmøde

24 Begrænsende faktorer i interaktionen Enkelt ords dialog i stedet for sætninger Ingen eller uforståelig reaktion Blind gyde dialoger Manglende følelse af være i kontrol Installation af plug inns Lyd og gestikulering 24 LUG delprojekt B første værkstedsmøde

25 Mål-middel hierarkier prioriteter - eksempler WHY Troværdighed Kvalitet af mediering* WHAT Fleksibilitet/Tilpasning Værdi forøgende services/positive overraskelser Underholdning HOW 25 LUG delprojekt B første værkstedsmøde

26 Kvalitet af mediering generelle funktioner Agent adfærd og fremtræden * Naturlig dialog Konstruktive tilbagemeldinger Fleksible/innovative svar Dialog historik Komfort 26 LUG delprojekt B første værkstedsmøde

27 Agent fremtrædning fysiske processer og form Skal relatere til kontekst Positiv bruger association tillidsvækkende, høflig, venlig, glad, afslappet, charmerende, etc. Tilpasning til produkter bruger association til forskellige produktyper Tilpasning til brugers sproglige stil ung/gammel, sub-kulturer, uddannelse, etc. Tilpasset til firmas image Værdier, salgs strategier, logo Foto, animering, live animering Bruger definerbar, størrelse, gestikulering, lyd, 3D/2D, plug inn s, dynamiske ændringer over tid. 27 LUG delprojekt B første værkstedsmøde

28 Agent fremtræden fysisk form Actor1 Actor2 Nicole VrFrnd Lego Quest Eve e-cyas Tokiama Cogito Agent Positive words Neutral words Negative words Actor 2 30 (73%) 6 (15%) 5 (12%) Eve 22 (61%) 2 (6%) 12 (33%) Nicole 18 (53%) 3 (9%) 13 (38%) Lego 15 (52 %) 8 (28%) 6 (21%) e-cyas 11(24%) 6 (13%) 28 (62%) Virtual Friend 7 (8%) 1 (3%) 31 (79%) Actor 1 7 (16%) 6 (14%) 31 (71%) Cogito 6 (21%) 6 (21%) 16 (57%) Quest 4 (14%) 3 (11%) 21 (75%) Tokiama 3 (10%) 3 (10%) 24 (80%) 28 LUG delprojekt B første værkstedsmøde