Kognitiv systemanalyse og elicitering af brugerkrav Hans H. K. Sønderstrup-Andersen, Roskilde Universitet LUG B første værksted 15. januar 2014, Sorø LUG delprojekt B første værkstedsmøde
Net handel støttet af digitale butlere - COGITO Partnere: DTU / Risø National Laboratory IPSI Frauenhofer University of Bari SWORD PDV BOL/Amazon Design Confidence and trust Dialogue intelligence Enhanced consumersupplier relationships Usability Naturalness of dialogue Usefulness Precise, relevant information Personalization DTU/Risø Bruger krav til og evaluering af prototype Animation Dialogue management Learning Profiles Intelligent access 2 LUG delprojekt B første værkstedsmøde
Brugerkrav og evaluering Fremdragelse og opstilling af brugerkrav til digitale agenter/butlere Hvorvidt de digitale agenter får engageret brugere i dialoger Hvorvidt dialogteknikkerne resulterer i flere købstransaktioner end på sitet uden disse teknikker Brugerevaluering af de digitale agenters visuelle fremtræden 3 LUG delprojekt B første værkstedsmøde
Metode til elicitering af brugerkrav Tænke højt protokol og eksplorerende spørgeteknik Bruger-teknologi interaktion - Internetbaserede intelligente butlere/agenter Elicitering af generelle e-handels problemer Elicitering af brugerkrav til digitale butlere Fokus gruppe interview Diskussion af generelle problemer ved handel på nettet Digitale butleres visuelle fremtræden og tilknyttede brugerassocieringer Diskussion af problemer i og krav til interaktionen Data analyse Transskription og analyse af video optagelser Analyse og opstilling af bruger krav i mål-middel hierarkier 4 LUG delprojekt B første værkstedsmøde
Tænke-højt protokol En person ( brugeren ) tænker højt mens han/hun løser opgaver i et givet scenarie En anden person ( evaluatoren ) observerer forsøgspersonen og lytter til hans højttænkning, mens hun/han noterer de problemer respondenten kommer ud for 5 LUG delprojekt B første værkstedsmøde
Tænke-højt protokol En person ( brugeren ) tænker højt, mens han/hun besvarer spørgsmål i et spørgeskema En anden person ( evaluatoren ) observerer forsøgspersonen og lytter til hans højt-tænkning, mens hun/han noterer de problemer respondenten kommer ud for 6 LUG delprojekt B første værkstedsmøde
Fordele ved højt-tænkning I teorien ingen interviewer påvirkning af respondenten Let at lære Ikke struktureret 7 LUG delprojekt B første værkstedsmøde
Begrænsninger ved højt-tænkning Påvirker tid til besvarelse Påvirker besvarelsesstrategi Mere struktureret Tager mentale ressourcer Folk holder op med at tænke højt når spørgsmålene bliver svære Giver ikke mening for spørgsmål man besvarer på rygmarven 8 LUG delprojekt B første værkstedsmøde
Brug af eksplorerende spørgeteknik Interaktion med respondent men han/hun arbejder med agenten/systemet i løsningen af en opgave Intervieweren stiller uddybende eksplorerende spørgsmål med det formål at afdække tankerne bag respondentens interaktionsadfærd 9 LUG delprojekt B første værkstedsmøde
Fordele ved eksplorerende spørge teknik Kontrol af interviewforløb Aktiv afsøgning af mulige problematikker ved interaktion med agent Nemt for respondenten at forstå teknikken 10 LUG delprojekt B første værkstedsmøde
Begrænsninger ved den eksplorerende spørgeteknik Kan have indflydelse på problemløsningsstrategi i forhold til de aspekter ved interaktionen man ønsker at undersøge Kan virke ledende Kan være sværere at lære for interviewer 11 LUG delprojekt B første værkstedsmøde
Mål-middel hierarkier why why what what how how 12 LUG delprojekt B første værkstedsmøde
Hvor mange brugere har man brug for Nielsen & Landauer (1993) 13 LUG delprojekt B første værkstedsmøde
Scenarier og tænke højt protokol kombineret med eksplorerende spørgeteknik 8 respondenter introduktion til forløb prøve scenarie med interviewing by doing og tænke højt protokol teknik (www.dr.dk) fulde scenarier med cases fra 3 sites (Mr.Clean, one2one, Amazon) spørgeskema forløb af 1-2 timers længde 14 LUG delprojekt B første værkstedsmøde
Set-up af forløb 15 LUG delprojekt B første værkstedsmøde
Set-up af scenarier og forløb Observation, memoskrivning Tænke højt protokol kombineret med eksplorerende interviewteknik 16 LUG delprojekt B første værkstedsmøde
Første prototype Evaluering øjenbevægelsesregistrering BOLsite Agent torso Tekst output Bruger input Tom flade 17 LUG delprojekt B første værkstedsmøde
Analyse af data fra øjenbevægelsesregistrering 70,0 60,0 50,0 All BOL prototype All COGITO prototype Average in % 40,0 30,0 20,0 10,0 0,0 Agent torso Agent text output User input field Bol site Right lower corner Outside display Areas of interest 18 LUG delprojekt B første værkstedsmøde
Analyse af brugerkrav 19 LUG delprojekt B første værkstedsmøde
Fokus gruppe interview Samme 8 respondenter Video optagelse af session Diskussion af problemer med net handel Ord associations test digitale agenter Diskussion af bruger krav til digitale agenter 4/29/2004 CSEC-CHII Workshop; Research Day 20 LUG delprojekt B første værkstedsmøde 20
Fokus gruppe set-up 21 LUG delprojekt B første værkstedsmøde
Ord associations test Ord association Respondenter præsenteret for 10 agenter Associations respons frekvens Ord værdier 22 LUG delprojekt B første værkstedsmøde
Ord association set-up 23 LUG delprojekt B første værkstedsmøde
Begrænsende faktorer i interaktionen Enkelt ords dialog i stedet for sætninger Ingen eller uforståelig reaktion Blind gyde dialoger Manglende følelse af være i kontrol Installation af plug inns Lyd og gestikulering 24 LUG delprojekt B første værkstedsmøde
Mål-middel hierarkier prioriteter - eksempler WHY Troværdighed Kvalitet af mediering* WHAT Fleksibilitet/Tilpasning Værdi forøgende services/positive overraskelser Underholdning HOW 25 LUG delprojekt B første værkstedsmøde
Kvalitet af mediering generelle funktioner Agent adfærd og fremtræden * Naturlig dialog Konstruktive tilbagemeldinger Fleksible/innovative svar Dialog historik Komfort 26 LUG delprojekt B første værkstedsmøde
Agent fremtrædning fysiske processer og form Skal relatere til kontekst Positiv bruger association tillidsvækkende, høflig, venlig, glad, afslappet, charmerende, etc. Tilpasning til produkter bruger association til forskellige produktyper Tilpasning til brugers sproglige stil ung/gammel, sub-kulturer, uddannelse, etc. Tilpasset til firmas image Værdier, salgs strategier, logo Foto, animering, live animering Bruger definerbar, størrelse, gestikulering, lyd, 3D/2D, plug inn s, dynamiske ændringer over tid. 27 LUG delprojekt B første værkstedsmøde
Agent fremtræden fysisk form Actor1 Actor2 Nicole VrFrnd Lego Quest Eve e-cyas Tokiama Cogito Agent Positive words Neutral words Negative words Actor 2 30 (73%) 6 (15%) 5 (12%) Eve 22 (61%) 2 (6%) 12 (33%) Nicole 18 (53%) 3 (9%) 13 (38%) Lego 15 (52 %) 8 (28%) 6 (21%) e-cyas 11(24%) 6 (13%) 28 (62%) Virtual Friend 7 (8%) 1 (3%) 31 (79%) Actor 1 7 (16%) 6 (14%) 31 (71%) Cogito 6 (21%) 6 (21%) 16 (57%) Quest 4 (14%) 3 (11%) 21 (75%) Tokiama 3 (10%) 3 (10%) 24 (80%) 28 LUG delprojekt B første værkstedsmøde