Læsevejledning og tak

Læsevejledning og tak Løbende i rapporten vil der blive refereret til bilag, som ikke medfølger i denne rapport. Alt bilag kan findes på http://hersing.dk/lectio En stor tak til: Signe, Aya, Nanna, Simone, Sirid, Sina, Johan, David, Mathilde og Studieadministrationen fra Kongsholm Gymnasium og HF i Albertslund. Anna, Alberte og Sabrine fra Roskilde Gymnasium. Anine, Ellen, Maria og Studievejlederen fra Høje Taastrup Gymnasium. Jonas fra Det Fire Gymnasium i København. Endvidere vil vi gerne have lov at takke de to medstuderende for deres hjælp til evalueringen i første iteration. 1

Abstrakt I dette projekt undersøges det, ved hjælp af usability evalueringsmetoder i henholdsvis et kontrolleret og ikke kontrolleret miljø, hvorvidt de to forskellige testomstændigheder tilvejebringer forskellige resultater. Endvidere designes en prototype af en app til skoleportalen Lectio.dk. Projektet er delt op i tre faser der alle indeholder bruger evalueringer på denne prototype. I forbindelse hermed gennemgås relevant litteratur og teori der både dækker over evalueringsmetoder og design af brugergrænseflader til mobiltelefoner. Det overordnede fokus er således sammenligneligheden af de kooperative tænke-højt evalueringer i felten og i et laboratorie miljø. Derudover fokuseres der på hvordan en relativ stor mængde data i forskellige former repræsenteres bedst muligt på en smartphone skærm. Vi finder i projektet at resultaterne af de to usability evalueringer er meget ens hvad angår efficiency, effectiveness og satisfaction, og at brugeren i mindre grad tænker højt i felten end i laboratorie miljøet. Endvidere konkluderes det i dette projekt at det er muligt at repræsentere Lectio.dks data på en smartphone skærm, og at den udviklede prototype i mange henseende giver brugeren en oplevelse af Lectio med en høj brugbarhed. 2

Abstract In this report it examined wether or not usability evaluations in a field and laboratory setting produces different results. Furthermore a prototype app of the school portal Lectio.dk is designed. The project consisted of three phases all of which contain prototyping, design and evaluation activities. Relevant literature and theories describing usability evaluations and the design off mobile applications is also covered. The overall focus however, is the comparability of the two thinkaloud protocol evaluations conducted in a lab and field setting. A supporting focal point is how best to reproduce a relatively large amount of data from a website onto a smartphone screen. We found that the results of the evaluations were very similar in regards to efficiency, effectiveness and satisfaction, and that the test participants tended to think aloud to a lesser degree in the field evaluation compared to the evaluation in a controlled lab enviornment. Furthermore we conclude that it is possible to represent the data from Lectio.dk on smartphone screen, and that the developed prototype provides an user experience with a high degree of usability. 3

Table&of&Contents& Læsevejledning&og&tak&...&1! Abstrakt&...&2! Abstract&...&3! 1! Introduktion&...&6! 1.1! Motivation!...!7! 1.2! Problemformulering!...!9! 1.3! Problemfelt!...!10! 1.4! Afgrænsning!...!12! 1.5! Projektmodel!...!13! 1.6! Eksisterende!litteratur!...!15! 1.7! Brugskontekst!og!krav!...!25! 1.8! Introduktion!til!Lectio.dk!...!38! 1.9! Den!mobile!version!...!44! 1.10! Kooperativ!Evaluering!!TænkeMhøjt!test!...!47! 1.11! Mobil!interface!design!teori!...!55! 1.12! Interface!Design!...!59! 1.13! Generelle!anbefalinger!til!mobil!brugergrænseflade!design!...!62! 2! Iterationerne&...&65! 2.1! Udstyret!...!67! 2.2! Første!Iteration!...!69! 2.3! Anden!Iteration!...!74! 2.4! Tredje!Iteration!...!90! 3! Analyse&af&resultater&...&99! 3.1! Effectiveness!...!100! 3.2! Efficiency!...!105! 3.3! Tilfredshed!!Satisfaction!...!109! 4! Diskussion&...&110! 4.1! TænkeMhøjt!evalueringerne!!refleksion!over!metoder!og!resultater!...!111! 4

4.2! Design!...!114! 4.3! Udstyret!...!116! 5! Konklusion&...&118! 5.1! Evaluering!...!119! 5.2! Design!...!120! 6! Literaturliste&...&121! 5

1 Introduktion D e seneste år er populariteten af smartphones og tablets steget markant; på verdensplan besidder 1.08 milliarder mennesker en smartphone 1, og halvdelen af den danske befolkning ejer en smartphone 2. Med smartphones og tablets er en ny platform, hvortil der skal udvikles og designes software blevet introduceret, og dermed er der kommet nye udfordringer for designere og udviklere. Hertil kommer at stort set alle skoler bruger en af de mange online samarbejdsløsninger. Den største danske løsning hedder Lectio, og mere end 250 danske gymnasier, handelsskoler mm. Bruger Lectio i dag. Lectio forener studieadministration, kommunikation og digitale læremidler. Det betyder at alle elever der går på en skole der er tilsluttet Lectio, automatisk også er registreret Lectio brugere, og skal benytte systemet til at se skemaer, aflevere opgaver, se karakterer og meget mere. Adgangen til Lectio foregår primært via en browser, men da flere og flere tilgår internettet via en browser på deres smartphone og andre mobile enheder, er det vigtigt at den grafiske brugerflade også er tilpasset mobil venlig brug. Dette stiller nye krav til udviklere og designere da eksisterende data og visuelt layout skal tilpasses de nye skærmstørrelser. Derudover stiller det nye krav til de eksisterende evalueringsformer, da brugskonteksten hvori de mobile enheder anvendes ofte er meget bred og svær at definere (Scott, 2007). 1 http://www.go-gulf.com/blog/smartphone/ 2 http://newz.dk/halvdelen-af-danskere-har-enten-en-iphone-eller-android-smartphone 6

1.1 Motivation En så bred tilslutning til en ny teknologi blandt befolkningen som der har været til smartphones, stiller krav til at eksisterende usability principper bliver taget i brug for at måle brugbarheden. Især er det vigtigt at det software der skal benyttes i uddannelsessammenhæng, lige fra børnehaver 3 til gymnasier og universiteter, har en høj grad af brugbarhed, sådan at det ikke er softwaren der stiller grænser for indlæringen og planlægningen af denne. Det er derfor vigtigt at undersøge om eksisterende usability principper og evalueringsmetoder kan anvendes ved testning og design af apps til smartphones og tablets. Sammenlignet med mobiltelefon teknologien for blot få år siden, er det i dag blevet nemmere at gennemføre usability i felten da der findes diverse skærmoptagelses software, front kameraer og selvfølgelig de større berøringsfølsomme skærme, hvilket gør det nemmere at optage og observere brugerens brug af telefonen, men også kræver at der designes specifikt til disse enheder. Samtidig er det også blevet mere kompliceret at analysere brugskonteksten og den generelle brug, da smartphones anvendes i flere og flere sammenhænge, og situationer, og får flere funktioner som skal læres. Hvor den hidtidige research ofte har fokuseret på usability tests i kontrollerede omgivelser (Kjeldskov & Stage, 2001) er det relevant at undersøge om eksisterende evalueringsmetoder giver brugbare resultater når de anvendes til at analysere smartphone apps i et laboratorie- eller felt miljø. Motivationen for dette projekt er således at udforske de problematikker der ligger i at skulle designe en brugergrænseflade til smartphones, samt at se hvorvidt 3 http://www.bupl.dk/fagbladet_boern_og_unge/nyheder/ipads_i_boernehaven_skal_lette_overg angen_til_skolen?opendocument og http://www.kl.dk/born-og-unge/ipads--en-naturlig-del-afhverdagslivet-i-bornehaven-juliane-i-aalborg-kommune-id111500/ (m.fl) 7

eksisterende usability tests er tilstrækkelige redskaber til at usability teste på de nye mobile enheder. Endvidere har vi fundet ud af, at der er en mangel på udstyr til evalueringer i felten, der har lave omkostninger, er lette at anskaffe, nemme at anvende samt giver brugbare resultater. Derfor er vi interesseret i de rent praktiske og tekniske aspekter af en brugerevaluering, og vil forsøge at nå frem til en evaluerings løsning der passer ind i eksisterende discount-usability principper, sådan at den kan anvendes i rigtige brugssituationer. 8

1.2 Problemformulering Ovenstående leder til følgende to delte problemformulering: Hvordan udføres en usability evaluering af en app prototype til smartphone, i kontrollerede og ikke-kontrollerede omgivelser, og er der signifikante forskelle på resultaterne? Da en besvarelse af ovenstående kræver en prototype har vi valgt et understøttende spørgsmål der lyder som følger: Hvordan kan man bedst muligt repræsentere data fra Lectio.dk på en skærm i smartphone størrelse og hvilke implikationer har det for et UI design? 9

1.3 Problemfelt Siden udgivelsen af den første Iphone i 2007, er markedet for håndholdte enheder vokset markant, og har nu resulteret i at flere og flere brugere deres smartphones eller tablets til at surfe på internettet. På verdens plan bliver der solgt flere smartphones end der bliver solgt computere (Gizmodo, 2012). Dette betyder at der er et stigende antal personer for hvem mobiltelefonen er den eneste enhed hvormed de har adgang til internettet (Schusteritsch, 2007). Denne udvikling har skabt nye udfordringer og krav til webbaserede tjenester, som f.eks. Lectio.dk, da skærmen hvorpå informationen læses er gået fra 13-17 til ca. 4. Dette betyder at designet af mange webbasserede tjenester skal re-designes og tilpasses eller udvikles som smartphone app. Lectio.dk er en af de mange tjenester der har valgt at tilpasse deres eksisterende website til mobile enheder, og ikke udvikle en stand-alone app. Taget antallet af danskere der benytter en smartphone til at gå på internettet med i betragtning, er der efter vores vurdering ikke blevet fokuseret nok på brugbarheden af denne mobile version af websitet. Med den nye udvikling i touch-baserede brugergrænseflader og de enheder de anvendes på, er der opstået nye krav og problemstillinger i forhold til design og usability evaluering. Da smartphones bruges i en nærmest uendelig række af kontekster, betyder det at brugergrænsefladen skal have en grad af usability der gør, at den kan anvendes i situationer hvor brugeren har et højt mentalt workload, og ikke kun i en stationær position ved et skrivebord. På mobile HCI området er der dog de seneste år ikke blevet forsket meget i dette, om end der foreligger enkelte sammenligninger af laboratorium og field evalueringer, dog er der i ingen af dem brugt smartphones. Derfor er det relevant at udforske hvordan der udvikles 10

brugbare designs til smartphones samt hvilke resultater en tænke-højt test kan bidrage med når et design skal testes. Endvidere er der en mangel på let tilgængelig teknologi til at optage brugertests i felten på, der ikke virker forstyrrende for resultaterne fordi omgivelserne reagerer på dem som det f.eks. ses i Kjeldskov & Stages (2001) field evaluering. Samtidig ville en sådan lettilgængelig teknologi nemt kunne anvendes af de mange små firmaer og enkeltpersoner der udvikler apps til smartphones i dag, uden at gennemføre usability tests. Problemfeltet for dette projekt ligger altså i grænsefeltet mellem design, evaluering og de rent praktiske udfordringer der ligger i at observere og dokumentere brugerenes interaktion med de mobile enheder under usability evalueringer i felten. 11

1.4 Afgrænsning Målgruppen for dette projekt, og derfor brugerne er eleverne på de uddannelsesinstitutioner der anvender Lectio. Dette grunder i at størstedelen af Lectio s brugerbase er eleverne. Det betyder at vi har fravalgt lærere, sekretærer, administrative medarbejdere, ansatte hos Lectio m.fl. Baggrunden for dette valg er at Lectio er opbygget i flere moduler. Derfor er lærernes og elevernes Lectio system ikke helt ens. Endvidere antog vi at flere elever end lærere anvendte Lectio på mobilen. En målgruppe som lærerne, hvor en mindre brugergruppe havde erfaring med smartphones, ville sætte andre udfordringer til både design og evaluering. I forbindelse med designet af prototypen valgte vi at alt design af Lectio prototypen skulle være rent visuelt men dog stadig interaktivt. Dette gjorde vi da vi fokuserer på usability og ikke på software programmering. Endvidere er der mange forskellige usability parametre vi kunne have valgt at medtage og måle på. Da efficiency, effectiveness og tilfredshed, er etablerede faktorer og defineret i ISO (ISO 9241-11), fokuserer vi på disse for at afdække hvorvidt de er relevante og brugbare i en mobil kontekst. 12

1.5 Projektmodel Projektet er delt op i tre faser, som tager udgangs punkt i en stage/gate model. Denne model beskriver faserne for hele projektforløbet. Modellen er en revideret version af en stage/gate model, hvor der er tilføjet en ny stage/gate type. Derfor forklares her betydningen af de tre typer. Stages/Milestones Milepæle skal ses som et tjekpunkt, hvor man på et bestemt tidspunkt skal have opnået et bestemt resultat. Gate Næste fase kan ikke påbegyndes før denne aktiviteten ved denne er færdiggjort. Samtidig giver denne mulighed for evaluering undervejs. Stage-Gate Denne skal forstås som værende halvt af hver. Næste punkt i samme fase kan påbegyndes uden denne er afsluttet, men dette ville ikke være optimalt for projektets videre gang. 13

Vi har valgt at indele modellen i de tre faser research, udviking og analyse og dokumentation. Denne model afspejler arbejdet som har ført til denne projektrapport. Hver fase vil derfor blive forklaret i detaljer nedenfor. 1.5.1 Fasen: Research Denne fase er den første fase i projektet. Det var her problemfeltet, motivationen og problemformuleringen opstod, og projektmodellen blev udviklet. Det var endvidere her at den primære litteratur blev fundet og gennemgået, og budgettet for evalueringerne blev lagt. Der blev samtidig lagt en overordnet tidsplan, samt udarbejdet og udsendt et spørgeskema til den primære brugergruppe, eleverne. Efter at have indsamlet svar fra målgruppen, som i dette tilfælde var gymnasieelever, kunne vi fortsætte videre til den næste fase. 1.5.2 Fasen: Udvikling Efter at have indsamlet empiri i form af kvantitativ data i den første fase, analyserede vi brugskonteksten. Vi valgte at indele denne fase i tre meta-faser, som skulle være med til at besvare problemformuleringen. Disse faser var tre iterationer, hvor hovedvægten i første iteration lå på design, og i anden og tredje iteration lå på evaluering. Den empiri vi indsamlede i denne fase var grundlaget for at vi kunne foretage en analyse og dermed besvare vores problemformulering. 1.5.3 Fasen: Analyse og Dokumentation Fokus i denne fase var at gennemgå den empiri vi havde havde indsamlet i udviklings fasen, med henblik på til sidst at sammenlignede og analyserede den, samt at reflektere på projektet i sin helhed. 14

1.6 Eksisterende litteratur I dette afsnit vil vi gennemgå dele af den eksisterende relevante forskning og litteratur, der er tilgængelig inden for mobile usability området. Formålet hermed er at skabe en grundlæggende forståelse for den udvikling der er sket i feltet, samt at give et indblik i de forskellige tilgange og metoder der er inden for mobil brugervenlighed. Afsnittet er delt op i tre dele. Det første giver et overblik over den grundlæggende teori på mobile HCI området. Afsnit to omhandler design af brugergrænseflader til mobile enheder, og afsnit tre omhandler evalueringsmetoder til mobile enheder. Det teoretiske og metodiske overblik over emnet der dannes af dette kapitel, medvirker også til at positionere vores egen teoretiske og metodiske tilgang til usability testning af mobile enheder. 1.6.1 Overordnet teori på mobile HCI området Kjeldskov og Graham (2003) finder i deres gennemgang af litteratur, at 51% af HCI research omhandler det at designe et system og 10% om at re-designe et eksisterende system, hvilket vil sige at 61% af alle HCI relaterede artikler omhandler design af en prototype. Ud af disse 61% er der kun 41% der indeholder evalueringer. Hvilket vil sige at kun 25% af det gennemgåede HCI research, hvori der designes, indeholder en form for evaluering. Ud af disse 25% omhandler 71% evalueringer foretaget i lab eller lignende kontrollerede omgivelser, hvoraf kun 19% foregår i felten og de resterende 10% igennem spørgeskemaer. På baggrund af disse tal konkluderer Kjeldskov & Graham at hovedvægten af litteraturen de gennemgik lå på at designe systemer og teste dem i kontrollerede omgivelser. De konkluderer også at metodologiske overvejelser har for lidt plads i 15

litteraturen og researchen af mobil HCI. Derfor foreslår de en øget fokus på b.la. felt studier med realistiske omgivelser. Denne holdning understøttes af Coursaris & Kim (2011) der i deres omfattende review af mobile usability studier, fandt at mht. metodik af evalueringer, udgør evalueringer i kontrollerede omgivelser 47 %, studier i felten 21 %, og studier hvori begge dele indgik kun 10 %. Hovedvægten af studierne bruger dog flere forskellige evalueringsmetoder. Coursaris & Kim fandt også at de tre kerne usability punkter i de gennemgåede rapporter var: tilfredshed, efficiency, og effectiveness 4 (2011), altså velkendte og allerede etablerede faktorer indenfor HCI. Disse tre faktorer er også en del af den internationale ISO 9241 standard og vil også indgå i evalueringen i denne rapport. En af anbefalingerne fra Coursaris & Kim lyder at der skal foretages flere studier med komplekse kontrollerede omgivelser eller felt studier, for at opnå de mest realistiske testomstændigheder, i forhold til usability evalueringer på de mobile enheder. Samlet set er disse fund også en tendens vi kan se i vores gennemgang af litteraturen, dog er der også andre usability faktorer der tages i brug f.eks. learnability, ease-of-use, joy of use mm. Men i overensstemmelse med Jokela, Koivumaa, Pirkola, Salminen & Kantola (2005) finder vi også at der i litteraturen mangler et fokus på hvad der rent faktisk er de rigtige usability parametre at måle på, dette skyldes blandt andet at der er mange forskellige parametre der kan måles på men i høj grad også at der ikke er konsensus og måske ikke behov for én rigtig parameter. Derudover afhænger målbare parametre, især i mobile HCI, i høj grad af brugskonteksten hvori produktet skal indgå. Denne brugskontekst er blevet konstant vanskeligere at tage med i betragtning i takt med at der er kommet et utal af mobile enheder, med et utal af funktioner der bliver brugt i en uendelig 16

række af kontekster i en uendelig mængde af forskellige sammenhænge og situationer. Dette har gjort det vanskeligere for usability specialister at studere brugskonteksten og emulere de forskellige sammenhænge produktet bliver brugt i, og derfor er det også blevet sværere at sige noget om produktets egentlige usability (Scott, 2009; Kaikkonen, Kekäläinen, Cankar, Kallio & Kankainen, 2008). I højere grad fokuseres der i litteraturen på evalueringsmetoder, hvilket i sig selv ikke er negativt, dog anbefales det af flere forskere at der gennemføres flere evalueringer uden for laboratorie omgivelser til trods for øget kompleksitet og tidsmæssige omkostninger, som f.eks. (Scott, 2009; de Sá & Carrico, 2007; Kaikkonen et al., 2008) og Coursaris & Kim som foreslår: Consider the limitations of the laboratory and conduct research involving real (not simulated) and open tasks through field studies that will offer rich and relevant findings. (2011) samt Kjeldskov & Graham (2003) som konkluderer: We have identified A clear bias towards engineering systems using applied approaches and, if evaluating them, doing so in laboratory settings These findings present a number of opportunities for further research suggesting the need for a change of emphasis within the field of mobile HCI. 1.6.2 Design af brugergrænseflader til mobile enheder og de små skærmes begrænsninger I den litteratur vi har haft mulighed for at gennemgå har vi fundet at der til en hvis grad er mangel på usability tests med smartphones i forbindelse med udviklingen af interfaces til apps, samt en mangel på generelle og etablerede guidelines for interface design til håndholdte enheder. Derudover er mange af de mere grundlæggende teoretiske studier af ældre dato, og omhandler derfor telefoner eller mobile enheder med små skærme der ikke er berøringsfølsomme. Smartphones har større skærme end traditionelle mobiltelefoner og er som oftest 17

berøringsfølsomme et faktum der har visse implikationer for tilgangen til designet af brugergrænsefladen til disse enheder. Mange af de studier der gør sig overvejelser af mere metodemæssig og teoretisk karakter i forhold til mobile enheder omhandler tilpasning og repræsentation af pc applikationer og internet sites til små skærme og ikke udvikling af software fra grunden af. Eftersom skærmene på mange mobile enheder er blevet større ser forskningen på dette område ud til at være standset en smule. Der er dog guidelines og studier der har noget at sige om mobil usability design og evaluering, og disse vil, i det væsentlige, blive gennemgået i det følgende. F.eks. har Seong fremsat ti usability guidelines til design af en brugergrænseflade til en mobil lærings portal. Disse udgør en del af den teori der ligger til grund for vores designvalg og er gennemgået i detaljer i teori afsnittet. En stor del af de mobile HCI relaterede artikler vi har haft adgang til omhandler de nye tekniske muligheder som GPS baserede tjenester, context-aware applikationer, augmented reality, biometrisk autentificering, space-aware applikationer mm. der er kommet efter smartphones hurtige diffusion på markedet. En grundlæggende holdning er at mobile enheder kræver et særligt fokus på det visuelle layout og menu hierarki, især mht. navigationsfunktionerne (Uchida et al., Valentino et al, & Hyvârinen et al. citeret i Shrestha, 2007; Seong, 2006; Frayling, Hicks, Jones & Costello, 2007). Det påpeges endvidere, at brugere bliver hurtigt forvirrede hvis der er for mange hyperlinks eller der skal scrolles for meget på en mobil enhed (Shrestha, 2007; Seong, 2006). Ovennævnte gælder både design af websites og integrerede løsninger til mobiltelefoner, hvor det anbefales at der bliver udviklet deciderede mobilversioner af websites til håndholdte enheder. De fleste større kommercielle websites har da også taget dette til sig de seneste år. 18

Derudover fandt Jones et al. at opgaver stillet til brugere der skulle løses på en lille skærm, blev løst med en fejlrate på 50 % højere end med en normal skærm løst af samme bruger (1999, citeret i Shrestha, 2007). Organisations hierarkiet er altså ekstra vigtigt for mobile enheder og Gaven et al. har fundet at det mest effektive hierarki består af fire til otte elementer per navigations element (Geven et al., citeret i Shrestha, 2007). Flere af de citerede studier er af ældre dato, men fundende er stadig valide på nuværende enheder, da skærmene trods alt ikke er blevet større end ca. 5 tommer (tablets undtaget). En ændring der kan syntes minimal men dog alligevel har betydning for hvor meget information der kan vises. Glavinic et al. (2011) påpeger nogle af ulemperne ve de berøringsfølsomme skærme, og har undersøgt disse. F.eks. påpeger det problematiske i at den finger der skal trykke på skærmen altid vil dække over en del af den. Endvidere kan det være svært at nå dele af interfacet der er positioneret i kanten eller toppen af displayet (ibid). Dette kan især ses på nogle af de nyere smartphone modeller der har skærme på 5 tommer eller derover. Problematikken med drag-and-drop interaktioner på smartphones påpeges også samt, den førnævnte problematik med at scrolle. Generelt mener Glavinic et al. (2011) at der er et problem med præcision ved valg af objekter på skærmen, der gør at det er vigtigt at man fra begyndelsen af designfasen tager med i overvejelserne hvor store objekterne på skærmen er når man designer til smartphones. En sidste vigtig problematik i forhold til touchscreen enheder, er on-screen keyboards, der ofte er svære at skrive korrekt på pga. Tætheden hvormed de individuelle bogstaver er placeret - et problem der egentlig også går udover selve keyboardet 5 (Zhai & Barton, 2002; Glavinic et al., 2011). 5 Der er mange forsøg på at løse problemerne med on-screen keyboards; b.la. har Blackberry præsenteret en løsning hvor telefonen løbende analyserer sætninger og ord så de næste ord kan gættes. Disse ord vil så så stå ovenover det bogstav hvormed ordet begynder, sådan at man blot 19

Endvidere pointerer Glavinic et al. (ibid) det problem at software til mobile enheder oftest udvikles på stationære computere med store skærme, hvorefter den mindre skærmstørrelse bliver emuleret senere i designfasen. Hvorvidt dette er tilfældet hos mange app udviklere i dag er svært at sige. Vores egen udvikling har foregået udelukkende på en håndholdt enhed og det har derfor været nemmere at sætte os i brugerens sted og identificere f.eks. fejl med tætheden af knapper, tidligere i design processen. 1.6.3 Tilgange til evalueringer af mobile enheder i og udenfor laboratoriet Flere af de af os gennemgåede artikler omhandler udviklingen af nye kvantitative evaluerings metoder til håndholdte enheder. Eksempler herpå er udviklingen af keyloggere til android smartphones, et XML-baseret logger system, samt flere evalueringer med eye-tracking briller (Ma, Yan, Chen, Zhang, Huang, Drury & Wang, 2012; Balagtas-Fernandez, Hussman, 2009; Cheng, 2011). Ulempen er den kvantitative natur af disse tests, den relativt høje pris på eye-tracking briller, samt det faktum at de ofte ikke er mobile og derfor ikke kan anvendes i felt evalueringer (Scott, 2009; Cheng, 2011). Cheng har dog også foretaget felt evalueringer med eye-tracking briller, og her er den store fordel at de både optager skærmen, fingrene og øjenfiksering, hvilket muliggør kvalitativ analyse sammen med kvantitativ data (Cheng, 2011). Ulempen er dog at de mobile enheder ofte skal holdes tæt på brillerne for at kunne måle og optage nøjagtigt, hvilket både er ubehageligt for testdeltagerne og kan skade øjnene efter længere tids brug (ibid). Ydermere er der begrænsninger for hvor meget data der kan optages samt de åbenlyse skal klikke en enkelt gang for at indsætte det. Der er flere forskellige løsninger, men det grundlæggende problem med mangel på plads, små bogstaver og tykke tommelfingre, er i sagens natur svære at løse med software. 20

begrænsninger mht. batterilevetid faktorer vi også har stiftet bekendtskab med i vores evalueringer (Se Kapitel 2). Cheng (2011) foreslår at fjern (remote) eyetracking (som foregår i kontrollerede omgivelser med stationære brugere) kombineres med mobil eye-tracking. Dette ville have den åbenlyse fordel at kvantitativ data og kvalitativ data, samt kontekst, ville kunne korreleres, og man vil således kunne opnå et mere komplet billede af brugeroplevelsen og eventuelle usability problemer (Ibid). Det er os bekendt at der findes nyere og mere avancerede eye-tracking briller der både optager synsfeltet, samt øjenfiksering, disse er dog store og eventuelt ubehagelige og forstyrrende for bæreren, og kræver ekstra kabling 6. Nogle af modellerne har adskillelige andre avancerede funktioner der giver data til evalueringer og brugerstudier, f.eks. er der modeller hvor kameraet justeres dynamisk i forhold til brugerens synsvinkel/position, samt automatisk sender data til en server, og på denne måde forenkler kvantitativ dataindsamling. For at optage lyd og billede af usability evalueringer noget der generelt anses som værende vanskeligt i forbindelse med evalueringer i felten (Kjeldskov & Stage, 2004; Jambon & Meillon, 2009; de Sá & Carrico, 2007) benyttes flere forskellige tilgange. Der bruges stationære kameraer, mobile håndholdte kameraer, eyetracking kameraer, små håndlavede kameraer påsat den mobile enhed i arkitektlampe stil, kamera-veste og kamerahjælme. Derudover anvendes selvfølgelig diverse stationære enheder i dedikerede usability laboratorier der f.eks. er fastspændt til loft o. lign. Dette har ikke ændret sig markant de senere år, og det 6 En af de mere velkendte firmaer der producerer eye-tracking kameraer er SensoMotoric Instruments: www.eye-tracking-glasses.com. Eksempler på andre mærker er tobii og Asley Mobile Eye-XG. 21

er som også tidligere nævnt en mangel på forskning der afprøver nye evalueringsmetoder og optagelsesteknikker. Kjeldskov & Stage har i et review af evalueringsmetoder og undersøgt forskellige tilgange til mobil usability evaluering (2004). De konkluderer at der er en mangel på HCI research omhandlende mobile enheder som også omhandler evalueringsmetoder. Derudover fandt de at der i mindre end halvdelen af den inkluderede litteratur rapporteres om evalueringer af det foreslåede design, og at der hovedsageligt bruges traditionelle evaluerings metoder. Vanskelighederne ved at udføre evalueringer i felten, især hvis disse samtidig skal være realistiske påpeges også af Kjeldskov & Stage. m. fl. (Kjeldskov & Stage, 2004; Jambon & Meillon, 2009; Nielsen, Overgaard, Pedersen, Stage & Stenild, 2006). En faktor der yderligere vanskeliggør felt evalueringer er hvis testdeltageren skal tænke højt. Indsamling af data er også besværlig pga. ukontrollerbare faktorer i testomgivelserne (Kjeldskov & Stage, 2004). I samme rapport præsenterer Kjeldskov & Stage (2004) to overordnede nye metoder til evaluering af mobile enheder, der involverer at testdeltageren bevæger sig, samt en kontrol evaluering hvor testdeltageren var stationær i et kontrolleret miljø. Den første indeholdte fire evalueringstyper og den anden indeholdt to. Disse vil i det følgende blive gennemgået da de er særdeles relevante for dette projekt. Metode et: at gå på et løbebånd eller step-maskine ved konstant hastighed, at gå på en trædemølle med varierende hastighed, at gå på en slags forhindringsbane der forandrer sig pga. forhindringer der flyttes og til sidst, at gå på en forhindringsbane der forandrer sig pga. forhindringer der flyttes men blot med varierende hastighed. Deltagerne skulle så sende forskellige SMS og EMS 7 beskeder mens de gik på 7 Enhanced Message Service ældre teknologi der tillader udveksling af lyd og billeder. 22