1
Indhold Del 1: Akademisk rapport Del 2: Testplanen Del 3: Klient rapport Denne rapport er sammensat af 3 rapporter, som normalt ikke ville hænge sammen i virkeligheden, men for at holde styr på alle delene har vi lagt dem efter hinanden her. Annette H. Kierans Casper D. Jørgensen Cecilie G. Kock Winnie H. Bartholomæussen Dato: 2
3
Indhold 1.1 Indledning... 5 1.2 Problembaggrund... 5 1.3 Problemformulering... 5 1.4 Problemafgrænsning... 5 1.5 Metode... 6 2.1 Videnskabelig tilgang... 6 3.1 Think aloud test... 6 3.2 Kvalitativ/Kvantitativ dataindsamling... 7 3.3 Performance/Præference data... 7 3.4 Testpersoner... 8 3.5 Test lokation... 8 3.6 Video... 9 3.7 Resultat... 9 4.1 Konklusion... 9 4.2 Perspektivering... 10 5.1 Kildefortegnelse... 11 4
1.1 Indledning Nyborg julemarked er et forholdsvis nyt projekt i den størrelsesorden som det har i dag. I 2008 havde byen et mini-julemarked som havde nogle grundlæggende værdier som både Handelsstandsforeningen og museumsledelsen så et potentiale i. I 2009 så Nyborg julemarked, også kaldet Jul i Den Gamle Kongeby, dagens lys og er siden blevet udviklet yderligere og omfatter nu både handelsstandsforeningen, museet, erhvervs- og udviklingsudvalget, turistforening, biblioteket, og Vor Frue Kirke. Navnet Jul i Den gamle Kongeby er valgt på grund af Christian den IIIs tid i Nyborg, hvor han i mange år i træk holdt jul på slottet. Nyborg julemarked(herefter kaldet julemarkedet) foregår i dag over hele byen og med masser af kulturelle arrangementer for både børn og voksne, og med et 3D Lysshow på slottet som en af hovedattraktionerne. På denne måde er Julemarkedet 2012 en kombination af en gammeldags hyggelig jul og moderne teknologi i form af blandt andet 3D lysshow og en nyudviklet app til smartphones med Android styresystemet. 1.2 Problembaggrund I 2009 blev det besluttet at julemarkedet skulle være Nyborgs Fyrtårn, altså dét byen skulle være kendt for. Udgangspunktet for julemarkedet er at inddrage størstedelen af byen, ved at fortælle byens gamle historie tilbage fra Christians den IIIs tid, og samtidig gøre det til et levende og moderne julemarked. En af de ting ledelsen bag julemarkedet i år har valgt at satse på, er en app som denne rapport omhandler. App en er udviklet af en gruppe studerende ved Erhvervsakademiet Lillebælt og er endnu kun udviklet til Android smartphones. App en indeholder forskellige informationer i forbindelse med julemarkedet. Ledelsen bag julemarkedet ønsker at få bruger testet app en i forhold til videreudvikling til de kommende års julemarkeder. 1.3 Problemformulering I denne rapport vil vi beskæftige os med brugervenligheden af julemarkedets nyudviklede app. Vi vil undersøge hvordan brugerne oplever: At navigerer rundt i app ens funktioner? Designets læsevenlighed og signalering af ikoner? Brugbarheden af app en i forhold til at skulle på julemarked? 1.4 Problemafgrænsning Vi har valgt ikke at lave comparison test, hvor man sammenligner app en med andre lignende app s, da vi ikke har kunnet finde nogen. App en er så ny at det kun er en ganske begrænset antal gæster på julemarkedet der har kendskab til app en, har vi valgt ikke at lave nogen generel spørgeundersøgelse ud over den der er i forbindelse med brugertests. 5
1.5 Metode Vi har taget udgangspunkt i bogen HUT s (Handbook of Usability Testing: How to Plan, Design and conduct effective test) Think aloud test. Think aloud testen er en kvalitativt testværktøj, som kan afdækker størstedelen af en app s brugervenlighed mæssige problemer. Udover Think aloud testen har vi brugt den behavioristiske fremgangsmåde, som er en del af den positivistiske tankegang inden for videnskabsteori og vil derudover også gøre brug af den hermeneutiske cirkel. Vi vil benytte metoden for assessment test og validation test. 2.1 Videnskabelig tilgang Vi vil i dette usability projekt gøre brug af en positivistisk tilgang til vores undersøgelser ud fra induktion. Vi har observeret app en, samt fået spørgsmål fra udviklerne af app en. Vi har opsat spørgsmål ud fra en hypotese om at der er kan være problemer med at læse skriften i app en, navigere rundt i app en, samt forståelse af ikoner i app en. Denne hypotese vil vi via observationer af personer fra målgruppen forsøge at verificerer eller falsificerer. Brugen af Think aloud test som er en behavioristisk 1 tilgang til vores test, hvor vi ved at observere brugerens interaktion med app en, kan finde frem til en række fællestræk blandt brugerne. Hele denne proces optages, så vi kan nærstudere data og se hvordan brugerens interaktion med app en er, ud fra de specifikke opgaver vi har givet brugeren. Derudover stiller vi en række spørgsmål til testpersonerne før Think aloud testen og bagefter en række præference spørgsmål i henhold til vores opsatte hypotese om de problemer vi kunne formode at de oplever under Think aloud testen. Ud fra de indsamlede data vil vi kunne fortolke brugerens adfærd i henhold til app en og efterfølgende verificere om vores hypotese er korrekt og konstatere hvordan fremtidige brugere vil interagere med app en. Derudover kan vi ud fra de indsamlede data og fortolkning komme med forslag til ændringer og udvikling af app en. Hermeneutikken kan hjælpe med ikke at lade os styre af vores egne fordomme. Den Hermeneutiske cirkel 2 som vi har valgt at tage udgangspunkt i, er en generel opfattelse af at al forståelse er cirkulær, det vil sige at al forståelse består af at belyse delene ud fra helheden, og helheden ud fra delene. Her bruger vi den til at se på app en som helhed og der tager vi nogle dele ud som vi kigger på og kommer frem til en ny helhed. Derudover vil vi med hjælp af hermeneutikken inden selve testen klarlægge de enkelte testpersoners forståelse af, hvad app s er, og hvordan de bruges. Dette vil vi gøre som en del af think aloud testen, hvor vi vil stille testpersonen en række spørgsmål før testen. 3.1 Think aloud test Vi har valgt at lave en think aloud test i vores usability undersøgelse til at indsamle data omkring brugerne og app'en til julemarkedet. Det er en test der giver os adgang til at fange hvad det er testpersonerne tænker mens de arbejder på, i vores tilfælde, app'en for julemarkedet. Denne teknik giver os en ide om brugernes tankeproces samt kommentarer, da de skal tænke højt mens de udføre de givne opgaver. Det har til formål at lade testpersonen kommentere deres tankeproces under selve testen, dette inkludere alt lige fra testpersonens frustrationer, forvirring, overraskelse og generelle 1 Beck Holm, Andreas, Videnskab i virkelighedern. 2011, Samfundslittratur. Kap 37-38. 2 Beck Holm, Andreas, Videnskab i virkelighedern. 2011, Samfundslittratur. Kap 6 side 86 87. 6
indtryk af løsningen. Ved at vi samtidig observerer dem under testen, giver det os et tydeligere indtryk af brugeres forståelse og forventninger til hvordan løsningen fungere. Det er i den sammenhæng også muligt at se på, hvordan den enkelte bruger tackler de forskellige problemstillinger og hvilken betydning det har for oplevelsen, samt om folk vil bruger mobil applikationen igen en anden gang. Det er helt klart en fordel at bruge Think aloud testen da den giver mulighed for opfangelse af præference og ydeevne information samtidigt, det giver også brugerne mulighed for at fokusere og koncentrere sig. Derudover giver det også vigtige ledetråde til at se, allerede på et tidligt stadie, hvilke fejl der måtte være, og kilden til disse fejl. Men hvor der er fordele er der ulemper, for en think aloud har stadig visse faktorer der kan føre til mere upræcise resultater, som vi bør være opmærksom på. Det kan være at testpersonerne føler det er for unaturligt og distraherende hele tiden skulle redegøre for sine tanker. Vi må derfor opmuntre dem til at Think aloud, det kan også være en udmattende verbal proces for nogle testpersoner, som kan medføre perioder, hvor de er stille og ikke tænker højt. Derfor vil vi være opmærksom på hvad årsagen til stilheden er. Det kan indikerer at de koncentrerer sig meget om at løse en opgave, og det kan i så fald være bedre for observatørerne at notere stilheden og spørge dem om det senere, i stedet for at afbryde dem. En anden faldgruppe vi vil være opmærksomme på ved think aloud testen er at testpersonens tankeproces kan sløves, hvilket kan medføre grundigere overvejelser ved brugen af løsningen, som i sidste ende kan resultere i, at testpersonen ikke begår de samme fejl som hvis løsningen blev brugt under normale omstændigheder. Vi forberedte vores Think aloud ved at samle al vores udstyr til testen og ved derefter at lave en pilottest for at sikre det ville gå nemt og flydende. Vi uddelegerede opgaver/ansvars områder så vi i vores gruppe er en moderator, en der står for kamera og optagelser, og to der er observatører. 3 3.2 Kvalitativ/Kvantitativ dataindsamling Det vil i de fleste tilfælde være optimalt at lave både kvantitative og kvalitative test, når man laver usability test. Vi har koncentreret os mest om den kvalitative test del i form af Think aloud testen. Vi har udformet en række debriefing spørgsmål som kan samles til kvantitative data. Spørgsmålene er opsat i et Google spørgeskema, der efterfølgende er lette at tolke kvantitativt, da der dannes grafer og statistik ud fra svarene. Derudover måler vi tidsintervallerne fra Think aloud testen for hver enkelt given opgave, og testperson som en del af den kvantitative dataindsamling 4. 3.3 Performance/Præference data Udover de overordnede kvalitative og kvantitative data, vil vi også se på henholdsvis performance og præference data. Disse to datatyper kan hver især gå ind under både kvalitativ og kvantitativ data undersøgelse. Den performance data vi vil indsamle vil være ved at se på mængden af tid testpersonerne bruger på hver enkelt opgave. Vi vil også se på, hvilke typiske fejl testpersonerne begår under testen. Disse typer af performance data falder ind under kvantitativ dataindsamling da der her er tale om målbare data. Vores præference data vil hovedsageligt blive indsamlet via debriefingen, hvor der vil blive stillet en række 5 forskellige former for spørgsmål både ja/nej, uddybende og skalaspørgsmå. Derfor vil den indsamlede 3 Vi har udarbejdet en testplan (Del 2) som vi vil henvise til både i forhold til stillede spørgsmål, udstyr, valg af testpersoner samt alt andet der er relevant for udførelse af testen. 4 Se klient rapport (Del 3). 5 Se klient rapport (Del 3) under debriefing. 7
præference data falde ind under både kvantitativ og kvalitativ dataindsamling, da der her både er målbare og ikke målbare data. Derudover vil vi også kunne indsamle kvalitative præference data under selve think aloud testen, hvilket vores observatør vil notere til senere brug. 3.4 Testpersoner Think aloud testen har vi valgt at udføre af to omgange. En assessment test 6 inden julemarkedet og en validation test 7 på selve julemarkedet. Til udførelsen af hver Think aloud testen vil vi bruge fem personer, da fem testpersoner udgør 85 % af alle problemer der måtte forekomme på app en ifølge Jacobs Nielsens teori. Derfor finder vi det kun nødvendigt med disse fem testpersoner for hver test for at få afdækket de væsentligste problemer der er ved julemarkeds app. Vi har fundet vores målgruppe ved at snakke med arrangørerne af julemarkedet, samt udviklerne af app en. Derudover er antagelsen af aldersgruppen underbygget af julemarkedets facebookside 8. 3.5 Test lokation Vi har valgt at teste app en to forskellige steder; inden julemarkedet, og på selve julemarkedet. Brugeren vil måske på forhånd have hentet app en ned på deres smartphone og se hvad der sker på julemarkedet i løbet af dagene. Dog vil de formentligt hovedsagelig benytte den på selve markedet for at orientere sig om hvor og hvornår de enkelte arrangementer finder sted. Derfor har vi valgt at teste personerne ude i marken. Før julemarkedet; ved biblioteket i Odense Banegård Center, og på selve julemarkedet på torvet i Nyborg. I den sammenhæng vil vi gøre brug af teorien bag det minimalistiske bærbare testlaboratorium 9 hvor vi har brug for udstyr som en Smartphone med app en installeret, kamera med mikrofon og ipad til debriefing spørgeskema. Den største fordel her er naturligvis at man får mulighed for at observere brugeren i benyttelse app en der hvor det giver mest mening for brugeren, samtidig med at vi også kan få et indblik i om der er nogle omgivelsesmæssige faktorer der spiller ind ved brugen af app en. En af de eventuelle problematikker man kan risikere at støde på ved at flytte test lokationen ud til brugeren er at man selvsagt ikke har fuldstændig kontrol over, hvad der foregår, om der er tilstrækkelig plads at arbejde på eller om der støj og larm eller andre forstyrrende elementer, som kan påvirke testen. Alle disse ukontrollerbare faktorer er også med til at gøre at testen kan tage længere tid end, hvad der normalt var afsat til den. En af ulemperne ved at vi medbringer vores egen android smartphone er at brugerne ikke er vant til at bruge denne smartphone. For eksempel kan det være et problem at de ikke ved hvor tilbageknappen er på denne telefon fordi den er forskellig fra deres egen. En anden ting kan også være at de ikke føler sig godt tilpas med at have en anden telefon i hånden på grund af størrelsen, vægten, skærmstørrelse eller bare fordi det er en andens smartphone. Til gengæld er fordelen ved at vi medbringer en smartphone at app en er installeret derpå og derfor ikke skal bruge tid på at finde og downloade den. Samt at det er heller ikke alle som har en android smartphone, som app en kun eksisterer til i år 10. 6 Rubin, Jeffrey mfl. Handbook of Usability Testing How to plan, design and conduct effective tests, 2 Udgave, WILEY, Kap 3 side 34 7 Rubin, Jeffrey mfl. Handbook of Usability Testing How to plan, design and conduct effective tests, 2 Udgave, WILEY, Kap 3 side 35 8 I Testplanen (Del 2), som er vedlagt og uploadet som en separat dokument, kan en nærmere definitionen på målgruppen findes. 9 Rubin, Jeffrey mfl. Handbook of Usability Testing How to plan, design and conduct effective tests, 2 Udgave, WILEY, Kap 3 side 100. 10 Se testplanen Del 2 for mere info under punktet miljø. 8
3.6 Video Som nævnt i afsnittet om test lokation, har vi brugt kamera med mikrofon i vores test til at optage og ikke mindst dokumentere, hvordan brugeren interagere med app en. Ved at teste på denne måde giver det os mulighed for efterfølgende at tage tid på, hvor længe testpersonerne var om at løse de enkelte opgaver. En mulighed kunne også have været at tage tid på opgaverne under selve optagelsen, dette fravalgte vi dog da det kunne virke forstyrrende for testpersonerne. Ved at indsamle data på den valgte måde gør det det betydeligt lettere at behandle de indsamlede data, når man har videoen som referencepunkt. 3.7 Resultat Ud fra vores Think aloud test observationer, målinger og uddybende præference spørgsmål, har vi udarbejdet en klientrapport 11. 4.1 Konklusion I denne rapport har vi beskæftige os med brugervenligheden af julemarkeds nyudviklede app. Ved at tage udgangspunkt i den behavioristiske tankegang har vi observeret vores testpersoner adfærd i forhold til app en. Samtidig har vi gjort brug af den hermeneutiske cirkel ved at teste af flere omgange, først inden lanceringen af app en, hvilket også har givet udviklerne af app en mulighed for at komme med rettelser til app en inden den officielle lancering. Efter lanceringen (implementering af ændringer)har vi igen testet app en. Ud fra observationer har vi konkluderet følgende. Den overordnede konklusion er at testpersonerne tog overraskende godt imod app en især hvad angår design og anvendelighed. Navigation: Når testpersonerne navigerer rundt i app en oplever de lidt problemer. Når de skal fra side til side i app en, har de en forventning om at kunne swipe frem og tilbage mellem siderne, hvilket ikke er en af app ens funktioner. Derfor vil vi anbefale at en sådan funktion tilføjes. I løbet af de seks stillede opgaver testpersonerne skulle løse, lærte de hurtigt app en at kende, så det var lettere for dem at navigere rundt, men samtlige testpersoner var enige om at menu inddelingen var ulogisk. Der var et ønske om at menuen i højere grad tog udgangspunkt i programmet. Derfor vil vi anbefale at man laver menustrukturen væsentligt om, så udgangspunktet er programmet for julemarkedet. Som baggrund til menuen er der vist et kort over Nyborg bymidte, hvor de forskellige steder på markedet er placeret hvor de cirka er på kortet. Det var der ingen af testpersonerne der kunne hverken se eller forstå, men de ville meget gerne have et læseligt kort hvorpå de kunne finde rundt. Derfor vil vi anbefale at der bliver lagt et læseligt kort ind i menuen for app en. 11 Se klient rapporten Del 3 9
Designets læsevenlighed: Den røde skrifttype er for en del af testpersonerne lidt svær at læse. Det drejer sig dog hovedsageligt om versalerne, det skal dog nævnes at de alle er enige om at den signalerer en hyggelig gammel jul, derfor vil vores anbefaling være at det kun er designet af de første versaler der redesignes, så de bliver mere læsevenlige. Den sorte skrifttype er læsevenlig, men hvis man skal læse længere passager kan det blive trættende at læse. Men igen er alle testpersonerne enige om at skriften signalerer en hyggelig gammel jul. Derfor vil vores anbefaling være at lave en A/B test på den sorte skrifttype, hvor der testes mellem den nuværende skrift og en mere almindelig skærmskrift og ud fra denne test vurdere, hvilken der er den bedste samlet set ud fra at det både skal være læsevenligt og signalere en hyggelig gammel jul. Signalering af ikoner: I forhold til ikonerne for programmet og informationer, var det meget forskelligt om testpersonerne nemt kunne finde og forstå dem. Ud fra svarene på vores præference spørgsmål, vil vi anbefale at de bliver mere synlige og skrive tekst under ikonerne med henholdsvis Program og Informationer. Som nævnt under navigation kan en anden mulighed være at ændre hele menustrukturen og dermed sætte programmet i fokus. Brugbarheden af app en: Alle testpersonerne var enige om af brugbarheden af app en var rigtig god når man er på julemarked. De anså app en som en erstatning for et trykt program og at det var langt lettere at have det som en app på telefonen og mange af testpersonerne var overraskede over at se hvor mange arrangementer der er i forbindelse med julemarkedet. Derfor må vi konkluderer at det er en rigtig god ide af have sådan en app i forbindelse med julemarkedet. Hypotese verificerer/falsificerer: Vi har gennem vores brugertest og observationer både kunne verificerer og falsificere dele af vores hypotese. Det kunne verificeres som det fremgår af navigationspunktet ovenfor at brugerne reelt set har haft problemer med at navigere rundt i app en. Mod vores umiddelbare forventninger har testbrugerne ingen graverende problemer når det kommer til læsbarheden af skriften, så den del af hypotese er falsificeret. Når det kommer til ikonerne, har vi også kunne verificere at der for mange af vores testpersoner er forvirring omkring ikonerne og ydermere overser en del brugere helt ikonerne. 4.2 Perspektivering Det har været utrolig spændende at arbejde med dette projekt, da det er en helt nyudviklet app og at det, så vidt vi har kunne finde ud af, er den første app til et julemarked. Den meget positive modtagelse af app en hos testpersonerne har været med til at give os ideer til udvidelser af app en til næste års julemarked. En af de ting vi ville lægge vægt på ved udvidelser til app en, vil helt klart være at tilføje ting der får brugerne til at bruge app en mere og i en lidt længere periode. 10
Vores tanker omkring udvidelser går derfor på at få brugerne til at bruge app en mere aktivt, mens de er på selve julemarkedet. Herunder har vi listet nogle forskellige ideer op til hvordan dette kunne gøres mere attraktivt at hente app en. Det kunne være en ide at bruge GPSen i telefonen, så man kan se på kortet i app en hvor man er, finde vej, samt eventuelt se hvor ens venner og familie er på markedet. Selvfølgeligt forudsat at de har givet lov til at man se hinanden. Skulle ens barn blive væk kan det også bruges til at finde barnet, hvis barnet har en telefon med GPS på. 5.1 Kildefortegnelse Rubin, Jeffrey mfl. Handbook of Usability Testing How to plan, design and conduct effective tests, 2 Udgave, WILEY, Kap 3 side 34 Rubin, Jeffrey mfl. Handbook of Usability Testing How to plan, design and conduct effective tests, 2 Udgave, WILEY, Kap 3 side 35 Rubin, Jeffrey mfl. Handbook of Usability Testing How to plan, design and conduct effective tests, 2 Udgave, WILEY, Kap 3 side 100. Beck Holm, Andreas, Videnskab i virkeligheden. 2011, Samfundslittratur. Kap 6 side 86 87. Beck Holm, Andreas, Videnskab i virkelighedern. 2011, Samfundslittratur. Kap 37-38. 11