1
Indhold Indledning... 3 Kapitel 1 - Forberedelse af test... 3 Valg af test... 3 Valg af testopgaver... 3 Opfølgende spørgsmål... 3 Testens forløb og dataindsamling... 4 Testpersonerne:... 5 Kapitel 2 - Testresultater... 6 Tidsmålinger... 6 Fejlanalyse... 7 Preference data... 7 Den røde skrift... 8 Den sorte skrift:... 8 Logoer:... 9 Ikoner:... 10 Design:... 11 Brugbarhed:... 11 Kapitel 3 - Anbefalinger... 12 Generel anbefaling:... 12 Skrifttyper og størrelse... 12 Navigation i app en... 12 Ikoner for program og informationer... 13 Design... 13 Brugbarhed... 13 Forslag til udvidelse... 13 Gps:... 13 Spil:... 13 Push beskeder:... 13 Bilag... 14 2
Indledning Denne klient rapport er udarbejdet med det formål at belyse funktionaliteten af Nyborg julemarkeds app, både de ting der fungerer godt - og de ting der muligvis fungerer knapt så godt. I rapportens første afsnit kan du læse kort om vores testmetode, hvordan testen er forløbet og ikke mindst den indsamlede data. Til slut vil vi give vores anbefalinger til eventuelle forbedringer til en fremtidig version af app en. Denne klient rapport er udarbejdet med det formål at belyse funktionaliteten af Nyborg julemarkeds app, både de ting der fungerer godt og de ting der muligvis fungerer knapt så godt. Denne rapport er afleveret til arrangørerne af Nyborg julemarked i forbindelse med personlig fremlæggelse af hele gruppen d. 18/12-2012 kl. 12.00 på slottet i Nyborg. I rapportens første afsnit kan du læse kort om vores testmetode, hvordan testen er forløbet og ikke mindst den indsamle. Undervejs har vi givet anbefalinger iform af hot spots til udviklerne og til slut også fremtidige forbedringer til en ny version af app en. Kapitel 1 - Forberedelse af test Valg af test Vi har valgt at lave en think aloud test, som er test hvor vi optager hvad testpersonerne gør på skærmen, mens de fortæller hvad de tænker og gør. Denne test giver os adgang til at fange hvad testpersonerne tænker, mens de arbejder med Nyborg julemarked app en. På denne måde har vi også mulighed for efterfølgende at sammenligne hvor lang tid de enkelte testpersoner er om at løse de givne opgaver. Valg af testopgaver Vi har valgt at lave en think aloud test, som er test hvor vi optager hvad testpersonerne gør på skærmen, mens de fortæller hvad de tænker og gør. Denne test giver os adgang til at fange hvad testpersonerne tænker, mens de arbejder med Nyborg julemarked app en. På denne måde har vi også mulighed for efterfølgende at sammenligne hvor lang tid de enkelte testpersoner er om at løse de givne opgaver. 1. Find ud af hvad Christmas Ice er. 2. Find ud af hvad tid julemanden bliver vækket. 3. Find ud af hvor på julemarkedet lysshowet finder sted. 4. Find programmet for lørdag. 5. Find ud af hvor der er vejspærringer i Nyborg, i forbindelse med julemarkedet. 6. Find/udpeg hvor bibliotekets bygning findes på oversigtskortet over den gamle del af Nyborg. Opfølgende spørgsmål Når testpersonen har udført opgaven bliver testpersonen stillet nogle debriefing spørgsmål omkring oplevelsen af app en både i design og brugbarhed. Debriefing spørgsmålene er lavet fordi der er nogle ting, som man ikke kan observere under testen og derfor stiller vi disse spørgsmål efter test opgaverne. Spørgsmålene består af sandt/falsk, ja/nej spørgsmål, checkbox spørgsmål, fill-in spørgsmål dvs. uddybende spørgsmål, samt spørgsmål hvor svarene går på en skala fra 1-5. 3
Testens forløb og dataindsamling Inden testen er påbegyndt har vi lavet en udførlig testplan for hele testens forløb. Vi har lavet to Think aloud test: Én før julemarkedets start, og en på selve julemarkedet. Grunden til at vi testede inden julemarkedets start, var for at få rettet hvis der skulle være nogen fejl eller mangler, som kunne nå at blive rettet inden julemarkedets start Ud fra den første think aloud test har vi observerede vi nogle mangler/problemer, som vi vil anbefale bliver rettet inden julemarkedets start, såkaldte hot spots.. Vi har valgt fem testpersoner til hver af de to think aloud tests, da det teoretisk vil afdække 85% af app ens fejl og mangler 1. Efter hver testperson har udført think aloud testen har vi rejst en række opfølgende spørgsmål. For at kunne lave statistiske diagrammer ud fra opfølgende spørgsmål - som ses i anden del af denne klientrapport - skal der som minimum være ti testpersoner. Dette krav er imødekommet ved at vi samlet set har ti testpersoner. For at give et indblik i hvordan og hvor de to think aloud test er blevet udført, har vi herunder indsat et billede fra henholdsvis første test som foregik foran biblioteket i Odense Banegårdscenter, og fra anden test der foregik på Nyborg Julemarked Odense Banegård Center fredag den 30. november 2012 Nyborg Julemarked lørdag den 8. december 2012 1 Se bilag 1: Sendte hot sport til udviklere. 4
Testpersonerne: I dette afsnit vil vi beskrive hvem de personer der har udført testen er, for at give et indblik i hvem målgruppen er og hvem der viste interesse for app en. I testplanen 2, som er udarbejdet før udførelsen af testen, har vi beskrevet hvilke testpersoner vi ønsker skal udfører testen. Det viste sig dog, da vi var ude og teste på henholdsvis Biblioteket i Odense banegårdscenter og på Julemarkedet at det var svært at få netop personer som defineret i testplanen til at deltage i testen. Det viste sig dog hurtigt at når vi henvendte os til børnefamilier, var det typisk familiens ældste søn som familien valgte skulle være testperson. Derudover var der en del yngre kvinder som var på julemarkedet med deres veninder eller kæreste som viste stor interesse for app en. Og som en sidste væsentlig person vil vi nævne en familie far som allerede på forhånd havde app en instaleret på sin telefon. Herunder ses en kort persona/beskrivelse at de personer der viste interesse for app en og som vi derfor valgt som testpersoner. Lukas, 14 år, går i 8.klasse på Banehofskolen i Nyborg. Lukas er på Julemarked med sin mor, papfar og lille søster på 11 år. Lukas fik sin første smartphone (en Iphone), i konfirmationsgave. Lukas bruger app s hver dag. De app s han bruger Dem han bruger mest er Facebook og Youtube samt lidt forskellige spil. Hvis familien anskaffer eller har problemer med tekniken i hjemmet er det altid Lukas der bliver sat på opgaven. Lars, 46 år, it konsulent hos TDC. Lars er på Julemarked med sin Hustru og deres to børn på 12 og 14 år. Lars har hentet Nyborg Julemarkeds app en inden en uge inden familiens årlige tur på Julemarkedet. Lars bruger app s hver dag. De app s han bruger Dem han bruger mest er Danske bank og TV2 s nyheder, samt Krak og lignende app s. Lars læser Fynsstiftstidende hverdag og det var her han så en annonce fra Julemarkedet i Nyborg og et link til at hente Nyborg julemarkeds app en 2 Se Testplanen (Del 2) 5
Mette, 27 år, Studerer design på Syddansk universitet. Mette er på Julemarked med sin kæreste og deres fælles datter på 1 år. Mette går meget op i sit udseende og er altid med på de nyeste trends. Mette bruger app s hver dag. De app s han bruger Dem han bruger mest er Trendsale og SDU, samt Facebook. Mette har altid overblik og styr på tingene, det er dog ikke planlagt hvad de skal opleve på Julemarkedet, da hun ikke har set noget program for hvad der foregår. Kapitel 2 - Testresultater Som underbyggelse vores resultater og anbefalinger vil vi anbefale at de ti videoer ses, som er uploadet på http://exam1semeconceptfall2012.mmd.eal.dk/gruppe3/julemarked.html Tidsmålinger I skemaet nedenfor er det muligt at se hvor mange af testpersonerne som har bestået den stillede opgave. Derudover kan man se den gennemsnitlige tid for dem som har løst opgaven, og til sidst kan man se hvor meget testpersonerne afviger fra gennemsnitstiden. Hvis standardafvigelsen er lav, så har alle testpersonerne været meget enige om hvor lang tid opgaven tager at løse. Hvis den er høj så er der en stor afvigelse mellem de forskellige testpersoner. Det er første gang der er blevet udgivet en app i forbindelse med et julemarked her i Danmark, så vidt vi har kunne researche os frem til. Derfor har vi ikke nogen referencer til hvor lang tid og det bør tage at løse de givne opgaver samt hvor stor en procentdel der bør være i stand til at løse opgaverne. Derfor har vi valgt definitionen om at, hvis 70 procent og opefter løser opgaven, er det bestået[1], som handler om test af et nyt produkt. Det vil sige at fem ud af de seks opgaver viser et godt resultat og at over 70 procent af brugerne har kunnet løse opgaven. Hvis app en testes til næste år, ville det ikke længere være et nyt produkt og dermed vil en opgave først bestå hvis 95 procent af testpersonerne løser opgaven. Derfor vil den største opgave til næste år være at løse problemet med hvorfor kun tre ud af ti som kan løse opgave 6. 6
Se nærmere omkring dette i fejl analysen længere nede. Gennemsnitstiden er i de fleste tilfælde alt for højt, når man tænker på at denne app er tiltænkt til at hjælpe en med at få nogle hurtige oplysninger. Derfor bør det ikke tage mere end 10-20 sekunder - afhængig af hvor dybt nede i strukturen man skal gå for at finde svaret - at udføre hver opgave. For de opgaver hvor der er en stor standardafvigelse er der mange faktorer som spiller ind. Dette kan for eksempel være hvilken teknik man har valgt at bruge fra starten, nogen ledte febrilsk i alle punkterne i menuen for at finde svaret, mens andre prøvede at få opgaven til at give mening med det som stod i menupunkterne. Nogle af dem som var kommet ind i de forkerte menuer kunne huske dette til næste opgave, hvor de kunne løse opgaven hurtigere. Det skete især mellem spørgsmål 1 og 2. Fejlanalyse Her vil vi se på hvad der ligger til grund for de fejl brugerne begik under testen. Opgave 1,2,3 Gældende for disse tre opgaver er at testpersonerne ikke nødvendigvis finder det logisk, hvad de kan forvente at finde under de forskellige punkter. Det fører til at de blot klikker målløst på alle menupunkterne, indtil de finder hvad de ledte efter. Opgave 4,5 Den største problemstilling testbrugerne her oplevede, var i bund og grund at de overser disse to punkter. Opgave 6, oversigtskortet Det er ikke klart for brugerne at hovedmenuen er et oversigtskort samt at menupunkterne er placeret efter, hvor de reelt set befinder sig på kortet. Navigation En del af testpersonerne forventer at det er muligt at swipe i app en frem for at skulle klikke på pilen for at komme tilbage, hvilket kan virker frustrerende for brugeren. Preference data Efter opgavetesten stillede vi nogle spørgsmål til testpersonen for at høre deres meninger om app en. Deres besvarelser kom vi ind i et Google spørgeskema som vi havde lavet på forhånd. 7
Den røde skrift: Kigger vi på de to grafer: den blå cirkelgraf og det orange søjlediagram, vil man opdage at de fleste finder den røde skrift på menuen læseligt. Og deres kommentarer til den røde skrift var: Skriften var meget nem at læse og passede ind med den gamle skrift, men den kunne godt gøres mere læseligt. Det var også årsagen til at de fleste valgte at giver skriften den næstbedste karakter 4. Dem som derimod havde svært ved at læse den røde skrift havde kommentarerne: det er en svær font at læse og især de store bogstaver. Den sorte skrift: Kigger vi på de næste to grafer: Den røde cirkelgraf og det karrygule søjlediagram, vil man se at dem finder skriften let at læse giver den karakteren 5, som er det letteste at læse. Kommentarerne dertil er at de fleste 8
finder skriften let at læse og synes det er en hyggelig skrift, mens andre havde problemer med at læse teksten i brødteksten. Logoer: Ud fra logoerne på startsiden kunne alle testpersonerne genkende minimum ét af logoerne. Vor Frue Kirke Nyborg var der ikke nogen som havde set før, hvorimod syv ud af de ti havde set erhvervsakademi Lillebælt før. Der var én testperson som forvekslede Nyborg Slot logo med Nyborg Kommune, derfor blev den sat i other/anden. 9
Navigation: Der var meget delte meninger om det var let at navigere rundt i app en set ud fra det blå søjlediagram. Det stemte ikke overens med det vi observerede ud fra Think aloud testen, hvor det så ud til at ni ud af ti havde problemer med finde det de blev spurgt om. Den ene, der ikke havde problemer i Think aloud testen, skyldes at han selv havde downloaded app en og derfor havde set den før. Vi må antage at første gang brugerne skal bruge app en er der lidt forvirring om hvor man skal finde tingene henne. Anden gang ved de hvor de skal lede, og derfor finder de ikke navigationen svær. Derfor er testpersonerne delte ved dette spørgsmål, da det kommer an om de tænker at næste gang ved jeg hvor jeg skal lede, mens andre stadig husker hvor svært det var at finde svar på disse opgaver. Kommentarerne til navigationen var at der mangler en oversigt over hvad man kan finde på app en, der mangler en søgefunktion, man ved ikke hvad der er under de enkelte menupunkter, mangler en tekst under de to ikoner for at man opdager dem, ulogisk navigation, forkert opdeling af menupunkterne. Og så var der dem som sagde at de fandt navigationen nem. Ikoner: Som det ses på det orange cirkeldiagram så var det ikke alle som kunne finde ikonerne, hvilket skyldes at de simpelthen ikke så ikonerne fordi ikoner ikke er illustreret med tekst som resten af menupunkterne. Nogen mener at de bedre ville have set dem hvis der stod tekst under ikonerne eller at ikonerne var placeret øverst over menuen. De er alle enige om at disse punkter er de mest brugbare på app en som også kan ses under Think aloud testen. De testpersoner som så ikonerne fra starten, valgte at bruge den til at løse opgaverne med fremfor at klikke på menupunkterne. 10
Design: Hovedparten af testpersonerne fandt designet pænt og havde kommentarerne at designet passer godt til julemarkedet, da det skaber en historisk julestemning. Dog er der nogen som mener den ser meget rodet ud i designet og teksten er svær at læse, samt det virker til at være lidt pixeleret. Generelt mener de fleste at app en har et pænt design som passer til de reklamer der har været om julemarkedet, så der er en rød tråd. Brugbarhed: Generelt er alle testpersonerne enige om at app en er brugbar og især med nogle små justeringer. Såsom hvis navigationen var i orden så man kunne finde alle informationerne og det ville heller ikke gøre noget hvis der var nogle flere informationer fra for eksempel gammelt tid, samt at tidspunkterne var gjort mere synlige. Merværdi: Hvad synes du vil give app en merværdi? Hvis app en skulle giver testpersonerne mer værdi, så skulle man kunne se hvad hvert menupunkt indeholder, gøre ikonerne mere synligt, mere historisk indblik i julemarkedet. Resultatets usikkerhed Som ved enhver test er der usikkerheder som bør tages med i betragtningen af resultatet. Vi har følgende usikkerheder som vi mener bør nævnes. 11
For at testen ikke skulle tage unødig lang tid havde vi medbragt en smartphone hvor app en på forhånd var installeret. Dette kan gøre at testpersonerne kan være længere om at løse opgaverne og finder navigationen unødig svær, da det ikke er deres egen smartphone som de i forvejen kender. Testpersonerne kan have en tendens til at svare mere positivt undervejs i testen, da de ved at vi kommer fra samme sted som udviklerne af app en, og at testpersonerne derfor ikke ønsker at sige noget meget negativt, samt at vi står med testpersonen face to face hvilket også kan være med til at give ekstra positive svar, på trods af at vi har gjort opmærksom på at de bare skal være helt ærlige. Kapitel 3 - Anbefalinger Generel anbefaling: Hvis app en ønskes videreudviklet til kommende års julemarkeder vil i anbefale at app en også udvikles til styresystemet ios, da man ellers kun henvender sig til den del af brugerne der har en smartphone med styresystemet android. Skrifttyper og størrelse Vi vil anbefale at de røde bogstaver blev ændret lidt så de er mere letlæselige, da nogle af testpersonerne synes den røde skrift var lidt svær at læse. Det var hovedsageligt forbogstaverne der gav problemer. Alle testpersonerne var enige om at den røde skrift signalerede en hyggelig gammeldags jul, derfor mener vi ikke at den skal ændres væsentligt. Med hensyn til den sorte skrift vil vi anbefale at der bliver lavet A/B test på brødteksten, hvor den ene version er med normal skrifttype og en anden med den nuværende skrifttype for at se hvilken skrifttype, som vil virke bedst. Det skyldes at den gamle skrift kan virker forstyrrende som brødtekst, da det ikke er en læsevenlig skærmskrift, men på den anden side vil det måske fjerne julestemningen, hvis den sorte tekst ændres. Navigation i app en Vi vil anbefale at app en ændres væsentligt i forhold til navigationen, da vi på videooptagelserne og test tiderne kan se at alle har problemer med at finde tingene og navigere rundt. Når de har løst de første tre opgaver, har de dog lært hvor de finder de enkelte ting, hvilket gør det lettere for dem at løse de efterfølgende opgaver. Vi vil anbefale at menuen bliver ændret og fjernet fra oversigtskortet og i stedet kun have menupunkter for Program, Oversigtskort og Information. Så man via programmet kan komme videre til hvor arrangementer finder sted og tidspunkt samt andet relevant information. I menupunktet Oversigtskort skal oversigtskortet vises med punkterne på hvad der er på kortet. I menupunktet Information skal der være de ting som står nu, samt måske yderligere information såsom fakta om julemarkedets historie, hvor der er toiletter, hvem har sponsoreret julemarked og lignende. Ydermere vil vi anbefale at der laves en swipe funktion, da det gør navigationen frem og tilbage lettere og det er kendt fra mange andre app s og dermed er naturligt for brugeren at bruge. 12
Ikoner for program og informationer I forhold til ikonerne vil vi anbefale væsentlige ændringer som omtalt i punktet Navigation, da en del af testpersonerne havde svært ved at finde dem. En anden mulighed kunne dog også være at gøre ikonerne mere tydelige og sætte tekst under dem, hvor der står henholdsvis program og information. (Medmindre I vælger at følge vores anbefaling om at ændre hele navigationsstien, så er dette punkt ikke relevant). Design Vi vil anbefale at designet bibeholdes da alle testpersonerne er enige om at det er flot og passer godt til en julemarkeds app. Dog vil vi anbefale at oversigtskortet ændres væsentligt, da stort set ingen kunne se det var et kort, og slet ikke at det skulle være et kort over Nyborg bymidte. Ydermere vil vi anbefale at tidspunktet for begivenhederne er fremhævet og står øverst i teksten, når man er inde for at læse om det enkelte arrangement. Forsiden til appen er delvist overflødig og alt for meget fokus på ting der ikke er relevant for brugeren, derfor vil vores anbefaling være at droppe forsiden, eller fjerne logoerne og lægge dem under menuen Information i stedet. Brugbarhed Brugbarheden af app en er god. Alle testpersonerne var enige om at det er en rigtig god ide at have en sådan app, den erstatter et eventuelt trykt program, og gør det let at finde ud af hvor og hvornår de mange ting egentlig foregår rundt om i byen. Derfor vil vi anbefale at bruge ovennævnte som en del af markedsføring af app en. Forslag til udvidelse Under dette punkt er det ikke deciderede anbefalinger vi har, men forslag til udvidelser af app en. Især i forhold til at få flere brugere til at bruge den mere og i en lidt længere periode. Gps: Det kunne være en ide at bruge GPSen i telefonen sådan at man kan se på kortet i app en hvor man er, finde vej, samt eventuelt se hvor ens venner og familie er på markedet. Selvfølgeligt forudsat at de har givet lov til at man se hinanden. Skulle ens barn blive væk kan det også bruges til at finde barnet, hvis barnet har en telefon med GPS på sig. Spil: En idé kunne også være at lave en form for spil. I en del forlystelsesparker har man en række opgaver der skal løses, hvorefter man så finder hen til en bestemt ting. Dette gøres de fleste steder med papir og blyant, som i Legoland, hvor man får udleveret et kort med nogle punkter man skal følge, finde ledetråde så man kan finde hen til påskeharen og få påske æg. Vores idé er at man laver noget lignende, men med en nisse og at det selvfølgelig er online i app en. En anden idé kunne være at bruge GPSen i telefonen til en slags fangeleg, hvor man kan følge en nisse på kortet og finde ham og hans sæk med pebernødder. Vores sidste ide angående spil er en slags skattejagt rundt på julemarkedet via QR koder. Push beskeder: En ide kunne være at man tjekkede ind på julemarkedet og når det så var gjort får man løbende beskeder om at om 15 minutter starter for eksempel lysshowet på slottets facade. 13
Bilag Bilag 1 Til: MMD (Film og animation 3. semester) EAL Odense. Odense den 3. december 2012 Hot spots - Foreløbige testresultater Generelt er testpersonerne enige om at appen er brugbar og signalerer at hyggeligt Juletema. Ud fra den første think aloud test har vi observeret følgende mangler/problemer som vi vil anbefale bliver rettet inden julemarkedet løber af stablen den 7. - 9. december 2012 Mangler i programmet: - Testpersonerne kom stort set alle sammen frem til at der var mangler i programmet, bl.a. Hvornår julemanden vækkes. - Testpersonerne ønskede alle at der var en funktion i programmet så der kunne se hvad de enkelte programpunkter omhandler og hvor det foregår på julemarkedet. Navigation: - alle testpersonerne mente at app en var lidt svær at navigere rundt i. Ud fra debriefingen af think aloud testen, kom vi frem til at en Swipe funktion vil gøre navigationen lettere. Oversigtskort: - Stort set alle testpersonerne kunne ikke se at oversigtskortet, er et oversigtskort over den gamle bydel. De forstår ikke at bygninger/steder osv. er placeret hvor på kortet de reelt er placeret. Vores anbefaling til at løse denne problemstilling vil være at sætte en prik eller stjerne som punkt ud for selve bygningen/stedet. Det bør muligvis også overvejes, hvorvidt oversigtskortet bør være et punkt for sig selv frem for en egentlig menu, da det lader til at testpersonerne overser kortet pga. selve menupunkterne optager så meget plads på skærmen. Informations knap og program knap: - Begge menupunkter er meget brugbare, desværre var det ikke alle testpersoner som så dem. Overvej om de kunne gøres mere tydelig enten ved en anden placering eller farve. Selve ikonerne fungerer optimalt, da alle vidste hvad de stod for. Testpersoner Vi har valgt at teste 5 testpersoner da det teoretisk vil vise 85 % af de mangler det nu måske skulle være. Dette er en teori ifølge Jacob Nilsen. Med venlig hilsen Casper, Winnie, Cecilie og Annette BA. E-konceptudvikling 1.semester EAL Odense 14