1
Indhold Testplan... 3 Research spørgsmål... 3 Testpersonens karakteristik... 3 Metoden... 4 Vi tager udgangspunkt i think aloud princippet... 4 Skitse og timing... 4 Forberedelse til test... 4 Introduktion til test... 4 Baggrunds interview... 4 Opgaver... 5 Debriefing efter testen (5 minutter)... 5 Opgaven.... 5 Miljø:... 5 Moderaterens rolle i testen:... 5 Observatorens rolle i testen:... 5 Kameramand:... 5 Skabelon til udleverede testopgave... 6 Forberedelse til test ( 3 min )... 6 Introduktion til test... 6 Til pilot test:... 7 Før julemarked:... 7 Efter julemarked:... 7 Protocol:... 7 Forklaring af Think aloud:... 7 Baggrundsinterview ( 3 min ):... 7 Debriefing... 8
Testplan Vi vil indsamle data vedr. Nyborg julemarkds app, som vi fremover vil referere til som app en, for at se om testpersoner oplever nogle eventuelle problemer ved brug af app en. Vi har fra vores kunde fået udleveret en række punkter de gerne ser undersøgt, disse punkter har vi inkluderet i vores research spørgsmål. Resultater af vores test se i del 3 klientrapport. Research spørgsmål Vi vil forsøge at finde svar på disse spørgsmål: Hvor let er det for testpersonen at løse opgaverne som vi har stillet? Hvilke problemstillinger oplever testpersonen når de benytter app en? Finder vores testperson det let at navigere rundt på app en? Giver menupunkterne mening? Viser testpersonen tegn på frustration eller irritation ved f.eks. ikke at svare under testen? Er fonten læselig? Både headerfont og brødtekstfont Ved første øjekast, hvad ligner logoerne på startskærme Testpersonens karakteristik Karakteristik Ønsket antal deltagere Deltagertype: Før åbning af julemarked: Pilot Standard Backup På julemarked: Pilot Standard Backup 1 5 1 5 Total antal deltager 14 Brug af app s i dagligdagen: Aldrig: Bruger ikke apps. Sjældent: Par gange om ugen. Ofte: Dagligt. Meget ofte: Flere gange dagligt. Personer: Børnefamilier. (voksende m. børn) Singler / kærestepar. Ældre (65 +) 0 4 4 6 8 4 Alder: 0-39 40-59 60+ Køn: Kvinder Mænd 6 6 7 7 3
Metoden Vi vil undersøge og indsamle data omkring app ens effektivitet. Testpersonerne skal løse en given opgave, som eksempelvis kunne være at finde programmet for dagen og se, hvornår lysshowet på slottet sker. Disse opgaver skal løses indenfor en bestemt tidsramme, overholdes denne tidsramme ikke vil vi betragte opgaven som værende uløst. Vi vil under hele testforløbet observere testpersonerne for at se hvordan de interagere med app en og om, hvorvidt det føles naturligt for dem. Vi tager udgangspunkt i think aloud princippet Hver testperson skal udføre en række opgaver som vi stiller, med det formål at teste brugervenligheden på app en. For hver testperson vil der i starten blive brugt 10 min. til at introducere testpersonen til Think- Aloud testen og give et eksempel på hvad vi mener med det at tænke højt. Vi vil i eksemplet benytte en anden app end den brugerne skal teste. Skitse og timing Selve testen bør ikke tage længere end 5 min. pr. testperson. Før testen udføres vil testpersonerne blive briefet omkring opgaven som de skal løse, hvilket vil tage ca. 10 minutter pr. Testperson. Efter testen vil der være en debriefing som hovedsageligt tager udgangspunkt i præferencedata, hvilket vil tage ca. 5 minutter pr. testperson. Brugerne vil blive testet enkeltvis, i henholdsvis Odense banegårdscenter (Test 1) og påselve Julemarkedet i Nyborg(Test ). Forberedelse til test (ca. minutter) Gennemse og underskriv tilladelse til optagelse af både video og lyd. Tilladelse til at bruge indsamlede data. Testpersonen skal udfylde baggrundsinformation omkring deres brug af app s, og kort deres egne informationer. Introduktion til test (ca. 5 minutter) Diskuter: Testpersonens erfaringer med at have lavet en brugervenlighedstest. Vigtigheden i at de medvirker til denne brugervenlighedstest Moderators rolle under testen Rum som bliver benyttet til at udføre testen og hvilke programmer som bliver brugt under testen. Protokollen for hvad der skal ske under resten af testen. Forklaring på hvad en Think aloud test er og hvordan det foregår. Baggrunds interview (3 minutter) Diskuter testpersonernes: Erfaring med brug af app s. Grund til at bruge app s. Hvilke typer af app s benytter brugeren normalt. 4
Opgaver (5 minutter) Alle testpersonen starter med at åbne app en får derefter stillet en række opgaver som testpersonen skal udføre under observation af moderatoren. Debriefing efter testen (5 minutter) Brede spørgsmål omkring oplevelsen af app en i form af et spørgeskema for at samle kvalitativ data. Opfølgning på eventuelle problemer under testen. Alt data indsamlet under debriefingen noteres ned og analyseres senere. Opgaven. alle testpersoner får stillet samme opgave, med start og slutpunkt Miljø: Vi vil udføre to runder af test. Test 1 vil forgå i Odense banegårdscenter foran biblioteket. Test vil foregå på Nyborg Julemarked. Inden testen på biblioteket skal der indhentes tilladelse til at udfører testen på grunden, dette gøres via telefonen og det ikke muligt møder vi personligt op og forhører os, derudover skal der forhøres om det er muligt at låne borde og stole, som skal bruges til testen. Til test i nyborg er vi blevet tildelt en stand med strøm, hvor vi kan udfører testen. Småkager medbringes til deltagerne. Moderaterens rolle i testen: Moderatoren vil være til stede i lokalet sammen med testpersonen, hvor moderatoren vil starte ud med at introducere testforløbet, høre til testpersonens erfaringer med brug af app s og yderligere forklarer, hvilke opgaver der skal løses under testforløbet. Efter testen vil moderatoren i samarbejde med observatørene stille opfølgende spørgsmål omkring oplevelsen af app en rent generelt og omkring eventuelle problemer ved testen. Observatorens rolle i testen: Observatoren vil ligeledes være tilstede i lokale og have den primære funktion at observere testpersonen. Observatoren vil under testen befinde sig bag testpersonen uden at forstyrre testen. Efter testen vil observatøren spørge ind til eventuelle problemer, som blev observeret under testen. Kameramand: Kameramanden vil stå for at filme testen og på den måde samle data ind til senere brug. 5
Skabelon til udleverede testopgave Forberedelse til test ( 3 min ) Navn? Alder? Køn? Civil status? Erhverv? Børn? (hvis ja hvor mange) Børnenes alder? Hvor ofte bruger du apps på din mobil? Aldrig: Bruger ikke apps. Sjældent: Par gange om ugen. Ofte: Dagligt. Testpersonen skal give tilladelse til at vi under testen vil videooptaget testpersonens aktivitet på skærmen derudover vil vi også optage testpersonen når han/hende benytter androidenheden. Brugeren giver her også tilladelse til at vi bruger de indsamlede data til projektet. Dato: Underskrift: Introduktion til test ( 10 min ): Har du nogle tidligere erfaringer i at deltage i brugertest? Ja Nej - Hvis ja hvilken? Orientering af test: Der vil deltage 5 testpersoner, og ud fra de 5 personer vil det afdække/ belyse 85% af app ens problemer med brugervenlighed. Moderator: Moderatorens rolle er at observere og guide hvis der opstår problemer. Før selve testen starter vil moderatoren give en kort introduktion til testen og efter testen vil der blive stillet spørgsmål ud fra et google spørgeskema. 6
Test materialer: Til pilot test: Til pilot testen vil bruge et Canon EOS 550D, som Casper har, ur til tids måling af test, stativ til kamera og mikrofon som Annette har/ anskaffer. Vi vil finde en der vil være testeperson i testen af testforløbet, så vi får af sat det mest nøjagtige estimerede tidsinterval for udførelse af test. Samt kontrollere om udstyret virker optimalt. Før julemarked: Testen vi forgå på Odense centralt bibliotek. Hvor vi vil bruge et Canon EOS 550D, som Casper har, borde og stole vi finder i biblioteket, ur til tids måling af test, stativ til kamera og mikrofon som Annette har/ anskaffer. Derud over vil vi observere brugeren under testen. Der vil også blive taget noter til den enkelte testperson. Efter julemarked: Selve testen vil foregå på en ethnographic måde hvor testen vil foregå på julemarked i Nyborg hvor brugerne er tilstedet. Dvs. vi observer brugeren i deres eget miljø. Til at optage den aktivitet der sker bruger vi et Canon EOS 550D, som Casper har, ur til tids måling af test og stativ til kamera og mikrofon som Annette har/ anskaffer. Vi vil her også observere brugeren under udførelsen af testen, samt tage noter. Protocol: Testforløb: Forklaring af Think aloud testen og forløbet (5 min.) Start med 3 min.baggrundsinterview. 5 min. til løsning af stillede opgave. 10 min. debriefing (der stilles yderligere nogle spørgsmål). Forklaring af Think aloud: Det er når man sidder og tænker højt det vil sige at man siger hvad man gør / laver og tænker. Baggrundsinterview ( 3 min ): 1. Hvad er din erfaring med brug af app s?. Hvad er din grund til at bruge app s?. Hvad er dine forventninger til denne app (hvad forventer du at finde)? 7
Opgaven i testen (5 min): Hvis testperson køre fast i en opgave kan personen springe opgaven over og gå videre til næste opgave. Find ud af hvad Christmas ice er. Find ud af hvad tid julemanden bliver vækket. Find ud af hvor på julemarkedet lysshowet finde sted. Find programmet for lørdag. Find ud af hvor der er vejspærringer i Nyborg i forbindelse med julemarkedet. Find/udpeg hvor bibliotekets bygning er på oversigtskortet over den gamle del af nyborg. Debriefing (5 min): Debriefing spørgsmål sat op i et Google spørgeskema og specifikke uddybende spørgsmål til den individuelle testperson, ud fra den observation moderatoren lavede under testen. 8