2.0 VORES VALG AF USABILITYMETODER...7

Transkript

1 Indholdsfortegnelse 1.0 INDLEDNING PROBLEMFORMULERING FOR 4-UGERS PROJEKT PROJEKTETS METODE OG AFGRÆNSNING Metode Afgrænsning SAMARBEJDE MED TV2/INTERAKTIV VORES VALG AF USABILITYMETODER FEM PARAMETRE OG KRITERIER VORES VALG AF UNDERSØGELSESMETODER Tænke-højt test Interview Heuristisk Evaluering OVERVEJELSER OMKRING TESTDESIGN OG GENNEMFØRELSE AF TEST TÆNKE-HØJT OVERVEJELSER I FORBINDELSE MED TESTDESIGN INTERVIEW OVERVEJELSER I FORBINDELSE MED TESTDESIGN HEURISTISK EVALUERING OVERVEJELSER I FORBINDELSE MED TESTDESIGN TESTRESULTATER METODEDISKUSSION OG REFLEKSION TÆNKE-HØJT TEST INTERVIEWENE HEURISTISK EVALUERING BEHOV FOR METODETRIANGULERING KONKLUSION...44 Litteraturliste Bilag: Bilag 1 Testplan: Tænke-højt Bilag 2 Interviewguide Bilag 3 Testplan: Heuristisk Evaluering Bilag 4 Samtykke erklæring Bilag 5 Testresultater: Tænke-højt Bilag 6 Testresultater: Interviewene Bilag 7 Testresultater: Heuristisk Evaluering Bilag 8 Screendumps af tour.tv2.dk Bilag 9 Paper mockups af Tour-sitet 2001 Bilag 10 Designforslag til TV2/I

2 1.0 Indledning Millioner af websites konkurrerer om brugerne, et website skal derfor behage sine brugere ellers kommer de ikke tilbage, all the competitors are but a mouse-click away 1. For at behage brugerne kan du med fordel spørge dem hvad de vil have, men især også observere dem og se hvad de har brug for. Det lyder som almen sund fornuft, men usability som en struktureret disciplin baseret på brugerinddragelse er stadig fremmed for mange IT-virksomheder. Vi møder verden med hver vores kognitive verdensbillede, og det er på den baggrund, at vi umiddelbart forstår og interagerer med de nye produkter, vi præsenteres for. Det er derfor ikke muligt hverken for en webdesigner eller en usabilityekspert at opfatte et givent website på samme måde, som den individuelle bruger vil gøre det. Der er to områder, hvor brugerne er eksperter: De er eksperter i at være sig selv og de er eksperter i deres egen verden. Det er usability ekspertens fornemste opgave at gøre denne ubevidste ekspertviden, som brugerne sidder inde med tilgængelig og brugbar for designere og udviklere i produktudviklingen. På den måde vil de have retningslinjer til at designe produkter, der er anvendelige for brugerne. problemet [er] alt for ofte, at det er nogle IT-folk, der sidder i et elfenbenstårn og udvikler systemerne uden at vide, hvordan de arbejdsprocesser, de skal anvendes i, egentlig foregår. 2 Det gælder om at få folk til at besøge websitet, men det gælder især om at sikre, at de kommer igen. remember that your system will be tested for usability even if you don t do so yourself. Your customers will do it for you, as they struggle to use the system. 3 Tilfredse brugere er en forudsætning for websitets succes. Brugere vil ofte anbefale et website, de synes om, til andre. Det amerikanske markedsanalysefirma Datamonitor skriver, at det er med repeat visitors, at virksomheder skal vinde slaget på internettet: 1 Nielsen Kyng i Politiken 3. maj Nielsen 1993: 7 Side 2

3 Recent reaserach shows that they can get much higher sales gains by keeping existing customers than by blindly seeking new ones. More than 90% of satisfied customers say they ll visit a site again, and 87% will recommend it to others. 4 Det har vist sig ikke at være nok med et solidt fundament af gode ideer og fantastiske koncepter. Hvis ikke strukturen og brugervenligheden lever op til brugernes behov går de igen før de når at opdage det fantastiske koncept, brugerne er utroligt kyniske. De forlader et websted, hvis det er ubehageligt, eller hvis de føler sig trængt. Folk giver op ret hurtigt. De synes ikke det er umagen værd. 5 Det er altså fordelagtigt at inddrage brugeren, men hvordan gør man det mest hensigtsmæssigt, og hvordan når man fra brugerinddragelse til konstruktive designforslag? 1.1 Problemformulering for 4-ugers projekt Det overordnede formål med vores 4-ugers projekt er i et samarbejde med TV2/Interaktiv at opnå en erfaring med usability i praktisk anvendelse i forhold til videreudvikling af deres Tour de France website. Hvordan udarbejder vi et realiserbart og relevant testdesign i forhold til vores case, og hvilke problematikker ligger der i de metodiske valg, vi gør os undervejs? Vi søger således at opnå en erfaring med udvalgte usability metoders anvendelse i et konkret undersøgelsesforløb. 1.2 Projektets metode og afgrænsning Metode Vi ønsker at belyse vores problemstilling igennem casen tour.tv2.dk, som er et eventsite, der lægges på nettet en gang årligt i forbindelse med Tour de France. Websitet er ikke offentligt tilgængeligt før den 28. Juni 2001, hvor den endelige version lægges ud på internettet. 4 Business Week, 23. oktober 2000:19 Side 3

4 Vi har valgt at belyse problemstillingen ud fra følgende tre afsnit: 1. Valg af metoder i forhold til problemformuleringen. Vi vil behandle casen i lyset af, hvilken udviklingsfase den befinder sig i, samt hvilke usability metoder der er anvendelige på netop dette tidspunkt i produktudviklingen, og vælge metoderne ud fra dette. 2. Udformning af testdesign og testresultater. Første del af dette afsnit omhandler tilrettelæggelsen af testforløbene samt de overvejelser, som vi har gjort os i forbindelse hermed. Vi vil endvidere benytte os af usability eksperter (især Jakob Nielsen og Mark Pearrow) til at understøtte nogle af de valg vi har gjort os i testdesignet. Anden del beror på resultaterne fra den praktiske udførsel af testene. Den indsamlede data præsenteres og de mest gennemgående usability problemer kommenteres. 3. Refleksion over den valgte fremgangsmåde. Vi vil i afsnittet kort reflekterer over de problematikker, som vi er stødt på i den praktiske udførsel af testene. Opgaven har altså en overordnet praktisk vinkel, som formidler vores læringsforløb. Det har været vigtigt for os, at undersøgelsesdesignet har kunnet lade sig gøre med de ressourcer vi havde til rådighed. Det er altså en del af vores målsætning, at slå et slag for discount usability for heller lidt end slet ingen usability. Usability får let en karakter af udelukkende at være fejlfinding, og kan derved komme til at fremstå som en løftet pegefinger. Denne opfattelse ønsker vi ikke at formidle videre, derfor er vores udgangspunkt for usability at indgå i en konstruktiv dialog med de faggrupper, der skal arbejde videre udfra testresultaterne fra et usability forløb. Det har således været vores målsætning, at bruge usability disciplinen som et værktøj, der udmønter sig i konkrete designforslag baseret på indsamlet data. 5 Nielsen på userforum.dk 16/ Side 4

5 1.2.2 Afgrænsning For at afgrænse vores undersøgelsesområde har vi valgt at begrænse os til en mindre del af tv2.dk. Vi valgte at beskæftige os med tv2.dks årlige Tour de France website. Valget af netop den del af det store website som tv2.dk er, hænger sammen med, at det er et website, der er inde i en redesign/udviklingsproces. Det vakte vores interesse, at websitet befandt sig i denne tidlige fase, idet undersøgelsens resultater ville blive mere vedrørende i forhold til den videre udvikling af websitet. Derudover er det også et website af et omfang, der er overkommeligt i forhold til rammerne for et 4-ugers projekt. 1.3 Samarbejde med TV2/Interaktiv Til dette 4-ugers projekt har vi haft mulighed for at samarbejde med TV2/Interaktiv (herefter TV2/I), der producerer, vedligeholder og administrerer dele af TV2 s hjemmeside tv2.dk. TV2/I har ingen erfaring med usability, men vores kontaktpersoner, Kitt Hansen, der er projektleder og ansvarlig for et af websitets hovedområder, Sporten, og Simon Schultz, er meget interesseret i at integrere usability i TV2/Is websiteudvikling. Kitt Hansen og Simon Schultz ønskede igennem samarbejdet med os at tilegne sig viden omkring usability for at opbygge en baggrundsviden om emnet, og gøre ham i stand til at argumentere for inddragelse af brugere i udviklingsprocessen. De havde ingen konkrete retningslinier i forhold til hvad projektet skulle indeholde og gav os således frie hænder til at bestemme, hvilken del af hele TV2 websitet vi ville beskæftige os med. TV2/I ville stå til rådighed for os så godt som muligt, både igennem almindelig korrespondance med vores kontaktpersoner, men også hvis vi havde brug for information fra andre af de ansatte, som havde forbindelse til Tour-sitet. I forhold til samarbejdet har vi ikke indgået nogle skriftlige aftaler med TV2/I, men vi mener alligevel at kunne læse i det materiale, som de har givet os, at der indgår en del Side 5

6 interne elementer, hvorfor vi har valgt ikke at vedlægge designmanual, projektbeskrivelse og interview med Kit Hansen og Simon Schultz. Selvom TV2/I ikke har forventninger til direkte designforslag fra vores side, har vi valgt at vedlægge dem i en Design forslag til TV2/I 6, for at give dem en ide om at usability ikke kun er fejlfinding men derimod grundlag for konstruktive løsningsforslag. 6 Se bilag 6 Side 6

7 2.0 Vores valg af usabilitymetoder En webdesigner har en professionel vinkel på design, men det er brugeren der er eksperten i sin brug af designet. Brugeren kender sig selv, men ikke nødvendigvis de retningslinier, som produktet er designet efter. Den måde, en bruger interagerer med et website på, er ofte intuitiv og ubevidst, men det er selve brugen der skal frem i lyset, fordi det er der at designet testes og dømmes. Det, der kan være indlysende for folkene bag produktionen kan være svært gennemskueligt for brugeren. Det er derfor nærliggende at inddrage brugeren i produktudviklingen. Det er det man gør når man laver usability. 2.1 Definition af web-usability Der er mange forskellige udlægninger af, hvad usability er, og hvordan man bruger det. ISO s (International Standard Organisation) definition af usability er:... the effectiveness, efficiency and satisfaction with which specified users can achieve specified goals in particular environments. 7 Det er en temmelig bred definition. Effektivitet og tilfredshed er subjektivt for den enkelte bruger og kan være påvirket af forskellige ting såsom erfaring og præferencer. De mange forhold, der knytter sig til usability, gør det svært at tale om usability som én bestemt størrelse, forholdene ændrer sig afhængig af produktet, dets brugere og selve brugssituationen. Der er dog enighed om, at usability handler om brugbarhed fra brugerens vinkel.... I believe that the main goal of most web projects should be to make it easy for customers to perform useful tasks. 8 Men hvordan når man det mål, og hvornår ved man at man har nået det? Der er forskellige holdninger til, hvad der gør et website godt. Vi mener, at et website med god 7 Jordan 1998:5 Side 7

8 usability er et web site, der kombinerer brugervenlighed med brugeroplevelse. Dvs. et website der er let at bruge samtidig med, at det giver brugeren en oplevelse, der er værd at komme efter. Vores ønske er at se, hvad nogle udvalgte usability metoder kan bidrage med, både med hensyn til brugervenlighed og med hensyn til brugeroplevelse i en web-udviklingsstrategi for derved at højne kvaliteten af websitet. Brugervenlighed handler om at gøre betjeningen af IT-systemet lettere for brugeren, hvilket ofte sættes lig med usability. 9 Brugbarhed handler også om at gøre websitets univers attraktivt så det kan give en positiv brugeroplevelse. Web-usability definerer vi her som brugbarhed i forhold til websitets form og indhold. De to udlægninger er ikke modsætninger, men derimod komplimentære faktorer i vurderingen af et websites kvalitet. Brugbarhed er altså bredere end brugervenlighed. Brugervenlighed er en forudsætning for brugbarhed, men ikke omvendt. Et website kan fx godt være brugervenligt uden det nødvendigvis er brugbart. På den måde inddrager vi brugerinddragelse i udviklingsfasen ikke bare for at opnå brugervenlighed, men også i konceptudviklingen af indhold. 2.2 Case præsentation: 10 Vi vil efter aftale med TV2/I gennemføre en usability undersøgelse på TV2/I s website om Tour de France. Undersøgelsen fungerer som en operationalisering af nogle usability metoder og skal altså vise, hvordan TV2/I kan gøre brug af usability i et konkret produktionsforløb. Vi vil lave en testplan der ved hjælp af brugerinddragelse tester de to aspekter af brugbarhed, som vi definerede ovenfor, nemlig brugeroplevelse og brugervenlighed. Siden 1998 har TV2/I haft et Tour de France website. Tour-sitet for år 2001 går i luften 28. juli 2001 og tages af senest den 1. september. Formålet med websitet er at servicere Tour fans med informationer omkring cykelryttere, hold, de nyeste resultater osv. Det er altså i overvejende grad et informationssite, men indenfor et underholdningsområde. 8 Nielsen 2000:11 9 fx Molich 2000:17 Side 8

9 Erfaringer fra det ene år medfører ændringer i næste års website, ligesom forandringer i den fysiske verden spiller ind, fx nye teknologiske elementer såsom streaming, dækningsgraden der evt. afhænger af de danske hold osv. Årets website vil fx adskille sig fra de forrige års udgaver, idet at der vil være en medarbejder on-location, som sender live vha. streaming over internettet - live og samtidig med mulighed for at se eller gense udvalgte videosekvenser af etaperne asynkront. Mange af de elementer, der er på websitet, er dog de samme hvert år. Det betyder reelt, at der findes en underliggende skabelon og at årets website udvikles i en redesignproces. I en redesignproces har man brug for metoder, som kan bidrage med noget i forhold til hvor i udviklingsfasen websitet er, dvs. metoder, der både tager højde for en eksisterende skabelon/tradition med hensyn til form og indholdsemner, men som samtidigt er anvendelige med nytænkning på det tidlige stadie, som dette års website befinder sig på. Metoderne har forskellige styrker og svagheder, hvilket betyder, at nogle metoder er bedre til at indsamle innovative data fx i forbindelse med en konceptudvikling, hvor andre er bedre egnet til at teste et færdigt produkt eller prototype. Det er altså muligt at udvælge nogle usabilitymetoder, som er relevante i forhold til ens konkrete undersøgelsesbehov. Ved løbende at inddrage brugeren i flere faser af produktudviklingen kommer udviklingen til at forløbe som en iterativ proces. Den iterative udviklingsproces er akkumulativ dvs. gentagende og evolutionær, den følger en udviklingskronologi fx 1. generation 2. generation -... osv. Det er en proces der aldrig slutter. Et website bør være i konstant udvikling, fordi det forventes af et website, brugerens behov er jo i konstant udvikling. Fase 1: Idé, behovsanalyse og kravspecifikation. På baggrund af en grundig markedsanalyse afklares behovsgrundlaget for konceptet, der justeres herefter. Man 10 Om samarbejdet med TV2/I, se side 4 Side 9

10 På vej mod et bedre tour.tv2.dk, 4-ugers projekt IT-C Forår 2001 opstiller en kravspecifikation og formulerer succeskriterier, som vil være retningsgivende for de andre faser. Fase 2: Design/redesign og udvikling af prototype. Her træffes afgørende valg for designet og der udarbejdes en prototype. Fase 3: Implementering og udvikling. Den tekniske løsning udvikles endeligt og implementeres. Fase 4:. Videreudvikling og opdatering. Dette er vedligeholdelsesdelen, der indbefatter opdatering og videreudvikling af websitet i forhold til de formulerede retningslinjer (succeskriterier, målsætninger etc.). En mulig website udviklingsproces kan vises ud fra nedenstående spiralmodel: Videreudvikling Opdatering Idé Behov Kravspecifikation Krav Implementering Udvikling Design/Redesign Udvikling af prototype Fig. 1 Ud fra vores definition af usability, som en kombination af brugervenlighed og brugbarhed, mener vi, at usability med fordel kan indgå i alle produktionsfaserne. Usability skal altså ikke blot forstås som en systematiseret fejlfinding, der sikrer at systemet/websitet er brugervenligt. Der er tale om en brugerorienteret, strategisk udviklingsmetode, der løbende kan medvirke til at produktet lever op til brugernes behov og forventninger. Side 10

11 Usability kan på den måde betragtes som et styringsværktøj, en strategi, man kan bruge til at minimere de risici, der er forbundet med produktudvikling ved tidligt og løbende at teste produktet på brugeren, og justere produktet så det bliver brugbart for brugeren. Desto tidligere usability medtages i produktionen, desto større indflydelse vil det have på det færdige produkt Fem parametre og kriterier For at usability ikke bliver en ukritisk gengivelse af alle observationer af et website en bruger gør sig, mener vi at det er fordelagtigt at anvende parametre der svarer til de strategiske succeskriterier, projektledere opstiller. Vi ønsker at gøre usability anvendeligt i en webproduktionsudvikling ved at opstille en række målbare parametre på usability. Derved vil det være muligt at vurdere usability i forhold til de succeskriterier, der ligger til grund for en udviklingsstrategi. Nogle succeskriterier kunne fx gå på antallet af forventede brugere pr. dag, ønsket om at kunne tilgå en bestemt type information inden for et bestemt antal klik, downloadtid m.v. Det er den type af succeskriterier som TV2/I har udfærdiget i forbindelse med Tour-sitet: TV2/I s kvalitetskriterier for Tour de France 2001 websitet 1. 1,7 mill. sidevisninger og ca. 18,900 unique visitors 2. Designet skal leve op til TV2/I s designmanualer 3. Top og bund skal følge TV2.dk s normale standard 4. Venstre menubar skal følge på alle subsites 5. Layout skal følge tv2.dk s stylesheet Omkring websitets dybde: 6. Brugeren skal kunne nå frem til nyhederne på 1-2 klik 7. Brugeren skal kunne nå frem til Tour resultaterne på 1-2 klik 8. Brugeren skal kunne nå frem til live delen på 1-2 klik (enkelte tilfælde 3 klik) Succeskriterie #1 kan kun måles vha. logfiler når websitet er oppe, #2-5 er design guidelines - om de er efterlevet kan bedømmes når det endelige design foreligger, men vi 11 Any iterative technique... enables customers to shape a proposed design. But iterating on existing design can only make small modifications to its structure... A process is truly customer-centered when customers can change designer s initial understanding of the work. Beyer & Holtzblatt 1998: 26 Side 11

12 kan vurdere om en fast menubar (#4) ville løse de problemer vi evt. støder på. Succeskriterie #6, 7 og 8 kan vi måle ved at observere informanternes interaktion med websitet. Vi vil dog pointere at disse succeskriterier er formuleret i henhold til projektledelse og ikke nødvendigvis er forankret i usability. Hvis man i udarbejdelsen af strukturen skal vælge imellem at have mere end to hierarkier (som vil betyde en længere sti og antal klik for at nå et mål) eller lange uoverskuelige indholdslister mener vi ikke at 2 kliksreglen nødvendigvis er mere brugervenlig. Vi har desværre ikke mulighed for at fortolke log filer fra tour sitet fordi websitet ikke er implementeret endnu og derfor ikke har trafik. Logfiler kan altså ikke anvendes i den udviklingsfase som websitet er i. Vi bruger fem parametre der går på brugervenlighed, de er generelt anvendte parametre til at måle på usability. 12 Let at lære: Parametret dækker over den tid, det tager brugeren at lære websitet at kende. Let at huske: Eller genlæringstid dvs. den tid det tager brugeren at løse en opgave efter at have været væk fra systemet i et stykke tid. Effektiv at bruge: Hvor effektivt systemet er efter, at brugeren har lært sig systemet. Tilfredsstillende at bruge: Her skal brugeren ytre sin subjektive mening om hvor tilfreds han er med at bruge websitet, kan han lide websitet. Fejl: Brugeren bør støde på færrest mulige fejl i sin gennemførelse af en opgave. En fejl defineres som enhver handling, der ikke fører brugeren til det ønskede mål. 13 Ved at holde websitet op mod disse fem parametre kan vi måle og dermed vurdere i hvor høj grad websitet lever op til kravene om brugbarhed. Altså måle om det er muligt for brugeren umiddelbart at anvende et system og løse opgaver tilfredsstillende uden brug af undervisning eller brug af dokumentation. 14 De fem kriterier udgør et slags filter vi 12 Nielsen 1993:26 og Molich 2000:17 13 Nielsen 1993:32 14 Molich 2000:12 Side 12

13 måler og registrerer usability med i forhold til de succeskriterier, der er opstillet for selve produktudviklingen. Det er sværere at opsætte målekriterier for brugeroplevelsen. Brugeroplevelsen er endnu mere subjektiv end brugervenlighed. Vi må derfor anvende en metode til at indgå i en dialog med brugeren for at udtrykke dette aspekt. Vi skal altså i vores testdesign finde metoder, der tester på forskellige kriterier (brugervenlighed og brugbarhed). Men vi skal også undersøge brugernes reaktioner, både på den eksisterende form og på nye forslag til indhold i forhold til at websitet er i en tidlig redesign udviklingsfase. Hvis der på forhånd var opsat målbare kriterier op for de fem parametre (fx det må max tage 20 sekunder at oprette en fil, der må max være 10% fejl osv), altså krav til en bestemt effektivitet ved inddragelse af usability, kunne man teste de fem succeskriterier ved fx at: 1. Tage tid på hvor lang tid det tager en bruger at lære brugergrænsefladen at kende og måle det op imod den tid der var målsætningen. (let at lære) 2. Tage tid på hvor lang tid det tager for en bruger at genkende en struktur hvis personen efter at have været væk fra brugergrænsefladen skal genlære strukturen (let at huske). 3. Tage tid på hvor lang tid det tager at løse en opgave vha. brugergrænsefladen, evt. i forhold til hvor mange fejl der forekommer (effektivt at bruge) 4. Spørge til tilfredsheden, enten kvantitativt i spørgeskemaer eller kvalitativt i Interviews. 5. Endelig kan fejl tælles, både de reelle fejl der evt. er på websitet (alt fra døde links til brud på principper indenfor heuristikker). 15 Det kunne man fx gøre i en Tænke-højt test, hvor man observerer brugere med stopure og nøjagtig klikoptællinger, mens de løser forskellige opgaver i interaktion med websitet samtidig med at de tænker højt omkring deres reaktioner på websitet. En så metodisk og ressourcekrævende fremgangsmåde er dog uhensigtsmæssig i testen af et website, hvor der er så mange fleksible variabler såsom browsertype, Side 13

14 internetforbindelse mv., men også i den udviklingsfase, som websitet er i, hvor der ikke er noget færdigt system vi kan teste på. I stedet har vi valgt at bruge følgende otte målekriterier for, hvad vi skulle notere os i en brugersituation: Systemet går ned. 2. Brugeren opgiver opgaven. 3. Gennemfører ikke indenfor tre minutter. 4. Tre forgæves forsøg. 5. Brugeren udviser overraskelse. 6. Brugeren udtrykker sig negativt. 7. Brugeren kommer med et designforslag. 8. Evaluatoren generaliserer et problem ud fra en række småproblemer. De otte kriterier vi har valgt at bruge, er meget nemmere at observere end de fem parametre da de er umiddelbare: Enten er der en forekomst af et problem, eller også er der ikke. De dækker dog de samme principper som de fem parametre. Hvis der er en høj forekomst af disse negativer, vil det betyde, at websitet ikke lever op til de fem parametre. Uanset om vi havde målt tid og fejl eller problemer, er det vigtigste, at vi har en fælles forståelse af hvad vi observerer, så vi senere kan sammenligne data. 2.4 Vores valg af undersøgelsesmetoder Der findes talrige metoder til at teste for web-usability. De forskellige usabilitymetoder registrerer og vægter forskellige kriterier og parametre forskelligt og kan bruges i forskellige produktionsfaser. Metoderne kan også anvendes i forskellige varianter og indeholder i nogen grad træk fra hinanden. Vi valgte at anvende tre forskellige metoder i vores undersøgelse i følgende rækkefølge: Tænke-højt Interview Heuristisk Evaluering 15 Molich 2000:21 16 Ebbe Jakobsen, forelæsning Side 14

15 Overvejelserne der indgik i vores testdesign kan illustreres ved følgende figur: Sitets succeskriterier Usability Fig. 2. Model af de kriterier vi måler efter. Metoder Brugervenlighed Let at lære Let at huske Effektivt at bruge Tilfredsstillende at bruge Fejl Brugeroplevelse Tænke-højt Interview Heuristisk Evaluering Tænke-højt test Formålet med vores Tænke-højt test var at observere potentielle brugere i interaktion med websitet. Ved at bede informanterne om at Tænke-højt kan man opnå en vis grad af indsigt i hvordan de ser websitet med en brugers øjne. Man kan på den måde teste websitets brugervenlighed altså funktionalitet forstået som de fem parametre: Let at lære, Let at huske, Effektivt at bruge, Tilfredsstillende at bruge og Fejl. Tænke-højt metoden siger til gengæld ikke så meget om parametret Tilfredsstillende at bruge, idet selve metoden tager udgangspunkt i specifikke opgaver. I debriefing og eventuelle kommentarer undervejs forventer vi alligevel, at der evt. vil komme udtalelser der også kan give indsigt i brugeroplevelsen, på trods af at det primært er brugervenligheden der testes med Tænke-højt testen. Vi vælger Tænke-højt testen, fordi det er en anerkendt metode, der kan anvendes i næsten alle faser af produktudviklingen. I vores case kan en Tænke-højt test teste sidste års website (som danner basis for redesignet) og dermed vise hvilke strukturer og navigationsformer, der med fordel kan bibeholdes og hvilke der skal ændres i det nye website. Det er altså en metode, hvor vi ved at observere brugeren i færd med den brugssituation websitet skal ses i, kan notere forekomster af de otte kriterier. Vi kan derudover, udfra fortolkning af hvad informanten siger undervejs, vurdere brugerens Side 15

16 opfattelse af websitet både med hensyn til form og indhold, og evt. få brugbare designforslag ud fra hvad de siger, men også ud fra hvad de gør (hvor de intuitivt forventer at løse opgaven osv). Tænke-højt testen er heller ikke særlig ressourcekrævende der er ikke krav om dyrt måleudstyr (metoden kan fx bruges på paper mockups) Interview Metoden Interview kan i modsætning til Tænke-højt testen kun svagt måle på parametrene Let at lære, Let at huske, Effektivt at bruge og Fejl, idet der her ikke er nogen form for interaktion med websitet under Interviewet. Det man til gengæld kan måle på er Tilfredsstillende at bruge og brugeroplevelsen, for det er netop under Interviewet, at man har mulighed for at høre en uddybning af informantens mening om websitet, deres behov og forventninger, og ikke mindst forslag til websitet. Interview kan bruges i alle produktionsfaser, men da det er de generelle ting man især kan vende med brugeren, er Interview mest relevant tidligt i processen, hvis man skal nå at realisere nogle af de ting der eventuelt er kommet frem. Formålet med at gennemføre et Interview er altså at starte en dialog med brugeren omkring brugerens oplevelse af websitet. Med en sådan dialog forventer vi at opnå to ting: 1) Indsigt i brugerens oplevelse af websitet i forhold til forventninger, (følelser omkring websitets indhold og det overordnede design) 2) Idegenerere med brugeren om mulige forbedringer af websitet. Vi er ikke selv en del af målgruppen, men da websitet decideret handler om sportsaspektet omkring Tour de France med resultater og lignende ville vi gerne høre om, hvorvidt målgruppen mente der var andre sider af Tour de France de var interesserede i og om det var noget som websitet med fordel kunne inddrage. Dét er et spørgsmål, som 17 Molich 2000:101 Side 16

17 brugeren bedst kan besvare. Ikke nødvendigvis direkte, men ved at give os et indblik i den oplevelse de ønsker omkring sporten og websitet. Vi håber ved hjælp af brugerinddragelse, at identificere områder som TV2/I evt. kan tilsætte Tour-sitet og dermed give det merværdi. Det er ved hjælp af brugerinddragelse, at vi måske kan identificere nogle udækkede behov, og dermed se om usabilty metoder også kan bidrage til brugeroplevelsen Heuristisk Evaluering Formålet med vores Heuristiske Evaluering er at gennemgå websitet systematisk for typiske usability problemer. En Heuristisk Evaluering er som et filter til at rense ud for generelle problemer i forhold til websites. Der skal altså være et produkt at teste på. Vi mener det er mest hensigtsmæssigt, når websitet er næsten færdigt, men ikke nødvendigvis implementeret. Den Heuristiske Evaluering er meget på detaljeniveau og mange af de ting vi forventer at finde ved at teste på et website, der kun danner udgangspunkt for det nye, kan måske ikke bruges fordi de alligevel ikke ville blive genbrugt. Vores formål med at gennemføre en Heuristisk Evaluering er på en effektiv og hurtig måde, grundigt at gennemgå hele websitet for de principper som ligger bag de 16 heuristikker. Vi har brugt Jakob Nielsens ti heuristikker og suppleret med yderligere seks heuristikker fra Mark Pearrow 18. Den Heuristiske Evaluering måler de fem succeskriterier ved at gennemgå de fejl, der kan komme mellem brugeren og websitet. Men det er en negativ vinkel man leder efter fejl. Nogle vil måske argumentere for, at man nærmest opfinder fejl, hvis man virkelig leder. Den Heuristiske Evaluering er derfor den metode, der umiddelbart kan bekræfte designere og systemudvikleres eventuelle meninger om at usability er skolelærerens røde kuglepen, der går på jagt efter fejl. Vi mener dog, at metoden kan bruges meget 18 Pearrow 2000: kap. 6 Side 17

18 konstruktivt og evt. fungere som en checkliste eller en række principper for brugervenligt design, man kan inddrage i udviklingen af et websitedesign. Dvs. at selvom der ikke er megen vinding ved at rette i det gamle website, så kan principperne fungere som tommelfingerregler under udviklingen af Tour-sitet 2001 og alle andre fremtidige websites. Altså en form for usability manual man godt kan bryde, så længe man er bevidst om at man bryder dem og hvorfor. Den Heuristiske Evaluering benytter sig ikke af direkte brugerinddragelse, idet testen foretages af usability eksperter. Når vi har argumenteret for, at usability handler om at inddrage og lytte til brugeren, og at ingen andre end brugerne kan indtage brugerrollen hvordan kan vi så retfærdiggøre den Heuristiske Evaluering? Den Heuristiske Evaluering er udviklet af usability eksperter, der med års erfaring indenfor usability og brugerinddragelse har set et mønster i hvornår brugere lader sig irritere. Heuristikkerne er resultatet af mange brugeres input hvorfor, metoden benytter sig af indirekte brugerinddragelse. 19 Selvom de 16 heuristikker er fejlparametre, vil vi argumentere for, at fejlkriterier kan betragtes som omvendte succeskriterier, vi har derfor udledt de 16 gode råd, man kan læse ud af heuristikkerne og skrevet dem ved: J. Nielsen: 1) Visibility of system status (Det er en god ide at benytte faneblade, stier el.lign. sådan at brugeren altid ved præcis hvor han er i sitet. (stierne er fx titler- undertitler osv. som samtidig er fungerende links) 2) Matching to the real world (Brug ord fra brugerens hverdag - undgå fagjargon og abstrakte ord som ikke siger noget, således at brugeren intuitivt ved hvad der gemmer sig bag en titel/et link.) 3) User control/freedom (Sørg for at brugeren altid har kontrollen over hvad der sker. Især i transaktioner hvor skemaet skal kunne udfyldes lidt ad gangen (indtastede værdier gemmes), og det skal ikke være muligt at en transaktion starter før brugeren har bekræftet at det er det han ønsker.) 4) Consistency & webstandards (Nielsen mener hermed fx at links skal følge standard og være blå og understreget fordi at det er det som brugeren er vant til. Vi mener ikke længere at man behøver være så krakilsk, men det er uhyre vigtigt at bruge standarder så at brugeren kan bruge erfaringer fra andre websites.) 5) Error prevention (At undgå fejl siger sig selv, det Nielsen mener er at det skal prioriteres meget højt, eksterne og interne links mv. skal tjekkes dagligt.) 6) Recognition not recall (En bruger skal kunne gennemskue et system, ikke huske en kompliceret fremgangsmåde.) 19 Endelig er denne svaghed ved metoden at den ikke benytter sig af direkte brugerindragelse også en af dens styrker det er nemlig overraskende svært at finde relevante informanter. Side 18

19 7) Flexibility and efficiency of use (For at skabe fleksibilitet og effektivitet skal der fx være flere tilgange til links. I alle de tests vi har gennemført har vi observeret hvor utrolig forskelligt folk surfer på nettet. Der kan også være en god udnyttelse af nettets muligheder for at tilpasse indhold og struktur til den enkelte bruger.) 8) Aesthetic and minimalistic design 9) Help users recognize, diagnose and recover errors (Det er meget vigtigt at fejlmeddelelser er informative for brugeren. Fx er det et problem med brugerens computer eller er det websitets osv. Error 666 siger ikke brugeren noget konstruktivt.) 10) Help & documentation (Selvom systemet bør være gennemskueligt uden hjælpefunktioner osv. skal de være der. Herunder hører også indeksoversigt og/eller sitemap ) M. Pearrow: 11) Chunking (På meget informationstunge websites er det vigtigt at dele teksten op så den er overskuelig. Pearrows eksempel er at vi alle kan læse og huske et tlf. Nr , men et 8 cifret tal er langt mere uoverskueligt ) 12) Inverted info-pyramid (Den omvendte nyhedstrekant er et princip fra journalistikken, som går ud på at den vigtigste information står først. Pointen er at folk ikke skal læse hele artiklen for at få det vigtigste med. Det gælder dobbelt på nettet fordi folk ikke vil læse lange tekststykker på en skærm.) 13) Above the fold (Der er mange brugere der ikke scroller. Dette er ikke længere så udpræget, men det er vigtigt at de vigtigste informationer og links står så højt på siden at man ikke behøver at scolle. 14) Avoid gratuitous use of features (Brug kun flash, frames, Java scripts osv hvis det kan undgås.) 15) Scannability (Gør teksten læsevenlig - i modsætning til hvad der er læsevenligt på tryk så er skærmlæsning lettere med en font uden fødder fx Verdana). Giv links luft så de er synlige. Lav korte paragraffer.) 16) Speed (Vær bevidst om down load tid i billedbrug/opløsning og andre multimediale elementer der skal tages højde for målgruppens båndbredde begrænsninger, server load, netværk m.v.) 20 Selvom den Heuristiske Evaluering går meget på at identificere usabilitykriteriet "Fejl", dækker fejltyperne over træk der vil have indflydelse på de andre parametre fx Let at lære (heuristik 1, 2, 4, 6, 7, 9, 10), Let at huske (fx heuristik 2, 6, 10 ), Effektivt at bruge (fx heuristik 3, 5, 7, 9, 11, 12, 13, 15), Tilfredsstillende at bruge (alle heuristikkerne ), og endelig Fejl (alle, især heuristik #5). Det eneste der ikke måles er oplevelse. I den Heuristiske Evaluering skal alle de fundne problemer prioriteres. Nielsen har opstillet fire ratings 21 : 1. Kosmetisk problem. Behøver ikke at rettes, dog hvis ekstra tid/ressourcer er tilstede. 2. Minor usability problem. Lav prioritet. 3. Major usability problem. Høj prioritet, vigtigt at få ordnet. 4. Usability katastrofe. Skal rettes førend produktet publiseres/udgives. 20 Pearrow 2000: kap Nielsen 1993:103 Side 19

20 Ofte præsenteres resultater fra Heuristiske Evaluering i en graf, der giver et hurtigt overblik over hvor brugervenligt et website er. Vi har ikke nødvendigvis et behov for at vise hvor brugbart et website fra sidste år er vi bruger hovedsageligt den Heuristiske Evaluering som en rettesnor til en systematisk og grundig gennemgang af websitet for typiske usability problemer. 3.0 Overvejelser omkring testdesign og gennemførelse af test Vi har lavet usability undersøgelsen på sidste års Tour-site, for at komme med konstruktive forslag til hvordan websitet kan forbedres i år. Vi valgte, at teste sidste års website på en testserver uden database adgang, altså med begrænset funktionalitet i stedet for på ufærdige paper mockups 22. Man kan sagtens teste på sådanne mockups, men der var på det tidspunkt vi skulle gennemføre tests, kun udarbejdet fem paper mockups, som var ud fra de faste designlinjer - der var således ikke noget indhold vi kunne teste på. Indholdet skabes først mens cykelløbet kører. Endelig ligger strukturen og indholdsemnerne fra det gamle website ikke langt fra dette års. For ikke at teste på irrelevante områder af websitet, har vi forholdt os til de elementer, som TV2/I har valgt at udelade i dette års koncept, ligesom vi ikke finkæmmer for småfejl i brødteksten, som refererer til sidste års website, og som alligevel ikke vil blive overført til det nye website. Ved at bruge de tre forskellige metoder, der hver især kan bidrage med forskellige indfaldsvinkler til belysning af brugervenlighed/brugeroplevelse, har vi skabt et integreret testdesign. Testdesignet er sammensat ud fra, hvad vi ønsker at dække, hvad vores undersøgelsesfelt er, og en vurdering af hvordan de ressourcer vi har til rådighed bedst kan udnyttes. Dvs. vi har overvejet værdien af de forskellige metoder, antallet af informanter osv. overfor de ressourcer vi har haft til rådighed. 23 Endelig vil de resultater som undersøgelsen når frem til være tænkt som en del i den videre produktionsudvikling af dette års udgave af Tour-sitet. 22 Se bilag For detaljeret testdesign, se bilag 1, 2 og 3 Side 20

21 3.1 Tænke-højt overvejelser i forbindelse med testdesign Formålet med Tænke-højt testen er at få et indblik i informanternes interaktion med Tour-sitet og ikke mindst at få dem til at sætte ord på, hvorfor de foretager de valg de gør. Vi valgte at udføre fem Tænke-højt tests. Valg af informanter Tidligere erfaring har vist os, at informanter ikke er nemme at få fat i. Derfor valgte vi på et meget tidligt tidspunkt at værge vores informanter. Vi ønskede ikke et repræsentativt udsnit af befolkningen, men derimod en testgruppe sammensat af informanter, der potentielt var i målgruppen for det website, vi skulle teste på. Vi valgte derfor seks Tour de France interesserede informanter, der har fulgt med i Tour de France i flere år og som bruger internettet, enten som normalbruger eller som ekspertbruger (i en tredeling hvor ikke-brugere udgør det tredje alternativ) dvs. personer, som vi mener, hører til websitets målgruppe. TV2/I har selv bedømt målgruppen bredt som folk mellem 15 og 45 år. Vores informanter var indenfor denne aldersgruppe. Desværre meldte en af informanterne fra. Figur 3 illustrerer, hvor informanterne befinder sig i forhold til Tour de France og internettet samt deres brug af moder sitet tv2.dk. Brugere af tv2.dk målgruppe X X Tour de France interesserede personer X X Brugere af internettet X Fig. 3 Hver testdeltager underskriver en samtykkeerklæring 24 inden testen påbegyndes. Erklæringen giver os ret til at bruge deres udsagn, så længe vi sikrer deres anonymitet. Vi er i denne forbindelse opmærksomme på, at informanterne ikke må føle sig pressede til eller nervøse omkring at underskrive, hvorfor vi vil forklare dem aftalens indhold først. 24 se bilag 4 Side 21

22 En testsituation kan være stressende for informanten, og det er derfor testlederens etiske pligt at skabe tillid og undgå, at informanten skal igennem unødigt ubehag. Informanten skal have at vide, at det er websitet og ikke ham, der testes, og at han kan sige fra og forlade testen undervejs. Informanterne skal ligeledes vejledes i, hvordan de skal tænke højt under testen for at indvie os i deres tanker omkring websitet: Både positive og negative reaktioner på det æstetiske design, funktionaliteten og indholdet. Vi vil understrege, at websitet er et testsite uden forbindelse til databasen, hvorfor mange funktioner ikke fungerer, og at informanten derfor, så vidt muligt, skal se bort fra dette. For at vise informanterne, at vi sætter pris på deres deltagelse vil der under hele testforløbet (også det efterfølgende interview) være kaffe, vand, slik og popcorn samt en æske chokolade til hver af informanterne som tak for hjælpen. Udformning af opgaver og spørgsmål Testen foretages individuelt og indledes med en række korte spørgsmål om informantens alder, uddannelse, placering i målgruppen mht. til interesse for Tour de France og brug af internettet for at fastlægge informantens brugerprofil. Derudover skal spørgsmålene belyse informanternes forventninger til websitet, inden han ser hvad websitet reelt indeholder. Til selve testen har vi udformet 17 opgaver 25, som er en blanding af både lette og lidt sværere opgaver. Vi har været bevidste om at begynde seancen med en forholdsvis let opgave for at gøre informanten rolig ved situationen. Derfor har vi også valgt, at gøre opgaverne løsbare (indenfor websitet) idet vi ud fra tidligere tests har erfaret at det kan være et stort irritationsmoment for informanterne hvis der ikke findes en løsning på opgaverne; det resulterede fx i, at informanterne følte sig forlegne. Vi har derfor allerede ved formuleringen af spørgsmålene været bevidste om informanternes velbefindende. 25 Se bilag 1 Side 22

23 Vi stiller opgaver, som skal føre brugeren rundt på websitet, for at de fem parametre så vidt muligt bliver testet udfra hele websitet. Fx stiller vi opgaver indenfor samme linksti for at teste huskbarheden. Vi vil gennemføre en pilottest før den egentlige Tænke-højt test for at afprøve testdesignet fra informantens perspektiv. Udover at sikre os løsbarheden af opgaverne, skal pilottesten også hjælpe os til bedre at kunne vejlede informanterne før og under testen. Samtidigt vil en pilottest også give os et bedre overblik over testforløbet, hvorfor vi kan justere testdesignet med hensyn til antallet af opgaver i forhold til tid, skærmopsætning, valg af browsertype m.v. Tænke-højt testen afsluttes med en kort debriefing, hvor informanterne skal komme med deres generelle holdning til websitet, til selve testen og evt. uddybe valg, som er uklare for testleder og notetager. 26 Endnu to vigtige spørgsmål i forhold til testens validitet er, at spørge til om opgaverne er realistiske i forhold til, hvad informanterne selv ville lede efter, og om de mener, at testsituationen påvirkede den måde, de surfede på. Spørgsmålene til denne del er altså mere eller mindre indlejret i metoden. For at understrege den afslappede atmosfære, som gerne skulle have præget hele testen, holdes debriefingen i en uformel tone. Hvordan vi dokumenterer Undervejs, mens informanten tænker højt, bliver han iagttaget af en testleder, den som fungerer både som iagttager og vejleder, hvis informanten har nogle spørgsmål omkring testen. Udover testlederen vil en notetager, der sidder næsten ude af informantens synsfelt, noterer mimik, kropssprog og udtalelser også de positive kommentarer, som er mindst ligeså brugbare som de negative. Derudover skal notetageren så vidt muligt løbende skrive forklarende kommentarer til de otte kriterier. Vi har aftalt at gøre denne form for dokumentation gældende for alle fem Tænke-højt tests for at ende med mere eller mindre standardiseret data. 26 Molic1994:108 Side 23

24 3.2 Interview overvejelser i forbindelse med testdesign Vores formål med Interviewene er at klarlægge, hvad en god Tour de France oplevelse indebærer - på og udenfor internettet ved at vurdere brugernes tilfredshed og oplevelse i forbindelse med brugen af websitet. Vi vil også gerne identificere informanternes mediebrug omkring sport, sportslige interesser, uddybelse af oplevelser fra Tænke-højt testen og få en afklaring på eventuelle misforståelser opstået under testen. Vi ser på oplevelsen med websitet i forhold til forventninger og behov, samt forslag til ændringer af indhold og koncept. Valg af informanter Interviewene bliver gennemført umiddelbart efter Tænke-højt testen og vi benytter os af de samme informanter. For det første vil vi udnytte at vi har informanterne inde og derudover det vigtigste at alle informanterne har en frisk erindring om websitet, så de vil har lettere ved at tale om det og associere i forhold til websitet og Touren. Udformning af spørgsmål Vi har udformet en række spørgsmål, der især handler om forventninger og krav til et website om Tour de France. Vi har formuleret nogle enkelte indledende spørgsmål, som placerer informanterne i forhold til deres medieforbrug og behov. Vi ønsker ikke en meget stringent testplan for Interviewforløbet, hvorfor vi har forsøgt at formulere hovedparten af spørgsmålene ud fra vores begrænsede viden om emnet. Vi ønsker altså således at benytte en række spørgsmål, som helst skal virke mindre styrende. I Interviewet efter Tænke-højt testen ønsker vi ligeledes en afslappet stemning for at undgå, at informanterne føler sig usikre og måske undlader at komme med kritik eller vilde ideer. Det vil vi blandt andet forsøge at opnå, ved så vidt muligt at interviewe informanterne to og to, for at skabe en dynamik, der kan ligge i en samtale omkring informanternes fælles interesse, her Tour de France. Derudover vil vi hovedsageligt bruge vores forberedte spørgsmål som emneområder, der skal kunne inspirere til sparring mellem informanterne frem for en slavisk gennemgang af spørgsmålene. Vi ønsker altså at forløbet holdes så uformelt som muligt, hvorfor vi vil opmuntre til associationssamtale. Side 24

25 Som tidligere nævnt sprang en informant fra, og den sidste informant har ikke mulighed for at deltage samtidigt med de andre, hvorfor det tredje interview vil foregå med kun én informant. Hvordan dokumenterer vi? Når Interviewformen er svagt struktureret ved hjælp af de forberedte spørgsmål, kan det være svært at standardisere dokumentationen fra Interview til Interview, men vi vil forsøge at strukturere svarene udfra spørgsmålene og derudover notere informanternes øvrige udsagn. Der vil kun være én notetager under interviewet, hvorfor hans subjektive opfattelse af forløbet vil præge den indsamlede data, til gengæld vil vi alle fem deltage i Interviewet for at højne validiteten gennem en fælles referenceramme. 3.3 Heuristisk Evaluering overvejelser i forbindelse med testdesign Formålet med den Heuristiske Evaluering er at støvsuge Tour-sitet for generelle usability problemer. Evaluatorer Den Heuristiske Evaluering inddrager ikke brugeren, idet den er baseret på en ekspert vurdering. Nielsen argumenterer for, at man med fem evaluatorer kan afdække 75% af et websites usabiltyproblemer. 27 Idet vi netop er fem, har vi her muligheden for at foretage en reel Heuristisk Evaluering, som den anbefales, hvorfor vi indtager rollen som evaluatorer. Vi har afsat en time til testen, hvor evaluatorerne individuelt vil gennemgå sitet for de 16 heuristikker. Hvordan dokumenterer vi? Fordi vi foretager den Heuristiske Evaluering på et website, som ikke er fuldt funktionsdygtigt (teknisk begrænset), er der enkelte af de 16 heuristikker, som vi ikke kan måle på. Vi har derfor aftalt at se bort fra heuristik nr. 5 (Error prevention) og heuristik nr. 16 (Speed). 27 Nielsen, 1993:156 Side 25

26 Efter testen samler vi vores data og diskuterer os frem til et samlet resultat og en samlet rating af problemerne. For at gøre denne proces enkel har vi forsøgt at standardisere den måde, hvorpå vi hver især foretager dokumentationen. Vi har vedtaget, at én fejl kun vil kunne figurere indenfor én enkelt heuristik og derfor kun tælles med en enkelt gang, selvom det kan diskuteres, om problemet kan tilhøre flere heuristikker. Dette gælder ligeledes for fejl der går igen flere steder på websitet. Vi har valgt at tælle disse fejl med som generelle fejl, fremfor at lade dem figurere flere gange i vores statistiske oversigt. 3.4 Testresultater De fleste af funktionerne er rimeligt overskuelige! 28 Informanterne udtrykte generelt at websitet opfyldte deres krav og forventninger til hvad der skulle være på et website. Derudover viste den Heuristiske Evaluering også at de meget få katastrofale fejl ikke direkte førte til at systemet gik ned eller lod brugeren i en uforløst situation. Der viste sig dog en række problemstillinger, hvoraf de mest centrale og vigtigste vil blive gennemgået for de enkelte undersøgelser. Tænke-højt Vi mener, at det lykkedes at skabe en behagelig stemning hvor informanter kunne tale frit. Alle de opgaver, vi stillede i Tænke-højt testen kunne løses, men ikke alle opgaver blev løst, hvilket i nogle tilfælde førte til irritation hos informanten. Informanterne fandt generelt opgaverne forholdsvis lette at løse og realistiske, alle informanter var positivt stemt overfor websitet efter testforløbet. 28 informant #3, debriefing se bilag 5 Side 26

27 Grafen nedenfor illustrerer de 17 spørgsmål og antallet af problemstillinger, der opstod under Tænke-højt testene. Opgave # Usability problemer fordelt på opgaver Antal : Hvordan ville du finde ud af hvem der førte i dag? 2: Hvor mange danskere er med i løbet? 3: Hvornår var den første Tour de France? 4: Hvor mange cykelryttere deltager i Tour de France? 5: Hvor er 3. etape? Hvordan er dens karakteristika? 6: Hvad hedder de danske ryttere? 7: Find holdopstillingen for Team US Postal Service 8: Find TV oversigten over Tour de France programmer 9: Find oplysninger om Zabel 10: Find ud af hvem der vandt Tour de France i : I hvilket tidsrum sendes Tour'en live på nettet onsdag d.19? 12: Hvor ville du forvente at finde den seneste nyhed? 13: Find et link til den officielle Tour de France site 14: Hvor ville du lave et indlæg til debatten om doping? 15: Find videoklip fra 2. etape 16: Hvor mange cykelrytter har vundet Tour de France 5 gange? 17: Hvordan ville du klage over sitet? Fig.4 Der var generelle problemer med at løse opgaverne 1, 4, 8, 9, 10, 13 og 15. Navnligt spørgsmål 13 var problematisk. Opgave 13 gik på at finde linket til den officielle Tour de France website som var et logo der befandt sig lige under scroll kanten. Flere af informanterne scrollede ikke og de som gjorde opdagede ikke at logoet var et link. Vi har taget de problemer, vi observerede under Tænke-højt testen og som informanterne kommenterede før, under eller efter selve testen, og prøver at komme med konstruktive forslag til, hvordan de kan løses, sådan at testresultaterne kan påvirke videreudviklingen af dette års Tour de France website i en positiv retning se bilag 6 for detaljeret designmanual baseret på gennemgang af data Side 27

28 Hyppigst forekommende usability problemer Antal forekomster Typer af usability problemer 1. Systemet går ned 2. Brugeren opgiver 3. Gennemfører ikke på 3 min forgæves forsøg 5. Bruger viser overraskelse 6. Udtrykker sig negativt 7. Designforslag 8. Andre problemer Fig. 5 Opgaverne løses inden for tre minutter. Når informanterne valgte at opgive at løse opgaven, gjorde de det, inden de tre minutter var gået. Typisk i denne rækkefølge: 1. Informanten finder ikke informationen. 2. Udtrykker sig negativt om websitet. 3. Gætter mere end tre gange på, hvor informationen er. 4. Opgiver at løse opgaven (evt. suppleret med et designforslag i forhold til hvordan informationen kunne have været tilgængelig). Testresultaterne indeholder overvejende negative kommentarer, på trods af at informanterne udtrykte en generel positiv holdning. Dette er muligvis et resultat af, at informanterne blev opfordret til at være kritiske og observerende, og enhver irritation skal derfor ikke tolkes som, at opgaven ikke kan løses. Der er også registreret en række overraskelses udbrud. Overraskelserne kan forstås både som en positiv undren fx næ, er det et link? 30 eller en mere negativ konstatering nå, så er vi inde på TV2s egen hjemmeside! Informant #2, bilag 5 31 Informant #3, bilag 5 Side 28

29 Interview - oplevelse Informanterne udtrykte generelt stor tilfredshed med brugen af websitet, deres kommentarer viser, at websitet stort set dækker deres forventninger. Informanterne nævnte enkelte funktioner og indholdselementer, som ville kunne øge brugbarheden af websitet. Mest markant er ønsket om et oversigtskort over Frankrig med samtlige ruter angivet. Et andet punkt er, at websitet gør for lidt ud af at vise, at man her rent faktisk kan se live videostreaming fra dagens etape. Der var også enkelte ønsker om mere af det udenom cykelløbet, altså om landområderne, cykelrytternes udstyr, kost osv. Selvom informanterne er tilfredse med websitet, er der alligevel kun to af informanterne, der betragter sig selv som målgruppen, på trods af at de er Tour de France fans og daglige brugere af nettet. TV2/I er altså nødt til at skabe en overbevisende merværdi, for at de bliver faste brugere. Udover de konkrete forslag og meninger rejste informanterne også en række spændende diskussioner omkring selve Tour de France oplevelsen og de forskellige virkemidler, internettet benytter. Det er måske her, at TV2/I kan skabe en merværdi, der kan være med til at tiltrække nye faste brugere. Opsummering af Tænke-højt og Interview Informanterne sagde selv at Tour oplevelsen for dem handlede mest om sport, men udfra vores forholdsvis begrænsede undersøgelse mener vi alligevel, at kunne se et mønster i de krav, som informanterne opstillede til websitet de samles i to generelle brugerscenarier: Scenarie A Mikkel vil bruge websitet for at holde sig ajour med de nyeste resultater fra Tour de France. Især fra arbejdspladsen. Dvs. et asynkront informationsbehov med krav om hurtig opdatering, mest nyheder, men også streaming (han har bredbånd fra arbejde). Side 29

30 Mikkel er ikke interesseret i det udenom, for ham er Tour de France som alle andre cykelløb, bortset fra at dækningen er større. Og så selvfølgelig cola-pigerne. 32 Scenarie B Rasmus ser Tour de France på TV, men går på nettet for at få uddybende information. Fx anekdoter, ruten med vinområder, oversigt over ruten, cykeludstyr osv. Dvs. både udenomsting, men også dybdegående information om Touren historisk mm. Rasmus forventer, at TV2 s website har hyperlinks ud til mere detaljerede websites, fx websites for de enkelte hold. Hvis nu TV2 kunne stå inde for eksterne links og fungere som portal... Lige nu kan websitet ikke mere end en avis eller tour sektion. 33 Til gengæld er Rasmus ikke så interesseret i streaming, Streaming giver ikke så meget, der er ingen filmisk skønhed, det er kvaliteten for dårlig til grynet og lille 34. Rasmus synes at Tour De France er noget særligt Verdens hårdeste cykelløb, der er en aura omkring det. 35 Rasmus er glad for Mader og Leth stilen Mader og Leth er gode til det med historier og anekdoter... lave lokalreportager så det ikke kun er cykelløb. 36 Rasmus vil have hele Tour de France oplevelsen på websitet, dvs. også Noget om cykelrytternes kost, puls, osv... livet for rytterne og deres cykeludstyr 37. Mikkel kan om aftenen sagtens have nogle af de samme behov som Rasmus. Det er et spørgsmål om brugssituation, og ikke nødvendigvis forskellige personer. Det ene scenarie udelukker altså ikke det andet. Generelt gav informanterne udtryk for de samme behov og forventninger som Mikkel. De behov lever websitet op til i dag. Men som nævnt finder informanterne ikke, at websitet kan tilbyde dem noget, som de ikke får via andre medier. Dette er måske et generelt træk ved informanternes forhold til internettet, som en informant sagde De lader som om, at 32 informant #3, bilag 7 33 informant #2, bilag 7 34 Ibid 35 informant #3, bilag 7 36 Ibid 37 Ibid Side 30

31 de vil fortælle folk noget og så gør de det ikke ordentligt. Det er typisk for internettet...een gang så gider jeg ikke komme igen [til et website]. 38 Internettets mulighed for hyperlinks mm kunne godt udbygges, så det var muligt for den enkelte bruger at opdyrke sin egen individuelle Tour de France oplevelse. En informant sagde det således, [der er] meget information og dog under historie er der godt nok ikke meget den er ikke spækket med information websitet har nok hvad 90% af folk ønsker at finde, men internettet i dag skal være et overflødighedshorn. 39 Heuristisk Evaluering Inden vi påbegynder gennemgangen af de fundne problemstillinger i forbindelse med den Heuristiske Evaluering vil vi blot gøre opmærksom på at websitet fungerer tilfredsstillende i mødet med brugerne, og at fejlene her repræsenterer et fokus på fejl og brud på webstandarder. Antal forekomster Fig Ratings Rating 1: Kosmetisk usability problem Rating 2: Minor usability problem Rating 3: Major usability problem Rating 4: Katastrofe Søjlediagrammet 40 illustrerer fordelingen af fejl på de fire ratings. Undersøgelsen viser fire usabilityproblemer, der kan henføres til rating fire, og som derfor anses for værende katastrofale fejl, der straks bør rettes. Websitet havde Informant #3, se bilag 6 39 Informant #5, se bilag 7 40 Figur 6 er inspireret af Pearrow 2000:189 Side 31

32 usability problemer, som er rated til tre og som derfor må betegnes som større usabilityproblemer, der er vigtige at få løst. De resterende 19 problemer er enten kosmetiske eller mindre usabilityproblemer, som TV2/I bør overveje at løse Fig. 7 Heuristiske problemer Visibility Matching User control Consistency Error Recognition Flexibility Aesthetic Help users Help and documentation Chunking Inverted info pyramid Above fold Avoid gratuitous use of features Scannability Speed Figuren 41 viser de antal fejl, vores undersøgelse har afdækket, fordelt på de 16 heuristikker. Eksempelvis fandt vi 10 fejl til heuristik nr. 1 Visibility. Diagrammet viser, at de mest hyppige fejl, vi har fundet på websitet knytter sig til: Heuristik nr. 1: Visibility Heuristik nr. 4: Consistency Heuristik nr. 13: Above the fold 41 Figuren er inspireret af Pearrow 2000:189 Side 32

33 Vores undersøgelse viser således, at websitet mange steder har problemer med at tilbyde brugeren konstant mulighed for at orientere sig på websitet. Et problem, som kan skabe stor irritation og få brugeren til at føle sig dum. Undersøgelsen viser også, at websitet på trods af at det er et forholdsvist lille website, flere steder ikke overholder almene webstandarder. Blandt andet mangler der en hovedoverskrift på en enkelt side ("På TV2"), hvilket er katastrofalt, mens andre overskrifter ikke virker dækkende for det indhold, de repræsenterer. Det er et generelt problem, at man ikke kan klikke på mange af websitets bjælker, som designmæssigt signalerer klikbarhed for brugeren. Det er også et generelt problem, at websitets indhold kun fylder 2/3 af højden af skærmen. Navigation og bannere optager resten. Navigationen kunne derfor med fordel designes, så den fylder mindre. Om hvorvidt bannere må fylde mindre på websitet, må være et forhandlingsspørgsmål mellem TV2/I og sponsorerne. Dog vil vi anbefale, at man laver websitets bannere mindre dominerende og prioriterer plads til mere indhold. Websitets søgefunktion skal man lede længe efter, hvis man ikke kender websitet godt i forvejen. Da søgefunktionens opgave jo netop er at hjælpe brugeren med at søge på websitets indhold, er det til stor irritation, at man først "skal søge efter søgefunktionen, før man kan søge efter det, man søger". Vi foreslår, at TV2/I flytter søgevinduet op i websitets øverste del, gerne øverste højre halvdel, hvor mange vil forvente at finde websitets søgemaskine. Derudover skal søgefunktionen have en lokal/intern valgmulighed. Eftersom TV2/I anser websitets videogalleri og billedarkiv for værende blandt de vigtigste elementer, som de fremover vil bruge til at promovere websitet på, er det et problem, at både videogalleri og billedarkiv ligger "under folden", og at man skal scrolle lodret for at finde frem til det. Disse for TV2/I så vigtige elementer, bør flyttes højere op i skærmbilledet (især med tanke på en mindre skærm) og have links fra forsiden. Side 33

34 Opsummering af testresultaterne Vi har vurderet de forskellige testresultater og sammenfattet dem til en række forslag til videreudvikling af websitet. Problemstillingerne, som er fremkommet i dette testforløb, kan inddeles i to niveauer: Et som kun kan ændres ved ændringer af TV2s generelle standard for deres websites (designmanual) og et andet der berører problematikker i forhold til underordnede beslutninger taget omkring Tour-sitet. Let at lære Brugerne fik hurtigt overblik over den grundlæggende struktur. Testen viste at websitet virker overskueligt og indeholder meget relevant information i forhold til dets målgruppe. Der var ingen større problemer med opgaverne og der var kun syv tilfælde (ud af 85), hvor opgaverne blev opgivet. Dette vidner om, at websitet er forholdsvist let at gå til og lære. Let at huske Informanterne havde let ved at huske, når de tidligere havde set information, som knyttede sig til et senere spørgsmål. Informant #4 udbrød begejstret Jeg har set noget om det det ved jeg allerede hvor er. Dog kunne de ikke altid umiddelbart finde frem til den samme side, hvor den relevante information var placeret. Effektivt at bruge Da websitet lå på en testserver og ikke havde opkobling til dets database, var det vanskeligt at vurdere effektiviteten, da der optrådte forholdsvist mange fejlmeddelelser, inaktive links etc. undervejs i opgavescenarierne. Den lige vej til informationen, blev mere en kringlet sti med et antal blindgyder. Dog lykkedes det informanterne at løse langt de fleste opgaver inden for tre minutter, hvilket i nogen grad kan tolkes som et udtryk for at websitet er effektivt at bruge. Derudover havde vi informeret informanterne om, at de havde løst opgaven, når de havde fundet det link, som, hvis databasen var oppe, ville have besvaret opgaven. Når brugere skal udføre en opgave, er det vigtigt, at strukturen og logikken er opbygget på en sådan måde, at opgaven er nem og ligetil løse. Side 34

35 Websitet gav informanterne problemer med at finde enkelte ryttere uden at kende deres hold. Tilfredsstillende at bruge Tænke-højt testen fortæller kun i et begrænset omfang noget om brugertilfredsheden. Det fremgår kun i en fragmenteret form ud fra de indledende spørgsmål, der søger at uddybe informantens brugerprofil og dennes forventninger til websitet og i debriefingen hvor informanten kan generalisere omkring sin oplevelse af websitet. Den heuristiske evaluering siger ikke noget om tilfredsstillelsen bortset fra som vi har sagt, at det selvfølgelig hænger sammen brugervenligheden skal være i orden, for at et website kan være tilfredsstillende at bruge. Fejl Der kan på baggrund af Tænke-højt testen ikke siges noget om de fejl, der direkte afbryder brugeren i løsningen af opgaverne, det skyldes at det ikke er muligt udfra testmaterialet at sige noget om sitets brugbarhed i forhold til dette parameter. Endelig er deciderede fejl ikke så relevante for vores undersøgelse deciderede fejl vil jo ikke overføres fra et gammelt website til et redesignet website. Oplevelse Der er forventning til, at websitet skal kunne noget andet end hvad man kan se på fjernsynet, fx linke til andre relevante websites. På den ene side er der et behov om at følge med i Tour de France, hvis man er afskåret fra at følge med live på TV fx på arbejdet. På den anden side er der et ønske om selv at kunne vælge at se udvalgte videoklips fra dagens højdepunkter. Vi foreslår yderligere brugerinddragelse, evt. spørgeskema, for at gå videre med muligheden for at skabe en merværdi, der udnytter mediets styrker. Side 35

36 4.0 Metodediskussion og refleksion Vi har igennem rapporten vist, hvordan TV2/I kan inddrage usability i deres webproduktion ved først at lave et testdesign og dernæst gennemføre et testforløb. I det efterfølgende vil vi reflektere over vores brug af de udvalgte metoder og diskutere vores testdesigns validitet: Hvad kunne vi have gjort anderledes og hvad lærte vi i processen? Endvidere vil vi kort diskutere kvalitative og kvantitative metoder i tilknytning til behovet for metodetriangulering i et usability testforløb og brugerinddragelse i produktionsprocessen. Vi skelner mellem testmaterialets validitet, dets gyldighed i forhold til undersøgelsesfeltet, og testresultaternes reliabilitet, dvs. deres pålidelighed. 42 Hvorvidt en test er valid afhænger af, om man er endt med at måle det, man ønskede at måle. 43 Når man snakker om et testdesigns validitet afhænger det altså af, hvorvidt vi har udarbejdet et testdesign, der er så præcist at det, hvis det følges, vil resultere i data, der omhandler de faktorer, vi havde brug for at få belyst. Vi har søgt at udarbejde et testdesign, der kunne belyse vores problemformulering, altså brugervenligheden og brugbarheden på et website i redesignfasen. Da vi i undersøgelsen opererer med en række variabler (fx placering indenfor en af de fem måleparametre og den enkelte evaluators fortolkning), har vi brugt forskellige strategier for at mindske usikkerhedsmomenterne ved de udvalgte metoder, derigennem håber vi at højne den samlede validitet af den indsamlede data. Alligevel er der flere usikkerhedsmomenter i testdesignet, der kan have haft en indvirkning på vores resultater. Fx med hensyn til valg af informanter, gennemførslen af de tre metoder og udarbejdelsen af arbejdsopgaver i tænke-højt testen, spørgsmål og design af Interview undersøgelsen og evaluator effekten i vores Heuristiske Evaluering. 42 " reliability (i.e., the extent to which independent evaluations produce the same result) and validity (i.e., the extent to which the problems detected during an evaluation are also those that show up during realworld use of the system) Hertzum & Jacobsen 200: Lund, 1986:29 Side 36

37 4.1 Tænke-højt test Tænke-højt metoden udmærker sig ved dens evne til at inddrage brugere og teste brugervenligheden på det website, som vi ønskede at belyse. Vi testede på sidste års Tour-site istedet for indholdsfattige paper mockups af dette års site. Igennem resultaterne var det muligt at nå til en forståelse i forhold til indhold og form, informanterne havde en klar idé til hvad de forventede og kunne regne med af informationer i forhold til et Tour de France website, og derudover blev sidste års design og struktur evalueret hvilket er en stor fordel for det videre designarbejde af dette års udgave. Det grundlæggende koncept er altså det samme. Hvis vi derimod skullet teste på et helt ufærdigt koncept, kunne vi have brugt Cultural Probes metoden, som fokuserer på idégenerering af indhold 44. Vi kunne med Cultural Probes metoden være kommet frem til en række nye elementer til TV2/I. Ved brugerinddragelse på et ufærdigt website ville Tænke-højt forløbet have været begrænset til kun at omhandle indholdselementer og ikke formen. Vores Tænke-højt test antydede et behov for en klarere angivelse af indhold i forhold til menupunkterne, og det ville have været nærliggende at inddrage Card-sort metoden 45 efterfølgende. Informanterne udtrykte generel tilfredshed med websitet og dets indhold, men i enkelte tilfælde forventede de et andet indhold bag overskrifterne, fx er menupunktet Live ikke dækkende nok for alle de elementer, den dækker over. Det, Card-sort metoden kunne have bidraget med, var et indblik i brugerens intuitive strukturering af indhold i forhold til websitets menupunkter. Vi opstillede klare retningslinjer for, hvordan der skulle tages noter, og hvordan testlederen skulle agere med informanten under testforløbet. Blandt andet var både velkomsten og opgaverne skrevet ned på forhånd, så alle informanter så vidt muligt oplevede retningslinjerne ens. For at få sammenlignelige data besluttede vi os derudover for en standardiseret noteteknik og brugte dertil et skema med de otte kriterier. De otte 44 Gaver & Pacenti Pearrow 2000:63-69 Side 37

38 kriterier gjorde det muligt for os let og overskueligt at få indført dataene i en standardiseret form, hvorved dataene blev håndterbare. Vi mener, at vi kunne have opnået en større og mere uddybet datamængde, hvis testleder og notetager efter testen havde gennemgået de indsamlede data. For at skabe en afslappet stemning, nøjedes vi med at være to evaluatorer i Tænke-højt testene, én evaluator og én notetager. Dette rejser problematikken omkring dokumentation og validitet i testen. Validiteten af testen ville måske blive højere ved tilstedeværelsen af flere evalutorer og optagelse af testen på video. Dokumentering af testforløbet ville blive forbedret, men informanten ville muligvis blive mere stresset af testsituationen. Var informanterne repræsentative? TV2/I definerer deres målgruppe bredt som personer i alderen år. Vi søgte en vis bredde i testgruppesammensætningen i forhold til informanternes erfaring med internettet, alder og køn. Det var svært at udvælge informanter til testen. Der fremkom forholdsvis mange designforslag, hvilket kan være et resultat af at to af informanterne er studerende fra IT-højskolen og har arbejdet med webdesign, og derfor er vant til at vurdere og konstruere grafiske løsninger til internettet. Vores informanter var repræsentative for målgruppen, men vi opnåede ikke helt den bredde i sammensætningen af informantgruppen, som vi ønskede. De var alle mellem 27 og 35 år, og fire ud af fem kaldte sig selv for ekspertbrugere. Havde vi haft en større variation i sammensætningen ville resultaterne have været mere repræsentative og nogle andre mønstre ville evt. have vist sig. Opgaverne til informanterne Vi mener, at opgaverne skulle kunne løses og gennemførte derfor pilottests for at sikre dette og for at justere spørgsmålene i forhold til den tid, vi havde afsat til at gennemføre testen. Vi fravalgte bevidst de elementer, som vi vidste TV2/I ville tage ud af dette års Tour-site. Side 38

39 Måske havde opgavernes lethed betydning for informanternes helhedsindtryk af websitet. Vores valg mht. at gøre opgaverne løsbare medvirkede til, at informanterne oplevede en mindre grad af stress og at testen som helhed efterlod et overvejende positivt indtryk af websitet. Havde spørgsmålene været sværere eller umulige at løse, ville indtrykket måske havde været anderledes. Vi syntes, at det var vigtigt, at de stillede opgaver var realistiske og relevante for informanten. De skulle helst afspejle et scenarie over nogle informationsbehov, som brugere ville forsøge at få tilfredsstillet ved hjælp af websitet. Man kan overveje, om man burde udarbejde opgaverne med websitets reelle indhold i tankerne, eller om man helt skal forlade sig på realistiske scenarier og dermed risikere at stille opgaver, der ikke nødvendigvis kan løses. Det ville være en mere realistisk situation, hvor man kunne teste tiden for hvornår informanten opgiver, eller om websitet formidler sine egne begrænsninger ved at fortælle informanten at den specifikke information ikke findes på websitet. Men dette er en testsituation og det, at blive stillet overfor konkrete opgaver, kan ikke sættes lig den måde informanterne ville surfe på Tour-sitet, hvis de var alene. Testsituationen sætter således informanten i en kunstig brugssituation og informanten bliver genstand for evaluatorernes subjektive fortolkning. Informanterne kan blive påvirket af situationen og bruge ekstra længe på at løse opgaverne for at behage testlederen. Eller det omvendte - at informanten bliver utålmodig og hurtigt opgiver, altså giver websitet skylden frem for selv at virke dum i en situation, hvor man bliver observeret. 4.2 Interviewene Vi spurgte i interviewene til de elementer, som TV2/I ville tage ud, for at skabe en fornemmelse af deres relevans for dette års brugere af websitet. Vores testmateriale viste, at informanterne var forholdsvis enige om, at elementerne kunne undværes, kun anekdoter var nogle af informanterne ikke afvisende overfor. Side 39

40 I interviewene satte vi informanterne sammen to og to (så vidt muligt) for at skabe en afslappet stemning og dynamik. Vi erfarede dog, at et af interviewene var meget domineret af én af informanterne, hvorfor den anden informants deltagelse i interviewet kunne opfattes begrænset. Men generelt hjalp den frie dialog mellem informanterne os til at identificere informations- og oplevelses behov blandt Tour de France interesserede. 4.3 Heuristisk evaluering Især den Heuristiske Evaluering, men også de øvrige kvalitative metoder (Tænke-højt) er påvirket af evaluator effekten. Evaluator effekten spiller ind på metodernes reliabilitet dvs. evaluatorer vurderer og rater usability problemer ud fra et subjektivt perspektiv. Det er derfor ikke muligt at foretage to fuldstændigt identiske testforløb. I en artikel 46 om evaluator effekten, giver forfatterne tre gode råd for at mindske dens betydning: 1. Be explicit on goal analysis and task selection 2. Involve an extra evaluator at least in critical evaluations 3. Reflect on your evaluation procedures and problem criteria Vi søgte at mindske evaluator effekten i vores Heuristiske Evaluering ved at være bevidste om dens tilstedeværelse og prøve at tilstræbe en ensartethed i testgennemførslen og dokumentationen af testresultaterne. Vi aftalte på forhånd, hvilke heuristikkerne vi ville bruge og hvordan vi skulle rate dem. Efter evalueringen gennemgik gruppen de endelige resultater med henblik på at nå til en fælles enighed. På trods af vores fælles udstykkede retningslinjer kom vi frem til vidt forskellige ratings og identifikationer af usability problemer. Vi erfarede, at selv en standardiseret noteteknik ikke udelukker en tidskrævende efterbehandling af resultaterne. Vores arbejde med at nå til konsensus gik ud på at eliminere dobbeltregistreringer af heuristikkerne og opnå en enighed om problemernes rating. Derigennem søgte vi at minimere evaluator effekten i vores Heuristiske Evaluering. 46 Hertzum & Jacobsen 2001 Side 40

41 Kompetence og erfaring med usability metoderne spiller også ind og der bør derfor tages højde for disse faktorer i udarbejdelsen af et testforløb. Argumentet går på, at uerfarne evaluatorer kan lave simple test og stadig finde usability problemer, men at erfarne evaluatorer vil finde flere 47. Metoden går dog let hen og bliver en funktionsorienteret, systematiseret gennemgang af produktet ved brug af trænede usability teams. Ved dens brug af objektive målekriterier forsøger metoden at gøre testresultaterne sammenlignelige. Det kom dog bag på os, at behandlingen af data var så tidskrævende. 4.3 Behov for metodetriangulering De metoder, vi har brugt i testforløbet; Tænke-højt, Interview og Heuristisk Evaluering bruges til at afdække forskellige områder. Vi har i testdesignet søgt at opnå en høj udsagnsværdi for de fem usability parametre og samtidig teste for brugeroplevelsen. Optimalt skal metoderne kunne give forskellige perspektiver på samme sag. Nedenstående skema illustrerer, hvordan de valgte metoder supplerer hinanden. Let at lære Let at huske Effektiv at bruge Tilfredsstillende at bruge Fejl Brugeroplevelse TH Høj Høj Høj Mellem Høj Mellem Interview Lav Lav Lav Høj Lav Høj HE Høj Høj Høj Lav Høj Lav Fig. 8 Udgangspunktet for de kvalitative metoder er, en samfundsvidenskabelige ide om, at alt ikke er målbart fordi ethvert fænomen består af en unik kombination af kvaliteter 48. Metoden søger at nå frem til en gyldig forståelse for enkeltstående begivenheder ved at gå induktivt til værks. I de kvalitative metoder vægtes indlevelse og intersubjektivitet, der typisk opnås gennem interview og deltagerobservationer, hvori der opnås en "nærhed" mellem informant og forsker. 47 Nielsen Andersen 1988:60 Side 41

42 Med kvantitative metoder indsamles derimod hårde faktuelle data til belysning af en given problemstilling. Det vigtige i kvantitativ dataindsamling er at få så mange udsagn som muligt for at gøre resultatet så repræsentativt og gyldigt som muligt. Heuristisk Evaluering skiller sig ud fra de to andre kvalitative metoder, idet der er tale om en særlig blanding af kvalitativ og kvantitativ dataindsamling. Det kvalitative fremgår af eksperters subjektive vurdering af websitet. Det kvantitative består i, at der opereres med objektive, fastlagte indsamlingskriterier. Man får således indtrykket af et repræsentativt, statistisk materiale. Vi ønskede at inddrage en Logfilsanalyse, da dette ville indsamle repræsentative informationer om trafikken på websitet. Logfiler måler ikke på en afgrænset testgruppes adfærd, men derimod på den reelle trafik på et website. Udfra fx en logfilsanalyse er det muligt, at fokusere på brugernes bevægelse i websitet og vurdere, hvorvidt dette stemmer overens med de ønskede succeskriterier. Logfiler kan blive meget store og uhåndterbare, hvilket let kan føre til at databehandlingen bliver uoverskuelig. Det kan altså være svært at gennemskue, hvilke konklusioner man kan drage udfra mængden af data. Vi fik desværre ikke mulighed for at benytte Logfilsanalysen, idet Tour de France websitet ligger på en testserver og altså ikke er offentligt tilgængeligt. Vi foretog en lograpportering af "Sporten" i to dage, for at få indblik i hvad metoden indebærer. Materialet havde imidlertid ikke relevans i forhold til vores case. Med kvantitative metoder er det som oftest ikke muligt at forklare årsagen til, at "statistikken" ser ud som den gør. Dette kræver kvalitatitive data, fx fortæller et statistisk udslag i en logfils analyse under målekriteriet brugeren forlader websitet intet, hvis det får lov til at stå alene. En bruger kan fx havde forladt websitet lige på det tidspunkt, fordi han har fået besøg; være røget ud pga. et dødt link; eller forladt websitet tilfreds efter at have fundet det han ledte efter, eller noget helt fjerde. Den kvantitative metode står stærkt hvad angår empiriens repræsentationsværdi, men svagt med hensyn til den dybere forståelse af den konkrete situation, der fx knytter sig til brugen af et givent website. Side 42

43 Selve det at udarbejde et testdesign går let hen og bliver en uoverskuelig og uhåndterlig opgave, da der er forholdsvis mange kombinationsmuligheder. Har man til gengæld kendskab til produktets udviklingsstrategier, dets succeskriterier og brugernes forventninger og behov, kan det hjælpe én til at udarbejde et både realisérbart og validt testdesign. For at højne validiteten i en usabilitytest, mener vi, at man med fordel kan kombinere kvantitative og kvalitative metoder i det samme testdesign. Derved kan man få indsigt i de bagvedliggende årsager til de statistiske udsving og samtidig styrke repræsentativiteten i undersøgelsen. Fire metodiske guidelines På baggrund af vores metodediskussion, mener vi der kan opstilles fire generelle guidelines, som kan bruges som en slags checkliste, når man skal udarbejde et testdesign og gennemføre en usability testning af et website. 1. Metoderne skal være relevante i forhold til undersøgelsesformålet. 2. Informanterne skal være repræsentative for målgruppen. 3. Opgaverne/interviewspørgsmålene skal være relevante i forhold til målgruppens informationsbehov og forventninger. 4. Behov for metodetriangulering. Side 43

44 5.0 Konklusion Vores overordnede formål med denne rapport har været at opnå en erfaring med en praktisk anvendelse af metoderne: Tænke-højt, Interview og Heuristisk Evaluering. Dette har vi gjort ved at planlægge og gennemføre en usability testning af TV2/I s Tour de France website fra sidste år. Vi har således ved inddragelse af en konkret case ønsket at belyse de problemstillinger der ligger i at tilrettelægge et usability testningsforløb. Det har med andre ord været en praktisk øvelse i at anvende de teorier og metoder, som vi har tilegnet os ved IT-højskolen. Problemformuleringen gik på de valg, der ligger forud for selve usability testforløbet, de problematikker man støder på undervejs i indsamlingen af indsamlede data og de refleksioner, man nødvendigvis må gøre sig i tolkningen af testmaterialet. Hvad lærte vi? Vi har erfaret, at der kan være problemer forbundet med at overføre teori til praksis. Denne erfaring kan både TV2/I og vi bruge i vores fremtidige arbejde med at inddrage usability i webproduktioner. Vores projekt har vist os, at det ofte er nødvendigt at indgå en række kompromisser i mødet med verdenen udenfor elfenbenstårnet. Dette oplevede vi, fx da vi skulle udarbejde testdesignet, værge informanter, gennemføre testforløbet og præsentere den indsamlede data på en konstruktiv måde. En anden problematik, vi stødte på, var i forbindelse med vores subjektive vurdering først i indsamlingen og dernæst i behandlingen af data at opnå enighed, som var svært særligt i forbindelse med den Heuristiske Evaluering. Vi brugte forholdsvis meget tid på at nå til en fælles konsensus omkring databehandlingen. Vi måtte således undervejs erfare en lang række praktiske problemer forbundet med dels forberedelsen, gennemførelsen og efterbehandlingen af vores testforløb. Disse erfaringer havde vi ikke kunnet opnå ved yderligere at granske i faglitteraturen. De er kommet til os undervejs i arbejdsprocessen. Der var en del usikkerhedsmomenter eller ukontrollérbare variabler i testforløbet. Den kendskab vi havde til evaluator effekten, og de strategier vi brugte til at mindske dens betydning i testforløbet, gav os et godt validt udgangspunkt for testen. Evaluator Side 44

45 effekten er dog altid tilstede, når man bruger evaluatorer. Dog erkender vi at en vis grad af evaluator effekt er bedre end det andet alternativ, som er ingen brugerinddragelse overhovedet. En subjektiv fortolkning vil med andre ord altid indgå, når man søger at måle på menneskelig adfærd. Til trods for de usikkerhedsmomenter der ligger i den praktiske gennemførsel af usability metoder, er vi blevet bekræftet i vores indtryk af, at usabilitymetoder er værdifulde værktøjer hver gang informanterne sagde eller gjorde noget, som vi ikke forventede, bekræftede det, at kun ved at inddrage brugeren kan man nå til en forståelse af mødet mellem brugere og produkt. Vi forventede ved projektets opstart, at vi ved brug af udvalgte usabilitymetoder ville kunne finde områder, hvor Tour-sitet kan forbedres. Det mener vi at have opnået. Vi kan derfor fremlægge vores testresultater for TV2/I og lade resultaterne indgå i TV2/I s praktiske overvejelser for det kommende Tour-site. Vi er ligeledes blevet bekræftet i, at selv mindre usability undersøgelser er brugbare. Hvis usabilitymetoder løbende skal inddrages i produktudvikling af websites, selv i så store firmaer som TV2/I, er der ikke ressourcer til undersøgelsesdesign der er meget mere komplicerede end det vi har opnået med vores 4-ugers projekt. I vores projekt har vi oplevet at være i samme situation som webdesignere og systemudviklere, der sidder i et elfenbenstårn langt fra de brugere, der kommer til at anvende deres systemer. Som studerende består vores elfenbenstårn af perfekte teorier langt fra den virkelige verden. Vi lærer at forstå teorien, men teorien er ikke så meget værd, hvis den ikke kan udføres i praksis. Det har derfor været spændende og meget lærerigt at få lejlighed til at koble teori med praksis. Vi mener således at være kommet til en erkendelse af, at det er svært at anvende usability i praksis dvs. gøre teorien operationalisérbar. Læring kommer med erfaring og erfaring kommer over tid. Vi mener selv, at vi ud fra dette projekt vil være bedre rustede til at udføre et usability projekt næste gang. Det har været en værdifuld læringsproces. Side 45

46 Litteraturliste Andersen, Heine, 1988 Videnskabsteori og metodelære, 2. udg., bind 1 Samfundslitteratur, København Bannon, J. Liam, 1991 From Human Factors to Human Actors: The Role of Psychology and Human-Computer Interaction Studies in System Design. I Kyng, Morten; Møller, Karen Kjær & Greenbaum, Joan eds.: Design at Work: Cooperative Design of Computer System, side Lawrence Erlbaum Associates, Mahwah, NJ ISBN Beyer, Hugh & Understanding the Customer. I Beyer, Hugh & Hotzblatt, Karen : Holtzblatt, Karen, 1998 Contextual Design: Defining Customer-Centered Systems, side Morgan Kaufmann, San Francisco, CA ISBN b England, Elaine &. Andrew Finney, 2000 Managing Multimedia. Addison Wesley, London ISBN Hammersley, Martyn & Ethic. I Hammersley, Martyn & Atkinson, Paul A.: Ethnography: Paul A. Atkinson, 1995 Principles in Practise, side Routledge, London ISBN Holtzblatt, Karen & Contextual Design: Principles and Practice. I Wixon, Dennis & Ramey, Beyer, Hugh, 1996 Judith eds.: Field Methods Casebook for Software Design, side John Wiley & Sons, New York, NY ISBN Jacobsen, Niels Ebbe & The Evaluator Effect: A Chilling Fact about Usability Evaluation Methods. I Morten Hertzum International Journal of Human-Computer Interaction (in press). Jordan, Patrick W., 1998 Kvale, Steinar, 1994 Lund, Anker Brink, 1986 Molich, Rolf, 2000 An Introduction to Usability Taylor & Francis Ltd., London ISBN Interview Hans Reitzels Forlag, København ISBN: Habermas i hovedet og Gallup på papiret. I Else F. og Pittelkow, Ralf (red.): Det ukendte publikum, side C.A. Reitzels Forlag, København ISBN Brugervenlige edb-systemer Teknisk Forlag, København ISBN Side 46

47 Nielsen, Jakob, 1993 Nielsen, Jakob, 2000 Pearrow, Mark, 2000 Sepstrup, Preben, 1999 Yeates, Don & Cadle, James, 1996 Usability Engineering Academic Press, San Diego, CA ISBN Designing Web Usability New Riders Publishing, Indianapolis, Indiana ISBN X Web Site Usability Handbook Charles River Media INC, Rockland, MA ISBN Tilrettelæggelse af information Forlaget Systime, Århus ISBN Project Management for Information Systems Financial Times Pitman Publishing, London ISBN URL adresser: Andet: Business Week, 23. oktober 2000:19 Jacobsen, Niels Ebbe forelæsningen: Et ubehageligt faktum om teknikker til test af brugervenlighed på IT-højskolen, København, 20. april 2001 Kyng, Morten, Leder af Center for IT-forskning i Politiken 3. maj 2001, Internet side 3 Nielsen, Jakob i Jakob Nielsens sandhed, på userforum.dk 16. maj 2001, af Christina Hernvig, Advice A/S, 2001 Side 47

48 Bilag 1 Testplan: Tænke-højt Introduktion til testen Tak fordi du vil deltage det er en stor hjælp for os. Vi skal teste TV2s hjemmeside for Tour de France fra sidste år så vi kan bruge erfaringer til udviklingen af årets site. Husk at det er sitet vi tester ikke dig. Du behøver ikke besvare alle opgaverne og du bestemmer selv når du mener opgaven er løst og hvornår du går videre med næste testopgave. Hvert testspørgsmål læser du højt før du går igang. Prøv så vidt muligt at lade som om du var derhjemme og at du stillede dig selv overfor disse opgaver. Mens du surfer rundt er det vigtigt at du løbende tænker-højt og fortæller os så meget som muligt om de tanker du gør dig undervejs i forløbet fx hvorfor du klikker hvor du gør, hvad du synes er godt eller dårligt ved sitet osv. Vi prøver ikke at blande os for meget undervejs. Du skal huske at nulstille ved at klikke på home i browseren mellem hver opgave. Sitet der testes er fra sidste år og vi beder dig om så vidt muligt at se bort fra at layoutet i siderne er præget af at databasen ikke længere er tilkoblet sitet. Nogle af spørgsmålene er derfor formuleret som hvor ville du finde noget om det (hvor informationen på nuværende tidspunkt ikke findes). Du kan til enhver tid forlade testen. Samtykke erklæring, for at kunne benytte data og sikre autonymitet. Brugerprofil Alder: M/K: Uddannelse/profession: Hvordan vil du betegne din brug af internettet. Er du: Ekspertbruger, normalbruger, bruger aldrig Hvad bruger du typisk internettet til (underholdning, informationssøgning, etc.): Hvor mange år har du fulgt med i Tour de France?: Hvad forventer du af et dansk Tour de France site? Anser du dig selv som værende i målgruppen for et dansk Tour de France site? Har du tidligere været inde på et? Evt. hvilket/hvilke? Side 48

49 Opgaver til tænke-højt test 1. Hvordan ville du finde ud af hvem der førte an i dag? 2. Hvor mange danskere er med i løbet? 3. Hvornår var den første Tour de France? 4. Hvor mange cykelryttere deltager i Tour de France? 5. Hvor er 3. etape? Hvordan er dens karakteristika? 6. Hvad hedder de danske ryttere? 7. Find holdopstillingen for Team US Postal Service 8. Find TV oversigten om hvornår TV sender programmer om Tour de France! 9. Find oplysninger om Zabel! 10. Find ud af hvem der vandt Tour de France i 1980! 11. I hvilket tidsrum sendes Tour en live på nettet onsdag den 19.? 12. Hvor ville du forvente at finde den seneste nyhed? 13. Find et link til den officielle Tour de France site! 14. Hvor ville du lave et indlæg til debatten om doping! 15. Find videoklip fra 2. etape! 16. Hvor mange cykelryttere har vundet tour de France 5 gange? 17. Hvordan ville du klage over sitet? NOTETEKNIK (retningslinjer) Vi afkrydser de 8 målekriterier i skema. Afkrydsningen suppleres med en uddybende kommentar i kommentarfeltet. Prøv at få så mange ordrette relevante citater med som muligt. Dokumentér de positive ting. De er ligeså vigtige som de negative. Medtag fortolkende bemærkninge, der beskriver kropssprog, mimik, tonefald eller lign. Vær opmærksom på din tilstedeværelse i testforløbet og hold lav profil. Afbryd kun hvis det er absolut nødvendigt for testforløbet fx hvis der opstår seriøse tvivlssituationer, systemet går ned el. lign. Vores 8 målekriterier 1. Systemt går ned 2. Brugeren opgiver at løse opgaven 3. Gennemfører ikke inden for 3 min. 4. Bruger 3 forgæves forsøg 5. Brugeren udviser overraskelse 6. Udtrykker sig negativt om sitet 7. Kommer med designforslag 8. Evaluator generaliserer et problem ud fra en række småproblemer Debriefing Helhedsindtrykket: Hvordan er dit indtryk af sitet? Hvad synes du om det efter at have været igennem en del af det? Designforslag: Ville du lave noget om eller forbedre noget, hvis du kunne bestemme? Har du forslag til forbedringer mht. indholdet og formen? Side 49

50 Vil du bruge sitet igen? Om testen: Hvad synes du om opgaverne? Synes du de var realistiske? Hvordan oplevede du testforløbet? Ændrede testen din måde at surfe på? Var du mere eller mindre tålmodig? Hvad med vores udførsel af testen? Har du ellers nogle andre kommentarer til testforløbet? Side 50

51 Bilag 2 Interviewguide Om dig: Dyrker du sport selv? Hvis ja, hvilken? Hvilke medier bruger du? TV?, hvis ja hvilke(n) kanal(er)? Internettet? Hvis ja, nogen faste sites? Browser/Modem? Aviser? Hvis ja, hvilke? Har du været tilskuer ved selve løbet? Om Tour de France: Hvor længe har du fulgt Tour de France? Hvor meget tid om dagen bruger du på at følge med i Touren når den kører? Hvorfor er det så spændende? Hvilke medier bruger du primært og hvorfor? (eksempelvis hvilken TV kanal?) Hvad med det udenom? (Konkurrence, vin, kultur, landskab) Hvad adskiller Tour de France fra andre cykelløb? Deler du Tour oplevelsen med venner? Satser du penge på hvem der vinder? Holder du altid med danskere i løbet? Ville du gerne kunne finde info om hvordan danskerne klare sig dagligt? Ville du benytte en chat funktion? Ville du kunne finde info om studieværterne? Ville du gerne have små anekdoter om fra Tour de France -løbets historie? Spil og konkurrencer på sitet? Søgemaskine mulighed for internt at søge på tur sitet? Mulighed for at linke til merchandise? Portal flere eksterne links ud? Som fan portal (gode råd når du skal til at cykle links til dansk cykelforbund osv)? Noget om cykelrytternes kost, puls etc.? RYTTERNES TRÆNINGSPROGRAMMER? Side 51

52 Bilag 3 Testplan: Heuristisk evaluering Der testes med fem evaluatorer: Katrine Eriksen, Kim Jakobsen, Martin Thomas Jensen, Mathilde Luidor Uhrskov og Carsten Schmidt. Hver evaluator evaluerer sitet alene og adskilt fra de øvrige evaluatorer. Testens varighed er 1 time. Der testes på PC og Macintosh med skærmopløsning 1024 X 768. Browser: Internet Explorer 5.0. Efter den individuelle evaluering samles resultaterne og diskuteres. Diskussionen resulterer i et fælles testresultat, som alle evaluatorerne kan stå inde for. Side 52

53 Bilag 4 Samtykke erklæring (kopi) Jeg giver hermed mit samtykke til deltagelse i TV2/Interaktivs touren undersøgelsen i forbindelse med et 4-ugers projekt på IT-højskolen i København. Jeg giver mit samtykke på følgende betingelser: Formålet med undersøgelsen er at give de studerende på kurset mulighed for at øve sig i en teknik til brugervenlighed. Teknikken, Tænke-højt, går ud på, at jeg gennemgår en række opgaver, samtidigt med at jeg fortæller, hvad jeg tænker på, når jeg foretager mine valg. Tænke-højt testen bliver efterfulgt af et kvalitativt interview, hvor jeg besvarer en række spørgsmål omkring min interesse for Tour de France. Resultaterne af undersøgelsen vil blive brugt i forbindelse med 4-ugers projektet og som forslag til TV2/Interaktiv. Jeg vil have kontakt med en gruppe på fem studerende. Kun disse studerende vil få at vide, hvem jeg er. Ingen andre vil få præsenteret materialerne fra undersøgelsen på en måde, så de kan genkende mig. Dato: Navn: Underskrift: Side 53

54 Bilag 5 Testresultater: Tænke-højt Informant #1 Brugerprofil: Alder: 28 Køn: Kvinde Uddannelse/profession: Fysioterapeut Har du været inde på TV2s hjemmeside om Tour de France? Nej Normalbruger Bruger Internettet til informationssøgning og Hvor mange år har du fulgt med i Touren? Ikke så meget efter doping skandale men meget i Riis årene Hvad forventer du af sitet? Stillinger, ruter, etaperne, holdene, historie Anser du dig selv som værende i sitets målgruppe? Nej 1. Søger på 1. Etape i foldeud-menu i venstre kolonne 2. Finder hurtigt svaret på forsiden 3. Læser højt fra tour-menuen på forsiden går ind på historie. Kommenterer, at hun måske ville have ledt under ryttere finder svaret 1903 undre listen af vindere. 4. Går ind og kigger efter ryttere nu føler jeg mig lidt dum dropper opgaven 5. Regner med, at hun kunne finde svaret via 1. Ikon 6. Kigger på forsiden og finder hurtigt svaret 7. Går ind på ryttere og finder holdet 8. Går ind under tv i tour menuen og kommentere, at hun ville finde svare her men bliver overrasket, da hun efter et stykke tid finder linket til programoversigten 9. Bruger ikon (fejl) finder i stedet ryttere i tour-menuen hun ved, at Z. under Telecom holdet vælger det hold fordi hun ved, at Z. er der 10. Vælger historie finder svaret med det samme 11. Leder efter et link finder det og bliver glædeligt overrasket 12. Under nyheder 13. Kigger på ikonerne på forsiden opgave er irrelevant jeg ville ikke lede efter linket 14. Hmmm under debat der ville jeg forvente at kunne gøre det 15. Gentager spørgsmålet et par gange ville igen have brugt ikonet hvis det ikke var umuligt, men det viser jo bare etaperne. Leder længe det er ikke logisk for mig, jeg der hvor jeg ville gå ind har ikke noget med det at gøre 16. Går ind under historie (mener selv, at hun også kunne være gået ind under ryttere) for løsningen ville hun tælle sig frem til svaret via listen 17. Det er ærgerligt, at man ikke kan komme ind alle steder jeg ville aldrig klage jeg har ikke erfaring nok med Internettet (til at vide hvad man kan tillade sig at forvente - katrine) og med touren til at kunne vide om der skal være mere info. Debriefing: Alle spørgsmålene med danskerne er gode relevante spørgsmål Jeg ville helst bruge ikonerne på forsiden Overskueligt site Jeg ville ikke bruge sitet når jeg ikke har nettet på arbejde og jeg ville ikke gå hjem og tænde computeren for det - men hvis jeg alligevel var inde og se såå. Fandt indeks igennem browseren (altså ikke igennem sitet) Trykkede ofte på overskrifter og ikke på Mere eller Vis alle. Side 54

55 Informant #2 Brugerprofil: Alder: 27 år M/K: Mand Uddannelse/profession: studerende, cand.it Kender til TV2-sitet, men ikke til Tour-delen. Ekspertbruger af internettet, bruges til information, mail m.v. Har fulgt med i Touren ca. ti år, men ved ikke hvad han forventer af et Tour site Anser sig som værende i målgruppen for et tour-site, mener ikke at have været inde på TV2 tour-site. 1. Udtrykker sig negativt, kan ikke finde et relevant link i sidenavigationen. Bruger lidt tid på at skabe overblik i sitets indgangsside. 2. Finder hurtig informationen på indgangssiden. 3. Løser hurtigt og let opgaven. 4. Do. 5. Kommer med designforslag: dropdownmenuen til etaperne udløser automatisk søgningen. Der er altså ikke behov for en vis knap. 6. Løser hurtigt og let opgaven. 7. Do. 8. Udtrykker sig negativt, bruger tid på overblik: en kaotisk liste og kommer med designforslag, burde være bedre struktureret. 9. Do. 10. Udtrykker sig negativt: det er forvirrende at informationen ikke kan findes under legender, prøver at gætte sig frem ved at klikke på nogle af legenderne. Prøver forgæves mere end tre gange opgiver at løse opgaven. 11. Løser opgaven hurtigt og sikkert. 12. Kommer med et designforslag: forventer at finde den seneste nyhed mht. turen (ikke klart formuleret spørgsmål) under nyheder og på indgangssiden. 13. Er positivt overrasket over at kunne linke sig til det officielle site via grafiklinket. Udtrykker sig negativt da der ikke er konsistens i hvornår grafikken er link og hvornår der er tale om ren grafik. Designforslag der går på at gøre de grafiske links mere tydeligere, de er meget små. 14. Udtrykker sig negativt pga. for meget tekst på debatsiden 15. Udtrykker sig negativt det grafiske link til billedgalleriet er for svagt (sort i blåt). 16. Omdefinerer opgaven, husker fra legender at der var fire. Men løser opgaven derudfra. 17. Udtrykker sig negativt (om TV2 s svarservice, har ventet to år på et svar) er skeptisk overfor: at klage i TV2 debat får man ikke en dyt ud af, opgiver at ville klage, men finder siden med link til TV2 webmasteren. Debriefing Positivt, men for lidt vægt på live streaming. Det er et fedt site. Men for mange menuer, det er forvirrende med en overordnet TV2 hovedmenu og en underordnet Tour menu. Ville bruge sitet igen, men ikke hjemmefra. Der skal være en gratis og god forbindelse. Designforslag Knapperne (grafiklinks) skal være tydeligere. Om testforløbet Absolut realistiske opgaver. Stille og roligt testmiljø, ikke-stressende pga. tidligere erfaring med lignende testforløb og erfaring med internettet. Mener ikke en forskel i måden der blev surfet på, nogenlunde samme grad af tålmodighed (opgiver at løse opgave 10 før der er gået 3 min). Ganske behagelig testforløb, det er rart med andre i testlokalet, man kan høre at der er andre der laver det samme, det generer ikke tværtimod. Undrer sig mht. Samtykkeerklæringen. Side 55

56 Testforløbet tog ca. 24 min. Informant # 3 Brugerprofil 35 år, mand, cand.mag. FØR har været på sitet en enkelt gang. Indtryk: "Der var mulighed for at se det live, men det var ret dårlig kvalitet." Ekspertbruger (bruger nettet på sit job). Især , informationssøgning og fx planlægning af rejser. Har fulgt med i Tour de France siden Leif M. blev nr. 5 (vist nok midt 90eme) Forventninger til site: aktuelle oplysninger om tour'en. Beskrivelse af de klassiske etaper/distancer. Nok ikke målgruppe. Bruger UCI for at fa verdensranglisten. TESTOPGAVER: I. Går til DAGENS ETAPE (top midt for). Klikker forgæves på titlen. Irriteret "Jamen er det ikke et link?". Efter lang tid finder han det rigtige link "Nåh, man skal trykke her" (sagde efterfølgende at han havde følt sig meget dum og synes at det var svært at se linket (blå tekst på blå - meget lille aktiveringsområde). 2. Skimmer, og ser svaret på forsiden 3. Scroller, leder forgæves efter en søgefunktion. Ser i stedet HISTORIE og går derind og finder svaret. 4. Går til HOLDENE. "Tja hvis man ved hvor mange der er på hvert hold kan man jo gange antal ryttere med hold. Sådan et spørgsmål - det er sgu ligegyldigt" 5. ETAPER, vælger Ser svaret på forsiden, men også link længere nede. 7. RYTTERE,HOLD 8. Går til topbaren (ud af tour sitet). "Jamen det er formentlig kun TV2s programdækning". Tilbage til tour site - PÅ TV - SENDEPLAN. "Det var lidt utjekket at man bliver smidt til TV2s site". 9. "Det kræver at man ved hvilket hold... det ville være rart med en søgefunktion. Jeg ved det er Telecom, men det er misvisende at der står RYTTERE - det er jo faktisk holdene" 10. HISTORIE - VINDERE, ville tælle sig frem. I I. LIVE 12.NYHEDER 13. INFO "Jeg ville forvente det under INFO, eller måske noget der hed "LINKS". Opgiver 14. DEBAT 15. LIVE, "leder efter arkiv". VIDEO, "jeg ved ikke om man kan se tidligere etaper". VIDEOGALLERI "Det var ikke særlig tydeligt, det var ret tilfældigt at jeg fandt det" 16. TOURENS LEGENDER eller HISTORIE. "Vi var et eller andet sted før med en liste over vinderne... Så kan man jo tælle." Ser svaret i baren. 17. DEBAT - tour(@z-,@2i.dk "Hvis sitet var dårligt ville jeg ikke gide bruge tid til at klage til dem, jeg ville bare ikke komme tilbage" DEBRIEFING: SITE: "De fleste af funktionerne er rimelig overskuelige...det er måske lidt halvgjort noget af det" Informanten var irriteret over at der var så lidt information om de forskellige ryttere - slet ingenting ved mere ukendte ryttere - kun navn, hold og nummer "- og det viste man jo før man kan slå ham op". Det informanten ønskede var fx en rytters karriere med tidligere hold, placering på verdensrangliste. "De lader som om at de vil fortælle folk noget og så gør de det ikke ordentligt. Det er typisk for internettet...een gang så gider jeg ikke komme igen". Kunne godt tænke sig en søgefunktion til hele nettet - "...fx links til holdenes egne hjemmesider kunne være godt. Linke til den information de ikke selv gider komme med". Informanten brugte hele tiden back funktionen i browseren, så aldrig at logoet var en HOME knap. Da han blev spurgt sagde han "Det er sgu da kun webdesignere der ved at logoet kan noget" Informanten kan godt lide at bannerreklamer ikke blinker "de generer ikke så meget" Informanten srollede ikke (opdagede ikke at der var noget under foldekanten. Side 56

57 Informant #4 Brugerprofil: Alder: 31 Køn: M Uddannelse/profession: cand.mag. Har du været inde på TV2s hjemmeside om Tour de France? Nej Ekspertbruger (benytter internettet arbejdsmæssig til søgning af information hovedsageligt firmaets (IBM) intranet) Hvor mange år har du fulgt med i Touren? 1996 ( Siden Bjarne Riis blev nr. 3 i touren ). Hvad forventer du af et dansk Tour de France site? Generelle informationer, Dagens etaper, Resultater, Aktuelle nyheder og debat i forbindelse med løbet (fx doping), Informationer om de danske ryttere, Eksterne links (fx den offentlige franske). Anser du dig selv som værende i målgruppen for et dansk Tour de France site? Nej Har du tidligere været inde på et? Nej Trykker sig direkte ind på menuen Resultater, og regner med at han kan se det på denne side. Ellers ville han under Dagens etape trykke på mere. Det vil jeg klart forvente at kunne finde under Ryttere! Vælger menupunktet, og finder danske ryttere på Memorycard Jack and Jones Liste hvor der er 1, 2, 3 6 ryttere. Scanner nedad på siden, og finder punktet Danske ryttere. Scanner forsiden. Vælger menupunktet Historie hvor informationen allerede står på anden linie i teksten. Kigger rundt på forsiden finder ikke noget, vælger derefter menupunktet Ryttere hvor informationen heller ikke findes. Endelig vælges Historie finder ikke noget og opgiver. Tre forgæves forsøg, og informanten opgiver opgaven. Jeg har set noget med etaper! Vælger Etape og 3.etape. Det ved jeg allerede hvor er! Vælger Ryttere, og finder de 6 danske ryttere nederst på siden. Nemt! Rytter Team US Postal Service. Først vælger han at prøve TV på tv2.dk, men da han ikke kan finde en overskrift med Tour de France klikker han sig tilbage på Tour-sitet, og finder sendeplanen under På TV2 Vis alle. Går ind under Ryttere. Jeg ved Zabel køre på Telecom! Og vælger derefter Telecom og Zabel. Historie scanner siden, og finder/vælger Vindere. Der er jo et menupunkt der hedder live! På forsiden. Scanner forsiden igennem, og finder linket nederst på siden. Debat Doping debat. Da dette link fører til Forbidden vurdere informanten spørgsmål som besvaret. Live som leder direkte til Videogalleriet hvor 2.etape blev valgt. Vælger Historie for her fandt informanten før de enkelte ryttere. Det er lidt besværligt at tælle dem. Når der står det! Svaret findes under Vidste du! Debat, og midt på siden findes en -adresse til sitets webmaster. Debriefing: Helhedsindtrykket: Menubaren er nem at benytte, er dækkende, og virker overskuelig. Websitet virker generelt uoverskueligt, meget informations og facts tung. Umiddelbart temmelig kedelig at kigge på (meget teksttung) ikke spændende. Fanger ikke folk ind. Minder i høj grad om en avis - det er de samme informationer som ville kunne fås igennem avis suppleret med et temahæfte. Side 57

58 Godt med meget information! Designforslag: Benytte flere fotos Tour de France er jo noget du kigger på. Informationer om konkurrencer på forsiden er ligegyldige og irrelevante. Under etaperne er det ikke til at læse hvad der står. Ville du bruge sitet igen? Ja Hvad synes du om opgaverne? Rimeligt relevante og lette. Synes du de var realistiske? Ja Hvordan oplevede du testforløbet? Stille og roligt. Gjaldt om at være hurtig! Ændrede testen din måde at surfe på? Ja til sidst benyttedes kun menubaren, og prøvede sig i høj grad frem. Var du mere eller mindre tålmodig? Blev mindre tålmodig med tiden. Hvad med vores udførsel af testen? Gennemtænkt, og gav en god introduktion til opgaverne. Har du nogle andre kommentarer til testforløbet? Testen kom i for høj grad til at komme an på hvor hurtigt spørgsmålet kunne løses. Informant #5 Brugerprofil: Alder: 29 År mandag uddannelse/profession: stud. cand it Har du været på TV2s Tour hjemmeside føre: kort det er TV2stil, informativ OK Bruger: Ekspert Hvad bruger du nettet til: korrespondance, musik, infosøgning, surf, praktiske formål, studie, fritid Forventninger: Info om det danske hold (link til holdsite, avancerede teknikker, streaming video/video clips bagvedliggende information hvad sker der når rytterne ikke cykler alt uden om mad området etc. Har tidligere været inde på et tour site der hedder velo Tænke højt test Umiddelbart rodet dagens etape kan man klikke der og komme til resultater. Placeringer måske hmmm der kan man ikke trykke så navn hmmm Går til bage til forsiden det giver mig ikke så meget går i nyheder igen til dagens etape og her finder han svaret Står på forsiden ser ser xxx udelelige link nederst og klikker sig derind (til nyheder) Selvfølgelig ind under historie - nemt at finde Ville have valgt ikon, men vælger menuen og ryttere leder efter svaret går tilbage og klikker på ikonet og ville forvente, at svaret ligger her. Eller måske under info klikker sig inde ja der stod det! Går direkte til etape profiler og derefter til vis alle og leder efter etape nummeret i fold ud menu finder resultater går tilbage på etaper i menuen og finder svaret Klikker ind under 7 danskere turen men kommer i tanke om, at han kan gå ind under ryttere og finde info om hver enkelt rytter der måske også hans placering Ville vælge ikonet holdene men går i stedet ind under ryttere og finder holdene i højre spalte klikker ind og finder holdopstillingen og her kan jeg læse om sidste års vinder (en forventning, inden han har klikket sig ind ) TV2 finder hurtigt sende planen Scroller op og ned går under ryttere i hovedmenuen og og og så kan jeg ikke huske hvilket hold der må være en søge funktion går tilbage til forsiden og finder søgefunktionen bliver smidt ud af sitet til tv2s egen side finder info om Telekom og går tilbage til sitets forside ryttere hold Telekom omvej, men jeg fandt det Går til historie scroller op og ned går i tekst og tal vis alle giver oversigt over sidste Tour de France - går tilbage til historie synes stadig ikke jeg kan finde noget går under resultater og giver mig Side 58

59 heller ikke noget går til forsiden og scroller op og ned går til info og igen under historie jeg kan ikke finde det jeg ville sige fuck det Scroller op og ned på forsiden går ind under video galleri leder her og finder live tour gå in på video og der kommer et pop-up vindue frem (til video) den er lidt svær synes jeg tilbage til forsiden scroller op og ned går til videogalleri igen dynamisk etape profil jeg ville forvente at finde det her Forsiden men jeg ville ikke have noget imod at klikke mig længere ned for at få med uddybende info ellers ville et link fra TV2 egen sport side til tour nyhederne og så fungere Fandt logo uden problemer Menu debat går under doping debat her kan jeg gøre det Video galleri, dropdown menu 2. etape og vis så forventer jeg en real player Man skulle gerne kunne få det afklaret under historie finder finder xxxx Vidste du det er jo rart Info ris og ros jeg ville klage herfra eller eller fra home og debat (tænker stien højt) der står noget med direkte henvendelse, emn jeg tror den ander under info er mere direkte den ville jeg benytte mig af Debriefing: Helhedsindtryk: hmm skæmmer, at databasen ikke fungerer. Det er hurtigt at finde svarene Grafisk er knapperne dårlige læseligt - den blå og den sorte farve er ikke optimale farve at bruge sammen! (links), og informationsmæssigt læs mere, vis alt (hvad gemmer der sig bag?) og der er mærkelige symboler (henviser til symbolerne i titelfelterne på forsiden) ska man downloade eller hva? en pil forbinder jeg med downloading. Menuen er ok hurtig adgang til store områder. Menubaren kunne godt være mere som resten af sitet simplere og uden så mange farver kort, rytter og det. Designforslag: brug af billeder der er de små ikoner brug kun ikoner der siger meget og ikke så meget tekst Indholdet: Formen er ok (set udfra Debat siden, som er den mest pæne dvs. ikke forskubbet af database beskeder) men man skal jo passe på med ikke at skulle scrolle alt for meget. Meget information og dog under historie er der godt nok ikke meget den er ikke spækket med info sitet har nok hvad 90% af folk ønsker at finde, men internettet i dag skal være et overflødighedshorn. Opgaverne: Realistiske mange af tingene er noget jeg ville synes var interessant at få viden om de vat til at have med at gøre Surf her som derhjemme?: Jaaa mere målrettet man kommer normalt ind med et formål men man kan så få lyst til at tjekke nogle andre ting ud samtidigt. Var lige så tålmodig som derhjemme jeg skimmer men giver tid til at se hvad der er. Op testen: god måde at teste på selvom i har stillet opgaverne er det jo mig der løser dem. Det er ikke ubehageligt det er nemt at tænke højt, jeg har ikke følt, at der var nogen skjult dagsorden. Side 59

60 Bilag 6 Testresultater: Interviewene Interview 1 Informanter #1 + #2 Om dig: Dyrker du sport selv? Hvis ja, hvilken? Skal begynde på Tennis (1). Nej, ikke mere. Tidligere spillede jeg elitehåndbold (2). Hvilke medier bruger du? TV, Aviser og Radio, Internettet (1+ 2). - TV?, hvis ja hvilke(n) kanal(er)? DR1, TV2, Eurosport (1). DR1, TV2, DR2, ZULU, Eurosport og andre (2). - Internettet? Hvis ja, nogen faste sites? Browser/Modem Ingen faste sites (1). Primært TV2-sporten (2) - Aviser? Hvis ja, hvilke? Politiken, Jyllandsposten (1). Politiken. EB, BT, Berlingske Tidende (2). Har du været tilskuer ved selve løbet? Nej (1). Nej, Men jeg har været tilskuer til flere håndboldkampe og enkelte fodboldkampe (2). Om Tour de France: Hvor længe har du fulgt Tour de France? Bjarne Riis årene var intensive (1). De sidste 10 år ihvertfald (2). Hvor meget tid om dagen bruger du på at følge med i Touren når den kører? Der er jo isommerferien min. 1-1 ½ time (1). Til og fra. Altid bjergetaper og sprintetaper (2). Hvorfor er det så spændende? Bjerg etaper, sprint etaper, - det er når der sker noget man venter på et udbrud (1). Der sker noget (2). Hvad med det udenom? Konkurrence, vin, kultur, landskab Nej ikke interessant det er kun Leth der kan kommentere Frankrig. Tour de F er ikke det samme uden Leth og Mader Jørn og Jørgen (1). Meget hyggeligt, men ingen interesse. Mader skal kommentere cykelløb! (2) Hvad adskiller Tour de France fra andre cykelløb? Jørgen og Jørn, Prestige. Forårsklassikerne er ikke det samme (1 + 2). Deler du Tour oplevelsen med venner? Ikke særligt (1). Ja (2). Satser du penge på hvem der vinder? Nej (1 + 2). Holder du altid med danskere i løbet? Ikke nødvendigvis hvis de raller må man jo finde en anden helt (1). Nej (2). Ville du gerne kunne finde info om hvordan danskerne klare sig dagligt? Ja, man lægger jo mærke til dem når de er gode (1). Ja, der er jo et dansk hold, der holder til i Herning (2). Ville du benytte en chat funktion? Nej (1). Nej, gider ikke chatte (2). Ville du kunne finde info om studieværterne? Nej (1). Nej, Det er kun Jørgen, der skal sige poesi - ikke Jørn! (2). (De ting der ryger ud:) Ville du gerne have små anekdoter om Tour de France -løbets historie? Ikke særligt interessant (1). Måske. Det kan Jørgen tale om! Bedre end kulturinfo (2). Søgemaskine mulighed for internt at søge på tur sitet : Ville for det meste lede efter facts, og kun være interesseret I uddybende I enkelte tilfælde. Ville søge på nettet efter TdF og ikke på tv2 sitet (1) NB: Informant 2 har ikke svaret på dette spørgsmål (!) Mulighed for at linke til merchandise merchandise ville man lede efter hos cykelhandleren (1). Nej, måske købe hos cykelhandleren (2). Portal flere eksterne links ud NB: Informanterne fik ikke stillet dettte spørgsmål (!). Som fan portal (gode råd når du skal til at cykle links til dansk cykelforbund osv) Link til fx Din Cykel ville ikke være interessant (1). Måske det ville være fint med nogle gode råd (2). Noget om cykelrytternes kost, puls etc. Meget spændende at høre om livet under Touren (1). Nej (2). Side 60

61 Træningsprogram Ikke interessant (måske for store fans) (1). Nej. Alt for detaljeret. Hver rytter har sit individuelle program (2). Spil og konkurrencer. Ingen interesse (1). Eventuelt en konkurrence over "El Diablo" (Tourens røde djævel, red.). Kræver dog præcise ruteangivelser (2). Designforslag: Kort detaljeret over Frankrig ikke kun med fede streger (informant #1 ville have forventet at det var på internettet) (1 + 2). Kortet ville være godt til at supplere Maders kommentarer. Eksempelvis ville det være godt, hvis man kunne finde Nice på kortet, når Mader har omtalt byen (2). Herligt, at formatet springer ud af det lille format (2) Der er alt for lidt opmærsomhed på sitet om, a t de streamer video. Andet Informant #1 ville ikke bruge video streaming, hvis det er interessant bliver det jo genudsendt på TV. Streaming er nummer 1! (2). Facts er nummer 2! (2). Genudsendelser af højdepunkter er bedst på tv fremfor på internettet (2). Meget generende med database"fejl" på sitet ( "mudret tekst", døde links, manglende tekst o.a.) (1 og 2). Interview 2 Informant # 3 og #4 #3 Dyrker lidt sport selv - gymnastik #4 Badminton Medier: #3 DR, DR2, TV2 Browser: Explorer. 56 K. Sites for sport Berlingske og Politiken Aviser B og P #4 DR, DR2, TV2 (Zulu) Browser: Explorer. ISDN (på arbejde netværk). Sites for sport Berlingske og Politiken Aviser B og P Hvor længe har du fulgt Tour de France? Fulgt Touren siden midt 90erne. Hvor meget tid om dagen bruger du på at følge med i Touren når den kører? Bruger gennemsnitligt en time om dagen Skipper flade etaper hvor der ikke sker en skid Kan godt se hele dage hvor der er bjerge. Hvilke medier bruger du primært og hvorfor? Primæt TV2 men også radio og aviser. Speciel tillæg. Hvad med det udenom? Konkurrence, vin, kultur, landskab Ligeglad med udenom. Hvad adskiller Tour de France fra andre cykelløb? Det eneste der adskiller Tour de France fra andre cykelløb er dækningen. Og colapigerne Deler du Tour oplevelsen med venner? Nej Satser du penge på hvem der vinder? Nej Holder du altid med danskere i løbet? Som oftest Ville du gerne kunne finde information om hvordan danskerne klare sig dagligt? Side 61

62 Information om danskere ja, men aviserne klarer det. Selvfølgelig ville jeg også forvente det på nettet Ville du benytte en chat funktion? Ville ikke chatte med NOGEN Ville du kunne finde information om studieværterne? Information om studieværter tanken er uklædelig.respektere dem for deres faglige håndværk som journalister, data om dem er ligegyldige. Generelt glade for Leth og Mader de hører med Ville du gerne have små anekdoter om fra Tour de France -løbets historie? Anekdoter det kommer an på karakteren af dem Kost etc. kunne være sjovt. Kun sande anekdoter. Om spil og konkurrencer: Nej til sofahold Det har jeg prøvet det tog sgu 100 år, det er alt for besværligt Måske hvis det var gratis og ultra hurtigt et eller to spørgsmål. Een udviser stor skepsis over at give sin e- mail adresse væk (hvad kan det ikke resultere i af spam). Ja til videogalleri hvis det var god billedkvalitet. Måske merchandice. Godt med flere eksterne links. Fx til UCI verdensranglisten, kategoriseringer af forskellige løb, Hvis nu TV2 kunne stå inde for eksterne links (kunne de fungere som portal). Have flere flotte ting Internettets styrke: hurtige resultater men også mulighed for uddybende information. Internettet kan noget med hyperlinks, TV2 som portal Lige nu kan sitet ikke mere end en avis eller tursektion Savner kort over hele ruten (overrasket Er der ikke det? ) Streaming giver ikke så meget, der er ingen filmisk skønhed, det er kvaliteten for dårlig til grynet og lille. Interview 3 Informant # 5 Om dig: Dyrker du sport selv? Ja har gjort på højt plan håndbold men ikke mere. Nu styrketræning og løbetræning Hvilke medier bruger? Avis tv internet radio (til dels) TV?, hvis ja hvilke(n) kanal(er)? Tv2, DR, TV3, TVDanmark, Aldrig Eurosport eller lign. Internettet? Hvis ja, nogen faste sites? DR-sporten, TV2sporten Aviser? Hvis ja, hvilke? Politiken Har du været tilskuer ved selve løbet? Nej Om Tour de France: Hvor længe har du fulgt Tour de France? siden bjarne ris var med Hvor meget tid om dagen bruger du på at følge med i Touren når den kører? Da Bjarne var i fuld firspring jeg gider ikke se hele etapen, kun 1-2 timer af den sidste del af etaperne eller spændende enkeltstart og lign. Hvorfor er det så spændende? Verdens hårdeste cykelløb en aura omkring det interessen styrket efet at danskerne øgr det godt cykel sporten er blevet mere populær op igennem 90 erne. Venner er interesserede det smitter Hvad med det udenom? (Konkurrence, vin, kultur, landskab) ja lidt egentligt (interessant). Mader og leth er gode til det med historier og anekdoter lave lokal raportager så det ikke kun er cykelløb Hvad adskiller Tour de France fra andre cykelløb? Verdens hårdeste se ovenfor Deler du Tour oplevelsen med venner? Ja det er hyggeligt foran dkærmen vi slapper af med det Side 62

63 Satser du penge på hvem der vinder? Gambling siger mig ikke noget Holder du altid med danskere i løbet? Både og sidste år var der ikke rigtig nogen. Holder med danskere i udbrud. Telekom og Banesto stjernerne er karismatiske og man vil holde med dem Ville du gerne kunne finde info om hvordan danskerne klare sig dagligt? Interessant med dansk hold i år jeg har genvundet interessen i år danskerne er garvede cykelryttere der må kunne gøre det godt Ville du benytte en chat funktion? Ikke interessant chat med stjernerne hmm personligt ville jeg ikke bruge det men ideen kan jeg godt lide Ville du kunne finde info om studieværterne? Jeg synes det er okay jeg har så sent som i dag læst om DR-vejrets værter ja lidt beskrivende er meget sjovt det kan jeg også godt havne i Ville du gerne have små anekdoter om fra Tour de France -løbets historie? Søgemaskine mulighed for internt at søge på tur sitet Mulighed for at linke til merchandise ikke på TV2 sitet Som fan portal (gode råd når du skal til at cykle links til dansk cykelforbund osv) :jeg ville synes det var irriterende at blive sendt vidre til dårlige hjemesider, men helt klart relevante links sjov som fx banesto der også er et blindlotteri eller cykelmærke links men de skal ikke ligge højt oppe i sitets hieraki Noget om cykelrytternes kost, puls etc livet for rytterne og deres cykler hvad er de lavet af og de ligger med drop om natten for at genopbygge deres muskler etc og hvad sker der når hele cirkusset slutter Træningsprogram Spil og konkurrencer. Konkurrencer har de også men det er ikke noget, jeg vil deltage i, men hvis der var et shock-wave spil så, ja Designforslag: Som udgangspunkt er sitet meget godt så jeg ved ikke om én ting villge gøre det bedre Andet Doping var hysteri det havde ikke noget med min lavere interesse at gøre Rutekort ville være interessant hvis det var teknisk lækkert så man fx kunne klikke ind på aktuelt som fx et slot der ligger på ruten eller lign. det ville være bedre en deres terræn ting (nuværende etape oversigt) Side 63

64 Bilag 7 Testresultater: Heuristisk Evaluering Heuristisk Evaluering af Skærmopløsning: 1024*768 Internet Explorer 5.0 PC Netværksadgang Evaluator: Katrine Eriksen Nr. 1 Der er ingen sti, man ved ikke hvor man befinder sig 3 henne Skjult direkte til forsiden knap Nr. 2 Intet sitemap indeks fører til TV2s indeks og helt ud 3 af tour sitet Nr Nr. 4 Links bytter plads/byttes ud ved anekdoter 3 Nr Nr. 6 Var igennem nyheder, resultater og info for at lede 1 efter SMS som lå under Live Nr Nr. 8 Meget sparsom brug af grafik problem, at det hele 3 flyder sammen ingen kontraster Link ikoner er næsten ens med overskrift ikoner som ikke er links forvirrende Nr. 9 Ikke overensstemmelse i fejlmeddelelser under 1 samme funktion sms viste én sig som et lille popup vindue og én anden på en helt ny side hvor man så skulle klikke på prøv igen for at komme tilbage til siden Nr. 10 Ingen FAQ eller hjælpefunktioner. Søgefunktion er (4) fjernet hvis den var der fungerer den ikke altid Nr Nr Nr. 13 Fx på forsiden, er det et problem, at video og 3 billedgalleri ligger under folden. Sitet holder sig generelt ikke til above the fold.kritisk hvis de ønsker at gøre brugeren opmærksom på at de features findes. Søgefunktionen (når den er der) ligger også under folden Nr Nr Nr Side 64

65 Heuristisk Evaluering af Skærmopløsning: 1024*768 Internet Explorer 5.0 PC Netværksadgang Evaluator: Kim Jakobsen Generelt 1. Help & Documentation, mangler, rating: 4 2. Visibility of SS, ingen tydelig indikation af hvor man befinder sig efter man har klikket sig ind på undersiderne, rating 3 3. Consistency & webstandards, forvirrende brug af grafiske link, rating 3 4. Do., brug af her link, rating 1 5. Above fold, søgemaskine samt diverse indhold, rating 4 6. Nyheder 7. Above the fold, dagens dansker, rating 2 Resultater 8. Visibility of SS, uklar, uforståelig dobbeltnavigation i hold, rating 3 Live Ingen registrering Etaper 9. Æstetisk minimalisme, etapekortet er for stort og dog for småt at bruge, rating Matching to the real world, lidt uklar struktur i indhold, hvad hører til hvad, almost alignment, rating 2 Ryttere 11. Above the fold, danske ryttere, rating 1 Historie Ingen registrering På TV2 12. Consistency & standards, overskrift mangler, rating Recognition, hvad menes med På TV2, rating 2 Debat Ingen registrering Info 14. Recognition, hvad menes med Info, rating 2 Øvrigt: Behov for søg/hjælpefunktion Indeks/sitemap for tour-sitet Etapekort funktion skal forbedres Side 65

66 Heuristisk Evaluering af Skærmopløsning: 1024*768 Internet Explorer 5.0 PC Netværksadgang Evaluator: Martin Thomas Jensen Min fremgangsmåde Jeg holdt mig strengt til den aftalte tidsramme på 1 time for testens varighed.. Jeg valgte at evaluere sitets sider ved udelukkende at brug sitets hovedmenu. Jeg klikkede ikke på links ud over dem, der indgår i sitets hovedmenu. Jeg fandt ingen ratings af grad 4, hvilket kan skyldes, at jeg ikke har anvendt Nielsens heuristik nr.5 "Error prevention" og Pearrows heuristik nr. 6 "Speed", hvilket svarer til heuristik nr. 16 i vores liste, hvor Nielsens 10 og Pearrows 6 heuristikker er angivet under hinanden (Se Testplanen for vores heuristiske evaluering. Dog har jeg givet tre uforståelige links i hovedmenubarren en rating grad 3. Det drejer sig om linket "På TV2", "Info" og "Debat". Disse tre fejl anser jeg for sitets største fejl sammen med fejlplaceringen af sitets søgevindue, som bør placeres øverst i sitets øverste højre del. Nedenfor har jeg angivet samtlige fejl, jeg har fundet. Tallene i parentes angiver hvilken heuristik, fejlen tilhører Eksempel: 6) Uforståeligt link: "Debat". Her angiver tallet 6) hvilken heuristik, der er tale om. (Heuristik nr. 6 er Recognition not recall). Fejlenes ratings er angivet med fed efter hvert problem (Eksempel: 6 Uforståeligt link: "Debat"3. Her angiver tallet 3, at fejlen er et Major usability problem, som er vigtigt at få rettet. Indexsiden 11) Konkurrencespalten i venstre side af indexsiden bør deles op i mindre dele 1 13) Linket til det officielle tour-site bør være over folden3 4) Man kan ikke klikke på bjælkerne "dagens etape, Samlet stilling og konkurrence 2 6) Uforståeligt link: "På TV2"3 6) Uforståeligt link: "Info"3 6) Uforståeligt link: "Debat"3 Resultater-siden 4) Man kan ikke klikke på bjælkerne "dagens etape, Vælg etape, bjergtrøjen osv. 2 6) Rullevindue under etape (Don t make me think)2 6) Ingen angivelse af, hvad der gemmer sig bag de tal, man kan klikke på under "Hold" 3 15) Scanability: Alt for mange ensartede links - uoverskueligt1 13)og 4) Søgevinduet ligger I bunden, men bør være øverst i højre hjørne3 6) Linket "indeks" i bunden er intetsigende1 6) Rullevinduet ved søgevinduet i bunden gør, at man skal tænke2 Live-siden 4) Man kan ikke klikke på bjælkerne "Tidligere chats, Live tour og Tour SMS2 11) Alt for langt hyperlink: aktiver kode opsætning af SMS/ afbestilling (Er det 2 links?) 1 4) Overflødigt ord I hyperlinket: Følg rytternes placering (ordet Følg)1 15) De tre chat-afsnit begynder alle med det samme ord: Chatten. Det ville være bedre, hvis det vigtigste de enkelte afsnit kom først, nemlig navnet på den rytter, chatten omhandler1 11) Linket SMS-service er fordelt på 2 linier1 Etaper 1) Svært at læse ordene i figuren 3 4) Man kan ikke klikke på bjælkerne "Dagens etape, Vælg etape, Samlet stilling"2 Side 66

67 6) Rullevinduet ved etaper og knappen VIS ved siden af rullevinduet forvirrer 2 13) Skemaet med Højdepunkter bør være over folden1 13 og 4)) Søgevinduet ligger i bunden, men bør være øverst i højre hjørne3 6) Rullevinduet ved søgevinduet i bunden gør, at man skal tænke2 6) Knappen "Forstør" fortæller ikke, hvad man kan forstørre2 Ryttere 4) Man kan ikke klikke på bjælkerne "dagens etape, Samlet stilling, Udgået og Hold 2 13) Danske ryttere bør være angivet over folden2 13 og 4)) Søgevinduet ligger i bunden, men bør være øverst i højre hjørne3 4) Alt for mange fontstørrelser1 1) Listen med cykelholdende i højre side er ikke opstillet i alfabetisk rækkefølge (overholder ikke almene konventioner)1 15) Lidt uoverskueligt med så mange links2 1) Der er to overskrifter til den midterste spalte: (1: "Bedste placeringer", 2: "Rytternavne"). Overskriften "Rytternavne" er overflødig1 Historie 11) For lange links under "Vidste du?"1 13 og 4)) Søgevinduet ligger i bunden, men bør være øverst i højre hjørne3 6) Rullevinduet ved søgevinduet i bunden gør, at man skal tænke2 6) Linket "indeks" i bunden er intetsigende1 2) Man kan ikke klikke på bjælkerne "Dagens etape, Samlet stiling og Konkurrence" 2 6)Overskrifen "I tekst og tal" er ikke dækkende nok2 6)Linket Mader og Leth er intetsigende1 4)Afsnittet Vindere øverst i højre side har alt for mange overflødige ord. Man kunne nøjes med et hyperlink, med ordlyden: Vindere og en kort angivelse af, at linket dækker over en liste over Tourens vindere gennem tiderne1 11) Enkelte links fordeler sig på hele 2 linier i spalten "Vidste du?"1 11) Asnittene i den midterste spalte bør deles op i mindre bidder1 15) Generelt uoverskuelig side med for tunge tekstafsnit og for mange links2 13 og 4)) Søgevinduet ligger i bunden, men bør være øverst i højre hjørne3 6) Rullevinduet ved søgevinduet i bunden gør, at man skal tænke2 På TV2 6) Sendeplan og knappen Vis alle forvirrer - hvad dækker knappen Vis alle?2 13 og 4)) Søgevinduet ligger i bunden, men bør være øverst i højre hjørne3 6) Rullevinduet ved søgevinduet i bunden gør, at man skal tænke2 Debat 15) Siden er alt for tekst-tung og svær at scanne2 6) To gange forekommer overskriften Debat på siden. Det forvirrer2 11) Tekstspalterne i højre side bør deles op i mindre dele1 5) Stavefejl i hyperlinket "Danskene"1 13 og 4)) Søgevinduet ligger i bunden, men bør være øverst i højre hjørne3 6) Rullevinduet ved søgevinduet i bunden gør, at man skal tænke2 4 og 6) Fire links under spalten "Spørg Dan frost" er malplaceret og bør fjernes1 Side 67

68 Heuristisk Evaluering af Skærmopløsning: 1024*768 Internet Explorer 5.0 Macintosh ADSL Evaluator: Mathilde Luidor Uhrskov 1. Visibilty of system status: Orientering ved brugeren altid hvor han befinder sig på sitet? Generelt ja. Der er en fast navigationsbar i toppen, og overskrifter (=linktitel) så man ved hvor man er, selv undersoverskrifter, fx under nyheder, artikelnavn. MEN: Der mangler en tydelig HOME funktion. Hvis man ved, hvad mange ikke gør, at logoet ofte er et link til HOME kan man finde det, men da logo et er et bredt billede (vs en normal l knapagtig str- logo) så man prøver formentlig ikke engang at bevæge musen over området hvilket ellers ville vise en hånd (link) og en ALT tekst. (Diskutere om der er et behov for en HOME funktion på dette site når navigationen ligger fast, brugere brugte BACK funktion i browser) INFO overskriften er genbrugt for 3 forskellige slags information, nemlig: Om tour de France, Om TV2s ansvar, Om Teknikken bag sitet. Dette er en fejl jeg giver rating 2-3!! Under RESULTAT, kan man vælge ml forskellige trøjer. Men der er ingen underoverskrift der viser at et klik på en trøje henter ny information til venstre for i brødteksten. Det er en fejl jeg giver 2-3 rating. 2. Matching to the real world:(naturligt sprog og konventioner) Se 1. for diskussion af INFO titel. RYTTERE-linket er misvisende, det henviser faktisk til holdene, og dermed kun indirekte til rytterne. Fejl rated 3 3. Kan ikke rigtig testes da der ikke er nogen transaktioner. Hvis man her også tæller om hvorvidt alle aktions (inkl. Surfing) kan tilbagekaldes osv er det meget behageligt på den måde at der ikke er noget hierarkisk system hvor man kan fare vild. Navigationsbaren er hele tiden der. 4. Webstandarder: Man kan ikke klikke på titler, men kun på de små link knapper nedenunder: FEJL 3., Der mangler som nævnt en tydelig HOMEfunktion FEJL 3, Der mangler en effektiv søgefunktion FEJL 3 Der mangler et indeks eller sitemap FEJL 3 8. Aesthetics and minimalistic design: Det er svært at teste når frames er rykket, og database skudder mudder flyder ud. Derfor har jeg kun kigget på HISTORIE som er en færdig side: Nielsen ville være glad der er ingen unødig grafik. Måske kunne der være mere grafik? Det er svært at læse link FEJL 3 Man kan ikke gætte sig til hvad der gemmer sig bag mere og vis alle link. FEJL 3 11 og 12 er ikke så relevante fordi sitet ikke har store mængder information Above the fold: Side 68

69 6. På en normal str skærm vil browserfunktioner + TV2.dk navigationsbar + bannerreklame + egen navigationsbar fylde over halvdelen af skærmen. Det betyder fx at søgefunktionen ikke opdages. FEJL 2? NB: 9. Dem, jeg ikke har gennemgået,er enten ikke testbare på denne prototype, eller irrelevante pga størrelsen af sitet og det faktum at det er et ufærdigt site der testes på. Side 69

70 Heuristisk Evaluering af Skærmopløsning: 1024*768 Internet Explorer 5.0 PC Netværksadgang Evaluator: Carsten Schmidt Generelt: MP Above the fold: Det er problematisk at indholdet kun kan optage 2/3 af skærmen ved siden af navigation/reklamer, skærmtilpasning - 640*480 - (faktisk kun ½ på forsiden hvis teaserne medtages som navigation). Rating 2. JN(1): Det er svært at gennemskue hvor man kommer hen i sitets struktur via mere og vis alle. Under Dagens etape fører de fx til menuen Resultater. Dette er ikke overskueligt, og hvad er forskellen mellem de to. Rating 2. JN(4): Home-funktionen oftest via logo her er det selve grafikken som menuen er en del af. (I begyndelsen havnede jeg på TV2.dk s forside). Rating 2. JN(8): Dagens etape den samme information præsenteres på mange sider. Det samme er også gældende for Samlet stilling. Rating 1. Resultater: JN(1), MP(Scannability): Navigationen findes både i top, og højre og venstre kolonne. Rating 2. Live: JN(1): Manglende tekst/forklaring til knapperne Videogalleri og Billedgalleri. Rating 1. JN(1): Undermenuerne(Live Tour) åbnes op i et separat vindue uden den traditionelle navigation. JN(3): Ikke noget link tilbage til tour-sitet. Rating 2. Etaper: JN(7): Gennemgang af etaperne er kun interessant hvis der er noget spændende i beskrivelsen eller højdepunkter(ordbrug der let kan misforstås som højdepunkt for spænding). Rating 1. MP Inverted info-pyramid: De mange informationer kommer til sidst. Rating 1. Ryttere: JN(7): For lidt ny information ved fx den enkelte rytter/hold. Rating 1. JN(7): Fra en rytter til holdet forventning om holdets officielle website, og ikke tilbage til tour-sitet(tv2). Manglende navigation i dette niveau. Rating 2. Historie: JN(3): Forvirrende navigation top, højre og venstre. Rating 2. JN(2): Video- / Billedgalleri i forhold til Historie eller Live? Rating 1. Side 70

71 Bilag 8 Screendumps af tour.tv2.dk Side 71

72 Side 72

73 Side 73

74 Side 74