DOMS-GUI Test rapport

Transkript

1 MIA , version 1.0 Forfatter: agh Mjølner Informatics A/S MJØLNER INFORMATICS A/S MJØLNER INFORMATICS A/S TELEFON: WEB: FINLANDSGADE 10 TREKRONERGADE 126 H FAX: INFO@MJOLNER.DK 8200 ÅRHUS N 2500 VALBY CVR:

2 INDHOLD 1 INTRODUKTION TESTRAPPORT BRUGERTEST KOMMENTARER TIL BRUGERGRÆNSEFLADEN KOMMENTARER TIL DOMS OG DOMS-MODELLEN KOMMENTARER AFLEDT AF EKSEMPELOBJEKTERNE ÆNDRES INDEN AFLEVERING D. 15. DEC ØNSKES ÆNDRET I NÆSTES VERSION AF TESTRAPPORT ACCEPT-TEST BILAG ACCEPT-TEST GENEREL INTRODUKTION TIL DE FIRE BRUGERTESTS TESTOPGAVER BRUGERTEST AVIS TESTOPGAVER BRUGERTEST RADIO TESTOPGAVER BRUGERTEST LYD TESTOPGAVER BRUGERTEST KATALOGISATOR...11 MIA , version 1.0 1

3 1 Introduktion Torsdag d. 11. december 2008 blev der afholdt en accept-test samt fire brugertests på projektet. Formålet med de fire brugertests var, at undersøge brugernes reaktion på de vigtigste funktioner, som brugergrænsefladen til DOMS () skal kunne udføre og understøtte. Der blev afholdt fire individuelle brugertests med fire forskellige repræsentanter for brugergrupperne: Lyd, Radio/Tv, Avis/Billede og Katalogisering. Hver test varede ca. 30 minutter og blev gennemført som en Cognitiv walkthrough. Det betyder konkret, at hver bruger bliver præsenteret for en række scenarier og åbne opgaver, som skal gennemføres på DOMS brugergrænsefladen. Brugerne bliver bedt om at give udtryk for, hvad de tænker og registrerer, når de udfører en given opgave samt give udtryk for alle uhensigtsmæssigheder, som de registrerer i brugergrænsefladen. Formålet med accept-testen var, at opnå Statsbibliotekets accept af. Accept-testen varede ca. 45 minutter og blev afholdt med en repræsentant fra Statsbiblioteket. Den indeholdte i alt 13 forskellige scenarier med beskrivelse af opgaver og forventede resultater. De fem tests blev alle afholdt i Statsbibliotekets lokaler i Århus og de blev udført på Statsbibliotekets maskiner. Testen blev udført op i mod et ikke færdigudviklet DOMS-system, derfor var det, der blev vist, eksempel-objekter. Forud for hver test blev testdeltageren præsenteret for formål og indhold og alle tests blev gennemført med en testleder og en observatør fra Mjølner Informatics. De fire brugertests samt accept-testen findes som bilag bagerst i dette dokument. Testopgaver står skrevet med almindelig skrift og noterne står skrevet i kursiv efter testopgaven. 2 Testrapport brugertest Testrapporten opstiller det data, der er indsamlet under de forskellige tests. Herunder observationer af brugerne samt kommentarer fra brugerne. Dette samles i tre overordnede kategorier og to typer anbefalinger. 2.1 Kommentarer til brugergrænsefladen Generelt kan man ud fra de fire gennemførte tests konkludere, at brugergrænsefladen virkede intuitiv og lettilgængelig for alle brugerne. Følgende kommentarer er dog noteret: 1. Svært at finde ud af, om grænsefladen gemmer, når man klikker Publish, da Save knappen altid er highlighted. 2. Flere brugere lagde ikke mærke til, at Publish/Edit-mode ikonet i toppen af grænsefladen skiftede tilstand. 3. En bruger ønskede at kunne klikke på ikonet Published/Edit-mode i søgeresultatlisten for at gå direkte til at publicere eller editere i stedet for at klikke på linket. 4. Flere brugere ønskede at dropdown-listerne bliver sorteret alfabetisk. 5. En bruger ønskede at ikke udfyldte påkrævede felter highligthes med en anden farve sammen med fejlbeskeden om, at de mangler at blive udfyldt. 6. Flere brugere ønskede at det blev tydeligere hvad panelet der indeholder xml-data er til/indeholder. MIA , version 1.0 2

4 7. Flere brugere ønskede at ovennævnte panel flyttes til toppen af grænsefladen da det har med fil-upload at gøre. 8. Flere af brugerne ønskede mindre ændringer i dialogboksene såsom navn på en knap. 9. Flere af brugerne mente ikke, at statusbeskedboksen i toppen af grænsefladen var tydelig nok. 10. Flere brugere havde svært ved at forstå, at man skal klikke på pilen ud for mappen i Fileupload-browseren, og at man ikke kan klikke direkte på mappen. 11. Flere brugere ønskede at det skulle tydeliggøres, at file-upload ikke et færdigt, når man har valgt en fil, men at man ligeledes skal klikke på Upload knappen. 2.2 Kommentarer til DOMS og DOMS-modellen Følgende kommentarer fra brugerne relaterer sig direkte til DOMS-modellen: 1. Flere af brugerne havde svært ved at forstå logikken i træets opbygning. Herunder specielt forskellen på en Recording og en Side samt en Audio file og en Quadriga file. 2. Brugerne havde ligeledes svært ved at forstå logikken i at skulle oprette elementet fil før de kunne tilføje en fil. 3. Flere af brugerne havde svært ved at forstå hvorfor upload af en fil skulle ske i to skridt og dermed ved at forstå, at filen gemmes i DOMS bitstorage. 4. Der var generelt usikkerhed omkring hvad en Template er. 2.3 Kommentarer afledt af eksempelobjekterne Følgende kommentarer fra brugerne relaterer sig direkte til, at testen blev gennemført med eksempel-objekter: 1. Der var mulighed for at tilføje flere titler, hvilket forvirrede flere brugere. De var enige om, at der kun skal være én titel og resten er alternative titler. 2. Flere brugere gav udtryk for, at DOMS-ID et var forvirrende. 2.4 Ændres inden aflevering d. 15. dec Følgende er ændret efter ønske fra brugerne: 1. Statusbeskedboksen i toppen af grænsefladen er gjort tydeligere. 2. State ikonet (Published/Edit-mode) er flyttet til højre side af grænsefladen og gjort større, så det nemmere fanger brugerens opmærksomhed. 3. Knappen Delete på Export-dialogboksen er ændret til Ok. 4. File-upload-browseren er forbedret så mapperne åbnes ved dobbeltklik. 2.5 Ønskes ændret i næstes version af Følgende opmærksomhedspunkter i grænsefladen foreslås ændret i næste version af : 1. Mulighed for at klikke på ikonet Published/Edit-mode i søgeresultatlisten for at gå direkte til at publicere eller editere. 2. Alfabetisk sortering af dropdown-listerne. 3. U-udfyldte påkrævede felter highligthes med en anden farve sammen med fejlbeskeden om, at de mangler at blive udfyldt. 4. Ændring og/eller tydeliggørelse af panelet der indeholder xml-data. MIA , version 1.0 3

5 5. Ovennævnte panel flyttes til toppen af grænsefladen da det har med fil-upload at gøre. 6. Tydeliggørelse af, at file-upload ikke et færdigt, når man har valgt en fil, men at man ligeledes skal klikke på Upload knappen. 3 Testrapport accept-test Accept-testen blev gennemført uden bemærkninger og alle opstillede opgaver blev fuldført med accept af funktionaliteten af repræsentanten fra Statsbiblioteket. 4 Bilag 4.1 Accept-test 1. Log på a. Med brugernavn: jon og password: bomme b. Forventet resultat: i. Logon på accepteres og søgesiden vises 2. Gennemfør en søgning ved at indtaste følgende i søgefeltet: a. Natten b. Bil-revyen c. Forventede resultater: i. Relevante records vises i søgeresultatlisten 3. Opret et nyt element på en eksisterende record a. Søg efter DOMS-ID: doms:example_sommusikomnatten_tape b. Åbn den fremsøgte record c. Klik på knappen: Edit d. Opret en ny side ved at klikke på knappen: New element e. Forventet resultat: i. Det nye element oprettes med felter og vises i oversigten i venstre side 4. Tilføj en bevarings-fil på en record a. Vælg den nyoprettede side i oversigten b. Klik på knappen New element c. Vælg Ny audio fil d. Vælg det nye element: Audiofile i oversigten i venstre side e. Upload fil via Browse og Upload funktionen øverst på fanebladet: Metadata f. Forventet resultat: MIA , version 1.0 4

6 i. En fil uploades til DOMS via GUI en og der dannes et link til den 5. Tilføj data fra en xml-fil til en record a. Vælg Quadriga file i oversigten i venstre side b. Scroll til bunden af fanebladet: Metadata c. Klik på knappen Add d. Vælg xml-filen via fil-browseren e. Klik på knappen: Upload f. Forventet resultat: i. Data fra den uploadede fil vises i vinduet 6. Eksporter data fra DOMS til Quadriga og gem fil a. Klik på knappen: Export b. Vælg eksport metode i dropdownboksen c. Klik på knappen: Export d. Gem filen på Skrivebordet e. Forventet resultat: i. Der gemmes en xml-fil ved navn: domsexport.xml 7. Sletning af element på record a. Vælg elementet: Imagefile i oversigten i venstre side b. Klik på knappen: Delete element c. Forventet resultat: i. Elementet fjernes fra oversigten 8. Publiser record a. Klik på knappen: Save b. Klik på knappen: Publish c. Forventet resultat: i. Denne record bliver published og ikonet skifter 9. Opret en ny record ved at klikke på menupunktet: New record a. Vælg Collection via dropdownboks: Example Tape Collection b. Vælg Template via dropdownboks: Nyt blankt reeltape c. Klik på knappen: Create d. Forventet resultat: i. En ny tom record oprettes 10. Ændre titel og tilføje felt på record a. Tilføj titel: Dancing Queen i titelfeltet MIA , version 1.0 5

7 b. Klik på + knappen ud for titelfeltet c. Tilføj titel: Arrival i det nye titelfelt d. Klik på knappen: Save e. Forventet resultat: i. Nye titler bliver gemt 11. Søg på ny titel a. Klik på menupunktet: Search b. Indtast ordet: Arrival i søgefeltet c. Brug Enter tasten på tastaturet til at effektuere søgningen d. Åbn den fremsøgte record ved at klikke på linket i søgeresultatlisten e. Forventet resultat: i. Bekræftelse af, at de to nye titler er gemt på denne record 12. Importer en record fra et andet system til DOMS: a. Klik på menupunktet: Import b. Vælg at denne record skal importeres til Tape-samlingen c. Vælg hvilket system denne record skal importeres fra d. Tildel importen de relevante parametre i dette tilfælde bibno: 1234 e. Forventet resultat: i. En record bliver importeret, relevante elementer oprettes og nogle felter udfyldes. 13. Tilføj relation på eksisterende record/element a. Klik på elementet: The music lesson i oversigten i venstre side b. Klik på fanebladet: Relations c. Tilføj en ny relation ved at vælge ispartofcollection i dropdownboksen d. Klik på knappen: Create e. Vælg Example Radio Collection i dropdownboksen f. Klik på knappen: Create g. Forventet resultat: i. Den tilføjede relation findes nu under Existing relations 4.2 Generel introduktion til de fire brugertests Formål med brugertesten Formålet med brugertesten er at undersøge brugernes reaktion på de vigtigste elementer, som skal kunne udføre og understøtte. Introduktion til testen MIA , version 1.0 6

8 Testen vil forløbe ved at brugeren bliver bedt om at udføre de opgaver der er listet fra til i dette dokument. Før testen går i gang bliver brugeren spurgt om navn og stilling samt introduceret til, hvordan testen vil foregå samt hvad formålet med testen er. Testen gennemføres som en Tænke-højt-test hvilket betyder, at brugeren vil blive bedt om at sige hvad vedkommende tænker, når en given opgave udføres. Det er vigtigt at fremhæve, at hvis der opstår problemer for brugeren undervejs i testen, både i forhold til forståelsen af opgaverne og forståelsen af systemet, så er det på ingen måde brugerens fejl. Det er derfor meget vigtigt at brugeren altid gør opmærksom på uhensigtsmæssigheder. Tid, sted og involverede Testen bliver udført i Statsbibliotekets lokaler i Århus. I testen deltager repræsentanter for brugergrupperne: 1. Lyd 2. Avis/Billede 3. Tv/Radio 4. Katalogisering Der gennemføres 4 individuelle brugertests med de ovennævnte repræsentanter. Ved hver test vil der være en testleder og en observatør fra Mjølner Informatics A/S tilstede. Hver brugertest varer ca. en halv time inklusiv introduktion og afslutning. 4.3 Testopgaver brugertest Avis Opstart Log på med brugernavn: jon og password: bomme Ingen bemærkningner Søgning Søg efter årsbogen Bil-revyen Hvad mener du om måden søgeresultatet præsenteres på? Bil-revyen bør står øverst da det er en collection. Doms ID er ikke sigende og forvirrer. Svært at se hvad bil-revyen er. Tilføj felter og data Du ønsker at tilføje metadata på en allerede eksisterende record. Du har fremsøgt årsbogen Bilrevyen og åbner herefter denne record. Brugeren åbner bil-revyen 1965, da han normalt vil kigge efter ting med et årstal. Efter at have åbnet den rigtige bil-revyen ser brugeren straks at den er publiceret og at han skal trykke på edit Du ønsker at tilføje en ekstra titel: Car review Det virker intuitivt for brugeren at skulle trykke på + for at tilføje en ny titel. Herefter ønsker du at publicere denne record MIA , version 1.0 7

9 Brugeren under sig om publish gemmer inden den publicerer. Efter at have trykket publish kan han se at den er gemt. Brugeren bemærker at det er sjovt at save er highlighted. Brugeren bemærker ikke state ikonet ændrer sig, men mere at knapperne i venstre hjørne ændrer sig til disabled. Brugeren ser hellere Doms ID og state stå til højre over metadatatab. Opret ny record Du ønsker at oprette en helt ny record på avisen Ekstra Bladet (Newspaper edition) Brugeren finder straks new record siden og vælger selv newspaper collection. Brugeren bemærker at det ville være rart hvis dropdowns var sorteret efter navn. Brugeren prøver at trykke på N for at vælge newspaper i dropdown. Brugeren er klar over at template er en skabelon samt hvad konceptet dækker over og vælger den rigtige. Du udfylder titelfeltet og publicerer denne record.. Edit og publish virker igen intuitivt for brugeren. Det samme med at udfylde titel felt. Tilføj billede af avisen på denne record Senere ønsker du at tilføje en bevaringsfil med et billede af avisen på ovenstående record. New element virker intuitiv for brugeren. Åbn denne record så der kan tilføjes elementer og data på den. Opret derefter elementet: Page samt elementet: File object. Igen virker det nemt for brugeren at overskue at new element skal i spil, og hvorledes funktionen bruges. Under sidstnævnte element tilføjer du en fil hvorefter du publicerer denne record igen. Brugeren ser straks upload kontrollerne og trykker browse. Han finder selv hen til avisbillede. Brugeren prøver at trykke på mapper for at åbne dem, i stedet for at bruge pilene. Der er tvivl om hvorvidt han skal trykke på upload efter at have valgt stien, for at uploade filen til elementet. Efter at have uploadet er det tydeligt for brugeren at se at filen er blevet uploadet pga at der er kommet et link. Publish fejlede. Brugeren ønsker at der skal stå Publish failed øverst i beskeden. Brugeren ønsker en specificering af hvilke felter det er der skal udfyldes for at den kan publiceres. Tilføj ny relation Du ønsker at koble årsbogen: Bil-revyen med en ny samling. Derfor søger du efter den. Du åbner Bil-revyen som allerede er publiceret. Herefter åbner du denne record så den kan redigeres og du tilføjer en ny relation: IsPartOfCollection, RootCollection. Intuitivt for brugere at søge den frem, åbne den og trykke edit. Brugeren finder selv hurtigt hen til Relations tabben og ser selv at ispartofcollection skal vælges i dropdown og at Rootcollection skal vælges i den efterfølgende popup. Virker meget intuitivt for brugeren at arbejde med relations. MIA , version 1.0 8

10 Brugeren ønsker ikke at haslicense og istemplatefor var i samme dropdown som de normale relationer når man skal tilføje. Brugeren læser hjælpeteksten for Other Records, og det giver mening for brugeren at det er årsbøger der er en del af den åbne collection som vises der. Efter at åbne 1965 udgaven, forventer brugeren umiddelbart at siden i årsbogen findes som et normalt element under den åbne record. Se andre numre af årsbogen Bil-revyen Du kan se, at 1965 udgaven også er lagt ind som en record og ønsker derfor at åbne denne record, så du kan se om der er lagt et billede ind på dette nummer. Brugeren læser hjælpeteksten for Other Records, og det giver mening for brugeren at det er årsbøger der er en del af den åbne collection som vises der. Efter at åbne 1965 udgaven, forventer brugeren umiddelbart at siden i årsbogen findes som et normalt element under den åbne record. 4.4 Testopgaver brugertest Radio Opstart Log på med brugernavn: jon og password: bomme Forløb uden problemer Opret ny record Du ønsker at oprette en helt ny record på radio-udsendelsen: Baotou byen der blev hægtet af. Bruger vælger selv new record og radio collection + template. Bruger ved hvad samling er, men ikke template. Har dog en formodning ud fra grænseflade elementerne. Du udfylder titelfeltet med titlen. Bruger forsøger først at trykke på + ved titel, men fjerner det igen da han opdager at der allerede er et titel felt han kan ændre i. Herefter ønsker du at tilføje en ekstra titel. Brugeren finder det forvirrende, at der kan være 2 titler i stedet for en titel og en alternativ titel. Det virker dog intuitivt for brugeren at bruge + knappen til at tilføje en titel med. Hvorefter du gemmer denne record. Brugeren har let ved at finde gem funktionen og bemærker efter gem, at der står Record saved og at titlen i træet har ændret sig. Tilføj fil på eksisterende record Du ønsker at tilføje en bevaringsfil på den nyoprettede record. Inden brugeren har læst næste skridt, vælger han umiddelbart at trykke på import for at tilføje en bevarings fil. Du opretter derfor et nyt element: Recording Efter at have læst testen finder brugeren selv frem til new element knappen og opretter en recording uden problemer. Under dette element opretter du elementet: Audiofile og her tilføjer du din bevaringsfil. MIA , version 1.0 9

11 Det er ulogisk for brugeren, at han skal oprette et nyt audiofil objekt for at tilføje en fil når han står på recording. Efter brugeren har indset, at det er det der skal ske, er GUI et dog umiddelbart logisk for brugeren, og han opretter selv et new element og vælger audio fil objekt. Brugeren bemærker straks at der er en browse knap han skal bruge til at finde sin bevaringsfil og trykker på denne. Brugeren bemærker at det ville være nemmere hvis man ikke behøvede at trykke på pilene for at browse mapper, men blot kunne trykke på mappenavne. Brugeren trykker på upload knappen selv, og har en forståelse af at filen så knyttes til posten. Publicer record Da du nu har tilføjet en fil til den eksisterende record ønsker du, at den skal ændre status fra Inactive til Active. Ser straks publish knappen. Publish fejler uden fejlbesked. Brugeren vil gerne have at der står, at han mangler at udfylde et required felt. Brugeren ønsker også en specificering af hvilke felter det er, der mangler at blive udfyldt. Søgning og sletning Du ønsker at sikre dig, at denne record kan fremsøges, derfor klikker du på menupunktet: Search og laver en søgning efter den. Brugeren finder uden problemer search og søger efter baotou. Han genkender den record han har lavet i søge resultaterne. Da du mener, at denne record er oprettet forkert ønsker du at slette den. Brugeren åbner uden problemer den fremsøgte record og klikker på delete. Han læser teksten og bemærker at der bør stå OK i stedet for delete på knappen. Efter at have trykket delete, kan han ikke se tydeligt om den er slettet. Han bemærker at den stadig fremgår i søge resultat listen. Brugeren lægger ikke mærke til at der står Element(s) deleted i toppen. 4.5 Testopgaver brugertest Lyd Opstart Log på med brugernavn: jon og password: bomme Ingen bemærkninger Søgning Søg efter DOMS-ID:.. Hvad mener du om måden søgeresultatet præsenteres på? Søgeresultaterne virker forståelige. Brugeren ser, at record ikke er publiceret ud fra ikonet. Brugeren synes det kunne være rart, hvis man kunne publicere en record bare ved at trykke på ikonet i søgeresultaterne. Eksporter data fra DOMS til Quadriga og gem fil Du ønsker at oprette et element: Quadriga file under en side på den fremsøgte record. Brugeren er i tvivl om terminologien omkring Recording og Side. Brugeren kan generelt ikke gennemskue det model specifikke. MIA , version

12 Brugeren ser ud til godt at vide, at han skal trykke på new element for at tilføje en quadrigafil, men hans problemer stammer fra manglende forståelse for DOMS modellen. Brugeren bemærker, at det er godt, at der automatisk skiftes til det nyoprettede element. Derefter ønsker du at eksportere data fra DOMS til Quadriga og gemme filen på dit skrivebord. Brugeren finder selv export knappen, men er i tvivl om, hvad det betyder på model niveau. Brugeren bemærker at hvis Select export.. er valgt i dropdown, så skal knappen Export ikke være highlighted. Brugeren ønsker at filnavnet skal hedde noget med doms id et Efter at have trykket export igen, føler brugeren irritation over at toquadriga stadig er valgt i dropdown. Tilføj fil på eksisterende record Du ønsker at tilføje en bevaringsfil (chord.wav) under elementet Recording. Brugeren ved ikke hvor en bevaringsfil skal tilføjes. Brugeren kan ikke se om der er en bevaringsfil allerede selvom upload file kontrollerne er vist. Fil browseren virker intuitiv. Irritation over at skulle trykke på upload efter at have fundet filen. Mener at upload knappen burde highlightes bedre. Herefter ønsker du at tilføje xml data fra en lokal xml fil, der ligger på din egen computer til dette element. Brugeren mangler forståelse for, hvorfor der skal tilføjes en xml fil og en bevarings fil over to omgange. Brugeren ønsker kun at kunne vælge filtyper.xml i fildialogen. Der er et ønske om at der skal være en tydeligere indikation af at det togglepanel som indeholder xml en kan toggles. Publicer record Da du nu har tilføjet en fil til den eksisterende record ønsker du, at den skal ændre status fra Inactive til Active. Brugeren bemærker via ikonet, at den ikke blev publiceret. 4.6 Testopgaver brugertest katalogisator Opstart Log på med brugernavn: jon og password: bomme Ingen bemærkninger Søgning Søg efter årsbogen Bil-revyen Bruger autocompletion til at søge efter den. Hvad mener du om måden søgeresultatet præsenteres på? Synes godt om måden resultaterne præsenteres på. Brugeren åbner selv intuitivt den fremsøgte record. MIA , version

13 Tilføj felter og data Du ønsker at tilføje metadata på en allerede eksisterende record. Du har fremsøgt årsbogen Bilrevyen og åbner herefter denne record. Virker intuitivt. Du ønsker at tilføje en ekstra titel: Car review Brugeren finder selv frem til titelfeltet og trykker straks på + for at tilføje den nye titel. Herefter ønsker du at publicere denne record Brugeren finder selv frem til publish knappen og anvender den. Efter publish kan brugeren ikke finde published ikonet. Brugeren anvender det anderledes udseende på panelet og knapperne som indikation om at den er published. Det første sted brugeren leder efter publish er ovre i træet. Opret ny record Du ønsker at oprette en helt ny record på radio-udsendelsen: Baotou byen der blev hægtet af. Finder hurtigt new record. Brugeren kan ikke umiddelbart finde meningen med collection, men tænker på det som at vælge typen. Brugeren opretter den korrekte template, men det er ikke gennemskueligt hvad New blank radio er. Du udfylder titelfeltet og gemmer denne record. Det virker intuitivt for brugeren at ændre titlen, gemme og publicere. Brugeren lægger mærke til at navnet på elementet er skiftet til den nye titel i træet. Brugeren bemærker at grænsefladen ser ok ud og at den fortæller hende det hun forventer. Import af record Du søger efter en record på spolebåndet Short Stories. Search findes med det samme. Da den ikke er at finde i DOMS finder du den i Horizon. Du ønsker herefter at importere denne record til DOMS. Brugeren går straks ind på import siden og udfylder det hele selv. Det virker meget intuitivt for brugeren. Efter import kigger brugeren straks efter kendte felter. Brugeren vælger at gemme og publicere. Publish fejler. Brugeren ønsker at er skal stå at der mangler at blive udfyldt nogle felter. Brugeren finder selv frem til de felter med * og udfylder dem. Det virker meget intuitivt for brugeren. MIA , version