Usability test af beholdere I Leifgården

Transkript

1 Usability test af beholdere I Leifgården Test gennemført af Tina Winberg Ditte Vestergaard Hansen Martin Tilsted Byens Udvikling, Københavns kommune MST

2 13.september 2016 Indhold Resumé... 2 Introduktion... 4 Hypoteser om brugervenlighed (ift. ældre)... 4 Mål for testen... 5 Deltagere... 5 Metode... 6 Scenarier & Opgaver... 7 Resultater...11 nbefalinger...13 Konklusion...13 Resumé 2

3 Denne rapport opsamler en kvalitativ undersøgelse af ældres brug af standard beholdermateriel til affald i Københavns kommune. Otte beboere i Leifgården deltog d.1.september i en brugertest, hvor de blev stillet spørgsmål og opgaver vedrørende affald, genanvendelse og brugen af 660 liters beholdere, 180 liters beholdere og en lille glaskube. nalysen af resultaterne fra usability testen har vist at der kan observeres udfordringer ved affaldsordningernes: Indkasthøjde Kommunikation Type af indkast Indretning Spørgsmål til testen kan rettes til: Martin Tilsted martin.tilsted@tmf.kk.dk, Tina Winberg at7h@tmf.kk.dk,

4 Introduktion Usability test er en metode, til at evaluere et produkt eller en service, ved at observere brugernes interaktion med dette. Der findes mange varianter af usability tests. Den klassiske metode vil ofte bære præg af at skulle foregå i et yderst kontrolleret miljø (et usability lab ). Dog peger flere usability eksperter på at mange effektive udviklingsforløb har fokuseret tid og ressourcer på at undersøge få brugere, men til gengæld af flere omgange. Dette betyder også at usability tests ikke som sådan kan anvendes statistisk, men at indsigter fra disse små brugertests kan anvendes som grundlag for designbeslutninger og som inspiration for større undersøgelser. Kort sagt: hvis 5 tilfældigt udvalgte brugere ikke oplever et problem ved en specifik feature, så er den nok ikke så interessant at teste i stor skala det samme kan dog ikke siges om en feature som 3 ud af 5 brugere misforstår eller bruger forkert. Denne usability test er derfor også udelukkende tiltænkt at kvalificere de indsigter som er beskrevet i SBI-rapport nr.326, samt at supplere den kvantitative spørgeskemaundersøgelse, som ligeledes udføres i september Testteamet valgte at afprøve affaldsordningers brugervenlighed på maks. 10 beboere i Leifgården. f de inviterede valgte 8 af deltage i selve usability testen. Testen blev udført d.1. september 2016 ved Leifgårdens affaldsø. Hypoteser om brugervenlighed (ift. ældre) I SBI s rapport fra 1999 pegede forfatterne på, at udformningen af det nuværende beholdermateriel resulterede i udfordringer for nogle beboere i etageboliger. Dette skyldtes blandt andet indkastenes høje placering og lågenes vægt og funktion. SBI konkluderede at man ved at re-designe beholdere kunne inkludere de 15-20% af beboerne som dengang oplevede udfordringerne, heriblandt ældre, gangbesværede, børn og personer med diverse funktionsnedsættelser. Bseret på ovenstående undersøgelse opstilledes 4 hypoteser om brugervenlighed til denne usability test. Hypotese 1: Nogle brugere vil have svært ved at skelne genanvendeligt affald fra ikkegenanvendeligt. Hypotese 2: Nogle brugere vil have svært ved at aflevere affaldet problemfrit i beholderne 4

5 Hypotese 3: Nogle brugere vil have svært ved at nå indkastet i glas Hypotese 4: Meget få brugere vil være i tvivl om HVOR den relevante beholder står, skal NVENDES eller SER UD. Ovenstående hypoteser har fungeret som basis for testens tre scenarier. Mål for testen Testen skal understøtte det videre arbejde med at komme med designforslag til hvordan affaldsordninger kan indrettes så brugervenligt som muligt. Projektet søger at skabe tilgængelighed til affaldsordninger for alle. Tilgængelighed for alle er defineret i projektet som en succesrate på 95 % for almindelig brug af beholderne, svarende til en gennemsnitlig forbedring i succes rate på % for alle brugergrupper. I denne usability test, undersøges brugervenligheden udelukkende for målgruppen, dvs. de 15-20% hvor succes raten forventes at være lavest. Deltagere Testdeltagerne var beboere i Leifgården. Nogle boede langt fra affaldsøen, andre havde en meget kort afstand til den. Gruppen blev ikke udvalgt med henblik på at undersøge afstandens indflydelse på beboernes sorteringsevne eller motivation hertil. Kønsfordeling blandt deltagere 12% Deltagerne til testen blev udvalgt af den daglige driftsleder i Leifgården. 10 beboere modtog en invitation. 8 valgte at deltage i testen. 88% Mand Kvinde Der var en klar overrepræsentation af kvinder i testen. I en større test med et statistisk formål, bør deltagergruppen sammensættes så befolkningsgennemsnittet repræsenteres bedre. 5

6 Metode Usability testen af Leifgårdens affaldsordninger bestod af en introduktion, 4 små opgaver relateret til deltagernes forståelse af affald og brugen af beholderne, samt et kort post-test interview omhandlende brugerens oplevelse af affaldsordningerne. Testen blev udført af tre personer med hver deres rolle: 1. Facilitatoren: guider deltagerne igennem testen og introducerer opgaverne 2. Observatør: noterer deltagerbesvarelser og adfærd, vurderer om opgaven er succesfuldt udført og nedskriver citater 3. Kameramand: filmer deltagernes interaktioner med materiellet Efter den indledende introduktion (se Facilitator manus) af facilitatoren, blev deltagerne stillet nogle opgaver. De første tre opgaver fokuserede på deltagernes viden om genanvendelse og det københavnske affaldssystem, hvorimod den sidste opgave udelukkende fokuserede på deltagernes adfærd og interaktion med beholderne. Test-teamet valgte helt bevidst tænke-højt -metoden fra, da vi ikke ønskede at brugerne skulle reflektere over egen adfærd. Opgavernes udførelse blev videofilmet, imens observatøren nedskrev citater fra deltagerne, samt pointgav opgavens udførelse i et excel-ark, til senere anvendelse. Til sidst blev deltagerne ført igennem række post-test spørgsmål, og samtalen blev åbnet op og deltagerne fik lov til selv at dreje samtalen hen på emner de fandt relevante. 6

7 Scenarier & Opgaver Baseret på de fire opstillede hypoteser blev tre scenarier konstrueret til afprøvning af forskelligt beholdermateriel og forskellige typer af affald. Som support til testen blev et facilitator manuskript og et test script udarbejdet. Facilitator manuskript Scenarie Facilitator Tasks & Flow Noter SPØRG: For bedre at kunne dokumentere brugen af beholderne, vil vi gerne bede om lov til at videofilme dig udføre øvelserne. Vil dette være i orden? Gør: Udlever samtykkeerklæring til bruger. Brugeren underskriver samtykkeerklæring. Scenarie flevering af plast/papir i 600L. Bruger står udenfor affaldsø og afventer instrukser. SIG: I denne test vil vi bede dig om at aflevere tre forskellige typer affald i deres respektive beholdere. ffaldet er blevet vasket og er tørt, så du behøver ikke at være bange for madrester eller andet ulækkert. Vi vil guide dig igennem alle tre tests. Gør: Udlever pose med affald til brugeren. SIG: Forestil dig at du over en periode har sorteret dit affald i forskellige fraktioner. Du har nu fået fyldt denne pose med affald og vil aflevere det til genanvendelse. Spørg: Kan du fortælle mig hvilken type affald der er tale om? Spørg: Kan alt affaldet i posen genanvendes eller kan du finde noget som er lagt i ved en fejl? Spørg: Kan du fortælle mig hvilken beholder affaldet hører til i? Brugeren vises ind i affaldsområdet... B kan nemt skelne imellem affaldsfraktioner B kan nemt skelne genanvendeligt affald fra ikke-genanvendeligt affald B forstår hvilken beholder affaldet skal i. SIG: Vær sød at smide affaldet ud i. B kommer nemt hen til B forstår hvordan affaldet skal smides i 7

8 B kan nemt smide affaldet i B C Scenarie B Test med aflevering af flasker i lille glaskube. B er inde i affaldsområdet. SIG: Ligesom før får du her udleveret noget affald Scenarie C Test med aflevering af metal i 240L beholder. B er inde i affaldsområdet. SIG: Ligesom før får du her udleveret noget affald Debriefing Foretages for hver bruger efter udførelse af øvelserne DB Hvad er dine tanker her efterfølgende? Hvordan føltes det at gennemføre øvelserne? DB Hvilken beholder foretrak du at bruge? DB Er der noget du tænker kunne blive forbedret - noget som du synes var sværere end andet? Samme script som i scenarie Samme script som i scenarie NB! Bruge noter fra øvelsen! Test Script Scenarie Tasks & Flow Definition of done Scenarie B kan nemt skelne imellem affaldsfraktioner B udpeger affaldet korrekt (3: B ved ikke hvilken fraktion affaldet tilhører.) B kan nemt skelne genanvendeligt affald fra ikke-genanvendeligt affald B forstår hvilken beholder affaldet skal i. B kommer nemt hen til B svarer korrekt på spørgsmålet (1: Ja, det kan alt sammen genanvendes) (3: B udpeger genanvendeligt affald, som ikke-genanvendeligt) B udpeger den korrekte beholder (3: B kan ikke finde.) B udpeger den korrekte beholder (3: B kan ikke finde.) 8

9 B B B B B B C C B forstår hvordan affaldet skal smides i B kan nemt smide affaldet i Scenarie B B kan nemt skelne imellem affaldsfraktioner B kan nemt skelne genanvendeligt affald fra ikke-genanvendeligt affald B forstår hvilken beholder affaldet skal i. B kommer nemt hen til B forstår hvordan affaldet skal smides i B kan nemt smide affaldet i Scenarie C B kan nemt skelne imellem affaldsfraktioner B kan nemt skelne genanvendeligt affald fra ikke-genanvendeligt affald B åbner s låg (1: B tøver ikke) (2: B tøver) (3: B kan ikke finde ud af hvordan affaldet skal smides ind) B smider affaldet i (1: B er i stand til, på meget kort tid, at smide affaldet i ) (2: B kæmper med at holde låget åbent/nå indkastet/b bruger flere minutter på opgaven) (3: B opgiver at smide affaldet ud/beder om assistance) B udpeger affaldet korrekt (3: B ved ikke hvilken fraktion affaldet tilhører.) B svarer korrekt på spørgsmålet (1: Ja, det kan alt sammen genanvendes) (3: B udpeger genanvendeligt affald, som ikke-genanvendeligt) B udpeger den korrekte beholder (3: B kan ikke finde.) B udpeger den korrekte beholder (3: B kan ikke finde.) B identificerer indkastet på (1: B tøver ikke) (2: B tøver) (3: B kan ikke finde ud af hvor affaldet skal smides ind) B smider affaldet i (1: B er i stand til, på meget kort tid, at smide affaldet i ) (2: B kæmper med at nå indkastet/b bruger flere minutter på opgaven) (3: B opgiver at smide affaldet ud/beder om assistance) B udpeger affaldet korrekt (3: B ved ikke hvilken fraktion affaldet tilhører.) B svarer korrekt på spørgsmålet (1: Ja, det kan alt sammen genanvendes) (3: B udpeger genanvendeligt affald, som ikke-genanvendeligt) 9

10 C C C C B forstår hvilken beholder affaldet skal i. B kommer nemt hen til B forstår hvordan affaldet skal smides i B kan nemt smide affaldet i B udpeger den korrekte beholder (3: B kan ikke finde.) B udpeger den korrekte beholder (3: B kan ikke finde.) B åbner s låg (1: B tøver ikke) (2: B tøver) (3: B kan ikke finde ud af hvordan affaldet skal smides ind) B smider affaldet i (1: B er i stand til, på meget kort tid, at smide affaldet i ) (2: B kæmper med at holde låget åbent/nå indkastet/b bruger flere minutter på opgaven) (3: B opgiver at smide affaldet ud/beder om assistance) 10

11 Resultater Overordnet set kunne langt de fleste brugere gennemføre opgaverne. Brugerne fejler oftest når de skal skelne genanvendeligt fra ikke-genanvendeligt, men også når de skal håndtere beholdernes låg. Scenarie B kan nemt skelne imellem affaldsfraktioner B kan nemt skelne genanvendeligt affald fra ikkegenanvendeligt affald B forstår hvilken beholder affaldet skal i. B kommer nemt hen til beholdere n B forstår hvordan affaldet skal smides i beholdere n B kan nemt smide affaldet i beholdere n Deltager Deltager Deltager 3a Deltager 3b Deltager 4a Deltager 4b Deltager 5a Deltager 5b Deltager 6a Deltager 6b Deltager 7a Deltager 7b Deltager 8a Deltager 8b SUM Success Rate 84,5% 92% 84,5% 100% 100% 84,4% 11

12 Scenarie B B kan nemt skelne imellem affaldsfraktioner B kan nemt skelne genanvendeligt affald fra ikkegenanvendeligt affald B forstår hvilken beholder affaldet skal i. B kommer nemt hen til B forstår hvordan affaldet skal smides i B kan nemt smide affaldet i Deltager Deltager SUM Success Rate 0% 100% 100% 100% 100% 100% Scenarie C B forstår hvordan affaldet skal smides i B kan nemt smide affaldet i Deltager SUM 1 0 Success Rate 100% 0% Hvis der var tid blev deltagerne bedt om at vurdere beholdernes design og brugeroplevelsen af at udføre opgaven. Glas scorede højere end 660 liters, pga. den nemme indkastmulighed. Flere af deltagerne, som ikke testede selve glas, efterspurgte det gamle indkast i papirbeholderne, som de huskede som meget mere behageligt og nemt at benytte end de nye beholdere. Jeg kan ikke holde det (låget) for så bruger jeg kun håndleddet"mine arme Beholderen mangler de små indkast dem kunne jeg bedre lide..holde låget er dårligt når man skal smide meget ud. Når man har meget papir affald er det besværligt på grund af låget 12

13 nbefalinger Brugerne har grundlæggende ikke problemer med at benytte beholderne, men der er nogle punkter hvor indretningen kan forbedres. 1) Lågene er tunge og generelt besværlige at håndtere for flere af brugerne. Indkast er at foretrække. Glas scorede højere som løsning, da indkast opleves som mere brugervenligt, på trods af den højere indkasthøjde. 2) Indkasthøjden er et problem, når brugerne skal holde lågene. Man kan forbedre brugeroplevelsen, ved at sænke indkasthøjden 3) Brugerne har svært ved at finde ud af fraktionerne og hvad man ikke må sortere til genanvendelse. Skiltene virker ikke særligt godt som hjælp, da de er for små og utydelige, og fraktionerne ikke afspejler det affald som beboerne har. Fx nton Berg chokoladeæske, som ikke blev anset for genanvendelig. 4) Beholdere som står forkert placeret, er meget svære at vende om igen. Beholderne kan ikke betjenes bagfra af brugerne Konklusion Hypotese 1: Nogle brugere vil have svært ved at skelne genanvendeligt affald fra ikkegenanvendeligt. Hypotesen er bekræftet! Hypotese 2: Nogle brugere vil have svært ved at aflevere affaldet problemfrit i beholderne. Hypotesen blev bekræftet! Hypotese 3: Nogle brugere vil have svært ved at nå indkastet i glas Hypotesen blev til dels afkræftet. Indkastet var bedre end låg, men glaskuben blev kun afprøvet af to deltagere. Hypotese 4: Meget få brugere vil være i tvivl om HVOR den relevante beholder står, skal NVENDES eller SER UD. Hypotesen blev bekræftet. 13

14 Informeret samtykke til deltagelse i videofilmet forsøg med videnskabeligt formål Projektets titel: Brugervenlige affaldsordninger lige muligheder for alle Erklæring fra forsøgspersonen: Jeg bekræfter hermed min deltagelse i Københavns kommunes Teknik- og Miljøforvaltnings (TMF) forsøg om brugervenlige affaldsordninger, og giver samtidig mit samtykke til, at TMF må benytte og evt. offentliggøre resultater og videooptagelser af forsøget, såfremt der sker effektiv anonymisering af oplysningerne. Jeg ved, at det er frivilligt at deltage, og at jeg kan ophøre med at deltage, såfremt jeg måtte ønske det. Jeg er blevet gjort bekendt med, at jeg på grund af forsøgets videnskabelige sigte ikke kan tilbagekalde mit samtykke med den virkning, at kommunen ikke må behandle de oplysninger, som allerede er indsamlet under forsøget. Jeg er blevet oplyst om, at de indsamlede oplysninger alene må anvendes og videregives til brug for statistiske eller videnskabelige formål. Jeg giver samtykke til, at deltage i forsøget, og jeg har fået en kopi af dette samtykkeark samt en kopi af den skriftlige information til eget brug. Forsøgspersonens navn: Dato: Underskrift: Erklæring fra den, der giver information: Jeg erklærer, at forsøgspersonen har modtaget mundtlig og skriftlig information om forsøget. Efter min overbevisning er der givet tilstrækkelig information til, at der kan træffes beslutning om deltagelse i forsøget, samt tilladelse til offentliggørelse af anonymiserede resultater og videooptagelser. Navnet på den, der har afgivet information: Martin Tilsted, Københavns kommune. Dato: Underskrift: