Dette speciale er udarbejdet i perioden fra den 20. september 2010 til den 20. marts 2011 på Datalogisk Institut ved Københavns Universitet.

Transkript

1 DET NATURVI DENSKABELI GE FAKULTET KØBENHAVNSUNI VERSI TET Us abi l i t yeval uer i ngafnemi D -enbel ys ni ngafaut ent ii kat i onibor ger vendt ei t s ys t emer Kandi dat s pec i al eaf Ander sbj er gpeder s en Mar t s2011 Dat al ogi s ki ns t i t ut Københa vnsuni ver s i t et Vej l eder :Er i kfr økj ær

2

3 Forord Dette speciale er udarbejdet i perioden fra den 20. september 2010 til den 20. marts 2011 på Datalogisk Institut ved Københavns Universitet. Emnet for specialet er udsprunget af en artikel for godt et år siden på dr.dk, der ganske kort og anonymt fortalte om NemID den kommende afløser for den digitale signatur, som skulle lanceres inden for få måneder. Artiklen påpegede, at meget få danskere overhovedet kendte til denne nye løsning og de konsekvenser, det ville få for dem. Jeg måtte erkende, at jeg var én af disse. På denne baggrund besluttede jeg at kaste mig ud i at se nærmere på denne næste mastodont inden for offentlig IT i Danmark. Kunne den modsat så mange andre kuldsejlede projekter faktisk gå hen og blive en succes? Alene navnet forpligtede! I løbet af projektet er fokus mere og mere drejet over på slutbrugerens indtryk og holdninger til produktet NemID, fremfor at rette fokus på de mere tunge aspekter såsom teknik eller sikkerhed. Disse overvejelser er mundet ud i denne afhandling, som for mig er endt med at blive væsentlig mere spændende og lærerig, end jeg havde turdet håbe på. Der er mange mennesker, som jeg uden gråd i stemmen og forgyldte statuetter vil tillade mig at sige tak til. En stor tak til min vejleder Erik Frøkjær for at turde begive sig ud på tur med en indenfor usability uprøvet sønderjysk knægt de mange hyggelige møder har i den grad hjulpet! Desuden skal der lyde en stor tak til min kæreste, min familie og mine venner, som har gidet høre mig fortælle om ord med alt for mange stavelser. En særlig tak skal dog lyde til de 161 testpersoner og respondenter, som tog sig tid til at deltage i mine undersøgelser, samt til Peter Lind Damkjær fra DanID for at rive en time ud af sin travle kalender. Sidst, men ikke mindst, tak til Kasper Hansen for stor hjælp til tests og efterbearbejdning, samt til mit yndlings-statistikerpar for at lade sig bestikke til at hjælpe mig godt igang med denne vigtige del. København, marts 2011 Anders Bjerg Pedersen

4 Indhold Resumé Abstract Indledning og motivation 2 2 Den digitale signatur, Baggrund og politiske mål Teknik og virkemåde Sikkerhed og trusler Distribution og udbredelse Brugervenlighed NemID, nu Baggrund og politiske mål Teknik og virkemåde Sikkerhed og trusler Distribution og udbredelse Brugervenlighed Features direkte rettet mod brugervenlighed Brugertests udført af DanID inden lancering Brugerevaluering af NemID Testmetoder til slutbrugerevaluering Tænke-højt test Kooperative evalueringsteknikker Spørgeskemaer Planlægning af tænke-højt test Definition af testopgaver og succeskriterier Forløb, lokation, dataindsamling og testplan Planlægning af første spørgeskema Planlægning af opfølgende spørgeskema Udvalg og rekruttering af målgrupper Tænke-højt test Første spørgeskema Opfølgende spørgeskema Analyse af evalueringsresultater Tænke-højt test Karakteristik af testpersoner Dataanalyse Problemidentifikation Problemklassifikation Problemgruppering Sammenfatning Første spørgeskema Karakteristik af respondentgruppen

5 5.2.2 Validitet og pålidelighed Udvalgte resultater og tests Opfølgende spørgeskema Sammenfatning Diskussion Diskussion af resultater Identificerede problemstillinger Testpersoners holdning til NemID Relation til Userminds testrapporter Opsummering Diskussion af metode Tænke-højt test Første spørgeskema Opfølgende spørgeskema Konklusion 113 Litteraturliste 114 Bilag (se seperat hæfte) Bilag A. Tænke-højt: Testplan 120 Bilag B. Tænke-højt: Manuskript til testleder 131 Bilag C. Tænke-højt: Samtykkeerklæring 133 Bilag D. Tænke-højt: Udleverede opgaver 134 Bilag E. Tænke-højt: Afsluttende spørgeskema 140 Bilag F. Tænke-højt: Logs 142 Bilag G. Tænke-højt: Data og deskriptiv statistik 176 Bilag H. Tænke-højt: Uddybende kommentarer fra respondenter 178 Bilag I. Tænke-højt: Identificerede usability-problemer 196 Bilag J. Tænke-højt: Identificerede problemområder 207 Bilag K. Første spørgeskema 218 Bilag L. Første spørgeskema: Resultater 234 Bilag M. Første spørgeskema: R-kode 248 Bilag N. Andet spørgeskema 254 Bilag O. Andet spørgeskema: Resultater 257 Bilag P. Interview med Peter Lind Damkjær, DanID 259 Bilag Q. Userminds testrapport, udleveret ved aktindsigt 267 Bilag R. Udvalgte resultater fra Danske Banks brugerpanel 335

6 Resumé Omdrejningspunktet for dette speciale er gennemførselen af en usability-evaluering af NemID, afløseren for den digitale signatur. Vi indleder afhandlingen med en gennemgang af både den digitale signatur og NemID i forhold til særligt teknik, sikkerhed, udbredelse og brugervenlighed, ligesom vi undersøger baggrunden for deres indførsel. Herefter udvælger og gennemgår vi teori og metode for tænke-højt-tests, cooperative usability testing samt spørgeskemaer og anvender denne viden til at planlægge og gennemføre både kvalitative tænkt-højt-tests og kvantitative online spørgeskemaundersøgelser af og om NemID. Resultaterne analyseres herefter grundigt og relateres desuden til lignende relevante undersøgelser på området. Efter analysen diskuterer vi resultaterne og konkluderer på baggrund heraf, om NemID kan siges at være eller at blive et succesfuldt offentligt IT-projekt. Resultaterne viser, at der i et forholdvis gennemtestet produkt som NemID stadig er en del usability-problemer, hvoraf for mange må anses som kritiske, ligesom testpersonernes vurdering af systemet er middelmådig og antyder mangel på forståelse af de underliggende koncepter. Der er desuden udbredt utilfredshed med det omdiskuterede OTP- (one-time password) nøglekort, som er den vigtigste faktor i at gøre NemID sikrere end sin forgænger. Vi konkluderer på basis af ovenstående, at NemID på visse punkter kan siges at være en (tvungen) succes, mens der på andre punkter er brug for mere arbejde. Abstract The pivot point of this thesis is performing a usability evaluation of NemID, the successor to the Danish public digital signature. We open the thesis with an examination of both the original digital signature and NemID with particular focus on technical mode of operation, security, propagation, and usability, as well as an investigation of the incentives to introduce them. We then select and examine theory and practice of think-aloud testing, cooperative usability testing, and questionnaires and use this knowledge to carefully plan and conduct both qualitative think-aloud tests as well as quantitative online questionnaires on NemID. The results are thoroughly analysed and related to similar investigations into the subject. Following the analysis we discuss the results and on the basis of these conclude whether or not NemID can be said to be or become a succesful public IT project. Results show that in a thoroughly tested product such as NemID a lot of usability problems can still be identified, including too many classified as critical, just as test subjects assessments of the system are mediocre at best and indicate a lack of understanding of the underlying concepts. Also, a widespread dissatisfaction is seen with the much discussed cardboard OTP (one-time password) keycard which is the single most important factor in making NemID more secure than its predecessor. Based on these findings we conlude that in some respects NemID can be seen as a (forced) success, whereas in others much work is still needed. 1

7 1 Indledning og motivation I 2003 blev den digitale signatur indført i Danmark. Den markerede en landvinding inden for autentifikation og signering på det hastigt ekspanderende internet. Forventningerne til den digitale signatur var store, omend dens potentiale ikke på daværende tidspunkt fuldt ud kunne overskues. Den digitale signatur er sidenhen blevet klandret for sin til tider kryptiske installation, manglende kompatibilitet, manglende forståelighed af de bagvedliggende koncepter samt en skuffende udbredelse og manglende accept fra centrale offentlige og private spillere på markedet for digital selvbetjening. Netbankerne har kørt med proprietære systemer, og de offentlige myndigheder har enten ikke været gearet til at håndtere digital selvbetjening eller har tilbudt 4-5 forskellige login-metoder her var digital signatur blot én blandt mange og hvorfor så skifte, når nu de andre virkede fint? Vi skriver nu 2011, og NemID er blevet lanceret. Denne afløser for den digitale signatur er blevet præsenteret som en mere brugervenlig og sikker løsning, der samler netbanker, den offentlige forvaltning og deltagende private virksomheder under ét fælles login-system tilsyneladende til gavn for både virksomheder, offentlige instanser og frem for alt slutbrugerne. NemID har dog haft en svær fødsel og er i medierne blevet sablet ned for gentagne svipsere i sikkerheden og kompleksiteten af systemet, samt en generel utryghed omkring selve systemet. Men navnet forpligter: NemID er nødt til at være nemt! I dette speciale vurderer vi denne præmis og forsøger i sidste ende at svare på, om NemID bliver en succes eller ej primært set ud fra den almindelige slutbrugers synsvinkel. Vi tager med andre ord et grundigt kig på kerneydelserne i systemet og ser på, om disse er til at finde ud af; hvorvidt de udviser god usability. Specialets målsætning I specialet sammenligner vi indledningsvist både den gamle digitale signatur og det nye NemID i forhold til faktorer som teknik, brugervenlighed og udbredelse. Vi undersøger også kort motivationen for overhovedet at udvikle en ny løsning, samt sætter kort satsningen i forhold til de ønskede mål og den aktuelle IT-politik på området. Vi inddrager her relevante juridiske dokumenter, evalueringsrapporter og interviews med aktører på området. Hovedbidraget består af to forskellige slutbrugertests af NemID, med sigte på hver sin målgruppe. Baseret på analysen af disse undersøgelsers resultater forsøger vi at komme med et bud på, om og hvorfor NemID kunne tænkes at blive et hårdt tiltrængt succesfuldt offentligt IT-projekt. Der vil i specialet blive lagt stor vægt på metodiske overvejelser samt grundig efterbearbejdning af data fra de forskellige undersøgelser. Hvor det er muligt, vil vi forsøge at relatere og perspektivere resultaterne til den brede befolkning, og i diskussionen vil vi sammenholde vores egne resultater med lignende undersøgelser, særligt de af DanID udførte prototypetests. Afgrænsning af emne I forhold til den oprindelige problemformulering er der lagt mindre vægt på de politiske sider af indførelsen af både den oprindelige digitale signatur og NemID. Det har desværre ikke været muligt at skaffe tilstrækkelig information om dette emne, og desuden var dette aldrig ét af specialets fokuspunkter. Generelt er specialet heller ikke tænkt som en stringent gennemgang af de tekniske aspekter af begge 2

8 1 Indledning og motivation loginsystemer, men vi præsenterer detaljer i det omfang, det er passende og nødvendigt for forståelsen af de to systemers virkemåde. Sidst, men ikke mindst, er det i løbet af processen blevet besluttet ikke at relatere opgaver og succeskriterier for tænke-højt-tests til de kriterier for usability af sikkerhedssoftware, som er blevet udredt i et tidligere litteraturstudie. 1 Disse kriterier egner sig langt bedre til f.eks. en heuristisk gennemgang eller et expert review, og det blev i stedet fundet nyttigt at afprøve Cooperative Usability Testing-teknikken (som præsenteres i afsnit 4.1.2) og dennes resultater. Specialet indeholder bevidst ikke noget indledende litteraturstudium af borgervendte autentifikationssystemer. Dette er fravalgt, da der for det første er tale om et speciale omhandlende et system, som ikke tidligere er blevet evalueret, og for det andet finder vi det mere kontruktivt og læsevenligt at inddrage litteraturen, der hvor den anvendes i specialets metodiske og analytiske afsnit. Her er til gengæld lagt vægt på at basere argumentation og analyse på veldokumenteret, videnskabelig funderet teori. NemID er meget mere end blot login og signering af transaktioner, og DanID har netop lanceret sikker krypteret , medarbejdersignaturer er lige om hjørnet, og desuden er der hele aspektet med tilslutningen af private virksomheder til systemet. Fokus i dette speciale vil dog komme til at ligge på slutbrugerens anvendelse af de helt basale funktioner: aktivering, brug og holdninger til NemID. Specialets opbygning I afsnit 2 præsenterer vi kortfattet baggrundsviden om den oprindelige digitale signatur. Afsnittet vil primært beskrive virkemåden og sikkerheden af signaturen, men vi kommer også kort ind på brugervenlighed og udbredelse. I afsnit 3 gør vi det samme for NemID, blot går vi her mere i dybden og inddrager interviews og materiale fra DanID i processen. Afsnit 4 tager sig af de metodiske overvejelser og litteratur hørende til de benyttede brugertests af NemID. Vi gennemgår tænkt-højt-tests, kooperative evalueringsteknikker og spørgeskemaer og illustrerer undervejs fordele og ulemper ved de enkelte metoder. Vi beskriver desuden opbygning og overvejelser omkring de konkret udførte tests, ligesom vi indsnævrer og udvælger målgrupperne til de forskellige undersøgelser. I afsnit 5 bearbejder og analyserer vi grundigt de resultater og data, som er indsamlet ved de udførte brugertests. De fundne usabilityproblemer identificeres, klassificeres og grupperes, og data fra de to spørgeskemaer analyseres, bearbejdes og illustreres. I afsnit 6 diskuteres de førnævnte resultater og relateres til lignende undersøgelser, og i afsnit 7 konkluderer vi overordnet på resultaterne af specialet. Der er til specialet knyttet et meget omfangsrigt bilagsmateriale, som blandt andet indholder udarbejdet materiale til de udførte undersøgelser (testplaner, spørgeskemaer, udleverede opgaver, etc.), de indsamlede og bearbejdede data samt diverse interviews og relaterede undersøgelser. En liste over inkluderede bilag kan ses i umiddelbar forlængelse af indholdsfortegnelsen. 1 Mere specifikt tænkes her på eksempelvis Yee [41]. 3

9 2 Den digitale signatur, I dette afsnit skal vi se nærmere på den gamle digitale signatur, som blev igangsat i 2002 og indført i Danmark i 2003, og som bliver udfaset gradvist indtil udgangen af 2012 til fordel for afløseren NemID. Denne er specialets omdrejningspunkt og vil blive præsenteret i afsnit 3. Vi redegør kort for den digitale signaturs virkemåde, teknik og brugervenlighed samt opridser indledningsvist baggrunden for dens indførsel. Vi ser desuden på anvendelser og kendte trusler mod sikkerheden i signaturen. Formålet med afsnittet er at give et billede af det system, som NemID skal afløse, samt introducere de tekniske termer, som er nødvendige for at forstå virkemåden af begge systemer. 2.1 Baggrund og politiske mål Digitale signaturer var ikke noget nyt begreb i 2003, men deres udbredelse i Danmark var meget begrænset. Loven om elektroniske signaturer (Ministeriet for Videnskab, Teknologi og Udvikling [19]) fra 2000 må ses som det politiske grundlag og blåstempling af det arbejde, som Telestyrelsen påbegyndte med den fælles digitale signatur og OCEScertifikaterne (Offentlige Certifikater til Elektronisk Service). Loven har som formål at [...] fremme en sikker og effektiv anvendelse af elektronisk kommunikation gennem fastsættelse af krav til visse elektroniske signaturer og til nøglecentre, der udsteder certifikater til elektroniske signaturer ([19], 1) og er stadig gældende idag. Eftersom online selvbetjening og handel så småt var ved at blive mere udbredt, var der et behov for en fælles standard for sikkerhed og autentifikation. Den stigende digitalisering af den offentlige sektor og dennes behov for sikker kommunikation fremsatte også øgede krav til sikringen af kommunikation over internettet og generelt. IT- og Telestyrelsen [12] peger på fordele ved den digitale signatur i form af bedre økonomi og bedre service. For forbrugerne nævnes øget tilgængelighed af de offentlige myndigheder som en fordel i forbindelse med sikker elektronisk kommunikation. Borgeren kan hermed komme i kontakt med myndigheden 24 timer i døgnet, da den digitale signatur er garant for både krypteret, signeret og autentificeret kommunikation. Det nævnes desuden, at digital kommunikation kan være med til at nedbryde nogle af de mentale skranker mellem myndighed og borger. I forhold til elektroniske blanketter ses det ligeledes som en fordel, at der kan hjælpes mere undervejs. Sidst, men ikke mindst, kan digital signatur øge antallet af logon-tjenester, som brugeren har adgang til døgnet rundt og hele tiden har mulighed for at tilgå opdateret og redigérbar information fra. Tilgængelighed og sikkerhed er altså nøgleordene for borgerne. Udover de umiddelbare fordele for brugerne af digital signatur er der for offentlige myndigheder også store økonomiske gevinster at hente i form af besparelser på interne postgange, porto og konvolutter, mindsket antal personlige henvendelser og mindre arbejde med at fremsøge informationer, samt en generel mindskning af sagsbehandlingstider grundet mindre journalisering, indscanning og brevveksling. Det er i forbindelse med de listede fordele interessant, at mange ikke direkte er relateret til indførelsen af digital signatur som sådan et hvilket som helst andet autentifikationssystem havde kunnet give næsten samme fordele. I beskrivelsen af OCES-standarden (se IT- og Telestyrelsen [11]) er det angivet, at 4

10 2 Den digitale signatur, Teknik og virkemåde baggrunden for indførelsen af en fælles offentlig standard for elektroniske certifikater bunder i ønsket om øget interoperabilitet og en mere bred anvendelighed blandt borgerne. Særligt nævnes kravet om, at borgeren personligt skal møde op for at kunne få udstedt et certifikat som en begrænsende faktor i udbredelsen Teknik og virkemåde Vi vil i dette afsnit kort gennemgå teknikken bag og funktionerne i den digitale signatur. Vi baserer primært vores oplysninger på IT- og Telestyrelsen [10], suppleret med Schneier [33]. Afsnittet er medtaget for at opnå tilstrækkelig forståelse for de koncepter og begreber, som vi vil forudsætte kendt i senere afsnit. Kryptering og signering Generelt indføres en PKI (Public Key Infrastructure, eller i folkemunde blot digital signatur) for at sikre følgende fire faktorer i kommunikationen mellem to parter, f.eks. en borger og en offentlig myndighed ([10], s5): Autenticitet: Autencitet sikrer modtageren af en meddelelse (f.eks. en ), at afsenderen er den person, som vedkommende giver sig ud for at være. Dette aspekt er særlig vigtigt, når kommunikationen foregår elektronisk, da der her ikke umiddelbart er mulighed for visuel eller fysisk identifikation. Den digitale signatur er her en slags erstatning for et id-kort eller pas. Integritet: Integritet sikrer, at den modtagne meddelelse er uændret i forhold til den form, den blev afsendt i. Hvis Alice sender en besked til sin bank om at overføre 100 kroner til Bob, må Bob eller andre ikke kunne gå ind i beskeden og ændre dette til 1000 kroner. Integritet er altså en sikring mod eventuelle mellemmænd, der kunne have interesse i at foretage ændringer i de afsendte beskeder, og kan tjene som verifikation af, at data er intakt. 3 Fortrolighed: Et særdeles vigtigt aspekt i digitale signaturer er deres mulighed for at sikre kommunikationen mellem to parter mod udenforstående overvågning. Her sikres altså, at det kun er afsender og modtager af en meddelelse, som i stand til at afkode eller læse den konceptet benævnes ofte blot kryptering. Uafviselighed: Selvom denne faktor nok vil have størst praktisk betydning for myndigheder og virksomheder, er den alligevel væsentlig, idet den kan garantere, at en afsendt meddelelse eller givet samtykke ikke kan tilbagetrækkes eller benægtes. I kombination med en tidsstemplingstjeneste og arkiveringsfunktion finder denne faktor f.eks. anvendelse ved bedømmelse af rettidigt (eller for sent) indgivne ansøgninger. Vi vil nu klarlægge, hvordan disse faktorer sikres i praksis. Uafviseligheden behandler vi ikke videre, da den teknisk er forholdsvist kompleks og for specialet uinteressant. 2 En fin lille historisk oversigt over den digitale signatur i Danmark kan ses på: digital-signatur/historisk-gennemgang-af-oces-digital-signatur/. 3 Som er service til mere kompetente IT-brugere offentliggør mange softwareudviklere ofte checksummen eller hash-værdien af den software, de stiller til rådighed som download. Dermed kan brugeren efter endt download forsikre sig om, at det hentede arkiv er intakt og identisk med det, der måtte forventes. 5

11 2 Den digitale signatur, Teknik og virkemåde Grundlæggende skelner man mellem symmetrisk og asymmetrisk kryptering. Et velkendt eksempel på symmetrisk kryptering er Cæsar-kryptering (eller substitutionskryptering), som ganske simpelt virker ved at tage en tekst og erstatte hvert bogstav med det, som ligger n tegn længere fremme i alfabetet. På denne måde konverteres kildeteksten (den oprindelige besked) til en krypteret meddelelse, som for udenforstående vil virke som volapyk. Den afkodes dog nemt på samme måde som kodningen blot ved at rykke bogstaverne n tegn tilbage igen. Vi anvender altså samme nøgle til både kryptering og dekryptering af meddelelsen. Her vil den konkrete udveksling af nøglen mellem afsender og modtager være det primære sikkerhedsproblem. I asymmetrisk kryptering er krypteringsnøglen forskellig fra dekrypteringsnøglen. PKI bygger på unikke nøglepar, hvor den ene nøgle oftest er offentlig, og den anden er strengt privat. Her kan begge nøgler bruges til kryptering, men kun den tilhørende anden nøgle i parret kan bruges til dekryptering. Krypterer man eksempelvis en meddelelse med den offentlige nøgle, er det kun den private nøgle, der kan dekryptere meddelelsen igen. Den grundlæggende krypteringsproces er gengivet i Figur 1, og på denne måde sikres fortroligheden i meddelelsen. Autenticitet er delvist sikret, idet vi for asymmetriske nøglepar har mulighed for at bekræfte, at en besked for eksempel er krypteret med den private nøgle, der hører til den offentlige nøgle, som man har anvendt til at dekryptere meddelelsen. Der er dog ikke nødvendigvis garanti for, at denne offentlige nøgle rent faktisk tilhører den rette person. ([10], s5f) Figur 1: Forsimplet kryptering. Bob ønsker at sende meddelelsen M til Alice og henter derfor hendes offentlige nøgle, som hun eksempelvis har publiceret på en nøgleserver eller sendt til Bob i en . Bob bruger denne nøgle til at kryptere meddelelsen til kodeteksten C(M), som han sender til Alice. Alice bruger derefter sin private nøgle til at dekryptere meddelelsen igen. Den private nøgle er elektronisk og opbevares af brugeren, oftest på brugerens PC eller på en USB-stick eller et fysisk nøglekort. Den offentlige nøgle kan være tilgængelig på en offentlig nøgleserver eller hjemmeside eller ligge sammen med den private nøgle og kan så distribueres til folk, der ønsker at sende krypterede meddelelser til én. Der 6

12 2 Den digitale signatur, Teknik og virkemåde er hertil forbundet en del væsentlige sikkerhedsaspekter, som vi ser nærmere på i afsnit 2.3. Der findes mange forskellige algoritmer til selve krypteringen, men den klart mest udbredte er RSA, som bygger på særdeles sikre men principielt ikke ubrydelige matematiske algoritmer baseret på primtalsfaktorisering. Se eventuelt mere i Rivest et al. [29]. I virkeligheden vil man dog af hensyn til performance ikke benytte asymmetrisk kryptering til selve meddelelsen, da denne er væsentlig mere beregningstung end symmetrisk kryptering. Man vil i stedet generere en tilfældig, meget stor symmetrisk nøgle, som meddelelsen krypteres med. Herefter vil man kryptere denne nøgle asymmetrisk og vedhæfte den til den symmetrisk krypterede meddelelse. For yderligere at sikre integritet, kan meddelelsen påtrykkes en digital signatur. Denne digitale signatur er mere kompleks at fremstille, og involverer blandt andet hashingalgoritmer, som er i stand til hurtigt at generere et unikt digitalt fingeraftryk af f.eks. en tekststreng. 4 I Figur 2 er gengivet principperne i fremstilling og påtrykning af en digital signatur til en meddelelse. ([10], s7f) Figur 2: Processen for generering (venstre side) og verificering (højre side) af digital signatur, frit efter figur 2 og 3 i IT- og Telestyrelsen [10]. Alice genererer en hash-værdi H(M) af meddelelsen, som krypteres med hendes private nøgle. Resultatet C(H(M)) vedhæftes den oprindelige meddelelse, som sendes til Bob. Bob udfører nu selv en hashing af meddelelsen, som sammenlignes med hashværdien genereret hos Alice, der er blevet dekrypteret med Alices offentlige nøgle. Stemmer de to overens, er der garanti for meddelelsens autenticitet og integritet. Bemærk, at digital signering i sig selv ikke krypterer selve meddelelsen der er ingen sikring af fortroligheden. Kombinerer man processerne i Figur 1 og 2 ses det dog tydeligt, hvordan en meddelelse kan krypteres og signeres i samme ombæring. Aktører og certifikater Som nævnt sikrer ovenstående processer integritet og fortrolighed af meddelelsen, hvorimod autenticitet kun er sikret på nøglebasis. Hvordan ved Alice med sikkerhed, at meddelelsen er kommet fra Bob? Her kommer certifikater på banen. Et PKI består både 4 Hashing kan hurtigt og let transformere en tekststreng til en næsten unik og entydig værdi af ganske kort længde, mens den anden vej rundt er nærmest umulig. Med næsten mener vi, at det er særdeles usandsynligt at to forskellige input giver samme hash-værdi. Se function for flere detaljer. De mest anvendte hashing-algoritmer er MD5 og SHA-1. 7

13 2 Den digitale signatur, Teknik og virkemåde af teknologi, som vi har gennemgået ovenfor, samt aktører. Vi har allerede præsenteret én slags, nemlig brugerne. En anden meget væsentlig aktør i et PKI er certificeringscentret (eller på engelsk certification authority, CA), som står for generering og udstedelse af nøglepar til brugerne. Som supplement til dette udsteder og vedligeholder CA en certifikater for hver enkelt aktør i PKI et. En brugers eller nøgleindehavers certifikat indeholder foruden brugerens offentlige nøgle også entydige oplysninger om den pågældende bruger, f.eks. fulde navn og adresse, CPR-nummer eller et andet unikt identifikationsnummer. Dette elektroniske certifikat bliver derefter signeret med CA ens private nøgle, som dermed står inde for sammenhængen mellem brugerens identitet og dennes offentlige nøgle, som er vedhæftet certifikatet. Ved hjælp af CA ens offentlige nøgle kan ægtheden af certifikatet og dets oplysninger altså verificeres, hvormed meddelelsens autenticitet kan bekræftes. CA en tilbyder desuden opslagsmuligheder i dette certifikatregister, ligesom den også varetager spærrelister over udløbne eller kompromitterede certifikater. For den digitale signaturs vedkommende var TDC oprindeligt CA, men opgaven blev i juni 2008 overtaget af DanID, som nu også fortsat er eneste CA på NemID. ([10], s13ff) Der er fra IT- og Telestyrelsens side opsat meget strenge krav til en CA for håndtering, indhold og beskyttelse af borgernes certifikater (IT- og Telestyrelsen [14]). For at sikre konsistens på tværs af tjenester og virksomheder, blev det fra offentlig side besluttet at indføre de såkaldte OCES-certifikater (se IT- og Telestyrelsen [11]). De oprindelige OCES-certifikater levede faktisk ikke op til kriterierne i Lov om elektroniske signaturer ([19]) af den simple årsag, at det af udbredelsesmæssige årsager var vigtigt at kunne undgå personligt fremmøde for at få udstedt et certifikat. I stedet bestiltes et certifikat online, og der blev så sendt et særligt link til brugerens adresse, samtidig med at en midlertidig pinkode sendtes til vedkommendes folkeregisteradresse. Indtastning af den modtagne kode på hjemmesiden hørende til linket i mailen startede så en generering af brugerens unikke nøglepar og certifikat på serveren og efterfølgende download af den private nøgle til brugerens computer. Der findes tre typer OCES-certifikater: til privatpersoner, til virksomheder/myndigheder og til medarbejdere i virksomheder/myndigheder. Et OCES-personcertifikat indeholder udover CA ens signatur og personens offentlige nøgle som standard personens fulde navn eller pseudonym, en landekode samt et personligt identifikationsnummer (PIDnummer), som kan veksles til f.eks. et CPR-nummer i IT- og Telestyrelsens database. Man kan læse meget mere om OCES-certifikater i IT- og Telestyrelsens beskrivelser og retningslinier (se [11] og [14]). Tjenestebaseret autentifikation Tilføjelsen af certifikater tillader os at indlemme den sidste væsentlige anvendelse af digitale signaturer: sikker identifikation på online tjenester. Processen, der sættes i værk, når en bruger ønsker at identificere sig overfor en tjeneste/server over internettet er enkel og hurtig, når ovenstående begreber og teknikker er på plads: ([10], s11f) 1. Serveren sender et meget stort, tilfældigt tal til brugeren. 2. Brugeren krypterer det modtagne tal med sin private nøgle og sender resultatet sammen med sit offentlige certifikat retur til serveren. 8

14 2 Den digitale signatur, Sikkerhed og trusler 3. Serveren verificerer ved opslag hos CA en, at det modtagne certifikat er gyldigt, ikke er udløbet og ikke er spærret. 4. Til sidst dekrypterer serveren det returnerede tal med brugerens offentlige nøgle, som er indeholdt i certifikatet. Matcher tallet det oprindeligt udsendte, kan serveren antage, at brugeren er den, vedkommende udgiver sig for at være. 5. Ved den omvendte proces kan brugeren verificere identiteten af serveren. Selve forbindelsen mellem bruger og server vil undervejs sædvanligvis være krypteret, som regel ved hjælp af HTTPS-protokollen. For den digitale signaturs vedkommende foregår denne proces ved, at der på den pågældende tjenestes hjemmeside er en Java-baseret fildialog, hvor man skal angive stien til sin private nøglefil på computeren. Denne skal så eventuelt låses op af det tilhørende password, inden den kan anvendes. Herefter foregår processen som nævnt ovenfor. I Figur 3 ses et eksempel på et sådant login, her taget fra det fællesoffentlige login-system. Figur 3: Login med den gamle digitale signatur. Gennemse... -knappen åbner en standard fildialog, hvor brugeren skal navigere frem til sin nøglefil, der kan ligge på PC en eller på et eksternt medie. Herefter skal kodeordet hørende til signaturen tastes ind. 2.3 Sikkerhed og trusler I dette afsnit skal vi kort se på sikkerhed og trusler mod digitale signaturer som helhed, og igen vil vi nøjes med at præsentere det, som er relevant for den videre forståelse af projektets resterende afsnit. Når man taler om autentifikation, kommer begrebet n-faktorsikkerhed til at spille en stor rolle. Man skelner her mellem forskellige faktorer, som er med til at beskytte f.eks. en brugers identitet mod tyveri. Et eksempel på et-faktorsikkerhed er f.eks. brugen af brugernavn og password her er der tale om noget, som brugeren ved. Selvom der er to individuelle faktorer (brugernavn og password), omtales de under et, da de begge tilhører samme kategori. I to-faktorsikkerhed taler man ofte om noget, som brugeren ved, og noget som brugeren har. Dette kunne f.eks. være kombinationen af et password og en elektronisk kodegenerator eller et id-kort. En tredje faktor, som nogle gange finder anvendelse, er noget, som brugeren er f.eks. i form af et fingeraftryk, et iris-scan 9

15 2 Den digitale signatur, Sikkerhed og trusler eller et stemmemønster. Et almindeligt kreditkort er sædvanligvis to-faktorsikret, idet der både er selve kortet og den tilhørende pinkode. Den gamle digitale signatur bliver ofte omtalt som halvanden-faktor, idet en elektronisk nøglefil ikke bør anses som noget fysisk, brugeren er i besiddelse af. 5 En oplagt sikkerhedsfaktor, man umiddelbart kan se på, er sikkerheden af den udførte kryptering. Denne afhænger i høj grad af størrelsen på de valgte nøgler, som defineres i bits og angiver, hvor mange forskellige nøgler der kan genereres. RSA i den digitale signatur benytter sig af 1024 bits nøgler, mens den i 2010 største brudte nøglelængde var 768 bits, som blev foretaget med state-of-the-art distribueret udstyr. Der er altså stadig et godt stykke op til de 1024, men enkelte eksperter forudser, at nøgler af denne størrelse måske vil kunne brydes inden for en overskuelig årrække. Selve krypteringen (og dermed også signeringen) er altså stadig forholdsvis sikker. Schneier [33] påpeger dog i tråd med mange andre, at nøglelængde i sig selv ikke giver et fuldstændigt billede af graden af sikkerhed i digitale signaturer og kryptering generelt, da man også er nødt til at se på, om systemerne for eksempel udnytter nøglerummet fuldt ud. Da brute-force ikke umiddelbart er vejen frem for at bryde kryptering, kan man i stedet se på de alternative måder som hackere bruger til at omgå at skulle bryde krypteringen. Man skelner ofte mellem to typer angreb: Online-angreb foretages, samtidig med at brugeren anvender sin digitale signatur. Man prøver med andre ord at interagere med brugeren og eventuelt opsnappe eller forpurre den information, der flyder mellem brugeren og den tjeneste, brugeren forsøger at tilgå. Offline-angreb kan derimod foretages, uden at brugeren behøver være online. Et eksempel er at sætte en computer til forsøge alskens forskellige kombinationer af brugernavne og passwords til en bestemt tjeneste et klassisk eksempel på brute-force. I den første kategori hører blandt andet man-on-the-wire-angreb (MOTW-angreb), hvor en hacker lytter med på linien mellem bruger og server. Hvis denne mellemmand kan opsnappe det store tal sendt fra serveren og det retursendte certifikat og krypterede tal, kan han overtage brugerens login. Brugeren vil så sandsynligvis blot få en fejl. Man-inthe-middle-angreb (MITM-angreb) ligner meget, men her befinder mellemmanden sig fysisk mellem brugeren og serveren og overtager og styrer hermed kommunikationen mellem dem. Denne metode bliver dog besværliggjort en smule af eventuel logning af IP-adresser, timeouts og lignende forholdsregler fra serveren, ligesom mellemmanden skal kunne udgive sig korrekt for at være både bruger og server på præcis det rette tidspunkt. Desuden skal mellemmanden være på samme netværk som enten brugeren eller serveren noget som dog forholdsvis let kan lade sig gøre med åbne trådløse netværk. Den optimale situation for en hacker er dog at kunne overtage brugerens computer og dermed få adgang til brugerens private nøgle direkte. Da denne ofte er beskyttet af et password, skal dette dog først brydes, men her er der tale om et offline-angreb og en mere overkommelig opgave. Ligger nøglen f.eks. på en ekstern disk, må hackeren tålmodigt 5 Se eventuelt mere på authentication 10

16 2 Den digitale signatur, Distribution og udbredelse vente, til brugeren forsøger at logge sig på en tjeneste (nøglen skal i så fald gøres tilgængelig for computeren) og herefter overtage kommunikationen helt. DanID anslår, at der er i omegnen af inficerede computere i Danmark, der tillader sådanne overtagelser eller overvågning. Den nok største trussel mod et PKI er tiltroen til, at brugeren kan opbevare den private nøgle forsvarligt og sikkert. Så snart den private nøgle er blotlagt for omverdenen, er der dybest set fri adgang for hackere til de oplysninger, som nøglen giver adgang til (vel at mærke efter at have brudt passwordet). I forlængelse af ovenstående har langt de fleste brugere deres nøgle liggende på deres PC, og er denne inficeret, er nøglen potentielt blotlagt og kan misbruges. Det er derfor ekstremt vigtigt, at brugeren sørger for at holde sin PC opdateret og fri for virus, spyware og lignende ting og i det hele taget udvise forsvarlig online opførsel. Der findes andre, mere subtile trusler mod RSA og PKI generelt, men disse vil vi ikke se nærmere på her. Har man mod på mere om sikkerhed generelt, kan vi særligt anbefale to bøger, som hver især på deres egen måde giver et billede af IT-sikkerhed. Schneier [33] gennemgår letforståeligt og humoristisk mange af de forskellige typer angreb (og angribere), tager et mere filosofisk blik ud over landskabet og kommer med masser af gode råd til, hvordan man bedst beskytter sig i en moderne, forbundet verden. Pfleeger og Pfleeger [28] ser mere konkret på forskellige typer af sikkerhed, angreb og hvordan man beskytter sig mod dem. 2.4 Distribution og udbredelse Den digitale signatur blev introduceret i et landskab, hvor den bestemt ikke var den eneste spiller på markedet. Hos SKAT kunne man for eksempel logge ind med digital signatur, TastSelv-kode, den fælles pinkode eller autorisation (hvad det så end var). Noget lignende sås hos de fleste andre offentlige spillere på markedet, ligesom kun få private virksomheder udbød services rettet mod brugen af den digitale signatur. En artikel i Ingeniøren 12. oktober opsummerede situationen efter 4-5 år med digital signatur: kun 4% af danskerne havde taget signaturen til sig og kunne kaldes regelmæssige brugere, på trods af at der på dette tidspunkt var udleveret en knap signaturer, hvilket vel at mærke ikke levede op til målet om en million signaturer i juni Den eneste kommentar til artiklen er skrevet af en ikke helt uinteressant person i denne sammenhæng, Palle H. Sørensen (den nuværende centerleder for Center for Digital Signatur i IT- og Telestyrelsen), og kommer med lidt andre påstande, nemlig at 17% af befolkningen har taget en digital signatur i brug, og at 11% benytter den mindst én gang om måneden vel at mærke på daværende tidspunkt i Danmarks Statistik har ligeledes i 2008 foretaget en undersøgelse blandt 1054 brugere af digital signatur. 7 Her angiver 80%, at de anvender signaturen, 92% angiver, at den er sikker eller meget sikker, og 85% er tilfredse eller meget tilfredse med signaturen. Da den digitale signatur blev indført, kom det nok som en overraskelse for netban- 6 Se: 7 Her citeret fra 11

17 2 Den digitale signatur, Brugervenlighed kerne, som havde indført deres eget fælles NetID. Noget, som dog sidenhen er gået i sig selv igen. Kritikere angiver den manglende understøttelse af funktioner fra blandt andet kommunernes side som afgørende for den ringe udbredelse og accept af signaturen, selvom den i sig selv beviseligt har sparet det offentlige for anselige beløb i administration. Det var op til den enkelte borger selv at anskaffe sig en digital signatur. Den blev ikke på nogen måde påtvunget og var anlagt som en frivillig tilbud om at øge borgerens selvbetjening på nettet. Som udgangspunkt bestilte man sin digitale signatur på en hjemmeside, og herefter startede den forholdsvis komplicerede process med postbaseret pinkode, registrering og installation. Vi ser lidt nærmere på disse faktorer i næste afsnit, men de har helt givet været begrænsende for udbredelsen af den digitale signatur. En anden betydningsfuld faktor kan være befolkningens manglende kendskab og forhold til IT-sikkerhed. Noget som er blevet udredt i den såkaldte KFE-undersøgelse [13], som angav, at 46% af danskerne i 2006 havde en ringe forståelse for IT-sikkerhed. 2.5 Brugervenlighed Eftersom vi i dette speciale primært fokuserer på brugervenligheden af NemID, vil vi her kort skitsere nogle punkter om brugervenlighed for den gamle digitale signatur, som kunne have relevans for sammenligningen med NemID. Dette område er noget af en gråzone, eftersom vi efter at have rådspurgt IT- og Telestyrelsen fik at vide, at der ikke eksisterer evalueringsrapporter for den gamle digitale signatur (de henviste af uvisse årsager ikke til undersøgelsen fra Danmarks Statistik nævnt ovenfor). Vi vil dog illustrere nogle pointer og uhensigtsmæssigheder, der er af mere generel karakter, og som til dels har hæftet sig til den digitale signaturs ry i mange år. Mange mennesker anser installationsprocessen som en væsentlig byrde ved signaturen. De fleste vejledninger og support til den gamle digitale signatur kan stadig findes på DanIDs hjemmeside, 8 og mange brugere vil sandsynligvis kunne nikke genkendende til den til tider særdeles komplekse proces, man skulle igennem for endelig at kunne anvende sin digitale signatur. DanID har i årenes løb strømlinet processen meget, men et tydeligt tegn på kompleksitet er de hele seks forskellige muligheder for installation på Windows. I de tidlige år var digital signatur slet ikke understøttet på Mac eller Linux, selvom det var muligt at få systemet til at fungere også på disse platforme. Her måtte brugerne yde hjælp til selvhjælp, men vejledningerne og understøttelsen er dog med tiden blevet meget bedre. Selvom de fleste brugere i de seneste par år sikkert er kommet smertefrit gennem installationsprocessen, er denne hængt ved den digitale signatur som en uønsket sygdom. 9 En anden begrænsende faktor i den digitale signatur er dens manglende portabilitet. I og med at den er baseret på fysiske nøglefiler, som skal beskyttes, har signaturen som udgangspunkt været låst til den computer, den oprindeligt blev installeret på. Igen er det sidenhen blevet muligt at få signaturen på et cd-kort, som man kan tage med sig, og efterfølgende er f.eks. en USB-stick også blevet en mulighed. Ulempen herved er dog så, at sikkerheden potentielt er i fare, da signaturen så skal beskyttes mod tyveri flere 8 Se: 9 Se f.eks. 12

18 2 Den digitale signatur, Brugervenlighed steder, selvom nøglefilen så er utilgængelig for eventuelle vira og spyware. Opsamling Vi har i dette afsnit set nærmere på den digitale signatur, dens virkemåde, udbredelse, brugervenlighed og teknik. Vi har observeret, at den ikke har nået den ønskede udbredelse, primært på grund af manglende understøttelse og kompleks installation, men at den til gengæld må siges at være forholdsvis sikker i nogle år endnu. Vi har ligeledes udredt grundprincipperne for kryptering, signering og autentifikation af kommunikation ved brug af asymmetrisk kryptering og nøglepar og skitseret de potentielle trusler, som et PKI står overfor. I det kommende afsnit skal vi se nærmere på NemID, som lover forbedringer på de fleste af disse områder. 13

19 3 NemID, nu I dette afsnit ser vi nærmere på NemID, og ligesom ved behandlingen af den digitale signatur vil der ikke blive tale om en stringent teknisk eller sikkerhedsmæssig gennemgang af NemID. En stor del af afsnittet baserer sig på det udførte interview med Peter Lind Damkjær, som er PKI Manager og Senior Security Officer hos DanID, der har udviklet NemID. Interviewet udsprang af manglen på teknisk dokumentation omkring NemID samt en række ubesvarede spørgsmål. Det transskriberede interview samt de stillede spørgsmål kan ses i Bilag P. Formålet med afsnittet er at sætte læseren ind i det system, som resten af specialet handler om og grundigt vil teste. Dette er nødvendigt for at forstå de problemstillinger, som senere vil blive udredt og analyseret. 3.1 Baggrund og politiske mål I forbindelse med udløbet af regeringens kontrakt med TDC i 2008 om udvikling og drift af den digitale signatur, blev der opstillet et EU-udbud i sommeren 2007, som skulle dække udvikling og drift af den næste generation af digitale signaturer i Danmark. Dan- ID vandt udbuddet, og kontrakten blev underskrevet 25. juni 2008, som efterfølgende har mundet ud i lanceringen af NemID. Udbuddet var blandt andet defineret ud fra en meget omfattende og detaljeret kravspecifikation, som vi venligst har fået udleveret fra IT- og Telestyrelsen. Prisen for udvikling, drift og vedligeholdelse af NemID sniger sig ifølge DanIDs estimater op på ca. 850 millioner kroner over en femårig periode, hvor ca. halvdelen er dækket af bankerne, en fjerdedel af den offentlige sektor, og resten gennem decentral finansiering i form af f.eks. tilslutningsaftaler for private virksomheder. (Ministeriet for Videnskab, Teknologi og Udvikling [20], s14n) Udover sammenfaldet med udløbet af den tidligere kontrakt har der fra regeringens side været opstillet politiske mål for digitaliseringen af den offentlige sektor. Stat, regioner og kommuner er enige om Globaliseringsstrategiens e2012-mål: 10 Senest i 2012 skal al relevant skriftlig kommunikation mellem virksomheder, borgere og den offentlige sektor kunne foregå digitalt. For borgerne er der tale om en mulighed, ikke en pligt. I forhold til erhvervslivet er målet, at alle relevante breve, indberetninger, ansøgninger mv. herefter kun kan sendes via digitale kanaler. Disse mål hænger sammen med det såkaldte edag-projekt, som består af tre overordnede milepæle: 11 edag1 (2003): E-post anerkendes som officiel korrespondance edag2 (2005): Sikker e-post med digital signatur edag3 (2010): Nem adgang til det offentlige på nettet. Delmål: 1. Alle borgerrettede selvbetjeningsløsninger med national udbredelse, hvor der er behov for sikker identifikation, skal alene anvende NemLog-in med Digital Signatur. 10 Se: upload/documents/projekter/edag3/overordnet om edag3.ppt 11 Her hentet fra: projekter/edag3/ 14

20 3 NemID, nu 3.1 Baggrund og politiske mål 2. Alle borgerrettede selvbetjeningsløsninger med national udbredelse skal integreres visuelt i borgerportalen. 3. Alle myndigheder kan kontaktes og svare via dokumentboksen, og alle myndigheder skal afsende alle relevante masseforsendelser via dokumentboksen til tilsluttede borgere og virksomheder. Her henviser borgerportalen til og særligt delmål 1 er interessant, da NemID spiller en væsentlig rolle i opfyldelsen af dette. Dog er NemID som sådan kun en digital signatur og har ikke direkte noget med NemLog-in at gøre: NemLog-in er låsen, og NemID er nøglen. I Finansrådets regi besluttede man sig for, at man gerne ville have én fælles løsning for både netbanker og offentlige myndigheder og institutioner, men da kravene til løsningerne var en smule forskellige, besluttede man sig for at lave en løsning, som udadtil virkede som én, men i virkeligheden var to: Det er simpelthen et spørgsmål om, at dengang NemID blev tænkt op, da var bankerne igang med at lave en fælles sikkerhedsmodel. De kunne se, at nøglefilbaserede systemer var under angreb fra især Østeuropa, hvor der blev lagt keyloggere ind, og så stjal de nøglefilen, og så begyndte de at udgive sig for at være den her netbankbruger. Det foregik i regi af Finansrådet, at man ville have en fælles løsning, som var baseret på det, man kalder ægte tofaktor. Lidt efter at de her beslutninger er lavet i bankverdenen, så kommer det offentliges digitale signatur i udbud igen, fordi den oprindelige aftale var baseret på et EU-udbud, og så har man så brugt lejligheden til at sige hvad kan vi så risikere, at den her infrastruktur, vi har nu, kan blive udsat for; hvad er det for nogle erfaringer, vi har gjort; lad os opgradere den. Men bankernes behov og det offentliges behov var ikke fuldstændig identiske, og der var nogle ting, som sagde, at de funktionelle krav ikke svarede ikke til hinanden. Så det, vi lavede, var én løsning, hvor vi så blev enige om at have en fælles grænseflade. Så de brugere, der ikke interesserer sig for det, vil opleve, at de har én løsning. Når jeg træder på speederen i en hybridbil, er jeg lidt ligeglad med, om det er den ene eller den anden motor. Men det virker som én. Peter Lind Damkjær, DanID (Bilag P) Møberg et al. [21] har i deres årlige undersøgelse af det danske IT-landskab konkluderet, at målsætningerne i globaliseringsstrategien og edag-konceptet er godt på vej til at blive opfyldt, og kommunerne forventer, at antallet af digitale administrative henvendelser fra borgerne vil stige fra de nuværende 20% til mindst 30% i 2012 (Møberg et al. [21], s102). Andre interessante observationer er, at 43% af befolkningen foretrækker at kommunikere digitalt med det offentlige, og at 62% mener, de har tilstrækkelige IT-kompetencer til at kunne dette. Et tal, som dog falder drastisk, når vi ser på personer over 65 år (Møberg et al. [21], s110f). I det hele taget giver publikationen et interessant overblik over det landskab, som NemID er kommet til verden i. De forventede fordele ved indførelsen af et så komplekst og dyrt system ligger nogenlunde i forlængelse af den digitale signaturs: større tilgængelighed for brugerne og 15

21 3 NemID, nu 3.2 Teknik og virkemåde effektiviseringsgevinster for offentlige myndigheder og nu også bankerne. NemID ses også som løsningen på den manglende udbredelse af den digitale signatur og efterfølgende noget sløve digitalisering af den offentlige sektor. Mere herom i afsnit Teknik og virkemåde Den overvejende del af dette afsnit bygger på interviewet med Peter Lind Damkjær (se Bilag P). I forhold til den oprindelige digitale signatur er der teknisk set sket store ændringer. De grundlæggende principper for kryptering og signering (som gengivet i afsnit 2.2) er ganske vist stadig gældende. NemID er et autentifikations- og signeringssystem baseret på PKI og to-faktorsikkerhed. Grundlæggende kan NemID bruges til at logge ind på forskellige online tjenester, blandt andet netbanker og offentlige myndigheder, ligesom det også kan anvendes til kryptering af f.eks. s. De største forskelle til den digitale signatur er placeringen af brugerens nøgler, samt måden man anvender nøglerne til f.eks. at autentificere sig. For den digitale signaturs vedkommende var nøglefilen personlig og blev opbevaret af brugeren selv, enten på dennes PC eller på et eksternt medie, f.eks. et smartcard eller en USB-stick. For at øge sikkerheden har man for NemID valgt at lagre samtlige brugeres nøgler centralt på en server administreret af DanID. Man skal med andre ord koble op til denne server for at få adgang til ens nøgler og bruge dem til f.eks. login hos SKAT. Mere herom om et øjeblik. Denne beslutning er taget ud fra den betragtning, at DanID vil være væsentlig bedre i stand til at beskytte borgernes nøgler, end den enkelte borger selv er. Denne fremgangsmåde har vakt stor harme blandt mere IT-kyndige borgere, og vi tager diskussionen op igen i afsnit 3.3. Den anden væsentlige forskel er måden, man anvender NemID på. I det gamle system var den private nøgle beskyttet af et enkelt password. For NemIDs vedkommende er der i stedet tale om at beskytte kommunikationen mellem borgeren og dennes nøglepar på DanIDs server. Denne beskyttelse består af tre faktorer: et unikt brugernavn (som kan være selvvalgt, CPR-nummer eller NemID-nummer), et selvvalgt password (som opfylder visse krav) samt en engangskode (eller one-time password, OTP). Sidstnævnte findes på et foldbart nøglekort i kreditkortstørrelse, som tilsendes den enkelte borger med post. Kortet indeholder 148 kodepar, som hver kan anvendes én gang, og et eksempel kan ses i Figur 4a. Inden koderne på kortet er opbrugt, sendes automatisk et nyt kort til brugerens folkeregisteradresse. Nøglekortet er den ekstra faktor, som gør NemID til ægte to-faktorsikkerhed: kortet er noget, brugeren har, mens brugernavn og adgangskode er noget, brugeren ved. Nøglekortet er strengt personligt og må ikke kopieres eller digitaliseres på nogen måde. Et fysisk nøglekort sikrer, at f.eks. indbrud på borgerens PC ikke umiddelbart kan resultere i identitetstyveri, da hackeren ikke har adgang til denne faktor. Processen med autentifikation online foregår gennem en Java-applet (se Figur 4b), som hentes ned fra DanIDs server via en sikker SSL-forbindelse, appletten sørger dermed selv for holde sig opdateret. Processen er skitseret i Figur 5. På tjenesten indtaster Bob sit brugernavn og adgangskode i appletten. Er disse korrekte, etableres der en direkte SRP- 16

22 3 NemID, nu 3.2 Teknik og virkemåde (a) Nøglekort til NemID (b) DanIDs Java-applet Figur 4: Nøglekort og Java-applet hørende til NemID. tunnel 12 fra appletten til DanID. Gennem denne tunnel sendes nu en OTP-challenge fra serveren, som Bob svarer på ved at indtaste den tilhørende nøgle fra nøglekortet. Er denne korrekt, etableres endnu en SRP-tunnel indeni den eksisterende, og Bob er nu autentificeret overfor DanIDs server. Gennem denne tunnel sendes information om, hvilken tjeneste Bob ønsker at logge sig ind på. Serveren anvender nu Bobs private nøgle til at oprette et signeret certifikat, der indeholder Bobs unikke identitet (i form af et PID-nummer), et tidsstempel og en godkendelse af, at Bob ønsker at logge ind på den pågældende tjeneste på det pågældende tidspunkt. Dette certifikat sendes gennem appletten tilbage til den pågældende side, som Bob nu har autentificeret sig overfor. Offentlige myndigheder samt private virksomheder, der måtte have behov for det, kan veksle det PID-nummer, som ligger i certifikatet, til et CPR-nummer i en database, som IT- og Telestyrelsen driver, og dermed få adgang til de fulde oplysninger om brugeren. Figur 5: Proceduren for login med NemID på en online tjeneste. Modsat den digitale signatur er der til NemID en del forskellige indstillinger, som 12 SRP Secure Remote Password er en protokol til sikker kommunikation over nettet på baggrund af et password. Selve protokollen regnes for at være særdeles sikker (selvfølgelig afhængig af passwordet) og er modstandsdygtig overfor dictionary attacks. Se mere i Wu [40]. 17

23 3 NemID, nu 3.3 Sikkerhed og trusler kan foretages på en online selvbetjening på Her kan man blandt andet bestille ekstra nøglekort, spærre sin signatur, ændre adgangskode og andre ting. DanID har for nylig også meget anonymt introduceret sikker , dvs. signering og kryptering af e-post fra brugerens egen computer. Til dette formål skal der downloades et program, der håndterer selve den kryptografiske signering og/eller kryptering af meddelelsen, og processen vil foregå meget lig den for online login man kan forestille sig programmet som Java-appletten hentet ned på brugerens computer. Nøglerne er stadig fysisk udelukkende placeret på DanIDs server. DanID varetager desuden en certifikatdatabase, som man kan foretage opslag i for at hente offentlige certifikater på personer, man ønsker at sende signeret eller krypteret e-post til. Der vil desuden inden for kort tid komme både elektroniske nøglegeneratorer og smartcards på markedet; førstnævnte som alternativ til nøglekortet, og sidstnævnte for at imødekomme visse brugeres ønske om fuld kontrol over deres private nøgle. 3.3 Sikkerhed og trusler Ligesom i afsnit 2.3 vil vi her se nærmere på de sikkerhedsmæssige foranstaltninger og trusler, som er knyttet til NemID. Da systemet er så nyt, som det er, er der indtil videre heldigvis ikke registreret deciderede brud på den tekniske sikkerhed, men der har været en del kritik af den for brugeren rent praktiske sikkerhed. Sikkerheden generelt i NemID har desuden været særdeles omdiskuteret i medierne, og derfor vil vi her forsøge at klarlægge en del af problematikkerne og imødekomme nogle af mange usaglige påstande, der florerer på nettet. Igen bygger vi mange af vores oplysninger på interviewet med Peter Lind Damkjær samt [15]. Vi starter med at se på de rent tekniske aspekter af systemet. Her er nøglestørrelsen som nævnt i afsnit 2.3 en væsentlig, men ikke afgørende, faktor i sikkerheden hørende til den konkrete signering og kryptering af information. Brugernes nøgler i NemID er dobbelt så store som i den gamle digitale signatur, nemlig 2048 bit. Eftersom certifikaterne desuden højst kan blive 15 år gamle, må denne faktor siges at være særdeles sikker et godt stykke ud i fremtiden. 13 Ser vi på selve to-faktorsikkerheden består denne som sagt af et brugernavn og password samt en engangskode (OTP). Her er der helt konkret tale om en forbedring i forhold til den digitale signaturs halvanden-faktor. For passwordets vedkommende er der opstillet nogle krav til, hvordan det skal udformes, f.eks. i forhold til længde, specialtegn og lignende. En meget væsentlig detalje er dog, at der ikke skelnes mellem store og små bogstaver noget som ellers er en almindelig måde at gøre passwords mere komplekse på. For NemIDs vedkommende vil hele det indtastede password blive lowercased, inden det sendes videre i systemet. Selvom dette umiddelbart er en klar svækkelse af sikkerheden af passwordet (og dermed også af den yderste SRP-tunnel i Figur 5), begrunder DanID det med hensynet til brugeren mange brugere vil konsekvent ikke skelne mellem store og små bogstaver: Hvis du taster store eller små bogstaver, så lowercaser vi det hele. Og det 13 DanID er ved at opbygge et hierarki af CA er over brugerens certifikater. De udstedende CA er (som udsteder brugernes certifikater) er ligeledes på 2048 bit, mens de overliggende CA er, der udsteder disse CA ers certifikater, er på hele 4096 bit. 18

24 3 NemID, nu 3.3 Sikkerhed og trusler er simpelthen fordi, en stor del af befolkningen ikke skelner mellem store og små bogstaver. ABP: Men det virker på dem, som ved noget om passwords, som en svækkelse af sikkerheden, så jeg undrer mig over, hvorfor I har valgt at skrive specifikt, at der ikke skelnes mellem store og små bogstaver, når I nu alligevel bare skriver bogstaver og tal. Så folk selv kunne vælge, om de ville have lowercase hele vejen. PLD: Det er netop fordi, vi lowercaser det hele. ABP: Og hvorfor er det, I gør det? PLD: Jamen det er fordi, folk de glemmer, at de har lavet et af bogstaverne med stort. ABP: Så det er af hensyn til brugeren? PLD: Det er af brugerhensyn, ja. Og så en samlet sikkerhedsvurdering der siger, at vi har alligevel brute-force [-sikring, red.] på, så det er altså væsentlig nemmere at angribe et kreditkort for eksempel, end det ville være at angribe det her system med brute-force. [...] Hvis du ser på det samlet set, så har du en voldsomt meget højere entropi, end du har på mange andre systemer, hvor du for eksempel kræver, at det skal være store og små bogstaver og otte tegn. Her der har vi faktisk 12 tegn, og så ved jeg godt, at de seks af dem det er cifre, men der er faktisk relativt meget entropi på. ABP: Hvis du blander faktorerne sammen, ja, men hvis du holder faktorerne adskilt, så er man nødt til at kigge isoleret på passwordet. PLD: Ja, og der vil du kunne opnå samme sikkerhed ved typisk at lægge et eller to tegn ekstra på. ABP: Men det er så ikke noget, brugerne ved, kan man sige? PLD: Nej. Men det er jo også derfor vi skriver, at vi ikke skelner, så brugerne de er klar over, at entropien er ikke stærkere, end at vi ikke skelner mellem store og små bogstaver, så nej. Hvis vi ikke skrev det, så kunne nogle blive narret ved at tro, at vi havde en entropi på en vis størrelse. ABP: Men det er jo så fordi, I har valgt at lowercase passwordet. Det ved brugeren jo heller ikke, at I gør. PLD: Det er af brugerhensyn, da der en stor del, der ikke skelner, og ikke kan huske, at de har valgt nogle af bogstaverne med stort. Peter Lind Damkjær, DanID (Bilag P) Det giver altså umiddelbart god mening at ville hjælpe brugerne ved ikke at kræve forskel på store og små bogstaver, men for mere kyndige brugere giver det i vores øjne ikke mening at fjerne muligheden, når systemet teknisk set understøtter brugen af store og små bogstaver. DanID gør sig her måske lidt for store antagelser om den generelle brugers viden om entropi og styrker af passwords. Nøglekortet udgør udover brugernavn og adgangskode den anden væsentlige faktor i to-faktorsikkerheden, men dermed stilles der ligesom for nøglefilen i den digitale signatur også visse krav til opbevaringen af kortet. DanID fraråder enhver form for kopiering eller digitalisering af nøglekortene, da de i så fald vil kunne komme til at ligge på f.eks. brugerens PC, og dermed skal der ikke mere end en simpel keylogger til, før en hacker vil kunne misbruge brugerens identitet. Den afledte fordel ved to-faktorsikkerheden ligger så i, at hvis nøglekortet skulle blive stjålet, har tyven stadig brug for den anden 19

25 3 NemID, nu 3.3 Sikkerhed og trusler faktor (brugernavn og password) for at kunne udnytte systemet og omvendt. En interessant pointe er dog, at en bruger ikke nødvendigvis har mulighed for at opdage det, hvis vedkommendes nøglekort er blevet kopieret noget som en elektronisk nøglegenerator derimod ville være modstandsdygtig overfor. Med hensyn til offline- og online-angreb er der også sket forbedringer i NemID. Offlineangreb er principielt ikke længere mulige, da der er en fysisk sikkerhedsfaktor i form af nøglekortet, som ikke kan tilgås elektronisk, med mindre selvfølgelig nøglekortet er blevet kompromitteret. Med andre ord er det nærmest umuligt at foretage brute-force-angreb på systemet, selvom brugerens PC skulle være inficeret. Desuden spærres brugerens NemID i 8 timer efter fem fejlslagne forsøg, og efter yderligere fem forsøg kan der kun åbnes op igen med en ny midlertidig adgangskode. Valget af Java som redskab til selve autentifikationen har fået stor kritik af blandt andet eksperter på området og på IT-relaterede fora rundt omkring på nettet. Vi er ikke i stand til konkret at vurdere sikkerheden i den valgte løsning, men i en artikel i PROSAbladet (december 2010) udtaler Peter Lind Damkjær, at en løsning baseret udelukkende på HTTPS og JavaScript ikke ville yde tilstrækkelig beskyttelse mod kendte MITMog MOTW-angreb, ligesom de underliggende kryptografiske beregninger ville være for tunge at afvikle i JavaScript. Man kan forholdsvis nemt se, at MOTW-angreb er så godt som umulige, men et simpelt MITM-angreb, hvor en mellemmand via en vellignende men falsk kopi af en kendt tjenestes hjemmeside, som han har lokket brugeren ind på, formidler kommunikationen mellem bruger og server, kan principielt godt lade sig gøre: Ja, det er muligt at lave sådan et scenarie. Vi har lavet nogle ting i appletten, der gør det besværligt at lave det angreb. Og det er vigtigt også at vide, at i det her NemID...det vi har startet, det er en proces. Vi har ikke lavet en endelig løsning, der er færdig, og så er den mejslet ind i sten - så vi kender godt de angreb, man kunne forestille sig, og vi overvåger også for, hvordan verden ser ud, og hvordan det udvikler sig, og vi har nogle skruer, vi kan skrue på, så vi kan fange de her ting, efterhånden som vi ser, at det bliver et scenarie, som vil ske. Men vi har også skrevet på vores FAQ, at man godt kan forestille sig man-in-the-browser og man-in-the-middle angreb, altså online phishing-angreb. [...] Så vi overvåger, og vi har nogle mekanismer, vi kan skrue på, men det vil gøre, at der kommer en brugerinvolvering, og det er altid et spørgsmål om at finde niveauet. Der er ikke noget, der hedder 100% sikkerhed. Vi kan aldrig gardere os 100% - om ikke andet så er det, brugeren ser på, en glasplade, og han har et tastatur og et interface. Det kan man altid mingelere med, så brugeren tror, der sker noget andet. Man kan jo ikke sidde og kigge på de strømme, der løber nede i computeren, så det er et spørgsmål om at sige, hvor skal man sætte barrieren. Og den barriere vil flytte sig over tid. Peter Lind Damkjær, DanID (Bilag P) Eksemplet i medierne med viste desuden, hvor forholdsvis let det kan være at lave en hjemmeside, som folk blindt stoler på og få dem til at forsøge at logge ind med deres NemID. Til NemIDs forsvar skal dog nævnes, at det med engangskoderne er blevet sværere for en hacker at anvende de opsnappede informationer på vedvarende 20

26 3 NemID, nu 3.3 Sikkerhed og trusler basis. En mere praktisk sikkerhedsfaktor er udsendelsen af selve nøglekortene og primært samkøringen af denne med udsendelsen af den midlertidige adgangskode. Der har af flere omgange været episoder, hvor mange tusinde nye brugere har fået spærret deres NemID lige efter oprettelsen, fordi de havde modtaget velkomstbrevet med nøglekortet og den midlertidige adgangskode på samme dag, hvilket ifølge Datatilsynet er en alvorlig sikkerhedsbrist, da de to breve tilsammen kan være nok til at misbruge brugerens identitet. Der er her tale om praktiske fejl på grund af overbelastning og menneskelige fejl, men der er stadig tale om en væsentlig sikkerhedsbrist, som DanID har reageret forholdsvis korrekt på hver gang ved at spærre og genudstede de berørte NemID dog med enkelte forsinkelser. Den sidste, men måske mest omdiskuterede, faktor i sikkerheden af NemID er placeringen af brugerens private nøgler på DanIDs servere. Her har vi fat i den altoverskyggende forskel mellem den digitale signatur og NemID: hvilken betydning har det for brugeren, at vedkommende ikke har direkte fysisk adgang til sin personlige nøgle? Praktisk: ingen. Sikkerhedsmæssigt: nogen. Personligt: for nogle bestemte brugere en hel del. For den praktiske dels vedkommende er det umiddelbart kun blevet nemmere for brugeren, hvis man ser på den rene nøglehåndtering (introduktionen af nøglekortet er en helt anden sag). Der er ikke de samme problemer med installation, generering af nøgler og lignende som med den gamle signatur. DanID har ligeledes fået foretaget en juridisk vurdering af, om det overhovedet er tilladt at opbevare borgeres private nøgler centralt (se Udsen [38]). Notatet konkluderer, at der ikke umiddelbart er problemer forbundet med denne opbevaringsform. Desuden behøver man ikke længere være så nervøs for, om man har beskyttet sin personlige nøgle godt nok. Og dette leder os hen til den sikkerhedsmæssige betydning: ligger nøglerne så sikkert nok hos DanID? Ifølge DanID selv ligger de bedre end hos den enkelte bruger: Jeg har hørt nogle kritikere sige til mig, at de kan beskytte nøglen bedre end man kan på en HSM [hardware security module, red.] hos DanID. Jeg har været i sikkerhedsbranchen i nogle år, så jeg er ret sikker på, at jeg selv ikke ville være i stand til at beskytte nøglen så godt, som man kan. [...] Så jeg er glad for, at jeg ikke har mine ting på min PC mere, for jeg er ikke sikker på, det er et godt sted at have dem. Peter Lind Damkjær, DanID (Bilag P) Der bliver ligeledes gået meget op i den konkrete beskyttelse af nøglerne, eller med andre ord muren omkring dem : Hele vores infrastruktur er baseret på, at den mur skal være sikker. Så vi har gjort os meget meget umage. Vi har haft alle de kritiske faktorer, vi har lavet, til review hos tredjeparter og skal have en rating på alt det, vi laver. Man rater efter, hvor godt man synes, det er. De protokoller, vi laver, har vi haft både indenlandske og udenlandske eksperter til at kigge på og sige, hvor er det, at sårbarhederne er i det her, og hvor realistisk er det, at de vil blive brugt. Hele vores driftsapparat er bygget op om, at alle de steder, hvor der er nogle kritiske ting, f.eks. vores CA-nøgler eller de steder, hvor vi har brugerens private nøgler liggende, der har vi en udpræget brug af dualitet, 21

27 3 NemID, nu 3.3 Sikkerhed og trusler dvs. at der skal mere end én person til at gøre nogle bestemte ting. Vi har zoneopdelt det, og i det inderste i vores CA, der kan der ikke gå én mand ind alene - der skal der to mand til. Og det skal ikke være to driftsfolk, det skal være en driftsperson og en anden, typisk en security officer eller en, der har en applikationsvej [uklar optagelse, red.]. Der skal være to til stede, og de skal have forskellig funktion. ABP: Så du vil mene, at muren er særdeles holdbar? PLD: Der er nogle folk, der synes, vi er hysteriske, men det er vores forbandede pligt at være hysteriske. ABP: Er muren ubrydelig? PLD: Der er ikke noget i verden, der er 100% sikkert, men vi har gjort os meget store anstrengelser i at gøre det usædvanlig svært at angribe det her. Vandet vil søge hen de steder, hvor det er nemt at løbe igennem, og det er ikke server-side. Peter Lind Damkjær, DanID (Bilag P) Så selve sikkerheden omkring brugernes og CA ens nøgler bliver der åbenbart gjort meget for at sikre, men der er selvfølgelig stadig en potentiel mulighed for, at muren gennembrydes, hvilket i så fald kunne medføre en spærring og efterfølgende genudstedelse af samtlige digitale signaturer i Danmark. Noget helt andet er de forholdsvist mange IT-kyndiges kritik af, at de ikke fysisk har kontrol over deres private nøgle. Med indførelsen af smartcards senere på året tager DanID denne kritik til sig og muliggør dette, men indtil da ligger den private nøgle udelukkende på DanIDs server. DanID foretager dog en skelnen mellem at have adgang til og at have kontrol over ens personlige nøgle: Det, der er meget væsentligt, det er, at det er brugeren, der har kontrol over den private nøgle. Det er et af de kritikpunkter, der har været, og derfor er der nogen, der ikke mener, at det er PKI det her, fordi den private nøgle ikke ligger hos brugeren. Men det, mener jeg måske nok, er en meget firkantet måde at se det på, for det, der er væsentligt, er, at det kun er brugeren selv, der kan bruge den her private nøgle at systemet er sat op på den måde. Peter Lind Damkjær, DanID (Bilag P) Distinktionen mellem adgang og kontrol er selvfølgelig en mere akademisk en af slagsen, og vi vil ikke her vurdere, hvad der er klogest eller sikrest. Vi er dog enige med DanID i, at nøglerne generelt sandsynligvis vil være bedst beskyttet på en central og stærkt sikret server selvfølgelig med forbehold for, at en del IT-kyndige mennesker er udmærket i stand til at beskytte den selv. Den sidste knast i mediernes sikkerhedsdækning af NemID er af mere konspiratorisk art: tør man stole på, at DanID ikke misbruger sin magt til at stjæle brugeres identiteter, i al hemmelighed logge brugerens transkationer eller usynligt inficere brugerens PC med keyloggere eller spyware? Det kunne de sagtens, men gør de det så? Med enormt overvejende sandsynlighed nej. Den blandt mere IT-kyndige brugere nærmest konspiratoriske mangel på tillid til DanID er i vores øjne stærkt overdrevet, og vi er ikke et sekund i tvivl om, at DanID som virksomhed aldrig bevidst ville bryde deres forpligtelser som certificeret CA. At enkelte medarbejdere måske vil kunne gøre dette er næsten umuligt 22

28 3 NemID, nu 3.4 Distribution og udbredelse at forhindre, men det er der heller ikke noget nyt i. De fleste ansatte i offentlige myndigheder har opslagsrettigheder til personfølsomme oplysninger, men igen mangler den fysiske faktor i form af nøglekortet stadig for at kunne fuldbyrde forbrydelsen. I forhold til den centrale lagring af de personlige nøgler ville DanID nemt kunne udstede et nyt sæt nøgler for en hvilken som helst person i kongeriget til eget brug, men i forhold til den gamle digitale signatur er der her igen intet nyt under solen, og en stor del af sikkerheden i et PKI bygger derfor netop på borgernes tiltro til certificeringscentrene. 3.4 Distribution og udbredelse Distribution og udbredelse af NemID må siges at være radikalt anderledes end for den digitale signaturs vedkommende. Fra den 1. juli 2010 og året ud blev der hver måned udsendt ca velkomstbreve med nøglekort og et seperat brev med en midlertidig adgangskode. Brevene blev automatisk sendt til samtlige netbankbrugere i Danmark 14 i tilfældig rækkefølge. Den faktiske ibrugtagning var dog i høj grad afhængig af, hvor hurtigt de enkelte banker kunne få integreret NemID i deres systemer. På denne måde er det lykkedes NemID at komme ud til ikke mindre end ca. 3 millioner danskere inden for et halvt år. Det er dog langt fra alle, som har modtaget deres NemID, som også har taget det i brug. Der er stadig i februar mellem en halv og en hel million ikke-aktiverede NemID blandt befolkningen, men systemet har effektivt opnået større udbredelse og anvendelse på et halvt år, end den digitale signatur kunne nå i løbet af 7 år. Udover den automatiske distribution til netbankkunderne har alle borgere desuden kunnet bestille et NemID online fra og med lanceringsdatoen 1. juli Noget som ganske mange har benyttet sig af, enten fordi de ikke var netbankkunder, eller fordi de ikke gad vente på, at deres NemID kom med posten automatisk. Desuden er det muligt at få udleveret sit NemID hos Borgerservice- og skattecentre rundt omkring i landet, ligesom man som netbankkunde kan få det ved personligt fremmøde i sin bank. Landskabet er dog også et væsentlig andet, særligt i forhold til alternativerne til Nem- ID. For netbankkunder er der ingen! NemID vil afløse samtlige andre loginmuligheder på samtlige netbanker i Danmark. Herudover skifter samtlige offentlige myndigheder og tjenester til NemID i løbet af ganske kort tid, dog vil den gamle digitale signatur være understøttet, så længe der stadig er aktive certifikater. Der er altså for NemIDs vedkommende tale om en langt mere agressiv distribution og understøttelse i forhold til den mere passive form anvendt under udbredelsen af den digitale signatur. 3.5 Brugervenlighed I beskrivelsen af brugervenligheden af NemID vil vi holde os til de funktioner, som er direkte rettet mod brugervenlighed samt de testrapporter, som DanID har fået udarbejdet inden systemets lancering. Afsnittet vil være forholdsvis kort, da resten af specialet særskilt handler om netop dette emne. 14 Ifølge Møberg et al. [21] har ca. 80% af danskerne mindst én netbankløsning. 23

29 3 NemID, nu 3.5 Brugervenlighed Features direkte rettet mod brugervenlighed I det aktstykke fra Ministeriet for Videnskab, Teknologi og Udvikling, som er fremlagt for Finansudvalget omhandlende indgåelse af kontrakten med DanID om udvikling og drift af den kommende generation af digital signatur, står følgende beskrevet: Etableringen af en fælles digital signatur med finanssektoren har en række fordele for borgerne, herunder øget brugervenlighed, idet signaturen anvendes hos både banker og det offentlige. Den tilbudte løsning medfører et sikkerhedsløft af den digitale signatur, da denne fremover opbevares centralt hos leverandøren frem for på borgerens egen computer. Sikkerhedsløftet er endvidere baseret på, at borgeren skal indtaste to koder ved anvendelse af signaturen frem for en kode som i dag. Dette kan virke mere besværligt for brugeren, men det vurderes, at borgeren hurtigt vil vænne sig til den nye løsning, da signaturen anvendes i både banker og det offentlige. Ministeriet for Videnskab, Teknologi og Udvikling [20], s14m Den øgede brugervenlighed er dermed opsat som et af de direkte mål med det nye system og vil delvist blive udmøntet gennem en harmonisering af login-mulighederne mellem det offentlige og netbankerne. Sloganet for NemID er da også Et log-in til det hele, hvilket signalerer, at brugeren nu kan nøjes med at huske ét brugernavn og password til både sin netbank, offentlige myndigheder og selvbetjening samt eventuelle tilknyttede private virksomheder. Kombinerer man dette med det offentlige single-signon-system (NemLogin), er der i sandhed tale om bred og lettilgængelig autentifikation. Der bliver ligeledes slået på genkendeligheden af Java-appletten og de omkringliggende elementer på de til NemID tilknyttede tjenester. Endvidere er der i kravspecifikationen for NemID i afsnit om brugervenlighed udpeget følgende: IT- og Telestyrelsen ønsker at styrke brugervenligheden i den nye PKIinfrastruktur (specifikt i forhold til de administrative funktioner som bestilling, installation, flytning af certifikater m.m.), og ser denne styrkelse som en vigtig forudsætning for at indfri målsætninger for digital signatur. Brugervenligheden kan bl.a. øges gennem en bedre anvendelse af teknologier og mekanismer, hvor der f.eks. ikke kræves en endelig installation af certifikater. NemID kravspecifikation, s12 Her er det altså nærmere en fjernelse af nogle af de knap så brugervenlige faktorer fra den digitale signatur, der er tale om. På med nemid/ listes endvidere fire konkrete fordele ved NemID: Brugervenlighed: Argumentet herfor er, at NemID kan du bruge på de fleste computere med internetadgang. Fælles login: Er som ovenfor nævnt, at NemID sammen med NemLog-in kan bruges på samtlige offentlige sider og netbanker. Genkendelighed og hurtig tilpasningsevne, eller learnability, er altså nøgleordene her. Portabilitet: DanID slår her på, at NemID er uafhængig af installation på en bestemt PC. Det kan med andre ord bruges fra næsten hvilken som helst computer, blot den har internetadgang. Både i Danmark og i udlandet. 24

30 3 NemID, nu 3.5 Brugervenlighed Øget sikkerhed: Her skitseres ganske kort, at to-faktorsikkerheden i systemet er med til at højne sikkerheden og beskytte mod indbrudstyve og hackere. Selvom brugervenligheden står øverst på NemIDs officielle liste over fordele, er det altså slående lidt, der konkret står beskrevet om emnet. Navnet i sig selv hentyder også til brugervenlighed, men igen er det svært at læse sig til, hvorfor NemID er nemt. En anden ting, som DanID reklamerer med, er den nemme og hurtige aktiveringsproces, samt at processen med nøglekort, der løber tør, forløber transparent og smertefrit: brugeren behøver ikke tænke på, om vedkommende løber tør for koder et nyt kort tilsendes automatisk, inden dette sker. Kortet i sig selv er lille og foldbart og kan dermed ligge i brugerens pung sammen med kreditkort og lignende Brugertests udført af DanID inden lancering DanID har inden lanceringen af NemID testet produktet grundigt, og vi vil i dette afsnit nævne nogle af konklusionerne fra den testrapport, som firmaet Userminds har udarbejdet i juni 2009 på baggrund af 22 udførte tænke-højt tests af DanIDs logon-applet. Der har for denne rapports vedkommende været tale om en prototype af appletten, som derfor ikke bør sammenlignes med det lancerede produkt. Testrapporten er sammen med et antal tilhørende dokumenter blevet udleveret ved aktindsigt fra IT- og Telestyrelsen og kan ses i Bilag Q. 15 Testen blev udført på et bredt udsnit af befolkningen i forhold til køn, alder, ITkompetencer og erhvervsbeskæftigelse og mundede ud i identifikation af 56 usabilityproblemer samt anbefalinger til udbedringer, som allesammen efterfølgende er blevet gennemgået af DanID, IT- og Telestyrelsen samt repræsentanter fra et udvalg af banker. Vurderingen og rettelsen af de identificerede problemer har ikke efterfølgende givet anledning til yderligere tests af systemet (så vidt vides ud fra det udleverede materiale). De primære identificerede udfordringer i rapporten er forståelsen af NemID-konceptet generelt, ligesom en del deltagere er utilfredse eller usikre på konceptet med at anvende et nøglekort begge dele ting, som ikke bare kan fikses med en softwareopdatering. Man må på denne baggrund kunne antage, at DanID på det rent praktiske område har gjort, hvad de syntes var nødvendigt for at teste for og imødekomme eventuelle usabilityproblemer, der måtte være i det lancerede produkt. IT- og Telestyrelsen og DanID har ligeledes inddraget relevante parter i høringsprocesser og lignende, blandt andet ÆldreSagen og Dansk Blindesamfund, for at højne brugervenligheden for ældre og svagtseende/blinde. Der er til disse personer udviklet et særligt system, hvor man enten kan få et nøglekort med større tal eller en speciel løsning til blinde, hvor man kan få sin OTP-kode ved at ringe til en telefonservice. Disse løsninger har DanID også bedt Userminds om at teste, og vi har fået udleveret testrapporterne, men vi vil i dette projekt af tidsmæssige årsager ikke komme nærmere ind på dem. 15 Der blev i forbindelse med aktindsigten ligeledes udleveret testrapporter for den særlige løsning til blinde og svagtseende, test af nemid.nu og dennes funktioner, præsentationer og opsamlinger heraf samt diverse interessenters (primært de største danske bankers) kommentarer til disse. Vi vil dog lægge vores fokus på testrapporten om appletten, da det er her, vores egne undersøgelser primært kommer til at befinde sig. 25

31 3 NemID, nu 3.5 Brugervenlighed Opsamling Vi har i dette afsnit set nærmere på NemID og særligt lagt vægt på brugervenlighed og teknisk virkemåde. For førstnævntes vedkommende er de politiske forventninger store, men det har været svært at se, hvordan disse forventninger konkret er blevet implementeret. De udførte tests inden produktets lancering indikerer primært forståelsesmæssige problemer i forhold til koncepterne samt utilfredshed med nøglekortet. Dette kort er en væsentlig faktor i den øgede sikkerhed i systemet, ligesom placeringen og opbevaringen af brugerens nøglepar er markant anderledes end for den digitale signatur. Den opsamlede viden skal vi i de efterfølgende afsnit bruge til at designe meningsfulde og realistiske testopgaver, ligesom vi skal indsnævre de dele af systemet, som vi ønsker at teste. 26

32 4 Brugerevaluering af NemID I det følgende afsnit udvælger og beskriver vi de forskellige metoder, vi har valgt at brugerteste NemID med. Grundet projektets primære fokus på brugerens oplevelse af produktet, har vi udvalgt tre forskellige testmetoder, som beskrives nærmere nedenfor. Vi vil også komme ind på, hvorfor disse metoder er anvendelige til formålene, ligesom vi grundigt beskriver, hvorfor og hvordan de forskellige metoder er anvendt og tilpasset i dette konkrete tilfælde. Afsnit 4.1 er en generel præsentation af metoderne, hvorimod det efterfølgende afsnit ser på den konkrete implementering af disse i dette projekts undersøgelser. For at få en fælles referenceramme at tale ud fra, vil vi kort præsentere den definition af usability, som vi vil arbejde efter gennem resten af afhandlingen. Den bredest anvendte definition af usability er ISO standarden, der opdeler usability i effectiveness, efficiency og satisfaction. Vi vil primært arbejde ud fra denne definition, dog vil vi også lejlighedsvist anvende Schneidermans og Nielsens udvidelser/underopdelinger (se f.eks. Schneiderman og Plaisant [32]) til at præcisere, hvad vi ønsker at teste, ligesom de på nogle punkter er mere målbare. Disse forskellige definitioner kan ses i Tabel 1. ISO Schneiderman Nielsen Efficiency Speed of performance Efficiency Time to learn Learnability Effectiveness Retention over time Memorability Rate of errors by users Errors/Safety Satisfaction Subjective satisfaction Satisfaction Tabel 1: Oversigt over tre forskellige definitioner af usability, gengivet fra Tabel 1 i van Welie et al. [39]. Efficiency drejer sig om, hvor hurtigt brugeren kan udføre de stillede opgaver, både i forhold til hvor lang tid opgaven konkret tager at løse, samt hvor længe brugeren er om at finde ud af hvordan. Effectiveness handler primært om, hvor godt de indlærte opgaveløsninger sidder fast hos brugeren og kan huskes over længere tid, samt i hvor stort omfang brugeren genererer fejl undervejs. Satisfaction drejer sig om brugerens umiddelbare eller mere langsigtede tilfredshed med systemet, dets virkemåde, udseende eller opførsel. Modsat de to foregående kategorier måles denne kategori næsten udelukkende subjektivt. Vi vil indledningsvist også knytte et par kommentarer til, hvorfor vi overhovedet bruger så meget energi på at teste NemID DanID har jo udført forholdsvis omfattende tests af produktet inden lanceringen (se afsnit 3.5.2). Et af motivationspunkterne for denne afhandling er dog, at modtagelsen af NemID i befolkningen mildest talt har været lunken og mestendels kritisk; i hvert fald hvis man kigger på mediernes dækning af lanceringen og den efterfølgende opstartsfase. Ligeledes har mange elektroniske medier og fora rundt om på nettet flydt over med kritik af både teknikken, sikkerheden og brugervenligheden af systemet, endda før det overhovedet blev lanceret. Den megen mediedækning har skabt politisk bevågenhed fra den siddende opposition, som nu er begyndt at stille kritiske 20-spørgsmål om NemID til den ansvarlige minister. Noget kunne altså tyde på, at NemID har fået en særdeles vanskelig start, og alene dette berettiger et ekstra eftersyn 27

33 4 Brugerevaluering af NemID 4.1 Testmetoder til slutbrugerevaluering af produktet. Vi forholder os kritisk til DanIDs tests og foretager egne undersøgelser, der forhåbentlig kan være med til at belyse, om nogle ting er røget for hurtigt igennem udviklings- og testfasen. Greenberg og Buxton [6] argumenterer i tråd med ovenstående for, at der er en udbredt mangel på replikering af mange af de resultater, som fremkommer i HCI-relaterede artikler baseret på f.eks. tænke-højt tests. Der er ifølge forfatterne ingen status eller umiddelbar publiceringsværdi i at forsøge at genskabe resultater, med mindre de oprindelige undersøgelser har vist opsigtsvækkende resultater. I NemIDs tilfælde er replikering derfor i vores øjne en god ide, da de positive resultater af DanIDs egne tests er opsigtsvækkende på den måde, at de tilsyneladende harmonerer dårligt med befolkningens opfattelse og brug af systemet. Noget som usabilitytests ellers skulle være med til at forhindre. Vi vælger dog ikke bare at gentage DanIDs undersøgelser. Dette er i vores tilfælde praktisk og tidsmæssigt umuligt. I stedet vælger vi at konstruere vores egne tests, baseret bl.a. på studier af den ønskede funktionalitet af systemet og de af medierne udpegede kritikpunkter. Vi holder os heller ikke kun til tænke-højt tests, men ønsker at udbrede undersøgelsen til en større skala med mange brugere noget som DanID ikke havde samme muligheder for under udviklingsfasen inden lanceringen. Tullis et al. [36] påpeger i tråd med dette, at flere typer af tests vil give anledning til større og mere varieret udpegning af usabilityproblemer, ligesom der argumenteres for, at et lille antal testpersoner i f.eks. en tænke-højt test ikke nødvendigvis giver specielt pålidelige konklusioner omkring subjective satisfaction. Her er der behov for at supplere med en større respondentgruppe. Under en normal testforberedelse er det meget vigtigt at holde sig nøje for øje, hvad resultaterne af de planlagte tests skal bruges til. I de fleste tilfælde skal resultaterne anvendes til videre arbejde med fejludbedring eller forbedringer af det testede produkt før en eventuel lancering, og det vil derfor være af stor betydning, at udviklere, usabilityeksperter og lignende inddrages i forberedelsen af testen. Omvendt evaluerer vi i dette projekt et færdigt og lanceret produkt med cirka et halvt år på bagen, og vi er ikke nødvendigvis interesseret i at ende med en udpegning af konkrete bugs eller eventuelle anbefalinger til ændringer i produktet. I og med at NemIDs grundydelser allerede er færdigudviklet, testet og lanceret i stor skala, kan vi i disse tests fokusere på retrospektivt at forsøge at bedømme det færdige produkts kvalitet ud fra brugernes synspunkt, samt udpege eventuelle svagheder og styrker i håb om at kunne vurdere kvaliteten af produktet på udvalgte fokusområder. 4.1 Testmetoder til slutbrugerevaluering For at give det bedst mulige billede af brugerens anvendelse af NemID både i introduktionsfasen (eller aktiveringen) og i den efterfølgende daglige brug har vi valgt at anvende forskellige typer undersøgelser, som beskrives nærmere nedenfor. Til den kvalitative del, er den primære metode tænke-højt tests, suppleret med cooperative usability testing. Til den mere kvantitative del, som berører både aktiveringen og den efterfølgende brug, har vi valgt at anvende to tidsmæssigt adskilte spørgeskemaer på samme målgruppe. Distinktionen mellem kvalitative og kvantitative data er i dette tilfælde dog ikke helt sort/hvid, da tænke-højt principielt kan levere kvantitative data for et lille antal personer, ligesom spørgeskemaernes fritekstfelter kan levere mere kvalitative input til undersøgelsen. Ved 28

34 4 Brugerevaluering af NemID 4.1 Testmetoder til slutbrugerevaluering at foretage denne adskillelse sikres det dog, at der anvendes de metoder, der giver størst udbytte i forhold til de resultater vi ønsker at analysere og studere. Desuden sikres både bredde og dybde i undersøgelserne, og metodevalget gør, at vi kommer rundt i alle de tre usability-kategorier i Tabel Tænke-højt test Tænke-højt test (THT) bliver af mange i HCI-miljøet anset som værende standarden inden for test af en lang og bred vifte af forskellige produkter inden for teknologi, IT, husholdning og mange andre produktkategorier. Metoden kan anvendes i mange forskellige faser af en udviklingsproces, lige fra tegnede prototyper til release candidates og færdige produkter. Teorierne bag THT bygger på koncepterne i Verbal Protocol Analysis (Ericsson og Simon [4]), men anvendes dog i sin nuværende form i en noget mindre teoretisk udgave. Der findes mange forskellige udgaver af THT, men den i dette projekt anvendte tager udgangspunkt i den mere klassiske metode, som er gengivet i Rubin og Chisnell [31] og Molich [22]. Overordnet går THT ud på, at et antal nøje udvalgte testpersoner stilles en række realistiske og meningsfulde opgaver, som skal løses, mens en testleder og eventuelle observatører overvåger processen og kan yde assistance undervejs. I den klassiske udgave må testlederen kun komme med opfordringer til at tænke højt og ikke yde nogen anden form for assistance. Det er dog de færreste testledere, der følger denne metode stringent. Under opgaveløsningen bliver testpersonen bedt om at tænke højt, altså i videst muligt omfang hele tiden fortælle, hvad der foregår, hvad personen foretager sig, og hvad personen har af overvejelser og tvivl. Efter løsningen af opgaverne afsluttes forløbet normalt med en form for debriefing, hvor testlederen stiller spørgsmål til forløbet, får opklaret eventuelle uklarheder undervejs, og hvor testpersonen har mulighed for at kommentere og uddybe forløbet. Dette forløber oftest som en variant af et semi-struktureret interview. Det overordnede forløb for en standard THT kan skitseres som følger: 1. Modtagelse og velkomst af testperson 2. Introduktion til forløbet og afklaring af eventuelle spørgsmål 3. Eventuel screening af testperson og underskrift af samtykkeerklæring 4. Løsning af foruddefinerede opgaver 5. Debriefing og eventuelle spørgsmål Vi kommer nærmere ind på, hvordan de enkelte punkter er implementeret i denne undersøgelse i afsnit 4.2. Forløbet tager normalt mellem 60 og 90 minutter, hvor hovedparten af tiden bruges på punkt 4 ovenfor, afhængigt af det testede produkt samt opgavernes sværhedsgrad og omfang. Vi vil nu se på nogle af de vigtigste af de mange tommelfingerregler, der findes for gennemførsel af en THT. Disse (og flere) vil blive taget op igen, når vi beskriver opbygningen af vores undersøgelser af NemID i afsnit

35 4 Brugerevaluering af NemID 4.1 Testmetoder til slutbrugerevaluering Testpersoner En væsentlig faktor i en succesfuld THT er forberedelsen. Det er særdeles vigtigt at udvælge sin målgruppe korrekt, så man ikke sidder med testpersoner, som f.eks. aldrig ville kunne komme til at skulle bruge det testede system eller testpersoner, som alle sammen er overkvalificerede til at bruge systemet, så der derved ikke konstateres nogen som helst problemer undervejs. Det er altså vigtigt at holde sig for øje, hvilken målgruppe der forventes at komme til at anvende det testede system at teste på andre end den giver ingen umiddelbar mening eller brugbare resultater. Udover disse krav kan testpersoner dog være alt fra ansatte i den virksomhed, som udvikler produktet, til ens egne kolleger, familie eller venner så længe de passer ind i målgruppen for det testede produkt. Det nødvendige antal testpersoner har i mange år skabt stor diskussion blandt testledere og forskere inden for HCI-miljøet. Flere (bl.a. Nielsen [25]) har plæderet for, at fem testpersoner vil være nok til at finde langt de fleste (80-85%) af usabilityproblemerne i f.eks. software eller hjemmesider. Andre er mere ambitiøse og mener, at mindst 8-10 testpersoner er nødvendige. Lindgaard og Chattratichart [18] har testet, hvorvidt der er en sammenhæng mellem antallet af testpersoner og antallet af fundne problemer, og de finder, at der ingen umiddelbar statistisk sammenhæng er. Deres undersøgelse er baseret på CUE-4 undersøgelserne (se Molich og Dumas [24]), hvor 17 uafhængige eksperthold blev bedt om at teste de samme to hjemmesider på forskellige måder. Lindgaard og Chattratichart [18] baserer deres resultater på de 9 hold, der valgte at lave usabilitytests med testpersoner, i modsætning til f.eks. heuristisk inspektion eller expert reviews. De fandt dog i tråd med ovenstående, at antallet og udformningen eller dækningen af opgaverne var en væsentlig faktor for antallet af identificerede usabilityproblemer. Så hvor mange testpersoner, der er nødvendige for at opdage så og så mange usabilityproblemer, må bero på en vurdering i hvert konkret tilfælde og vil ofte afhænge meget af målgruppen for og sværhedsgraden af det testede produkt. Uanset hvad er forskere dog enige om, at man med stor sandsynlighed vil skulle bruge mindst fem testpersoner, og at det er usandsynligt, at man ved at anvende mange testpersoner vil kunne identificere alle usabilityproblemer i et produkt. En pragmatisk tilgang, hvor man tilføjer testpersoner, indtil ingen nye usabilityproblemer dukker op, ses også som en løsning. Opgaver Med hensyn til selve opgaverne er der også en del forholdsregler. Opgaverne skal være præcist definerede, de skal kunne relateres til produktet og brugerens hverdag af testpersonen selv, ligesom unødvendig humoristisk tilgang bør undgås; de skal med andre ord føles realistiske for testpersonen. At give en økonomiansvarligs daglige arbejdsopgaver til en receptionist giver i de fleste tilfælde ingen mening og vil føre til misvisende resultater af THT en. En anden tommelfingerregel er, at den eller de første opgaver i rækken skal være lette at løse for alle testpersoner. Dette får testpersonen til at føle sig tryg ved forløbet og kompetent til at fortsætte den videre opgaveløsning. Denne første opgave kan dog tit være ganske vanskelig at konstruere (Molich [22], s103ff). Opgaverne kan med fordel uddeles på papir, da dette modsat en oplæsning fra testlederens side mindsker dennes indflydelse på en eventuel forståelse eller opfattelse af opgaven. En anden fordel ved at udlevere opgaverne på papir er, at testpersonen kan blive instrueret om at give opgaven tilbage til testlederen, så snart den efter testpersonens egen mening er løst. Dette hjælper med at måle faktorer som task completion time og tydeliggør, om der er tale om task failures. 30

36 4 Brugerevaluering af NemID 4.1 Testmetoder til slutbrugerevaluering Under udformningen af opgaverne skal der lægges stor vægt på ikke at hjælpe unødigt meget med løsningen af opgaven, da dette vil forvanske billedet af, hvorvidt testpersonen selv er i stand til at udføre den opgave, der egentlig ønskes testet. Det kan dog i mange tilfælde være nødvendigt at yde tilstrækkelig hjælp i opgaven, så testpersonen ikke tvinges ud i nye eller ukendte tiltag, der ikke har relevans for indholdet af opgaven eller benytter sig af features, der ikke vil blive brugt af testpersonen. 16 Testlederens rolle En meget væsentlig faktor i af få en THT til at lykkes er testlederens rolle og opførsel under forløbet. Som nævnt ovenfor er han i den klassisk teoretiske model ude af stand til at give andet end opfordringer til testpersonen om at tænke højt. I de fleste tilfælde er der dog en form for kommunikation mellem de to, uden at testlederen dog kommer med konkret hjælp til opgaverne, før testpersonen specifikt har opgivet (og dermed har givet anledning til en task failure). Testpersonen har normalt lov til at stille spørgsmål til testlederen under forløbet, som testlederen skal svare neutralt og opfordrende på og f.eks. bede testpersonen prøve sig frem, hvis der er tvivl, eller spørge ind til hvad testpersonens næste mulige trin kunne være. Testlederens primære rolle er dog at få testpersonen til at føle processen som værende naturlig og i videst muligt omfang foregå som om, situationen ikke var opstillet. Sekundært kan testlederen intervenere og eventuelt yde assistance til testpersonen, når det er tydeligt, at et problem ikke kan overkommes uden hjælp. En intervention bør dog altid være sidste udvej, idet det bryder det naturlige forløb i processen. Der findes enddog specifikke lister med typer af interventioner, som en testleder kan foretage, se f.eks. Tabel 1 i Zhao og McDonald [42]. Resultater De resultater, der kan opnås af en THT afhænger i høj grad af, hvordan og hvilke data der opsamles. En THT kan gennemføres i større eller mindre skala, og med få eller mange hjælpemidler. I komplekse tests kan det være en fordel at bruge et decideret usability-laboratorium, hvor testpersonen og dennes skærm kan optages, der kan optages lyd af forløbet, og indtil flere observatører kan følge med på fjersynsskærme eller gennem et semi-transparent vindue fra et tilstødende lokale. En sådan opsætning kan dog i mange tilfælde virke voldsom på testpersonerne, og testholdet kan derfor med fordel udføre THT for eksempel på testpersonens arbejdsplads eller i en brugers eget hjem. På denne måde virker situationen mere vant, og der er færre forstyrrende elementer. Til gengæld er mulighederne for dataopsamling typisk mindre. Valget af opsamlede data vil være en vægtning, der skal foretages i hvert enkelt tilfælde, men som hovedregel er det bekvemt for testholdet at have en lydoptagelse af testpersonens kommentarer, som bagefter kan transskriberes og sammenholdes med f.eks. en observatørs noter eller blot de enkelte trin i hver opgave. Man kan med fordel anvende specielt udviklede programmer til tid- og notetagning, så man efterfølgende kan beregne task times, task completion og andre relevante metrikker. Overordnet leverer THT derfor både objektive data (såsom task time, task completion, antal identificerede usabilityproblemer, etc.) såvel som mere subjektive data i form af testpersonens udtalelser, tvivl og 16 Et eksempel herpå kunne f.eks. være at hjælpe testpersonen til at arbejde med faner i en browser for at teste kommunikation mellem to hjemmesider. Noget som vi vil gøre brug af i opgaverne til denne undersøgelse. 31

37 4 Brugerevaluering af NemID 4.1 Testmetoder til slutbrugerevaluering holdninger til produktet. Sidstnævnte kan ofte give anledning til større designændringer end førstnævnte, men de tager dog også væsentlig længere tid at bearbejde og springes ofte over. De subjektive resultater er modsat de objektive heller ikke nemme at prædefinere i form af succeskriterier (de er svære at gøre målbare), hvilket gør det sværere for et testhold at argumentere for den ekstra tid, det tager at behandle dem. Beskrivelsen af efterbehandlingen af de opsamlede data udskydes til den konkrete analyse i afsnit 5.1. Vi vil blot nævne en væsentlig pointe i forbindelse med fortolkningen af de opsamlede data: oftest vil testlederen sammen med en eller flere eventuelle observatører udgøre det hold, der ud fra f.eks. en videooptagelse af testen skal identificere usabilityproblemer opstået undervejs i forløbet. Jacobsen et al. [17] konkluderer på baggrund af en interessant mindre undersøgelse, at der er markant forskel i typen og antallet af problemer, der findes af forskellige, men alle sammen velkvalificerede evaluatorer, og at antallet af fundne problemer er proportionalt med antallet af evaluatorer. Det vil derfor altid være en fordel at få flere end én kompetent person til at gennemgå resultaterne fra THT en, da man ellers risikerer at overse muligvis kritiske opståede problemer. Fordele og ulemper THT er som nævnt tidligere en meget anvendt teknik til at teste produkter fra en bred vifte af kategorier, både inden de udvikles, og inden de lanceres, og har vist sig at give særdeles brugbare resultater og er i sin opbygning forholdsvis simpel at gå til og særdeles veldokumenteret. Der er dog som nævnt ovenfor også en del regler, der bør overholdes. Hvis en eller flere af disse regler brydes, kan THT give misvisende eller decideret ubrugelige resultater. Den måske væsentligste anke ved THT er muligheden for, at testpersonernes opførsel og opgaveløsning afviger væsentligt fra, hvad der ville være observeret, hvis de havde siddet selv i deres vante omgivelser. Der kan gøres meget for at forhindre dette, hvor det mest oplagte selvfølgelig er at udføre testen i testpersonens egne omgivelser og med dennes egen computer, men i lige så høj grad er det testlederens opgave at få testpersonen til at føle sig hjemmevant og nedtone eventuelle konsekvenser eller forstyrrelser som følge af setuppet. Spørgsmålet rejser sig, om hvorvidt den kunstigt opsatte situation har en reel indflydelse på resultaterne af testen. I en undersøgelse af Hertzum et al. [8] påvises det, at i den klassiske form (som defineret af Ericsson og Simon [4]), hvor samtale mellem testleder og testperson minimeres, er indflydelsen på resultaterne minimal. Derimod er der i en mere relakseret udgave, hvor der føres mere dialog mellem de to parter markant forskel i blandt andet task completion-tider og mental arbejdsbyrde. Umiddelbart kræver verbalisering af tanker under opgaveløsning selvfølgelig ekstra hjernekapacitet, og testpersonerne vil derfor være længere tid om at løse opgaverne under en THT end normalt. Dette er i vores øjne forventeligt, og der skal altså korrigeres for dette, hvis man er særligt interesseret i task completion-tider. Mental workload blev af testpersonerne også vurderet højere i de tilfælde, hvor der blev tænkt højt. Selvom undersøgelsen baserer sig på et lille antal testpersoner i en meget snæver aldersgruppe, giver den en løftet pegefinger om, at påpasselighed i gennemførslen og analysen af resultaterne af en THT er nødvendigt. En anden indvending ved THT er, at mange af testpersonens ytringer er uanvendelige i forbindelse med en efterfølgende udpegning af usabilityproblemer, og at databehandlin- 32

38 4 Brugerevaluering af NemID 4.1 Testmetoder til slutbrugerevaluering gen derved gøres unødigt kompleks. Zhao og McDonald [42] påviser i deres undersøgelse dog, at antallet af brugbare kommentarer 17 stiger, når man tillader interventioner i forhold til den klassiske metode, men at procentdelen af disse er nærmest uændret. Der kommer med andre ord mere fyld i en relakseret THT. Omvendt viste undersøgelsen også, at selvom en THT forsøgtes kørt efter de klassiske principper fra Ericsson og Simon [4], kom testpersonerne alligevel med kommenterende eller direkte samtalende ytringer undervejs. Baggrund for metodevalg til undersøgelse THT er i denne undersøgelse valgt som den metode, der primært skal give kvalitativt input omkring brugervenligheden af NemID. Undersøgelserne er udført nogenlunde i stil med Rubin og Chisnell [31], da denne dels er meget gennemprøvet og giver gode muligheder for at få et indblik i testpersonernes opfattelse og holdning til systemet samt deres forståelse af de underliggende koncepter (såsom single-signon og to-faktorsikkerhed), som de tvinges ud i at anvende og beherske. For de fleste testpersoners vedkommende vil opgaverne ligeledes virke realistiske, da der arbejdes med velkendte hjemmesider, som testpersonerne ofte også har anvendt før og derfor kan relatere til. Altsammen noget som potentielt kan resultere i større verbalisering af processen undervejs. THT er i dette specifikke tilfælde også en god mulighed for at kunne supplere de særlige grupper af befolkningen, som er underepræsenteret i de resterende undersøgelser, primært fordi de kan være svære at nå ud til. Hvor spørgeskemaerne kan udpege generelle problemområder eller holdninger for store grupper af testpersoner, kan THT udpege specifikke problemer for mere snævre grupperinger. THT er i form af dets opgaveløsning også væsentlig mere specifik hvad angår udpegning af usabilityproblemer i NemID under løsning af nøje udvalgte opgaver, hvorimod spørgeskemaerne primært retrospektivt undersøger, hvordan opgaven er forløbet. Her spiller samtalen mellem testleder og testperson også en stor rolle, særligt i debriefingen til sidst i undersøgelsen. I det hele taget spiller det en stor rolle for resultaterne af en test, i hvor høj grad man har adgang til testpersonen, og under en THT er adgangen noget nær optimal. Dog giver THT i dets almindelige form ikke de store muligheder for at gå i dybden med ytringer eller handlinger fra testpersonens side undervejs i forløbet. Vi skal i næste afsnit se på en udvidelse af THT, der tillader dette. I forhold til dataindsamling og udpegning af usabilityproblemer er THT væsentligt overlegen på detaljegraden, hvorimod spørgeskemaerne er overlegne på antallet af respondenter. På dette punkt er THT ekstremt dyr, tidskrævende og decideret urealistisk at få op på samme antalsmæssige niveau, ligesom det kan være svært at rekruttere nok testpersoner særligt hvis der ingen gevinst eller kompensation er i det for dem. Selvom vi i dette projekt ingen ressourcer har til rådighed, var det alligevel muligt at rekruttere nok testpersoner, da tidsforbruget per test blev holdt indenfor en rimelig grænse. 17 Hvor brugbare skal ses som af størst værdi for den efterfølgende udpegning af problemer. 33

39 4 Brugerevaluering af NemID 4.1 Testmetoder til slutbrugerevaluering Kooperative evalueringsteknikker I vores øjne bygger en ikke uvæsentlig del af brugerens oplevelse af et IT-system på, hvor godt de bagvedliggende koncepter forstås og tages i anvendelse. Når IT-systemer ikke opfører sig, som brugeren forventer, er det værdifuldt for en testleder at kunne fastholde situationen og ikke blot fortsætte til næste opgave. Det er en af debriefingens opgaver gennem spørgsmål og tilbageblik at forsøge at undersøge dette, og der findes mange forskellige metoder hertil. Dog kan debriefingen efter vores mening i mange tilfælde komme for sent, ligesom detaljegraden i testpersonens hukommelse hurtigt mindskes, og dermed kan værdifuld information gå tabt. Da vores undersøgelse af NemID ikke primært handler om fejlfinding men er af en mere eksplorativ karakter, ønsker vi at fastholde disse overvejelser og handlinger undervejs i forløbet. Frøkjær og Hornbæk [5] foreslår en udvidelse af THT, den såkaldte Cooperative Usability Testing (CUT), hvor testleder og testperson efter løsning af opgaverne indgår i en mere naturlig dialog med hinanden, så det bliver en fælles opgave at udpege usabilityproblemer. CUT udspringer af ovennævnte ulemper ved THT og består af en interaction session (IAS), efterfulgt af en interpretation session (IPS) og en afsluttende debriefing. IAS kan eksempelvis bestå af en THT, og debriefingen vil så være kortere, da meget af indholdet ligger i IPS-delen. Denne del gennemføres efter en kort pause efter IASdelen og bygger på videooptagelsen af denne. Testleder og testperon gennemgår sammen IAS-delen og diskuterer væsentlige punkter undervejs i forløbet, på baggrund af videooptagelsen og observatørens noter undervejs. IPS-delen skal dermed bruges til at opnå en fuld forståelse af de mest kritiske usabilityproblemer og give testpersonen en ekstra mulighed for at forklare deres handlinger foretaget undervejs i testforløbet. Baggrund for metodevalg til undersøgelse For NemIDs vedkommende ønsker vi at undersøge, hvordan testpersonerne reagerer på og tolker single-signon-konceptet. I og med at single-signon fungerer usynligt for brugeren, er det vigtigt at fastholde de tanker og handlinger, der følger umiddelbart efter introduktionen til konceptet i opgaverne hvad tænker testpersonen, når noget pludselig sker automatisk. Vi foreslår derfor at anvende en alternativ udgave af CUT til at fastholde disse overvejelser og udvider derfor THT med korte, specifikke sessioner med samtale lige efter de opgaver, som omhandler single-signon og single-signoff. Disse sessioner indledes, så snart opgaven er løst af brugeren og har en varighed på ca. 2-3 minutter. Det primære formål er at få testpersonen til i frisk erindring at genfortælle, hvad der skete i den foregående opgave, og hvorvidt opførslen var forventet. Gennem samtale og uddybende spørgsmål kan testlederen nu få præciseret, om og i så fald hvordan testpersonen opfatter og anvender de afprøvede koncepter. Vi indlægger med andre ord korte IPS-sessioner lige efter udvalgte opgaver. Disse særlige opgaver vil være af en sådan karakter, at de er forholdsvis korte og lette at udføre, så testpersonens tankevirksomhed i videst muligt omfang kan fastholdes på de koncepter, der ønskes afprøvet, og hele opgavens forløb kan fastholdes i testpersonens erindring. Vi vil ikke anvende metoden til mere almindelige opgaver, hvor testpersonen blot skal udføre en sekvens af handlinger korrekt for at løse opgaven. Her vil debriefingen fortsat være det primære værktøj til afklaring. Vi kommer nærmere ind på den konkrete brug af metoden og de tilhørende opgaver i afsnit

40 4 Brugerevaluering af NemID 4.1 Testmetoder til slutbrugerevaluering Spørgeskemaer De ovenfor beskrevne metoder er gode til at producere kvalitative data. THT er velkendt for at kunne levere gode resultater, hvis man afsætter tid nok til at gennemlytte eller -se optagelser fra seancerne, så testpersonernes ytringer og holdninger medtages så undersøgelsen ikke blot bliver en udredning af usabilityproblemer og task completion-tider. Cooperative Usability Testing i vores præsenterede udgave hjælper her sideløbende med at fastholde de indtryk og overvejelser, der er vigtige at få vendt og registreret straks undervejs i forløbet. Som nævnt ovenfor er THT dog en meget dyr og tidskrævende metode, og det vil derfor næsten aldrig være muligt at gennemføre nok tests, til at man kan sige noget statistisk signifikant om resultaterne. Her kommer spørgeskemaerne ind som en noget anderledes og også billigere dataindsamlingsmetode. Spørgeskemaer findes i et hav af forskellige former, både i forbindelse med form (papirbaseret, elektronisk, læst op, etc.), længde, formål, indhold og spørgsmålstyper. Overordnet kan spørgeskemaer inddeles i tre kategorier (Ozok [26], s1152): Brugers evalueringer: Her anvendes spørgeskemaet til at få brugerens feedback på f.eks. et softwareprodukt. Her er der oftest tale om et konkret produkt, i vores tilfælde NemID, som brugeren kan relatere til og har prøvet. Her kan spørges til mål, forventninger, og mere direkte eller indirekte til termer som effectiveness, efficiency og satisfaction. Denne type spørgeskema vil ligge til grund for vores mere kvantitative undersøgelse af respondenternes holdning til NemID generelt og brugen af dette. Brugers meninger: Modsat ovenstående type af spørgeskema er denne møntet på brugerens holdninger og forventninger til mere generelle koncepter og produkter som helhed. Dette kunne for eksempel indeholde forventninger eller ønsker til offentlig selvbetjening i næste årti. Andet: Den sidste kategori består mestendels af demografiske spørgeskemaer, der ikke i nær så høj grad spørger til respondentens holdninger, men mere til egenskaber og opførsel. Denne type vil vi anvende forholdsvist grundigt til at få det demografiske overblik over respondenternes svar, så det potentielt er muligt at udrede forskelle inden for demografisk eller erfaringsmæssigt adskilte grupper. I denne undersøgelse vil vi kun anvende første og sidste kategori, selvom et sideløbende studie af NemID-brugernes holdninger til IT generelt ligeledes ville have været interessant. Karakteristika Normalt skelner man for indsamlingsmetoder mellem papirbaserede (eng: paper-and-pencil) og elektroniske spørgeskemaer. De papirbaserede har i mange år været dominerende, men de elektroniske, web-baserede har været på kraftig fremmarch. De udgjorde i 1999 ca. 15% af alle udførte spørgeskemaundersøgelser et tal, der i 2004 var vokset til 70% og i dag må formodes at ligge endnu højere. (Ozok [26], s1168) For alle typer gælder dog, at spørgeskemaet og dets spørgsmål i videst muligt omfang skal opfylde nogle helt generelle betingelser, her hentet fra Stone [34]: 35

41 4 Brugerevaluering af NemID 4.1 Testmetoder til slutbrugerevaluering Passende: De stillede spørgsmål skal være i stand til at give svar på de spørgsmål, der ønskes undersøgt. Heri ligger også, at unødvendige spørgsmål skal undgås, så længden og dermed gennemførselstiden for spørgeskemaet kan minimeres. Forståelige: Spørgsmålene skal sikkert kunne forstås af den målgruppe, man udsender spørgeskemaet til. Det giver for eksempel kun et lille udbytte at bruge tunge tekniske termer i en undersøgelse, som den brede befolkning skal deltage i. På den anden side er der fare for at falde i den anden grøft og ubevidst komme til at tale ned til respondenternes forståelse eller intelligens ved at overforklare eller udpensle spørgsmål eller bruge unødigt store mængder tekst til indledninger og lignende. Entydige: Spørgsmålene og de tilhørende svar skal udformes således, at de for det første har samme betydning for spørger og adspurgte, og for det andet ikke på nogen måde kan misforstås. Et spørgsmål som I hvilken del af landet bor du? er upræcist formuleret og kan give anledning til massive udsving i svarene (Nordsjælland, Thisted, Region Syddanmark,...), selvom spørgeren måske havde forestillet sig, at respondenterne automatisk ville svare, hvilken region de bor i. Her vil man typisk give respondenten relevante svarmuligheder for at undgå tvetydighed. Uforudindtagede: Ingen af spørgerens (eller nogen andres) holdninger må komme til udtryk i spørgsmålene. Spørgeren må altså ikke tilskynde til én type svar frem for andre. Omnikompetente: Spørgsmålene skal kunne dække alle tænkelige svarmuligheder. Brugeren skal altså i alle tilfælde kunne placere sit svar inden for en i spørgsmålet given mulighed. Føler brugeren sig stadig i tvivl ved at placere sit svar, kan man tilføje muligheden Andet eller Ved ikke, men dette vil særligt i sidstnævnte tilfælde ikke være af stor værdi for spørgeren. Efter Stones mening bør denne tvivlsfaktor dog ikke ignoreres. Korrekt kodede: Et eksempel på en klassisk fejl her er spørgsmålet Hvor gammel er du? med svarmulighederne f.eks. Under 20 år, år og Over 30 år. Hvis man er 20 eller 30 år gammel, hvilket svar bør man så give? Som hoveregel skal svarmulighederne derfor være udtømmende og uforenelige, med tydelige skel. Præ-testede: Ethvert spørgeskema bør og skal testes på gerne flere testpersoner, inden det sendes ud. Dette er i særlig grad gældende, hvis spørgeskemaet skal udsendes til mange hundrede eller enddog tusinde respondenter. Her kan en lille fejl potentielt ekspandere til frustrationer eller tvivl hos et stort antal brugere, hvilket igen kan føre til fejl i resultaterne eller en højere frafaldsprocent (respondenter, som har startet men ikke gennemført undersøgelsen). Etiske: Undersøgelsen skal kunne redegøre for dens berettigelse, tidsforbrug, dens videnskabelige belæg og metode samt dens anvendelse af de opsamlede data. God skik dikterer desuden, at potentielle respondenter på forhånd informeres om disse faktorer, samt hvordan deres anonymitet og svar sikres og behandles. Svartyper og redskaber Værktøjskassen, som anvendes til at opbygge og strukturere spørgeskemaer har udviklet sig gevaldigt, efter elektroniske spørgeskemaer kom på banen. Det har dog generelt ikke ændret voldsomt på de typer af spørgsmål, der stadig primært 36

42 4 Brugerevaluering af NemID 4.1 Testmetoder til slutbrugerevaluering anvendes. Hovedindholdet i et spørgeskema er selvfølgelig spørgemålene, og disse findes i et væld af udgaver, alt efter det ønskede svar. Vi gengiver her nogle af dem, vi senere selv kommer til at anvende, og præsenterer dem i form af deres svarmuligheder. De fleste svartyper kan principielt suppleres med en Ved ikke -mulighed. Tekstfelter, hvor respondenten i princippet kan skrive hvad som helst, f.eks. navn eller beskæftigelse. Der er som udgangspunkt frit slag i forhold til, hvad feltet kan indeholde, men spørgsmålet kan også være specifikt (f.eks. alder eller antal hjemmeboende børn), hvor brugeren så forventes at indtaste et tal. En sådant typekrav kan ofte håndhæves i elektroniske spørgeskemaer. Tekstfelter findes også i længere udgaver, hvor brugeren f.eks. kan skrive kommentarer eller brainstorme på et bestemt emne. Ja/nej-spørgsmål, hvor de to oplagte muligheder eventuelt kan suppleres med et Ved ikke. Heri ligger det implicit, at brugeren kun vælger én af de viste svarmuligheder. I modsætning til papirbaserede spørgeskemaer kan dette håndhæves i elektroniske, hvor man ofte vil anvende radiobuttons til formålet. I det helt simple tilfælde kan en afmærket checkboks markere et (aktivt) ja-svar, hvorimod en uafmærket vil symbolisere et (potentielt passivt) nej-svar. Ja/nej-spørgsmålet er en forsimplet udgave af et mere generelt multiple-choice spørgsmål, hvor respondenten skal vælge én blandt flere muligheder. Multipel multiple-choice er den variant af ovenstående, hvor brugeren kan vælge én eller flere muligheder. I den elektroniske udgave vil man hertil anvende checkbokse, ligesom det ofte vil være nødvendigt med en Andet -kategori, evt. med mulighed for at skrive i et tekstfelt, for at sikre dækning af alle svarmuligheder. Skalaer anvendes ofte til at tilkendegive graden af enighed i det stillede udsagn. Til skalaen kan anvendes tal, gradbøjninger af enighed, omfang eller lignende, eller simpelthen en linie, hvor respondenten bliver bedt om at sætte et kryds et sted mellem to navngivne poler. Sidstnævnte kan være svær og tidskrævende at afkode i papirbaserede spørgeskemaer. I den elektroniske udgave anvendes ofte radiobuttons eller sliders. Skalaernes udformning er et meget omdiskuteret emne, men som tommelfingerregel skal der være et neutralt midtpunkt, hvilket i de fleste tilfælde vil betyde, at skalaen har et ulige antal svarmuligheder (oftest 5 eller 7). Grunden hertil er primært, at respondenter, som f.eks. hverken er enige eller uenige i det pågældende udsagn, skal have en relevant svarmulighed. Et eksempel, hvor dette ikke bliver fulgt, kan ses i Figur 6 herunder. Tullis og Albert [35] lægger skalaerne i kategorien intervaldata, hvis der er et meningsfyldt midtpunkt mellem to svarmuligheder på skalaen, og de forskellige svarmuligheder kan siges at have nogenlunde samme afstand. En skala, hvor der ikke nødvendigvis er samme afstand mellem svarmuligheder karakteriseres som ordinale data. For ordinale data kan der beregnes frekvenser, mens det kun for intervaldata giver mening at beregne gennemsnit, hvis svarmulighederne hver tildeles et tal indenfor et bestemt interval. Forskellige skalaer (som kan fortolkes som ordinale data eller intervaldata, alt efter forgodtbefindende) kan ses i Tabel 58.3 i Ozok [26]. Matrix-spørgsmål er en samling af spørgsmål med samme svarmuligheder, f.eks. skalaer. Denne type er meget kompakt, men kan spare en del plads og kan være 37

43 4 Brugerevaluering af NemID 4.1 Testmetoder til slutbrugerevaluering nemmere at overskue, hvis der er mange spørgsmål med samme svarmulighed lige efter hinanden. Herudover er der i de elektroniske spørgeskemaer endnu større mulighed for at inddrage multimedier (billeder, lyd og video). Figur 6: Eksempel på spørgsmål med manglende neutralt midtpunkt. Desuden er der flere klik end højst nødvendigt i nederste del brugeren kan blot præsenteres for et tekstfelt, som han eller hun kan vælge at skrive kommentarer i eller ej. Spørgsmålene er fra brancheforeningen FTFs Ungdomsundersøgelse Der findes et hav af programmer og hjælpemidler til at konstruere og designe både papirbaserede og elektroniske spørgeskemaer, ligesom der også er et stort udvalg af statistiske programmer og visualiseringsværktøjer, der kan hjælpe med efterbearbejdning og præsentation af data. Et stort antal firmaer tilbyder også at designe og gennemføre sådanne undersøgelser for privatpersoner, foreninger eller virksomheder. Som udgangspunkt er man dog som spørger nødt til enten at lægge en væsentlig sum penge på bordet eller gøre et stort stykke arbejde selv, hvis man ønsker at udvise høj professionalitet. Med hensyn til udvælgelsen af spørgsmål findes inden for HCI flere præfabrikerede løsninger til måling af forskellige faktorer. Heriblandt kan nævnes forskellige modeller til måling af brugertilfredshed med forskellige produkttyper. Tullis og Stetson [37] sammenligner en håndfuld forskellige, heriblandt SUS-skalaen (System Usability Scale, Brooke [2]), som er en samling af 10 skalaspørgsmål, der kan omsættes til en score mellem 0 og 100. Scoren angiver, hvor god usability det bedømte produkt har, med 100 som bedste score. SUS-spørgsmålene spørger modsat de andre studerede metoder kun til brugerens overordnede reaktion på produktet, og har desuden det laveste antal spørgsmål. Den anvendte femtrinsskala går fra Meget uenig til Meget enig, og SUS har i undersøgelsen vist sig at være mest pålidelig med hensyn til resultater opnået med et forskelligt antal respondenter. Halvdelen af spørgsmålene er positivt ladede, halvdelen er negativt ladede, og disse spørgsmål kommer skiftevis og giver en svarværdi mellem 1 og 5. Scoren 38

44 4 Brugerevaluering af NemID 4.1 Testmetoder til slutbrugerevaluering beregnes på følgende måde: SUS = 2.5 n ulige(svar n 1) + n lige (5 svar n ) Tullis og Stetson [37] konkluderer dog, at man har brug for mindst respondenter for overhovedet at kunne komme med pålidelige resultater. Vi skal senere anvende SUSskalaen i et af spørgeskemaerne. Rekruttering af respondenter Med hensyn til at udvælge de rette personer til at svare på ens spørgeskema gælder selvfølgelig de samme principper og procedurer som for THT. Selve måden, rekrutteringen foregår på, kan dog være væsentlig anderledes. For papirbaserede spørgeskemaer skal respondenten have skemaet i hånden, udfylde det med blyant eller kuglepen, og på en eller anden måde returnere det til spørgeren (f.eks. via en frankeret svarkuvert eller aflevering i postkasse på arbejdspladsen). Spørgeskemaerne kan enten uddeles af spørger, ligge tilgængelige i mapper eller på borde eller distribueres med intern eller almindelig post. For elektroniske spørgeskemaer er der flere muligheder. Skemaet kan fremsendes per mail som f.eks. et Word-dokument, der skal udfyldes og returneres per mail igen. Der kan også fremsendes et link til et web-baseret spørgeskema, som brugeren kan udfylde på en hjemmeside indrettet til formålet. Dette link kan også lægges på hjemmesider, blandt andet på chatfora og lignende, samt udsendes med medlemsblade eller nyhedsbreve for at sikre større udbredelse, ligesom mange analyseinstitutter har opbygget omfattende databaser med internetbrugere, der aktivt har tilmeldt sig som potentielle respondenter. Adgang hertil er dog ofte en bekostelig affære. En anden fordel ved elektroniske skemaer er, at der indledningsvist kan screenes for, om respondenten er i den ønskede målgruppe eller ej. Hvis ikke kan undersøgelsen afbrydes på stedet, uden større gene for respondenten. Det nødvendige antal respondenter vil variere meget, alt efter med hvor stor sikkerhed man ønsker at konkludere noget på baggrund af resultaterne, samt hvor stor en del af den samlede population man ser på. Laves der komparativ statistik på resultaterne, ved f.eks. en adskillelse på køn eller alder, skal man derfor sikre sig, at de opdelte grupper ikke bliver for små. Fordele og ulemper Fordelene ved de elektroniske spørgeskemaer er oplagte: de koster ikke noget at masseproducere og udsende, store mængder data fra tusindvis af respondenter kan indsamles, bearbejdes og visualiseres nogenlunde med det samme, og de anvender elementer, som er kendt af alle, der har bare en anelse erfaring med internettet. Som nævnt ovenfor har den elektroniske udgave af et spørgeskema visse fordele fremfor den papirbaserede i forhold til svartyper. En væsentlig generel fordel er dog også, at elektroniske spørgeskemaer kan håndhæve og gøre respondenten opmærksom på, hvis der ikke er svaret på et obligatorisk spørgsmål og endda henlede opmærksomheden på det pågældende spørgsmål, f.eks. ved at farve spørgsmålet rødt. Den umiddelbart største ulempe ved elektroniske spørgeskemaer er distributionen. I disse tider med stort fokus på spam-mails, virus og lignende kan det være svært for spørgere at få hul igennem til et stort nok antal respondenter. Det kan ligeledes være svært rent praktisk at skaffe adresser på større befolkningsgrupper, med mindre man får et link med i en betroet 39

45 4 Brugerevaluering af NemID 4.1 Testmetoder til slutbrugerevaluering kilde, f.eks. et nyhedsbrev. Desuden er det selvfølgelig nærmest umuligt at få besvarelser fra folk, som ikke anvender internettet. For de papirbaserede spørgeskemaer er fordelen, at de er særdeles velkendte. Enhver formular eller ansøgning, der skal udfyldes, vil indeholde væsentlige elementer fra spørgeskemaer, og de fleste mennesker vil nikke genkendende, omend til tider også opgivende, til sådanne opgaver. Den store ulempe ved de papirbaserede er dog klart omkostningerne ved at producere, distribuere og indsamle skemaerne. Noget som de elektroniske ikke i samme grad lider under. Generelt kan det også ske, at respondenter ikke tager undersøgelsen seriøst, hvilket kan være meget svært at opdage, ligesom en præ-test ikke kan garantere at fange alle uklarheder og afvigelser fra de ovenstående retningslinier. Er karakteristika om hver respondent ikke gode nok, vil der også være mulighed for, at forskelle på baggrund af disse overses, ligesom det selvfølgelig ikke kan tjekkes, om respondenter svarer ærligt og korrekt på spørgsmålene. Af fordele kan derimod generelt nævnes, at spørgeskemaer tillader hurtig indsamling af store mængder data fra en bred gruppe af mennesker på en forholdsvis ligetil måde, der ligeledes kan sikre anonymitet af respondenten. I opbygningen af skemaerne kan man som ovenfor nævnt bygge på veludviklet teori og standardisering af data (Robson [30], s233f). En sidste fordel er, at man mindsker eller helt undgår social desirability bias, altså at respondenter føler sig forpligtet til at svare mere positivt, når der sidder en testleder og observerer eller spørger. På grund af fraværet af en sådan i et spørgeskema, der udfyldes selvstændigt af respondenten, minimeres dette fænomen (Tullis og Albert [35], s126f). Baggrund for metodevalg til undersøgelse Elektroniske spørgeskemaer er som ovenfor nævnt medtaget som den primære metode til at indsamle kvantitative data om brugeres opfattelse og anvendelse af NemID på grund af deres simplere distribution, mindre social desirability bias og efterfølgende lettere databehandling. De belaster desuden respondenter væsentligt mindre, end hvis man eksempelvis skulle indsamle data fra THT er. Selvom skemaer kan tage meget lang tid at udfærdige, er de øjeblikkeligt skalerbare til selv et meget stort antal respondenter. Det er også langt mere bekvemt for respondenten at kunne besvare spørgsmålene hvor som helst og når som helst, ligesom vi også vil anvende metoden af to omgange. Først udsendes et større skema, som tager sig af brugerdata, aktiveringsproces og generelle holdninger og problemer. Dernæst udsendes på et senere tidspunkt et opfølgende kortere skema til interesserede respondenter, som aktivt har sagt ja til at deltage. Dette opfølgende skema har til hensigt at måle den mere langsigtede tilfredshedsgrad med produktet for at se, om der sker ændringer i den samme respondentgruppe. Dette giver gode muligheder for sammenligning af tidsmæssigt adskilte data baseret på de samme spørgsmål. Som en sidste detalje vil vi også anvende et papirspørgeskema i slutningen af hver THT til at indsamle demografiske oplysninger om testpersonen samt få svar på nogle af de samme spørgsmål, som bliver stillet i den elektroniske udgave. Vi vil også i dette spørgeskema lade testpersonen bedømme produktet ud fra en let modificeret SUS-skala. Mere herom i næste afsnit. 40

46 4 Brugerevaluering af NemID 4.2 Planlægning af tænke-højt test 4.2 Planlægning af tænke-højt test Vi har i det foregående afsnit præsenteret de testmetoder, som vi ønsker at benytte i de undersøgelser, som skal ligge til grund for resten af projektet. Vi skal i dette afsnit tilpasse metoderne til den aktuelle kontekst samt opbygge det konkrete testmateriale, der skal anvendes til de forskellige typer af undersøgelser. Undervejs argumenterer vi for de mange valg, der er truffet undervejs i opbygningsprocessen Definition af testopgaver og succeskriterier I dette afsnit vil vi definere de opgaver, der skal stilles til testpersonerne i tænke-højt testen. Indledningsvist husker vi på, at den første opgave skal være let for testpersonen at løse. Det har været vigtigt at konstruere opgaverne således, at færrest mulige personfølsomme oplysninger kommer frem under forløbet af opgaveløsningen. Dette hensyn er selvfølgelig valgt udelukkende af hensyn til brugeren det gør det mere trygt for testpersonen at indleve sig i testen, ligesom det er med til at styrke undersøgelsens professionalitet og validitet og gøre det ufarligt for brugeren at deltage. I tilfældet NemID kan det dog ikke fuldstændig undgås, at visse mere eller mindre personfølsomme oplysninger kommer til syne under opgaveløsningen nøglekortet i sig selv er et eksempel på dette. I opgaverne kan der dog tages hensyn til dette ved i videst mulig omfang at holde sig fra bestemt typer af data, f.eks. oplysninger om konti og andet på netbanken, ligesom de fleste myndigheders selvbetjeningssystemer kan bruges til så komplekse ting, at brugeren først ledes ind på en (i forhold til personfølsomme oplysninger) forholdsvis harmløs forside efter at være logget ind. Det er desuden en væsentlig pointe, at vi ikke ønsker at teste brugervenligheden af de pågældende sider, men af NemID som autentifikationssystem. Opgaverne skal derfor ikke beskæftige sig indgående med navigation og lignende på de besøgte sider, ligesom der skal ydes tilstrækkelig hjælp i opgaveformuleringen til, at dette ikke bliver et problem. Som nævnt i indledningen, har vi i dette projekt ikke mulighed for at se på samtlige aspekter af NemID. Vi vælger at fokusere på grundydelserne i systemet og ser bort fra de mere specielle og avancerede muligheder som medarbejdersignaturer, krypteret , etc. De generelle koncepter ved NemID, som ønskes testet, er følgende: Aktiveringsprocessen: Mange medier har skrevet om, hvor besværligt det er overhovedet at komme i gang med NemID, og efter egne oplevede problemer med netop aktiveringsprocessen virker det naturligt at give denne et forholdsvist stort fokus i opgaverne. På denne måde sikrer vi også, at vi har at gøre med brugere, der aldrig har anvendt systemet. Single-signon / single-signoff: Dette koncept er blevet slået op som en af de helt store fordele ved NemID, selvom det i sig selv blot giver adgang til, at en mere overordnet tjeneste kan holde styr på logins til forskellige tjenester på én gang. Det er dog stadig interessant at undersøge, hvordan brugerne oplever og forstår disse to features, hvorvidt de er i stand til at anvende dem og føler sig trygge ved dem. Single-signon vil desuden efter vores mening uvægerligt blive koblet sammen med NemID. NemIDs selvbetjening: Denne er medtaget primært for at observere, om brugeren er i stand til at lokalisere og anvende muligheden for at personliggøre sit 41

47 4 Brugerevaluering af NemID 4.2 Planlægning af tænke-højt test Navn Beskrivelse Tid Succes 1. Gennemlæsning af velkomstbrev 2. Aktivering af NemID Brugeren gennemlæser velkomstbrevet, som han eller hun normalt ville gøre det med breve af denne type. Brugeren aktiverer først sit NemID og anvender det derefter til at logge ind på TastSelv på SKATs hjemmeside. 3. Single-signon Brugeren opretholder login på SKAT og logger i en ny fane ind på sundhed.dk for at finde sin læges adresse. Der kræves her ikke nyt logon. 4. Single-signoff Brugeren logger ud fra SKAT og skal herefter tilbage på Min personlige forside på sundhed.dk for at tilpasse den til egne behov. Her kræves nyt logon. 5. NemID.nu selvbetjening Brugeren bliver bedt om at bestille et ekstra nøglekort til en længere ferierejse (der gives ikke information om hvor og hvordan dette gøres). 2-5 Velkomstbrevet er læst igennem Brugeren kan aktivere sit NemID anvende det til at logge ind på SKAT. 2-3 Brugeren kan finde sin læges adresse uden af logge ind på sundhed.dk med sit NemID. 2-5 Brugeren kan foretage nyt logon på sundhed.dk Brugeren kan logge ind på NemID.nu s selvbetjening og lokalisere bestilling af ekstra nøglekort. Tabel 2: Testopgaver udarbejdet til tænke-højt tests. Tid (i minutter) er forventet, og succes er simpelt defineret som at være i stand til at gennemføre opgaven. NemID ved at foretage ændringer som at ændre adgangskode, spærre eller bestille ekstra nøglekort og lignende. Learnability: Det må forventes at tage forholdsvist længere tid, første gang testpersonerne skal bruge deres NemID. Vi ønsker derfor indirekte at måle learnability og retention over time ved at indlejre flere logins med systemet i løbet af testforløbet. Generel tilfredshed med systemet: Dette vil naturligt være en del af forløbet i enhver THT, men for NemIDs vedkommende har der på forhånd været en overvejende negativ indstilling til systemet, i hvert fald hvis man ser på mediernes og internettets dækning og kommentarer. Vi ønsker med andre ord at afdække brugerens subjective satisfaction med systemet. Til at dække ovenstående områder er der udformet fem opgaver til testpersonerne i THT en, som kan ses i Tabel 2. De kan ses i deres fulde længde i testplanen i Bilag A og i de til testpersonerne udleverede opgaver i Bilag D. Opgave 1 og 2 dækker aktiveringsprocessen, opgave 3 og 4 dækker single-signon / 42

48 4 Brugerevaluering af NemID 4.2 Planlægning af tænke-højt test single-signoff, og opgave 5 dækker NemIDs selvbetjening. Learnability og retention over time er indkorporeret i opgave 4 og 5, og den generelle tilfredshed (satisfaction) dækkes løbende i forløbet gennem testpersonens kommentarer og ytringer, de indlagte CUTsessions samt den efterfølgende debriefing og spørgeskema. Opgaverne er formuleret med så lille som mulig brug af tekniske termer og med tilstrækkelig hjælp til, at delopgaver uden tilknytning til NemID kan løses problemfrit. Eftersom der måles tider og registreres problemer undervejs i forløbet, vil disse opgaver eksplicit teste efficiency og effectiveness af systemet. Hjemmesiderne tastselv.skat.dk og sundhed.dk er valgt, da indgangene hertil er forholdsvis direkte og uproblematiske, ligesom det er muligt at foretage simple handlinger, uden at større mængder personfølsomme oplysninger vises på skærmen. De er ligeledes begge med i det offentlige login-fællesskab, NemLog-in, hvilket muliggør single-signon. Succeskriterierne er simple (kan testpersonen gennemføre opgaverne uden at anvende ekstern hjælp, f.eks. i form af DanIDs telefonsupport), og de er kombineret med forventede gennemførselstider på opgaverne. Disse må grundet THT ens natur forventes at være en smule længere end for et virkeligt scenarie uden krav om at tænke højt. Testpersonerne er, inden opgaverne påbegyndtes, blevet bedt om at tilkendegive fuldførelse af den enkelte opgave ved at give opgaveteksten tilbage til testlederen. Herved kan aktuelle gennemførselstider lettere måles i den efterfølgende databehandling. Testpersonerne er forud for testen blevet informeret om, at de undervejs vil få aktiveret og anvendt deres NemID. I løbet af opgave 2 vil de, afhængigt af hvordan de har modtaget deres NemID, desuden blive bedt om at tage stilling til, hvorvidt de vil have tilknyttet et OCES-certifikat til deres NemID, så dette kan anvendes hos offentlige myndigheder i tillæg til deres netbank. Testleder har gjort opmærksom på, at af hensyn til de videre opgaver er det nødvendigt at give dette samtykke. Forinden er testpersonerne dog blevet informeret om, at denne beslutning er reversibel, og testlederen kan efterfølgende give assistance hermed. I det hele taget er opgaverne udformet således, at der (udover selve aktiveringen) ingen reelle ændringer bliver foretaget, og opgaverne stoppes, så snart de er ét klik fra at udføre den ønskede handling Forløb, lokation, dataindsamling og testplan Der er som støtte til testlederen og som generel dokumentation for forløbet udarbejdet en detaljeret testplan, som kan ses i Bilag A. Testplanen er lavet efter modellen i Rubin og Chisnell [31]. Vi vil her gengive de væsentligste pointer. I forhold til lokation for testen har to placeringer været under overvejelse: Testpersonens eget hjem eller i testfaciliteter på Søndre Campus på KU. Valget faldt modsat DanIDs egne tests ud til den første mulighed, idet vi gerne vil eliminere flest mulige forstyrrelser udefra og lade testpersonen agere i vante og kendte omgivelser. Lige så vigtigt er det, at testpersonen anvender sin egen computer, som vedkommende er fortrolig med. Under forløbet af testen er der en testleder samt en observatør til stede. Testlederens rolle er at guide og om nødvendigt hjælpe testpersonen, styre forløbet med introduktion, opgaver og tid, samt stå for debriefing, CUT-sessions og spørgeskema. Testlederen 43

49 4 Brugerevaluering af NemID 4.3 Planlægning af første spørgeskema er placeret skråt bagved testpersonen under forløbet og tager egne noter efter behov. Observatøren er placeret mere tilbagetrukket i forhold til testpersonen med frit udsyn til skærmen og tager undervejs fyldige og tidsstemplede noter til kommentarer, hændelser på skærmen, opgavers start- og sluttidspunkter og andre relevante observationer. Til notetagning er anvendt et Excel-ark med forprogrammeret makro til at registrere tidspunkt for indtastninger. Testleder og observatør har undervejs i det samlede forløb byttet roller. Udover Excel-arket med observatørens notater samt testlederens egne notater er seancerne blevet lydoptaget med en diktafon. Videooptagelse blevet fravalgt; dels af praktiske årsager, men primært af hensyn til testdeltagernes privatliv og hemmeligholdelse af personfølsomme oplysninger. Det er ligeledes blevet vurderet, at en videooptagelse i dette konkrete tilfælde ikke vil bidrage med større mængder relevant information og desuden vil forhøje efterbearbejdningstiden væsentligt. Som hjælp til testlederen og for at sikre, at samtlige testpersoner gives præcis de samme informationer, er der udarbejdet et manuskript (igen efter modellen i Rubin og Chisnell [31]), som kan ses i Bilag B. Der er desuden efter inspiration fra Rubin og Chisnell [31] og Molich [22] udarbejdet en samtykkeerklæring, som underskrives af testpersonen, inden selve testen påbegyndes. Denne forklarer anvendelsen af de opsamlede data samt garanterer testdeltagerens anonymitet. Samtykkeerklæringen kan ses i Bilag C. Som en del af debriefingen er der som nævnt i afsnit brugt et seperat papirbaseret spørgeskema, der ligeledes agerer som screener og indsamling af demografiske data om testpersonen. På første side af spørgeskemaet findes spørgsmål om alder, køn, oprindelsesland, modersmål, beskæftigelse, om den gamle signatur er anvendt samt en subjektiv vurdering (fra Meget uerfaren til Meget erfaren ) af testpersonens egne IT-færdigheder. Desuden er der seks holdningsspørgsmål (fra Meget uenig til Meget enig ) til, hvorvidt NemID er let at oprette, let at bruge, sikkert, praktisk, sikrere end tidligere løsninger og lettere end tidligere løsninger. Side to består af de 10 SUS-spørgsmål, oversat til dansk og med NemID indsat på de relevante pladser. Spørgeskemaet kan ses i Bilag E. Som beskrevet i afsnit er der efter opgave 3 og 4 indlagt korte CUT-seancer med det formål at fastholde og få uddybet testpersonens forståelse af single-signon og singlesignoff. Her vil testlederen stille nogle få opklarende spørgsmål til den netop overståede opgave, f.eks. Prøv at genfortælle, hvad der skete i denne opgave og Reagerede systemet, som du havde forventet?. Det er vores forventning, at disse seancer vil have indflydelse på testpersonens forventninger til udfaldet af opgave 4, men dette ses som tåleligt i forhold til de informationer, som seancerne kan tilvejebringe. 4.3 Planlægning af første spørgeskema Som supplement til de primært kvalitative data, der indsamles i THT erne udfærdiger vi to spørgeskemaer, som udsendes til den bredest mulige målgruppe. Det første spørgeskema skal tage sig af aktivering og første brug af NemID samt indsamle demografiske oplysninger om respondenterne. Vi spørger også til respondentens holdning til systemet, umiddelbart efter at aktiveringen er gennemført. Disse spørgsmål og andre statistiske opsamlinger gentages i det opfølgende spørgeskema, som vi beskriver nærmere i afsnit 4.4. Den måske største barriere for at anvende spørgeskemaer i dette projekt er, at 44

50 4 Brugerevaluering af NemID 4.3 Planlægning af første spørgeskema der ikke er afsat nogen form for ressourcer til at belønne respondenter for deres deltagelse, eller til at promovere (markedsføre/distrubuere) selve spørgeskemaet. På baggrund af dette er der gjort en del overvejelser omkring form og gennemførsel af undersøgelsen, som vi vil referere her. Der er fra starten truffet beslutning om at anvende web-baserede elektroniske spørgeskemaer af flere årsager. Dels er de gratis og lette at distribuere og indsamle data fra, de kan udfyldes når som helst og hvor som helst af respondenten, og der findes et væld af elektroniske hjælpemidler og værktøjer til at udforme skemaerne. Efter at have afprøvet mange systemer, faldt valget til sidst på Google Docs 18, som er en gratis onlinebaseret kontorpakke, hvis regnearksdel indeholder en del funktionalitet til at håndtere spørgeskemaer. Google Docs blev valgt på grund af, at det er gratis, det indeholder de krævede spørgsmålstyper, det er utrolig let at bruge, det genererer automatisk et link til spørgeskemaet, som kan videresendes i f.eks. en , og det eksporterer automatisk de indsamlede data til Excel til videre forarbejdning. Andre tjenester tager i omegnen af $99 om måneden og kan være umådeligt komplekse at anvende, ligesom nogle tjenester endda kræver delte rettigheder til de indsamlede resultater. Google Docs har ligeledes gode muligheder for tilpasning af design, brug af hjælpetekster og lignende, ligesom der er validering af manglende udfyldte felter og mulighed for betingede hop i skemaet. Desuden er interfacet på dansk, både for respondenten og spørgeren, som skal konstruere skemaet. Selve indholdet af det første spørgeskema består som nævnt tidligere af demografiske og IT-relaterede spørgsmål for at kunne kategorisere respondenten, samt af efterfølgende spørgsmål til aktiveringsprocessen og NemID generelt. Disse spørgsmål besvares bedst samtidig med, at aktiveringen foregår, eksempelvis i en separat fane eller browservindue. Da processen, for hvordan man aktiverer sit NemID, afhænger af, hvordan man har modtaget det, og respondenter ikke skal tvinges til at svare på spørgsmål om trin i processen, de ikke har kunnet nå frem til pga. problemer undervejs, er det besluttet at lave betingede hop mange steder undervejs i skemaet. Vi gengiver i Tabel 3 herunder de konkrete spørgsmål, deres svartype og hvilket koncept eller område, der skal dække. Selve spørgeskemaet, som det er blevet udfyldt af respondenten, kan ses i Bilag K. 19 Vi vil ikke komme ind på begrundelser for hvert eneste spørgsmål, blot nævne at der har ligget mange timer og revisioner til grund for det endelige skema. Der er tilføjet korte forklarende hjælpetekster til langt de fleste spørgsmål. Disse kan ligeledes ses i Bilag K. 18 Se: 19 Spørgeskemaet kan ses og testes på adressen: 45

51 4 Brugerevaluering af NemID 4.3 Planlægning af første spørgeskema Tabel 3: Liste med spørgsmål i indledende spørgeskema. Efter svarmulighederne er angivet deres type og interne kodning. Kriterium er enten demografisk, IT-relateret eller falder normalt inden for de på side 41 opstillede koncepter. Obligatoriske spørgsmål er markeret med fedt nummer. Spørgsmål Svarmuligheder og -type Kriterium Demografiske spørgsmål 1 Alder (tekstfelt) Demografi 2 Køn Mand / Kvinde (multiple-choice) Demografi 3 Oprindelsesland Danmark / Andet (multiple-choice) Demografi 4 Modersmål / førstesprog Dansk / Andet (multiple-choice) Demografi 5 Længste gennemførte uddannelse Folkeskole / Gymnasial uddannelse / Kort videregående uddannelse / Mellemlang videregående uddannelse / Lang videregående uddannelse (multiple-choice, 1-5) Demografi 6 Beskæftigelse (tekstfelt) Demografi 7 Eventuelle funktionsnedsættelser? Ja / nej (multiple-choice, 1/0) Demografi 8 Hvis ja, hvilke? (langt tekstfelt) Demografi 11 Anvendelse af internettet, frekvens 12 Anvendelse af internettet, steder 13- Anvendelse af tjenester 17 (Netbank/ho- mebanking, TastSelv på Anvendt gammel digital signatur? Spørgsmål til brugerens IT-færdigheder 9 IT-færdigheder Meget uerfaren til Meget erfaren (skala, 0-4) 10 Primære operativsystem Windows / Mac OS X / Linux / Andet/Ved ikke (multiple-choice) Dagligt / Ugentligt / Månedligt / Sjældnere / Har aldrig anvendt (multiple-choice, 0-5) Hjemme / Arbejde / Uddannelsessted / Internetcaféer / Biblioteker / Andre steder (multiple-choice) Dagligt / Ugentligt / Månedligt / Sjældnere / Har aldrig anvendt (multiple-choice i matrix, 0-4) Ja / Nej / Ved ikke (multiple-choice, 1/0/2) IT-færdigheder IT-færdigheder IT-færdigheder IT-færdigheder IT-færdigheder Velkomstbrevet 19 Hvordan er NemID modtaget? Automatisk tilsendt / Selv bestilt / Aktivering Selv hentet i bank (multiple-choice, 0/1/2) 20 Læst velkomstbrevet? Ja, helt / Ja, delvist / Nej (multiplechoice, Aktivering 2/1/0) 21 Hvis nej, hvorfor ikke? (langt tekstfelt) Aktivering, subjective satisfaction Fortsættes på næste side... 46

52 4 Brugerevaluering af NemID 4.3 Planlægning af første spørgeskema Fortsat fra forrige side... Spørgsmål Svarmuligheder og -type Kriterium 22- Enighed i udsagn om velkomstbrev (let at forstå, i matrix, 0-4) ction Meget uenig til Meget enig (skalaer Subjective satisfa- 26 interessant, længde tilpas, indhold relevant, giver nok information) 27- Enighed i udsagn om Meget uenig til Meget enig (skalaer Subjective satisfaction 30 nøglekort (overskueligt, i matrix, 0-4) praktisk, god størrelse, tilpas mængde koder) 31 Yderligere kommentarer (langt tekstfelt) Aktivering, subjective satisfaction til velkomstbrev eller nøglekort Aktivering, effectiveness Subjective satisfaction Aktivering (ens for netbank og selv bestilt) 32 Lykkedes at oprette adgangskode Ja / Nej (multiple-choice, 0/1) 33- Enighed i udsagn om oprettelse Meget uenig til Meget enig (skalaer 37 af adgangskode i matrix, 0-4) (let at oprette, regler lette at forstå, forstod opgaven, vinduet overskueligt, behov for mere hjælp) 38 Valgt selvvalgt brugerid? Ja / Nej (multiple-choice, 0/1) Aktivering 39 Hvis nej, hvorfor ikke? (langt tekstfelt) Aktivering, subjective satisfaction 40 Fundet og indtastet korrekt Ja / Nej (multiple-choice, 0/1) Aktivering kode fra nøglekort? 41 Hvis nej, hvorfor ikke? (langt tekstfelt) Aktivering, subjective satisfaction 42- Enighed i udsagn om indtastning Meget uenig til Meget enig (skalaer Subjective satisfa- 45 af nøgle (for- i matrix, 0-4) ction stod opgaven, vinduet var overskueligt, symbolerne gav mening, behov for mere hjælp) 46 Lykkedes at aktivere NemID? 47 Aktiveret gennem hvilken tjeneste? Ja / Nej (multiple-choice, 0/1) Netbank/homebanking / TastSelv på / / / / Andet (multiple-choice) Grunde til problemer (kun hvis sådanne er opstået undervejs) (langt tekstfelt) 48 Hvilke problemer opstod? Aktivering, effectiveness Aktivering Aktivering, effectiveness Fortsættes på næste side... 47

53 4 Brugerevaluering af NemID 4.3 Planlægning af første spørgeskema Fortsat fra forrige side... Spørgsmål Svarmuligheder og -type Kriterium 49 Hvad kunne have hjulpet undervejs for at undgå problemerne? (langt tekstfelt) Ja / Nej (multiple-choice, 0/1) Subjective satisfaction 50 Afholde fra at anvende NemID i fremtiden? NemID generelt og afrunding 51- Meget uenig til Meget enig (skalaer 56 i matrix, 0-4) Enighed i udsagn om NemID generelt (let at oprette, let at bruge, sikkert, praktisk, sikrere end tidligere løsninger, lettere end tidligere løsninger). Aktivering, effectiveness satisfa- Subjective ction 57 Yderligere kommentarer (langt tekstfelt) Aktivering, subjective til NemID generelt satisfaction 58 Deltagelse i lodtrækning adresse eller telefonnummer - (tekstfelt) 59 Opfølgende spørgsmål Jeg må kontaktes (checkbox, 1/0, default nej) - Spørgeskemaet består af i alt 59 spørgmål, hvor langt størstedelen kan besvares med et enkelt klik. Ud af disse 59 spørgsmål er de 47 obligatoriske, og 3 spørgsmål skal kun besvares, hvis der opstår problemer undervejs. Alt efter, hvorvidt aktiveringsprocessen forløber problemfrit, bør dette spørgeskema kunne udfyldes sideløbende med processen på cirka 8-10 minutter. Som det kan ses i Tabel 3 er der gjort stor brug af Likert-skalaer gående fra Meget uenig til Meget enig. Dette er bevidst valgt, da man efterfølgende så vil kunne sætte tal på respondenternes holdninger, ligesom skalaerne kun kræver et enkelt klik at besvare. Som tidligere nævnt vil vi opfatte disse data som intervaldata. Man kunne i stedet have anvendt lange tekstfelter til et spørgsmål som f.eks. Hvad synes du generelt om nøglekortet?, men dette ville have givet ikke-målbare svar og ville have drejet undersøgelsen i en mere kvalitativ retning. I stedet har vi valgt at lade brugeren kommentere i nogle få lange tekstfelter undervejs i undersøgelsen (spørgsmål 21, 31, 39, 41 og 57). Det er ligeledes blevet fravalgt at anvende semantiske differentialer 20, da formuleringen af mange af de ønskede spørgsmål i så fald ville blive mere eller mindre kunstig og bebyrde respondenten unødigt. Mange af spørgsmålene reflekterer de mulige problemområder, som NemID kan tænkes at have, og som medier og fora har udsat for stor kritik: nøglekortet, velkomstbrevet, sikkerheden og aktiveringsprocessen. Nøglekortet og velkomstbrevet behandles særskilt, og aktiveringsprocessen følges detaljeret med spørgsmål undervejs i forløbet. Sikkerheden er mere subjektiv og behandles kun kort i de generelle spørgsmål til NemID. Spørgsmålene er lavet, så de kommer i præcis samme rækkefølge som trinene i aktiveringsprocessen, 20 En semantisk differentiale består normalt i at bede brugeren om at sætte et kryds på en (måske trinløs) skala mellem bipolære adjektiver, f.eks. surt og sødt. 48

54 4 Brugerevaluering af NemID 4.4 Planlægning af opfølgende spørgeskema og respondenten opfordres til at gennemføre undersøgelse sideløbende med aktiveringen for at kunne svare så præcist og korrekt på spørgsmålene som muligt. Angiver respondenten, at der undervejs i processen er gået noget galt, ledes respondenten hen til en fejlside, hvor problemerne kan beskrives og vurderes, hvorefter spørgeskemaet afsluttes som normalt. Her overspringes altså de trin, som brugeren grundet problemerne ikke er i stand til at svare på. Spørgsmålene er særlig væsentlige, idet de går igen i det opfølgende spørgeskema. Hermed har vi mulighed for at monitorere eventuelle ændringer i respondenternes holdning til produktet. Til sidst i spørgeskemaet er indlagt et spørgsmål om, hvorvidt respondenten ønsker at deltage i konkurrencen om en ipod Shuffle. Denne udlodning er medtaget, da dette efter forfatterens egen mening vil kunne motivere flere til at deltage i undersøgelsen. Bosnjak og Tuten [1] konkluderer i deres undersøgelse af forskellige mulige incitamentsmetoder for spørgeskemaundersøgelser følgende: On a practical note, the results do add credence to the popular method of using prize draws as incentives in web surveys. Based on this study, this method is the most sound in terms of generating a strong response rate and high data quality. It is possible, though, that this effect is somehow based on the current culture of surveys. In other words, culture studies emphasize that individuals learn a culture through socialization practices. Because many survey studies are not funded at levels that provide the opportunity for individual monetary incentives for each participant, many studies do rely heavily on prize drawings to encourage response. Therefore, it is possible that individuals have been socialized by this practice to anticipate the use of a prize drawing rather than an individual, guaranteed reward. This, too, could help to heighten the effect of trust or distrust as the case may be. Bosnjak og Tuten [1], s216 Ozok [26] er ligeledes enig i, at der for længere spørgeskemaer bør tilbydes en form for kompensation, hvilket kan medvirke til højere return rates, ligesom en maksimum på 15 minutter foreslås for gennemførsel af et spørgeskema, hvortil der ikke ydes kompensation. Endelig findes her også koblingen til det opfølgende spørgeskema, eftersom respondenter her har mulighed for at give aktivt samtykke til at måtte blive kontaktet per med opfølgende spørgsmål. På denne måde kan vi i det opfølgende spørgeskema holde os inden for den samme population. Spørgeskemaet er testet på en repræsentativ respondent inden udsendelse, hvilket kun gav anledning til små ændringer og omformuleringer. Testpersonen tog cirka 8 minutter om at gennemføre skemaet. Antallet af spørgsmål per side er for overskuelighedens skyld og for at højne fornemmelsen af fremdrift holdt så lavt som muligt. 4.4 Planlægning af opfølgende spørgeskema Som nævnt i forrige afsnit er det efterfølgende spørgeskema målrettet mod de respondenter fra det første, som aktivt har sagt ja tak til at måtte blive kontaktet. Det opfølgende spørgeskema er (ligesom det første) lavet i Google Docs og løbende udsendt som kort- 49

55 4 Brugerevaluering af NemID 4.4 Planlægning af opfølgende spørgeskema link 21 per mail til respondenterne cirka 3-4 uger efter, de har aktiveret deres NemID. Dette er muligt at gøre, da Google Docs automatisk registrerer dato og tid for, hvornår de enkelte respondenter har udfyldt spørgeskemaerne. Dette spørgeskema er meget kort og har primært som formål at spørge til de generelle holdninger til NemID igen (spørgsmål i Tabel 3), men indsamler samtidig også information om eventuelle problemer under den daglige brug af NemID samt antal anvendelser og tid siden aktivering. Spørgsmålene er gengivet i Tabel 4. Igen er der tilføjet forklarende hjælpetekster til alle spørgsmål, og respondentens udgave af spørgeskemaet kan ses i Bilag N 22. Dette spørgeskema tager cirka 2-3 minutter at gennemføre og er Spørgsmål Svarmuligheder og -type Kriterium 1 Uger siden aktivering (tekstfelt) Statistik 2 Antal anvendelser siden aktivering (tekstfelt) Statistik, learnability 3 Tjenester, som NemID er anvendt på Netbank/homebanking, TastSelv på Efficiency (learnability) Andre (multipel multiplechoice) 4 Oplevet problemer siden aktivering? Ja / nej (multiple-choice, Effectiveness 1/0) 5 Hvis ja, hvilke? (langt tekstfelt) Effectiveness 6 NemID er let at bruge Meget uenig til Meget enig (skala i matrix, 0-4) Subjective satisfaction 7 NemID er sikkert Meget uenig til Meget enig (skala i matrix, 0-4) Subjective satisfaction 8 NemID er praktisk Meget uenig til Meget enig (skala i matrix, 0-4) Subjective satisfaction 9 NemID er sikrere end tidligere metoder Meget uenig til Meget enig (skala i matrix, 0-4) Subjective satisfaction 10 NemID er lettere end tidligere metoder Meget uenig til Meget enig (skala i matrix, 0-4) Subjective satisfaction Tabel 4: Liste med spørgsmål i opfølgende spørgeskema. Efter svarmulighederne er angivet deres type og interne kodning. Det testede koncept er enten statistisk eller falder inden for de generelle usability-kriterier. Obligatoriske spørgsmål er markeret med fedt nummer. ligeledes blevet præ-testet inden udsendelse. Prætesten gav ikke anledning til yderligere ændringer. Det mest tidskrævende for respondenten i denne delundersøgelse kan være at 21 Det blev valgt at konvertere det meget lange Google Docs-link til et kortlink for begge spørgeskemaers vedkommende for lettere at kunne sprede undersøgelsen via sociale medier og fora på nettet. Se mere herom i afsnit Eller prøves på adressen: 50

56 4 Brugerevaluering af NemID 4.5 Udvalg og rekruttering af målgrupper finde ud af, hvor mange gange han eller hun har anvendt sit NemID siden aktiveringen. Her er der risiko for, at respondenterne kommer med estimater eller skriver tekst i felterne, der så skal efterbehandles manuelt, hvilket også gør sig gældende for spørgsmålet med antal uger siden aktivering. 4.5 Udvalg og rekruttering af målgrupper I dette afsnit beskriver vi, hvordan målgrupperne for de forskellige undersøgelser er udvalgt og rekrutteret. Da NemID henvender sig til samtlige personer i den danske befolkning over 15 år, burde man rent principielt selvfølgelig teste et repræsentativt udvalg af hele denne målgruppe. Dette er dog inden for rammerne af projektet utopisk, og vi indsnævrer derfor udvalget en smule. For spørgeskemaernes vedkommende er disse konstrueret, så hele populationen har mulighed for at svare. Dette er også at foretrække, da vi ønsker at nå ud til en respondentgruppe, der er så repræsentativ for befolkningen som muligt. Vi er dog på forhånd realistiske og forventer ikke, at dette vil kunne opfyldes fuldt ud med et budget på nul kroner. I de nedenstående afsnit beskriver vi kort målgruppen og rekrutteringen af denne for hver af de tre undersøgelser Tænke-højt test Til tænke-højt ønskes rekrutteret otte testpersoner plus en ekstra til præ-test af forløbet. Det er blevet besluttet at rekruttere personer fra de fire grupper vist i Tabel 5. Det tilstræbes desuden, at mænd og kvinder er ligeligt repræsenteret, samt at aldersfordelingen er så bred som muligt. En særlig målgruppe, som ikke er medtaget i Tabel 5, er de blinde og svagtseende samt personer med funktionsnedsættelser eller handicap. Fra starten havde vi en intention om at inkludere en eller flere af disse i testen, pga. mediernes og diverse organisationers kritik af NemIDs anvendelighed for de pågældende grupper. Det blev dog vurderet, at rekruttering og gennemførsel af en sådan test dels ville afvige markant fra de resterende tests, dels ville forberedelse og research til en sådan test være en meget stor opgave, da det særskilte system udviklet til især blinde mennesker afviger en hel del fra det normale system, ligesom personer med funktionsnedsættelser eller handicap kan kræve særlige faciliteter til rådighed. Mere om de konkret rekrutterede personer i afsnit 5.1. For at rekruttere fra de ovenstående målgrupper er vi gået gennem forskellige kanaler: Eget netværk: Rekrutteringsopslag er lagt ud på Facebook og formidlet gennem forfatterens eget netværk af kolleger, familie og venner. Denne rekrutteringsmetode har leveret hovedparten af testpersonerne. ÆldreSagen: ÆldreSagen har været behjælpelig med kontakt til respondenter i gruppe B. Ungdomsorganisationer: Der er taget kontakt til Dansk Ungdoms Fællesråd (DUF) og videre til Danske Gymnasieelevers Sammenslutning (DGS) med henblik på rekruttering til gruppe A. Begge havde dog ikke umiddelbart mulighed for at skaffe testpersoner, og derfor blev gruppe A rekrutteret gennem eget netværk. Muslimernes Fællesråd: Muslimernes Fællesråd er blevet kontaktet med henblik på rekruttering til gruppe C, men nåede dog ikke at svare på henvendelsen, før 51

57 4 Brugerevaluering af NemID 4.5 Udvalg og rekruttering af målgrupper Gruppe Navn Beskrivelse Antal A B C D Unge Ældre Anden etnisk baggrund Den brede befolkning Unge mellem 15 og 18 år. Denne gruppe har oftest et stort forbrug af og føler sig hjemmevante med digitale tjenester og udstyr og må formodes at klare sig godt i denne test. De er dog ikke nødvendigvis rutinerede netbankkunder eller fortrolige med offentlige IT-systemer eller muligheder med disse. DanID har efter vores oplysninger ikke udført tests med denne målgruppe. Personer over 65 år, som ikke længere er på arbejdsmarkedet. Denne gruppe er medtaget, da bl.a. ÆldreSagen har været ude med kritik af NemID for at være for svært at aktivere og anvende for ældre mennesker. Personer i vilkårlig alder med en anden etnisk baggrund end dansk. Denne gruppe er medtaget for at teste, om begreber, koncepter og processer opfattes anderledes end hos etniske danskere. Med anden etnisk baggrund menes at være født og (måske kun delvist) opvokset i et andet land and Danmark. Personer i alderen år, som fortrinsvist er i arbejde. Denne population udgør den almindelige bruger af systemet, og her vil vi tilstræbe, at der rekrutteres personer med forskellig alder, køn, beskæftigelse eller lignende. Tabel 5: Målgrupper og antal for tænke-højt tests (3) testen var gennemført. Rekruttering til gruppe C foregik derfor ligeledes gennem eget netværk Første spørgeskema Rekrutteringen til det første spørgeskema er som ovenfor tiltænkt at ramme bredest muligt. Indledningsvis blev der taget kontakt til 2-3 mellemstore almene fagforeninger, da disse har et bredt kundegrundlag og sandsynligvis (i modsætning til de helt store og fagspecifikke fagforeninger) vil være mere tilbøjelige til at hjælpe med distribution af spørgeskemaet. Ingen af de kontaktede fagforeninger var dog interesserede i at hjælpe, selvom en enkelt fagforening måtte sige nej, da den for øjeblikket selv var ved at udbrede awareness om NemID til dens kunder. Efter grundigt at have overvejet alternative foreninger, organisationer og virksomheder blev det besluttet at sprede spørgeskemaet udelukkende via internettet. Udbredelsen af sociale medier, chatfora og lignende blandt de fleste befolkningsgrupper gør dette til en potentiel guldgrube med hensyn til rekruttering af respondenter til undersøgelser. Der er ligeledes også fora om næsten alle temaer på internettet, hvilket potentielt mu- 52

58 4 Brugerevaluering af NemID 4.5 Udvalg og rekruttering af målgrupper liggør en mere specifik rekruttering fra bestemte aldersgrupper, faglig baggrund eller politisk/religiøs overbevisning. I Tabel 6 er gengivet de sociale medier og internetfora, hvor der er blevet postet en invitation til at deltage i undersøgelsen, samt deres antal registrerede brugere (og dermed potentielle respondenter). Invitationen indeholdt en kort information om undersøgelsen samt et kortlink til startsiden på forfatterens egen server. Fordele, ulemper og forslag til best practice ved denne fremgangsmåde analyseres nærmere i afsnit Navn Adresse Registrerede brugere Facebook > 2.5 mio. (a) (oprettet åben begivenhed) Jubii Debatforum > Computere og Internet DelDig.dk > Livsstil og relationer > Job & økonomi MorsVerden.dk > Andre debatter > Åbent forum Gul & Gratis > Diverse MobilDebat.dk > Diverse > Fri debat Lav-Det-Selv.dk > Blandet > Over hækken Opslagstavle.com 0 (b) Tabel 6: Tabel over sociale medier og internetfora, som første spørgeskema er blevet spredt på. (a) Kilde: Tallet er fra 29. november 2010 og angiver antallet af registrerede danske Facebook-brugere. (b) Opslagstavle.com er en elektronisk opslagstavle, hvor der kan slås alskens opslag op. Dets registrerede brugere er selve opslåerne, ikke de besøgende Opfølgende spørgeskema Rekrutteringen til det opfølgende spørgeskema er ligetil, da målgruppen består af de respondenter, som i det første spørgeskema har sagt ja tak til at måtte blive kontaktet med opfølgende spørgsmål. Disse respondenter har, cirka 3-4 uger efter de har svaret på det første spørgeskema, fået tilsendt en mail med et kortlink til det opfølgende spørgeskema. Det har desværre ikke været umiddelbart praktisk muligt at sammenholde besvarelser fra de to spørgeskemaer. Dette ville enten kræve uhyggelig meget arbejde fra forfatterens side eller unødigt bøvl for respondenten med en efterfølgende potentiel stigning i drop-off rate. 23 Der er efterfølgende blevet udsendt en med en reminder om at svare på det opfølgende spørgeskema. Opsamling Vi har i dette afsnit set nærmere på tre forskellige metoder til brugerundersøgelser: teænke-højt, cooperative usability testing og spørgeskemaer, som hver på 23 Ratio af respondenter, der hopper fra mellem de to spørgeskemaer. 53

59 4 Brugerevaluering af NemID 4.5 Udvalg og rekruttering af målgrupper deres egen måde kan bidrage til en usability-evaluering af NemID. Vi har undervejs udlagt og beskrevet den metodiske fremgangsmåde samt sat fordele og ulemper overfor hinanden, ligesom vi har set nærmere på de data, som metoderne kunne tænkes eller ønskes at opsamle. Desuden har vi gjort en del ud af målgrupper og rekruttering for de enkelte undersøgelser, som er meget forskellig og kan være en begrænsende faktor for undersøgelsernes succes. 54

60 5 Analyse af evalueringsresultater I dette afsnit bearbejder og analyserer vi de data, der er indsamlet i de forskellige undersøgelser. Vi vil ikke diskutere resultaterne og drage overordnede konklusioner her dette sker i stedet i diskussionen i afsnit 6. For hver undersøgelse beskriver vi først de deltagende respondenter, hvorefter vi bearbejder og analyserer de indsamlede data. 5.1 Tænke-højt test Vi vil først karakterisere de ni testpersoner, hvorefter vi analyserer den forholdsvis store mængde data, der er opsamlet. Undervejs vil vi identificere, klassificere og gruppere de fundne usabilityproblemer. En meget stor del af dette bygger på det store arbejde, som Kasper Hansen har lavet for respondenterne P01-P08 i sit projekt om samme emne. Han har ligeledes fungeret som skiftevis observatør og testleder på de ni udførte THT er og efterfølgende været behjælpelig med bearbejdningen af den omfattende mængde opsamlede data. Se eventuelt hans resultater i Hansen [7]. Der er som ovenfor nævnt blevet udført i alt ni THT er. De otte heraf er blevet udført i testpersonens egne vante omgivelser (seks i hjemmet og to på arbejdspladsen), og en enkelt er blevet udført i et til lejligheden lånt lokale på Datalogisk Institut. Samtlige testpersoner anvendte deres egne computere til testen, og testene blev udført i perioden fra den 4. november til den 2. december Samtlige respondenter underskrev uden problemer samtykkeerklæringen og udtalte efterfølgende, at det havde været spændende at deltage i undersøgelsen. Testpersonernes identitet er forfatteren bekendt, men de er af hensyn til eventuelle personfølsomme oplysninger i teksten benævnt P01-P09. P01 blev oprindeligt rekrutteret til indledningsvist at teste selve forløbet og opgaverne. Denne test gav dog ikke anledning til større ændringer, og resultaterne af testen er derfor medtaget som en ekstra besvarelse i gruppe D Karakteristik af testpersoner I Tabel 7 kan ses karakteristika for de ni testpersoner. Der er rekrutteret to testpersoner til gruppe A, én til gruppe B, to til gruppe C og fire til gruppe D. Fordelingen er ikke helt som ønsket, men der er dog en repræsentation af de fleste aldersgrupper, flere typer etnicitet og modersmål, og selvom kønsfordelingen er skæv til kvindernes fordel, er begge køn stadig repræsenteret. Det havde været godt med en mandlig testperson i gruppe B, men dette var desværre ikke muligt at skaffe i tide. Ligeledes havde det været godt med en testperson i alderen år, samt en bedre alders- og kønsspredning i gruppe C. Overordnet er vi dog under de givne forhold tilfredse med rekrutteringen og fordelingen af testpersoner til denne undersøgelse, da forskelle i både alder, køn, etnicitet og uddannelsesniveau er repræsenteret. Med hensyn til testpersonernes IT-erfaring er denne subjektiv fra deres egen side, og vi er ud fra testens forløb ikke nødvendigvis enige i disse vurderinger fordelingen er sandsynligvis bredere, end Tabel 7 indikerer. Vi vil nu for hver testperson give en kort beskrivelse af personen og det pågældende testforløb. P01, gruppe D Yngre kvinde. Testen blev udført i eget hjem og på egen computer. Havde ikke umid- 55

61 5 Analyse af evalueringsresultater 5.1 Tænke-højt test Alder Køn Modersmål Beskæftigelse DigSig IT-færdigheder P01 40 K Dansk Akkrediteringskonsulent Nej Erfaren P02 48 K Dansk Kontorsekretær Ja Erfaren P03 34 K Dansk Fuldmægtig i bogholderi Ja Neutral P04 31 M Dansk Radiovært Ja Neutral P05 24 K Arabisk Studerende Ja Neutral P06 16 K Dansk Gymnasieelev Nej Neutral P07 24 K Arabisk Studerende Ja Erfaren P08 86 K Dansk Pensionist Ja Neutral P09 16 M Dansk Gymnasieelev Ja Erfaren Tabel 7: Liste med karakteristika for THT-testpersoner. DigSig indikerer, hvorvidt testpersonen har anvendt den gamle digitale signatur. IT-færdigheder går på femtrinsskalaen fra Meget uerfaren til Meget erfaren. delbart nogen særlig holdning hverken for eller imod NemID, men i slutningen af testen nævnte hun, at en indledende skepsis overfor produktet havde vendt sig til at være ok. Opgaverne blev efter lidt teknisk bøvl løst hurtigt og uden større problemer. P02, gruppe D Midaldrende kvinde, der gennemførte testen i arbejdstiden på sin arbejdsplads og ved brug af sin arbejdscomputer. Havde indledningsvist en meget påpasselig indstilling til sikkerhed ved færden online, og egne erfaringer blev detaljeret præsenteret. Til selve NemID var holdningen dog neutral noget som generelt forblev uændret, dog viste der sig en stor usikkerhed omkring single-signon/-signoff konceptet i forbindelse med deling af og adgang til personfølsomme oplysninger. Opgaverne blev løst uden større problemer. P03, gruppe D Yngre kvinde, som gennemførte testen i eget hjem og på egen computer. Opgaverne blev løst særdeles hurtigt, og der kom ikke ytringer hverken for eller imod NemIDs virkemåde eller opbygning. Under forløbet kiggede samleveren med over skulderen og kom nogle gange til at ytre kritik at systemet. Det blev henstillet af testleder at undgå dette, og det vurderes ikke at have haft indflydelse på testpersonens holdning eller opførsel under forsøget. P04, gruppe D Yngre mand, som gennemførte testen i eget hjem og på egen computer. Var på forhånd kritisk indstillet overfor NemID og det offentliges adgang til og opbevaring af personfølsomme oplysninger, hvilket også kom til udtryk i kommentarer og ytringer undervejs i testforløbet. Accepterede modvilligt at tilknytte et offentligt certifikat og fik efterfølgende også hjælp til at fjerne dette tilsagn igen. Løste opgaverne uden større problemer. P05, gruppe C Ung kvinde med anden etnisk baggrund end dansk, som gennemførte testen i et til lejligheden lånt lokale, men dog med egen computer. Testpersonen virkede meget fortrolig med IT og udviste stor villighed til at forsøge sig med opgaverne. Nåede dog ikke længere end til opgave 2, som ikke kunne løses, hvilket bekymrede testpersonen, som troede, at 56

62 5 Analyse af evalueringsresultater 5.1 Tænke-højt test det var hendes fejl. Hun udviste dog stor vilje til at forsøge igen og ville ikke give op, da NemID jo var vigtigt og vejen frem. P06, gruppe A Ung kvinde, som gennemførte testen i eget hjem og på egen computer. Går til daglig i en gymnasial IT-klasse og virker desuden også meget fortrolig med IT, uden dog at kalde sig erfaren bruger. Testpersonen udviste ikke nogen større interesse for NemID, og opgaverne blev løst pånær en task failure på opgave 2, som testleder var nødsaget til at hjælpe testpersonen videre med (efter opkald til DanIDs telefonsupport). P07, gruppe C Yngre kvinde med anden etnisk baggrund end dansk, som gennemførte testen på egen computer i et lånt lokale i en forening, som hun selv var medlem af og udførte IT-relateret arbejde for. Virkede meget fortrolig med IT generelt og udtrykte fra starten bekymring over sikkerheden i NemID. Undervejs i opgave 2 virkede det som om, testpersonen allerede havde aktiveret sit NemID, selvom hun forsikrede os om, at dette ikke var tilfældet. Hvis dette er korrekt, udgør det et særdeles interessant tilfælde i forhold til NemID, og ellers må opgaven siges ikke at kunne bidrage med særlig relevant information. P08, gruppe B Ældre pensioneret kvinde, som udførte testen i eget hjem og på egen computer. Trods personens alder virkede hun umiddelbart fortrolig med brugen af en computer, internettet og sin netbank. NemID blev anset som noget, man bare skulle med på, og der sporedes hverken konkret modstand eller glæde ved processen. Undervejs måtte testleder intervenere en del gange på grund af en smule forvirring fra testpersonens side om det videre forløb, og derfor nåede testperson også kun at gennemføre opgave 1 og 2. Testpersonen var villig til at gennemføre de resterende opgaver på et senere tidspunkt også, men dette vurderede vi ikke at være nødvendigt, ligesom testpersonen efter egen mening nok skulle finde ud af det der NemID. P09, gruppe A Ung mand, som gennemførte testen i eget hjem og med egen computer. Gik i samme IT-klasse som P06 og virkede særdeles hjemmevant inden for IT. Anvendte knap så ofte netbank, men andre online tjenester dog en del. Kunne ikke umiddelbart se det store personlige behov for NemID og oplevede desuden præcis samme task failure i opgave 2 som P06 og måtte derfor assisteres af testleder for at kunne gennemføre resten af opgaverne, som blev løst uden større problemer. Samtlige testpersoner anvendte Microsoft Windows som styresystem (som minimum Windows XP) og gennemførte alle testen ved brug af Internet Explorer som browser. Alle computere havde ligeledes præ-installeret Java. 24 Yderligere forhold omkring testpersonernes IT-faciliteter blev ikke undersøgt nærmere. 24 En faktor, som ellers kunne have været interessant at inkludere i undersøgelsen. I det hele taget må alle de anvendte computere og operativsystemer siges at have opfyldt NemIDs tekniske krav: krav/understoettet software/. 57

63 5 Analyse af evalueringsresultater 5.1 Tænke-højt test Dataanalyse Under forløbet af THT erne blev der opsamlet forskellige typer data: en elektronisk log i Excel med tidsstempler på indføringer, en lydoptagelse af forløbet samt et afsluttende spørgeskema. Vi vil nu kort beskrive, hvordan data fra de forskellige typer er blevet efterbehandlet samt diskutere kvaliteten af de opsamlede data. De elektroniske logs, som er den primære kilde til identifikation af usabilityproblemer i et senere afsnit, er efterfølgende blevet gennemlæst for de værste stavefejl og misforståelser. Der er desuden blevet beregnet task times ud fra tidsstemplerne i loggen, ligesom task failures er blevet skemasat for de forskellige respondenter. Der er efterfølgende lavet deskriptiv statistik på relevante faktorer. De elektroniske logs kan ses i Bilag F, og data og deskriptiv statistik kan ses i Bilag G. Gennemførselstider og task completion rates er gengivet i Tabel 8 herunder. P01 P02 P03 P04 P05 P06 P07 P08 P09 Gns. Opg. 1 løst Ja Ja Ja Ja Ja Ja Ja Ja Ja - Opg. 1 tid Opg. 2 løst Ja Ja Ja Ja Nej Nej Ja Nej Nej - Opg. 2 tid Opg. 3 løst Ja Ja Ja Ja - Ja Ja - Ja - Opg. 3 tid Opg. 4 løst Ja Ja Ja Ja - Ja Ja - Ja - Opg. 4 tid Opg. 5 løst Ja Ja Ja Ja - Ja Ja - Ja - Opg. 5 tid Sum Tabel 8: Task completion rates og task completion times (afrundet til nærmeste kvarte minut) fra THT-forløb. Som det kan ses af Tabel 8 er langt hovedparten af tiden gået med opgave 2, som omhandler den konkrete aktivering og første brug af testpersonens NemID. Der kan ligeledes observeres en stor spredning i tidsforbruget hos testpersonerne, hvor meget dog kan forklares ved fejl undervejs eller manglende forståelse for de anvendte fagtermer og koncepter. Opgave 5 har også vist en større spredning i task completion times primært grundet respondenternes forskelligartede adfærd under fremsøgning af NemIDs selvbetjening, hvor nogle googler med det samme, nogle kigger i velkomstbrevet, nogle kigger på netbanken, etc. Generelt skal det dog også nævnes, at THT i sig selv vil give anledning til højere task completion times end normalt, da selve tænke-højt konceptet for det første pålægger testpersonen et større mental workload, ligesom testleder ikke fuldt ud kan facilitere, at testpersonen går den direkte vej gennem opgaverne uden for meget udenomssnak. Det er dog vores vurdering, at denne udenomssnak udgør en forholdsmæssigt lige stor del hos samtlige testpersoner. Vi kan ligeledes se, at fire ud af de ni respondenter ikke selvstændigt kunne have gennemført aktiveringen (og dermed heller ikke de efterfølgende opgaver) der er med andre ord observeret task failure på opgave 2 i 44% af tilfældene. Grundene hertil vender vi tilbage til i afsnit Samtlige respondenter, som nåede så langt, har med succes 58

64 5 Analyse af evalueringsresultater 5.1 Tænke-højt test gennemført de resterende opgaver. Lydoptagelsen af de enkelte seancer er blevet semi-transskriberet i den forstand, at kun relevante udtalelser og svar på spørgsmål er blevet fuldt transskriberet, med henvisning til tidspunkt og kontekst/opgave. Formålet hermed er at kunne referere til udvalgte citater i analyse- og diskussionsfasen, og disse udtalelser har ligeledes tjent som afklaring i forbindelse med uklarheder i loggen. Lydoptagelsen har generelt været af en sådan kvalitet, at al tale fra samtlige tilstedeværende har kunnet aflyttes fuldt ud. De semitransskriberede seancer kan ses i Bilag H. Det afsluttende spørgeskema er blevet indtastet i Excel, hvorefter der er blevet lavet deskriptiv statistik på udvalgte faktorer. Herudover er SUS-scoren for hver respondent blevet beregnet som anvist i Brooke [2]. Resultaterne af spørgeskemaet kan ses i Bilag G. Udvalgte faktorer fra spørgeskemaet kan ses i Tabel 9 herunder. Middelværdien for SUS-scoren givet af de 9 testpersoner er beregnet til 54.4 (SD=15.25) ud af et maksimum på P01 P02 P03 P04 P05 P06 P07 P08 P09 Gns. Let at oprette Let at bruge Sikkert Praktisk Sikrere end tidligere metoder Lettere end tidligere metoder SUS-score (0-100) Tabel 9: Svar på generelle spørgsmål om NemID samt SUS-score givet af THT-testpersoner. Svarene på de generelle spørgsmål går på en skala fra Meget uenig (1) til Meget enig (5) med Neutral (3) som neutralt punkt Problemidentifikation Vi vil i dette afsnit kort beskrive proceduren for identifikation af usabilityproblemer 25 og -observationer ud fra den førte log for hver testperson. Det skal bemærkes, at identifikationen udelukkende er baseret på loggen de semitransskriberede optagelser af seancerne er af tidsmæssige årsager ikke gennemgået for usabilityproblemer. Her ville muligvis kunne identificeres flere observationer, men de fleste af disse ville efter vores vurdering ikke være nye. Transskriberingerne tjener derfor mest som supplement til loggen samt ytringsbaseret illustration af pointer omkring de i loggen identificerede problemer. Identifikationen for testpersonerne P01-P08 er udført af Kasper Hansen, og P09 er udført af forfatteren selv. For at gøre identifikationen konsistent, er de samme kriterier for udvælgelse benyttet. Disse er følgende (her frit efter Hornbæk og Frøkjær [9], s507): 1. Brugeren udtrykker et mål og kan ikke nå det inden for tre minutter. 2. Brugeren giver eksplicit op. 25 Vi skal på forhånd undskylde, at vi uvægerligt vil komme til at bruge betegnelserne observation og problem i flæng også når der er tale om positive findings. 59

65 5 Analyse af evalueringsresultater 5.1 Tænke-højt test 3. Brugeren udtrykker et mål og er nødt til at afprøve tre eller flere handlinger for at finde en løsning. 4. Brugeren fremkommer med et resultat, der afviger fra den stillede opgaves. 5. Brugeren udtrykker overraskelse. 6. Brugeren udtrykker en negativ holdning eller karakteriserer noget som et problem. 7. Brugeren kommer med et designforslag (til ændring). 8. Der opstår et systemnedbrud. 9. Evaluator generaliserer en gruppe allerede fundne problemer til et nyt problem. Valget af ovenstående identifikationsnøgle medfører, at samtlige potentielle usabilityproblemer kommer i betragtning også dem, som er meget små og måske ubetydelige, men observeres disse hos flere brugere, er der belæg for at bibeholde dem i det senere arbejde med klassifikation og gruppering. Desuden vil vi også identificere positive ytringer fra brugerne som problemer, nærmere defineret som positive findings (se næste afsnit). Disse skal selvfølgelig ikke ses som en negativ opdagelse, men kan være relevante at få med for at afkode brugernes positive erfaringer med systemet. Under udpegningen er der i loggen tilføjet kolonnen Label, som angiver placering og reference til det fundne problem. Samtlige udpegede usabilityproblemer tilføjet en kort beskrivelse kan ses i Bilag I. Logreferencen er desuden efterfulgt af en reference til hvilken kontekst, problemet er identificeret i. Her betyder CUT3 og CUT4 hhv. CUTseancen efter opgave 3 og opgave 4, og DEBR er den afsluttende debriefing. Eksempelvis vil referencen P - P07-L03 (CUT3) henvise til et problem i kategori P (se næste afsnit), opdaget hos P07 som problem nummer 3 i dennes log, i forløbet under CUT-seancen efter opgave 3. Der er direkte ud fra loggen i alt udpeget 288 usability-relaterede observationer. Disse observationer er herefter gennemgået for hver enkelt testperson med henblik på at identificere ens problemer eksempelvis udtryk fra brugeren på forskellige linjer i loggen, der drejer sig om samme grundlæggende problem. Denne gruppering bragte antallet af observationer ned på 187. Der er her ikke taget højde for problemdubletter på tværs af testpersoner, da dette undersøges i et senere afsnit. Bemærk, at vi her ikke gentager processen med identifikation af problemer i P01-P08, da denne allerede er udført i Hansen [7]. En grundig gennemgang af de forskellige logs har dog resulteret i mindre yderligere identificerede problemer hos et par testpersoner Problemklassifikation Det næste skridt i processen efter identifikation af usabilityproblemerne er at klassificere dem, efter hvor alvorlige de er. Igen gør vi her brug af en nøgle, som er gengivet i Tabel 2 i Lindgaard og Chattratichart [18] (udvidet efter Molich [23]). Denne klassifikationsnøgle 60

66 5 Analyse af evalueringsresultater 5.1 Tænke-højt test kan ses i Tabel 10. Nøglen anvendes til klassifikation af samtlige identificerede observationer, uanset type og måden de er fundet på. Klassifikation Navn Beskrivelse C Positiv oplevelse Testpersonen udtrykker tilfredshed med en feature eller et designelement, som det derfor bør overvejes at fastholde. A God idé Et forslag til forbedring af brugeroplevelsen, som er stillet af testpersonen undervejs i forløbet. P Mindre problem Får testbrugeren til at tøve (afbryde opgaveløsningen) i et mindre antal sekunder. Herefter kan opgaveløsningen Q R Alvorligt problem Kritisk problem fortsættes. Denne type problem forårsager en gang imellem situationer, hvor brugeren ikke er i stand til at udføre sin opgave, men kan også blot forsinke brugerens opgaveløsning i 1-5 minutter. Denne type problem forårsager ofte situationer, hvor produktet ikke sætter brugeren i stand til at løse en rimelig opgave, eller hvor brugeren udtrykker kraftig irritation over produktets virkemåde. T Bug Produktet opfører sig på en måde, som klart ikke er i overensstemmelse med den bagvedliggende specifikation. Heri er også inkluderet stavefejl, døde links, scripting-fejl og lignende. For NemIDs vedkommende kender vi ikke den præcise forventede opførsel af systemet, men almindelig sund fornuft vil dog kunne fange de fleste af denne type fejl. N/A Uden for kategori Denne kategori indeholder problemer, der ikke umiddelbart finder indpas i ovenstående kategorier, eller som må karakteriseres som følgevirkninger eller -udtalelser af eller om tidligere oplevede problemer. Tabel 10: Definitioner af problemklassifikationer (frit efter Tabel 2 i Lindgaard og Chattratichart [18]). Klassifikationen N/A er tilføjet. Klassifikationen er udelukkende foretaget på baggrund af, hvordan brugeren har oplevet eller italesat problemet, eller hvordan testleder og/eller observatør har bemærket eventuelle forsinkelser eller fejl under opgaveløsningen. Der er ikke taget hensyn til, hvor stor en arbejdsbyrde det ville kræve at rette problemet, ligesom der heller ikke er indregnet en sandsynlighed for, hvor ofte det pågældende problem vil kunne forventes at optræde (som eksempelvis criticality beskrevet i Rubin og Chisnell [31], s261f). Sådanne faktorer har vi umiddelbart ingen information om, men i problemgrupperingen i afsnit vil vi for hver identificeret gruppe angive, hvor mange problemer der findes af hver kategori i gruppen. Dette giver efter vores mening et mere sigende billede end at konstruere gæt på hyppigheden af problemgruppen. Igen har Kasper Hansen foretaget klassifikation af P01-P08, og forfatteren har selv gjort det samme for P09. Udover brugen af den samme klassifikationsnøgle, er der for at sikre konsistens yderligere foretaget en inter-rater reliability test på de identificerede observationer i P02 og P03 (tilfældigt udvalgt). Vi har her selvstændigt klassificeret de for P02 og P03 i alt 39 identificerede observationer efter nøglen i Tabel 10 og efterfølgende 61

67 5 Analyse af evalueringsresultater 5.1 Tænke-højt test beregnet Cohens vægtede kappa for det resulterende skema, som kan ses i Tabel 11. I diagonalen er her angivet antallet af klassifikationer, som begge ratere er enige om. Tal udenfor diagonalen indikerer uenighed mellem de to ratere. Cohens vægtede kappa (oprindeligt fra Cohen [3]) er en værdi mellem 0 og 1, der angiver, hvor god overensstemmelse der er mellem to ratere: 0.0 er total uenighed, og 1.0 er total enighed. Cohens kappa er beregnet i R ved hjælp af wkappa()-funktionen fra psych-biblioteket. C A P Q R T N/A Sum C A P Q R T N/A Sum Tabel 11: Inter-rater reliability test af P02 og P03. Kasper Hansens klassifikation er i kolonner og forfatterens egen i rækker. Skraverede felter i diagonalen indikerer enighed mellem de to ratere. Vi får κ = (ikke-vægtet: κ = 0.828), hvilket indikerer meget god overensstemmelse mellem de to ratere. 26 Ud fra resultatet af denne stikprøvetest vælger vi ikke at klassificere samtlige observationer én gang til, men kan med ro i sindet genbruge Kaspers, idet der vil være god overensstemmelse mellem P01-P08 og P09. Samtlige observationer er dog selvfølgelig gennemgået for korrektur og fejl af forfatteren. I Tabel 12 er vist de 187 identificerede observationer fordelt på kategorier og testpersoner, og i Tabel 13 er gengivet klassifikationen af de under CUT-seancerne identificerede problemer. P01 P02 P03 P04 P05 P06 P07 P08 P09 Sum C A P Q R T N/A Sum Tabel 12: Fordelingen af usabilityproblemer på klassifikationer og testpersoner. Der kan knyttes en del bemærkninger til Tabel 12 og 13: 26 En teknisk detalje, der bør nævnes, er placeringen af kategorien N/A i skemaet. Cohens vægtede kappa-værdi medtager værdier uden for diagonalen i skemaet, og disse vægtes efter, hvor langt de befinder sig fra diagonalen. Her kan N/A ikke siges at være en værre klassifikation end T (den vil sandsynligvis skulle placeres omkring A eller P), men den er alligevel medtaget i beregningen. En udelukkelse ville sandsynligvis kun forbedre kappa-værdien. 62

68 5 Analyse af evalueringsresultater 5.1 Tænke-højt test C A P Q R T N/A Sum CUT CUT Sum Tabel 13: Fordelingen af usabilityproblemer på klassifikationer og CUT-seancer. Testpersonerne har generelt ikke ytret sig særlig positivt om det testede produkt undervejs i testforløbet (13 positive ytringer). Disse ytringer er ligeledes primært fordelt på de tre første testpersoner. Det kan hertil bemærkes, at der er en forholdsvis god sammenhæng mellem de testpersoner, der har ytret sig positivt, og dem som ingen kritiske problemer (kategori R) har oplevet. Ingen testpersoner er kommet med forslag til forbedringer af systemet (kategori A). Der er fundet ganske få deciderede bugs (seks i kategori T, forbehold for dubletter). Der er identificeret hele 10 kritiske problemer i det færdige og lancerede produkt, ligesom antallet af alvorlige problemer (68) efter vores mening er ganske højt. Q-klassifikationen indeholder en del problemer, der er baseret på testpersonernes utilfredshed med aspekter af systemet noget der dog bestemt ikke bør ses mindre seriøst på. De to CUT-seancer har givet anledning til 33 observationer, hvor 11 er klassificeret som alvorlige. Disse observationer er unikt identificeret i CUT-seancerne. Vi kommer nærmere ind på ovenstående samt flere observationer i diskussionsafsnittet (afsnit 6). I det følgende afsnit vil vi gruppere de fundne usabilityproblemer i mere forklarende grupper Problemgruppering Den sidste fase i analysen af resultaterne af THT erne er problemgrupperingen. De foregående to afsnit har fokuseret på identifikation og klassifikation af problemerne i dette afsnit vil vi inddele dem i overordnede og sub-ordnede grupper for at give et bedre overblik over, hvad problemerne omhandler samt få et bedre overblik på tværs af de enkelte testpersoner. På denne måde undgår vi også problemdubletter. Igen tager vi i stort omfang udgangspunkt i den allerede foretagne gruppering, som vi gennemgår og udvider med problemerne fra P09. Den udførte problemgruppering, eller matching, er baseret på fremgangsmåden i Hornbæk og Frøkjær [9]. Til de identificerede usabilityproblemer er der knyttet en beskrivelse, klassifikation og kontekst for hvert problem. Det er af omfangs- og tidsmæssige årsager fravalgt at give hvert problem en overskrift samt en mulig løsning. Vi er ikke i dette projekt interesseret i at se på mulige forbedringsforslag til produktet vi ønsker her blot at evaluere det. Det er listen med disse problembeskrivelser, der ligger til grund for den følgende gruppering, som er udført med affinitetsdiagrammering 27. Her kan man eksempelvis udskrive listen med problemer, klippe hver enkelt ud og placere dem én for én i 27 Se f.eks. Gerry Gaffneys udgave: 63

69 5 Analyse af evalueringsresultater 5.1 Tænke-højt test bunker efter ensartethed. Denne ensartethed kan, som beskrevet i Hornbæk og Frøkjær [9], defineres på mange forskellige måder. Kasper Hansen har i problemgrupperingen for P01-P08 valgt teknikken similar changes. Denne teknik bygger på at identificere problemer, der ville kræve de samme ændringer i produktet for at imødekomme. Konkret identificeres disse ved at se på identiske kommentarer givet af brugerne og ligeså kommentarer logget af observatøren til fejl eller hændelser, der ikke kommenteres af brugeren: Identical comments: Two problem comments are identical if fixing one of the comments would most likely also fix the other and vice versa. The fix does not have to be in accordance with the solution suggested in either of the comments. If one comment is a generalization of another, they are not identical. Molich og Dumas [24], s267 Similar changes er valgt som metode på grund af dens simple tilgang samt mulighed for at favne alle de fundne usabilityproblemer uden at blive tvunget til at se på løsningsforslag til dem. Practical prioritization, The model of Lavery et al (1997) og User Action Framework er af samme årsager fravalgt. Vi anvender derfor også teknikken til P09. Efter en grundig gennemgang af grupperingerne vil vi revurdere navne og klassifikationer af de fundne grupper, ligesom vi tilføjer problemerne fra P09 til de eksisterende grupper. Denne proces har ikke givet anledning til omordning af eksisterende eller definition af nye grupper. De 18 fundne problemgrupper, som igen er overinddelt i 6 overordnede problemgrupper, kan ses i Tabel 14. Her er ligeledes angivet, hvilken overordnet klassifikation gruppen er tildelt, samt i hvilke kontekster de fundne problemer er opdaget (OPG eller CUT). Grunden, til at der kun er 185 problemer i stedet for de observerede 187, er, at en bestemt bug (kategori T) blev observeret på præcis samme sted og tidspunkt i forløbet af tre forskellige testpersoner disse tre problemer blev derfor slået sammen. Gruppens overordnede klassifikation er baseret på et skøn fra forfatterens side, vurderet efter antallet af problemer i de forskellige kategorier, antal brugere der har observeret problemerne, etc. Ligesom for P01-P08 er der for P09 ikke opstået situationer, hvor et problem kunne indpasses i flere grupper. Som det kan ses i Tabel 14, er 33 af de 185 problemer identificeret under de eksperimentelle CUT-seancer efter opgave 3 og 4. Mange af disse problemer er unikke i den forstand, at de ikke er observeret på andre tidspunkter i forløbet. Selvom langt de fleste af disse 33 problemer selvfølgelig er karakteriseret ved at være holdninger eller ytringer fra brugeren fremfor deciderede fejl eller uhensigtsmæssigheder, giver dette alligevel belæg for overhovedet at anvende CUT-metoden som supplement til den almindelige procedure for THT er. Vi vil nu kort beskrive hver problemkategori, og hvorfor den er blevet tildelt dens tilhørende overordnede klassifikation. Vi vil desuden tilknytte relevante skærmbilleder af den pågældende situation, hvor det er muligt. Aktivering af NemID Tilvalg af OCES-certifikat (R) I denne gruppe er der store problemer for særligt den unge del af testpersonerne (gruppe 64

70 5 Analyse af evalueringsresultater 5.1 Tænke-højt test Problemområde og gruppe Kat. OPG CUT3 CUT4 Deb Sum Aktivering af NemID Tilvalg af OCES-certifikat R Generelt Q-R Valg af bruger-id Q-R Første pålogning Q Valg af adgangskode P Login med NemID Det offentlige log-in-fællesskab Q Indtastning af bruger-id P Indtastning af nøgle fra nøglekort P Bestilling af nøglekort Lokalisering af webside og bestilling Q Konceptet Single-signon med NemID Q-R Samme kode til flere tjenester / Sikkerhed Q Nøglekortet P Information Velkomstbrevet P-N/A Andet Skat.dk Q Netbank Q Sundhed.dk P NemID generelt P-C Proces N/A Sum Tabel 14: Identificerede problemområder med tilhørende klassifikation (kategori) og antal fordelt på opgaver og CUT-seancer. Deb er den afsluttende debriefing. A). Det er for dem umuligt at finde muligheden for at tilknytte et OCES-certifikat til deres NemID et trin som af uransaglige årsager ikke var at finde i aktiveringsprocessen på netbanken. Da de endelig finder muligheden på selvbetjeningen på nemid.nu, forvirrer formuleringerne så meget, at de begge ikke selvstændigt kan gennemføre opgaven. Bortset fra at det gik galt, så gik det egentlig meget godt. Men det gik meget galt med det certifikat der. P06, Opgave 2 Testleder: Det, som man ikke lige ved, er, at du faktisk skulle ind og bestille NemID igen for at få adgang til offentlige tjenester. P09: Eeeej, hvor er det langt ude! [...] Det er virkelig, virkelig smart lavet det her system... Testleder: Det tager jeg som en ironisk bemærkning? P09: Ja, meget sarkastisk. P09, Opgave 2, efter konstateret task failure Testleder: Hvad var det, der var svært i opgave to? P09: Der var ikke noget direkte HER kan du bestille til det offentlige, det var sådan Bestil ID - det var meget kryptisk at få hjælp. Jeg sidder med det i hånden, jeg har det...altså...hvorfor skal jeg bestille det en gang til? Hvis ikke du havde fortalt mig det, det havde jeg aldrig fundet selv. Testleder: Så der havde du også givet op på et eller andet tidspunkt? P09: Ja. P09, debriefing 65

71 5 Analyse af evalueringsresultater 5.1 Tænke-højt test Det er ligeledes heller ikke tydeligt beskrevet, om og hvordan dette tilsagn kan trækkes tilbage igen noget som ligger meget på sinde for én af testpersonerne. Selve skærmbilledet er desuden meget højt og teksttungt, og der skal på mange skærme scrolles for at kunne se begge valgmuligheder samtidig. Det er vurderet som kritisk, at flere testpersoner ikke selvstændigt kan gennemføre tilknytningen af et OCES-certifikat til deres NemID. Ligeledes er der ikke megen hjælp at få til dette område, formuleringerne i hjælpen er misvisende, og der opstår tvivl om konsekvenserne af det valg, man bedes træffe. Derfor opnår gruppen kategoriseringen R. Det har desværre ikke været muligt at skaffe et skærmbillede af situationen. Aktivering af NemID Generelt (Q-R) Denne gruppe indeholder en del forskellige problemer, som dog ved brug af teknikken similar changes stadig kan tilskrives samme overordnede kategorisering. Blandt de alvorlige problemer er for eksempel manglende fejlmeddelelser om, at den midlertidige adgangskode er blevet anvendt for mange gange (kommer først efter adskillige forsøg), samt flere tvivl om den security warning, som dukker op, når DanIDs Java-applet skal godkendes (i et enkelt tilfælde ville testpersonen have krydset (annulleret) godkendelsen og dermed ikke kunnet være kommet videre i forløbet.) Den vil jo godt have, at jeg kører noget Java... så jeg siger Run. Men spørgsmålet er, om jeg overhovedet har lov til det på en arbejdsmaskine? Lad os se, hvad der sker. P02, Opgave 2 Jeg siger jo nok bare Run jo... P03, Opgave 2 Nogle gange læser jeg ikke engang, hvad der står...men det er ikke godt. P05, Opgave 2 Her er jeg ikke klar over, hvad jeg skal. Skal jeg trykke der? Testleder: Har du set sådan en før? P08: Nej. Det har jeg ikke. Men jeg skal derop og trykke, ikke? [krydset øverst til højre i vinduet, red.] P08, Opgave 2 66

72 5 Analyse af evalueringsresultater 5.1 Tænke-højt test Disse security warnings er ikke beskrevet i velkomstbrevet eller den umiddelbart tilgængelige dokumentation. Der er ligeledes problemer for flere brugere med at få startet selve aktiveringsprocessen flere brugere forsøger at logge direkte ind med NemID i stedet. For en enkelt bruger lykkedes dette af uvisse årsager. En anden bruger præsenteres ved login på netbanken slet ikke for aktiveringsprocessen og må selvstændigt opsøge den. Klassifikationen Q-R er givet, da flere brugere oplever kritiske eller alvorlige problemer i denne gruppe, ligesom disse problemer skaber stor forvirring og flere task failures aktiveringen kan ikke gennemføres og opkald til support med efterfølgende re-aktivering er nødvendig. Aktivering af NemID Valg af bruger-id (Q-R) Denne kategori drejer sig primært om følgende skærmbillede fra aktiveringsprocessen: Brugerne er her meget i tvivl om betydningen af det valg, de bliver bedt om at træffe. Nogle brugere ser tekstfeltet som et sted, hvor de kan indtaste den af de ovenstående to muligheder, de vil bruge. Andre tror, at ved at vælge et selvvalgt bruger-id mister de muligheden for at bruge CPR-nummer eller NemID-nummer til login. En bruger ved ikke, hvor man skal finde det pågældende bruger-id henne, og to brugere kan ikke afkode, hvad der ligger i begrebet bruger-id (modsat en formulering som f.eks. brugernavn ). Flere brugere kan ikke se nødvendigheden af at oprette et selvvalgt bruger-id, da f.eks. CPR-nummer stadig vil kunne anvendes. Det giver med andre ord ikke øget sikkerhed men blot endnu en kode at skulle huske på. Desuden er brugernavnet ikke skjult, mens det indtastes. Jeg er tvivl om, om der skal flueben i Selvvalgt bruger-id. Jeg forstår ikke, hvad dialogen gerne vil have mig til. Det ser ud som om, den har mit CPRnummer, den har det her NemID-nummer, som jeg har fra brevet, og hvis jeg klikker Næste, så tror jeg, at så vil den bede om mit nøglekortsnummer. P02, Opgave 2 67

73 5 Analyse af evalueringsresultater 5.1 Tænke-højt test Det var vagt formuleret, om man kunne bruge det ene eller alle tre og fandt så ud af senere, simpelthen ved bare at teste det, at man kunne bruge alle tre typer logon. Og det synes jeg egentlig også er lidt overdrevet eller lidt overkill, at man har tre forskellige bruger-id, når man nu har valgt et selvstændigt bruger-id. Hvorfor skal jeg så have muligheden for at logge ind med mit CPRnummer eller mit NemID-nummer, som står skrevet her, som alle kan gå ind og læse. [...] Altså jeg kan ikke se pointen i at oprette et bruger-id, hvis man kan bruge alle de andre. Det synes jeg, er åndssvagt. P04, debriefing Så jeg satsede på at lave et bruger-id, der var så langt og besværligt, som jeg kunne huske for at logge på, og så var jeg bare lidt overrasket over, at det ikke var krypteret. Fordi jeg blottede det jo fuldstændig overfor Gud og hvermand. Testleder: Altså at det ikke stod med prikker? P04: Ja, præcis. P04, debriefing Skal jeg bruge mit CPR-nummer her? Det står der deroppe. [...] Selvvalgt bruger-id...valgfrit. Der kan jeg bruge mit CPR-nummer, ikke? Jeg kan også bruge det samme som før måske? For at huske det. P08, Opgave 2 Der er altså overordnet store problemer med forståelsen af begreberne og formuleringerne i dialogen i sig selv for et stort antal brugere. Klassifikationen havner derfor på Q-R. Aktivering af NemID Første pålogning (Q) Denne gruppe består af problemer under første brug af Nem- ID efter aktiveringen. To brugere er i tvivl om, hvad der skal stå i feltet Bruger-id, og hjælpeteksten er for en enkelt brugers vedkommende uhensigtsmæssigt placeret under feltet Adgangskode i stedet for under feltet Bruger-id. Der opstår også tvivl om, hvorvidt bindestregerne i NemIDnummeret skal medtages, når dette anvendes som bruger-id. Det er jo lidt forvirrende det her, når der står Log på med NemID-nummer, så tror jeg, at det er her, de vil, og så vil de have mit CPR-nummer eller det nummer der [NemID-nummer, red.]. Så det er som om, at man kan vælge, men alligevel kan man ikke. Det er sådan, jeg føler nu. P05, Opgave 2 Gruppen er udelukkende på baggrund af de enkelte problemers klassifikation tildelt klassifikationen Q. Aktivering af NemID Valg af adgangskode (P) Denne kategori drejer sig primært om følgende skærmbillede fra aktiveringsprocessen: 68

74 5 Analyse af evalueringsresultater 5.1 Tænke-højt test Denne dialog har ikke voldt de store problemer for de fleste brugere. Nogle få er dog en smule forvirrede over, om de bliver bedt om at lave en ny adgangskode eller indtaste en tidligere, f.eks. fra netbanken (hvilket også kan lade sig gøre). En enkelt bruger overser den interaktive hjælp, som afkrydser kravene, så snart de opfyldes, og en anden bruger kommer først igennem efter to forsøg. Dialogen fortæller heller ikke, hvorvidt adgangskoden kan ændres igen efterfølgende. Nu håber jeg det må være den [adgangskode, red.], som jeg brugte før. P01, Opgave 2 Det er vel en form for login-kode til netbanken. Men jeg ved det ikke. Jeg ved ikke, om det er en form for login-password? P02, Opgave 2 Nu skal jeg lave en adgangskode. Kan man ændre den eller hvad? Nej, det kan man så ikke... P03, Opgave 2 Ny adgangskode...er det den, jeg har brugt i netbanken? Testleder: Hvad ville du tro? P08: Jamen det ville jeg tro selv. At jeg kan bruge den, som jeg har brugt til at komme ind i netbanken. P08, Opgave 2 Da de fleste problemer i gruppen er af mindre karakter, og kun en enkelt bruger har haft større problemer, klassificerer vi gruppen til P. Login med NemID Det offentlige login-fællesskab (Q) Denne gruppe drejer sig om det skærmbillede, som brugeren bliver præsenteret for, når vedkommende skal logge ind på en offentlig tjeneste: 69

75 5 Analyse af evalueringsresultater 5.1 Tænke-højt test Bemærk, at der på ovenstående skærmbillede er klikket på NemID-fanebladet. Her er der en enkelt bruger, der fuldstændig overser, at der er to forskellige faneblade og efterfølgende giver op. Andre brugere overser det indledningsvist og leder lidt efter det, inden de indser, at der er tale om en fanebladsstruktur. Flere brugere er ligeledes irriterede over, at det er fanen med digital signatur, der kommer frem som standard, og enkelte brugere opdager heller ikke muligheden for, at systemet selv kan huske den foretrukne loginmetode (checkboksen under NemID-appletten): Jeg tænker, når de nu kører så storstilet, hvor mange bruger digital signatur fremfor NemID, og hvad der så skulle ligge forrest. P01, Opgave 4 To brugere er varsomme overfor denne mulighed, idet det frygtes, at siden så også husker både brugernavn og adgangskode: Dem der, som man klikker af, er jo normalt sådan nogle husk min adgangskode, og den ville jeg jo ikke klikke af. Det ville også være rimelig dårlig sikkerhed, hvis man kunne det. P01, Opgave 4 Flere brugere kan ikke huske at have set siden før, da de kommer tilbage til den for anden gang: Observatør: Opdagede du på noget tidspunkt nogen tegn på, at SKAT og sundhed.dk hang sammen? P06: Ja altså, det var jo samme system til at logge ind med, samme koder og sådan. Det må vel være den eneste sammenhæng sådan lige. Observatør: Var det den samme hjemmeside, du loggede ind på også? P06: Ja, det...nej det var det ikke...[...] Jo, det var vel egentlig den samme, var det ikke...? Jo, det... Det var ikke noget, jeg tænkte meget over - det kunne det meget vel have været. Observatør: Jeg kan afsløre, at det var faktisk den samme. P06: Jeg kunne forestille mig, at det var den der nemid.nu. P06, debriefing 70

76 5 Analyse af evalueringsresultater 5.1 Tænke-højt test Gruppen har grundet flere brugeres oplevelser af forsinkelse og utilfredshed med virkemåden fået klassifikationen Q. Login med NemID Indtastning af bruger-id (P) Denne gruppe består mestendels af undren fra brugernes side over, hvorfor bruger-id et ikke skrives skjult, altså med prikker. Dette ses som en sikkerhedsbrist i systemet, men giver ikke anledning til yderligere forsinkelser eller kommentarer: Jeg er lidt overrasket over, at sådan noget (CPR-nummer, red.) ikke er krypteret. P04, Opgave 4 En enkelt bruger forstår ikke konceptet med et bruger-id. Her havde betegnelsen brugernavn måske afhjulpet problemet. Gruppen er klassificeret til P. Login med NemID Indtastning af nøgle fra nøglekort (P) Denne gruppe indeholder både indtastning af nøgle under aktiveringen samt under den efterfølgende brug af det aktiverede NemID. Vi gengiver her skærmbilledet af dialogen fra aktiveringen: En enkelt bruger kan ikke gennemskue konceptet med at finde den rigtige nøgle på kortet forventer at det er den første nøgle, der skal indtastes første gang og så fremdeles. Opgiver til sidst og ville ringe til support: Hvor skal jeg så starte? Er det ligegyldigt, hvor jeg starter, og hvor jeg ender? Næh...jeg skal starte fra oven af. Og så er der hjælp til nøgler. Skal jeg indtaste den, der står her? Der står ikke de samme tal. P08, Opgave 2 71

77 5 Analyse af evalueringsresultater 5.1 Tænke-højt test Ligeledes er tooltippet (den lille forklarende tekst, som fremkommer, når musen føres over) på Næste-knappen sat til Log på med netbank, hvilket må siges at være særdeles uhensigtsmæssigt under aktiveringsprocessen: Nå, så står der, jeg skal logge på med netbank. Så står der ikke noget om, hvor jeg skal logge på henne. Testleder: Her er du i tvivl? P08: Ja, der er jo ingen steder, jeg kan logge på. P08, Opgave 2 En anden bruger udtrykker undren over, at den indtastede nøgle ikke er skjult med prikker, ligesom han er irriteret over at skulle finde nøglekortet frem hele tiden. Gruppen er klassificeret P, da kun en enkelt bruger har oplevet alvorlige eller kritiske problemer med indtastning af nøgler fra nøglekortet. Bestilling af nøglekort Lokalisering af webside og bestilling (Q) Hjemmesiden nemid.nu, hvor brugeren kan logge ind på selvbetjeningen og blandt andet bestille ekstra nøglekort, ser således ud: Et stort antal brugere har problemer med at finde ud af, på hvilken hjemmeside bestilling af et ekstra nøglekort kan foretages. Nogle Googler med ret forskelligt resultat forskellige udgaver af NemID, nogle prøver danid.dk og endda nemid.dk, 28 før de ad omveje eller ved at finde adressen på nøglekortet finder hen til nemid.nu: 28 Denne adresse har intet med NemID at gøre. Der var på et tidspunkt stor furore i medierne, da det kom frem, at flere brugere havde forsøgt at logge på denne side med deres NemID. Det viser sig, at firmaet Assemble (som driver sitet nemid.dk) også har en løsning ved navn NemID, som blev introduceret i DanID har altså ikke været i stand til at få dette domæne inden lanceringen. 72

78 5 Analyse af evalueringsresultater 5.1 Tænke-højt test Jamen det er NemIDs side. [nemid.info, red.] [...] Men jeg tænker, det er mere en informationsside, end et sted, hvor man kan gøre så meget. Overskrifterne er meget sådan Prøv det her. Virker som om, det er et sted til nogen, som ikke har NemID endnu, men som gerne vil have det. [...] Jeg så et sted, hvor der stod, at man kunne bestille dem, men jeg kan ikke huske hvor. P01, Opgave 5 Mit første gæt er, at jeg skal jo nok på DanIDs hjemmeside så. Uden at vide, om det er rigtigt. [...] Jeg tager et kig på bagsiden af nøglekortet, for jeg tænker, det måske kan stå der. [efter at have besøgt danid.dk, red.] P02, Opgave 5 Men de har simpelthen ikke fået domænet nemid.dk? [...] Det er jo helt til hest, altså...! Så kunne man have fundet på et andet navn i stedet for, altså. P03, debriefing, kommentar fra manden ved siden af Da brugerne endelig finder ind på sitet, overser de fleste det forholdsvis store orange link med smiley en, der findes midt på siden. Mange leder dog efter et sted at logge ind, som åbenbart burde findes et andet sted på siden. Brugerne er dog ret sikre på, at de er havnet det rigtige sted, og de fleste anvender sidens søgefunktionalitet til at finde bestillingen af ekstra nøglekort. Nu er jeg kommet ind på nemid.dk s forside. Og der vil jeg tro, at jeg skulle kunne bestille et nyt nøglekort. Men det kan godt være, jeg ikke kan det! Det kan selvfølgelig også være, man skal gøre det over banken? P03, Opgave 5 En enkelt bruger går dog i gang med at bestille NemID påny, idet dette forveksles med et ekstra nøglekort brugeren stoppes dog af testlederen, inden bestillingen gennemføres grundet uvisse konsekvenser af dette forløb. Flere brugere udtrykker også tvivl om konceptet med automatisk at modtage nye nøglekort: Hvad så, hvis jeg allerede var færdig med alle mine nøglekort? P07, Opgave 5 Grundet den store mængde brugere, der brugte forholdsvis lang tid på at finde den korrekte side, samt at denne side åbenbart ikke giver et godt nok overblik, klassificeres gruppen til Q. Konceptet Single-signon med NemID (Q-R) Denne gruppe indeholder primært problemer identificeret under CUT3, CUT4 og debriefingen og drejer sig om den forventede opførsel af single-signon konceptet samt brugernes holdninger hertil. Her har CUT-seancerne vist sig at være særdeles givtige, og det er også her, at langt de fleste problemer identificeret ved denne metode befinder sig. De fleste brugere havde ikke forventet, at de automatisk var logget på en helt anden side, efter at være logget på SKATs selvbetjening. Ligeledes gav samtlige brugere (som vel at mærke 73

79 5 Analyse af evalueringsresultater 5.1 Tænke-højt test nåede videre end opgave 2) udtryk for usikkerhed ved dette koncept og dets virkemåde. Til denne gruppe er der et meget stort antal relevante citater vi gengiver her nogle af dem og henviser så til Bilag H for resten: Jeg havde klart forventet, at jeg skulle logge mig på igen. Det kan godt være, det også er det offentlige, men det er trods alt et andet sted. P01, CUT3 Den må jo umiddelbart kunne registrere, at jeg ikke har logget mig af. Altså at jeg har ikke har lukket det andet vindue, jeg har åbent. Maskinen har vel et id-nummer, som den kan læse og sige: Hov, den bruger er logget på. Fordi hvor skulle de ellers vide det fra? [...] Jeg synes egentlig, det er et dårligt vindue. Det giver én det indtryk, at man er logget på, når man ikke er logget på. (sundhed.dk, red.) At det er et andet vindue, der er årsagen til, at du kan være logget på. Hvorfor skal man ikke logge på hver sit vindue med hver sin kode? Det har jeg lidt svært ved at forstå. [...] Man bliver sådan lidt i vildrede, når man lige pludselig ikke har adgang til siden, du havde adgang til, fordi jeg har jo ikke logget af fysisk på den side. Jeg forventede, at jeg stadig var logget på sund, efter jeg havde logget af SKAT. P02, CUT3, Opgave 4 og CUT4 Det må jo være fordi at...pas! Noget med...noget med at det er den her computer, jeg sidder på eller et eller andet...? P03, CUT3 Okay...jeg er så åbenbart allerede logget på... Jeg vil gerne proklamere min utilfredshed allerede. [...] Jeg ville hellere have haft en selvstændig løsning til hver hjemmeside. Og det var faktisk også det, jeg troede, det var. Jeg var meget overrasket over, at det blev centralt styret. Jeg var faktisk også lidt overrasket over, at jeg stadig var logget ind, selvom jeg gik væk fra siden. [...] Jeg kunne måske godt have tænkt mig en løsning, hvor man blev logget ud fra siden, når man gik væk fra den. Det går jeg ud fra, at man godt kan lave, hvis man vil. P04, Opgave 3, debriefing Den gjorde det af sig selv. Jeg ved ikke, hvordan den gjorde det, men det gjorde den. Jeg trykkede bare på Log på, så pludselig var jeg logget på. Det må vel være noget med, at jeg var logget ind et andet sted, så kunne den ligesom have ramt at det var samme bruger, der var logget på. Noget i den retning, kunne jeg forestille mig. [...] Testleder: Hvordan med netbank, ville du være logget på den også? P06: Det kunne jeg forestille mig, ja. Det ville virke naturligt. [...] Observatør: Så du ville tro, at NemID-selvbetjeningen også var med i det der, at når du loggede ind på den, så havde du også adgang til de andre? P06: Det ville da virke logisk. P06, Opgave 3, debriefing Jeg har oplevet, at min sikkerhed er meget i fare, kan jeg se. Fordi når jeg logger på ét sted, så er jeg automatisk logget på et andet sted. Og det synes jeg ikke om. Nummer et. Nummer to, det her betyder, fordi jeg har ikke brugt 74

80 5 Analyse af evalueringsresultater 5.1 Tænke-højt test mit nøglekort på min computer. Det betyder, at jeg kan logge ind på min netbank fra hvilket som helst internet. Og det synes jeg heller ikke om! Jeg kan godt forstå, at det er meget nemmere nu, at have adgang til tingene, men...altså...jeg synes ikke, at man skal have samme facilitet til alle tingene. Altså man skal lige kunne skelne mellem, hvad der er for privat og som skal være besværligt at logge ind på, på f.eks. netbank, end hvad der er på f.eks. sundhed.dk s hjemmeside. Men jeg har lige så nem adgang til begge to. P07, CUT3 Så ryger jeg direkte ind. Så står der, hvem jeg er, og så videre. Det er jo egentlig dumt, fordi hvis jeg glemmer at logge ud, er der nogen folk, der kan logge på som mig. P09, Opgave 3 Enkelte brugere kom dog også med positive ytringer omkring single-signon: Ah hvor smart! Lige som jeg havde forventet, så da jeg loggede ud af SKAT, så loggede den mig også ud af sundhed.dk. Det vil sige, at jeg skal faktisk logge på igen. Så jeg nåede faktisk ikke til den der side, jeg blev faktisk smidt over til det offentlige login-fællesskab igen, hvor at jeg skal logge på påny. P04, Opgave 4 Nej, jeg havde ikke tænkt på det på forhånd, men det kommer nu heller ikke som nogen stor overraskelse, vil jeg sige. Men det er da meget godt - det er smart, synes jeg. P06, CUT3 Grundet det store antal brugeres utryghed og manglende forståelse for konceptet og accept af virkemåden, klassificeres gruppen som Q-R. Her er taget in mente, at NemID i sig selv ikke en formel del af det offentliges single-signon faciliteter, men det vil uvægerligt blive knyttet sammen med det og er i markedsføringen også en central del af det offentliges IT-selvbetjening. Havde NemID været en direkte del af single-signon, havde vi hævet klassifikationen til R. Konceptet Samme kode til flere tjenester / Sikkerhed (Q) Denne gruppe er meget lig den foregående, dog er der her ikke fokus på selve single-signon i den forstand, at man kan være logget på flere steder samtidig, men derimod konceptet med at have ét login til det hele et af NemIDs største slogans i markedsføringen. Ikke overraskende er der her blandede fornemmelser fra brugerne, som dels er bekymrede over at putte alle sine æg i én kurv og at lade et privat firma varetage adgangen til ens personfølsomme oplysninger. 29 En del brugere udtrykker dog også deres tilfredshed med (hele eller dele af) konceptet: Jeg havde egentlig ikke tænkt så meget over, at jeg også kunne bruge det til andre steder, men jeg bruger jo også SKATs hjemmeside et par gange om året eller sådan noget, og der er det i virkeligheden igen det samme. Der har man 29 Noget, som dog også var tilfældet med den gamle digitale signatur. Her var både TDC og DanID inde over, i to omgange. 75

81 5 Analyse af evalueringsresultater 5.1 Tænke-højt test den der tastselv-kode, og hvad var det nu den var, og så skal man bestille en ny igen, og der er det jo sådan set meget nemmere, at man har den samme kode, man kan huske. [...] Ellers skulle man ind på den der nemid.nu og se, hvad for et fællesskab, der er. Der kunne man jo sikkert få at vide, hvor præcist man kan bruge det. [...] Jeg er helt sikkert mere nysgerrig nu for at se, om der er nogle andre steder, hvor jeg kan have fordel af at bruge det. P01, debriefing I forhold til sikkerheden er der også blandede følelser: Selve konceptet [med ét bruger-id, adgangskode, etc., red.] er rigtig godt, fordi netop personfølsomme oplysninger. Hackere som aflæser tastekoder, kender ikke ens nummer. Så på den måde synes jeg, det forøger sikkerheden i forhold til, hvad jeg plejer at bruge. P02, debriefing Negativt overrasket. Fordi at jeg føler lidt, at mit logon hos SKAT går ind og styrer mit login hos mit sundhed. To ting, der ikke har noget med hinanden at gøre, går ind og påvirker hinanden. Så derfor føler jeg lidt, at mine digitale æg er samlet i samme kurv. Og det er jeg ikke tilfreds med. Det føler jeg ikke, er sikkert. Testleder: Hvorfor ikke? P04: Man kan sige, hvis det bliver kompromitteret, f.eks. hvis jeg taber pungen, så går alle mine æg i stykker. Så kan folk jo komme ind på alle mine sider, og som vi snakkede om før, så hvis jeg nu bare går tilbage til min forside og stadig er logget på, så kan folk faktisk gå ind lige nu og logge sig på alle mine offentlige sider, går jeg ud fra. Jeg ved ikke, om det virker på netbank, men det kunne jeg faktisk godt tænke mig at få at vide. Det føler jeg mig ikke tryg ved. P04, CUT4 Ideen er god nok. Jeg ved ikke, hvor sikkert det, når det kommer til stykket, fordi at det er jo både og. Egentlig har du en mur, men når først den er blevet væltet, så har du slet ikke nogen. Så du er fuldstændig sårbar overfor tingene. Testleder: Så du er lidt bekymret for sikkerheden? P09: Ja, men det er også bare... al min paranoia, når man er på nettet. P09, debriefing Selvom en del brugere udtrykker sig positivt om konceptet med ét login til flere steder, er der dog samtidig så stor usikkerhed om sikkerheden i konceptet, at vi klassificerer gruppen som Q. Konceptet Nøglekortet (P) Denne gruppe indeholder mestendels ytringer fra brugerne om selve nøglekortet ikke dets brug, som er dækket i en tidligere kategori. Der er igen mange delte holdninger til kortet fra mange forskellige brugere. Nogle er bekymrede for de mange tal og disses størrelse på kortet, andre er bekymrede for at miste det, og nogle er positivt indstillede overfor den øgede sikkerhed, som kortet giver. Vi gengiver her nogle af de mest interessante citater. Først det positive: 76

82 5 Analyse af evalueringsresultater 5.1 Tænke-højt test Man kan sige, NemID forøger sikkerheden, på grund af at du har en ny adgangskode hver gang. Den er meget lig den digitale signatur. P02, debriefing Og så de mere negativt ladede ytringer: Jeg synes, det [kodegeneratorer, red.] er lidt nemmere end at skulle sidde og finde de der tal... P01, efter Opgave 5 Jesus Christ, det virker fuldstændig oldnordisk, at jeg skal rende rundt med det her kort! P04, Opgave 2 Jeg kommer sikkert også til at smide det væk, glemme det og...jeg er nødt til at skulle have det på mig hele tiden. Man kan så sige, at det var jeg også nødt til med mit ActiveCard, men jeg synes, jeg kunne styre det bedre selv ved at have egen adgang til Danske Bank og til Nordea og så have mine offentlige instanser med nogle tastselv-koder og hvad ved jeg. P04, debriefing Det er ikke meget store tal, der står. Hvis man nu var gammel eller blind, så var det jo nok ikke så smart. P06, Opgave 2 En bruger syntes ligefrem, det var skræmmende med alle de tal: Det er lidt skræmmende at kigge på det her, synes jeg! Man har alle de der tal. P05, Opgave 2 En enkelt bruger bliver forvirret over de dekorationstegn, som er på bagsiden af nøglekortet: Alle de tegn der, hvad betyder de? Jeg er godt klar over, at det er nøgler, og alle de forskellige ting, der står hernede, de der koder og...men det er nøgler, og alt det der, jeg tænker på, hvad betyder det? Testleder: Hvad tror du? P08: Det er nogle tegn fra brevene, det er jeg godt klar over, det er. Ja, og så en smiley, der er på - det er det, jeg ikke er klar over. P08, Opgave 1 Da ingen af de identificerede problemer har voldt brugerne større vanskeligheder, må de klassificeres som mindre betydende P. Information Velkomstbrevet (P-N/A) Velkomstbrevet er blevet meget lidt kommenteret af brugerne, selvom det i sig selv udgjorde den ene af de fem opgaver. En enkelt bruger har ikke modtaget sin midlertidige adgangskode sammen med brevet, og en anden bruger udtaler under gennemlæsningen, at: 77

83 5 Analyse af evalueringsresultater 5.1 Tænke-højt test Det virker ikke umiddelbart nemt, vil jeg sige. Men det kan være, det er det, når man starter. P01, Opgave 1 De fleste brugere læser forholdsvis hurtigt brevet igennem og springer reglerne over, og en enkelt har ligefrem læst brevet på forhånd. Dette kan ses mere tydeligt i Tabel 8 på side 58. Brevet bliver kun en enkelt gang brugt som reference senere i forløbet, da brugeren søger information om bestilling af ekstra nøglekort. Gruppen klassificeres som P-N/A primært på grund af den manglende modtagne kode samt den indledende nervøsitet omkring kompleksiteten. Andet Skat.dk (Q) Denne gruppe har ikke direkte tilknytning til NemID, men er medtaget, da det efter vores mening er relevant også at se på synligheden af NemID på forskellige hjemmesider. Kan brugerne finde systemet på en hjemmeside, der tilbyder login med NemID? Primært bygger problemerne på, at brugerne har svært ved at lokalisere muligheden for at logge på. Logoet for NemID vises meget småt ved siden af teksten Log på med digital signatur noget som af flere brugere ikke forbindes umiddelbart med NemID. En enkelt bruger ville helt have givet op, efter at have forsøgt flere muligheder på siden, og en anden bruger udtrykker mild irritation over, at NemID-logoet er forskudt en smule i forhold til resten af teksten. Desuden viste der sig hos flere brugere en fejl, da de forsøgte at logge ud fra SKAT. Brugerne selv bemærkede den knap nok, men den kan forårsage usikkerhed om, hvorvidt brugeren er logget ud eller ej igen noget som har fået en del opmærksomhed i medierne og kan være et potentielt sikkerhedshul. Det viste sig dog i alle tilfælde, at brugeren var logget ud. Gruppen er klassificeret Q grundet de mange brugere, der brugte forholdsvist lang tid på at finde login-muligheden for NemID. Andet Netbank (Q) Denne gruppe består mestendel af nogle identificerede bugs, der dog ikke gav anledning til større frustration hos brugerne, samt en frustration fra en enkelt bruger over ikke at kunne tilmelde sit NemID til offentlige tjenester på netbanken. Noget som de resterende brugere ellers er blevet tilbudt undervejs i processen. Det samme scenarie udspillede sig hos den anden testperson i samme målgruppe, men her var frustrationen knap så tydelig. Gruppen er klassificeret til Q. Dette bygger primært på de bugs og manglende præsentation af valg undervejs i processen, som blev identificeret. Det skal dog bemærkes, at de forskellige netbanker implementerer aktiveringsprocessen meget forskelligt, hvilket i sig selv kan være en hæmsko for produktet samlet set. Derfor er det ikke sikkert, at disse fejl vil kunne genskabes af andre brugere. Fejlene må desuden menes at være relateret til midlertidige performance- eller konfigurationsfejl og bør altså ikke være generelle. Andet Sundhed.dk (P) For sundhed.dk s vedkommende er der meget lidt at komme efter. Kun en enkelt bruger 78

84 5 Analyse af evalueringsresultater 5.1 Tænke-højt test bruger lidt over et minut på at lokalisere loginknappen, selvom dennes placering er beskrevet i opgaveteksten. Gruppen får derfor klassifikationen P, selvom de to identificerede problemer begge er af typen Q. Andet NemID generelt (P/C) Denne gruppe indeholder de ytringer og holdninger fra brugerne til NemID generelt, som ikke kunne indpasses i de andre grupper. Her finder vi en god blanding af positive og negative kommentarer: Når man først har installeret det, så er det sådan set nemt nok at bruge. Og på en måde er det måske meget rart, at man bruger den samme kode til flere steder. F.eks. kan jeg aldrig huske min kode til den der -konsultation, fordi jeg bruger den simpelthen så sjældent, så de skal altid sende en ny, hvis jeg skal sende en mail til dem. Så hvis jeg kan bruge den her, så er det jo meget nemmere. Så det er jo sådan set en fordel. P01, debriefing Jeg tror generelt, at det er sådan noget, du skal prøve nogle flere gange, før du begynder at blive fortrolig med det. P02, debriefing Jeg synes egentlig, det har været okay. Altså det var jo rimelig simpelt at gå ind og få sit NemID jo. Der blev du bare ledt igennem. Det der med at bestille et ekstra nøglekort, der må jeg så sige, der var det lidt mere besværligt. Ellers synes jeg egentlig ikke, at det var sådan, at der var nogle store problemer. P03, debriefing Jeg kan bare godt forestille mig, at jeg får smidt det der [nøglekort, red.] væk. Det må jeg indrømme. Og hvis man nu ikke ser så godt - jeg er f.eks. nærsynet - man kan jo ikke læse det, altså. Der er mange koder, man skal skrive hele tiden, og man skal sidde og lede hele tiden, så praktisk det er det da godt nok ikke. Det kan godt være, det er sikkert, det skal jeg ikke kunne udtale mig om. Det er ikke smart, nej. Men hvis jeg skal logge ind på nogle af de der ting, så vil jeg jo bruge det. Der er jo ikke rigtig andre muligheder. Der er simpelthen for mange små tal, man skal kunne. Så siger man, at man kan bruge det på mange forskellige computere, ja ja, men så skal man slæbe rundt med det hver gang, det gør man jo alligevel ikke. Så ved jeg, jeg ville smide det væk i hvert fald, så det vil jeg prøve at undgå. [...] Det kommer nok lidt an på, hvordan man definerer de fleste personer. For jeg tror, at i min aldersgruppe vil der nok ikke være så mange problemer, men når man bliver lidt ældre, kunne jeg forestille mig, at der er mange, der vil have lidt svært ved det. Specielt det med de små tal. [...] Når først man har forstået det, så er det jo brugervenligt som sådan. P07, debriefing Desuden er der for en enkelt brugers vedkommende en del irritation over uinteressante introduktionsvideoer og en generel mangel på en lige vej hen til det, man ønsker at opnå. 79

85 5 Analyse af evalueringsresultater 5.2 Første spørgeskema Ingen af kommentarerne givet af brugerne om NemID generelt har givet anledning til at klassificere denne gruppe højere end P. Andet Proces (N/A) Med processen menes her selve forløbet, hvor opgaverne er blevet løst, og aktiveringen er blevet gennemført. Flere brugere udtalte, at de sandsynligvis ikke var kommet lige så langt uden vores hjælp, ligesom processen også har været en øjenåbner i forhold til at anvende NemID til andre tjenester end netbanken. Da disse kommentarer ikke direkte vedrører produktet eller er af specielt positiv karakter, er gruppen klassificeret som N/A Sammenfatning Vi har i de foregående afsnit analyseret de fra THT erne indsamlede resultater. Der blev i alt identificeret og klassificeret 185 unikke usabilityproblemer. Heraf var 13 positive findings, og 10 var klassificeret som kritiske problemer. De 185 identificerede problemer blev dernæst grupperet i 18 grupper, som igen blev overinddelt i seks grupper, som vist i Tabel 14 på side 65. Det blev på baggrund af en inter-rater reliability-test ikke fundet nødvendigt at gentage identifikation eller klassifikation af usabilityproblemerne, men navne, beskrivelser og overordnede klassifikationer af de 18 grupper af problemer blev let revideret. Vi skal i de næste to afsnit se nærmere på de resultater, som spørgeskemaerne har givet og til sidst sammenholde disse med ovenstående for bedre at kunne illustrere tendenser samt forhåbentlig anvende spørgeskemaerne til at bekræfte og generalisere nogle af THTresultaterne. 5.2 Første spørgeskema I dette afsnit vil vi se nærmere på de resultater, som første spørgeskema har givet. For opbygning af spørgeskemaet og en liste med de stillede spørgsmål, se afsnit 4.3. Selve spørgeskemaet kan ses i Bilag K. Vi vil ikke gå i detaljer med diskussionen af resultaterne, men her blot gengive de vigtigste i tekstuel og grafisk form. Resten behandler vi i diskussionen i afsnit 6. I alt 152 personer valgte at svare på det første spørgeskema, som var åbent for besvarelser i perioden 15. november til 31. december. Det er desværre ikke blevet undersøgt, hvordan respondenterne har fået kendskab til undersøgelsen, men det er vores vurdering, at en stor del har fået det gennem Facebook (58 har tilkendegivet, at de deltager i den oprettede begivenhed, 12 har sagt måske) og resten gennem opslag på elektroniske fora på nettet og mund-til-mund. På den indledende startside på forfatterens egen hjemmeside er der desuden lavet en tæller for, hvornår og hvor mange gange nogen har startet selve undersøgelsen, samt registreret besøgendes IP-adresse (for at kunne identificere spammere). Ud af de 436 besøgende, som har set startsiden, har 269 (61.7%) startet undersøgelsen, og heraf har 152 (56.5%) gennemført den. Den forholdsvis store drop-off rate på 43.5% kan skyldes flere ting, blandt andet at man undervejs har fundet ud af, at man alligevel ikke var i målgruppen eller simpelthen blot nysgerrighed omkring 80

86 5 Analyse af evalueringsresultater 5.2 Første spørgeskema undersøgelsens indhold. Med hensyn til antallet af besvarelser er vi overordnet set tilfredse. Antallet er stort nok til, at man kan udføre statistiske tests, samtidig med at gruppen er bred nok til at kunne relatere til den generelle population, som i vores tilfælde er de ca. 3 millioner danskere, der har modtaget et NemID med posten eller alternativt bestilt et selv. Det havde dog selvfølgelig være rart med langt flere og bredere besvarelser for med mere sikkerhed at kunne sige noget statistisk om resultaterne, men igen skal man her tage undersøgelsens forudsætninger og ressourcer i betragtning Karakteristik af respondentgruppen Vi vil nu ud fra de stillede spørgsmål omhandlende demografi og IT-færdigheder komme med en karakteristik af respondentgruppen. Vi bygger altså vores beskrivelse på spørgmålene 1-18 (se Tabel 3 på side 46). Alder og køn Fordelingen af respondenterne på alder og køn kan ses i Figur 7. Som det ses af grafen, ligger størstedelen af massen i intervallet år. Dette er selvfølgelig ikke helt tilfældigt, i og med at Facebook har leveret så stor en del af besvarelserne. Den oprettede begivenhed blev indledningsvist udsendt til forfatterens egen vennegruppe på Facebook, som i sagens natur indeholder flest i denne aldersgruppe. Man kan dog også forestille sig, at den pågældende aldersgruppe er mere tilbøjelig til at have lyst til at deltage i en semi-teknisk undersøgelse som denne. Blandt respondenterne udgjorde de 55 (36.2%) kvinder, hvilket må siges at være en nogenlunde tilfredsstillende fordeling. Aldersfordelingen spænder fra 16 til 61 år. Figur 7: Fordeling af besvarelser på alder og køn. 81

87 5 Analyse af evalueringsresultater 5.2 Første spørgeskema Etnicitet og uddannelsesniveau Fire respondenter (2.6%) angav, at de havde et andet oprindelsesland end Danmark, og seks respondenter (4.6%) angav, at de havde et andet modersmål end dansk. Fordelingen af respondenternes uddannelsesmæssige baggrund kan ses i Figur 8. Der er i vores øjne tale om en bred repræsentation af uddannelsesniveau, hvor der i hver kategori forefindes et rimeligt antal besvarelser. Kønsfordelingen over de forskellige uddannelsestrin harmonerer ligeledes nogenlunde med den generelle kønsfordeling. (a) Primære styresystem (b) Uddannelsesniveau fordelt på køn Figur 8: Primære styresystem og uddannelsesniveau for respondenter IT-færdigheder Respondenternes IT-færdigheder er målt på to måder: objektivt og subjektivt. Den objektive del baserer sig på, hvor og hvor ofte de anvender internet, om de har brugt den gamle digitale signatur, samt hvor ofte de anvender forskellige relevante tjenester på nettet (f.eks. netbank, borger.dk og eboks). Den subjektive vurdering er foretaget ved at lade respondenten vurdere sine egne evner inden for IT på en skala fra Meget uerfaren til Meget erfaren. De objektive data kan ses i deres fulde omfang i Bilag L. Næsten samtlige respondenter (151, 99.3%) har angivet, at de anvender internettet dagligt og i hjemmet. 107 respondenter (70.4%) anvender ligeledes internettet på deres arbejdsplads. Fordelingen af respondenternes primære operativsystem kan ses i Figur 8a. Denne fordeling må forventes at være noget skæv i forhold til den generelle population, da antallet af Linux-brugere sandsynligvis er væsentlig højere her. Dette vil igen kunne forklares med det store antal respondenter i alderen år samt udbredelsen af undersøgelsen på forfatterens eget studie. 111 respondenter (73.0%) har angivet, at de har anvendt den gamle digitale signatur. Dette tal er igen en smule højt i forhold til den generelle population. 82

88 5 Analyse af evalueringsresultater 5.2 Første spørgeskema Med hensyn til respondenternes subjektive vurdering af deres egne IT-færdigheder, kan fordelingen ses i Figur 9. Her springer det selvfølgelig hurtigt i øjnene, at respon- Figur 9: Respondenternes subjektive vurdering af egne IT-færdigheder denterne enten er særdeles habile IT-brugere, eller at de måske har en mere subtil måde at vurdere deres egne evner på. Ligesom vi også observerede i THT erne, kan folks subjektive opfattelse af egne evner variere meget på vurderingsgrundlaget. Der er dog heller ikke i spørgsmålet sat specifikke grænser på, hvordan de enkelte punkter på skalaen relaterer til praktisk erfaring eller konkret kendskab til IT. Det blev dog vurderet i planlægningsfasen, at en sådan udpensling ville være for omfattende at medtage i et allerede forholdsvist omfattende spørgeskema. Vi kan dog stadig komme frem til en mere objektiv vurdering af respondenternes overordnede IT-færdigheder. Ser vi på spørgsmålene i kategorien IT, kan vi ud fra disse konstruere en score for hver enkelt respondent. Scoren er beregnet på følgende måde: it beregnet = netbank frekvens + skat frekvens + borger frekvens + sundhed frekvens +eboks frekvens + internet frekvens + anvendt gammel 4 Denne udregning giver en score mellem 0 og 28 (hvor 28 er bedste score), som baserer sig på, hvor ofte respondenten anvender sites, der kræver login med digital signatur eller NemID (spørgsmål 13-17), hvor ofte de anvender internettet (spørgsmål 11), samt hvorvidt de har anvendt den gamle digitale signatur (spørgsmål 18). Selvom frekvensen af de anvendte sider her tillægges en væsentlig del af scoren, er dette efter vores mening en god indikator for respondentens erfaring med lignende systemer og onlinetjenester generelt og et udmærket supplement til den subjektive vurdering. Som man også kan se på frekvenserne for de forskellige tjenester, er det kun netbank, der har daglige brugere blandt respondenterne, ligesom mange respondenter aldrig har anvendt tjenester som f.eks. eboks eller borger.dk. De beregnede IT-færdigheder kan ses i Figur

89 5 Analyse af evalueringsresultater 5.2 Første spørgeskema IT-færdigheder, beregnede Densitet IT-færdigheder (0-28) Figur 10: Respondenternes beregnede IT-score. Den indlagte kurve er en standardnormalfordeling med middelværdi 14 og samme spredning som for besvarelserne. Som det kan ses af Figur 10, fordeler de beregnede IT-færdigheder sig væsentlig anderledes end de subjektive de kan med god tilnærmelse endda siges at være normalfordelte, hvilket Shapiro-Wilks test for normalitet heller ikke kan afkræfte (p = ). 30 Hvis vi dermed ser på den beregnede score som mål for fordelingen af respondenternes ITfærdigheder, har vi en fordeling, som er mere retvisende for deres erfaring med lignende systemer, online selvbetjening og internettet generelt. Scoren skal dog selvfølgelig tages med en del forbehold, som også nævnt ovenfor. Hvorvidt fordelingen af respondenternes IT-færdigheder er repræsentativ for befolkningen generelt, er lidt sværere at svare på. IT- og Telestyrelsens It-barometer 31 angiver f.eks. for 2009, at 19% af befolkningen aldrig har anvendt en computer (niveau 0), mens 29% har meget stærke it-færdigheder (niveau 3, hvilket desværre ikke er defineret nærmere). Så set i forhold til den subjektive vurdering har vi ikke ramt særlig godt den objektive er tættere på. Vi har altså i undersøgelsen fat i IT- og Telestyrelsens niveau 1-3, men med et elektronisk spørgeskema ville vi i sagens natur også have svært ved at få fat i niveau 0-brugere, særligt når markedsføringen er foregået rent elektronisk Validitet og pålidelighed Ligegyldigt hvilken type af undersøgelse, man foretager, er man interesseret i at finde ud af, hvor gode (valide) data er, samt hvor pålidelig undersøgelsen generelt er. Ozok [26] skelner her mellem validity og reliability. Validity vil normalt skulle bedømmes, inden undersøgelsen skydes igang, og reliability efterfølgende. Da det ikke har været muligt at 30 Se: Wilk test 31 Se: 84

90 5 Analyse af evalueringsresultater 5.2 Første spørgeskema tage sig af validity inden undersøgelsens start, behandles begrebet derfor nu. Validity kan opdeles i to underpunkter: Construct validity udtaler sig om, hvorvidt undersøgelsen bygger på tidligere resultater og teori for at bekræfte, at the survey didn t come out of the imagination of the designer, but rather relies on a number of different research studies conducted by a number of different researchers (Ozok [26], s1161). På baggrund af det udførlige teoretiske grundlag i afsnit samt den grundige og konkrete planlægning i afsnit 4.3 er der efter vores mening basis for høj construct validity i dette spørgeskema. Predictive validity udtaler sig om, hvorvidt undersøgelsen har the ability and power [...] to predict correct results in repetitive use (Ozok [26], s1161). Predictive validity er lidt ulden at definere og bestemme for en konkret undersøgelse, men Ozok nævner pilot testing og peer review af andre eksperter inden for området som muligheder for at bedømme predictive validity. Begge dele er for nærværende undersøgelse foretaget: Erik Frøkjær (som også er vejleder på dette projekt) har grundigt gennemgået spørgeskemaet inden udsendelse, og desuden er spørgeskemaet blevet pilottestet på en repræsentativ respondent. På baggrund af dette anser vi spørgeskemaet for at have god predictive validity. Med hensyn til reliability er der her tale om, hvorvidt undersøgelsens besvarelser er konsistente, samt om de er pålidelige. En stor del heraf bliver afgjort af, om respondenter forstår spørgsmålene på den måde, som spørgeren havde i tankerne, jævnfør kriteriet om entydighed fra Stone [34]. En ofte anvendt metode til at efterprøve internal reliability i spørgeskemaer er at indlægge to ens spørgsmål, men formuleret omvendt. Et eksempel er spørgsmålene Jeg havde let ved at udfylde spørgeskemaet og Jeg havde svært ved at udfylde spørgeskemaet, hvor begge spørgsmål besvares på en enighedsskala. Man vil i dette tilfælde forvente, at respondenten svarer modsat på de to spørgsmål andre udfald kan f.eks. indikere, at respondenten har sat tilfældige krydser og dermed ikke kan ses som en seriøs besvarelse. Ozok ser denne indlejring af ens spørgsmål som helt uundværlig i kvantitative undersøgelser inden for HCI. I denne undersøgelse er der med vilje ikke indlagt sådanne omvendte spørgsmål. Dette er fravalgt for at undgå at genere respondenterne mere end højst nødvendigt eller nedgøre deres intelligens. Der er dog to steder, hvor der er indlagt næsten ens, men omvendte spørgsmål: under oprettelsen af den selvvalgte adgangskode ( Adgangskoden var let at oprette og Jeg havde brug for mere hjælp ) samt under indtastningen af en nøgle fra nøglekortet ( Jeg forstod min opgave og Jeg havde brug for mere hjælp ). Disse spørgsmål er ikke direkte modsætninger i den klassiske forstand, men til at teste reliability er de i vores øjne tilstrækkelige. Den konkrete test består i at udregne Cronbachs α-koefficient for de to sæt af ens spørgsmål. Cronbachs α er et tal mellem 0 og 1, hvor 0 indikerer dårligst og 1 bedst reliability. α-værdier større end eller lig 0.7 anses for at indikere god internal reliability (Ozok [26], s1162). Cronbachs α er beregnet i R med cronbach()-funktionen fra multilevel-biblioteket (se Bilag M). For oprettelse af adgangskode får vi α = (n = 152), og for indtastning af nøgle får vi α = (n = 139). Begge indikerer altså god internal reliability af spørgeskemaet. 85

91 5 Analyse af evalueringsresultater 5.2 Første spørgeskema Udvalgte resultater og tests Efter at have karakteriseret respondentgruppen og argumenteret for, at undersøgelsens resultater er tilstrækkeligt valide og pålidelige, vil vi i dette afsnit gengive udvalgte resultater af spørgeskemaundersøgelsen samt se på eventuelle statistisk signifikante faktorer, der kunne have indflydelse på besvarelserne. De fulde resultater samt deskriptiv statistik kan ses i Bilag L. Der er af respondenterne afgivet en stor mængde subjektive kommentarer, som vi vil inddrage, hvor det er relevant. Disse kan ligeledes findes i Bilag L. Modtagelse, velkomstbrev og nøglekort Første del af spørgeskemaets mere interessante del omhandler modtagelsen af NemID, velkomstbrevet og nøglekortet generelt. Resultaterne af disse spørgsmål kan ses i Figur 11, 12 og 14. I Figur 13 og 15 kan ses de kønsopdelte holdninger til velkomstbrevet og nøglekortet. (a) Hvordan respondenterne har modtaget deres NemID. (b) Andel af respondenter, der har læst velkomstbrevet. Figur 11: Respondenternes modtagelse af NemID og læsning af velkomstbrev. Som det kan ses af Figur 11a, har en overraskende stor del af respondenterne selv bestilt deres NemID (39%), mens den overvejende del (59%) har modtaget det automatisk med posten gennem deres netbank. Dette harmonerer ikke specielt godt med de virkelige tal (hvor langt hovedparten modtager det automatisk gennem deres netbank), men for selve undersøgelsen er dette irrelevant. Det kan endog være en fordel, i og med at der så potentielt vil være flere, der benytter forskellige hjemmesider til aktiveringen. Som det kan ses af Figur 12, synes næsten halvdelen af respondenterne, at velkomstbrevet er uinteressant, og ca. 10% synes ikke, at brevet har en tilpas længde eller indeholder relevant information. 22.4% synes ikke, brevet giver nok information. Ser vi på de kønsopdelte tal i Figur 13, ser vi, at kvinderne har en tendens til at være en smule mere positivt stemt overfor velkomstbrevet. Bortset fra spørgsmålet om, hvorvidt brevet er interessant, ligger gennemsnittet for vurderingerne en smule over middel, dog uden at være prangende. 86

92 5 Analyse af evalueringsresultater 5.2 Første spørgeskema Figur 12: Holdninger til velkomstbrevet, generelt. Figur 13: Holdninger til velkomstbrevet (gennemsnit), kønsopdelt. Der er indlagt standardfejl på 5% i grafen for at illustrere eventuelle statistiske forskelle. Overordnet har 90% læst velkomstbrevet helt eller delvist. De 10%, som ikke har, angiver, at de enten ikke gider eller ikke mener, der står noget vigtigt eller relevant i brevet: Der var så mange papirer, og jeg tænkte at der nok ikke stod noget vigtigt i 87

93 5 Analyse af evalueringsresultater 5.2 Første spørgeskema nogen af dem. Hvis det viser sig at der er noget jeg skulle have læst, så bliver jeg nok opmærksom på det, når jeg forsøger at tage NemID et i brug, og så kan jeg læse det når det bliver nødvendigt. Allerede efter overskriften lagde jeg brevet fra mig, da jeg ikke synes at den lød indbydende til at læse videre. Der er ligeledes kommet en del kommentarer til velkomstbrevet generelt: Det værste ved velkomstbrevet er, at der ikke gives ordentlig information om, hvor man skal logge på første gang. Velkomstbrevet var langt og kedeligt. Mange unødvendige informationer blandet ind i en masse tekst. Man skulle lede efter de centrale informationer mellem en masse tekst med oplysninger som virkede selvindlysende. Nøglekortet i sig selv er ikke blevet så positivt modtaget. Som det kan ses i Figur 14, synes 30.3%, at kortet er uoverskueligt, og lidt over halvdelen (52.7%) synes, at det er upraktisk. Dette må siges at være en meget stor del af respondentgruppen. Ser vi på den kønsopdelte udgave af de samme spørgsmål, ligger kvinderne igen generelt lidt i den højere ende af tilfredshedsskalaen. Pånær spørgsmålet, om hvorvidt kortet er praktisk, ligger de resterende gennemsnit omkring middel. Figur 14: Holdninger til nøglekortet, generelt. 88

94 5 Analyse af evalueringsresultater 5.2 Første spørgeskema Figur 15: Holdninger til nøglekortet (gennemsnit), kønsopdelt. Der er indlagt standardfejl på 5% i grafen for at illustrere eventuelle statistiske forskelle. Der er kommet særdeles mange kommentarer til nøglekortet generelt, hvoraf langt de fleste er negative. Kommentarerne går primært på, at kortet er upraktisk, papirspild og oldnordisk, og at det er irriterende at skulle have med sig overalt. De følgende kommentarer er endog meget blide i deres sprogbrug, i forhold til andre i samme bunke: Nøglekortet er en komplet hjernedød opfindelse. Det er papirspild, det økonomisk helt gak at skulle snail-maile nye nøglekort ud til folk hele tid og det er voldsomt irriterende nu at skulle holde styr på en åndssvag papirlap. Problemet er at man intet kan foretage sig uden dette kort. Man skal altid have det med sig - det må ikke blive væk. Hvis man får stjålet sin taske (som jeg gjorde sidst jeg var i udlandet) skal man have tilsendt et nyt nøglekort før man igen kan bruge netbank osv. Det vil ikke fungere hvis man rejser meget, og er afhængig af netbank. Min søn er talblind, og uden min hjælp har han svært ved at anvende nøglekortet. (altså når vi efter lang tids søgen endelig får det fundet) Mht. nøglekortet synes jeg det er virkelig besværligt at skulle være afhængig af noget fysisk for at komme på netbank. Desuden synes jeg der er for få koder. Efter jeg har fået NemID er jeg begyndt at tænke over hvor ofte jeg går på netbank og vurdere om det er nødvendigt frem for at gøre det når jeg har behov for at checke mine konti eller lignende. Oprettelse af selvvalgt bruger-id og adgangskode 58% af respondenterne valgte at oprette et selvvalgt bruger-id. Langt de fleste af dem, 89

95 5 Analyse af evalueringsresultater 5.2 Første spørgeskema som ikke oprettede et, vil hellere bare bruge deres CPR-nummer, som er nemmere at huske i forhold til at skulle finde på endnu et nyt brugernavn: Jeg kan bruge mit CPR nummer, og det kan jeg jo alligevel huske. Jeg kan ikke forstå hvorfor jeg skulle have lyst til at oprette flere brugernavne? Processen, hvor brugeren bliver bedt om at oprette en selvvalgt adgangskode, er umiddelbart blevet vurderet positivt af de fleste respondenter (se Figur 16), dog synes 19.7% ikke, at opgaven var let, og 14.5% har haft behov for hjælp på den ene eller anden måde. Figur 16: Holdninger til dialogen om oprettelse af adgangskode. Selvom vurderingerne af dialogen ligger over middel, er det for 13 af respondenterne (9%) ikke lykkedes at oprette en selvvalgt adgangskode og dermed heller ikke at aktivere deres NemID. Disse respondenter er derfor blevet ledt videre til beskrivelsen af de eventuelle fejl og har ikke svaret på de resterende spørgsmål i spørgeskemaet. Hertil er der forskellige årsager: Timeout pga. jeg brugte specialtegn i eget password. Dette bevirkede at jeg skulle finde et nyt, gerne ligeså sikkert. Timeout kom dog først efter jeg havde valgt brugernavn ved næste skærmbillede. Systemet skrev at der opstod en fejl. Jeg forsøgte herefter igen. Så skrev systemet at jeg havde brugt min aktiveringskode for mange gange. Nu skal jeg have tilsendt en ny. Det er uacceptabelt. 90

96 5 Analyse af evalueringsresultater 5.2 Første spørgeskema Flere af fejlene hænger dog på den midlertidige adgangskode, som de fleste har fået tilsendt, og altså ikke direkte på oprettelsen af den selvvalgte adgangskode. De 13 respondenter, som ikke er lykkedes med aktiveringen, er altså et udtryk for de personer, der har forsøgt eller ikke har nået at forsøge at oprette en selvvalgt adgangskode. En respondent kommer med et forslag til en forbedring af dialogen på dette punkt: NemID anbefaler at man bruger specialtegn, men siger dog at nogle ikke er tilladt. Der står dog ingen steder hvilke tegn der tillades. Så en udførlig liste med tilladte tegn havde været god. Endvidere ville det have været rart hvis det blev oplyst at der var timeout på. Indtastning af nøgle fra nøglekort Sidste trin i processen, inden oprettelsen er gennemført, er indtastningen af en nøgle fra nøglekortet for at bekræfte identiteten af brugeren. Vurderingen af dialogen og processen kan ses i Figur 17. Figur 17: Holdninger til indtastning af nøgle, generelt. Som det kan ses af Figur 17, har denne dialog virket overraskende positivt og har ikke givet anledning til problemer for langt de fleste brugere. Her er der da også kun to respondenter (1.4% af de tilbageværende), som dette er mislykkedes for, bl.a. på grund af sammenblanding af linierne på kortet. NemID generelt De sidste spørgsmål til NemID i spørgeskemaet går på respondenternes overordnede holdning til NemID efter endt aktivering. Resultaterne hørende til de seks spørgsmål kan ses i Figur 18 og i en kønsopdelt udgave i Figur

97 5 Analyse af evalueringsresultater 5.2 Første spørgeskema Figur 18: Holdninger til NemID generelt. Trods en noget lunken vurdering af de enkelte trin i aktiveringsprocessen, vurderes NemID som værende overvejende let at oprette (76.9%) og anvende (77.7%). En fjerdedel mener dog ikke, det er sikkert, og næsten halvdelen (48.7%) synes, det er upraktisk. I forhold til tidligere løsninger (f.eks. netbank eller den gamle digitale signatur) mener 34.9%, at det er mindre sikkert, ligesom hele 59.2% mener, det er blevet sværere med NemID. Ser vi på den kønsopdelte udgave i Figur 19, ligger kvinderne igen generelt en smule højere i vurdering end mændene, og vurderingerne ligger generelt lige over eller under middel. Der er dog ikke de store udsving i gennemsnittet mellem mænd og kvinder. En interessant observation er dog, at mænd (pånær spørgsmål G1) har en tendens til at svare mere ekstremt på disse seks spørgsmål. Dette kan ses ved at lave en såkaldt proportion test i R (se Bilag M) for at se andelen af mænd, der anvender de forskellige svarkategorier. Resultatet af proportion-testen kan ses i Tabel 15. Her kan man observere, at i yderpunkterne er andelen af mandlige besvarelser pånær for G1 generelt større. Der er med andre ord flere kvinder, der anvender de midterste, mere neutrale kategorier. Som vi skal se senere, er flere af disse forskelle også statistisk signifikante. Statistiske tests Der er på baggrund af de modtagne besvarelser lavet en del statistiske tests for afhængighed mellem variable. Disse indbefatter blandt andet test for afhængighed mellem køn og generelle holdninger til NemID, alder og anvendelse af tidligere digital signatur. De udførte tests er lavet som χ 2 -tests med 5%-niveauer i R (se Bilag M) og resultaterne kan ses i Tabel 16, hvor p-værdierne er gengivet for test mellem de to angivne faktorer. Da antallet af besvarelser ikke er voldsomt stort, har det givet god mening også at udføre 92

98 5 Analyse af evalueringsresultater 5.2 Første spørgeskema Figur 19: Holdninger til NemID generelt, kønsopdelt. Der er indlagt standardfejl på 5% i grafen for at illustrere eventuelle statistiske forskelle. Spørgsmål Meget uenig Uenig Hverken eller Enig Meget enig G G G G G G Tabel 15: Andel af mandlige besvarelser for de generelle spørgsmål til NemID (spørgsmål eller G1-G6) i det første spørgeskema. Bemærk, at andele ikke summerer til 1.0, da der er flere mandlige end kvindelige respondenter. tests med kun tre enighedsgrader i relevante spørgsmål. Her er besvarelserne Meget uenig og Uenig slået sammen, ligesom Enig og Meget enig er det. Ellers risikerer vi, at de sammenlignede bunker simpelthen bliver for små til at kunne sige noget statistisk meningsfuldt ud fra. En overraskende generel bemærkning til de udførte tests er, at nærmest ingen faktorer er afhængige af hinanden, meget imod vores generelle forventning. Vi vil her knytte nogle korte kommentarer til de fundne resultater: Flere kvinder (98.2%) end mænd (85.6%) læser velkomstbrevet. Der er statistisk signifikant forskel på mænds og kvinders svar på spørgmålene omkring sikkerheden af NemID. Kvinderne er her mere neutrale (eller usikre, alt efter hvordan man tolker resultaterne) end mændene. Med tre enighedsgrader synes folk, der har anvendt den gamle digitale signatur, at 93

99 5 Analyse af evalueringsresultater 5.2 Første spørgeskema NemID er mere sikkert (gns. enighed = 3.20), end folk som ikke har anvendt den gamle signatur (gns. enighed = 2.74). Alder, køn, uddannelse, IT-færdigheder, hvorvidt man har læst velkomstbrevet, eller hvorvidt man har anvendt den gamle signatur har umiddelbart ingen indflydelse på, om man har held med at aktivere sit NemID. Her skal det dog bemærkes, at antallet af respondenter i denne undersøgelse, som ikke gennemførte, er forholdsvis lavt (15 ud af 152). Derfor er det svært at sige noget solidt om emnet. Køn, uddannelse eller IT-færdigheder har ingen indflydelse på, hvad man synes om NemID generelt. Faktor 1 Faktor 2 p-værdi Tre grader Køn G1 (Let at oprette) p = p = Køn G2 (Let at bruge) p = p = Køn G3 (Sikkert) p = p = Køn G4 (Praktisk) p = p = Køn G5 (Sikrere end før) p = p = Køn G6 (Lettere end før) p = p = Køn Succesfuld aktivering p = Køn Læst velkomstbrev p = Alder (over/under 30) Succesfuld aktivering p = Alder (over/under 40) Succesfuld aktivering p = Anvendt gammel DS G1 (Let at oprette) p = p = Anvendt gammel DS G2 (Let at bruge) p = p = Anvendt gammel DS G3 (Sikkert) p = p = Anvendt gammel DS G4 (Praktisk) p = p = Anvendt gammel DS G5 (Sikrere end før) p = p = Anvendt gammel DS G6 (Lettere end før) p = p = Anvendt gammel DS Succesfuld aktivering p = Læst velkomstbrev Succesfuld aktivering p = Uddannelse (1-3) G1 (Let at oprette) p = p = Uddannelse (1/2/3) G2 (Let at bruge) p = p = Uddannelse (1/2/3) G3 (Sikkert) p = p = Uddannelse (1/2/3) G4 (Praktisk) p = p = Uddannelse (1/2/3) G5 (Sikrere end før) p = p = Uddannelse (1/2/3) G6 (Lettere end før) p = p = Uddannelse (1/2/3) Succesfuld aktivering p = IT-færdigheder (1/2) Succesfuld aktivering p = IT-færdigheder (1/2) G1 (Let at oprette) p = p = IT-færdigheder (1/2) G2 (Let at bruge) p = p = IT-færdigheder (1/2) G3 (Sikkert) p = p = IT-færdigheder (1/2) G4 (Praktisk) p = p = IT-færdigheder (1/2) G5 (Sikrere end før) p = p = IT-færdigheder (1/2) G6 (Lettere end før) p = p = Tabel 16: Liste over udførte korrelationstest (χ 2 -tests). Ved tre enighedsgrader er Meget uenig og Uenig slået sammen, og Meget enig og Enig ligeså. Uddannelsesniveau er samlet i 3 grupper, ligesom IT-færdigheder (subjektive) er inddelt i to grupper. Statistisk signifikante sammenhænge er gengivet med grå baggrund. Vi vil komme nærmere ind på disse observationer i diskussionen i afsnit 6. 94

100 5 Analyse af evalueringsresultater 5.3 Opfølgende spørgeskema 5.3 Opfølgende spørgeskema I dette afsnit vil vi se nærmere på de resultater, som det opfølgende spørgeskema har givet. For opbygning af spørgeskemaet, se afsnit 4.4. Selve spørgeskemaet kan ses i Bilag N. Ud af de 92 respondenter, der i det første spørgeskema sagde ja til at blive kontaktet igen, har i alt 66 (71.7%) svaret på det opfølgende spørgeskema, som var åbent for besvarelser i perioden 10. december til 10. februar. Selvom der af praktiske årsager i en med linket til spørgeskemaet var angivet en tidsfrist for besvarelse, har respondenterne fået lov til at svare, når de lystede. Tidsfristen var indført for at forsøge at sikre konsistens i antallet af uger, der gik efter aktiveringen. Igen kunne vi godt have tænkt os et større antal besvarelser, men en svarprocent på 71.7 er ganske godt sammenlignet med lignende undersøgelser beskrevet i litteraturen (som eksempelvis i Ozok [26]). På grund af spørgsmålenes opbygning er der dog i dette spørgeskema ikke mulighed for at lave meningsfyldte statistiske tests på resultaterne (vores samples er afhængige), ligesom vi heller ikke har mulighed for at sammenholde resultaterne for hver enkelt respondent med resultaterne fra det første spørgeskema. Vi vil dog stadig tillade os at sammenligne de to spørgeskemaer, særligt de generelle spørgsmål til NemID, da respondentgruppen er stor nok til at komme med kvalificerede bud. Vi vil for det opfølgende spørgeskema ikke gå i deltaljer med validitet og pålidelighed, da spørgeskemaet er forholdsvis kort, samt at halvdelen af spørgsmålene er gengangere fra det første spørgeskema, hvis validitet og pålidelighed vi allerede har begrundet. Konstruktionen af skemaet bygger selvfølgelig på samme grundlag som det første, og er igen blevet reviewet og pilottestet inden udsendelse. Vi vil på baggrund af dette mene, at også dette spørgeskema har god validitet og pålidelighed. Brug af NemID siden aktivering Til spørgsmålet, om hvor mange gange siden aktiveringen respondenterne har anvendt deres NemID, er hovedvægten i det lave område, som det kan ses i Figur 20. Der er dog et par power users, som anvender deres NemID indtil flere gange om dagen. Her skal det dog bemærkes, at udformningen af det første spørgsmål i skemaet har givet misforståelser i et par tilfælde. Den supplerende tekst til spørgsmålet har givet et hint til, hvordan man finder antallet af resterende koder på nøglekortet, men selve spørgsmålet beder om antallet af anvendte koder. En enkelt respondent angav en dato for aktivering, som lå før, NemID overhovedet blev lanceret denne besvarelse er ikke medtaget i grafen i Figur 20. Problemer opstået undervejs 22.7% af respondenterne angiver, at de siden aktiveringen har oplevet problemer med deres NemID. Disse problemer er af forskellig karakter, mange primært tekniske men dog også helt basale fejl: NemID blev spærret fordi de have sendt kode og brugernavn samme dag. Dernæst blev min digitale signatur spærret. 95

101 5 Analyse af evalueringsresultater 5.3 Opfølgende spørgeskema Figur 20: Frekvens af antal anvendelser af NemID per uge (gns.). Jeg aktiverede NemID med min netbank og brugte ikke engangskoden, der kom med brev. Da jeg dagen efter forsøgte at logge på Netbank igen fik jeg fejlbeskeden (sådan cirka): Din engangskode er udløbet, dit NemID er spærret. To timer senere kunne jeg godt logge på med NemID. Det er ikke altid, den registrerer et login. Eller - den tæller ned på nøgleantallet, men logger mig ikke ind... Det første citat ovenfor er udtryk for de store problemer, som DanID på et tidspunkt havde med mange tusinde brugere, der modtog deres nøglekort og midlertidige adgangskode med posten samme dag noget som Datatilsynet også har kritiseret. 32 Opfølgende holdninger til NemID Den måske nok mest interessante del af det opfølgende spørgeskema er at se på udviklingen i respondenternes generelle holdninger til NemID. Der er her tale om spørgsmålene G2-G6 fra det første spørgeskema (G1 om oprettelsen er udeladt, da respondenterne i så fald vil skulle huske tilbage på processen). En samlet graf for de oprindelige og opfølgende holdninger kan ses i Figur 21, og en gennemsnitlig score for spørgsmålene kan ses i Figur 22. Som det kan ses af Figur 21, er der ikke nogen større forskel i, hvordan respondenterne har evalueret NemID. En interessant observation er dog, at der for alle faktorer pånær det praktiske aspekt er en svagt positiv tendens. Respondenterne er altså umiddelbart blevet en smule gladere for deres NemID, både i forhold til produktet selv og set i forhold til deres tidligere anvendte løsninger, men de synes i højere grad, at det er upraktisk. 32 Se f.eks. 96

102 5 Analyse af evalueringsresultater 5.4 Sammenfatning Figur 21: Holdninger til NemID generelt, umiddelbart efter aktivering og efter nogle ugers brug. Den samme tendens kan observeres i Figur 22, hvor vi også kan se, at samtlige faktorer stadig ligger lige over eller lige under middel. 5.4 Sammenfatning I dette afsnit vil vi kort sammenfatte de udledte resultater fra både THT erne og spørgeskemaerne. Undervejs vil vi forsøge at sammenholde resultater fra de forskellige metoder, så tendenserne træder tydeligere frem. For THT ernes vedkommende har vi set, at der er observeret i alt 185 unikke usabilityproblemer, hvoraf de 13 er positive findings, og de 10 er karakteriseret som kritiske. Der er altså i alt identificeret 172 deciderede problemer af større eller mindre grad. Med hensyn til selve aktiveringen er der observeret task failure i 4 ud af 9 tilfælde, hvilket er væsentlig højere end for spørgeskemaerne (9.9%). Det kan ikke udelukkes, at det har haft en indflydelse, at den i THT stillede opgave udover aktiveringen inkluderede at logge på SKATs selvbetjening, men i og med at denne opgave er særdeles realistisk, er processen med at tilknytte et OCES-certifikat set som en naturlig del af aktiveringsprocessen. I forhold til de generelle holdninger til NemID, harmonerer resultaterne fra THT erne og spørgeskemaerne godt (se Figur 22), dog er der hos THT-testpersonerne større tvivl om sikkerheden men en mere positiv indstilling til det praktiske aspekt. NemID som produkt er dog i alle tre undersøgelser og på de undersøgte aspekter vurderet til lige over eller lige under middel. Med hensyn til de identificerede problemområder er det umiddelbart svært at drage paralleller mellem de forskellige undersøgelser, da der er væsentlig forskel på beskrivelser observeret af observatøren under en THT og rapporteret af en respondent i et spørgeskema. Detaljeringsgraden er væsentlig højere for THT, men det kan alligevel 97

103 5 Analyse af evalueringsresultater 5.4 Sammenfatning Figur 22: Holdninger til NemID generelt (gns.) for THT og spørgeskemaer. observeres, at brugerne af NemID generelt er enige om, at indtastning af en nøgle fra nøglekortet pånær få undtagelser er en smertefri proces, ligesom velkomstbrevet (udover ikke at være interessant for brugerne) scorer forholdsvist neutralt. De umiddelbart største problemer ved NemID er selve nøglekortet og særligt det upraktiske i denne løsning, tiltroen til sikkerheden samt det forholdsvist store antal task failures under aktiveringen. Det kunne i denne forbindelse have været interessant at se på, hvor mange respondenter der havde valgt at bruge deres NemID til offentlige tjenester også, da det er her, to af de mest kritiske task failures i THT erne forekom. En anden af årsagerne til de mange task failures kan hænge sammen med den kommentar til velkomstbrevet, der påpeger, at der mangler information om, hvor man skal logge på første gang. Et stort antal testpersoner i THT erne og respondenter i spørgeskemaerne har udtrykt meget stærke holdninger til det generelle koncept bag NemID, og særligt single-signon har hos THT-testpersonerne givet anledning til stor kritik og dermed mange identificerede problemer. Grundet THT ernes mere konkrete opgaver er der ligeledes en del af de identificerede problemer, der har med relaterede tjenester og ikke direkte NemID at gøre. Som forventet har THT erne afdækket mange af de åbenlyse og mere skjulte problemer, hvorimod spørgeskemaerne har leveret mere bred evidens for blandt andet testpersonernes holdninger til produktet. 98

104 6 Diskussion I dette afsnit vil vi diskutere resultaterne fra analysen samt relatere dem til hinanden og sammenholde med de resultater, som firmaet Userminds er fremkommet med i deres testrapport. Vi vil også tage et kort sammenlignende kig på lignende undersøgelser og tiltag fra IT- og Telestyrelsen. Efter at have diskuteret resultaterne vil vi i afsnit 6.2 kritisk diskutere og vurdere de anvendte metoder og komme med retrospektive forslag til forbedringer. Strukturen i afsnittet vil være som følger: Diskussion af resultater Identificerede problemstillinger Testpersoners holdning til NemID Sikkerhed og nøglekortet Relation til Userminds testrapporter Opsummering Diskussion af metoder / opsamlede erfaringer Tænke-højt test Første spørgeskema Opfølgende spørgeskema 6.1 Diskussion af resultater Vi skal nu sammenfatte og kritisk diskutere de resultater, som er kommet frem gennem de foregående afsnit og de undersøgelser, som er foretaget i dette speciale. Målet er at komme med en form for samlet vurdering af produktet NemID i forhold til særligt usability, set ud fra dets slutbrugeres synspunkt. Målet er ikke at komme med forbedringsforslag til systemet, hvilket ellers er formålet med de fleste usabilityevalueringer udført inden lanceringen af et bestemt produkt. I vores tilfælde er NemID allerede lanceret, og vi vurderer derfor retrospektivt dets kvalitet og potentiale Identificerede problemstillinger I de udførte THT er er der afdækket et forholdsvist stort antal usability-relaterede observationer (185 unikke), og hvis man fraregner positive findings samt de problemer, som ikke direkte har med NemID at gøre (single-signon), er vi nede på 139 deciderede usabilityproblemer. Nu er verden desværre sådan indrettet, at der ikke findes fejlfrie produkter, heller ikke dem som er blevet grundigt gennemtestet, så det var forventeligt, at NemID ville indeholde et antal problemer. Det er dog i vores øjne overraskende, at antallet er så stort og måske mere overraskende, at de fundne problemer er blevet klassificeret så højt, som de er. Et færdigt produkt må i vores øjne ikke indeholde 8-10 kritiske fejl og et meget stort antal alvorlige fejl. 33 En anden observation er her, at hvis det færdige produkt generelt afføder samme fejlrate, som vi har observeret i løbet af undersøgelserne, er der tale om et noget ustabilt og i visse henseender decideret uigennemtænkt system. Ni tilfældigt udvalgte personer kan ikke lede til et så stort antal usabilityprobemer, uden 33 Vi minder læseren om Tabel 10 på side

105 6 Diskussion 6.1 Diskussion af resultater at de enten er en meget særlig gruppe, eller at systemets opførsel antageligt kan generaliseres til resten af befolkningen. Det er også bemærkelsesværdigt, at næsten 23% af respondenterne oplever problemer med systemet efterfølgende. Konkret må de væsentligste problemer siges at være forståelsen af koncepterne (særligt konsekvenser og brug af single-signon) og terminologien i NemID, det upraktiske i nøglekortet samt den store tvivl om sikkerheden af systemet. Særligt single-signon er svær at placere i kritikken, fordi den som sådan ikke er nogen integreret del af NemID det modsatte er derimod gældende. Der er dog identificeret en del problemer relateret direkte til single-signon, særligt overraskelsen og utrygheden ved systemets opførsel. Selvom de to ting principielt er adskilte, vil de uden tvivl blive set som én og samme ting af langt de fleste brugere, og vi må på denne baggrund konkludere, at der er behov for langt større information om single-signon til den generelle befolkning. En anden bemærkelsesværdig faktor, som vi har set i både THT erne og det indledende spørgeskema er raten for succesfuld aktivering. For THT ernes vedkommende var 4 ud af 9 ikke i stand til selvstændigt at aktivere deres NemID og efterfølgende anvende det til at logge på en tjeneste. For spørgeskemaernes vedkommende var tallet ca. 10%. Her skal det bemærkes, at de to THT-testpersoner i gruppe A som sådan godt kunne aktivere deres NemID men ikke tilknytte et OCES-certifikat. Tæller man ikke disse to med som task failures, harmonerer antallet af fejlaktiveringer bedre for de to typer undersøgelser. Hvis man som et simpelt tankeeksperiment skalerer disse tal op til de ca. 3 mio. forventede brugere af NemID, vil dette betyde, at ca personer ikke selvstændigt kan aktivere deres NemID, hvilket bør anses som højst uacceptabelt og i strid med produktets navn og proklamerede styrker. Og her er ikke engang taget folk med funktionsnedsættelser eller synshandicap med i betragtningen. Skal man supplere ovenstående med flere indikationer på, at noget er galt, kan man se på antallet af supporthenvendelser. Ifølge en undersøgelse, som sitet Version2.dk har lavet, 34 har mindst hver femte ringet til deres bank for at få support på NemID. Tallet er endnu højere, hvis man tæller opkald direkte til DanIDs support med. Selvom der er delte meninger om denne andels størrelse og betydning, er det ifølge DanID selv i omegnen af tre gange så stort som forventet. De fleste henvendelser drejer sig dog ikke om selve aktiveringen, men det er stadig en stor andel, som har brug for hjælp flere end spørgeskemaerne indikerer, men i tråd med THT erne. Mange af disse opkald vil efter vores opfattelse bunde i de konkrete identificerede usabilityproblemer, som belyses af dette projekt. IT- og Telestyrelsen har i en redegørelse til Udvalget for Videnskab og Teknologi (se IT- og Telestyrelsen [16]) redegjort for mange af de kritikpunkter, som er blevet fremlagt i medierne og af flere folketingspolitikere. Redegørelsen bygger på arbejdet fra en taskforce nedsat af videnskabsministeren i oktober 2010 med det formål at sikre kvalitet i udrulningen af NemID (IT- og Telestyrelsen [16], s1). Taskforcen er primært kommet med forslag og har nedsat arbejdsgrupper, der skal sikre bedre oplysning og brugervenlighed for udsatte grupper, blandt andet handicappede og ældre. I redegørelsen er der desuden gengivet de fem største kategorier af spørgsmål stillet til DanIDs support. I perioden 34 Se: 100

106 6 Diskussion 6.1 Diskussion af resultater juli-oktober 2010 har 17.4% af de ca henvendelser drejet sig om Aktivering af NemID. Der bliver ligeledes i redegørelsen stillet i udsigt, at der fremfor kun et enkelt forsøg til aktivering med den midlertidige adgangskode skal være tre noget som muligvis kunne have afhjulpet en enkelt task failure i denne undersøgelse. Der vil desuden blive udarbejdet et revideret velkomstbrev, som bedre beskriver, at og hvordan brugeren skal aktivere sit NemID igennem den tjeneste, som vedkommende har modtaget det, ligesom en større indsats sættes i værk for at informere brugerne om korrekt log ud fra tjenester. Dette tiltag vil i vores øjne klart kunne gavne de borgere, der kommer i problemer med aktiveringsprocessen, hvilket vores undersøgelser tyder på, at en ganske stor vil. I forhold til learnability har vi gennem THT erne observeret, at testpersonerne generelt havde meget hurtigt ved at lære at bruge systemet, så snart det var blevet aktiveret og brugt første gang. Dette indikerer god learnability og er med til at styrke formodningen om, at NemID er hurtigt at vænne sig til og overordnet set let at bruge. Mange testpersoner og respondenter udtrykte sig dog kritisk om nøglekortet undervejs, men selve processen blev anset som ukompleks Testpersoners holdning til NemID En anden interessant drejning på de udførte undersøgelser er testpersonernes holdninger til NemID generelt, med andre ord deres subjective satisfaction. Samtlige vurderingskriterier ligger omkring middel for et system, som har kostet lige i underkanten af 1 milliard kroner og skal bruges så ofte af så mange mennesker man burde måske have forventet mere for pengene. Selvom det opfølgende spørgeskema i tråd med lignende undersøgelser (mere herom om lidt) viste en svagt positiv tendens i brugernes holdning til systemet, så er der i vores øjne stadig tale om en lunken modtagelse. Selvom resultater på SUSskalaen kan diskuteres, kan en gennemsnitlig score på 54.4 under ingen omstændigheder anses som god. I IT- og Telestyrelsens redegørelse citeres tre andre tilfredshedsundersøgelser af Nem- ID. Finansrådet konkluderer, at den altovervejende del af netbankkunderne er tilfredse med den måde, som NemID fungerer på, men der er dog blandt netbankkunderne kritikere, særligt blandt de meget it-kyndige (IT- og Telestyrelsen [16], s5). Vi kan fint ud fra vores undersøgelser genkende dette billede, selvom vi ikke får nærmere defineret, hvad altovervejende dækker over. En anden undersøgelse indikerer, at 77% er tilfredse, og en tredje beretter, at 81% er positive overfor NemID (hvor mulighederne åbenbart kun er enten positiv eller negativ ). Vi vil rent subjektivt mene, at i omegnen af 80% ikke er nok til at kalde noget en succes, ligesom tallenes tvetydighed gør det svært at sige noget konstruktivt ud fra. En stort anlagt undersøgelse foretaget blandt Danske Banks kundepanel på personer (se udvalgte resultater fra denne i Bilag R) konkluderer, at en fjerdedel (24%) overordnet set er utilfredse med NemID, mens hele 19% hverken er tilfredse eller utilfredse. Lige under halvdelen indikerer altså, at de ikke er positivt stemt overfor systemet. Undersøgelsen viser dog også (i tråd med vores egne undersøgelser), at jo længere tid folk har haft deres NemID, jo mere tilfredse bliver de, ligesom det også interessant nok observeres, at flere mænd end kvinder er særdeles utilfredse. Noget, som vores proportionstest i Tabel 15 i afsnit 5.2 også er med til at underbygge. Hele 85% indikerer i undersøgelsen, 101

107 6 Diskussion 6.1 Diskussion af resultater at de ikke kommer til at bruge deres netbank oftere med NemID end før noget som netbankerne ellers gerne havde set som en positiv sidegevinst ved indførelsen af systemet ligesom 61% ikke er enige i, at det er blevet lettere med NemID (i vores undersøgelse er denne andel på 82%). Sidst, men ikke mindst, mener 24%, at det har været besværligt at komme igang med NemID. En anden interessant betragtning i vores undersøgelser har været, at der umiddelbart ikke er de store forskelle at se, hvis man sammenligner på køn, alder, uddannelse, ITfærdigheder og lignende. Vi havde forventet, at der ville være forskelle i svarene givet på tværs af nogle af disse grupperinger, men hverken medierne eller IT- og Telestyrelsen har da heller givet dette nogen større opmærksomhed, måske lige bortset fra de særligt udsatte grupper (ældre og personer med handicap eller funktionsnedsættelser), som der ikke blev tid til at se nærmere på i dette projekt. Visse undersøgelser antyder dog også, at de unge har et mere stramt forhold til NemID end andre aldersgrupper, igen primært på grund af nøglekortets betydning. 35 Nøglekortet Særligt selve nøglekortet, som NemID ofte identificeres med, har vakt stor furore og givet anledning til irritation blandt brugerne noget som medierne i høj grad også har kørt med på. Det virker mærkeligt, at man i 2010 vælger at anvende papkort i stedet for elektroniske løsninger, som alligevel er på vej for NemIDs vedkommende i Hvor meget man end kritiserer de upraktiske og umiddelbart økonomisk tåbelige aspekter af en papkorts-løsning, har der ligget grundige overvejelser og tests forud for beslutningen: Kortet er jo ikke mere sikkert end diverse RSA-tokens og lignende - det er tilsvarende sikkerhed. Årsagen til, at det blev papkort, var, at vi havde testet det på mange brugere. Kan man finde ud af det, kan man forstå sikkerheden i det, kan man forstå at beskytte den del, som man skal beskytte? Og det bongede altså ud til, at et nøglekort er meget nemmere at forstå. Et godt eksempel er, at når de ser sådan en her [RSA-token, red.], så er de i tvivl om, hvordan de her seks cifre er kommet frem, og om det nu er sikkert. Og af en eller anden grund så synes de, det er mere sikkert, at tallene står på et papkort. Opfattelsen er så også, at hvis man får sådan et elektronisk device, efter man har fået et nøglekort, så har man nemmere ved at acceptere det, for det er jo bare et nøglekort, der er digitaliseret. [...] For at det overhovedet kunne lade sig gøre at rulle [NemID] ud på et halvt år, så var det nøglekortsløsningen...der var nogle produktionstekniske årsager til, at vi gjorde det på den måde. Peter Lind Damkjær, DanID (Bilag P) Efter vores mening har DanID måske nok gjort sig overvejelser omkring papkort eller elektronisk løsning, men de efterfølgende undersøgelser har vist, at kritikken af papkortet er langt større end forventet og sandsynligvis er med til at trække helhedsvurderingen af NemID ned noget som i vores øjne ville kunne have retfærdiggjort en længere udrulningsproces eller elektroniske nøglegeneratorer. Førnævnte undersøgelse fra Danske Bank konkluderer da også, at 32% synes, NemID er upraktisk. Det bliver altså interessant at se, hvor mange der kommer til at vænne sig til papkortet eller skifter til mere 35 Se f.eks

108 6 Diskussion 6.1 Diskussion af resultater moderne elektroniske nøglegeneratorer, når disse bliver lanceret senere på året, og hvorvidt dette vil have en positiv indflydelse på brugertilfredsheden. Nøglekortet er og bliver et irritationsmoment for mange brugere, men man skal her overveje, om en elektronisk kodegenerator ikke vil give anledning til samme irritation; den skal blot ikke udskiftes nær så ofte og vil virke mindre oldnordisk. Vi rører her ved det velkendte problem om bekvemmelighed kontra sikkerhed. To faktorer, som oftest modarbejder hinanden. Sikkerheden Særligt sikkerheden i NemID og single-signon-konceptet har fået drøje hug i vores undersøgelser. Folk er ikke glade for at skulle lægge alle deres æg i én kurv, en kurv som er administreret af et privat selskab. En del testpersoner og respondenter har decideret konspiratoriske tanker i forhold til DanIDs rolle som udbyder, særligt i forhold til ikke at have mulighed for at opbevare sin egen private nøgle. Her beroliger DanID igen: ABP: Så i forhold til den gamle signatur vil du mene, at nøglerne er langt mere beskyttede nu? PLD: Helt afgjort! Jeg er sikker på, at hvis man vil angribe systemet, så er det, man skal have fat i brugeren - man ville ikke gå efter serveren. Vi beskytter brugerens nøgler efter samme principper, som vi også beskytter vores CA-nøgler, så hvis jeg var hacker og ville gå efter serveren... Lad os antage, at jeg ikke ville gå efter brugeren (hvilket ville være meget nemmere), men jeg ville gå efter serveren, fordi jeg ville opnå meget magt. Så tror jeg ikke, jeg ville gå efter den server, hvor brugeren havde deres private nøgler liggende. ABP: Du ville gå efter CA ens? PLD: Ja, for så kan jeg lave mine egne identiteter, som jeg har lyst til. Det ville være meget mere magtfuldt end at gå efter brugernes nøgler. Så kan jeg opfinde mine egne identiteter, også på folk, som slet ikke er oprettet i systemet - dem kan jeg selv opfinde og lave certifikater til. Så jeg kan godt forstå kritikken, men det er måske mere ud fra en akademisk synsvinkel end ud fra den praktisk, sikkerhedsmæssige løsning. [...] Så hvis vi var onde, kunne vi bare bruge CA-nøglerne til at lave nogle nye private nøgler til eget brug, det havde vi ikke brug for brugernes private nøgler til at gøre. Peter Lind Damkjær, DanID (Bilag P) Så de konspiratoriske teorier og nervøsitet er nok mere et udtryk for holdninger end reel frygt for, at DanID skulle gå ud og misbruge identiteter. Det er dog interessant, at så mange har en forudindtaget holdning til NemID og sikkerheden i systemet. Vi begrunder i høj grad dette med mediernes dækning, som har været ganske massiv og mestendels negativt ladet. NemID er af medierne blevet døbt SværID og mange andre navne, er blevet spået umiddelbar og hurtig fiasko, blevet beskyldt for at have en uhørt høj nedetid og lignende. Særligt i spørgeskemaundersøgelserne er mange respondenter gået særdeles hårdt til koncepterne, selvom de efterfølgende ikke har bedømt systemet specielt dårligt på de forskellige udstukne kriterier. Vi tror, at dette bunder meget i uvidenhed om de forholdsvis komplekse sikkerhedsmæssige mekanismer, der gemmer sig bag facaden, samt en udpræget det gamle virkede jo fint nok, hvorfor skal vi have noget nyt -mentalitet. For langt de fleste brugere vil vi dog mene, at nøglerne nu er væsentlig bedre beskyttet end på brugerens egen PC. 103

109 6 Diskussion 6.1 Diskussion af resultater Der er dog også faktorer i NemID, som uundgåeligt vil blive set som kritiske: man-inthe-middle-angreb (som vi så på i afsnit 3) og det faktum, at et nøglekort kan kopieres uden brugerens vidende det kan en elektronisk kodegenerator ikke. Ligeledes har mange brugere allerede scannet deres nøglekort ind på computeren eller telefonen, så de ikke behøver finde det hver gang. Noget, som DanID på det kraftigste har frarådet, men som man bestemt ikke kan fortænke folk i at gøre. En anden overvejelse er, at mange mennesker sandsynligvis vil have deres nøglekort i pungen, ved siden af flere kort indeholdende deres CPR-nummer. Hermed er halvanden af de to faktorer i hus for eventuelle lommetyve eller mere målrettede elektroniske tyvebander. 36 Her vil en elektronisk nøglegenerator igen kunne sænke risikoen en smule. Hertil kommer de store problemer med midlertidige adgangskoder og velkomstbreve modtaget samme dag, fadæsen med nemid.dk og andre hændelser, som bestemt heller ikke har været med til at hæve NemIDs troværdighed. Uanset de ovenstående trusler mod sikkerheden i systemet må vi dog erkende, at NemID overordnet virker som en klar forbedring af sikkerheden, hvilket primært må tillægges den ægte to-faktorsikkerhed og den øgede uafhængighed af sikkerheden på den enkelte borgers PC Relation til Userminds testrapporter Som sidste punkt inden opsummeringen vil vi i dette afsnit se nærmere på den testrapport, som firmaet Userminds har udarbejdet, og som blev præsenteret i afsnit Selvom vi ikke kender de direkte forudsætninger, som Userminds test er baseret på, vil vi alligevel tillade os at relatere vores undersøgelser til deres. Dette gør vi primært for at illustrere nogle af de forudsætninger og teknikker, som muligvis kunne have været med til at undgå en stor del af de mange usabilityproblemer, som vi har identificeret i dette speciale. Overordnet signalerer det udleverede materiale, at IT- og Telestyrelsen og DanID har gjort sig stor umage for at teste de forskellige aspekter af produktet inden lancering. Vi har en del kommentarer og indvendinger, som vi gengiver herunder. Mange af forholdene vil givetvis være fastlagt i de rammer, som Userminds har arbejdet under, og disse skal de selvfølgelig ikke klandres for. Skal vi relatere Userminds opgaver til vore egne, har vi følgende overlap af opgaver: Oprettelse af NemID Oprettelse af adgangskode Oprettelse af brugernavn Tilknytning af digital signatur til NemID Logon med adgangskode og brugernavn Logon med nøgle 36 DanID har dog efterfølgende tilføjet muligheden for at deaktivere login med CPR-nummer via selvbetjeningen på NemID.nu. De er dog gået meget stille med dørene omkring denne udvidelse, så det er uvist, hvor stor en effekt det rent faktisk vil have for den almindelige bruger. 104

110 6 Diskussion 6.1 Diskussion af resultater På ovenstående liste mangler et- og to-faktorsignering med NemID, men af hensyn til testpersonernes privatliv og ønsket om ikke at tvinge dem til at foretage ufrivillige eller irreversible handlinger, har dette ikke været en mulighed i vores tests. Lokation og forbehold for tænke-højt På samme måde som i vores egne undersøgelser er konceptet for tænke-højt selvfølgelig også en smule kunstigt i Userminds test. Den store forskel er dog, at der her er testet i et usability-laboratorium og med samme computer, styresystem (Windows) og browser (interessant nok Firefox) for samtlige testpersoners vedkommende. På dette punkt vil vi mene, at vores tests er mere virkelighedsnære, idet vi pånær et enkelt tilfælde har foretaget vores undersøgelser i testpersonens vante omgivelser og på egen computer. Userminds procedure må anses for at være standarden inden for denne type test, men da det testede system skal anvendes i så bredt omfang og stiller så forholdsvis høje krav til softwaren på computeren, burde man måske nok have forsøgt sig med flere forskellige typer brugermaskinel. Vi må desuden antage, at der forud for disse brugervenlighedstests har ligget et stort arbejde med systemtests på forskellige platforme, og at dette selvfølgelig ikke er Userminds primære fokus. Snæver aldersgruppe Selvom Userminds har testet på hele 22 testpersoner (hvilket er ret mange i THTsammenhæng), er aldersgruppen indsnævret til år. Igen har vi af omveje erfaret, at DanID tilsyneladende også har testet systemet på en gruppe ældre mennesker, men noget sådant har vi trods vores aktindsigt ikke fået udleveret materiale om. Det er dog næsten sikkert, at DanID har undladt at teste systemet på den yngste og måske umiddelbart mest kritiske målgruppe. Her fandt vi i vores undersøgelser nogle af de mest kritiske task failures. Manglende live-test De udførte tests er som sagt foretaget på en prototype, og derfor har systemet i sagens natur været nogenlunde fri for overbelastning og kryptiske fejlmeddelelser. Vi savner dog en test af systemet i mere realistiske omgivelser hvordan kan DanID for eksempel have overset den særdeles skjulte måde at tilknytte OCES-certifikat for begge vores unge testpersoner, eller de manglende fejlbeskeder om genbrugt midlertidig adgangskode, som først kom frem det tredje sted, testpersonen forsøgte at starte aktiveringen. Testleders involvering Ud fra spørgerammen bagerst i testrapporten virker det i vores øjne, som om testlederen har spurgt og guidet testpersonerne mange gange undervejs i opgaveløsningen. Dette både for hele tiden af spørge ind til testpersonernes holdning til skærmbilleder eller systemets opførsel, samt for at guide testpersonen videre til næste trin i opgaven. Et eksempel fra spørgerammen: Hvilke muligheder har du på siden? [Forstår man mulighederne?] Hvad synes du om mulighederne? Hvorfor? [Synes man det er relevant at tilknytte den digitale signatur til sit NemID?] Hvad vil du gøre hvis du er i tvivl om hvad du skal gøre her, hvor vil du søge hjælp? [Vil man bruge support linket der ligger udenfor appletten?] 105

111 6 Diskussion 6.1 Diskussion af resultater Du må godt forsætte. [...] Jeg kan se at du valgte [Ja, Nej], hvorfor gjorde du det? [...] Hvad synes du om den information du får her? Beskriv, hvordan du forstår den information, du får her Hvad sker der når du vælger / ikke vælger at tilknytte digital signatur til dit NemID? Jeg vil bede dig om at vælge [Ja eller nej det modsatte af hvad brugeren lige har valgt]. Pedersen og Holst [27], s50n På denne måde går testforløbet fra at være klassisk observerende til at være meget mere styrende fra testleders side. Lidt ligesom at indlægge ultrakorte debriefinger efter hvert eneste trin i en opgave. Userminds har selvfølgelig fået til opgave at teste samtlige aspekter af systemet, men dette kan opnås ved at gøre opgaverne forskellige fra gang til gang at indlægge mere styring i opgavens formulering og mål. Den anvendte metode er selvfølgelig med til at maksimere mængden af information givet fra testpersonen, men det er bestemt også medvirkende til at gøre forløbet mere instrumentelt og unaturligt noget som vi bevidst har forsøgt at undgå i vores undersøgelser for at gøre dem mere realistiske og strømlinede. Bestilling af ekstra nøglekort I deres test af NemID.nu konstaterer Userminds, at deltagerne har let ved at bestille ekstra nøglekort. Der er ikke identificeret problematikker specifikt knyttet hertil. Det kan Userminds jo have ret i, og vores tests viste da heller ikke større problemer med selve bestillingen så snart testpersonerne fandt den rigtige hjemmeside. Dette er endnu et eksempel på, at de udførte tests kunne være foretaget tættere på det realistiske scenarie, hvor brugeren starter på en tilfældig hjemmeside. Vi anser det heller ikke for realistisk, at en bruger skal foretage 4-5 forskellige handlinger i træk på selvbetjeningen på NemID.nu (som testen har simuleret), men blot skal derind en sjælden gang for eventuelt at bestille et ekstra nøglekort. Klassifikation og gruppering af problemer Userminds har valgt at anvende deres egen klassifikation af de 56 fundne usabilityproblemer. De har ligeledes valgt at gruppere problemerne efter alvorlighedsgrad snarere end efter overordnet emne. Denne rangordning er selvfølgelig kendetegnende for vi ordner de kritiske først -mentaliteten, men vi vil ikke vurdere, hvorvidt vores egen anvendte metode er bedre her dog blot pointere, at er der et tilstrækkeligt antal semi-kritiske problemer i en bestemt gruppe, kan man efter vores mening tillade sig at hæve gruppens overordnede klassifikation. Der er i Userminds tilfælde tale om test af et isoleret system, hvorimod vi har testet mere bredt og derfor haft et større behov for overblik i form af problemgrupperinger. Primære identificerede udfordringer Med hensyn til de primære identificerede problemområder er Userminds og vores resultater tæt på hinanden. Userminds fremhæver forståelse af konceptet, utilfredshed med nøglekort samt sikkerheden i nøglekortet som de væsentligste mangler ved systemet, hvilket harmonerer udmærket med vores identificerede problemområder. 106

112 6 Diskussion 6.1 Diskussion af resultater Opsummering På baggrund af ovenstående diskussion vil vi nu forsøge at indsnævre og redefinere spørgsmålet om, hvorvidt NemID indtil videre er en succes. For at komme svaret nærmere, er vi nødt til at se på forskellige kriterier for succes. Hvis vi umiddelbart snakker om en succes med hensyn til udbredelse, kan NemID ikke undgå at blive en succes. Tallene for januar siger over 2.3 millioner brugere, og antallet af anvendelser indtil videre er nået godt over 100 millioner. På seks måneder har NemID formået, hvad den gamle digitale signatur ikke kunne på 7-8 år, så på dette punkt må NemID siges at være en succes man har dog ikke kunnet nå det ambitiøse mål med 3 millioner brugere inden udgangen af 2010, men der er ikke lang vej igen. Bagsiden af medaljen er her for mange brugere, at NemID er en tvunget succes. Bankernes centrale rolle i den korte og særdeles agressive udrulningsstrategi, samt det faktum at de fleste netbanker omkring årsskiftet udelukkende understøtter NemID som login, er med til at presse brugerne til at anvende systemet. Læg hertil at staten og de offentlige tjenester gør noget lignende inden for ganske kort tid, samt at de gamle digitale signaturer ikke længere bliver fornyet, og man har en fuldbyrdet påtvunget løsning for borgere, som gerne vil udnytte øget selvbetjening på nettet. Fordelene for de parter, der er involveret i udvikling og implementering af NemID, er klare: øget selvbetjening frigiver værdifulde og dyre medarbejdertimer, mindsker papirarbejde, forsimpler arbejdsgange og mindsker sagsbehandlingstider på grund af øget digitalisering. Indtil videre har den store uforudsete ulempe så til gengæld været markant øgede udgifter til support, men på lang sigt vil vi umiddelbart vurdere NemID som en fornuftig investering. Og fordelene for forbrugerne? Tvangsløsning lyder umiddelbart voldsomt, for hovedparten af forbrugerne er som sagt tilfredse med systemet eller gider ikke brokke sig, for hvad nytter det? I vores øjne gives forbrugerne klart en fordel, i og med at det nu er den samme løsning, der i princippet vil kunne anvendes til nærmest alle transaktioner eller beslutninger på nettet. Learnability vil naturligvis også gå stærkere, jo flere anvendelser der er tale om. Vel at mærke kun hvis brugerne bliver ved med at anvende selvbetjeningsløsninger i samme omfang som før noget som tallene fra Danske Banks brugerpanel giver blandede udsigter for. dog vil der efter vores mening også komme flere private selskaber, der skifter til NemID, selvom der har været stor kritik af priserne for at koble sig på systemet. For nylig bekendtgjorde Den Blå Avis, at de fremover tilbyder logon med NemID på deres højtbesøgte site. Sådanne tiltag vil givetvis være med til at øge forbrugernes incitament til at anvende NemID. Det ændrer dog ikke på, at selvom der er muligheder nok for anvendelse, så kan systemet på ingen måde siges at være vellidt. Både vores egne samt flere eksterne undersøgelser bekræfter, at NemID scorer middelmådigt på de fleste parametre, og nøglekortet bærer en stor del af skylden for dette. Havde DanID valgt den elektroniske løsning i stedet (uagtet deres indledende undersøgelser), havde der efter vores mening været en langt mere positiv holdning til systemet. DanID er også stået overfor den massive opgave at forklare danskerne, at systemet er sikkert, og at nøglekortet umiddelbart er den bedste løsning både økonomisk, praktisk og sikkerhedsmæssigt. Denne opgave har DanID ikke kunnet løfte tilfredsstillende, i vores øjne til dels på grund af en for ambitiøs udrulningsperiode og for mange uheldige smuttere undervejs. Medierne har uheldigvis prompte fulgt trop i kritikken, sandsynligvis båret af dårlige erfaringer fra 107

113 6 Diskussion 6.2 Diskussion af metode tidligere offentlige IT-projekter, og har efter vores mening haft en afgørende betydning for NemIDs middelmådige subjective satisfaction. Systemet i sig selv lider af nogle fejl og uhensigtsmæssigheder, men er efter vores mening på de fleste punkter udmærket og usability-mæssigt og sikkerhedsmæssigt en klar forbedring i forhold til den gamle digitale signatur vel at mærke så snart man kommer i gang med det. Det har været skræmmende og må anses som uacceptabelt at se det i vores øjne store antal testpersoner og respondenter, der ikke selvstændigt har kunnet aktivere deres NemID, men umiddelbart er det svært at genkende et mønster i fejlene. Sikkerhedsmæssigt er der ligeledes konstateret store mangler i kommunikationen og forståelsen for systemets virkemåde, og in mente skal selvfølgelig holdes pointen med alle æg i samme kurv. Den sidste vil vi lade være op til den enkelte forbrugers sikkerhedsopfattelse under alle omstændigheder kan vi ikke tilslutte os konspirationsteoretikernes frygt. En god start ville her være at offentliggøre mere letforståelig dokumentation og forklaring af NemIDs virkemåde og sikkerhed. Noget, som vi har haft svært ved at opdrive til dette projekt. Vi afrunder dette afsnit med en kommentar fra Peter Lind Damkjær på det afsluttende spørgsmål om, hvornår NemID bliver en fuldblodet succes: Det er for mig at se en fuldblodet succes. Vi har rullet en infrastruktur ud på et halvt år, hvor de undersøgelser, vi har lavet, IT- og Telestyrelsen har lavet, Danske Bank har også lavet en undersøgelse, viser, at langt hovedparten af brugerne er enten meget tilfredse eller tilfredse med denne her løsning. Tendensen er, at jo længere tid man har haft det, hvor man kan se synergieffekterne af, at man kan gå ind flere forskellige steder med den samme løsning, jo bedre. Så det er for mig at se en succes, hvor vi har rullet en løsning ud, som i store træk fungerer vi har haft nogle driftsnedbrud i forbindelse med udrulningen her. Vi har haft nogle fejl, som jeg meget meget gerne ville have været foruden omkring forsendelse af PIN-breve og midlertidige adgangskoder. Men bortset fra det så har vi en infrastruktur, som faktisk er rimelig stabil og er accepteret af langt hovedparten af de brugere, der har fået det her, mere eller mindre uden at de har valgt det selv. Vi har folk, der kommer fra Japan for at se, hvad det her det er for noget og er vildt begejstrede over, at vi har kunnet lave det her. Peter Lind Damkjær, DanID (Bilag P) 6.2 Diskussion af metode Efter at have diskuteret de fremkomne resultater vil i dette afsnit for hver undersøgelse kritisk diskutere metodevalget og sammenholde dette med Userminds fremgangsmåde. Vi vil også komme med gode råd og best practice baseret på de erfaringer, vi har oparbejdet undervejs i processen Tænke-højt test Overordnet er vi tilfredse med planlægning og gennemførsel af de udførte THT er. Som vi også nævnte tidligere, havde det været passende med en mere bred fordeling af testpersoner på de fire definerede grupper, men på trods af de små udsving i respondentgruppen, har testpersonerne i høj grad vist sig at kunne bidrage til en meget bred og forskellig 108

114 6 Diskussion 6.2 Diskussion af metode identifikation af usabilityproblemer i systemet. Jævnfør diskussionen om antallet af testpersoner ville de ni til denne test ikke være nok der blev stadig hos P09 fundet nye usabilityproblemer, og man kunne derfor sagtens have inkluderet endnu 2-3 testpersoner. Vi står med andre ved vores valg af metode og kunne som eneste anke have tænkt os en bedre fordeling af testpersoner og gerne et større antal. En almindelig anke ved brug af THT er er den kunstige situation, som undersøgelsen uvægerligt vil præsentere testpersonen for. I dette tilfælde er det dog vores opfattelse, at dette ikke har haft nogen nævneværdig indflydelse på testpersonerne tværtimod. Testleder og observatør har forholdt sig så neutralt som muligt for at give testpersonen plads til at være sig selv. En meget væsentlig faktor heri er også valget af, at testpersonerne i videst mulig omfang har deltaget i undersøgelsen på deres egne forudsætninger: i vante omgivelser og med deres egen computer til rådighed. Dette har efter vores mening skabt større tryghed hos testpersonen og fået vedkommende til at opfatte opgaven som mere personlig og relevant. Userminds har i deres tests placeret testpersonerne i et usabilitylab og bedt dem anvende en fremmed (men altid den samme) computer noget som de også selv pointerer som forbehold. I nærværende undersøgelse er disse forbehold med succes forsøgt minimeret. For at bidrage en smule til best practice kan vi ikke understrege nok, hvor stor en betydning forberedelsen af denne type test har. Selvom de udførte tests må siges at ligge et sted mellem discount og full-blown, har det været særdeles givtigt at kunne præsentere en velforberedt og struktureret undersøgelse for de deltagende testpersoner. Det har ligeledes været en fordel i den efterfølgende behandling af resultaterne, at der er blevet grundigt tænkt over brugen af de opsamlede data inden undersøgelsen, ligesom det i den forbindelse klart kan anbefales at være mindst to om at udføre sådanne undersøgelser en enlig testleder havde ikke kunnet observere eller notere i nærheden af det antal problemer, som denne undersøgelse har kastet af sig. En væsentlig forudsætning for vellykkede tests er testlederens opførsel og mængden af hjælp givet undervejs. For nogle af de ni testpersoners vedkommende har det været nødvendigt med flere og store interventioner fra testleders side, ligesom en del hjælp har været nødvendig undervejs. Rollen som testleder er særdeles svær, og arbejdet med at teste NemID har været uforudsigeligt grundet systemets uventede opførsel er vi flere gange blevet kastet ud i situationer, som normalt ville have sat testen i stå uden at testpersonen havde kunnet gennemføre. Hverken Kasper Hansen eller undertegnede er rutinerede testledere, og det har været en del af udfordringen at få vores forskellige implementationer af rollen til at hænge sammen for at skabe konsistente resultater. CUT-seancerne De indlagte CUT-seancer har vist sig særdeles givtige i forbindelse med at afdække forståelsesmæssige problemer og holdninger til koncepter, og som dermed kan skabe unødig bekymring eller overraskelse. Det havde været interessant at foretage tests med og uden CUT-seancer for at sammenligne det direkte udbytte af seancerne, men dette har ikke været vores primære fokus med de udførte tests. Desuden har vi på grund af CUT-seancernes særskilte natur nemt kunne adskille de i seancerne identificerede problemer fra de resterende, hvilket tydeligt har vist deres potentiale som problemidentificerende redskab i forlængelse af konceptuelt tunge, men tidsmæssigt 109

115 6 Diskussion 6.2 Diskussion af metode korte opgaver. Udover at have bidraget med unikke identificerede problemer, har CUTseancerne efter vores mening bidraget med større præcision og uddybning set i forhold til en almindelig debriefing, ligesom de har været med til identificere problemer helt op i klasse Q Første spørgeskema Til det første spørgeskema har vi ikke mange kommentarer til metoden, da den overordnet set har udført sin opgave fuldt ud. Spørgeskemaet har leveret de forventede resultater, og der har været overraskende få (hvis nogen) fejltolkninger af de stillede spørgsmål. Dette er uden tvivl på grund af de mange timer der er lagt i research og udarbejdelse af skemaet, men dette har i sidste ende betydet en minimering af tolkbare resultater og en mere direkte og ikke-arbejdskrævende efterbearbejdning af de modtagne data. Vi vil desuden igen komme med en kraftig anbefaling af Google Docs som redskab til udformning af skema og indsamling af data værktøjet er gratis og er i konstant udvikling og udbredelse og har efter vores mening stort potentiale inden for gratis online-undersøgelser. Best practice for elektronisk rekruttering Den nok største udfordring ved spørgeskemaet har været rekrutteringen af respondenter. Vi valgte efter nogle mislykkede forsøg med fagforeninger at distribuere skemaet udelukkende gennem sociale medier og internetbaserede fora. Dette viste sig at være en farbar, men ikke helt ukompliceret vej, og vi vil derfor nu opstille nogle forslag til huskeregler eller kriterier for elektronisk rekruttering af respondenter via sådanne medier: Credibility: Det skal i videst mulig omfang skinne igennem i invitationen, at der er tale om en seriøs undersøgelse fra en respektabel institution. Selvom det kortlink, som vi af praktiske årsager anvendte, gjorde det lettere at henvise til undersøgelsen, lagde det også et slør over, hvor det henviste til. Her ville det have været bedre at gengive det direkte link, og endnu bedre at have fået tildelt et officielt link på KUs servere, så de potentielle respondenter havde mulighed for at gennemskue afsenderen af undersøgelsen og afkræfte enhver tvivl om lumske hensigter som f.eks. phishing. Credibility er et mindre problem på Facebook, hvor invitationen i første omgang udsendtes til en velkendt vennegruppe, som kunne bekræfte undersøgelsens autenticitet, og derefter kunne videresende invitationen og den nu tilknyttede autenticitet (meget i stil med hvordan PGP 37 fungerer) og opbygge en form for trusted network. Flere forumbrugere udtrykte deres mistillid til det postede link, men så snart en anden forumbruger havde vovet sig ud i at gennemføre undersøgelsen og berettede herom, forstummede mistilliden. Transparency: Det skal tydeligt fremgå af invitationen, hvem afsenderen er, og hvad undersøgelsen går ud på. De fleste fora på nettet kræver oprettelse af en brugerprofil for at kunne poste indhold her vil det være en fordel at give så fyldestgørende og officielle informationer som muligt, så man sætter den mulige respondent i stand til at vurdere ens baggrund nærmere. Det er omvendt selvfølgelig heller ikke meningen, at spørgeren skal udlevere samtlige personlige oplysninger 37 PGP: Pretty Good Privacy. Et meget udbredt open-source standard for kryptering af f.eks. mails, oprindeligt baseret på et web of trust. Se mere på Good Privacy. 110

116 6 Diskussion 6.2 Diskussion af metode om sig selv. Igen har Facebook her en fordel på førstnævnte punkt, hvorimod offentlige fora har et hav af mere eller mindre ukendte brugere uden reel tilknytning til andre brugere på sitet. Anonymity: Respondenternes anonymitet skal garanteres tidligst muligt i forløbet, særligt når invitationen spredes på offentligt tilgængelige fora med navngivne (men ikke nødvendigvis indbyrdes velkendte) brugere. Brevity: Fat dig i korthed. De fleste brugere af offentligt tilgængelige tjenester vil hurtigt forbigå invitationen, hvis den kræver mere end sekunder at gennemskue meningen bag. Kortfattetheden bør dog altid vægtes i forhold til de resterende kriterier. En måde at implementere kortfattetheden på er ligesom i denne undersøgelse at linke ikke til selve spørgeskemaet men til en hjemmeside med mere information, så besøgende ud fra denne mere fyldige beskrivelse kan vurdere, om de har lyst eller mulighed for at deltage i undersøgelsen. Relevance of recruitment: Invitationer til undersøgelser skal postes, hvor der forefindes relevante respondentgrupper. Det nytter ikke meget at poste en invitation til en læserundersøgelse af et mandemagasin på et forum for vordende mødre. Brug eventuelt en linie på at beskrive, hvorfor netop læseren af denne post er interessant for undersøgelsen. Her kan ligeledes beskrives eventuelle præmier eller kompensation for deltagelse i undersøgelsen. Information usage: Det skal fremgå tydeligt, til hvad og hvordan de indsamlede informationer bruges. Dette kriterium er vigtigt både af hensyn til respondentens tryghed men kan også være med til at illustrere relevansen af undersøgelsen hvorfor det er vigtigt, at den enkelte respondent bør vælge at deltage. Det kan med andre ord være med til at overtale den potentielle respondent. Informed consent: En sidste huskeregel er at gøre respondenten opmærksom på, hvad vedkommende giver sit samtykke til ved deltagelse i undersøgelsen. Dermed ikke sagt, at der skal udlægges en fuld samtykkeerklæring, men måske blot et kort Jeg har læst, forstået og accepteret beskrivelsen og vilkårene for undersøgelsen og bekræfter hermed min deltagelse. En sådan samtykkeerklæring vil dog som oftest finde plads i starten af selve undersøgelsen eller på førnævnte introduktionsside. Relevance of recruitment er i sig selv omfattende, da det er notorisk svært at finde fora på nettet, som giver mening for bestemte undersøgelser. Dette på trods af, at der rundt omkring findes fora (og Facebook-grupper) for næsten alle tænkelige emner den store udfordring er at finde dem. Heldigvis har langt de fleste fora intet imod posts af denne art (de strider ikke imod forummets retningslinier), så længe invitationen udstråler høj relevance of recruitment. En anden overvejelse, man kan gøre sig her, er, hvordan man breder en sådan undersøgelse ud til folk, der kun sjældent anvender internettet. I forhold til rekrutteringsmetoden er vi umiddelbart positivt overrasket over, at vi har kunnet få så forholdsvis mange besvarelser udelukkende fra Facebook og elektroniske fora på nettet. Der kunne sandsynligvis have været en del flere, hvis vi havde fået lov til at distribuere et link gennem en organisation eller virksomhed. Det har dog været et særdeles interessant og udfordrende projekt, som mange forhåbentlig vil afprøve senere 111

117 6 Diskussion 6.2 Diskussion af metode hen, også i mere struktureret form. De ovenstående pointer kan forhåbentlig være en hjælp hertil Opfølgende spørgeskema Givet den forholdsvis høje svarprocent på 71.7 for det opfølgende spørgeskema, er vi også her ganske godt tilfredse. I forhold til det første spørgeskema har der her dog været visse tilfælde, hvor respondenterne formodentlig har misforstået det første spørgsmål (antallet af brugte koder), hvilket derfor skulle være formuleret anderledes. En anden væsentlig anke er, at vi, som tidligere nævnt, ikke har haft mulighed for at korrellere den enkelte respondenters svar, da vi ikke har kunnet genkende respondenter mellem de to spørgeskemaer. Man kunne have gjort dette ved at tildele hver enkelt respondent i første spørgeskema et identifikationsnummer, som man så sendte ud som et særligt link til det opfølgende skema, men det ville næsten sikkert føre til mere arbejde på respondentens side eller uforholdsmæssigt meget fra vores side. Det blev derfor tidligt i forløbet fravalgt, men retrospektivt fortryder vi dette valg. Det opfølgende skema har ikke givet det udbytte, man kunne have forventet, og konklusionerne ud fra besvarelserne er da også i bedste fald tendentiøse og ikke statistisk underbyggede. De giver dog stadig interessante informationer omkring den daglige brug af NemID samt giver et hint om learnability og den mere langsigtede subjective satisfaction for produktet. 112

118 7 Konklusion Vi har i dette speciale set nærmere på brugervenligheden af NemID. Indledningsvist har vi set, at der teknisk er stor forskel på, hvordan de to systemer fungerer, at NemID (umiddelbart) er sikrere, og at NemID på ganske kort tid har nået større, omend nærmest tvungen, udbredelse end den digitale signatur har kunnet på 7-8 år. NemID bør ikke anses som et fuldstændig sikkert system, og der er stadig mulighed for forholdsvis simple angreb, som dog er afhængige af brugerens generelle opførsel og kendskab til online-tjenester. Vi har ligeledes set på den kritik, der har været af NemID i medierne og forsøgt at udrede nogle af de misforståelser, som allerede har formet sig om dette komplekse system. I forhold til teknik, sikkerhed og udbredelse kan NemID efter vores mening derfor kaldes en succes og en forbedring. Som specialets primære omdrejningspunkt har vi planlagt og gennemført to forskellige typer evalueringer af NemID: tænke-højt og elektroniske spørgeskemaer i to stadier. Undersøgelserne er bygget på solidt fagligt grundlag og anvender videnskabeligt anerkendte metoder til indsamling og bearbejdning af data. Vi er desuden kommet med best practice i forhold til udelukkende online distribution og udformning af spørgeskemaer. Undervejs i undersøgelserne har vi afprøvet cooperative usability testing, som i kraft af dens umiddelbare placering efter korte men konceptuelt komplekse opgaver har været i stand til at identificere usabilityproblemer, som ellers ikke ville være blevet opsamlet i debriefingen, hvor den konkrete opgave for testpersonen er tidsmæssigt længere væk. Vi har dermed vist, at CUT-teknikken kan anvendes som et godt supplement til mere traditionel tænke-højt, i direkte forlængelse af kortere opgaver og ikke kun i form af den længere efterfølgende seance, som teknikken oprindeligt lægger op til. På trods af DanIDs egne tests har vi under analysen af resultaterne identificeret 185 unikke usability-relaterede observationer, hvoraf for mange i vores øjne må anses som alvorlige. De identificerede observationer viste sig under grupperingen primært at dreje sig om en mangel på forståelse af de bagvedliggende koncepter, single-signon, nøglekortet og en generelt middelmådig tilfredshed med systemet. En del kritiske problemer relaterede sig direkte til aktiveringen, som henholdsvis fire ud af nu (tænke-højt) og ca. 10% (spørgeskemaer) ikke selvstændigt kunne gennemføre. Begge tal indikerer i vores øjne generelle problemer med systemet noget som lignende undersøgelser og tal bekræfter. Særligt nøglekortet og det ikke direkte til NemID hørende single-signon er blevet vurderet som henholdsvis irriterende, uforståeligt og overraskende. DanID og IT- og Telestyrelsen står her overfor nogle store udfordringer, hvis de ønsker at forbedre folks holdning til systemet samt den konceptuelle forståelse af systemets sikkerhed og virkemåde. Interessenterne bag systemet virker dog umiddelbart særdeles lydhøre overfor kritik og har indledt en del initiativer, der forhåbentlig kan være med til at ændre befolkningens holdning inden for den kommende tid, ligesom en ikke uvæsentlig del af utilfredsheden må kunne tilskrives generel tilvænningstid. Vi anser dette speciale som et kontruktivt indspark i denne proces, men det ændrer dog ikke på, at sammenfatter man ovenstående problemstillinger, kan vi i forhold til brugervenlighed på nuværende tidspunkt ikke kalde NemID en succes. 113

119 Litteratur Litteratur Litteratur [1] M. Bosnjak og T. L. Tuten. Prepaid and Promised Incentives in Web Surveys - An Experiment. Social Science Computer Review, 21(2): , [2] J. Brooke. SUS: A quick and dirty usability scale. I P. Jordan, B. Thomas, B. Weerdmeester, og I. McClelland, redaktører, Usability Evaluation in Industry. Taylor and Francis, London, U.K., [3] J. Cohen. A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement, 20(1):37 46, April [4] K. A. Ericsson og H. Simon. Protocol Analysis: Verbal Reports As Data. MIT Press, Cambridge, MA, [5] E. Frøkjær og K. Hornbæk. Cooperative Usability Testing: Complementing Usability Tests with User-Supported Interpretation Sessions. CHI 05 Extended Abstracts on Human Factors in Computing Systems, side , [6] S. Greenberg og B. Buxton. Usability Evaluation Considered Harmful (Some of the Time). I Proceedings of the CHI 2008 Conference: Human Factors in Computing Systems, side ACM Press, New York, [7] K. Hansen. Usability-evaluering af NemID, November Kandidatprojekt ved Datalogisk Institut, Københavns Universitet. [8] M. Hertzum, K. D. Hansen, og H. H. Andersen. Scrutinizing usability evaluation: Does thinking aloud affect behaviour and mental workload? Behaviour & Information Technology, 28(2): , [9] K. Hornbæk og E. Frøkjær. Comparison of techniques for matching of usability problem descriptions. Interacting wih Computers, 20(6): , [10] IT- og Telestyrelsen. Digital Signatur - Infrastrukturen til digital signatur, URL infrastruktur.pdf. Sidst tilgået: 31. januar [11] IT- og Telestyrelsen. Digital Signatur - OCES en fælles offentlig certifikat-standard, URL vejledninger/oces.pdf. Sidst tilgået: 24. februar [12] IT- og Telestyrelsen. Digital Signatur - Forudsætninger og fordele, URL Sidst tilgået: 24. februar [13] IT- og Telestyrelsen. Undersøgelse af den danske befolknings holdning til it-sikkerhed, URL befolkningsundersogelse%20til%20offentliggorelse%20-%20pdf-format. pdf. Sidst tilgået: 27. februar

120 Litteratur Litteratur [14] IT- og Telestyrelsen. Certifikatpolitik for OCES-personcertifikater (Offentlige Certifikater til Elektronisk Service), URL dk/pdf/ca/poces%20certifikatpolitik%20version%204%20signeret.pdf. Sidst tilgået: 31. januar [15] IT- og Telestyrelsen. Sikkerhedskonceptet vedrørende NemID, URL http: // Sidst tilgået: 30. januar [16] IT- og Telestyrelsen. Redegørelse fra taskforce til kvalitetssikring af NemID, URL pdf. Sidst tilgået: 30. januar [17] N. E. Jacobsen, M. Hertzum, og B. E. John. The Evaluator Effect in Usability Tests. CHI 98 conference summary on Human factors in computing systems, April [18] G. Lindgaard og J. Chattratichart. Usability Testing: What Have We Overlooked? I Proceedings of the CHI 2007 Conference: Human Factors in Computing Systems, side ACM Press, New York, [19] Ministeriet for Videnskab, Teknologi og Udvikling. Lov om elektroniske signaturer, URL Sidst tilgået: 10. marts [20] Ministeriet for Videnskab, Teknologi og Udvikling. Aktstk. 205: Indgåelse af kontrakt med DanID om digital signatur i , URL samling/20072/aktstykke/aktstk.205/aktstykket/ pdf. Sidst tilgået: 31. januar [21] E. Møberg, A. H. Danielsen, T. T. Damgaard, S. Christensen, S. Weeke, N. Bundgaard, A. M. Christoffersen, E. Jørgensen, J. Primault, P. Nørregaard, M. Kandel, M. Eberhard, og M. Hartmann, redaktører. IT i praksis Rambøll Management Consulting A/S, [22] R. Molich. User testing, discount user testing Sidst tilgået: 17. marts 2011 (fra [23] R. Molich. Regler for standardtest af brugervenlighed, URL dialogdesign.dk/tekster/regler.pdf. Sidst tilgået: 3. februar [24] R. Molich og J. S. Dumas. Comparative Usability Evaluation. Behaviour & Information Technology, 27(3): , [25] J. Nielsen. Why you only need to test with 5 users. alertbox/ html, Marts Sidst tilgået: 17. marts [26] A. A. Ozok. Survey Design and Implementation in HCI. I A. Sears og J. A. Jacko, redaktører, The Human-Computer Interaction Handbook: Fundamentals, Evolving Technologies, and Emerging Applications, kapitel 58, side Lawrence Erlbaum Associates, 2. udgave,

121 Litteratur Litteratur [27] C. D. Pedersen og T. Holst. Gennemførelse af prototype test af NemIDs logon applet. Technical report, Userminds, Juni Udleveret ved aktindsigt. [28] C. P. Pfleeger og S. L. Pfleeger. Security in Computing. Prentice Hall, 4. udgave, [29] R. Rivest, A. Shamir, og L. Adleman. A Method for Obtaining Digital Signatures and Public-Key Cryptosystems. Communications of the ACM, 21: , [30] C. Robson. Real World Research. Blackwell Publishing, 2. udgave, [31] J. Rubin og D. Chisnell. Handbook of Usability Testing. Wiley Publishing, Inc., 2. udgave, [32] B. Schneiderman og C. Plaisant. Designing the User Interface. Addison-Wesley Publishing Company, USA, 4. udgave, [33] B. Schneier. Secrets & Lies: Digital Security in a Networked World. John Wiley & Sons, [34] D. H. Stone. Design a questionnaire. British Medical Journal, 307(6914): , [35] T. Tullis og B. Albert. Measuring the User Experience: Collecting, Analyzing, and Presenting Usability Metrics. Morgan Kaufmann Publishers, [36] T. Tullis, S. Flieschman, M. McNulty, C. Cianchette, og M. Bergel. An Empirical Comparison of Lab and Remote Usability Testing of Web Sites. I The Usability Professional s Association Annual Meeting, Orlando, FL, [37] T. S. Tullis og J. N. Stetson. A Comparison of Questionnaires for Assessing Website Usability. I Proceedings of the UPA UPA, Bloomingdale, IL, [38] H. Udsen. Notat om anvendelsen af serverbaserede løsninger for kvalificerede elektroniske signaturer, URL da/dokumenter/henrik_udsen_notat.pdf. Sidst tilgået: 5. marts [39] M. van Welie, G. C. van der Veer, og A. Eliëns. Breaking down usability. I Proceedings of Interact 99, [40] T. Wu. The Secure Remote Password Protocol. I Proceedings of the 1998 Internet Society Network and Distributed System Security Symposium, side , Marts [41] K.-P. Yee. User Interaction Design for Secure Systems. I 4th International Conference on Information and Communications Security, side , [42] T. Zhao og S. McDonald. Keep talking: an analysis of participant utterances gathered using two concurrent think-aloud methods. I Proceedings of the NordiCHI 2010 Conference,

122 DET NATURVI DENSKABELI GE FAKULTET KØBENHAVNSUNI VERSI TET Bi l ags hæf t e: Us abi l i t yeval uer i ngafnemi D -enbel ys ni ngafaut ent ii kat i onibor ger vendt ei t s ys t emer Kandi dat s pec i al eaf Ander sbj er gpeder s en Mar t s2011 Dat al ogi s ki ns t i t ut Københa vnsuni ver s i t et Vej l eder :Er i kfr økj ær

123

124 Bilag Bilag A. Tænke-højt: Testplan 120 Bilag B. Tænke-højt: Manuskript til testleder 131 Bilag C. Tænke-højt: Samtykkeerklæring 133 Bilag D. Tænke-højt: Udleverede opgaver 134 Bilag E. Tænke-højt: Afsluttende spørgeskema 140 Bilag F. Tænke-højt: Logs 142 Bilag G. Tænke-højt: Data og deskriptiv statistik 176 Bilag H. Tænke-højt: Uddybende kommentarer fra respondenter 178 Bilag I. Tænke-højt: Identificerede usability-problemer 196 Bilag J. Tænke-højt: Identificerede problemområder 207 Bilag K. Første spørgeskema 218 Bilag L. Første spørgeskema: Resultater 234 Bilag M. Første spørgeskema: R-kode 248 Bilag N. Andet spørgeskema 254 Bilag O. Andet spørgeskema: Resultater 257 Bilag P. Interview med Peter Lind Damkjær, DanID 259 Bilag Q. Userminds testrapport, udleveret ved aktindsigt 267 Bilag R. Udvalgte resultater fra Danske Banks brugerpanel 335

125 Bilag A. Tænke-højt: Testplan Formål: Testpersoner: Formålet med nærværende brugertests er at afklare brugervenligheden af NemID, herunder at se på både den konkrete brugervenlighed i udvalgte realistiske og systemkritiske handlinger, samt forståelsen for koncepterne bag løsningen, herunder singlesignon testpersoner fra forskellige befolkningsgrupper i Danmark: Unge (15-18 år) Ældre (65+ år) Personer med anden etnisk baggrund end dansk Personer i alderen år, som er i arbejde. Det tilstræbes, at alle fire kategorier er ligeligt fordelt ift. antal og køn. Domænekendskab: Kendskab til online autentifikationssystemer på brugerniveau vil dog (og opfordres til at) variere blandt deltagerne i testen. IT-kompetencer: Rekruttering: Testfaciliteter: Testleder (Anders): Observatør (Kasper): Testopgaver: Blandede, se detaljer om deltagere. Eftersom NemID er rettet mod alle, rekrutteres bredt blandt befolkningen; af praktiske årsager dog primært i hovedstadsområdet. Specifikt søges de ovennævnte fire befolkningsgrupper dækket ind. Testen gennemføres enten hjemme hos testdeltageren (foretrækkes) eller i passende lokale på KU. Under testen vil der gøres brug af computer til testperson (helst vedkommendes egen), diktafon, samt computer til observatør/logger. Styrer testforløbet, giver opgaver og stiller opklarende og uddybende spørgsmål. Er ligeledes ansvarlig for introduktion og debriefing. Testlederen intervenerer kun i absolut nødstilfælde, hvor testdeltageren er ude af stand til at komme videre, eller hvor tidsfaktorer er vigtige. Logger hændelser og er ansvarlig for tidtagning samt styring af lydoptagelse. Hændelser logges med tidsstempel (ift. start af lydoptagelse) og beskrivelse; særligt logges tid brugt per opgave. Der er udformet 5 testopgaver af varierende længde og sværhedsgrad: 1. Gennemlæsning af velkomstbrev. 2. Aktivering og første brug af NemID. 3. Logon på to tjenester samtidig. 4. Logoff fra alle tjenester. 5. Bestilling af ekstra nøglekort. 120 Bilag A

126 Præsentation af opgaver: Start-up: Instruktion: Testmetode: Dataindsamling: Debriefing: Testleder uddeler og læser skriftlige opgaveformuleringer højt for testpersonen. Opgaveformuleringerne vil afspejle realistiske scenarier uden at give direkte hints om, hvordan opgaverne skal løses (ift. NemID). Testpersonen sidder foran en tændt computer med internetadgang og med en browser åben. Det vil være en fordel, at computeren er testdeltagerens egen, for at udelukke eventuelle fejlkilder og forstyrrelser. Er NemID modtaget gennem netbank, skal der være adgang til denne på den anvendte computer. Testleder giver en kort præsentation af forløbet og deltagerne, hvorefter samtykkeerklæringen gennemgås og underskrives. Det er vigtigt også at gøre brugeren bekendt med, at det er brugerens egne data og nøglekort, der anvendes til testen, samt at eventuelle personfølsomme oplysninger behandles fortroligt. Eventuelle spørgsmål fra testdeltageren besvares. Der anvendes tænke-højt, hvor testleder kun afbryder eller hjælper i absolut nødstilfælde. Testleder faciliterer, at testdeltager reflekterer over valg og muligheder undervejs. Hvor opgaverne skal afspejle testdeltagerens forståelse af systemets virkemåde, efterfølges disse enkeltopgaver af en kort spørgeseance, hvor testdeltageren kan gøre rede for forventet og aktuel opførsel af systemet. Herefter fortsættes med næste opgave. Under testen tager observatøren noter omkring start- og sluttider for opgaver, specielle hændelser eller uhensigtmæssigheder fra testdeltagerens side og lignende som supplement til lydoptagelsen. Ligeledes tager testlederen korte noter, der sammen med debriefingen skal danne grundlag for en testrapport. Når testen er afsluttet, foretager testlederen en debriefing, herunder opfølgning på uklarheder eller spørgsmål til testpersonens valg under testen. Testlederen kan under debriefingen bl.a. komme ind på følgende spørgsmål: Understøtter NemID den funktionalitet, som du forventer af det? Er du overordnet set klar over dine muligheder med systemet? Vil du overveje fremover at anvende NemID til flere offentlige funktioner? Debriefingen suppleres af et kort spørgeskema, som testdeltageren udfylder, inden den mundtlige del påbegyndes. Spørgeskemaet skimmes kort af testleder for at motivere eventuelle spørgsmål til svarene. Anslået tidsplan: Velkomst og introduktion Testopgaver Debriefing 10 min 35 min 10 min 121 Bilag A

127 Testopgaver Opgave 1: Sværhedsgrad: Mål: Opgavens trin, optimalt: Gennemlæsning af velkomstbrev Lille Brugeren skal kunne gennemlæse og forstå velkomstbrevet inden ibrugtagning af sit NemID. 1. Gennemlæsning af velkomstbrev og eventuelt pinkodebrev Tidsramme: Opgavetekst: 2-5 minutter. Du har netop modtaget dit NemID med posten. Læs brevet igennem, som du normalt ville gøre det med breve af denne type. 122 Bilag A

128 Opgave 2: Sværhedsgrad: Mål: Opgavens trin, optimalt: Aktivering og første brug af NemID Mellem Brugeren skal kun ved hjælp af velkomstbrev samt eventuel online hjælp kunne aktivere sit NemID og logge ind på en tjeneste, der gør brug af det. Trinene afhænger af, om NemID er bestilt selv eller modtaget gennem netbank. Førstnævnte logger direkte ind på SKAT og starter aktiveringen. Sidstnævnte skal logge på deres netbank og starte aktivering af NemID. Opgaveteksten varierer en smule efter type, og netbank-udgaven starter ved trin Gå ind på 2. Klik på Adgang med digital signatur. 3. Klik eventuelt på fanebladet Log på med NemID. 4. Godkend eventuelle certifikater. 5. Skriv CPR-nummer eller NemID-nummer i feltet Brugerid den midlertidige adgangskode fra pinkodebrevet i feltet Adgangskode og klik Næste. 6. Opret en gyldig, selvvalgt adgangskode og skriv den i begge felter. Klik herefter Næste. 123 Bilag A

129 8. Vælg, om brugeren vil oprette et selvvalgt bruger-id. Hvis ja, indtast selvvalgt bruger-id i feltet og tryk Næste. Hvis nej, tryk Næste. OBS: Det selvvalgte bruger-id kan være optaget! 9. For netbank-aktivering: sig ja til at anvende NemID til andre tjenester end netbank og acceptér betingelserne. 10. Indtast den pågældende nøgle fra nøglekortet i feltet og tryk Næste. 124 Bilag A

130 10. Klik Ok til bekræftelsen af oprettelsen. 11. For netbank-aktivering: Fortsæt ind på SKAT og log ind med NemID (trin 1-5 og 10). For direkte aktivering: Brugeren er nu enten logget på SKAT eller skal eventuelt foretage normalt NemID login. Tidsramme: 3-15 minutter. Opgavetekst: Netbank: Du har fået besked om, at din årsopgørelse fra SKAT er kommet. Log ind på SKATs selvbetjening på med dit NemID for at finde din årsopgørelse. Opgaven er fuldført, når du når TastSelv-menuen på SKATs hjemmeside. Selv bestilt: Du har fået besked om, at din årsopgørelse fra SKAT er kommet. Aktivér først dit NemID ved at logge på din netbank og følge vejledningen. Sig undervejs ja til at anvende dit NemID til andre tjenester end netbank. Log derefter ind på SKATs selvbetjening på med dit NemID for at finde din årsopgørelse. Opgaven er fuldført, når du når TastSelv-menuen på SKATs hjemmeside. 125 Bilag A

131 Opgave 3: Sværhedsgrad: Mål: Opgavens trin, optimalt: Login på to tjenester samtidig Lille Brugeren kan udnytte og forstå single-signon til at besøge en anden offentlig tjeneste uden at skulle foretage nyt login. 1. Gå (i en ny fane eller vindue) ind på adressen 2. Klik på Log på sundhed.dk i øverste højre hjørne: 3. Klik på Min læge i boksen Min sundhed.dk til venstre på siden. Tidsramme: Opgavetekst: 2-5 minutter. Du får pludselig en påmindelse fra din læge om, at du har en konsultation i morgen. Du har dog glemt adressen, så denne vil du nu slå op. Lad SKATs hjemmeside ligge, og åbn dernæst en ny fane eller vindue i din browser. Log ind på med dit NemID (find knappen oppe i højre hjørne af siden). Find din læges adresse ved at klikke på punktet Min læge i boksen Min sundhed.dk i venstre side af hjemmesiden (se Figur 1 nedenfor). Opgaven er fuldført, når du er logget ind og har fundet din læges adresse. Figur 1: Information om din læge på Bilag A

132 Opgave 4: Sværhedsgrad: Mål: Opgavens trin, optimalt: Logoff fra alle tjenester Mellem Brugeren kan indse og gøre brug af, at så snart der er logget af én tjeneste i det fællesoffentlige logon-system (NemLog-in), er alle tjenesterne heri logget af. 1. Gå tilbage til fanen/vinduet med SKATs TastSelv og klik på Log af. Luk eventuelt fanen/vinduet: 2. Gå tilbage til fanen/vinduet med og klik på Min personlige forside : 3. Brugeren vil nu blive ledt tilbage til det fællesoffentlige logon-system og bedt om at foretage login igen. Tidsramme: Opgavetekst: 2-5 minutter. Du er nu færdig med din selvbetjening hos SKAT, og vil nu gerne undersøge mulighederne for at tilpasse hjemmesiden til dine behov. Gå først tilbage til vinduet eller fanen med SKATs hjemmeside og log ud af tjenesten. Gå dernæst tilbage til fanen eller vinduet med og klik på Min personlige forside. Opgaven er fuldført, når du kommer til nedenstående side: Figur 2: Din personlige forside på Bilag A

133 Opgave 5: Sværhedsgrad: Mål: Opgavens trin, optimalt: Bestilling af ekstra nøglekort Mellem Brugeren er i stand til at lokalisere og logge på NemIDs selvbetjening og herigennem bestille et ekstra nøglekort. 1. Gå ind på adressen 2. Klik på Log på Selvbetjening : 3. Indtast bruger-id og adgangskode og tryk Næste. 4. Find og indtast korrekt nøgle fra nøglekortet. 5. Klik på Nøglekort > Bestil ekstra nøglekort i menuen til venstre ELLER klik på Bestil ekstra nøglekort i boksen i højre side: 6. (Klik på Bestil ) Tidsramme: Opgavetekst: 2-5 minutter. Du skal på en længere ferierejse til udlandet og er ikke sikker på, at du har nok koder på dit nøglekort til hele perioden. Bestil et ekstra nøglekort over nettet. Opgaven er fuldført, lige inden du klikker på Bestil -knappen: 128 Bilag A

134 Detaljeret tidsplan for test Herunder gengives den detaljerede tidsplan og trinene i de enkelte tests. Tider er naturligvis vejledende. 1. Før testen: Testopgaver, testplaner, samtykkeerklæring og spørgeskema printes ud. Diktafon og Excel-ark til logning klargøres. 2. Opsætning og klargøring (ca. 5 minutter): Computer tændes og klargøres (strøm og internetforbindelse tjekkes, en browser åbnes). Eventuelle borde og stole opstilles (eller lokation udvælges af testdeltager i eget hjem), samt placering af testleder og observatør. Diktafon og tidsmåler gøres klar til brug. 3. Introduktion og velkomst (ca. 5 minutter): Testens indhold og forløb gennemgås ud fra manuskript. Samtykkeerklæring udleveres og underskrives af testdeltager. Eventuelle spørgsmål fra testdeltager besvares. 4. Testopgave 1 (ca. 2-5 minutter): Opgavens tekst læses højt for testdeltageren og udleveres samtidigt på papir. Starttidspunkt noteres, efter eventuelle spørgsmål til opgaven er afklaret. Opgaven løses af testdeltageren, og sluttidspunkt noteres. Undervejs noteres relevante observationer. 5. Testopgave 2 (ca minutter): Samme som testopgave 1. Til denne opgave er der en del mulige fejlkilder, f.eks. manglende installeret software, kompatibilitetsproblemer og lignende. Testleder og observatør skal derfor være særligt opmærksomme på problemer undervejs. Her er proceduren speciel for NemID, som er modtaget gennem netbanken (disse skal gennem netbanken for at starte oprettelsen - derefter logges der på SKAT), og som er bestilt selv (disse kan logge direkte på SKAT). 6. Testopgave 3 (ca. 2-3 minutter): Samme fremgangsmåde som testopgave CUT på testopgave 3 (ca. 2-3 minutter): Umiddelbart efter testopgave 3 standses opgaveløsningen kortvarigt, og nogle få spørgsmål fra testlederen besvares af testdeltageren. Disse vil primært dreje sig om forståelsen af koncepterne bag den forrige opgave (f.eks. Hvad skete der i denne opgave?, Hvorfor tror du, systemet opførte sig, som det gjorde?, Hvorfor blev du ikke bedt om at logge ind igen? ). Testlederen lægger vægt på ikke at give svar, men blot modtage testdeltagerens refleksioner. 8. Testopgave 4 (ca. 2-3 minutter): Samme fremgangsmåde som testopgave Bilag A

135 9. CUT på testopgave 4 (ca. 2-3 minutter): Samme fremgangsmåde som CUT på testopgave 3. Her er det dog vigtigt at efterprøve eventuel progression i forståelsen af systemet hos testdeltageren. 10. Testopgave 5 (ca. 2-5 minutter): Samme fremgangsmåde som testopgave Debriefing og spørgeskema (ca. 10 minutter): Testlederen faciliterer en række spørgsmål, der skal afklare testdeltagerens opfattelse af testens forløb, opgaver og udfordringer. Dette suppleres af et kort spørgeskema, som indeholder både demografiske baggrundsspørgsmål og vha. Likert-skalaer afklarer testpersonens holdning til systemet og dets virkemåde. 12. Afrunding og oprydning (ca minutter): Testleder svarer på eventuelle spørgsmål fra testdeltager, hvorefter der rundes af, takkes for deltagelse og ryddes op. 130 Bilag A

136 Bilag B. Tænke-højt: Manuskript til testleder Introduktion og samtykkeerklæring Først vil vi gerne sige tusind tak for din deltagelse. Mit navn er Anders, og det er Kasper, som vil tage noter undervejs samt lydoptage forløbet. Samlet set tager forløbet ca. en time. Gennem resten af testen vil jeg følge et manuskript for at sikre, at du bliver givet de samme oplysninger som alle andre testdeltagere. Undersøgelsen går ud på at teste forskellige aspekter af NemID, med særligt henblik på brugervenlighed og forståelse. Du vil blive stillet forskellige opgaver af varierende sværhedsgrad og længde, som du bedes løse. Opgaverne vil blandt andet medføre, at du får aktiveret og brugt dit NemID, samt får adgang til tjenester indeholdende personfølsomme oplysninger. Opgaverne er udformet således, at de kan løses uden at blotlægge personfølsomme informationer. Skulle dette mod forventning ske, registrerer vi selvfølgelig ikke disse på nogen måde. Opgaverne er et sammenhængende forløb, og jeg vil bede dig om ikke at foretage andre handlinger end dem, der er direkte relateret til disse. Udfør opgaverne, som du normalt ville gøre det. Når du løser opgaverne, bedes du tænke højt. Du bedes altså fortælle, hvad du tænker undervejs. F.eks.: Jeg kan ikke finde den rigtige kode på nøglekortet, så jeg prøver finde noget hjælp på siden. Fortæl, hvad du tænker og gør. Ved netbank: Du vil på et tidspunkt blive spurgt, om du vil anvende NemID som offentlig digital signatur og ikke kun til netbank. Dette bedes du sige ja til. Vi kan efterfølgende hjælpe dig med at trække samtykket tilbage igen. Husk på, at vi ikke tester systemet, ikke dig! Er der nogle ting, du ikke kan finde ud af, er det systemets skyld, ikke din. Du må gerne stile spørgsmål undervejs, men du kan ikke altid forvente et direkte svar. Kasper og jeg selv har intet med NemID at gøre. Har du nogen spørgsmål til undersøgelsen, inden vi går i gang? Inden vi går i gang vil jeg bede dig underskrive en samtykkeerklæring. Den sikrer, at du har forstået, hvad du deltager i, og hvordan de indsamlede oplysninger behandles. [Skema udleveres, gennemlæses og underskrives.] Testopgaver [Testopgaver udleveres og læses op for testdeltageren. Se særlige noter til testopgave 3 og 4 nedenfor.] CUT på testopgave 3 Inden vi fortsætter med den næste opgave, kommer der lige et par korte spørgsmål til den foregående opgave: Prøv at fortælle, hvad der skete i den foregående opgave. 131 Bilag B

137 Opførte systemet sig, som du havde forventet? Hvorfor / hvorfor ikke? Opdagede du, at du allerede var logget ind på Hvorfor tror du, du ikke blev bedt om at foretage ny logon på CUT på testopgave 4 Inden vi fortsætter med den næste opgave, kommer der lige et par korte spørgsmål til den foregående opgave: Prøv at fortælle, hvad der skete i den foregående opgave. Opførte systemet sig, som du havde forventet? Hvorfor / hvorfor ikke? Vidste du, at du allerede var logget ud af Hvorfor tror du, du også blev logget ud af Afsluttende spørgeskema Opgaveløsningen er nu færdig. Til sidst vil vi afrunde undersøgelsen med et kort spørgeskema samt en kort mundtlig evaluering. [Spørgeskema udleveres og udfyldes. Testleder skimmer hurtigt svarene og ser efter interessante svar.] Debriefing Hvordan synes du overordnet, forløbet er gået? [Tag fat i interessante svar fra spørgeskemaet - få testpersonen til at uddybe handlinger eller tanker.] Har du nogen spørgsmål til selve undersøgelsen eller forløbet? Ellers er der kun tilbage at sige tusind tak for din deltagelse. 132 Bilag B

138 Bilag C. Tænke-højt: Samtykkeerklæring P Samtykkeerklæring Testleder Anders Bjerg Pedersen Datalogisk Institut Københavns Universitet andersbp@diku.dk Testdeltager Navn: Adresse: Postnr./by: Introduktion til undersøgelsen Du har indvilget i at deltage i denne undersøgelse omhandlende NemID. Målet med undersøgelsen er at teste forskellige aspekter af brugervenligheden af NemID. Resultaterne af undersøgelsen vil indgå i et kandidatspeciale på Københavns Universitet, ligesom de muligvis vil indgå i efterfølgende videnskabelige artikler. Forløbet af undersøgelsen vil blive lydoptaget. Alle indsamlede informationer vil kun blive brugt til statistisk og analytisk formål og vil ikke blive videregivet til tredjemand. Du vil i løbet af undersøgelsen blive bedt om at logge ind på forskellige tjenester, der indeholder personlig information om dig. Opgaverne er udformet således, at færrest mulige personlige oplysninger vil blive vist. Ingen personlige oplysninger ud over det afsluttende spørgeskema vil blive gemt. Din deltagelse er anonym, og du vil på intet tidspunkt kunne kædes sammen med de oplysninger, der indsamles i løbet af undersøgelsen. Under undersøgelsen vil testlederen assistere dig og så vidt muligt svare på eventuelle spørgsmål. Jeg bekræfter, at jeg har læst og forstået ovenstående beskrivelse af undersøgelsen, og jeg bekræfter hermed min deltagelse i undersøgelsen. Dato: Underskrift: 133 Bilag C

139 Bilag D. Tænke-højt: Udleverede opgaver Opgave 1 Du har netop modtaget dit NemID med posten. Læs brevet igennem, som du normalt ville gøre det med breve af denne type. 134 Bilag D

140 Opgave 2 - Selv bestilt Du har fået besked om, at din årsopgørelse fra SKAT er kommet. Log ind på SKATs selvbetjening på med dit NemID for at finde din årsopgørelse. Opgaven er fuldført, når du når TastSelv-menuen på SKATs hjemmeside (se Figur 3 herunder). Figur 3: TastSelv-menuen på SKATs hjemmeside 135 Bilag D

141 Opgave 2 - Netbank Du har fået besked om, at din årsopgørelse fra SKAT er kommet. Aktivér først dit NemID ved at logge på din netbank og følge vejledningen. Sig undervejs ja til at anvende dit NemID til andre tjenester end netbank. Log derefter ind på SKATs selvbetjening på med dit NemID for at finde din årsopgørelse. Opgaven er fuldført, når du når TastSelv-menuen på SKATs hjemmeside (se Figur 4 herunder). Figur 4: TastSelv-menuen på SKATs hjemmeside 136 Bilag D

142 Opgave 3 Du får pludselig en påmindelse fra din læge om, at du har en konsultation i morgen. Du har dog glemt adressen, så denne vil du nu slå op. Lad SKATs hjemmeside ligge, og åbn dernæst en ny fane eller vindue i din browser. Log ind på med dit NemID (find knappen oppe i højre hjørne af siden). Find din læges adresse ved at klikke på punktet Min læge i boksen Min sundhed.dk i venstre side af hjemmesiden (se Figur 5 nedenfor). Opgaven er fuldført, når du er logget ind og har fundet din læges adresse. Figur 5: Information om din læge på Bilag D

143 Opgave 4 Du er nu færdig med din selvbetjening hos SKAT, og vil nu gerne undersøge mulighederne for at tilpasse hjemmesiden til dine behov. Gå først tilbage til vinduet eller fanen med SKATs hjemmeside og log ud af tjenesten. Gå dernæst tilbage til fanen eller vinduet med og klik på Min personlige forside. Opgaven er fuldført, når du når til nedenstående side: Figur 6: Din personlige forside på Bilag D

144 Opgave 5 Du skal på en længere ferierejse til udlandet og er ikke sikker på, at du har nok koder på dit nøglekort til hele perioden. Bestil et ekstra nøglekort over nettet. Opgaven er fuldført, lige inden du klikker på Bestil -knappen: Figur 7: Bestilling af ekstra nøglekort. 139 Bilag D

145 Bilag E. Tænke-højt: Afsluttende spørgeskema Følgende spørgeskema bruges til at indsamle baggrundsinformation om dig som bruger, samt for at afklare dine holdninger til forskellige aspekter af systemet. Svar så ærligt som muligt. Hvis du er i tvivl om et spørgsmål, så spørg testlederen. Om dig som person Din alder: Dit køn: Mand Kvinde Dit oprindelsesland: Danmark Andet: Dit modersmål: Dansk Andet: Din beskæftigelse: Har du anvendt den gamle digitale signatur? Ja Nej Ved ikke Hvordan vil du bedømme dine egne IT-færdigheder? Meget uerfaren Uerfaren Neutral Erfaren Meget erfaren Inden for IT er jeg: Om NemID generelt Angiv venligst, hvor enig du er i følgende udsagn om NemID. Svar ud fra de oplevelser du indtil videre har haft med systemet. Meget uenig Uenig Neutral Enig Meget enig NemID er let at oprette. NemID er let at bruge. NemID er sikkert. NemID er praktisk. NemID er sikrere end tidligere metoder. NemID er lettere end tidligere metoder. 140 Bilag E

146 Om din oplevelse af NemID Angiv venligst, hvor enig du er i følgende udsagn, baseret på dine første indtryk af NemID. Meget uenig Uenig Neutral Enig Meget enig 1. Jeg tror, jeg vil anvende NemID ofte. 2. Jeg fandt brugen af NemID unødigt kompleks. 3. Jeg syntes, NemID var let at anvende. 4. Jeg tror, jeg vil få brug for hjælp fra NemIDs support for kunne at anvende NemID. 5. Jeg synes, de forskellige funktioner i NemID var velintegrerede. 6. Jeg syntes, der var for mange uoverensstemmelser i NemID. 7. Jeg vil tro, at de fleste personer hurtigt vil kunne lære at bruge NemID. 8. Jeg syntes, NemID var meget besværligt at bruge. 9. Jeg følte mig meget sikker på, at jeg brugte NemID korrekt. 10. Jeg har brug for at lære meget om NemID, før jeg vil kunne bruge det effektivt. 141 Bilag E

147 Bilag F. Tænke-højt: Logs De følgende sider er de logs, som blev taget af observatøren under hele forløbet af de ni tænke-højt tests. Loggen er efterfølgende blevet redigeret for de værste stavefejl og tilføjet tid for opgaver og labels for identificerede problemstillinger. Logs fra tænke-højt tests Log fra tænke-højt test af P Log fra tænke-højt test af P Log fra tænke-højt test af P Log fra tænke-højt test af P Log fra tænke-højt test af P Log fra tænke-højt test af P Log fra tænke-højt test af P Log fra tænke-højt test af P Log fra tænke-højt test af P Bilag F

148 NEMID-TA-LOG Testleder (L): Anders Bjerg Pedersen Observatør (O): Kasper Hansen Testperson (P): P01 Dato: 4/ , kl. 20:00 Nedenfor er observationer angivet. L, O og P henviser til de ovenfor nævnte aktører. Hvor henvisning er udeladt, er P underforstået. Direkte udsagn er angivet i anførselstegn - der henvises dog til diktafon for den præcise ordlyd. Hvor det er relevant er en kort beskrivelse af skærmens visning angivet. Dette er angivet med S. Timestamp Observation T(sek) Label DIKTAFON, start P stiller spørgsmål til formål med undersøgelse L udleverer samtykkeerklæring P underskriver L: "Spørgsmål?" "Ingen spørgsmål" OPG 1, start P fremfinder papirer Identificerer papirer Læser velk.brev Læser kodebrev Går til bagside Frem og tilbage mellem for- og bagside Går til bagside af kodebrev "Lidt i tvivl - virker ikke umiddelbart nemt" P01-L Læser bag- og forside af kodebrev "Forstår bedre hvad de forsk. tal er" "Forstår de forsk tal og hvor meget der skal bruges" Vender tilbage til regler Skimmer regler om spærring m.v Lægger brev væk Ser på velk.brev Lægger breve væk "Det var ikke så svært" OPG 1, slut OPG 2, start P: "Mangler pinkode-brev" P01-L Kan ikke huske at brev er modtaget P og L diskuterer hvordan pinkodebrev ser ud Mener ikke, at det er modtaget Spørger samlever "Kan bestemt ikke huske, at brev er modtaget" "Kan i hvert fald ikke finde det" P læser i velk.brev, at vejl i netbank skal følges Logger på netbank P finder "Første gang du skal..." P læser, at der skal logges på netbank med gamle koder P logger på med gamle kode P01-L S: "Aktiver din nemid" "Ja, vil gerne aktivere nemid" S: "Skal have velk. og nøglekort klar" P taster nuv. underskriftskode Venter Hælder te op Klar til oprettelse af selvvalgt adgangskode Taster selvvalgt kode og trykker næste Klar til valg af brugerid Foretrækker cprnr Læser op Giver samtykke til videregivelse Sætter hak i samtykke Læser regler for "kun bruge nemid til netbank" Skimmer regler meget hurtigt Kan ikke se, at kan undlade at bruge nemid P01-L Trykker næste 143 Bilag F

149 S: "Bekræft opr. ved at indtaste nøgle" Finder nøgle og taster Trykker næste S: "nemid er nu oprettet" Trykker ok Så er det nok aktiveret Venter L: "Tager pause i test" L: "Går til opg 2" Læser opg "ok" Taster adresse Trykker på "Adg. med dig.sin. - nemid" S: "Warning security - do you want do run " P: Trykker "yes" P præsenteres for dig.sign-valg P01-L Trykker på "gennemse" P får "find certifikat"-billede op. Lukker dette Scroller op i billedet Læser beskrivelse i billedet Trykker på "Annuller" Kommer tilbage til tastselv Finder fanebladet "log på med nemid" P01-L Login billede fremkommer Taster brugerid Taster adg.kode S: Vender tilbage til nemid-billede S: Der er kun sagt ja til netbank P vælger "ja" til andre sider Taster brugerid Taster adg.kode S: "Indtast nøgle" Søger efter nøgle Taster nøgle Logget på Skal bekræfte P: Accepterer regler S: "Log på selvbetjening" Finder nøgle Logger på S: "Nu oprettet med digital sign" S: Viser nemid.nu Kommet helt ud af skat.dk P tænker at skal tilbage til Skat P: "Er ikke sikker på, hvad der er logget på" P01-L Er tvivl om der skal logges af. Logger af. P01-L Går til Skat.dk Vælger "Digital sign" Skifter faneblad til nemid Taster brugerid Fejl i brugerid Gentager Finder nøgle Taster nøgle OPG 2, slut OPG 3, start L: Udleverer opg Læser Vælger ny fane Taster sundhed.dk venter vælger reload venter venter venter venter Billede klar Finder og trykker på logpå knap venter 144 Bilag F

150 Billede klar Læser "OK, så kom jeg bare på!" P01-L "Sikkert fordi jeg er logget på noget" P01-L Finder "min sundhed.dk" "Færdig" OPG 3, slut CUT-OPG 3, start L: "Fortæl hvad der skete" "Bortset fra langsom computer" "gik det hurtigt" "Behøvede ikke nøglekort og kode" P01-L L: "Hvorfor?", P: "Fordi allerede logget på skat" P01-L "Der stod "Log af sundhed.dk" konkluderede derfor, at var logget på" P01-L "Forventede, at der skulle logges på" P01-L CUT-OPG 3, slut OPG 4, start Læst Går tilbage til fanebladet skat.dk Vælger log af i skat.dk S: "Internet Explorer kan ikke vise siden" P01-L Går til fanebladet sundhed.dk Finder "Min pers. forside" S: Viser login-billede P: "Det er fordi det hænger sammen" P01-L Kommer til Digital signatur-billede "Hvorfor ligger digital signatur-billede forrest?" P01-L Finder hjælp Konstaterer, at siden er "Det offentlige login-fællesskab" Finder tjekboksen: "Husk at jeg vil logge ind med nemid" P01-L S: Klar til tast af nøgle Finder nøgle Taster nøgle Logget på, S: "Velkommen til min s" OPG 4, slut CUT-OPG 4, start L: "Hvad skete her?" "Loggede ud af skat" "Var også logget ud af sundhed.dk. Men var ikke sikker!" P01-L "Nemt nok at logge ind" P01-L "Nemt, når der blot skal logges ind - i modsætning til aktivering" P01-L L: "Fungerede det som forventet?", P: "Ja!" P01-L CUT-OPG 4, slut OPG 5, start Læser Klar til betjening Kigger på sundhed.dk Går til forside på sundhed.dk I tivvl om skal blive på sundhed.dk P01-L "Der står ikke noget om nemid" Bladrer op og ned og læser Tænker "Måske logge ud?" P01-L "Kan finde det et andet sted" "Kan finde det på Skat" Går til skat.dk Vælger "Adgang med " Kommer til tastselv Googler nemid P01-L Tænker: "Der var en side, der hed noget med nemid" Googler "nem" Nummer to i resultat er forside til nemid.info P01-L Kommer til nemid.info Trykker på "Læs mere om nøglekortet" Tænker: "Det kun er info-side" P01-L Venter Spekulerer: "Ligner kun info" "Måske til nogle, som ikke har nemid" Går tilbage. Vælger logud af sundhed.dk 145 Bilag F

151 Logget ud Går til sundhed.dk Trykker på log på Kommer til "Det offentlige log-in-fællesskab" Læser Trykker på hjælp Læser "Ikke lige det" Trykker login "Så et sted " "Hov, det kan være det stod i brevet" P01-L Kigger i brevet Finder nøgle-kortet Læser kortet Der står det kan bestilles på nemid.nu "Tror det var den jeg var inde på før" P01-L Går til nemid.nu Ser, at det er en anden side end før Scroller op og ned Finder "Log på selvbetjening (smiley-ikon)" P01-L Logger på S: Skal indtaste nøgle Finder nøglekort Logger på Venter Venter Venter S: "Internet explorer kan ikke vise siden" Prøver igen Går til nemid.nu S: Der kom til at stå https to gange i adresse Prøver igen Logger på igen S: Skal indtaste nøgle Logger på P: "Kodegenerator er nemmere end nøglekort" P01-L S: "Nøglekort" står til venste Finder vejledning S: "Bestil ekstra kort" OPG 5, slut SPØRGESKEMA, start Læser Skriver P: I tvivl: "Nemid let at bruge? I forhold til hvad?" P: I tvivl: "Nemid sikkert? Ved ikke!" Går til side SPØRGESKEMA, slut DEBRIEFING, start L: "Hvad tænker du om nemid?" "Når først installeret, så nemt nok at bruge" P01-L "Meget rart med samme kode flere steder" P01-L "Kan ikke huske koder til sjældent anvendte steder" P01-L L: "Klar over man kunne dette (samme login) inden start?" "Ubevidst koblet til netbank" P01-L "Tænkte kun at bruge den til netbank" P01-L "Problem med tastselvkode - nemmere med nemid" P01-L "I starten lidt skeptisk" P01-L "Senere ok" "Kan se, at det kan bruges andre steder end netbank" L: "Ved du, hvad du vil bruge nemid til?" "SU-styrelsen, hvis der skal tjekkes status på lån" "Kan se på nemid.nu, hvor det ellers kan bruges" L: "Nysgerrig?" "Helt sikkert" L: "Ved du hvor du kan finde ud af hvor kan bruges?" "Ja, nemid.nu" L: "Ikke blevet afskrækket?" "Nej, ikke afskrækket" P01-L "Mærkeligt, at der er info-side og login-side" P01-L Bilag F

152 "Mærkeligt, at google giver info-siden først" "Kunne huske, at have set, hvor nyt kort kunne bestilles" "Har set i brev, hvordan det skal spærres" L: "Hvordan kan det spærres?" Finder brevet L: "Spær via nemid.nu?" "Nej, har jo ikke nøgle!" L: "Andre spørgsmål?" "Nej, sjovt at prøve" "God anledning til at komme til at bruge det" L: "Tusind tak!" DEBRIEFING, slut DIKTAFON, slut Bilag F

153 NEMID-TA-LOG Testleder (L): Anders Bjerg Pedersen Observatør (O): Kasper Hansen Testperson (P): P02 Dato: 8/ , kl. 09:30 Nedenfor er observationer angivet. L, O og P henviser til de ovenfor nævnte aktører. Hvor henvisning er udeladt, er P underforstået. Direkte udsagn er angivet i anførselstegn - der henvises dog til diktafon for den præcise ordlyd. Hvor det er relevant er en kort beskrivelse af skærmens visning angivet. Dette er angivet med S. Timestamp Observation T(sek) Label DIKTAFON, start L introducerer L: "Spørgsmål?" P: "Nej, prøver!" L udleverer samt.erkl P læser P underskriver L: "Klar?", P: "Ja" OPG 1, start P: "Har læst brev i weekenden, det virker logisk" P skimmer brev P: Har læst nu OPG 1, slut OPG 2, start P læser P har læst P: "Vil starte netbank" Går til netbank Logger på med bruger-id og adg.kode Er logget på S: "Vil du aktivere nemid?" P: "Vil logge på med nemid" S: "Warning Security - The application..." P: Ved ikke hvad dette betyder P02-L P: Trykker "Run" S: "Vælg ny adg. kode" P: Læser regler for adg.kode P: Taster selvvalgt adg.kode Trykker næste S: "Kan bruge forskellige bruger id" P: Læser P: I tvivl om hvad der skal gøres her P02-L P: "Skal der flueben i selvvagt brugerid?" L: "Forstår du dialogen?" P: "Ved ikke!" P02-L L: "Hvad vil der ske, hvis der sættes flueben i boks?" P: "Ved ikke, hvad det betyder!" P02-L P: Tror det er login-boks P02-L P: "Mest lyst til at sige næste!" P02-L P: Trykker næste S: "Nemid ny digi sign til det hele, "Brug af nemid til netbank og offentlig digi.sign."" S: "Brug af nemid til netbank" S: "Vælg mellem de to ovenstående" P: "Valg af første punkt betyder, at der skal gives samtykke til brug i flere offentlige systemer" Tænker Giver samtykke S: "Indtast nøgle" P: Finder nøglekortnummer P: Finder nøgle Taster Trykker på "Næste" S: "Nemid er oprettet" P: "OK" 148 Bilag F

154 P: Går til skats hjemmeside Er på tastselv-borger Tænker P: "Skal jo først logge på" L: "Hvordan kan du se, at du ikke er logget ind?" P: "Navn er der ikke!" Klikker på "Digital s - nemid" Klikker på "Run" Skifter faneblad til Nemid S: "Tast Bruger-id og adgangskode" P: I tvil om hvad bruger id er! P02-L Taster cifre fra brevet Taster selvvalgt adg. kode S: Rødt vindue - fejl i indtastede oplysninger P: "Så må det jo være cpr, der er bruger id!" P02-L Taster CPR Tater selvvalgt adg.kode S: "Indtast nøgle" Finder nøgle Taster nøgle Logget på S: "Nemdid med offentlg digi er nu oprettet" Trykker "OK" Kommer til tastselv-menu P: "Slut!" OPG 2, slut OPG 3, start P læser P læser højt P lægger papir P starter ny browser Går til sundhed.dk Læser Tænker Læser skærmbillede L: "Kan ikke finde punktet?" P: "Der er ikke noget der hedder min læge!" Læser L: "Hvad siger opg?" P: Læser højt P: "Mangler vindue med oplysningerne!" P: "Kan det være jeg ikke er logget på?" P02-L P: "Skal finde ud af at logge på!" Læser skærmbillede Tænker L: "Det står i opg.tekst!" Læser Finder teksten i opgaven Finder knappen Trykker på knappen Skifter faneblad til nemid P: "Maskinen tror at man vil bruge digi.sign" P02-L Logger på med bruger-id og adg.kode Finder nøgle Logget på Klikker på min læge S: Oplysninger vises P: "Opg. løst!" L: "Gå gerne til skat igen og åben ny fane" P: I tvivl om hvad der skal gøres her P: Finder fane P: Åbner ny fane Taster sunhed.dk Taster sundhed.dk L: "Prøv at logge på!" P: "Er logget på!" P: "Henter data fra det andet vindue - har fundet ud af, at er logget på!" P02-L OPG 3, slut CUT-OPG 3, start 149 Bilag F

155 L: "Anden gang bad den ikke logge på!" P: "Kan registrere, at man ikke er logget af " P02-L P: "Hov, den bruger at man er logget på" P02-L L: "Gå til andet vindue og log af" Logger af Går til første vindue Klikker på "min personlige forside" P: "Er stadig logget på!" L: "Åbenbart ikke det andet vindue!" P: "Ser ud til, at man bare er logget på - måske er man bare logget på, hvis man ikke logger af!" P: "Ikke forventet!" P02-L P: "Hvordan kan den vide, at man er logget på?" P02-L Spekulerer videre over emnet CUT-OPG 3, slut OPG 4, start Læser Går til skat.dk Trykker på log-af S: "Internet explorer kan ikke vise websiden" P02-L Går til sundhed.dk Klikker på "min pers. forside" S: "Skal logge på!" P: "Dvs. det var skats hjemmeside, der gjorde, at man var logget på!" P02-L P: "Skal logge på, fordi jeg loggede af skat!" P02-L P: "Vindue gav indtryk af, at man var logget på!" P: "Dårligt vindue. Hvorfor skal man ikke logge på hvert vindue?" P02-L Logger på med bruger-id og adg.kode Taster kode Logget på Klikker på "min personlige forside" OPG 4, slut CUT-OPG 4, start L: "Spørgsmål!" L: "Genfortæl gerne hvad der skete!" P: "Loggede af skat og var ikke logget på sundhed.dk længere" P02-L P: "Enten fordi logget af skat. Eller måske tidsfaktor på sundhed.dk" P02-L P: "Håber det er tidsfaktor og ikke skat.dk der styrer dette" P02-L P: "Kan være logget på, men bliver afbrudt af hasteopgave" P: "Håber derfor at det er timeout der logger af" P02-L L: "Kan der være både timeout og sammenhæng ml. de to systemer?" P: "Håber det er timeout!" P02-L P: "Vildrede - lige pludselig er man ikke logget på!" P02-L CUT-OPG 4, slut OPG 5, start Læser Lægger papir P: "Ifølge brev får man automatisk kort" L: "Men du vil gerne have et ekstra!" P: "Gætter på, at man skal på nemid-hjemmeside" P: "Har vist ikke læst om det" Kigger i brev Læser om spærring af kort Læser P: "Gætter på, at man skal på nemid-hjemmeside" Logger af sundhed.dk Lukker vindue Starter nyt browser-vindue Går til danid.dk P02-L Læser bagside af nøglekort Ser noget om nemid.nu Går til nemid.nu P: "Går til nemid.nu fordi det står på nøglekortet" P: "Gætter på, at det er der man kan få nyt" Læser skærmbillede Læser - men kan ikke umiddlebart finde noget - ser ikke "Selvbetjening" P02-L Kliker i søge felt Søger på "Nyt nøglekort" P02-L Skimmer søgeresultat 150 Bilag F

156 Finder "Bestil ekstra nøglekort" P02-L Klikker på link Læser Klikker på link "Bestil ekstra nøglekort" Logger på med bruger-id og adg.kode Finder nøgle Taster nøgle S: "Ekstra nøglekort" OPG 5, slut SPØRGESKEMA, start Logger af L: Fortæller om spørgeskema L: Udlleverer spørgeskema P: Læser Skriver Går til side Skriver Slut L: læser spørgeskema SPØRGESKEMA, slut DEBRIEFING, start L: Hvordan er det gået? P: "Det har været OK!" P: "Ikke altid hjemmesider er bygget op, så deter let at finde logpå/logaf!" P02-L P: "Hjemmesider meget forskellige!" P: "Ikke ét sted, hvor login-link findes" P02-L L: "Hvad med nemid-konceptet?" P: "Rigtig godt!" P02-L "Godt med nøglekort, hackere kender ikke næste nummer på kort!" P02-L L: "Bedre kendskab til hvad nemid kan bruges til?" P: "Ja, ikke sikker på, var kommet så langt derhjemme" P02-L P: "Skal prøve det flere gange!" P: "Hvis ikke med i forsøg, så kun brugt til netbank" P02-L P: "Ikke overrasket, over det kan bruges til flere ting!" P: "Det kunne digi.sign også!" P02-L P: "Fint med ny nøgle hver gang" P02-L P: "Kan logge på fra hvilken som helst comp." P02-L P: "Kan godt lide sikkerheden" P02-L P: "Sikkerhed bedre end digi sign." P02-L P: "Ikke nemids skyld, at hjemmesider er forskelligt bygget op!" P02-L L: "Lagde du mærke til at du blev sendt videre til "Fælles offentlige..."" P: "Nej fangede ikke dette!" L: "Skat og sundhed bruger samme side" L: "Derfor logges man af dem begge i fællesskab" P: "Usmart, at man pr. automatik er logget på flere steder!" P02-L P: "Kan ikke lide, at der er flere data oppe at køre, uden at man ved det!" P02-L P: "Kan ikke lide, at sundhed også kører i baggrunden!" P: "Bruger åbenbart samme indg. og åbner op, uden man skal logge på!" P: "Bryder ikke om, at der åbnet op for andre!" P: "IT kan kigge med, hvad der laves!" P02-L O: Usikkerhed omkring sikkerhed P02-L O: Derhjemme har kun maskine til netbank - meget opmærksom på sikkerhed P: "Meget påpasselig med dette!" P: "Har comp. til spil og til net-surf!" L: "Hvordan klarer rnemid sig på dette punkt?" P: "Håber at koder giver sikkerhed - skal ikke tænke på, hvad comp. ellers bliver brugt til!" P02-L L: "Spørgsmål?", P: "Ingen spørgsmål!" DEBRIEFING, slut DIKTAFON, slut Bilag F

157 NEMID-TA-LOG Testleder (L): Anders Bjerg Pedersen Observatør (O): Kasper Hansen Testperson (P): P03 Dato: 8/ , kl. 20:00 Nedenfor er observationer angivet. L, O og P henviser til de ovenfor nævnte aktører. Hvor henvisning er udeladt, er P underforstået. Direkte udsagn er angivet i anførselstegn - der henvises dog til diktafon for den præcise ordlyd. Hvor det er relevant er en kort beskrivelse af skærmens visning angivet. Dette er angivet med S. Timestamp Observation T(sek) Label DIKTAFON, start L introducerer L: "Spørgsmål?" Nej! L: Udleverer samtykkeerkl Læser Skriver under OPG 1, start Læser opgave Læser velkomstbrev Går til bagside Læser ikke regler "Fuldført!" OPG 1, slut OPG 2, start Læser Starter browser Logger på netbank Trykker "Ja" til at brev er modtaget S: "The applications digital " Trykker "Run" S: "Aktiverer NemId" S: "Adgangskode" S: "Vælg adg.kode" P taster selvvalgt adgangskode Trykker næste S: "Fejl: Ikke gyldig" P: "Står ikke noget i brev om adgangskodekrav - kun noget om brugerid" P03-L Vælger anden adgangskode S: "Vælg brugerid" P: "Skal vælge om cpr, nemid-nummer eller selvvalgt!" P: Trykker næste, vælger ikke at lave selvvalgt S: "NemID til netbank og off / kun netbank"? P: Vælger første Læser ikke regler S: "Tast nøgle" Taster nøgle Trykker næste S: "NemId er nu oprettet - NemID er nu aktiveret" P: "Kan bruge på netbank" (O: I tvivl hvad der menes her, hør evt. dikt.) Går til skat.dk Er på skat Trykker på "Adg med digi.sign - nemid" S: "Viderestilles" Viser digi.sign. login-billede Vælger signatur i dropdown-boks P: "Vælger digi.sign., men det skal jeg vel ikke!" P03-L Klikker på nemid-faneblad Taster brugerid og adgangskode Næste S: "Tast nøgle" Taster nøgle S: "NemidD er nu oprettet med digi.sign" Næste Er på Tastselv 152 Bilag F

158 P: "Fuldført!" OPG 2, slut OPG 3, start Læser Vælger "Ny fane" i browser Går til sundhed.dk Læser Trykker på log-på P: "Nå, den kan huske mig - er logget på!" P03-L Trykker på "min læge" P: "Min læge kom frem af en eller anden årsag" P03-L P: "Fuldført!" OPG 3, slut CUT-OPG 3, start L: "Hvad skete her?" L: "Hvad oplevede du?" P: "Oprettet id, logget på skat, ny side, var åbenbart logget ind her!" P03-L L: "Hvorfor?" P: "Det må vel være, pas, måske den comp. jeg sidder ved?!" P03-L L: "Forventet?" P: "Ikke forventet, men må være fordi den har taget nogle oplysninger fra sygesikringskortet" (O: P mener det givetvis ikke bogstaveligt med sygesikringskortet) P03-L L: "Hvordan opdagede du, at du var logget på?" P: "Kunne se navn i midten af skærmbilledet!" P: "Men kunne først se det, når trykkede på login-link" CUT-OPG 3, slut OPG 4, start Læser Går tilbage til skat.dk Logger af S: "Internet expl. kan ikke vise side" P03-L Går til sundhed.dk Går til "min personlige forside" S: Viser loginbillede Skifter til nemid-faneblad S: "Brugerid, adg." S: "Tast nøgle" Taster nøgle S: "Viser sundhed.dk" OPG 4, slut CUT-OPG 4, start P: "Loggede af skat og skulle logge på sunhed.dk!" L: "Hvorfor det?" P: "Pas!" P03-L L: "Nu er du logget af skat!" P: "Der er et eller andet der hænger sammen!" P03-L L: "Hvad hvis gik til skat.dk nu?" P: "Skal formentlig logge på igen!" L: "Som forventet?" P: "Ja, det er det nok" P: "Ja, nok fordi gennemgået sidste opgave" (O: Uklart, hør evt. diktafon) P03-L CUT-OPG 4, slut OPG 5, start Læser Lægger papir P Går ind på nemid.dk P03-L Læser I tivivl P: "Ville tro man kan her, men kan også være man ikke kan!?" P03-L P: "Der står ikke lige noget" Læser Klikker lidt rundt (servicekatalog) Klikker lidt rundt (brugervenlighed) Læser Klikker lidt rundt (referencer) Læser Bladrer lidt i papirer 153 Bilag F

159 Læser bagside af nøglekort Ser at adressen er nemid.nu Går til nemid.nu P: "Det er nok her!" P: "Står egentlig også i brev!" Læser skærmbilleder P: "Ville gerne blot kunne bestille kort!" P: "Prøver lige at logge på, det ved jeg slet ikke om man kan!?" P03-L Går til ofte stillede sp Læser Kan ikke umiddelbart se noget Klikker på "nøglekort" i venstre side Læser Ser link til "Bestil ekstra nøglekort" S: Login-billede Taster nøgle S: "Ekstra nøglekort" P: "Fuldført!" OPG 5, slut SPØRGESKEMA, start Læser Skriver går til side SPØRGESKEMA, slut DEBRIEFING, start L: "Hvordan gik det overordnet set?" P: "OK!" P: "Simpelt at aktivere!" P03-L P: "Ekstra nøglekort lidt mere besv." P03-L P: "Ikke store problemer" L: "Overrasket?" P: "Egentlig ikke!" P03-L L: "Hvordan ser du forskellen på digi.sig. og nemid?" P: "Kender kun forskellen, at man kan bruge NemID fra hvilken som helst comp." P03-L L: "Vil du bruge det på ferier?" P: "Nej, ikke behov!" L: "Hvis der var behov?" P: "Ja, men nok ikke behov!" L: "Hvorfor skulle du logge på til sidst?" P: "Så de ved hvem de skal sende kort til!" L: "Gå f.eks. til tastselv (skat)!" P: Går til tastselv S: Login-billede L: "Hvor bliver du sendt hen?" L: "Kan du huske at det er samme side som sundhed?" P: "Noget med noget sikkerhed!" P: "Samme side, fordi noget offentligt!" P03-L L: "Skat og sundhed.dk kører med samme procedure, derfor auto logget in på begge, vidste du det?" P: "Nej!" L: "Overrasket?" P: "Nej, vel egentlig ikke!" P: "Dvs. hvis logget på bank, så også på skat?" L: "Du kan jo prøve!" Logger på skat Taster nøgle Er på skat Åbner ny fane Går til netbank S: "Login-billede" P: "Dvs ikke også logget på bank!" P: "Noget sikkerhed med bank!" P: "Dvs. hænger ikke sammen med skat!" L: "Hvis du nu var gået til nemid.nu, skulle du så logge på?" P: "Nej, er jo logget på skat!" L: "Sp?" P: "Nej!" DEBRIEFING, slut DIKTAFON, slut Bilag F

160 NEMID-TA-LOG Testleder (L): Anders Bjerg Pedersen Observatør (O): Kasper Hansen Testperson (P): P04 Dato: 9/ , kl. 20:00 Nedenfor er observationer angivet. L, O og P henviser til de ovenfor nævnte aktører. Hvor henvisning er udeladt, er P underforstået. Direkte udsagn er angivet i anførselstegn - der henvises dog til diktafon for den præcise ordlyd. Hvor det er relevant er en kort beskrivelse af skærmens visning angivet. Dette er angivet med S. Timestamp Observation T(sek) Label DIKTAFON, start L introducerer P: "Spørgsmål!" P: "Hvis accepterer at bruge NemId til andre tjenester end netabnk, kan man så stadig bruge de gamle login-metoder?" (O: I tvivl - lyt til diktafon). P04-L L: "Ja, formentlig, men ikke 100% sikkert" L: Udleverer samtykkeerkl Læser Underskriver OPG 1, start Læser opg Læser velk.brev Bladrer Læser nøglekort P: "Der er en masse regler, læser aldrig" Skimmer lidt alligevel Læser bagside af nøglekort OPG 1, slut OPG 2, start Læser Lægger papir Googler navnet på den pågældende bank Vælger link fra Google-resultatliste P: "Vil logge på netbank" Trykker på NemID-link i netbanken S: "Java sec. warning" OK S: Viser nemid-login Taster brugerid fra brevet Taster adgkode P: "Adg.kode skal nok selv finde på!" P04-L P: "Det fremgår kun af brev ikke her!" P: "Bliver ikke bedt om at gentage adg.kode, mærkeligt!" P04-L S: "Nemid er ikke aktivt, kontakt hotline" P: "Måske for lang tid om at aktivere?" P04-L P: "Måske opstået en fejl - noget med flere brugere!?" P: "Har læst noget om flere brugere i dagspressen" P: "Kan godt komme på med sikkerhedsnøgle!" P04-L P: "Eller, det går jeg ud fra!" P: "Skærm siger kontakt hotline!" P: "Ville gøre dette - ellers logge på via sikkerhedsnøgle" P04-L P: "Nysgerrig, måske logge på med sikkerhedsnøgle for ad den vej at logge på med nemid" P04-L Logger på netbank med sikkerhedsnøgle S: "Du er på vej i nebank og skal først oprette din Nemid via netbanken" Trykker på "Fortsæt" S: "Opret din nemid" S: "Opret selvvalgt adg.kode" Taster sevvalgt adgangskode Trykker på Næste S: "Valg af brugerid" P: "Ved ikke om jeg fremover selv kan vælge bland de tre muligheder!" (O: Ved ikke om man senere f.eks. kan bruge cpr-nr. som bruger-id, hvis selvvalgt er angivet). P04-L P: "Kan ikke lige overskue at finde på et nyt brugerid." P04-L Bilag F

161 L: "Hvis kryds, så?" (O: I tvivl, lyt til diktafon) P: "Dvs. bruge selvvalgt brugerid, adg. kode og endnu adgangkode (nøgle) senere!" P04-L L: "Hvis du vælger selvvalgt brugerid, kan du så også bruge de to andre?" P04-L P: "Ja, kan formentlig bruge alle tre senere!" Vælger selvvalgt Tænker over valg af brugerid P: "Lidt besv. pludselig at skulle finde på nyt, som ikke bliver brugt andre steder!" P04-L P: "Det skal være rigtig svært, men man skal kunne huske senere!" P04-L P: "Hov, nu stod det der jo, sletter det igen, troede det var et password" P04-L Taster et andet Trykker på næste S: "Nemid ny dig. til det hele" S: "Brug nemid til offe eller kun til netbank?" Ville helst kun bruge det til netbank P: "Kan brug til det offentlige frameldes senere?" P04-L Læser skærmibillede Forstår ikke tekst (OCES) P04-L "Står ikke noget om senere frameld" S: "Nøgle" Finder nøglekort Kigger på nøglekort Finder nøgle P: "Hvorfor bliver tal ikke skjult?!" P04-L P: "Tal står i klartekst!" Næste S: "Nemid klar til brug" S: "Kan bruge selvvalgt brugerid, cpr, eller nemidbrugerid senere" S: Netbank Logger af netbank Google "skat" Vælger første hit S: "Tastselv borger" S: "Adgang med digital sign og nemid" P: "Står forskelligt - mærkeligt" (O: om teksten NemId som er lidt vertikalt forskubbet ift. "Digital signatur") P04-L S: Viderestilles til det off." P: "Nåede ikke at læse " Accepterer sec. warning P: "Kan logge på med digi eller nemid" Vælger nemid faneblad S: "Brugerid og adg.kode" Taster Næste P: "Vælger ikke at blive husket!" (O: Om afkrydsningsboksen under login-felterne på nemid-fanen. P har formentlig ikke læst teksten, men formoder tilsyneladende, at det er en mulighed for at blive "husket") P04-L S: "Nøgle" Taster P: "Oldnordisk med sådan et kort!" P04-L S: "OCES certi er nu oprettet" OK Kommer til "tastselv skat - borger" Læser opg P: "Fuldført!" OPG 2, slut OPG 3, start Læser Går til ny fane Går til sundhed.dk Finder login-knap Trykker på knap P: "OK!" P: "Åbenbart allerede logget på!" L: "Hvordan kan du se det?" P: "Mit navn fremgår!" P: "Vil gerne proklamere utilfredshed allerede!" P04-L Finder "Min læge" OK 156 Bilag F

162 OPG 3, slut CUT-OPG 3, start L: "Genfortæl gerne" P: "Jeg logger på sundhed.dk, finder ud af, at allerede logget ind, skal ikke bruge nøglekort" P04-L P: "Gemt opl. fra tidl. login i skat.dk" P04-L P: "Overrasket!" P04-L P: "Hvis nu ikke lukkede browser men blot gået til startside, så kunne mine opl. misbruges!" P04-L P: "Men har dog ikke logget ud " P04-L P: "Henter opl. hos skat.dk, eller hos danid, som er hubben, nej, henter nok fra browserhistorikken" P04-L P: "Kan ikke selv styre det!" P04-L P: "Forventede at selv kunne styre det!" P: "Føler mig meget overvåget!" P04-L P: "Går ud fra, at det også ville ske automatisk hvis ville logge på andre steder" P04-L P: "Måske også netbank!?" P04-L P: "Måske kun offentlige instanser!?" P04-L L: "Ser evt. på dette senere!" CUT-OPG 3, slut OPG 4, start Læser P: "Dvs. forventer, at hvis logget ud af skat, så også logget ud af sundhed.dk" Går til skat.dk, logger ud Går til sunhed.dk Finder "Min sundhed" S: "Login" P: "Dvs. skal logge på igen" P: "Skal logge på på ny" Vælger nemid faneblad S: "Brugerid, adg.kode" P: Prøver med cpr-nr i brugerid P: "Overrasket over, at cpr-nr. vises i klar tekst" P04-L S: "Nøgle" Finder nøgle Taster nøgle Kommer til sundhed.dk OPG 4, slut CUT-OPG 4, start L: "Hvad skete?" P: "Fandt ud af, at jeg var logget ind!" P: "Da loggede ud af skat loggede samt. også ud af sundhed.dk" P: "Logon og logout skete via skat" L: "Forventet?" P: "Forventede ikke, at systeme var konstrueret til dette!" P04-L P: "Men har stødt på dette andre steder!" P: "Overrasket, ikke gjort noget aktivt på det pågældende sted" P: "Logger jo ud helt andet sted" P: "Negativt overrasket!" P04-L P: "Føler, at login hos skat styrer ved sundhed.dk" P04-L P: "To ting, som ikke har noget med hinanden at gøre!" P: "Digitale æg samlet ét sted!" P04-L P: "Hvis taber kurven går alle æg i stykker!" P04-L P: "Hvis går til startside, uden at logge ud, kan andre komme til alle offentlige sider!" P04-L P: "Føler mig ikke tryg ved dette!" P04-L L: "Hvad med feature med log-af alle steder?" P: "Utilfreds, logger af, hvor jeg har valgt det, men det sker også andre steder!" P04-L P: "Spild af tid, vil logge af ét sted ad gangen!" P04-L P: "Tingene har ikke noget med hinanden at gøre - Ikke tryg!" P04-L L. "Så du, at du kom til samme login side? Fælles off...?" L: "Hvordan skete/fungerede dette med den gamle digitale sign.?" P: "Ved det ikke!" P: "Måske samme styring?" P04-L P: "Ikke bud på dette!" CUT-OPG 4, slut OPG 5, start Læser "Starter med at finde ud af hvordan man best. nyt kort" 157 Bilag F

163 Kigger i velk. brev "Kunne nok også finde det på nettet!" "Tager den direkte" Googler "nemid" Læser søgeres. liste i Google Klikker på link til nemid.nu Ser "bestil NemID til priv. og til erhv." "Går ud fra, at det her er til folk som ikke har nemid" (O: Ser ikke selvbetjeningslink) P04-L Læser skærmbillede / links "Ikke direkte link til bestil nyt" Klikker på "Bestil nemid til priv" Læser links "Går ud fra, at det her er til folk som ikke har nemid" "Fandt ikke noget" P04-L Klikke på "Sideoversigt" Læser links "Heller ikke klogerere" Vælger søgefunktion Taster "nyt nøglekort" Skimmer resultat Finder link "Bestil ekstra nøglekort" Læser yderligere Klikke på andet hit i liste Klikker på "Bestil ekstra nøglekort" S: Login S: Brugerid og adg.kode Taster nemid-brugerid Taster kode Næste S: Nøgle Taster nøgle S: "Ekstra nøglekor" OPG 5, slut SPØRGESKEMA, start L udleverer sp.sk Læser Skriver "Ikke svært at oprette, bare besværligt" P04-L "Praktisk til folk, som ikke kan huske koder" P04-L Går til side OK L læser SPØRGESKEMA, slut DEBRIEFING, start L: "Fortæl overodnet!" P: "Ikke svært!" "Jo også vokset op med comp." "For andre måske svært" "Besværligt" P04-L "Skulle hele tiden finde kodekort" "Ikke svært, overrasket over med auto logget på og auto logget af" P04-L "Hellere selvstændige løsninger" P04-L "Overrasket over centralt styret" P04-L "Overrasket over stadig logget på, da gik væk fra siden" P04-L "Går ud fra, at man teknisk godt kan lave det sådan" "Besværligt med kodekort" "Jeg kommer til at smide det væk og glmme det!" P04-L "Dog samme problem med active card" "Kunne styre det bedre med act. card og tastselvkoder" "Nok nemmere for folk, som ikke kan huske koder" P04-L "Praktisk - men hvis komprommiteret, så er alt kompromitteret" P04-L "Hvis du fik fat i cpr.nr. og kort, så kunne du " P04-L "Samler hele elektroniske id i én kurv!" P04-L "Og så ét privat firma som styrer dette!" P04-L "Sikkerhedsmæssigt for mig et tilbageskridt!" P04-L "Og hvis trodsig og bruger alle kode, så kan jeg ikke gå på netbank" P04-L "Gennem privat firma - ikke smart!" "Og miljømæssigt aspekt med papirkort" P04-L Bilag F

164 "Tåbeligt med pap i elektronisk tidsalder!" P04-L L: "Du har i sp.sk. skrevet "enig" i "mange uoverenstemmelser"?" P: "Uoverenstemmelse at man logger af og på automatisk" P04-L L: "Du nævnte, at du undrede dig over, at brugerid stod i klartekst?" L: "Hvorfor ville du vælge eget brugerid?" P: "Vil vælge lange brugerid og password" P: "Der er sikkert programmer, som kan bryde nemme pw" P04-L P: "Vil vælge svært" (brugerid og pw) P: "Overrasket over at det stod i klartekst!" P04-L P: "Hov, er det egentlig sikker forb.?" P: "Jo, sikker forb.!" L: "Du var i tvivl, da du valgte selvvalgt brugeruid, om du fremover kun ville kunne bruge dette" P: "Vagt formuleret i skærmbillede, om man fremover ville kunne bruge alle tre" P04-L P: "Men fandt ud af, at det kunne man!" P: "Valgte jo selvvagt, hvorfor så muligt at burge cpr?" P04-L P: "Folk skal stjæle nøglekort..:" (O: I tvivl, lyt evt. til dikt.) P: "Ingen pointe i at oprette brugerid, hvis man fremover kan bruge cprnr" P04-L P: "Ikke nemt ift. Active card!" P04-L L: "Yderligere sp?" P: "Nej!" DEBRIEFING, slut DIKTAFON, slut Bilag F

165 NEMID-TA-LOG Testleder (L): Anders Bjerg Pedersen Observatør (O): Kasper Hansen Testperson (P): P05 Dato: 11/ , kl. 11:00 Nedenfor er observationer angivet. L, O og P henviser til de ovenfor nævnte aktører. Hvor henvisning er udeladt, er P underforstået. Direkte udsagn er angivet i anførselstegn - der henvises dog til diktafon for den præcise ordlyd. Hvor det er relevant er en kort beskrivelse af skærmens visning angivet. Dette er angivet med S. Timestamp Observation T(sek) Label DIKTAFON, start L introducerer L: "Spørgsmål?" "Dvs sidder alene og jeg spørger hvis i tvivl?" L: "Ja!" L: "Andre spørgsmål?" "Nej!" L udleverer samtykkerklæring Læser Underskriver Starter browser OPG 1, start Læser lægger papirer væk "Har ikke modtaget velk. brev med posten - har fået det i banken" Læser velk.brev Går tl side "Plejer ikke at læse regler!" Læser ikke regler Åbner konv. m. nøglekort Læser nøglekort Går til side Går til side "Må jeg gerne gå tilbage til papirer senere?" L: "Ja, endelig!" Åbner konv. m. adg.kode Finder adg. kode P: "Fuldført!" OPG 1, slut OPG 2, start Læser "Dvs. skal på skat og logge på!" Går til tastselv S: "Tastselv borger" Læser side Leder efter login-mulighed P: "I tvivl hvor skal ind!" L: "Hvad bliver du bedt om (O: i opgaven)?" "Adgang med tastselv-kode? er det her?" P05-L L: "Bliver bedt om at logge på med nemid" P: "Nå ja" Kliker på log-in med nemid S: "Off login fællesskab " S: "Security warning" P: "Plejer altid at køre disse!" Trykker "Run" S: Viser login-billede med digi.sig eller nemid Vælger nemid-faneblad Trykker "Run" (O: Muligvis til security warning - fik ikke noteret) S: Brugerid, adgangskode Finder brugerid Taster cpr.nr Taster adg.kode fra brevet (midlertidge kode) Næste S: "Fejl" 160 Bilag F

166 P: "Der står ikke hvad der er galt - og forstår ikke?-tegn" (O: P refererer til?-tegn til højre for felterne (som ville give en hjælpe-popup-tekst ved klik på knappen)) P05-L "Vil prøve igen" "I tvivl om hvad der er galt!" Prøver igen "Skræmmende med alle de tal!" P05-L "Prøver at logge på med nøglekort!" Taster cpr.nr Taster nøglekortnummer P05-L S: Melder fejl L: "Giver skærmen hint?" P: "Nederst under brugerid står cpr." (O: P henviser til den grå tekst under loginfelterne) P05-L "Under adg.kode står "Login med nemid-nr"" "Åh ja, vil gerne have nemid-nummer" Prøver med nemid-nummer "Ved ikke om jeg skal bruge streger" (O: Nummeret i brevet indeholder bindestreger) P05-L Taster ikke streger, taster i feltet Adg.kode L: "Hjælper: Nemid-nr skal tastes i bruger-id felt" P: "Forvirrende, teksten står under adg.kode felt" P05-L P: "Taster nummer uden streger" Taster adg.kode fra brevet (midlertidge kode) S: Vender tilb. til lgoin-billede L: "Prøv med bindestreger!" Taster med bindestreger S: Vender tilb. til lgoin-billede, der meldes ikke fejl af nogen art P05-L P: "Nu er der jo ikke røde bokse - ingen vejledning!" P05-L L: "Ændrer opgaven lidt - gå gerne til din netbank!" Går til netbank Finder login-links på netbank P: "Skal jeg vælge nemid eller logge på som jeg plejer?" L: "Som du plejer!" Logger på netbank S: Viser kontooversigt L: "Log gerne ud af netbank!" L: "Og forsøg gerne at logge på netbank med NemID!" Trykker på linket S: Viser loginbillede Taster brugeid (nemid-nummer) og adg.kode "Fik at vide, at jeg kunne bruge koden fra min netbank!" L: "Brug midlertidige adgangskode" S: "Nemid has not been avctivated" S: "Hvis fået nemid fra danske bank, log på din gamle kode og aktiver nemid!" P05-L "Skal aktivere nemid!" Trykker på e-safekey (O: login til netbank med gamle koder) "Lidt lost - tror jeg skal buge nye adgangskode!" P05-L L: "Hvor er du nu?" "Er på netbank!" L: "Har du set denne side før?" "Ja!" Prøver med midlertidige kode S: Fejl Prøver tidligere netbank kode S: Er logget på netbank S: Viser kontoside L: "Er der noget i velk.brev, som fortæller noget?" Læser velk.brev" "Står at skal bruge ét brugerid og adgkode!" "I tvivl om noget jeg skal bruge her fra!" (O: fra brevet) P05-L P: "Fik også at vide i bank, at jeg kunne godt kunne bruge kode - der sker ikke noget ved det!" (O: I tvivl - lyt til diktafon) P05-L Læser "Første gang -.. midlertid kode - senere opret ny kode..." (P læser) (O: formentlig velk. brev) L: "Prøv netbank med nemid!" S: Loginbillede (netbank, nemid) Taster brugerid (Nemid) og midl. adg.kode Næste 161 Bilag F

167 S: "Nemid er ikke aktiveret" S: "Skal logge på netbank med gamlle kode og følge vejl" Prøver "Aktiver nemid med activecard" "Ikke sikker" "Ved ikke hvad activecard er!" S: "Brugerid, personlig kode" P05-L Taster nemid-nummer fra velk.brev Taster midl adg i "pers.kode" S: Fejl "Eller også skal jeg bruge anden kode!" L: "Hjælper: det er ikke her!" L: Forklarer om act.card L: "Stopper lige her!" L: "Gå gerne til nemid.nu" Går til nemid.nu L: "Klik gerne på smiley!" L: "Prøv gerne igen med brugerid og adg.kode!" Taster Næste S: "Nemdi ikke aktiveret" S: "Midlertidige kode er tastet for mange gange!" P05-L S: "Kontakt support!" L: "Set denne fejl før?" "Nej, ikke set fejl før (i dag)!" L: "Stopper test her!" OPG 2, slut DEBRIEFING 1, start L: "Ikke muligt at løse resten af opgaverne!" L: "Har pvrøvet at logge på - virkede ikke!" L: "Prøvede på netbank - fik heller ikke fejlmeddelelse!" L: "Dvs. midlertidige kode er brugt!" L: "Kan ikke aktivere NemID i dag!" L: "Der er Ikke sket noget med din netbank, du kan fortsat logge på der!" P: "Føler det er min fejl!" L: "Det er det ikke!" "Har prøvet de muligheder jeg havde!" L: "Får først fejlmeddelelse sent!" P: "Får kode for at logge på første gang! Jeg burde kunne logge på!" P: "Har jeg gjort norget forkert?" P: "Har jeg gjort norget forkert?" L: "Nej du har gjort præcis som du skulle!" "Det burde også virke!" "Hvad nu? Ringe til support?" L: "Ja, enten ringe eller gå til din bank!" L: "Ikke rystet?" "Det burde jo fung!" "Hvis man sidder alene, burde det jo fungere!" "Får jo ny kode - hvad hvis det ikke fungere igen?" L: "Tager vi senere!" DEBRIEFING 1, slut SPØRGESKEMA, start Læser Skriver "Ved ikke: "Sikkert"?", ud fra hvad du tror, har hørt! L: "Ud fra hvad du tror eller har hørt!" "Har hørt noget, men ike praktiseret?" L: "Kombination!" Går til side P: Fuldført L: "Kigger lige" SPØRGESKEMA, slut DEBRIEFING 2, start L: "Fotæl gerne kort hvad der skete!" "Prøvede at aktivere nemid, loggede på med nemid-nummer!" "Prøvede først med cpr.nr" "Der står, at man selv kan vælge, men det kan man åbenbart ikke!" P05-L "Tastede midlertidig kode!" "Prøvede både på nemid (O: skat.dk) og netbank og nemid.nu "Kunne ikke komme på" 162 Bilag F

168 "Sagde til sidst, at kode tastet for mange gange!" "Og skal have ny kode for at aktivere nemid" L: "Virkede det som forventet?" "Forventede at NemID gjorde det meget nemmere!" "Det er meget nemt med netbank!" "Det her siger de i reklamerne: De gør det nemme for os!" "Har ikke oplevet dette i dag!" "Skal jo have hjælp for at komme på rigtigt!" "Ellers har jeg gjort noget forkert!" "Er det mig eller systemet (O: der er forkert)"? "Systemet burde reagere på en anden måde, viser ikke hvad der er galt!" "Lige pludselig - har brugt kode for mange gange!" "Lidt skidt!" "Ikke som forventet!" L: "Går ud fra, at du vil prøve igen senere?" "Det er jo vejen frem" "Det er ikke godt, hvis man ikke er gode venner med comp.!" "Nogle ting er vigtige - vil gerne gøre forsøg igen (O: vil ikke give op)!" "Det fungerer for min bror - jeg troede det var nemmere at logge på første gang!" L: "Bliver det nemmere anden gang?" "Ved ikke - der står at nøglekort kan bruges én gang!" "Hvad når de er brugt?" "Får nyt nøglekort?" "Afholder det her dig fra at prøve igen?" "Nej, jeg er ikke skræmt - det er bare ikke godt!" "Kender mange, som er skræmte (O: over for comp. generelt)!" "Dette vil skræmme dem mere væk!" "Ikke godt at opleve!" L: "Ikke flere spørgsmål!" Noget at sige? Tak DEBRIEFING 2, slut DIKTAFON, slut Bilag F

169 NEMID-TA-LOG Testleder (L): Kasper Hansen Observatør (O): Anders Bjerg Pedersen Testperson (P): P06 Dato: 21/ , kl. 14:00 Nedenfor er observationer angivet. L, O og P henviser til de ovenfor nævnte aktører. Hvor henvisning er udeladt, er P underforstået. Direkte udsagn er angivet i anførselstegn - der henvises dog til diktafon for den præcise ordlyd. Hvor det er relevant er en kort beskrivelse af skærmens visning angivet. Dette er angivet med S. Timestamp Observation T(sek) Label OPG 1, start læser velkomstbrev læser ikke det hele, skimmer spørger om hun skal læse regler etc læser ikke regler OPG 1, slut OPG 2, start Logger på netbank kan vælge "Log på" eller NemID. Ser ikke den sidste netbanken beder om at aktivere nemid siger ja til certifikat uden at læse generering af adgangskode - må hellere tage den samme som før lykkedes i første forsøg brugerid: genererer ikke selvvalgt indtastning af nøgle finder kode første gang "Det var jo let nok" NemID oprettet går til tastselv.skat.dk kan ikke finde login-sted P06-L fundet siger run til java uden at læse havner i detforkerte faneblad - finder det rigtite logger ind med cpr-nummer adgangskode indtastet får at vide, at det kun kan bruges til netbank (!) Bliver ikke spurgt under oprettelsen. P06-L bliver sendt til nemid.nu kigger lidt rundt på nemid.nu kigger under "Sådan aktiverer du dit NemID" Kan ikke finde ud af at udstede certifikat, da det blev sprunget over i finder selvbetjeningen logger på selvbetjeningen bliver bedt om at bestille - ser ikke "Log på med NemID til netbank" (skulle faktisk have bestilt, men dette fremstod bestemt ikke klart) tilbage til SKAT Opfører sig anderledes end tidligere tests prøver at logge på med NemID igen på SKAT Får diskret fejlmeddelelse og klikker videre til nemid.nu Finder "Brug NemID fra din bank til offentlige sider TASK FAILURE! P06-L Starter bestilingaf offentlig digital signatur logger på selvbetjeningen Kommer til "Få NemID". Studser over linket til at logge på med NemID til netbank Logger på igen igen Endelig kommer den og spørger om en nøgle Finder nøglen - "Det er ikke meget store tal, gamle mennesker kunne have et problem" "Nu er jeg logget ind, så er det lykkedes". Nej! Hopper tilbage til nemid.nu "Er jeg stadig logget ind?" Tilbage til selvbetjeningen Ved ikke næste trin Giver op. TASK FAILURE P06-L Tilbage til SKAT - log på med NemID Igen til NemID - Start bestiling af offentlig digital signatur til dit NemID 164 Bilag F

170 "Få NemID" -> log på med NemID fra din netbank Inde på selvbetjeningen Giver op igen HEFTIGT intermezzo! Opkald til support -> bestil NemID igen med pas -> tilknyt offentlig signatur -> SKAT P06-L Går til bage til SKAT Log på med NemID Logger på med CPR-nummer -> bliver endelig bedt om nøgle fra kortet Indtaster nøgle Får bekræftet oprettelse af certifikat Siger bare Ok Når til SKATs selvbetjening OPG 2, slut OPG 3, start Åbner ny fane med sundhed.dk klikker på log på Er nu logget på Overrasket over at være logget på "Det klarede den selv" P06-L Finder punktet OPG 3, slut CUT-OPG 3, start "Den gjorde det af sig selv - jeg ved ikke hvordan" P06-L "Det må vel være noget med, at jeg var logget ind et andet sted" P06-L "Det var ikke forventet, men ikke nogen stor overraskelse". P06-L "Mit navn stod der, efter jeg havde klikket på 'Log på'" CUT-OPG 3, slut OPG 4, start Logger ud af SKAT - giver fejl igen igen P06-L Tilbage til sundhed.dk -> bliver bedt om at logge på igen Logger ind med NemID igen - nu ren rutine Finder hurtigt nummer på kortet OPG 4, slut OPG 5, start Har set nemid.nu, så hun ved godt, hun skal derind - påvirket af oprettelsesforløbet Går til nemid.nu Logger på selvbetjeningen Finder nøgle hurtigt igen - vant til det efterhånden Klikker på bestil ekstra nøglekort OPG 5, slut Bilag F

171 NEMID-TA-LOG Testleder (L): Kasper Hansen Observatør (O): Anders Bjerg Pedersen Testperson (P): P07 Dato: 21/ , kl. 20:00 Nedenfor er observationer angivet. L, O og P henviser til de ovenfor nævnte aktører. Hvor henvisning er udeladt, er P underforstået. Direkte udsagn er angivet i anførselstegn - der henvises dog til diktafon for den præcise ordlyd. Hvor det er relevant er en kort beskrivelse af skærmens visning angivet. Dette er angivet med S. Timestamp Observation T(sek) Label Gennemgang af manuskript Gennemgang og underskrift af samtykkeerklæring OPG 1, start Gennemlæser brev fra netbank OPG 1, slut OPG 2, start Går ind på SKATs hjemmeside Læser opgaven igen (intervention!) Går på netbank Klikker på NemID (uden at lgoge på netbank først) Leder efter adgangskode i velkomstbrevet Klikker på mere information og finder vejledning Kan logge direkte på med NemID (?) Får lov til at taste kode og logge ind uden at have brugt det (?) Kommer ind på netbanken VED HJÆLP AF NEMID uden at aktivere NemID først!!! Går videre på SKAT Får fejl ved almindelig signatur - klikker på NemID (fælles login-fællesskab) P07-L Klikker på "Husk på NemID" Taster brugernavn og adgangskode og bliver bedt om nøgle Bekræfter oprettelse af certifikat Logget på SKAT OPG 2, slut OPG 3, start Åbner en ny fane Går ind på sundhed.dk Logger på Logget på SKAT "Nå, jeg er logget på" "Jeg har aldrig været på den her side før" Klikker på Min Læge OPG 3, slut CUT-OPG 3, start "Min sikkerhed er i fare - jeg er logget på flere steder ad gangen" P07-L "Jeg kan logge ind på min netbank alle mulige steder fra - det kan jeg ikke lide". P07-L "Det er nemmere at have adgang til tingene, men jeg synes ikke, man skal bruge samme facilitet til alle tingene." P07-L "Der er forskel på indhold af siderne, men jeg har lige adgang til dem alle. Det bryder jeg mig ikke om." P07-L "Hvad hvis jeg får brug for at logge på min netbank 100 gang i løbet af en weekend?" P07-L "Jeg kan ikke logge på min netbank fremover mere, som jeg har lyst." CUT-OPG 3, slut OPG 4, start Går tilbage til SKAT og logger af Går tilbage til sundhed.dk Er allerede logget af automatisk (?).Siden er genindlæst! Logger på igen og kommer til fælles-login Skriver brugernavn og adgangskode og finder nøgle Kommer tilbage til den personlige forside på sundhed.dk OPG 4, slut CUT-OPG 4, start Har set sammenhængen "Synes, det er meget farligt." P07-L "Det havde jeg ikke forventet." P07-L Bilag F

172 CUT-OPG 4, slut OPG 5, start Kigger i velkomstbrevet først Googler:"bestil nem id" (går meget stærkt!) Første hit: nemid.nu > Bestiliing Klikker på kørekort eller pas Går i gang med at bestille et NemID Læser boksene til højre på siden Udfylder flere felter i bestillingen. INTERVENTION! Får at vide, at hun er ved at bestille et NemID, ikke et ekstra nøglekort. Intervention, da konsekvenser for bruger er ukendte. P07-L Googler: "bestil ekstra nem id" Finder selvbetjeningen Logger på med brugernavn, adgangskode og nøgle OPG 5, slut Bilag F

173 NEMID-TA-LOG Testleder (L): Kasper Hansen Observatør (O): Anders Bjerg Pedersen Testperson (P): P08 Dato: 22/ , kl. 13:00 Nedenfor er observationer angivet. L, O og P henviser til de ovenfor nævnte aktører. Hvor henvisning er udeladt, er P underforstået. Direkte udsagn er angivet i anførselstegn - der henvises dog til diktafon for den præcise ordlyd. Hvor det er relevant er en kort beskrivelse af skærmens visning angivet. Dette er angivet med S. Timestamp Observation T(sek) Label Oplæsning af manuskript Gennemlæsning og underskrift af samtykkeerklæring Samtykkerklæring undrskrevet OPG 1, start Har læst brevet Bliver forvirret over "dekorationstegnene" bag på nøglekortet. Kender ikke betydningen. P08-L OPG 1, slut OPG 2, start Læser opgaven meget grundigt Tager trinene meget stille og roligt Logger på netbank og bliver bedt om at aktivere NemID Læser grundigt og langsomt teksten igennem Trykker på Ja til at have modtaget nøglekort Ser ikke, at siden selv opdaterer sig med ny mulighed nedenfor. P08-L Trykker OK til at oprette NemID nu Får sikkerhedsadvarsel på engelsk - ved ikke, hvad hun skal gøre Ville almindeligvis have lukket den uden at acceptere - TASK FAILURE. P08-L Bliver bedt om at oprette en selvvalgt adgangskode Forsøger med sin netbank-kode. P08-L Gentager indtastning Skriver koderne forskelligt og får fejl under sidste boks Koden opfylder ikke kravene, men det bemærkes ikke. P08-L Får besked om, at adgangskode ikke er gyldig! Ser igen ikke boksen med regler. P08-L Prøver en tredje gang Testleder forsøger diskret at gøre opmærksom på regelboksen P08 ser reglen om båe bogstaver og tal og forsøger igen Lykkedes Bruger-id: i tvivl om, hvad dialogen betyder. P08-L Forstår ikke konceptet om det ekstra valgfrie login P08-L Forsøger at klikke direkte i boksen uden held. P08-L Tror, at hun skal skrive sit cpr-nummer eller NemID-nummer i boksen P08-L Klikker på checkboxen, og regler for brugerid kommer frem Er ved at skrive sin gamle adgangskode igen i stedet for et brugerid. P08-L INTERVENTION (ville være sikkerhedsmæssigt uforsvarligt!) Ved ikke, hvad et bruger-id er Vil gerne bruge sit CPR-nummer. P08-L Havde regnet med, at det skulle være "prikker" i stedet for tegn. "Så det må ikke være det". P08-L "Det må ikke være bogstaver, det skal være 'tegn'" Kender ikke til begrebet "tegn", tror ikke det indbefatter bogstaver P08-L Havde ringet til support, hvis vi ikke havde været der P08-L Kan ikke se, at hun skal scrolle ned for at finde "Næste"-knappen P08-L INTERVENTION: testleder hjælper videre ved at vise Næste-knappen og forklarer konceptet Klikker Næste og får besked om optaget brugernavn Forventer respons uden at have klikket Næste. P08-L Klikker Næste og kommer videre til certifikatindstillinger Læser grundigt reglerne, men uden at scrolle op igen Klikker på "Læs mere" under reglerne Læser meget omhyggeligt reglerne (stadig uden at scrolle op) Tøver med at klikke på "Jeg giver samtykke og accepterer 'Regler for NemID'" INTERVENTION: testleder beder P08 om at scrolle op, så resten af mulighederne bliver synlige. 168 Bilag F

174 Forstår ikke, hvad dialogen beder hende om at tage stilling til. P08-L Vil umiddelbart helst kun bruge det til netbank INTERVENTION: testleder forklarer konceptet Vælger at bruge til begge dele Vil gerne klikke på "Afbryd", testleder leder videre til Næste-knappen P08-L Kommer videre til indtastning af nøgle Scroller ikke op igen Læser ikke hjælpen og forstår ikke umiddelbart konceptet Taster den første nøgle på kortet - får "Fejl i nøgle". P08-L Link-tekst på knappen siger "Log på med NemID" - forvirrer brugeren. P08-L Klikker på næste igen og får udvidet fejlmeddelelse og hjælp Læser ikke hjælpen men klikker på "Tilbage" i stedet Opdager ikke tallet under havelågen. P08-L Ser rød fejltekst "Jeg vile slette den røde krans uden om feltet, hvis jeg kunne". P08-L Læser "Hjælp til nøgle" igennem uden at komme videre "Nøglen er jo forkert. Det står der ikke på kortet". P08-L TASK FAILURE: ville ringe til support P08-L INTERVENTION: testleder hjælper med at finde nøglen Finder tallet under den rigtige havelåge Forventer respons uden at have klikket Næste. P08-L Læser link-teksten på Næste-knappen meget bogstaveligt! Klikker på Næste og får bekræftet oprettelsen Forstår nu konceptet med at finde nøgler Klikker OK og kommer tilbage til netbanken Begynder at logge på INTERVENTION: testleder henviser til opgaven Vil logge ind på netbanken for at komme til skat Kan ikke se, at hun slet ikke er logget på sin netbank - forsøger at logge på igen INTERVENTION: testleder hjælper, og et nyt browservindue bliver åbnet Kommer frem til SKAT vha. Google-forside (søgning) TastSelv-forsiden Klikker på Bestil NemID -> nemid.nu P08-L Ser ikke "Adgang med digital signatur" i toppen af siden Spotlæser på nemid.nu Klikker på "Sådan bruger du NemID" Klikker på "Sådan bruger du dit nøglekort" Klikker på "Bruger-id og adgangskode" Ved ikke, hvor hun er havnet. P08-L Klikker på "Bruger-id og adgangskode" Klikker på "Bruger-id og adgangskode" Kan godt se, at hun ikke er på SKAT Klikker tilbage to gange Læser videre på NemID.nu Klikker på information om NemID selvbetjening "Jeg kan slet ikke finde noget med SKAT herinde - jeg må være kommet forkert." TASK FAILURE: gider ikke mere, ville forsøge senere. P08-L INTERVENTION: klikker tilbage til SKAT Ser slet ikke "Adgang med digital signatur" eller det lille logo. P08-L INTERVENTION: det er ikke der Klikker igen på "Bestil NemID" og fortsætter INTERVENTION: hjælper med at finde login Klikker på Adgang med digital signatur Får igen en engelsk sikkerhedsadvarsel, kan ikke genkende den P08-L Havde fundet sin engelskbog Forstår ikke dialogen (som godkender appletten til den GAMLE signatur) Kommer frem til dialogen med den gamle signatur Ser ikke fanebladene! P08-L Læser teksten til højre i billedet Klikker på "Vælg digitral signatur". P08-L Klikker på Gennemse og får en fildialog frem "Det er noget med billeder, det kan ikke være rigtigt." Klikker på "Vilkårfor NemLog-in" pg læser lidt INTERVENTION: P08 beder om hjælp (har opgivet) Tstleder viser det rigtige faneblad Genkender tegnene fra bagsiden af nøglekortet Bliver overrasket over, at bruger-id ikke står med prikker P08-L Tror, bruger-id er forkert, hvis det ikke står med prikker Taster bruger-id og adgangskode og bliver bedt om nøgle. 169 Bilag F

175 Finder hurtigt den rigtige nøgle Får bekræftelse af oprettet OCES-certifikat Testleder peger på bekræftelsesdialogen for at henlede på OK-knappen P08 skriver ned, hvad der er tastet ind Klikker OK og har fuldført opgaven OPG 2, slut TEST STOPPES (pga. manglende tid) Spørgeskema udfyldes. 170 Bilag F

176 NEMID-TA-LOG Testleder (L): Anders Bjerg Pedersen Observatør (O): Kasper Hansen Testperson (P): P09 Dato: 2/ , kl. 15:30 Nedenfor er observationer angivet. L, O og P henviser til de ovenfor nævnte aktører. Hvor henvisning er udeladt, er P underforstået. Direkte udsagn er angivet i anførselstegn - der henvises dog til diktafon for den præcise ordlyd. Hvor det er relevant er en kort beskrivelse af skærmens visning angivet. Dette er angivet med S. Timestamp Observation Tid Label (diktafon startet omkring 3 minutter siden) L: "Spørgsmål?", P: "Ingen spørgsmål" Udleverer samtykkeerklæring OPG 1, start Læser Læst Læser aldrig regler OPG 1, slut 0t 1m 11s OPG 2, start Læser Starter Firefox Går til netbank Klikker på log-på S: "Brugerident" Taster CPR Vil taste nøglekortnummer (O: fra tidligere løsning med netbank) Vælger log på med NemID i stedet S: "Der er opstået en programfejl" P09-L Trykker afslut Trykker? S: Java security warning Klikker OK S: NemID login Taster cprnr Trykker hjælp til adg.kode Læser "er det første gang..." Skal finde 6-cifret førstegangskode Læser breve Kan ikke finde 6-cifret kode P09-L Kan kun finde 9-cifrede Læser skærm, "burde have fået det fra danid" "Har kun fået velkomstbrev og nøglekort fra Danid" P09-L "Ikke yderligere breve" L: "Hvad ville du gøre nu, hvis vi ikke sad her?" "Ville have lavet noget andet (udsat det)" "Har ikke modtaget andet" Giver op P09-L L: "Hvad er der normalt sket ved logon?" Samme princip L: "Kan du prøve at logge på som normalt?" (på netbank) Finder kort til netbank Kort fundet Logger på netbank som tidligere Taster cprnr og netbank-nøglekortnummer S: Adgangskontrol, L: Taster nøgle S: Du skal buge NEMID Ny tilslutning Logger på netbank igen (tidligere metode) Adgangkontrol, taster nølge S:Du skalbruge NemID for at logge på Klikker på "Hvordan logger du på", ser video på netbank, her beskrives processen Stopper vil ikke høre mere om login på offentlige tjenester P09-L Trykker "Videre" Skal vælge ny adgangskode Tænker over adgangskode Taster adg.kode 171 Bilag F

177 Gentager adg.kode S: Bruger-id Vælgler CPR/nemid S: Nøglelogin Indtaster nøgle Næste S: Fejl i nøgle P09-L Taster Næste S: NemID er nu oprettet S: NemID kan bruges til netbank S: Login-billede med Nemid i netbank: "Kan nu kassere netbank-nøglekort" Logger på netbank Taster cpr Taster adgkode S: Nøglelogin Taster nøgle Er logget på netbank Læser opgave Kan ikke se, hvor jeg skal gøre dette P09-L Ser på post i netbank Læser "ordrebekr" Vil gerne gå til nemid.nu "Kan ikke umiddelabert se, hvordan jeg skal logge på skat" P09-L "Går ud fra at man kan bruge NemID på skat" P09-L Går til tastselv.skat.dk Ser link S: Det offentlige log-in-fællesskab Klikke på digi.sign. dropdown Ser NemID faneblad Taster brugerid S: Dit nemid kan kun benyttes til netbank P09-L Kommer til nemid.nu Læser Leder efter aktivering til andet end netbank S: indeholder link "Brug nemid til offentlige sider" Ser ikke link P09-L Finder "Log på selvbetjening" Logger på S: "Få nemid" og "Bestil nemid til netbank" Trykker på link "Offentlige myn.." Læser introduktion til nemid Læser "Klar til nemid" Læser "Teknik og Sikkerhed" Læser "om nemid" P09-L Går til forside igen L: Hvad vil du opnå? "Få adgang til skat!" Læser "ofte spurgte spørgsmål" "Ikke noget af interesse" Surfer lidt rundt Læser "Administrer nemid" Ser videon Video omhandler: - Spærring Ny midlertidig kode ændre adg kode Ændre kontaktdata Nyt nøglekort "Blev ikke klogere" P09-L Logger på selvbetj S: "Få NemID - bestil nemid og få." "Vist ikke her" P09-L Prøver at logge på selvbetj. igen "Måske har jeg kludret i det" P09-L S: "Få NemID - bestil nemid og få." Læser "Administrer nemid" "Det er det samme" S: "Brug NemID fra din bank til offentllige sider" S: "Start brug NemID fra din bank til offentlige sider" logger ind L: Stopper (intervention) P09-L Bilag F

178 S: Link "Bestil nemid" og "Log på med NemID til netbank" Vælger "Log på netbank med nemid" L: Har du prøvet det før? Ja fortsætter Logger på netbank Venter S: Funktionen midlertidigt ude af drift P09-L "Kom ikke ind" Prøver igen Kom ind på netbank L: Hvad leder du efter? "Leder efter aktivering af skat!" L: "Den ene mulighed var log på nemid på netbank " Leder efter aktivering af skat! Læser beskeder fra bank "Ikke blevet klogere" P09-L Kan se samme video som før L: "Hvis vi ikke sad her, ville du?" "Ville lede videre, måske en time" L: Du nåede før frem til side "Bestil NemID" og "Log på med nemid til netbank " L: Her skulle du faktisk vælge "Bestil nemid" "Langt ude" P09-L Prøver dette S: Bestil nemid S: Bestil med kørekort eller pas Taster cpr Finder pas Næste S: "Du har allerede nemid" "Ja, tak vil gerne" Bekræfter S: Registreret "Går ud fra kan komme på skat" P09-L Prøver skat Finder fane S:Login Nøgle "Virkelig, virkelig smart lavet" (Ironisk) P09-L NemID med off sig er nu oprettet "Kan se forskudsopg" Nu er jeg på Skal finde årsop Færdig OPG 2, slut 0t 34m 1s OPG 3, start L: Log lige på skat igen Logget på skat L: Starter opg Læser Går til sundhed.dk Klikker på log på Ryger direkte ind "Det er jo egentlig dumt, hvis glemmer at logge ud " P09-L Skal finde læges adresse Finder læge OPG 3, slut 0t 1m 9s CUT-OPG 3, start L: Hvad skete her? "Når man er logget på én fane er man også logget på på hele browseren, ikke godt!" P09-L "Giver muligheder hvis efterlader får ikke logget ordentlig ud, specielt (kritisk) når det gælder banken" P09-L L: "Dvs, hvis logget på netbank, " "Går ud fra at netbank er "med"" P09-L L: Overrasket? "Positiv overrasket over at komme hurtigt ind!" P09-L "Negativt overrasket, hvis forkert læge skulle så google " P09-L L: "Hvorfor ikke bedt om login?" "(systemet) går ud fra, at det er mig der sidder ved computeren" P09-L "Ved det fra den anden fane" 173 Bilag F

179 CUT-OPG 3, slut OPG 4, start Aktiverer skat.dk fane Logger af Går til sundhed.dk fanen Klikke på "min personlige forside" Skal logge ind "Er stadig på sundhed.dk" L: "Set side før?" "Ja,på offentlige " "Ikke på netbank!" Logger ind "Er på min pers." OPG 4, slut 0t 2m 0s CUT-OPG 4, start L: "Hvad skete?" "Når logger ud et sted så logget ud alle steder!" "På sin vis godt, men det burde ikke være muligt at logge ind på denne måde!" P09-L L: "Hvorfor hænger det sammen?" "Fordi offentlige " "Sikkert samme server det kører på " P09-L L: "Ikke overrasket over logaf?" "Sikkert billigere med ét system" P09-L "Men sikkerheden bliver svagere!" "Hvis på netbank også, ville så " "Nej netbank kører på sit eget " L: "Da du klikkede på min personlige forside, forventede du at skulle logge ind?" "...ikke overrasket over " CUT-OPG 4, slut OPG 5, start Læser "Tror vi skal tilbage til nemid" Aktiverer allerede aktiv fane med nemid.nu Klikke "bestil nemid" Læser Søger på "ekstra nøglekort" Læser første link i resultat, vælger dette S: Log på selvbetjening Nøgle Bestil OPG 5, slut 0t 1m 43s SPØRGESKEMA, start Læser Side "Nemid er let, men svært at få det offentlige med" P09-L SPØRGESKEMA, slut DEBRIEFING, start Logger ud L: "Korte sp" L: "Hvordan gik det?" "Bortset fra opg2 så ganske let" "Det var ikke klart, her kan du bestille, men sidder med det i håndet, skal man jo ikke bestille " P09-L "Havde givet op ellers" P09-L "Eller havde prøvet udelukkelsesmetoden" P09-L L: "Helt generelt om nemid?" "Ideen er god nok, men ved ikke hvor sikkert det er" P09-L "Én mur, men når først det er væltet, så er det sårbart" P09-L "Bekymret for sikkerhed, paranoia når på nettet" P09-L L: "Du har svaret sikrerer end " (O:?) "Jo flere koder, jo mere skal der hackes" "Bekymrer lidt" P09-L "Kan ikke vurdere om mere eller mindre sikkert" P09-L L: "Lidt nervøs over logget ind ét sted og så logget ind alle steder?" L: "Nemid slår meget på dette!" "Lidt som en molbo-historie" P09-L L: "Slogan ét login til det hele!" "Kan se det tiltalende i det" "Kan godt se det smarte, men også det farlige" P09-L L: "Hvor nervøs nu, hvor du så, at du var logget ud alle steder?" "Skal blot sørge for at logge ud " 174 Bilag F

180 L: "Lagde du mærke til, at du skulle logge på på selvbetj på nemid.nu selvom du var på sundhed.dk?" "Ja, anden side, nok ikke det offentlige, fik et firma til at lave det!" "Giver god mening!" L: "Andre ting?" "Min generation kan nok finde ud af det, men mange andre " P09-L "Gider ikke snik snak videoer!" P09-L DEBRIEFING, slut DIKTAFON, slut 175 Bilag F

181 Bilag G. Tænke-højt: Data og deskriptiv statistik 176 Bilag G

182 177 Bilag G

183 Bilag H. Tænke-højt: Uddybende kommentarer fra respondenter I det følgende gengives de semi-transskriberede optagelser af testforløbene for P01-P09. Hver udtalelse er suppleret med tidspunkt og kontekst for udtalelsen. Under forløbet af P06 løb diktafonen desværre ubemærket tør for strøm, derfor mangler nogle minutter i midten af testforløbet. 178 Bilag H

184 P01 L: Testleder, P: Testdeltager, O: Observatør/logger Tid: Kommentar: Kontekst: Det virker ikke umiddelbart nemt, vil jeg sige. Men det kan være, det er det, når man starter. Under gennemlæsning af velkomstbrev 15:10 Ha ha, der er mange gentagelser på de her sider. Opstart af aktivering på netbank Nu håber jeg det må være den (adgangskode, red.), som jeg brugte før. Oprettelse af adgangskode Jeg tror, jeg foretrækker CPR- nummer. Det kan jeg nemlig nemt huske. Oprettelse af selvvalgt bruger- id Det vil jeg egentlig ikke, men det skal jeg jo. (bruge NemID til netbank, red.) Oprettelse af OCES- certfikat 18:30 Jeg havde indtryk af, at man KUN kunne bruge det til netbank. Oprettelse af OCES- certfikat 18:55 Jeg synes ikke, det fremgår, om man overhovedet kan vælge at lade være med at bruge det. Oprettelse af OCES- certfikat Hvis man nu ikke havde lyst til det. 23:00 Det må jeg hellere sige ja til. Accept af Java- signatur (gammel) 26:55 Det var lige godt nemmere, da man bare havde en firecifret kode, eller hvor meget det nu var. Frustration efter tredje gang nøglekort 27:45 Jeg er faktisk logget på, men jeg er ikke helt sikker på, hvad det faktisk er, jeg er logget på. Men det er simpelthen måske bare NemID, jeg er logget på? Kort efter redirect til nemid.nu for at aktivere OCES- certifikat. 29:35 Jeg har med sådan noget, jeg synes virkelig, det er kedeligt. Det skal bare virke. Det er jo Kort efter succes med opgave 2. også derfor, jeg ikke har aktiveret det før. 34:00 Okay, der kom jeg så bare på. Der står, jeg er logget på! Det er sikkert fordi, jeg allerede er Efter logon på sundhed.dk logget ind på noget så 35:45 Jeg havde klart forventet, at jeg skulle logget mig på igen. Det kan godt være, det også er CUT på opgave 3 det offentlige, men det er trods alt et "andet sted". Så har jeg lidt en forventning om så er det jo i hvert fald spørgsmålet, om hvad der sker Starten af opgave 4 herinde. Det er simpelthen fordi, de hænger sammen så. Jeg tænker, når de nu kører så storstilet, hvor mange bruger digital signatur fremfor NemID, NemLog- In præferencer og hvad der så skulle ligge forrest. 38:20 Nåh, og der står også "Det offentlige log- in fællesskab". Det er jo nok deraf, det kommer. Opgave 4 38:40 Dem der, som man klikker af, er jo normelt sådan nogle "husk min adgangskode", og den Opgave 4 ville jeg jo ikke klikke af. Det ville også være rimelig dårlig sikkerhed, hvis man kunne det. 40:25 Det er nemmere, når man kun skal logge ind og ikke igennem aktiveringen. CUT på opgave 4 41:40 Jeg er ikke helt sikker på, at jeg blive inde på sundhed.dk. [ ] Fordi der ikke umiddelbart står Opgave 5 noget om NemID her. 42:35 Jeg lurer lidt på, om jeg skal logge ud, og om man så kommer tilbage til den der, eller om Opgave 5 man kan finde et andet sted. Jeg tror, jeg kunne finde den på SKAT faktisk. 43:10 Så Googler jeg jo bare NemID, for der var jo en side før, der hed noget med NemID. Opgave 5 43:30 Den første er en nordjysk entreprenør, men nummer to er forsiden til NemID. Opgave 5 43:45 Jamen det er NemIDs side. (nemid.info, red.) Opgave 5 44:10 Men jeg tænker, det er mere en informationsside, end et sted, hvor man kan gøre så meget. Opgave 5 Overskrifterne er meget sådan "Prøv det her". Virker som om, det er sted til nogen, som ikke har NemID endnu, men som gerne vil have det. 46:05 Jeg så et sted, hvor der stod, at man kunne bestille dem, men jeg kan ikke huske hvor. Opgave 5 47:05 Det var den, jeg havde lige før (nemid.nu, red.). Næh, det var det faktisk ikke. Aha Ved ankomst til nemid.nu 50:15 Jeg synes, det (kodegeneratorer, red.) er lidt nemmere end at skulle sidde og finde de der Kommentar 54:30 Når man først har installeret det, så er det sådan set nemt nok at bruge. Og på en måde er Debriefing det måske meget rart, at man bruger den samme kode til flere steder. F.eks. Kan jeg aldrig huske min kode til den der - konsultation, fordi jeg bruger den simpelthen så sjældent, så de skal altid sende en ny, hvis jeg skal sende en mail til dem. Så hvis jeg kan bruge den her, så er det jo meget nemmere. Så det er jo sådan set en fordel. Jeg har jo læst om det, men jeg har egentlig mest set det i forbindelse med min netbank, så Debriefing jeg har koblet det til det. Men ellers tror jeg nok godt, at jeg vidste, at det svarede til digital signatur, så man kunne bruge det flere steder. Jeg sagde nej til andre tjenester, fordi jeg havde mit fokus der (på netbanken, red.). Jeg havde egentlig ikke tænkt så meget over, at jeg også kunne bruge det til andre steder, men jeg bruger jo også SKATs hjemmeside et par gange om året eller sådan noget, og der er det i virkeligheden igen det samme. Der har man den der tastselv- kode, og hvad var det nu den var, og så skal man bestille en ny igen, og der er det jo sådan set meget nemmere, at man har den samme kode, man kan huske. Debriefing 179 Bilag H

185 Hvis jeg ikke havde lavet den her test, så tror jeg ikke, at jeg ville den der sundhed.dk Debriefing kendte jeg egentlig ikke rigtigt. Så tror jeg ikke, jeg overhovedet ville have tænkt på at bruge den. Jeg tænker, hvis jeg ville tjekke min SU- gæld, kunne jeg sikkert gøre det. Ellers skulle man ind Debriefing på den der nemid.nu og se, hvad for et fællesskab, der er. Der kunne man jo sikkert få at vide, hvor præcist man kan bruge det. Jeg er helt sikkert mere nysgerrig nu for at se, om der er nogle andre steder, hvor jeg kan Debriefing have fordel af at bruge det. Jeg tror også, at jeg vil komme til at bruge det mere, end jeg havde forestillet mig. Debriefing Men jeg synes, det er mærkeligt, at de har en NemID- side, hvor der er en masse information, Debriefing og så har de en anden side, hvor man logger sig på. Den ene var jo en ren informationsside, som skal overbevise folk om, at det er en rigtig god ide, og den anden er der, hvor man logger sig på. Men jeg tænker, at dels når man så søger på Google, ikke, at det så er den, der kommer frem. Så ville det jo for mig være naturligt at sige, at her kan man også logge sig på. Det synes jeg ikke, var intuitivt. 180 Bilag H

186 P02 L: Testleder, P: Testdeltager, O: Observatør/logger Tid: Kommentar: Kontekst: 5:10 Jeg har læst mit brev igennem i weekenden, og umiddelbart så virkede det meget Opgave 1 logisk, det der stod i brevet. 7:50 Den vil jo godt have, at jeg kører noget Java så jeg siger "Run". Men spørgsmålet er, Accept af DanID- applet om jeg overhovedet har lov til det på en arbejdsmaskine? Lad os se, hvad der sker. 9:25 Jeg er tvivl om, om der skal flueben i "Selvvalgt bruger- id". Jeg forstår ikke, hvad Generering af selvvalgt adgangskode dialogen gerne vil have mig til. Det ser ud som om, den har mit CPR- nummer, den har det her NemID- nummer, som jeg har fra brevet, og hvis jeg klikker "Næste", så tror jeg, at så vil den bede om mit nøglekortsnummer. 10:25 Det er vel en form for login- kode til netbanken. Men jeg ved det ikke. Jeg ved ikke, om Om selvvalgt adgangskode det er en form for login- password? 10:50 Jeg har umiddelbart mest lyst til at sige "Næste", men jeg ved ikke, om det er rigtigt. Om selvvalgt adgangskode Hvis det ikke er rigtigt, så siger den vel, at jeg mangler at udfylde noget. 16:05 Jeg er jo ikke logget ind. Mit navn er der ikke, mit CPR- nummer er der ikke. Jeg kan jo Om tastselv på SKAT ikke komme ind, før jeg bruger en nøglekortskode. Så det er vel "Adgang med digital signatur / NemID". 16:45 Bruger- id - det må jo så være det, der står i brevet. De tre klumper tal med tre cifre. Det Fælles Log- in fællesskab Eller det vil jeg gå ud fra, det er. Nej, det er ej. Jo, det må det være, det prøver jeg. 17:25 Så får jeg et rødt vindue, der er noget, der er galt. Så må det jo være CPR- nummeret, Det Fælles Log- in fællesskab der er bruger- id. 25:45 Der stod, at jeg loggede på for ca. 5 minutter siden, og det er jo fra det andet vindue, Opgave 3, efterspil jeg har liggende. Så hopper den derhen og henter data. Fordi nede i bunden af værktøjslinien der har jeg jo to sundhed.dk åbne, så den har fundet ud af, at jeg ER logget på. Så det er vel derfor, den tager den side op til mig. 26:45 Den må jo umidelbart kunne registrere, at jeg ikke har logget mig af. Altså at jeg har CUT på opgave 3 ikke har lukket det andet vindue, jeg har åbent. Maskinen har vel et id- nummer, som den kan læse og sige: "Hov, den bruger er logget på". Fordi hvor skulle de ellers vide det fra? 27:30 Det ser ud som om (og det er så en helt vild tanke), at hvis man ikke får logget af, så CUT på opgave 3 uanset hvornår du hopper på browseren, så er du bare logget på. Og så gælder der vel det samme for SKATs hjemmeside. Hvis jeg ikke logger af der, så næste gang jeg hopper på SKAT, så er jeg logget på. 28:40 Jeg har lidt svært ved at forstå, hvordan den kan vide, at jeg er logget på. Med mindre CUT på opgave 3 den læser noget spor i maskinen og siger "Eh eh, den person er logget på", fordi de kan jo ikke vide, hvem der sidder og taster. Så det må være sådan noget, der kører. Det er den eneste forklaring, jeg kan komme med. 29:50 Så det vil sige, at det var SKATs hjemmeside, der gjorde, at jeg ikke var logget på og Opgave 4 kunne få fat i sundhed. Gud ved, om det var noget med de der borger- ting, der er inde på SKATs hjemmeside. Om man kan komme den vej rundt til sundhed. 30:30 Jeg synes egentlig, det er et dårligt vindue. Det giver én det indtryk, at man er logget Opgave 4 på, når man ikke er logget på. (sundhed.dk, red.) At det er et andet vindue, der er årsagen til, at du kan være logget på. Hvorfor skal man ikke logge på hver sit vindue med hver sin kode? Det har jeg lidt svært ved at forstå. 32:00 Enten er det fordi, jeg bliver logget af på SKATs hjemmeside, eller også er der måske CUT på opgave 4 en tidsfaktor, som også siger, nu har siden været åben i så og så lang tid, og du har ikke været aktiv. Så det kan være noget sikkerhed, der går ind og logger mig af. Jeg håber faktisk på, at det er sikkerhed og ikke SKAT, der styrer det der. 33:00 Du kan være logget på, og så lige pludselig ringer telefonen, og der kommer kunder CUT på opgave 4 ind, og du får lige pludselig en hasteopgave og glemmer måske, at du er i gang inden på en NemID- hjemmeside, så jeg håber faktisk, det er en timeout, jeg har fået. 33:45 Man bliver sådan lidt i vildrede, når man lige pludselig ikke har adgang til siden, du CUT på opgave 4 havde adgang til, fordi jeg har jo ikke logget af fysisk på den side. Jeg forventede, at jeg stadig var logget på sund, efter jeg havde logget af SKAT. 35:30 Mit første gæt er, at jeg skal jo nok på DanIDs hjemmeside så. Uden at vide, om det er Opgave 5 rigtigt. 36:20 Jeg tager et kig på bagsiden af nøglekortet, for jeg tænker, det måske kan stå der. Opgave 5 42:30 Det er ikke altid hjemmesiderne er bygget op, så det er nemt at finde log på og log af. Debriefing Hjemmesiderne ER meget forskellige. Nu har vi en menulinie, og nu har vi sådan en lille boks ude til højre, og nu har vi den i venstre side. Der er ikke ét sted, du går hen og logger på. Det kunne være rart. 181 Bilag H

187 43:20 Selve konceptet (med ét bruger- id, adgangskode, etc., red.) er rigtig godt, fordi netop Debriefing personfølsomme oplysninger. Hackere som aflæser tastekoder, kender ikke ens nummer. Så på den måde synes jeg, det forøger sikkerheden i forhold til, hvad jeg plejer at bruge. 43:30 Jeg er ikke sikker på, jeg selv var kommet så langt derhjemme (ift. forskellige tjenester Debriefing etc., red.). 43:50 Jeg tror generelt, at det er sådan noget, du skal prøve nogle flere gange, før du Debriefing begynder at blive fortrolig med det. 44:25 Jeg tror, at hvis jeg ikke havde været med i forsøget, så ville jeg kun have brugt det til Debriefing netbank. Jeg er ikke overrasket over, at det kan bruges til andre ting, for det kan den digitale signatur også, og det har jeg også gjort før. Så nej, jeg er ikke overrasket. Man kan sige, NemID forøger sikkerheden, på grund af at u har en ny adgangskode hver gang. Den er meget lig den digitale signatur. 44:55 Forskellen er, at nu kan du logge på fra en hvilken som helst computer, det kan du Debriefing ikke med digital signatur, med mindre du har programmet eller signaturen med på en USB- nøgle. Jeg kan godt lide sikkerheden, der er i det der, så det er bedre end digital signatur. 45:30 Det er jo ikke NemIDs skyld, hvordan forskellige hjemmesider er bygget op. De har jo Debriefing ikke noget at gøre md, at man sidder der og tonser lidt rundt på en hjemmeside og ikke kan finde det, man skal klikke på. Det er jo ikke NemIDs skyld. 47:10 Det er da usmart, at du per automatik er logget på flere steder. Fordi du skal jeg kan Debriefing ikke lide, at der er flere data oppe at køre, uden at jeg ved det. Jamen altså hvis jeg for eksempel er på SKATs hjemmeside, så kan jeg da ikke lide, at sundhed også kører samtidig i baggrunden. Det bryder jeg mig da ikke om. Fordi de åbenbart bruger samme indgang - de åbner begge to op, uden du skal logge på begge steder. Der har vi jo kun været logget på ét sted. Og det vil sige, så er der jo lige pludselig lukket op. TL: For hvem? P: For andre. Det bryder jeg mig ikke om. Nu er det jo en offentlig computer den her, så det vil faktisk sige, at min IT- afdeling kan sidde og kigge med på alt, hvad jeg laver. Det kan godt være, at jeg er lidt paranoid, men jeg ar altid passet ekstremt meget på. Vi har sågar derhjemme en computer kun til netbank - ikke til noget som helst andet. For at undgå hackere og sådan nogle ting. Ingen s, ingen internet, kun netadgang til bank. 48:50 Jeg håber, at det er korrekt forstået, at alle de koder der simpelthen giver dig en sikkerhed, så du ikke behøver spekulere over, hvad computeren tidligere har været brugt til. Debriefing 182 Bilag H

188 P03 L: Testleder, P: Testdeltager, O: Observatør/logger Tid: Kommentar: Kontekst: 7:25 Jeg siger jo nok bare "Run" jo Accept af DanID- applet 7:50 Nu skal jeg lave en adgangskode. Kan man ændre den eller hvad? Nej, det kan man Oprettelse af adgangskode så ikke 14:00 Nå, den kan huske mig automatisk eller hvad? Opgave 3 14:15 Jeg står, som om jeg er logget på - uden at have tastet noget. Opgave 3 15:15 Det må jo være fordi at pas! Noget med noget med at det er den her computer, jeg CUT på opgave 3 sidder på eller et eller andet? 15:30 Jeg ved ikke lige, om jeg havde forventet, at når jeg trykkede på "Min læge", at det så CUT på opgave 3 også var min læge, der kom frem. Men det må være fordi, den har taget nogle oplysninger fra sygesikringskortet eller sådan noget. Altså, hvor der også står på, hvem man har som læge. 18:20 Ja, nu loggede jeg mig så at SKAT, og det betød så, at jeg skulle ind på sundhed.dk og CUT på opgave 4 logge mig på med NemID. 18:30 L: Hvorfor tror du, du skulle logge dig på sundhed.dk igen? P: Øhm ja pas! CUT på opgave 4 19:05 Der er åbenbart et eller andet på SKAT, så hænger det sammen med den tjeneste, CUT på opgave 4 man går ind på. Sådan må det være. 19:20 L: Rent hypotetisk, hvad tror du, der ville ske, hvis du gik ind på SKATs TastSelv nu? P: CUT på opgave 4 Så ville jeg tro, at jeg skal logge mig ind igen. 19:35 L: Var det som forventet? P: Ja, det var det nok. L: Var det som forventet, fordi du har CUT på opgave 4 gennemført den sidste opgave? P: Ja, det var det nok. 21:05 Nu er jeg kommet ind på nemid.dk's forside. Og der vil jeg tro, at jeg skulle kunne Opgave 5 bestille et nyt nøglekort. Men det kan godt være, jeg ikke kan det! Det kan selvfølgelig også være, man skal gøre det over banken? 25:25 Men de har simpelthen ikke fået domænet nemid.dk? ( ) Det er jo helt til hest, Debriefing altså! Så kunne man have fundet på et andet navn i stedet for, altså. (kommentar fra manden ved siden af, red.) 29:00 Jeg synes egentlig, det har været okay. Altså det var jo rimelig simpelt at gå ind og få Debriefing sit NemID jo. Der blev du bare ledt igennem. Det der med at bestille et ekstra nøglekort, der må jeg så sige, der var det lidt mere besværligt. Ellers synes jeg egentlig ikke, at det var sådan, at der var nogle store problemer. 29:25 Det fungerer vel sådan set næsten på samme måde, som hvis du havde brugt din Debriefing digitale signatur. 29:45 L: Ved du, hvad forskellen er på den gamle digitale signatur og denne her? P: Udover Debriefing at det så er fordi jeg nu kan logge mig på fra en hvilken som helst computer, så kender jeg ikke nogen forskel, nej. Med den digitale signatur kunne jeg kun logge på fra den her. Også det, som der bliver spurgt om i spørgeskemaet, med om det er noget, jeg vil komme til at bruge mere, eller om det var lettere; nej, for jeg har ikke lige umidelbart behov for at se min bank på arbejdet, hvis det var det. Og min lønseddel kan jeg også godt vente med, til jeg kommer hjem, hvis det var det. 30:05 L: Kunne du finde på at bruge det, hvis du nu f.eks. var på ferie? P: Nej, det tror jeg Debriefing faktisk ikke. L: Hvorfor tror du ikke det? P: Jeg tror ikke, jeg har behov for lige at komme ind på min bank og se, om der er penge eller et eller andet øhh nej. Det tror jeg faktisk ikke, jeg ville gøre. L: Men hvis der var et behov for det, ville du så gøre det? P: Ja, så ville jeg gøre det, men det tror jeg bare ikke, der ville være. 30:45 L: Hvorfor skulle du logge på i den sidste opgave (5, red.)? P: Det er vel fordi, at de så Debriefing kan trække nogle oplysninger om, hvor jeg bor og sådan nogle ting. 31:45 L: Hvad tror du, det er, du bliver sendt ind til her? (NemLog- In, red.) P:Jamen der Debriefing bliver jeg jo det er jo fordi, jeg stadig kan logge på med den gamle digitale signatur. Jeg ved ikke, om det er noget, der bliver udfaset, når nu NemID bliver det, man skal bruge. 32:00 L: Kan du huske, at du brugte denne side til at logge ind på både SKAT og sundhed.dk? P: Ja. L: Hvorfor tror du, det er sådan? P: Det må jo være noget sikkerhed jo. L: Jeg tænker mere på, hvorfor det er den samme side, vi kommer hen på. SKAT og sundhed.dk, det er jo to forskellige ting...? L: Jamen det er jo noget med det offentlige. Debriefing 183 Bilag H

189 32:55 Det vil sige, at hvis jeg loggede på SKAT og derefter på min bank, så ville jeg Debriefing automatisk være logget på? L: Du kan jo prøve ( ) P: Den bad mig så om at logge ind igen, så det kunne jeg ikke. L: Hvorfor tror du, du ikke kan det? P: Det kan være noget sikkerhed i forbindelse med netbank. Det kan være noget med, at ligemeget hvilken bank, jeg havde valgt, så ville jeg aldrig nogensinde kunne komme ind uden at skulle logge mig på. 33:25 Man kan da hurtigt få brugt nogle af dem her, kan jeg se (nøgler fra kortet, red.). Debriefing 34:30 L: Hvis ud nu havde åbnet en fane mere med NemIDs selvbetjening, havde du så skullet logge ind der? P: Nej, for jeg er logget på SKAT. Så det vil jeg ikke gå ud fra, at jeg skal denne her gang. Debriefing 184 Bilag H

190 P04 L: Testleder, P: Testdeltager, O: Observatør/logger Tid: Kommentar: Kontekst: 6:50 Det vil jo så faktisk sige, at hvis nogen kendte mit CPR- nummer og fat i det her, ville Opgave 1 de kunne misbruge det. Går jeg ud fra, indtil videre som det står her. 7:10 Så står der en masse regler, som man alligevel aldrig læser. Lidt ligesom når man Opgave 1 klikker "OK, jeg har accepteret betingelserne" Jeg kan vel ikke have været for lang tid om at aktivere den, eller det kan måske godt være, og så de har tænkt, at den er gået tabt i posten, men så går jeg ud fra, de ville Opgave 2, forsøg på at starte aktiveringsproces have sendt mig noget nyt. Ellers så er der opstået en fejl med op til flere brugere. Jeg synes, jeg har læst lidt i pressen, at der var flere brugere, der havde svært ved at logge på og blev lukket ude af forskellige årsager. Jeg er så meget overrasket over, at jeg kan logge på med min signatur nu, som jeg ikke kunne før. Fordi de måske gerne vil presse mig til at bruge mit NemID. (...) Nu kan jeg logge på med min almindelige sikkerhedsnøgle - eller det går jeg da stærkt ud fra, at jeg kan. 15:55 Selvfølgelig er det nemt, hvis man bare skal huske på sit CPR- nummer, men det kan alle jo få. Det står jo skrevet der (på skærmen, red.). Nå. Og et selvvalgt bruger- id? Ej, jeg kan ikke lige overskue, hvis jeg skal til at finde på et nyt. L: Hvis du sætter kryds i den der (selvvalgt bruger- id, red.), hvad sker der så? P: Så skal jeg taste et bruger- id ind, som jeg skal bruge til at logge på med den adgangskode, jeg lige har lavet for at komme på NemID, samtidig med at jeg skal taste et nummer ind senere. Så det er...øhm...et bruger- id, og en adgangskode og endnu en adgangskode. L: Jeg tænker mere på, hvad der ville ske med de forskellige muligheder, du har for at logge på. Nu sagde du selv, at hvis du tastede et brugernavn ind der, så ville du ikke kunne bruge de to andre. P: Men det går jeg da heller ikke ud fra...eller...jeg kan vel ikke udelukke muligheden fra, at jeg ville kunne. Man kan sikkert godt kommme på på alle mulige måder. Altså der står "du kan bruge forskellige", så går jeg ud fra, at man kan bruge alle tre muligheder for at logge på. Så står der "indtast dit bruger- id", og så kan man trykke både CPR- nummer, NemID- nummer og adgangskode. Altså hvis man foretager tre logins, så kan man gøre det på tre forskellige måder. Det virker meget plausibelt. Opgave 2, bruger- id 22:30 "Du kan også blive bedt om at indtaste en nøgle fra nøglekortet"? Nåh, okay, det er Opgave 2, bekræftelse på oprettelse så den nøgle, der står øverst på kortet. Det er vel for at identificere kortet. 25:00 Jesus Christ, det virker fuldstændig oldnordisk, at jeg skal rende rundt med det her Opgave 2, login til SKAT. kort! 27:25 Okay jeg er så åbenbart allerede logget på Opgave 3 27:40 Jeg vil gerne proklamere min utilfredshed allerede. Opgave 3 29:00 Jeg finder ud af, at jeg allerede er logget ind og skal ikke bruge mit nøglekort, som jeg CUT på opgave 3 eller havde troet, at jeg skulle. Fordi den har gemt mine oplysninger fra tidligere login på SKATs hjemmeside. L: Det er du lidt overrasket over? P: Det er jeg faktisk lidt overrasket over, fordi at hvis nu jeg ikke havde lukket min browser, men bare havde...trykket på startsiden og så var gået, hvis jeg havde siddet på et bibliotek ude på universitetet eller et eller andet, så var der faktisk nogen, der kunne komme og misbruge mine oplysninger. Nu har jeg selvfølgelig heller ikke selv logget ud, så man kan sige, det er jo min egen skyld, men jeg havde ikke regnet med, at den automatisk ville logge mig ind og at den ville hente mine oplusninger hos SKAT. L: SÅ du mener, den henter oplysningern hos SKAT? P: Arj, den henter vel oplysningerne hos DanID, det er vel dem, der er hubben. De henter mine oplysninger i browserhistorikken. Jeg er meget overrasket over, at jeg ikke selv kan styre mit login. At jeg er logget på, fordi den gemmer mine oplysninger. 29:50 Jeg havde forventet, at den (sundhed.dk, red.) selvstændigt ville bede om et login fra CUT på opgave 3 min side. Også selvom jeg var logget ind i forvejen, et andet sted. Fordi nu føler jeg mig lige pludselig meget overvåget. Altså jeg går ud fra, at hvis jeg nu vil logge på et andet sted, at så logger den mig automatisk på. (...) Jeg ved ikke, om banken er den samme, men måske alle offentlige instanser, når nu jeg har sagt ja tak til det. 31:15 Er det så sadan, at jeg skal forvente, at når jeg logger ud på SKAT, så logger den mig Opgave 4 samtidig ud af sundhed.dk? 32:00 Ah hvor smart! Lige som jeg havde forventet, så da jeg loggede ud af SKAT, så Opgave 4 loggede den mig også ud af sundhed.dk. Det vil sige, at jeg skal faktisk logge på igen. Så jeg nåede faktisk ikke til den der side, jeg blev faktisk smidt over til det offentlige login- fællesskab igen, hvor at jeg skal logge på påny. 32:50 Jeg er lidt overrasket over, at sådan noget (CPR- nummer, red.) ikke er krypteret. Opgave 4, indtastning af bruger- id 185 Bilag H

191 35:20 Jeg forventede ikke, at systemet var konstrueret til at gøre det på den måde, men jeg CUT på opgave 4 har oplevet det før med andre programmer nu kan jeg ikke lige huske hvilke, men hvor at at man logger ud fra noget, og så logger den samtidig en ud fra alle andre steder. Noget mail eller noget... Hvor jeg blev overrasket over at være blevet logget ud, fordi jeg ikke havde gjort noget aktivt i det pågældende program. Så det var jeg meget overrasket over faktisk, at historikken styrer mit logon, og så mit logout åbenbart overruler...nu er jeg jo ikke datalog, der ved så meget om de ting, så det bliver sådan lidt på det sprog, som jeg nu kan...men at den så overruler og går ind og logger mig ud. På en helt anden side, som ikke har noget med SKAT at gøre. Så det var jeg meget overrasket over. L: Er du positivt eller negaivt overrasket? P: Negativt overrasket. Fordi at jeg føler lidt, at mit logon hos SKAT går ind og styrer mit login hos mit sundhed. To ting, der ikke har noget med hinanden at gøre går ind og påvirker hinanden. Så derfor føler jeg lidt, at mine digitale æg er samlet i samme kurv. Og det er jeg ikke tilfreds med. Det føler jeg ikke, er sikkert. L: Hvorfor ikke? P: Man kan sige, hvis det bliver kompromiteret, f.eks. hvis jeg taber pungen, så går alle mine æg i stykker. Så kan folk jo komme ind på alle mine sider, og som vi snakkede om før, så hvis jeg nu bare går tilbage til min forside og stadig er logget på, så kan folk faktisk gå ind lige nu og logge sig på alle mine offentlige sider, går jeg ud fra. Jeg ved ikke, om det virker på netbank, men det kunne jeg faktisk godt tænke mig at få at vide. Det føler jeg mig ikke tryg ved. 36:45 Det er jeg ikke tilfreds med (at blive logget af alle tjenester på én gang, red.), fordi CUT på opgave 4 hvis jeg føler ikke, at jeg vælger at logge af selv. Altså jeg logger af ét sted, hvor jeg har afsluttet mine opgaver der og føler mig tryg ved at logge af. Så burde jeg jo nok lukke browseren, hvis det var det, men så kunne jeg jo ikke arbejde videre med min sundhed.dk, hvis jeg nu også skulle finde min læges nummer. Selvfølgelig er det måske lidt spild af tid, hvis jeg skal til at logge på igen og spild af koder, såh. Jeg vil gerne have, at jeg skal logge af ét sted af gangen. Det hele er åbent på én gang. Det er jo i princippet ting, der ikke har noget med hinanden at gøre, altså SKAT, sundhed.dk, borger.dk og netbank, og hvis det hele bliver styret af ét login og ét logon, så føler jeg ikke, jeg er helt tryg. 37:20 L: Hvad tror du, der ville være sket, hvis du havde logget på det offentlige med den CUT på opgave 4 gamle digitale signatur i stedet for? P: Det ved jeg faktisk ikke. Jeg må indrømme, jeg har ikke brugt det særlig meget. Jeg ved ikke, om det var de samme, der styrede det. Jeg har faktisk aldrig prøvet det. 45:20 Okay, det var jo ikke svært at oprette, det var bare lidt besværligt Spørgeskema 48:00 Jeg synes ikke, det var svært at logge på. Altså det, det var egentligt jeg er jo NemID sværhedsgrad selvfølgelig også vokset op med computere, men jeg kunne da godt forestille mig, at der var folk, som krydsede af, at de var mindre erfarne end jeg, som kunne have svært ved det. Jeg ved ikke hvordan med blinde og svagtseende, jeg går ud fra, at de har særlige løsninger til det, ikke? 48:45 Man kan sige, at jeg synes, det var lidt besværligt, at jeg hele tiden skulle finde mit Single- signon kodekort, men måske er jeg så også lidt subjektivt indstillet til at starte med gerne lidt negativt. ( ) Jeg var overrasket nogle gange, specielt med SKAT, med den opgave I havde lavet, at jeg blev logget på sundhed.dk, selvom at jeg ikke selv aktivt havde bedt om det. At den gjorde det for mig. Og samtidig at jeg blev logget ud igen, da jeg loggede på den anden, altså på SKATs hjemmeside. 49:20 Jeg ville hellere have haft en selvstændig løsning til hver hjemmeside. Og det var faktisk også det, jeg troede, det var. Jeg var meget overrasket over, at det blev centralt styret. Jeg var faktisk også lidt overrasket over, at jeg stadig var logget ind, selvom jeg gik væk fra siden. (...) Jeg kunne måske godt have tænkt mig en løsning, hvor man blev logget ud fra siden, når man gik væk fra den. Det går jeg ud fra, at man godt kan lave, hvis man vil. Single- signon 186 Bilag H

192 49:40 Jeg kommer sikkert også til at smide det væk, glemme det og jeg er nødt til at skulle Nøglekort, sikkerhed, single- signon have det på mig hele tiden. (nøglekortet, red.) Man kan så sige, at det var jeg også nødt til med mit ActiveCard, men jeg synes, jeg kunne styre det bedre selv ved at have egen adgang til Danske Bank og til Nordea og så have min offentligt instanser med nogle tastselv- kode og hvad ved jeg. (...) Jeg kan godt se, at det er meget nemmere for folk, som ikke kan huske koder, at man har det hele centralt styret, og man kan sige, du skal huske ét bruger- id og et password, og så skal du bare kigge på dit kodekort. Så kan du komme ind til alt. Så jeg kan godt se det praktiske i det, det er jo skidesmart. Men hvis det bliver kompromitteret, så er ALT kompromitteret. (...) Jeg samler hele min elektroniske identitet i én kurv, ikke? Det føler jeg mig ikke...altså plus at det er et privat firma, der styrer alle mine oplysninger, mine personfølsomme oplysninger, det har jeg det heller ikke godt med. 51:00 Sikkerhedsmæsigt for mig som person på nettet er det et tilbageskridt øh jeg synes Sikkerhed, praktisk, miljømæssigt også, at det er besværligt at bruge. L: Hvad er det, du synes er besværligt? P: Det er det med kodekortet, at jeg hele tiden skal finde og hvis jeg nu beslutter mig for at være trodsig og bruge alle mine koder på én gang, så vil det faktisk sige, jeg kan ikke komme på netbank...går jeg ud fra...før jeg har fået et nyt kodekort med posten. Og det er også lige...dels at det skal gå gennem et privat firma og gennem et andet privat firma (PostDanmark), ligge i min postkasse og nå til mig, før jeg får det, synes jeg ikke, er så smart. Og så også det miljømæssige aspekt i det, at man bruger så mange penge på at sende sådan nogle kort ud, og porto og alt muligt. Jeg synes, det er fuldstændig håbløst, at man i en elektronisk tidsalder bare bruger plastic, papkort til koder. Men det er jo bare min holdning. 53:30 Jeg vælger altid brugernavne og passwords, som er så lange og besværlige som Sikkerhed muligt, fordi jeg har en eller anden (.) indstilling til mit password og bruger- id. Og jeg ved ikke, hvor mange og hvilke programmer, der kan gå ind og bryde nemme passwords, men der er sikkert en del. Så jeg satsede på at lave et bruger- id, der var så langt og besværligt som jeg kunne huske for at logge på, og så var jeg bare lidt overrasket over, at det ikke var krypteret. Fordi jeg blottede det jo fuldstændig overfor Gud og hvermand. L: Altså at det ikke stod med prikker? P: Ja, præcis. 54:15 Er det egentlig en sikker forbindelse, man bruger? (går ind på sin netbank for at logge Sikkerhed ind, ser hængelåsen, red.). Jo, der er hængelåsen der. 56:50 For starte ved begyndelsen, så synes jeg, det var vagt formuleret (skærmbillede med selvvalgt bruger- id, red.), om man kunne bruge det ene eller alle tre og fandt så ud af senere, simpelthen ved bare at teste det, at man kunne bruge alle tre typer logon. Og det synes jeg egentlig også er lidt overdrevet eller lidt overkill, at man har tre forskellige bruger- id, når man nu har valgt et selvstændigt bruger- id. Hvorfor skal jeg så have muligheden for at logge ind med mit CPR- nummer eller mit NemID- nummer, som står skrevet her, som alle kan gå ind og læse. Selvfølgelig så skal folk jo stjæle mit nøglekort fysisk for at logge ind til min netbank eller alle mine oplysninger. Altså jeg kan ikke se pointen i at oprette et bruger- id, hvis man kan bruge alle de andre. Det synes jeg, er åndssvagt. Det synes jeg ikke, gør det nemmere i hvert fald, hvis man sagde, at ét id, ét password og én nøgle, ikke? Så lige pludselig tre id, ét password og 172 nøgler. Så jeg synes overhovedet ikke, det er nemt, i forhold til f.eks. mit ActiveCard. Selvvalgt bruger- id 187 Bilag H

193 P05 L: Testleder, P: Testdeltager, O: Observatør/logger Tid: Kommentar: Kontekst: 10:40 Det er svært, det her! Åbning af adgangskodebrev 13:50 Nogle gange læser jeg ikke engang, hvad der står men det er ikke godt. Accept af DanID- applet 15:20 Jeg forstår ikke de der spørgsmålstegn. (hjælpeknapper i appletten, red.) Fejl ved første logon på SKAT. Det der røde, det går jeg ud fra, er forkert. 16:30 Det er lidt skræmmende at kigge på det her, synes jeg! (nøglekortet, red.) Fejl ved første logon på SKAT. Man har alle de der tal. 19:20 Det er jo lidt forvirrende det her, når der står "Log på med NemID- Fejl ved første logon på SKAT. nummer", så tror jeg, at det er her, de vil, og så vil de have mit CPR- nummer eller det nummer der (NemID- nummer, red.). Så det er som om, at man kan vælge, men alligevel kan man ikke. Det er sådan, jeg føler nu. 20:45 Nu er der jo ikke røde bokse, så tænker jeg, at så er der ikke nærmest, Fejl ved første logon på SKAT. sådan en eller anden form for vejledning. "Du har tastet noget forkert" eller sådan. 43:15 Jeg prøvede først med CPR- nummer, men det ville den ikke. Og så prøvede Debriefing jeg me NemID- nummer, selvom der står, at man selv vælger, hvad man vil bruge. Men det er det åbenbart ikke, så tager jeg det der NemID- nummer og bruger det, og den midlertidige adgangskode, jeg har fået, den taster jeg ind, flere forskellige steder. Prøver på NemID...jeg kan ikke huske, hvad det første, vi gik ind på, var, men så også på netbank, og så nemid.nu. Den vil ikke, og den siger, jeg har tastet for mange gange ind - koden, og at den kan ikke aktiveres. Altså jeg skal have en ny kode for at kunne aktivere mit NemID. 43:25 Det var slet ikke som forventet! Den forventning jeg havde, det var, at den Debriefing ligesom gjorde det meget nemmere at bruge netbank. Jeg synes, netbank er meget nemt - jeg synes, det er meget fint at have netbank, fordi jeg ordner mange ting på netbank og jeg ikke skal ned i banken for at overføre penge eller hæve penge eller sådan nogle ting. Og så sparer man selvfølgelig også penge, ikke? Men det her - der siger de jo i de der reklamer der, at det er virkelig nemt, at det skal være nemt for danskerne at komme på deres netbank og deres offentlige, SKAT og sådan noget (...). Og man skal bruge det der nøglekort, at de ligesom gør det nemmere for os, men sådan har jeg ikke oplevet det i dag. Fordi jeg kan jo ikke logge på! Jeg skal ligesom have hjælp til...guides igennem, hvis jeg skal logge på rigtigt og aktivere den rigtigt. Ellers så har jeg gjort noget forkert, synes jeg...eller tror jeg...jeg ved ikke, om det er mig, eller om det er systemet. Men jeg går ud fra, siden jeg har prøvet det flere forskellige gange på forskellige hjemmesider, at så burde den jo reagere på en anden måde. For den kan jo sige "Du har tastet koden forkert ind", eller...sådan så den kan vise, at JEG fejler, at det ikke er dens fejl. Men den siger jo ikke noget - lige pludselig så siger den "jamen du kan ikke aktivere dit NemID, fordi du har brugt koden for mange gange". Jeg får jo ikke en advalrsel om, at jeg har tastet for mange gange ind på netbank. 45:35 Jeg skal jo have en ny kode, for det er jo vejen frem. Jeg vil sådan set gerne, men jeg tænker, hvis det er så besværligt, så er det ikke så godt. Især for dem, som er skræmte for (IT, red.). Jeg er for eksempel en af den type, der ikke er særlig gode venner med computere, men jeg prøver, så godt jeg kan. Nogen ting er vigtige, dem vil jeg gerne sætte mig ind i og lære og ikke bare opgive sådan med det samme. Så selvfølgelig vil jeg gøre et forsøg igen, men jeg tænker... Min bror for eksempel har NemID, og han bruger den jo, og det fungerer for ham. Jeg har ikke sat mig ind i, hvordan han har gjort det, men...også på grund af testen her i dag, men jeg troede, det var nemmere at logge på første gang - det troede jeg. Debriefing 188 Bilag H

194 46:40 L: Tror du, det vil blive nemmere, efter du har aktiveret dit NemID? P: Det ved jeg ikke, fordi det forvirrer mig virkelig meget. (nøglekortet, red.). Der står, man kun kan bruge det én gang, og så kan man ikke bruge det igen. Hvad så, når der ikke er flere af dem, hvad så? Altså når man har brugt dem allesammen - kan man så få et nyt nøglekort? Debriefing 189 Bilag H

195 P06 L: Testleder, P: Testdeltager, O: Observatør/logger Tid: Kommentar: Kontekst: 7:50 Det er nok smart bare at bruge sit CPR- nummer. Det husker jeg jo i hvert fald. Selvvalgt bruger- id 9:05 Jeg synes, det er lidt svært at finde ud af, hvor man logger ind henne. TastSelv på SKAT 12:50 Jeg synes ikke, det kan være relevant at bestille NemID, for det har jeg jo allerede. Søger efter OCES- mulighed 17:35 Det er ikke meget store tal, der står. Hvis man nu var gammel eller blind, så var det Første brug af nøglekort jo nok ikke så smart DEL TO PÅ DIKTAFON :45 Hold da op den er logget på, ser det ud til ( ) Det klarede den selv. Opgave 3 3:35 Den gjorde det af sig selv. Jeg ved ikke, hvordan den gjorde det, men det gjorde den. CUT på opgave 3 Jeg trykkede bare på "Log på", så pludselig var jeg logget på. Det må vel være noget med, at jeg var logget ind et andet sted, så kunne den ligesom have ramt at det var samme bruger, der var logget på. Noget i den retning, kunne jeg forestille mig. 4:10 Nej, jeg havde ikke tænkt på det på forhånd, men det kommer nu heller ikke som CUT på opgave 3 nogen stor overraskelse, vil jeg sige. Men det er da meget godt - det er smart, synes jeg. 4:20 Der stod "Log af", så måtte jeg vel være logget på. Og så stod der også mit navn. ( ) CUT på opgave 3 Jeg kan forestille mig, at det var fordi, jeg allerede var logget på mit NemID. 6:35 Det var forventet i forhold til opgaven før. CUT på opgave 4 11:25 Bortset fra at det gik galt, så gik det egentlig meget godt. Men det gik meget galt Debriefing med det certifikat der. 11:50 Jeg kan bare godt forestille mig, at jeg får smidt det der (nøglekort, red.) væk. Det Debriefing må jeg indrømme. Og hvis man nu ikke ser så godt - jeg er f.eks. nærsynet - man kan jo ikke læse det, altså. Der er mange koder, man skal skrive hele tiden, og man skal sidde og lede hele tiden, så praktisk det er det da godt nok ikke. Det kan godt være, det er sikkert, det skal jeg ikke kunne udtale mig om. Det er ikke smart, nej. 12:30 Men hvis jeg skal logge ind på nogle af de der ting, så vil jeg jo bruge det. Der er jo Debriefing ikke rigtig andre muligheder. 12:45 Der er simpelthen for mange små tal, man skal kunne. Så siger man, at man kan Debriefing bruge det på mange forskellige computere, ja ja, men så skal man slæbe rundt med det hver gang, det gør man jo alligevel ikke. Så ved jeg, jeg ville smide den væk i hvert fald, så det vil jeg prøve at undgå. 13:25 Det kommer nok lidt an på, hvordan man definerer "de fleste personer". For jeg tror, Debriefing (ifm. spørgsmål SUS7) at i min aldersgruppe vil der nok ikke være så mange problemer, men når man bliver lidt ældre, kunne jeg forestille mig, at der er mange, der vil have lidt svært ved det. Specielt det med de små tal. 13:50 Når først man har forstået det, så er det jo brugervenligt som sådan. Debriefing 14:10 Det synes jeg, er meget smart (single- signon, red.), for så skal man ikke til at sidde Single- signon med de små tal igen. Altså det ville være unødvendigt, hvis man skulle det, hver gang man skulle logge ind på noget, synes jeg. Det synes jeg er rigtig godt. 14:25 L: Hvordan med netbank, ville vi være logget på den også? P: Det kunne jeg forestille Single- signon mig, ja. Det ville virke naturligt. 14:50 Det havde da været rarere, hvis sundhed.dk ikke loggede mig ud, da jeg loggede ud Single- signoff af SKAT. Men det var logisk, ja, når nu det virkede den anden vej rundt. 15:10 O: Opdagede du på noget tidspunkt nogen tegn på, at SKAT og sundhed.dk "hang Single- signon sammen"? P: Ja altså, det var jo samme system til at logge ind med, samme koder og sådan. Det må vel være den eneste sammenhæng sådan lige. O: Var det den samme hjemmeside, du loggede ind på også? P: Ja, det...nej det var det ikke...(...) Jo, det var vel egentlig den samme, var det ikke...? Jo, det... Det var ikke noget, jeg tænkte meget over - det kunne det meget vel have været. O: Jeg kan afsløre, at det var faktisk den samme. P: Jeg kunne forestille mig, at det var den nemid.nu. O: Det var det så faktisk ikke! 16:35 O: Så du ville tro, at NemID- selvbetjeningen også var med i det der, at når du loggede ind på den, så havde du også adgang til de andre? P: Det ville da virke logisk. Single- signon 190 Bilag H

196 P07 L: Testleder, P: Testdeltager, O: Observatør/logger Tid: Kommentar: Kontekst: 11:35 Nåh, er det på den måde. Jamen det er jo totalt langt ude Anden brug af nøglekort 13:35 Nå jeg ER logget på allerede jeg har aldrig været på den side før! Opgave 3 14:25 Jeg har oplevet, at min sikkerhed er meget i fare, kan jeg se. Fordi når jeg logger på ét CUT på Opgave 3 sted, så er jeg automatisk logget på et andet sted. Og det synes jeg ikke om. Nummer et. Nummer to, det her betyder, fordi jeg har ikke brugt mit nøglekort på min computer. Det betyder, at jeg kan logge ind på min netbank fra hvilket som helst internet. Og det synes jeg heller ikke om! 15:15 Jeg kan godt forstå, at det er meget nemmere nu, at have adgang til tingene, CUT på Opgave 3 men altså jeg synes ikke, at man skal have samme facilitet til alle tingene. Altså man skal lige kunne skelne mellem, hvad der er for privat og som skal være besværligt at logge ind på, på f.eks. netbank, end hvad der er på f.eks. sundhed.dk's hjemmeside. Men jeg har lige så nem adgang til begge to. 16:25 Og det andet problem er, hvad så hvis jeg får et eller andet problem, hvor i løbet af CUT på Opgave 3 weekenden er jeg nødt til at logge på min netbank 100 gange, og så har jeg lige pludselig ikke flere nøgler tilbage. Og hvad så? Jeg synes, det er lidt skræmmende. Så står der: "du modtager automatisk et nyt nøglekort med posten, inden du har brugt alle nøglerne på kortet". Og hvad så hvis jeg har lyst til at logge ind på min netbank 100 gange i weekenden? (...) og hvis der så er helligdag og weekend efter hinanden? Først og fremmest man har ikke tid til at registrere, når man er færdig med nøglerne, og man har ikke tid til at sende det til mig. Så jeg kan ikke engang logge på min egen netbank fremover mere. 20:05 Det ene kobler til det andet, altså på SKATs hjemmeside har de gjort sådan, at jeg kan CUT på opgave 4 koble på sundhed.dk. Nu ved jeg ikke, om jeg også har adgang til andre hjemmesider, og når jeg logger af fra det ene, så logger jeg også af fra det andet. Og så synes jeg, det er meget farligt. 20:20 Nej, det havde jeg i hvert fald ikke forventet. Altså at det ene har noget at gøre med det CUT på opgave 4 andet. 25:35 Hvad så, hvis jeg allerede var færdig med alle mine nøglekort? Opgave 5 30:40 Jeg kan jo logge på en hvilken som helst hjemmeside på en hvilken som helst computer. Debriefing Det er mine meget, meget private sider, f.eks. Min netbank. Nummer et. Og nummer to. Altså det er jo lige så let at bruge din netbank nu som at logge ind på en ligegyldig hjemmeside som sundhed.dk. Nummer tre. Jeg har lidt erfaring med IT, så jeg ved, at det er meget kritisk, at når man logger på én hjemmeside, så er man ufiltreret på en anden hjemmeside.jeg ved godt, at der skal en filtrering til, for at man kan aflæse sådan noget, og det synes jeg, er lidt dumt eller dårligt, at man kan det. 31:30 Nej, men altså når du logger altså ikke en person, men man har programmeret noget, Debriefing så når du logger på en side, så bliver filteret automatisk fjernet fra en anden side. Lad os antage, at jeg sidder på sundhed.dk og skal finde min læge, og så glemmer jeg f.eks. at logge af på computeren, eller også ringer min telefon, eller et eller andet. Og så har man jo automatisk, altså hvis jeg er på netbank, så ved jeg f.eks., at hvis en computer...ens skærm er ubrugt i en halv time eller noget, så kan man ikke lave noget som helst andet mere. Men jeg ved ikke, om det gør sig gældende med NemID. At hvis jeg ikke bruger SKAT i en halv time, så har man ikke adgang til mine andre sider. 33:00 O: Hvis jeg nu fortæller dig, at det (single- signon, red.) er noget af det, NemID har reklameret mest for? L: Det er noget bras, fordi det har man jo også med den der digitale signatur. Du har jo også en adgang til det hele. Du skal bare lægge det på, så kan du logge ind der, ikke? Men så skal du tage det ud og så logge det på igen, så den kan refreshe. Du har stadigvæk én adgang, men forskellen er nu, at du behøver at taste tingene - det synes jeg, er lidt underligt. Altså...jeg kan ikke se forskel på den og den digitale signatur, hvis vi ser bort fra ulempen ved NemID. Fordi i den gamle digitale signatur, så havde du også kun én adgang til alle siderne. Det var ikke fordi, du skulle taste forskellige koder til forskellige ting. O: Også til din netbank? L: Øhm...netbank, nej. Men som sagt, jeg ville hellere foretrække, at til mine meget private sider har en anden kode end den (?)- ting, jeg logger på. Altså nu har de reklameret allermest for det, så ved jeg ikke, hvem deres målgruppe er, måske de ældre mennesker, der ikke orker at taste flere ting? Det ved jeg ikke. Men det virker ikke på mig i hvert fald. Debriefing 191 Bilag H

197 34:45 O: Du snakkede om det her med, at når du loggede på SKAT, så blev det hele overført til Debriefing sundhed.dk. Hvis du nu skulle komme med et bud, hvad tror du så, det er, der bliver overført mellem SKAT og sundhed.dk? Er det dine personoplysninger (CPR- nummer og sådan noget), eller er det "at du er logget på"? L: Den aflæser min kode i hvert fald - de koder jeg har. Altså jeg kan sige, at mit CPR- nummer er koblet til de koder der på papiret (nøglekortet, red.). Jeg tror ikke, at min søster har samme koder som mig, eller hvad? Har man de samme? Nej vel? Man har ikke samme numre eller tal, tror jeg. O: Det vil vi ikke svare dig på. Hvad tror du? L: Jeg håber i hvert fald, nej, jeg formoder, at man ikke har samme tal. Og når jeg taster på mit CPR- nummer, så fik jeg sådan et tal, hvor jeg skulle kigge på...så den automatisk aflæser, at XXX med det CPR- nummer har de her koder. Det synes jeg også, er underligt. Altså jeg kan ikke fremover skifte mine koder...det er kun mig, der kender mine koder. Så er der nogle andre, der også kender mine koder. Og det er sådan at man kan aflæse jo, fordi nu har XXX med den kode sidder på computer, så kan jeg godt koble hende af. Og det synes jeg er lidt...meget galt. 37:45 O: Hvornår tror du, at de sender et nyt kort til dig? Nu sagde du jo selv, at det sker Debriefing automatisk. L: Ja, altså når den kan aflæse, at jeg har brugt det hele. Der står, når du er virkelig færdig. Jeg ved godt, at der altid er problemer med post, det har jeg selv oplevet. Nummer et. Og nummer to. Hvis det er en helligdag eller et eller andet, så tror jeg, der vil gå tid. Jeg tror ikke, at den vil registrere i god tid, at jeg jeg er ved at blive færdig. Og hvad er god tid? Når jeg mangler tre? Jeg har i løbet af en halv time i aften brugt tre af mine koder, eller fire. Så jeg tror, der vil være forsinkelse. O: Hvis du nu skulle komme med et helt vildt gæt: tror du så, det er noget, man vil kunne indstille? Hvornår de sender det her kort til dig. L: Nej, det tror jeg ikke, for det fremgår ikke af brevet. Der står ikke, at jeg har mulighed for at vælge, hvornår det skal sendes. Der står bare, at de sender. 39:20 Jeg troede, det var sådan noget med cd'er og ting og sager, men jeg synes ikke, det var Debriefing særlig svært. 40:15 Så kunne man måske bruge pengene, som man havde brugt på NemID på at oplyse Debriefing dem (de ældre, som kan have svært ved at bruge den gamle digitale signatur, red.), for jeg synes ikke, det er svært. 40:30 Det var nemt for mig at logge på, men processen er jo mere kompliceret. Ikke fordi det Debriefing er svært, men det er mere kompliceret end tidligere digital signatur, hvor du bare går hen og får en eller anden USB- stick, og så logger du på, og så er det det. Det er også unødvendigt, for jeg synes sikkerhedstingen...der er lidt problemer med der sikkerhed. 41:15 Med det her NemID, så betyder det, at en hvilken som helst person, der f.eks. Bor med Debriefing mig, der kender mit CPR- nummer, af en eller anden grund, kan faktisk sagtens gå hen og logge på min netbank jo. 43:00 Førhen skulle du have din bærbar og så skulle du have koden. I dag skal du bare have koden, og så kan du bare logge på det hele. Og det er ikke svært at gætte, at hacke min kode. Nu leger jeg meget med mine venner, som også er sådan nogle computer- ting, om koderne. Og vi sidder og gætter hele tiden, og jeg rammer ofte de koder, som han så vælger. L: Hvad vil du gøre med nøglekortet så, i det daglige? P: Nåh ja, og den der. Hvor skal jeg gemme det henne? Det ligger jo bar ei min pung, og man kan altid se det. Min søster bruger NemID, og jeg har set, at hun taget bare et eller andet papir op af sin pung, og så skriver hun koden. Det ved jeg ikke...det synes jeg ikke om. Debriefing 192 Bilag H

198 P08 L: Testleder, P: Testdeltager, O: Observatør/logger Tid: Kommentar: Kontekst: 5:45 Det, jeg synes er lidt underligt heri, det er, hvad det her betyder alt sammen (tegnene Opgave 1 på bagsiden af nøglekortet, red.). Alle de tegn der, hvad betyder de? Jeg er godt klar over, at det er nøgler, og alle de forskellige ting, der står hernede, de der koder og...men det er nøgler, og alt et der, jeg tænker på, hvad betyder det? L: Hvad tror du? P: Det er nogle tegn fra brevene, det er jeg godt klar over, det er. Ja og så en smiley, der er på - det er det, jeg ikke er klar over. 11:15 Her er jeg ikke klar over, hvad jeg skal. Skal jeg trykke der? L: Har du set sådan en før? Accept af DanID- applet P: Nej. Det har jeg ikke. Men jeg skal derop og trykke, ikke? (det røde kryds i vinduet, red.) 12:15 Ny adgangskode er det den, jeg har brugt i netbanken? L: Hvad ville du tro? P: Jamen Oprettelse af adgangskode det ville jeg tro selv. At jeg kan bruge den, som jeg har brugt til at komme ind i netbanken. 14:40 Det fatter jeg altså ikke er det ikke den gamle adgangskode, jeg må bruge? Som jeg har brugt til banken? Efter tredje forsøg på at oprette adgangskode 16:00 Skal jeg bruge mit CPR- nummer her? Det står der deroppe. ( ) Selvvalgt bruger- Oprettelse af selvvalgt bruger- id id valgfrit. Der kan jeg bruger mit CPR- nummer, ikke? Jeg kan også bruge det samme som før måske? For at huske det. 17:15 Nå. Det kan jeg ikke. Jeg kan ikke komme ind på det. (forsøger at klikke i boksen uden Oprettelse af selvvalgt bruger- id at have klikket af, red.) 20:10 Jamen det blev jo ikke prikker, eller sådan noget. L: Det havde du regnet med? P: Ja, Oprettelse af selvvalgt bruger- id det troede jeg. Det der kan jo ses. Det skal det så ikke være. Det skal være, ligesom man laver punktummer. ( ) Og deroppe (ved siden af CPR- nummer, red.), der er jo ikke nogen linie at skrive på. Hvad gør jeg så? 21:00 Det må ikke være bogstaver, vel? Det skal være tegn. Det er jeg ikke klar over, hvad det Oprettelse af selvvalgt bruger- id skal være - det må jeg indrømme. L: Hvis du havde siddet med det alene, ville du så have ringet til nogen? P: Jeg tror, jeg havde ringet til supporteren. Det har jeg gjort før, da jeg skulle lære at betale en regning - så ringede jeg til supporteren. 24:45 Nå, det er optaget. Ja, jeg hedder jo det der, det er jo derfor, det er optaget. Oprettelse af selvvalgt bruger- id 25:30 Hvordan ser jeg så, om det er rigtigt? Nu kan jeg jo ikke komme længere ned. Det står Oprettelse af selvvalgt bruger- id der ikke noget om. Så trykker jeg på 'Næste' - duer det? 27:15 Nu er jeg gået helt i stå lige nu. Jeg kan bruge min kode, som jeg har fra banken, og så Oprettelse af OCES- certifikat kan jeg bruge mit CPR- nummer. Det kan jeg bruge begge dele, ikke? Og og i øvrigt, som der står, regulering i din aftale med banken. Det prøver jeg da bare - at gå tilbage. 28:20 Der står, at de videregiver det til DanID - det er jo det samme som NemID, ikke? De kan Oprettelse af OCES- certifikat jo identificere mig alligevel - de har jo det hele. Ja det gør jeg bare. 29:45 Her er jeg ikke klar over, hvad jeg skal. (efter at have scrollet op i billedet, red.) L: Oprettelse af OCES- certifikat Hvilke muligheder har du her? P: Jamen jeg går jo kun ind i banken og bruger det der. Og så mit CPR- nummer selvfølgelig, det bruger jeg jo alle vegne. Men ellers så bruger jeg det ikke nogen steder. Jeg vil ikke gå ind og bruge det til mange andre ting. L: Hvad ville du tro, man kunne bruge det til ellers? P: Altså NemID? Jeg kan bruge det til perioder omkring, hvis jeg skal til udlandet eller nogle andre steder. I stedet for at gå ind i banken med alt muligt, ikke? Men som regel så har jeg gerne taget pengene med. Jeg er så bange for at gå med alt det der. 35:20 Hvor skal jeg så starte? Er det ligegyldigt, hvor jeg starter, og hvor jeg ender? Indtastning af nøgle Næh jeg skla starte fra oven af. Og så er det hjælp til nøgler. Skal jeg indtsate den, der står her? Der står ikke de samme tal. 36:35 Nå, så står der, jeg skal logge på med netbank. Så står der ikke noget om, hvor jeg skal Næste'- knappen har tooltip 'Log logge på henne. L: Her er du i tvivl? P: Ja, der er jo ingen steder, jeg kan logge på. på med netbank'. 38:10 Der står jo et tal der, men det står ikke heri (på nøglekortet, red.) Indtastning af nøgle 38:25 Den røde krans ville jeg jo slette. (rød kant omkring forkert nøgle, red.). Der udenom - Indtastning af nøgle hvis jeg kunne. Det kan jeg jo ikke. 39:05 Det, der står der, det er jo forkert, hvis det er kortet her. Der står 00 foran de 17 der. Indtastning af nøgle Der står 00 foran, det kan jeg jo ikke slette. Der må jeg sige, der er jeg blank. L: Der ville du give op her? P: Ja, der ville jeg ringe til supporteren. 41:10 Log på med netbank' - ja det er da meget godt, men hvor skal jeg skrive det henne? Indtastning af nøgle Der er jo ikke en linie at skrive det i. Det er jo det, jeg savner. 1:00:00 Jeg er ikke så god til det engelske, det må jeg indrømme. Jeg sidder gerne og læser i den engelske bog, engelsk/dansk. L: Hvad ville du have gjort? P: Jeg var nok gået ind og havde taget min engelskbog og sidde og læse, hvad der stod. Det var det, jeg ville have gjort. Godkendelse af gammel dig.sig. Applet 193 Bilag H

199 P09 L: Testleder, P: Testdeltager, O: Observatør/logger Tid: Kommentar: Kontekst: 11:20 L: Hvad ville du umiddelbart have gjort, hvis vi ikke havde været her? P: Øhh været Første forsøg på at starte aktivering virkelig irriteret! Smide det bag min ryg og lave noget andet. ( ) L: Så på nuværende tidspunkt ville du have kastet det over skulderen og have ladet det ligge et eller andet sted i hjørnet? P: Ja, fordi at der står en masse, der er nogle nøglekortsnumre og en masse nøgler, som er sekscifrede, men der står ikke, hvilket nøglekort, jeg skal bruge, her. 19:45 Så står der, om jeg vil have et selvvalgt bruger- id - det SKAL jeg have. De spørger, om Oprettelse af selvvalgt bruger- id det skal være CPR- nummer eller NemID- nummer eller et selvvalgt bruger- id. Så der vælger jeg CPR- nummer eller NemID- nummer. 23:40 L: Ved du, om du kan bruge dit NemID direkte til SKAT? P: Det går jeg ud fra, at jeg kan Efter endt aktivering uden OCES direkte. Det burde være sådan. Vi må jo prøve! 24:20 Nu skal jeg køre Java igen for at komme derind Accept af DanID- applet på SKAT 36:25 L: Det, som man ikke lige ved, er, at du faktisk skulle ind og bestille NemID igen for at få Efter mislykket forsøg på oprettelse af adgang til offentlige tjenester. P: Eeeej, hvor er det langt ude! OCES- certifikat 38:50 L: Du har rutinen allerede, kan jeg se. P: Ja ja, det sidder i fingrene nu! Andet forsøg på at logge på SKAT 39:05 Det er virkelig, virkelig smart lavet det her system L: Det tager jeg som en ironisk Andet forsøg på at logge på SKAT bemærkning? P: Ja, meget sarkastisk. 41:40 L: Hvad sker der så? P: Så ryger jeg direkte ind. Så står der, hvem jeg er, og så videre. Opgave 3 Det er jo egentlig dumt, fordi hvis jeg glemmer at logge ud, er der nogen folk, der kan logge på som mig 42:30 Når jeg er logget ind på én af mine faner, så er jeg logget ind direkte på hele min CUT på opgave 3 browser. Så kan jeg bare logge ind, så gør den det af sig selv, og det er jo ikke godt. L: Hvorfor synes du ikke, det er det? P: Fordi det giver muligheder for, at hvis jeg er nu er så dum at efterlade min computer, og det er en computer, som ikke er ens egen, men er inde på biblioteket, sådan et sted, et eller andet...og man så ikke får logget ordentligt ud, så er man lige pludselig sårbar overfor hacking og så videre. Specielt når der gælder banken. L: Så du mener også klart, at hvis du er logget på din netbank, så er du også logget på alt det andet? P: Det går jeg vel ud fra, når det er på den måde. Det går jeg ud fra, at hvis jeg er inde på min SKAT, så har det jo også noget med penge at gøre. Det kan jo betale sig; det er rigtig mange penge, hvis man ændrer på forskudsopgørelsen - til noget forkert. 43:30 Det var sådan, det burde hvis man kan sige det på den måde. L: Hvad mener du med CUT på opgave 3 det? P: At det bare slam slam altså men det er det jo ofte ikke. Så det er en positiv overraskelse. L: Så du er både positivt overrasket over, at du kom hurtigt ind, men også negativt overrasket over, AT du faktisk kom ind? P: Ja, så let med det andet. Men hvis jeg...hvis mine oplysninger er forkerte, har jeg lige pludselig et problem, hvis det var den forkerte læge, der stod der. Så har jeg jo et problem, så skal jeg jo til at Google min læge. Og det går ikke. L: Hvorfor tror du, at der kunne stå den forkerte læge? Fordi jeg ikke har forklaret, at jeg er flyttet eller har bedt om en ny læge. For det er jo ens eget ansvar. Så vidt jeg ved. 44:30 L: Hvorfor tror du, at du ikke blev bedt om at logge ind på sundhed.dk? P: Fordi den går CUT på opgave 3 ud fra, at det er mig, der sidder ved computeren. L: Hvorfor tror du, den går ud fra det? P: Det ved jeg virkelig ikke. L: Hvor tror du, den ved det fra? P: Den anden fane. 45:45 L: Har du set denne her side før? (fællesoffentlig login, red.) P: Ja, alle de gange jeg Opgave 4 skulle logge ind på de offentlige! L: Ikke på din netbank? P: Nej. 46:15 Så må jeg ikke krydse de gyldne tre gange. Så kan jeg sikkert ikke komme ind. Opgave 4 47:10 Når jeg logger ud ét sted, så logger jeg ud alle steder. Hvilket på sin vis er godt, men, CUT på opgave 4 men det så sidder jeg med samme svar som på forrige spørgsmål, det burde ikke være muligt at logge ind på den måde. 47:20 L: Hvad tror du, det er, der gør, at sundhed.dk og SKAT hænger sammen? P: Fordi det er CUT på opgave 4 det offentlige. ( ) Det er sikkert den samme server, de kører på. L: Så var du overrasket over det her med, at når du var logget af ét sted, så var du logget af de andre steder også? P: Nej. L: Hvorfor ikke? P: Fordi...at det er sikkert meget meget billigere for staten bare at koble et op på ét system, i stedet for at sundhed.dk skal haveét system, og SKAT skal have et andet. Men det sørger jo så også for, at sikkerheden bliver det sværere. 48:10 Jeg tror, Jyske Bank kører på sit eget (login- system, red.) CUT på opgave 4 48:35 L: Da du klikkede på 'Min personlige forside' (på sundhed.dk, red.), havde du så en fornemmelse af, at du ville blive bedt om at logge ind? P: Øhm nej det tænkte jeg ikke over. Men det overraskede mig ikke, bagefter, at jeg skulle logge ind igen. CUT på opgave Bilag H

200 52:25 Jeg synes, NemID er i det hele taget let at anvende, bortset fra det der med at få det Spørgeskema offentlige med. Det var svært, synes jeg. 54:00 L: Hvad var det, der var svært i opgave to? P: Der var ikke noget direkte 'HER kan du Debriefing bestille til det ofentlige', det var sådan 'Bestil ID' - det var meget kryptisk at få hjælp. Jeg sidder med det i hånden, jeg har det altså hvorfor skal jeg bestille det en gang til? Hvis ikke du havde fortalt mig det, det havde jeg aldrig fundet selv. L: Så der havde du også givet op på et eller andet tidspunkt? P: Ja. 54:30 Ideen er god nok. Jeg ved ikke, hvor sikkert det, når det kommer til stykket, fordi at det Debriefing er jo både og. Egentlig har du en mur, men når først den er blevet væltet, så har du slet ikke nogen. Så du er fuldstændig sårbar overfor tingene. L: Så du er lidt bekymret for sikkerheden? P: Ja, men det er også bare... al min paranoia, når man er på nettet. 55:00 L: Nu bruger du jo Jyske Bank, som har et lignende system. Synes du, det er mere eller Debriefing mindre sikkert end NemID? P: Jamen det er jo samme princip. Jeg kan ikke bedømme, hvilket af de to der er stærkest, men jeg har det sådan, at jo flere koder der er til forskellige ting, jo mere er der også, der skal hackes. Nu er jeg jo ikke den store hacker, men jeg kender nogen, der godt kan finde ud af sådan noget, så... Jeg går i en IT- klasse, hvor der er en gut, der bare kan sidde og bum, så er han lige på vores computer, altså... L: Så det bekymrer dig lidt? P: Ja. 56:00 L: Hvis jeg nu fortæller dig, at et af de primære slogans for NemID er 'Ét login til det Debriefing hele', hvad synes du så om det? P: Ja, det lyder lidt som en molbo- historie for at være helt ærlig! ( ) Jamen jeg kan sagtens se det smarte i det, det funktionelle, men altså...og at man kun skal huske én kode, men altså... Jeg kan sagtens se det tiltalende i det, men altså...på den anden side, så...der er en masse koder, der ryger rundt, og så kan man ikke finde dem og så videre. Jeg kan godt se det smarte, men på den anden side kan jeg også godt se det farlige i det. Det er både og. (...) Når du først har brudt væggen, så er der frit slag. 57:10 Det er jo bare noget med at sørge en ekstra gang for, at man ER ude. Debriefing 57:30 Det var ikke den samme side, det var jo NemIDs side (ved pålogning på selvbetjening, red.). ( ) Nok fordi, det ikke var det offentlige. Eller fordi de har fået et eller andet firma til at lave det for sig. L: Så det gav god mening for dig, at du skulle logge ind igen? P: Ja. Debriefing 58:00 Altså bortset fra opgave 2, som jeg synes altså det er jo som, den kredser om grøden. Der bliver ikke vist hen til 'Det er det her og det her, du skal gøre'. Irriterende videoer med gamle mennesker, der står og 'njah njah'. Min generation vil nok bare finde ud af de tbedre end alle andre, men altså... L: Så du savner en lidt mere klar vej hen til det, du skal have fat i? P: Ja, 'gør sådan og sådan og sådan' i stedet for alle de der snik- snak- videoer. Debriefing 195 Bilag H

201 Bilag I. Tænke-højt: Identificerede usability-problemer Herunder følger for hver testperson de identificerede usabilityproblemer. Først noteres kategoriseringen (se Tabel XXX i afsnit YYY), dernæst en henvisning til stedet i den pågældende log, og til sidst konteksten for problemet. P01 P - P01-L01 (OPG1) - umiddelbart nemt. Brugeren udtrykker ved gennemlæsning: Lidt i tvivl - virker ikke N/A - P01-L02-L03 (OPG2) - Den stillede opgave påfører testpersonen unødvendig tvivl. I opgaven angives, at et pinkode-brev skulle være modtaget. Dette er imidlertid ikke tilfældet, idet aktivering kan ske via brugerens netbank. Testpersonen løser selv problemet efter et stykke tid ved at vende tilbage til velkomstbrevet. Q - P01-L05-L06 (OPG2) - Brugeren præsenteres for digital signatur faneblad. Bruger godt ét minut på at lokalisere NemID-faneblad. P - P01-L07-L08 (OPG2) - Brugeren aktiverer fra skat.dk brugen af NemID til offentlige tjenester. Processen efterlader brugeren på nemid.nu, hvilket efterlader brugeren med tvivl om, hvor vedkommende er logget på. C - P01-L09-L10 (OPG3) - Bruger udtrykker (umiddelbar positiv) overraskelse over at være automatisk pålogget en anden tjeneste (sundhed.dk) P - P01-L11-L12 (CUT3) - Bruger forklarer med egne ord, at pålogning på sundhed.dk ikke var nødvendig - formentlig fordi der allerede var logget på skat.dk. P - P01-L13-L14 (CUT3) - Bruger forventede, at der manuelt skulle logges på sundhed.dk. Den automatiske pålogning er således i modsætning til det forventede. Bruger virker neutral over for dette. T - P01-L15 (OPG4) - Ved log af fås på skærmen: Internet Explorer kan ikke vise siden. Bruger oplever imidlertid ikke dette som problem. P - P01-L17 (OPG4) - Brugeren finder det uhensigtsmæssigt, at digital signatur-faneblad ligger forrest. Brugeren kommenterer det, selvom vedkommende nu ved (fra tidligere), at faneblad skal ændres. P - P01-L18 (OPG4) - Opdager tjekboksen: Husk at jeg vil logge på med NemID. Brugeren opdager først denne mulighed sent i forløbet. P - P01-L19-L22 (CUT4) - Bruger konstaterer, at logoff fra skat.dk også betyder automatisk logoff fra sundhed.dk. Men at der dog umiddelbart var tvivl om dette. Bruger udtrykker, at automatisk logoff var som forventet (formentlig på baggrund af den opnåede erfaring fra pålogning). P - P01-L23-L25 (OPG5) - Ved opfordring til at bestille nyt nøglekort udtrykker brugeren: I tvivl om jeg skal blive på sundhed.dk, overvejer skat.dk, kommer i tanke om noget med NemID. P - P01-L26 (OPG5) - Ved opfordring til at bestille nyt nøglekort anvender brugeren Google. Googler nem, hvorved nemid.info (nummer to på listen) er det første resultat relateret til NemID, som dukker op. Q - P01-L27 (OPG5) - Uklart for brugeren, om nemid.info kan bruges til det brugeren ønsker (at bestille nyt nøglekort). 196 Bilag I

202 Bruger sammenkobler og skelner ikke mellem nemid.info og nem- P - P01-L29 (OPG5) - id.nu. P - P01-L30 (OPG5) - Bruger opdager først sent det store selvbetjeningsikon på nemid.nu. P - P01-L31 (OPG5) - Bruger udtrykker Kodegenerator er nemmere end nøglekort. P - P01-L32 (DEBR) - Bruger udtrykker at når først NemID er installeret, er det nemt nok at bruge. C - P01-L33-L34 (DEBR) - Bruger udtrykker at det er rart med samme kode flere steder, idet koder til sjældent anvendte steder er svære at huske. P - P01-L35-L36 (DEBR) - Bruger udtrykker, at vedkommende inden start af test ikke var bevidst om, at samme kode kunne bruges til flere steder. Ubevidst var NemID koblet til netbank. C - P01-L37 (DEBR) - Bruger udtrykker, at vedkommende finder problem med tastselvkode - det er nemmere med NemID. P - P01-L38, L39 (DEBR) - Bruger udtrykker, at vedkommende i starten var skeptisk overfor NemID, men at vedkommende ikke er blevet afskrækket af den indtil nu opnåede erfaring med NemID. P - P01-L40 (DEBR) - Bruger udtrykker, at vedkommende finder det mærkeligt, at der er info-side og login-side (henviser til nemid.info og nemid.nu) P02 Q - P02-L01 (OPG2) - Der fremkommer security warning. Brugeren ved ikke, hvad dette skærmbillede betyder, men vælger dog at fortsætte alligevel. Q - P02-L02-L06 (OPG2) - Bruger er i tvivl om, hvad der skal gøres i skærmbilledet, hvor brugervalgt bruger-id kan vælges. Q - P02-L07-L08 (OPG2) - Bruger er i tvivl om, hvad bruger-id et er. Q - P02-L09 (OPG3) - Brugeren gennemskuer hurtigt, at vedkommende ikke er logget på sundhed.dk, men anvender ét minut på at lokalisere login-muligheden. P - P02-L10 (OPG3) - Brugeren udtrykker, at maskinen tror, at man vil bruge digital signatur. Brugeren kommenterer det, men kommer hurtigt videre. Bruger udtrykker: Henter data fra det andet vindue - har fun- P - P02-L11 (OPG3) - det ud af, at er logget på! P - P02-L12-L15 (CUT3) - Bruger konstaterer, overrasket, at vedkommende allerede er logget på sundhed.dk. Dette var ikke forventet. Q - P02-L17-L19 (OPG4) - Bruger udtrykker: Dårligt vindue. Hvorfor skal man ikke logge på hvert vindue? P - P02-L20-L21 (CUT4) - Bruger spekulerer over, hvorfor vedkommende er logget af sundhed.dk. Mener, at det enten kan være fordi vedkommende loggede af skat.dk eller fordi en tidsfaktor har logget af. P - P02-L22-L24 (CUT4) - Bruger håber, at det er en tidsfaktor, som bevirker logoff - og at det ikke var aflogningen fra skat.dk. 197 Bilag I

203 P - P02-L25 (CUT4) - Bruger finder det forvirrende, at man pludselig er logget ud et sted, hvor man ikke aktivt har gjort noget for dette. P - P02-L26 (OPG5) - Bruger går til danid.dk - tænker ikke på nemid.nu. Q - P02-L27 (OPG5) - Brugeren gennemlæser skærmbilledet, men kan ikke finde noget med nøglekort. Brugeren ser ikke selvbetjeningslinket. Det formodes, at brugeren havde valgt selvbetjening, hvis linket var opdaget. P - P02-L27-L29 (OPG5) - Brugeren bruger sidens søgemulighed. Søger efter Nyt nøglekort og finder funktionen. N/A - P02-L30, L31 (DEBR) - så det er let at finde log på/af. Bruger konstaterer, at ikke alle tjenester er bygget op, Bruger udtrykker, at vedkommende finder NemID-konceptet rig- C - P02-L32 (DEBR) - tig godt. C - P02-L33 (DEBR) - Bruger udtrykker, at det er godt med nøglekort - hackere kender ikke næste nummer på kortet. N/A - P02-L34 (DEBR) - langt med NemID derhjemme. Bruger udtrykker, at vedkommende nok ikke var kommet så N/A - P02-L35 (DEBR) - Bruger udtrykker, at hvis vedkommende ikke var med i forsøget, havde vedkommende nok kun brugt NemID til netbank - og ikke til andre tjenester. C - P02-L36 (DEBR) - Bruger er ikke overrasket over, at NemID kan bruges til pålogning flere steder, idet den gamle digitale signatur også kunne bruges til dette. C - P02-L37-40 (DEBR) - Bruger udtrykker, at vedkommende godt kan lide sikkerheden og at vedkommende trygt kan anvende NemID på fremmede computere. N/A - P02-L41 (DEBR) - Bruger udtrykker, at det jo ikke er NemIDs skyld, at tjenester er bygget forskelligt op med hensyn til log på/af. Q - P02-L42-L45 (DEBR) - Bruger finder det usmart, at man automatisk er logget på flere steder. Bruger er utryg ved dette, idet der er flere data oppe at køre uden man ved det, der er åbnet op for andre og IT kan kigge med i hvad der laves. C - P02-L46 (DEBR) - sikkerhed. Bruger udtrykker, at vedkommende finder, at nøglekort giver øget P03 P - P03-L01 (OPG2) - Brugeren er i tvivl om krav til selvvalgt adgangskode. I brev står der ikke noget om adgangskodekrav - kun noget om krav til bruger-id. P - P03-L02 (OPG2) - Brugeren udtrykker vælger digital signatur, men det skal jeg vel ikke! (Brugeren udtrykker mindre tvivl, men kommer relativt hurtigt videre). P - P03-L03 (OPG3) - på!. Bruger udtrykker, neutralt, nå, den kan huske mig - er logget P - P03-L04 (OPG3) - Bruger udtrykker uklarhed: Min læge kom frem af en eller anden årsag. Uklarheden går formentlig på indholdet af offentlige tjenester generelt og ikke på 198 Bilag I

204 den automatiske pålogning på sundhed.dk. P - P03-L05-L07 (CUT3) - Bruger udtrykker overraskelse over at være logget på sundhed.dk automatisk. Bruger spekulerer over hvorfor - og henviser til, at det måske er den computer jeg sidder ved. Bruger havde ikke forventet dette. T - P03-L08 (OPG4) - Ved log af fås på skærmen: Internet Explorer kan ikke vise siden. Bruger er ligeglad. Åbenbart ikke et problem for brugeren. P - P03-L09-L10 (CUT4) - Bruger er uklar med hensyn til opfattelsen af sammenhængen mellem log på/af på skat.dk og sundhed.dk. Men udtrykker dog der er et eller andet der hænger sammen. P - P03-L11 (CUT4) - Bruger at det nok er forventet, at log af på skat giver anledning til automatisk log af på sundhed.dk. Denne sammenhæng er forventet på baggrund af opgave 3. Q - P03-L12, L13 (OPG5) - Bruger vil på NemID for at bestille nøglekort. Har ikke bidt mærke i, at adressen er nemid.nu. Går ind på nemid.dk og søger efter oplysninger i omkring 2 minutter før der vendes tilbage til brevet og nemid.nu ses. Q - P03-L14 (OPG5) - Brugeren udtrykker: Ville gerne blot kunne bestille kort!, Prøver lige at logge på, det ved jeg slet ikke om man kan!?. Finder ikke login-link, men finder, vha. søg, link til bestil ekstra nøglekort og kommer ad den vej til login. C - P03-L15 (DEBR) - Bruger fandt det simpelt at aktivere NemID. P - P03-L16 (DEBR) - Bruger fandt det lidt besværligt at bestille nyt nøglekort. C - P03-L17 (DEBR) - dette. Bruger fandt ikke de store problemer og var ikke overrasket over N/A - P03-L18 (DEBR) - hvilken som helst computer. Bruger udtrykker kendskab til, at NemID kan bruges fra en C - P03-L19 (DEBR) - Bruger udtrykker, efter visning af fælles offentlige login-side, ikke overraskelse over, at login på skat også automatisk giver login på sundhed.dk. P04 P - P04-L01 (OPG1) - Bruger i tvivl. Hvis accepterer at bruge NemID til andre tjenester end netbank, kan man så stadig bruge de gamle login-metoder, eller skal man bruge NemID? Q - P04-L02, L03, L04 (OPG2) - Bruger tager fejl, tror at vedkommende er ved at aktivere NemID, men er i stedet ved at logge på med NemID. Tror at der er noget galt med NemID, da login ikke lykkes. Q - P04-L05-L07 (OPG2) - Bruger forsøgte at logge på med NemID inden aktivering og fik login-fejl. Bruger udtrykte, at vedkommende ville kontakte hotline - men kom dog meget hurtigt selv på, at forsøge at logge på via sikkerhedsnøgle (hidtil anvendt login-procedure på netbank) for ad denne vej at logge på med NemID. P - P04-L08, L11 (OPG2) - Bruger ved ikke om konsekvensen af selvvalgt bruger-id er, at de to andre muligheder (cpr-nr. og NemID-nr.) ikke kan bruges. Q - P04-L09 (OPG2) - Bruger udtrykker kan ikke lige overskue at finde på et nyt brugerid.. Tænker at dette skal holdes hemmeligt - i stil med adgangskode. P - P04-L10 (OPG2) - Bruger i tvivl om konceptet med bruger-id. 199 Bilag I

205 Q - P04-L12, L13, L14 (OPG2) - Valg af bruger-id, tvivl om konceptet: Bruger udtrykker: Lidt besv. pludselig at skulle finde på nyt, som ikke bliver brugt andre steder!, Det skal være rigtig svært, men man skal kunne huske senere!, Hov, nu stod det der jo, sletter det igen, troede det var et password. Q - P04-L15 (OPG2) - Bruger er i tvivl og kan ikke gennemskue, om anvendelse af NemID til det offentlige kan frameldes senere, hvis brugen accepteres nu. Denne tvivl er påført af testen - hvis brugeren ikke var med i test, havde brugeren ikke valgt at bruge NemID til offentlige tjenester. Brugeren udtrykker, ved indtastning af tal fra nøglekort: Hvor- P - P04-L17 (OPG2) - for bliver tal ikke skjult? P - P04-L18 (OPG2) - Brugeren finder det mærkeligt, at teksten NemID er forskubbet lidt vertikalt i forhold til Digital Signatur. Står forskelligt - mærkeligt!. P - P04-L19 (OPG2) - Brugeren udtrykker Vælger ikke at blive husket! (Om afkrydsningsboksen under login-felterne på NemID-fanen. Brugeren har formentlig ikke læst teksten, men formoder tilsyneladende, at det er en mulighed for at blive husket ). Mindre uklarhed. Q - P04-L20 (OPG2) - Bruger udtrykker Oldnordisk med sådan et kort!. Q - P04-L21 (OPG3) - Brugeren udtrykker, ved opdagelse af den automatiske login til sundhed.dk: Vil gerne proklamere utilfredshed allerede! P - P04-L22-L27 (CUT3) - Bruger konstaterer, at vedkommende allerede er logget ind på sundhed.dk, dvs. gemt oplysninger fra tidligere login i skat.dk. Bruger udtrykker negativ overraskelse over dette. P - P04-L28 (CUT3) - Bruger forventede selv at kunne styre, hvor der er logget ind. Q - P04-L29 (CUT3) - Bruger føler sig overvåget af denne automatiske login. Bruger spekulerer over, om den automatiske login også gæl- P - P04-L30-L32 (CUT3) - der netbank. P - P04-L33 (OPG4) - Bruger er overrasket over, at bruger-id (cpr-nr.) vises i klar-tekst. Q - P04-L34-L35 (CUT4) - Bruger konstaterer, at logoff fra skat.dk også betyder automatisk logoff fra sundhed.dk. Bruger udtrykker, at dette ikke var forventet. Negativt overrasket. Q - P04-L37-L38 (CUT4) - Bruger udtrykker, at digitale æg er samlet ét sted. P - P04-L39 (CUT4) - Bruger udtrykker, at hvis man glemmer at logge af (på offentlig tilgængelig computer), kan andre komme til ens personlige oplysninger på alle offentlige tjenester. Q - P04-L40-L44 (CUT4) - login). Bruger føler sig utryg ved denne sammenhæng (automatisk Q - P04-L45, L46 (OPG5) - Brugeren udtrykker: Går ud fra, at det her er til folk som ikke har NemID. Brugeren ser ikke selvbetjeningslink. Bruger udtrykker, at NemID er besværligt ( skal hele tiden fin- P - P04-L49 (DEBR) - de nøglekort ) Q - P04-L50-L53, L64 (DEBR) - Bruger udtrykker overraskelse over automatisk logon / logoff. Have hellere set selvstændige løsninger. Overrasket over den centrale styring. 200 Bilag I

206 P - P04-L54 (DEBR) - eller glemme det. Bruger mener, at vedkommende vil komme til at smide kort væk C - P04-L55 (DEBR) - Bruger mener, at NemID nok er nemmere for folk, som ikke kan huske koder (nemmere end nuværende løsninger med forskellige adgangskoder). Q - P04-L57 (DEBR) - Bruger udtrykker utryghed med hensyn til sikkerhed - Hvis du fik fat i cpr-nr. og kort, så kunne du... Q - P04-L58, L56 (DEBR) - elektroniske id i én kurv. Bruger udtrykker utryghed med hensyn til at samle hele Q - P04-L59 (DEBR) - firma, som styrer dette. Bruger udtrykker utryghed med hensyn til, at det er ét privat Q - P04-L60 (DEBR) - Bruger mener, at NemID sikkerhedsmæssigt er et tilbageskridt. P - P04-L61 (DEBR) - Bruger mener, at det er et problem, hvis alle nøgler er blevet brugt, så er der pludselig ikke adgang til netbank. Bruger udtrykker en miljømæssig betænkelighed med anvendel- P - P04-L62 (DEBR) - sen af papkort. Q - P04-L63 (DEBR) - Bruger finder det tåbeligt med papkort i elektronisk tidsalder. P - P04-L66 (DEBR) - Bruger finder det betænkeligt, at bruger-id skrives i klartekst. P - P04-L68 (DEBR) - Bruger undrer sig over, at når selvvalgt bruger-id er valgt, så kan cpr-nr. som bruger-id stadig bruges. P - P04-L69 (DEBR) - Bruger fandt det vagt formuleret i skærmbillede, om man, ved selvvalgt bruger-id, fortsat kunne anvende de to andre muligheder. P - P04-L69 (DEBR) - Bruger finder (på baggrund af, at man stadig kan anvende cprnr. som bruger- id) ingen pointe i at oprette selvvalgt bruger-id. P - P04-L70 (DEBR) - Bruger finder ikke NemID nemt ift. Active Card. P05 Q - P05-L01 (OPG2) - Bruger er i tvivl om, hvor der skal logges på. Bruger næsten halvandet minut på lokalisering. Q - P05-L02 (OPG2) - Efter indtastning af bruger-id og adgangskode (midlertidig kode fra brev) (på fælles offentlig login side) og tryk på Næste vendes blot tilbage til samme indtastningsfelter (med indholdet fjernet). Ingen synlig fejlmeddelelse. Bruger i tvivl om hvad knapperne med?-tegn betyder. Q - P05-L02, L08, L09 (OPG2) - Efter indtastning af bruger-id og adgangskode (midlertidig kode fra brev) (på fælles offentlig login side) og tryk på Næste vendes blot tilbage til samme indtastningsfelter (med indholdet fjernet). Ingen synlig fejlmeddelelse. Bruger i tvivl om hvad der er galt. P - P05-L03 (OPG2) - Bruger oplever det skræmmende med alle de tal på nøglekortet. Q - P05-L04 (OPG2) - Bruger er i tvivl om, hvad der skal tastes i felterne bruger-id og adgangskode. Bruger forsøger nøglekortnummer i stedet for midlertidig adgangskode. 201 Bilag I

207 Q - P05-L05, L07 (OPG2) - Bruger er i tvivl (på baggrund af hjælpetekst (grå tekst under adgangskodefeltet)) om NemID-nummeret skal tastes i bruger-id-felt eller i adgangskode-felt. Brugeren finder det forvirrende, at teksten står under adgangskode-felt (mens teksten vedrører begge felter). P - P05-L06 (OPG2) - Bruger er i tvivl, om stregerne i NemID-nummeret i velkomstbrevet skal tastes. Ved ikke om jeg skal bruge streger (Nummeret i brevet indeholder bindestreger). Q - P05-L10, L12, L13 (OPG2) - Bruger er i tvivl. Ved pålogning på netbank fås ikke billede til aktivering af NemID. Dette er i modstrid med netop vist hjælpetekst på skærmen. N/A - P05-L11, L14 (OPG2) - Login til netbank - Bruger i tvivl om hvad der skal bruges Lidt lost - tror jeg skal buge nye adgangskode!. Dette opleves efter forudgående loginproblemer, og ses som en følge af disse (se P05, L2 - L9) R - P05-L15 (OPG2) - Bruger er løbet ind i et problem, som først vises sent i forløbet. Den midlertidig kode er tastet for mange gange. Denne årsag vises først ved forsøg på pålogning på NemID.nu - Ikke ved pålogning på skat, m.v. P - P05-L16 (DEBR) - Bruger i tvivl - prøvede først logge på med cpr-nr. (og ikke NemIDnummer). Bruger siger: Der står, at man selv kan vælge, men det kan man åbenbart ikke!. P06 P - P06-L01 (OPG2) - Bruger er i tvivl om, hvor der skal logges på. Finder det dog relativt hurtigt. T - P06-L02 (OPG2) - Netbank - Bruger bliver ved aktivering af NemID ikke spurgt om dette ønskes brugt til offentlige tjenester. Opleves ikke som problem af brugeren på dette tidspunkt, men det bliver det senere. R - P06-L02-L03, L04, L05 (OPG2) - Brugeren er ledt til nemid.nu ved forsøg på pålogning på tastselv.skat.dk, fordi NemID kun er valgt brugt til netbank (bruger er imidlertid ikke spurgt om dette i netbanken). Bruger klikker rundt på Nemid.nu uden at finde sted til aktivering til offentlige tjenester. Viser sig, at bruger faktisk skulle have valgt Bestil NemID i denne situation. Dette fremstår bestemt ikke klart. Måtte klares ved opkald til support. P - P06-L06-L09 (CUT3) - Bruger er overrasket over uventet at være logget på: Det klarede den selv, Det må vel være noget med, at jeg var logget ind et andet sted. T - P06-L10 (OPG4) - Ved log af fås på skærmen: Internet Explorer kan ikke vise siden. Bruger er ligeglad. Åbenbart ikke et problem for brugeren. P07 P - P07-L01 (OPG2) - Bruger ser ikke med det samme fanebladet NemID. Bruger udtrykker: Min sikkerhed er i fare - jeg er logget på fle- Q - P07-L02 (CUT3) - re steder ad gangen. Q - P07-L03 (CUT3) - Bruger udtrykker: Jeg kan logge ind på min netbank alle mulige steder fra - det kan jeg ikke lide. Q - P07-L04 (CUT3) - Bruger udtrykker: Det er nemmere at have adgang til tingene, men jeg synes ikke, man skal bruge samme facilitet til alle tingene.. Q - P07-L05 (CUT3) - Bruger udtrykker: Der er forskel på indhold af siderne, men jeg 202 Bilag I

208 har lige adgang til dem alle. Det bryder jeg mig ikke om.. P - P07-L06 (CUT3) - Bruger udtrykker: Hvad hvis jeg får brug for at logge på min netbank 100 gang i løbet af en weekend? - Jeg kan ikke logge på min netbank fremover mere, som jeg har lyst.. Q - P07-L07 (CUT4) - Bruger udtrykker, at vedkommende med hensyn til log på/af sammenhængen mellem skat.dk og sundhed.dk synes, det er meget farligt.. Bruger udtrykker, at log på/af sammenhængen ikke var forven- P - P07-L08 (CUT4) - tet. Q - P07-L09 (OPG5) - Brugeren forveksler Bestil nøglekort med Bestil NemID. Brugeren når meget langt i processen (har tastet pasnummer, m.v.), før brugeren stoppes af forsøgsleder (idet følgevirkningerne for brugeren ikke umiddelbart kunne gennemskues). P08 P - P08-L01 (OPG1) - Brugeren udtrykker forvirring over dekorationstegnene på nøglekortet. Tvivl om hvad disse skal bruges til. Det fremstod ikke for testpersonen, at disse blot var dekoration. Q - P08-L02 (OPG2) - Efter login på netbank og efter markering i radiobutton Ja, nøglekort er modtaget ændres skærmbillede umiddelbart og et yderligere markeringsfelt vises. Testpersonen overså denne automatiske ændring og udtrykte tvivl om, hvad der nu skulle gøres. R - P08-L03 (OPG2) - Bruger er i tvivl om årsag og betjening ved fremkomsten af skærmbillede Security Warning (formuleret på engelsk, med knapperne Run og Cancel nederst til højre og sædvanlig luk-mulighed (kryds) i billedets øverste højre hjørne). Testpersonen ville almindeligvis have trykket på krydset og dermed afskåret sig fra at komme videre. P - P08-L04 (OPG2) - Bruger bliver bedt om at oprette selvvalgt adgangskode. Brugeren formoder, at det er koden fra netbanken, som skal tastes. At koden kan vælges selv gennemskues ikke. Q - P08-L05 (OPG2) - Bruger får besked om, at selvvalgt adgangskode er ugyldig og forsøger flere gange. Opdager ikke fejlteksten og forsøger uagtet at fortsætte. Q - P08-L06 (OPG2) - Bruger får besked om, at selvvalgt adgangskode er ugyldig og forsøger flere gange. Opdager ikke de grønne hakker, der kommer ud for hvert krav til adgangskoden i takt med, at kravene bliver opfyldt. Q - P08-L07 (OPG2) - Bruger er i tvivl om, hvad dialogen om selvvalgt bruger-id betyder, hvad der skal gøres og hvilke konsekvenser det får. Q - P08-L08 (OPG2) - Bruger forstår ikke konceptet med et ekstra valgfrit bruger-id. Q - P08-L09 (OPG2) - Bruger forsøger at klikke i boksen til valgfrit bruger-id uden først at have sat hak i afkrydsningsfeltet. Q - P08-L10 (OPG2) - Bruger tror, at der skal skrives cpr-nr. eller NemID-nummer i boksen til valgfrit bruger-id. Q - P08-L11 (OPG2) - Bruger tror, at adgangskoden skal skrives i boksen til valgfrit bruger-id. Q - P08-L12 (OPG2) - Brugeren vil gerne bruge sit cpr-nr. som bruger-id, men kan af dialogen ikke gennemskue, hvordan dette vælges. 203 Bilag I

209 P - P08-L13 (OPG2) - Bruger regner med, at indtastningen af bruger-id skulle vises med prikker på skærmen i stedet for i klartekst. Q - P08-L14 (OPG2) - Brugeren opfatter beskeden om, at bruger-id skal have en længde mellem 6 og 40 tegn på den måde, at bruger-id ikke må indeholde bogstaver. R - P08-L15 (OPG2) - Brugeren forstår ikke konceptet bruger-id og kunne ikke komme videre. Ville have ringet til support. Q - P08-L16 (OPG2) - Brugeren ser ikke hele teksten på skærmen. Opfatter ikke muligheden for at scrolle op og ned. Q - P08-L17 (OPG2) - Brugeren forventer respons fra systemet uden at have trykket næste. Q - P08-L18 (OPG2) - Brugeren forstår ikke dialogen med valg mellem brug af NemID til netbank og offentlige tjenester og brug af NemID til netbank. R - P08-L19 (OPG2) - Brugeren ville gerne trykke på Afbryd, hvor brugeren egentlig ønsker Næste. Skal scrolle for at se næste-knappen, hvilket formentlig er årsag til problemet. Brugeren havde fået hjælp til at komme hertil - og ville efter alt at dømme have opgivet, hvis indgriben ikke havde fundet sted. Q - P08-L20 (OPG2) - Læser ikke hjælpen og forstår ikke umiddelbart konceptet. Taster den første nøgle på kortet - får Fejl i nøgle. P - P08-L21 (OPG2) - forvirrer brugeren. Link-tekst på knappen Næste siger Log på med NemID- dette Q - P08-L22 (OPG2) - Opdager ikke tal under havelågen i skærmbilledet - og kobler ikke dette til tal på nøglekort. P - P08-L23 (OPG2) - Efter fejlagtig angivet nøgle: Jeg ville slette den røde krans uden om feltet, hvis jeg kunne. Q - P08-L24 (OPG2) - Bruger udtrykker: Nøglen (på skærmen under havelågen) er jo forkert. Det står der ikke på kortet. Formoder, at dette skal matche den første kode på nøglekortet. Det er ikke klart for brugeren, at det viste nummer skal findes på kortet - og tilsvarende tal skal tastes. R - P08-L25 (OPG2) - Bruger ville ringe til support for at komme videre. P - P08-L26 (OPG2) - Forventer respons på skærmen uden at have klikket næste. R - P08-L27, L30 (OPG2) - Finder ikke login med NemID. P - P08-L28 (OPG2) - Bruger ved ikke, hvor er havnet efter klik på bestil NemID. R - P08-L29 (OPG2) - Bruger ville opgive at logge på. Kan ikke finde login-muligheden. N/A - P08-L31 (OPG2) - Ved login med digital signatur får brugeren sikkerhedsadvarsel - kan ikke gennemskue denne (følgefejl af tidligere rapporteret problem). R - P08-L32 (OPG2) - Brugeren ser ikke fanebladet med NemID og opgiver kort efter. N/A - P08-L33 (OPG2) - Klikker på Digital Signatur og får skærmbillede til fremsøgning af fil (følgefejl af tidligere rapporteret problem). P - P08-L34 (OPG2) - Bliver overrasket over, at bruger-id ikke står med prikker. 204 Bilag I

210 P09 T - P09-L01 (OPG2) - med NemID på netbanken. Bruger præsenteres for en programfejl, da han forsøger at logge på Q - P09-L02, L03 (OPG2) - Bruger kan ikke finde den sekscifrede kode, som der henvises til, og mindes ikke at have modtaget nogen hverken per brev eller SMS. Q - P09-L04 (OPG2) - Bruger opgiver (task failure) efter at have forsøgt direkte pålogning med NemID på netbanken. Grunden til problemet skyldes sandsynligvis, at bruger skal logge ind som normalt første gang (har overset kommentaren i velkomstbrevet). P - P09-L05, L44 (OPG2) - Bruger afbryder irriteret en introduktionsvideo om NemID, som bliver vist på netbanken, Gider ikke snik snak videoer!. P - P09-L06 (OPG2) - Bruger indtaster forkert nøgle i første forsøg, selvom han er sikker på at have gjort det korrekt. Q - P09-L07, L08 (OPG2) - Bruger er frustreret over ikke at kunne finde noget sted at aktivere sit NemID til offentlige tjenester på netbanken. P - P09-L09, L20 (OPG2) - Bruger i tvivl om, hvorvidt man overhovedet kan bruge NemID på SKATs hjemmeside. Både før og efter tilknytning af offentlig digital signatur. P - P09-L10 (OPG2) - Bruger udtrykker overraskelse over, at hans NemID umiddelbart kun kan bruges til netbank (får besked om dette ved forsøg på logon på SKATs hjemmeside). Q - P09-L11-L13 (OPG2) - Bruger overser flere gange linket Brug NemID til offentlige tjenester på nemid.nu. To gange mere end tre forsøg brugt på at finde muligheden for at aktivere NemID til offentlige sider på nemid.nu. Bruger udtrykker desuden frustration over ikke at være blevet klogere. Q - P09-L14 (OPG2) - Bruger kan ikke indse, at han er havnet det rigtige sted for at aktivere NemID til offentlige tjenester. Dette må begrundes i de tekster, der er valgt til at beskrive de to præsenterede muligheder, særligt valget af ordene Bestil NemID. P - P09-L15 (OPG2) - Bruger tror, at han har begået en fejl undervejs og har kludret i det. N/A - P09-L16 (OPG2) - Testleder spørger til betydning af de to mulige valg Bestil NemID og Log på med NemID til netbank, da bruger vender tilbage hertil for anden gang (stedet er rigtigt nok, bruger ved det bare ikke). T - P09-L17 (OPG2) - logon på netbank. Systemet giver fejlen Funktionen er midlertidigt ude af drift ved Q - P09-L18 (OPG2) - Bruger er atter frustreret over ikke at være kommet videre efter at have prøvet de fleste muligheder på netbanken. R - P09-L19, L21 (OPG2) - Bruger udtrykker, at processen med at genbestille NemID med pas eller kørekort for at aktivere det til offentlige tjenester er langt ude og udtrykker (ironisk), at systemet er virkelig, virkelig smart lavet. Q - P09-L22 (OPG3), L23, L24 (CUT3) - Bruger udtrykker bekymring over, hvis han glemmer at logge ud: Det er egentlig dumt lavet, hvis man glemmer at logge ud, Når man er logget på én fane er man også logget på på hele browseren, ikke godt! og særlig kritisk med netbanken. P - P09-L25 (CUT3) - Bruger antager, at netbankerne er med i det offentlige single-signon 205 Bilag I

211 system. C - P09-L26 (CUT3) - Bruger er positivt overrasket over at kunne logge så hurtigt ind på sundhed.dk (vha. single-signon). Q - P09-L27 (CUT3) - Bruger er negativt overrasket over muligheden for, at der kunne stå en forkert læges adresse, og at han i så fald ville skulle til at Google (det er svært at afkode denne udtalelse, red.). Bruger udtrykker: (Systemet) går ud fra, at det er mig der sid- P - P09-L28 (CUT3) - der ved computeren. P - P09-L29 (CUT4) - Bruger udtrykker: På sin vis godt, men det burde ikke være muligt at logge ind på denne måde! N/A - P09-L30, L31 (CUT4) - Bruger er i tvivl om, hvordan og hvorfor det offentlige fælles-login virker, men det kører sikkert på samme server og det er sikkert billigere med ét system. P - P09-L32 (DEBR) - Bruger udtrykker (under udfyldelse af spørgeskema): NemID er let, men det er svært at få det offentlige med. Q - P09-L33 (DEBR) - Bruger udtrykker: Det var ikke klart, at her kan du bestille, men når man sidder med det i håndet, skal man jo ikke bestille... N/A - P09-L34, L35 (DEBR) - Bruger udtrykker, at han havde givet op, hvis vi ikke havde været der, eller alternativt prøvet udelukkelsesmetoden. Q - P09-L36, L37, L38, L39, L40, L42 (DEBR) - Bruger udtrykker bekymring over sikkerheden i NemID: Ideen er god nok, men ved ikke hvor sikkert det er, Én mur, men når først den er væltet, så er det sårbart, Bekymret for sikkerhed, paranoia når på nettet, Bekymrer lidt, Kan ikke vurdere om mere eller mindre sikkert og Kan godt se det smarte, men også det farlige. Q - P09-L41 (DEBR) - Bruger udtrykker: Lyder lidt som en molbo-historie (til testleders forklaring af, at en af de stort anlagte fordele ved NemID er, at det kan bruges til single-signon). P - P09-L43 (DEBR) - Bruger udtrykker: Min generation kan nok godt finde ud af det, men mange andre vil få problemer. 206 Bilag I

212 Bilag J. Tænke-højt: Identificerede problemområder Aktivering af NemID Generelt (Q-R) R - P05-L15 (OPG2) - Bruger er løbet ind i et problem, som først vises sent i forløbet. Den midlertidig kode er tastet for mange gange. Denne årsag vises først ved forsøg på pålogning på NemID.nu - Ikke ved pålogning på skat, m.v. R - P08-L03 (OPG2) - Bruger er i tvivl om årsag og betjening ved fremkomsten af skærmbilledet Security Warning (formuleret på engelsk, med knapperne Run og Cancel nederst til højre og sædvanlig luk-mulighed (kryds) i billedets øverste højre hjørne). Testpersonen ville almindeligvis have trykket på krydset og dermed afskåret sig fra at komme videre. Q - P02-L01 (OPG2) - Der fremkommer security warning. Brugeren ved ikke, hvad dette skærmbillede betyder, men vælger dog at fortsætte alligevel. Q - P04-L02-L04 (OPG2) - Bruger tager fejl, tror at vedkommende er ved at aktivere NemID, men er i stedet ved at logge på med NemID. Tror, at der er noget galt med NemID, da login ikke lykkes. Q - P04-L05-L07 (OPG2) - Bruger forsøgte at logge på med NemID inden aktivering og fik login-fejl. Bruger udtrykte, at vedkommende ville kontakte hotline - men kom dog meget hurtigt selv på, at forsøge at logge på via sikkerhedsnøgle (hidtil anvendt login-procedure på netbank) for ad denne vej at logge på med NemID. Q - P05-L02 (OPG2) - Efter indtastning af bruger-id og adgangskode (midlertidig kode fra brev) (på fælles offentlig login side) og tryk på Næste vendes blot tilbage til samme indtastningsfelter (med indholdet fjernet). Ingen synlig fejlmeddelelse. Bruger i tvivl om hvad knapperne med?-tegn betyder. Q - P05-L02, L08, L09 (OPG2) - Efter indtastning af bruger-id og adgangskode (midlertidig kode fra brev) (på fælles offentlig login side) og tryk på Næste vendes blot tilbage til samme indtastningsfelter (med indholdet fjernet). Ingen synlig fejlmeddelelse. Bruger i tvivl om hvad der er galt. Q - P05-L10, L12, L13 (OPG2) - Bruger er i tvivl. Ved pålogning på netbank fås ikke billede til aktivering af NemID. Dette er i modstrid med netop vist hjælpetekst på skærmen. Q - P08-L02 (OPG2) - Efter login på netbank og efter markering i radiobutton Ja, nøglekort er modtaget ændres skærmbillede umiddelbart og et yderligere markeringsfelt vises. Testpersonen overså denne automatiske ændring og udtrykte tvivl om, hvad der nu skulle gøres. Q - P08-L16 (OPG2) - Brugeren ser ikke hele teksten på skærmen. Opfatter ikke muligheden for at scrolle op og ned. Q - P08-L17 (OPG2) - Brugeren forventer respons fra systemet uden at have trykket næste. Q - P09-L04 (OPG2) - Bruger opgiver (task failure) efter at have forsøgt direkte pålogning med NemID på netbanken. Grunden til problemet skyldes sandsynligvis, at bruger skal logge ind som normalt første gang (har overset kommentaren i velkomstbrevet). P - P01-L07-L08 (OPG2) - Brugeren aktiverer fra skat.dk brugen af NemID til offentlige tjenester. Processen efterlader brugeren på nemid.nu, hvilket efterlader brugeren med tvivl om, hvor vedkommende er logget på. P - P05-L16 (DEBR) - Bruger i tvivl - prøvede først logge på med cpr-nr. (og ikke NemIDnummer). Bruger siger: Der står, at man selv kan vælge, men det kan man åbenbart ikke!. 207 Bilag J

213 C - P03-L15 (DEBR) - Bruger fandt det simpelt at aktivere NemID. Aktivering af NemID Valg af bruger-id (Q) R - P08-L15 (OPG2) - Brugeren forstår ikke konceptet bruger-id og kunne ikke komme videre. Ville have ringet til support. Q - P02-L02-L06 (OPG2) - Bruger er i tvivl om, hvad der skal gøres i skærmbilledet, hvor brugervalgt bruger-id kan vælges. Q - P04-L09 (OPG2) - Bruger udtrykker kan ikke lige overskue at finde på et nyt bruger-id.. Tænker at dette skal holdes hemmeligt - i stil med adgangskode. Q - P04-L12-L14 (OPG2) - Valg af bruger-id, tvivl om konceptet: Bruger udtrykker: Lidt besværligt pludselig at skulle finde på nyt, som ikke bliver brugt andre steder!, Det skal være rigtig svært, men man skal kunne huske senere!, Hov, nu stod det der jo, sletter det igen, troede det var et password. Q - P08-L07 (OPG2) - Bruger er i tvivl om, hvad dialogen om selvvalgt bruger-id betyder, hvad der skal gøres og hvilke konsekvenser det får. Q - P08-L08 (OPG2) - Bruger forstår ikke konceptet med et ekstra valgfrit bruger-id. Q - P08-L09 (OPG2) - Bruger forsøger at klikke i boksen til valgfrit bruger-id uden først at have sat hak i afkrydsningsfeltet. Q - P08-L10 (OPG2) - Bruger tror, at der skal skrives cpr-nr. eller NemID-nummer i boksen til valgfrit bruger-id. Q - P08-L11 (OPG2) - Bruger tror, at adgangskoden skal skrives i boksen til valgfrit bruger-id. Q - P08-L12 (OPG2) - Brugeren vil gerne bruge sit cpr-nr. som bruger-id, men kan af dialogen ikke gennemskue, hvordan dette vælges. Q - P08-L14 (OPG2) - Brugeren opfatter beskeden om, at bruger-id skal have en længde mellem 6 og 40 tegn på den måde, at bruger-id ikke må indeholde bogstaver. P - P04-L08, L11 (OPG2) - Bruger ved ikke om konsekvensen af selvvalgt bruger-id er, at de to andre muligheder (cpr-nr. og NemID-nr.) ikke kan bruges. P - P04-L10 (OPG2) - Bruger i tvivl om konceptet med bruger-id. P - P04-L68 (DEBR) - Bruger undrer sig over, at når selvvalgt bruger-id er valgt, så kan cpr-nr. som bruger-id stadig bruges. P - P04-L69 (DEBR) - Bruger fandt det vagt formuleret i skærmbillede, om man, ved selvvalgt bruger-id, fortsat kunne anvende de to andre muligheder. P - P04-L69 (DEBR) - Bruger finder (på baggrund af, at man stadig kan anvende cpr-nr. som bruger- id) ingen pointe i at oprette selvvalgt bruger-id. P - P08-L13 (OPG2) - Bruger regner med, at indtastningen af bruger-id skulle vises med prikker på skærmen i stedet for i klartekst. 208 Bilag J

214 Aktivering af NemID Tilvalg af OCES-certifikat (R) R - P06-L02-L05 (OPG2) - Brugeren er ledt til nemid.nu ved forsøg på pålogning på tastselv.skat.dk, fordi NemID kun er valgt brugt til netbank (bruger er imidlertid ikke spurgt om dette i netbanken). Bruger klikker rundt på Nemid.nu uden at finde sted til aktivering til offentlige tjenester. Viser sig, at bruger faktisk skulle have valgt Bestil NemID i denne situation. Dette fremstår bestemt ikke klart. Måtte klares ved opkald til support. Det samme problem er observeret hos P09. R - P08-L19 (OPG2) - Brugeren ville gerne trykke på Afbryd, hvor brugeren egentlig ønsker Næste. Skal scrolle for at se næste-knappen, hvilket formentlig er årsag til problemet. Brugeren havde fået hjælp til at komme hertil - og ville efter alt at dømme have opgivet, hvis indgriben ikke havde fundet sted. R - P09-L19, L21 (OPG2) - Bruger udtrykker, at processen med at genbestille NemID med pas eller kørekort for at aktivere det til offentlige tjenester er langt ude og udtrykker (ironisk), at systemet er virkelig, virkelig smart lavet. Q - P04-L15 (OPG2) - Bruger er i tvivl og kan ikke gennemskue, om anvendelse af Nem- ID til det offentlige kan frameldes senere, hvis brugen accepteres nu. Denne tvivl er påført af testen - hvis brugeren ikke var med i test, havde brugeren ikke valgt at bruge NemID til offentlige tjenester. Q - P08-L18 (OPG2) - Brugeren forstår ikke dialogen med valg mellem brug af NemID til netbank og offentlige tjenester og brug af NemID til netbank. Q - P09-L11-L13 (OPG2) - Bruger overser flere gange linket Brug NemID til offentlige tjenester på nemid.nu. To gange mere end tre forsøg brugt på at finde muligheden for at aktivere NemID til offentlige sider på nemid.nu. Bruger udtrykker desuden frustration over ikke at være blevet klogere. Q - P09-L14 (OPG2) - Bruger kan ikke indse, at han er havnet det rigtige sted for at aktivere NemID til offentlige tjenester. Dette må begrundes i de tekster, der er valgt til at beskrive de to præsenterede muligheder, særligt valget af ordene Bestil NemID. Q - P09-L33 (DEBR) - Bruger udtrykker: Det var ikke klart, at her kan du bestille, men når man sidder med det i håndet, skal man jo ikke bestille... P - P04-L01 (OPG1) - Bruger i tvivl. Hvis accepterer at bruge NemID til andre tjenester end netbank, kan man så stadig bruge de gamle login-metoder, eller skal man bruge NemID? P - P09-L10 (OPG2) - Bruger udtrykker overraskelse over, at hans NemID umiddelbart kun kan bruges til netbank (får besked om dette ved forsøg på logon på SKATs hjemmeside). P - P09-L15 (OPG2) - Bruger tror, at han har begået en fejl undervejs og har kludret i det. N/A - P09-L16 (OPG2) - Testleder spørger til betydning af de to mulige valg Bestil NemID og Log på med NemID til netbank, da bruger vender tilbage hertil for anden gang (stedet er rigtigt nok, bruger ved det bare ikke). Aktivering af NemID Første pålogning (Q) Q - P05-L04 (OPG2) - Bruger er i tvivl om, hvad der skal tastes i felterne bruger-id og adgangskode. Bruger forsøger nøglekortnummer i stedet for midlertidig adgangskode. Q - P05-L05, L07 (OPG2) - Bruger er i tvivl (på baggrund af hjælpetekst, grå tekst under adgangskodefeltet) om NemID-nummeret skal tastes i bruger-id-felt eller i adgangskodefelt. Brugeren finder det forvirrende, at teksten står under adgangskodefelt (mens teksten vedrører 209 Bilag J

215 begge felter). P - P05-L06 (OPG2) - Bruger er i tvivl, om stregerne i NemID-nummeret i velkomstbrevet skal tastes. Ved ikke om jeg skal bruge streger (Nummeret i brevet indeholder bindestreger). Aktivering af NemID Valg af adgangskode (P) Q - P08-L05 (OPG2) - Bruger får besked om, at selvvalgt adgangskode er ugyldig og forsøger flere gange. Opdager ikke fejlteksten og forsøger uagtet at fortsætte. Q - P08-L06 (OPG2) - Bruger får besked om, at selvvalgt adgangskode er ugyldig og forsøger flere gange. Opdager ikke de grønne hakker, der kommer ud for hvert krav til adgangskoden i takt med, at kravene bliver opfyldt. P - P03-L01 (OPG2) - Brugeren er i tvivl om krav til selvvalgt adgangskode. I brev står der ikke noget om adgangskodekrav - kun noget om krav til bruger-id. P - P08-L04 (OPG2) - Bruger bliver bedt om at oprette selvvalgt adgangskode. Brugeren formoder, at det er koden fra netbanken, som skal tastes. At koden kan vælges selv gennemskues ikke. Login med NemID Det offentlige log-in-fællesskab (Q) R - P08-L32 (OPG2) - Brugeren ser ikke fanebladet med NemID og opgiver kort efter. Q - P01-L05-L06 (OPG2) - Brugeren præsenteres for digital signatur faneblad. Bruger godt ét minut på at lokalisere NemID-faneblad. P - P01-L17 (OPG4) - Brugeren oplever det uhensigtsmæssigt, at digital signatur-faneblad ligger forrest. Brugeren kommenterer det, selvom vedkommende nu ved (fra tidligere), at faneblad skal ændres. P - P01-L18 (OPG4) - Opdager tjekboksen: Husk at jeg vil logge på med NemID. Brugeren opdager først denne mulighed sent i forløbet. P - P02-L10 (OPG3) - Brugeren udtrykker, at maskinen tror, at man vil bruge digital signatur. Brugeren kommenterer det, men kommer hurtigt videre. P - P03-L02 (OPG2) - Brugeren udtrykker vælger digital signatur, men det skal jeg vel ikke! (Brugeren udtrykker mindre tvivl, men kommer relativt hurtigt videre). P - P04-L19 (OPG2) - Brugeren udtrykker Vælger ikke at blive husket! (Om afkrydsningsboksen under login-felterne på NemID-fanen. Brugeren har formentlig ikke læst teksten, men formoder tilsyneladende, at det er en mulighed for at blive husket ). Mindre uklarhed. P - P07-L01 (OPG2) - Bruger ser ikke med det samme fanebladet NemID. N/A - P08-L31 (OPG2) - Ved login med digital signatur får brugeren sikkerhedsadvarsel - kan ikke gennemskue denne (følgefejl af tidligere rapporteret problem). N/A - P08-L33 (OPG2) - Klikker på Digital Signatur og får skærmbillede til fremsøgning af fil (følgefejl af tidligere rapporteret problem). Login med NemID Indtastning af bruger-id (P) Q - P02-L07-L08 (OPG2) - Bruger er i tvivl om, hvad bruger-id et er. P - P04-L33 (OPG4) - Bruger er overrasket over, at bruger-id (cpr-nr.) vises i klar-tekst. 210 Bilag J

216 P - P04-L66 (DEBR) - Bruger finder det betænkeligt, at bruger-id skrives i klartekst. P - P08-L34 (OPG2) - Bliver overrasket over, at bruger-id ikke står med prikker. Login med NemID Indtastning af nøgler fra nøglekort (P) R - P08-L25 (OPG2) - Bruger ville ringe til support for at komme videre. Q - P08-L20 (OPG2) - Læser ikke hjælpen og forstår ikke umiddelbart konceptet. Taster den første nøgle på kortet - får Fejl i nøgle. Q - P08-L22 (OPG2) - Opdager ikke tal under havelågen i skærmbilledet - og kobler ikke dette til tal på nøglekort. Q - P08-L24 (OPG2) - Bruger udtrykker: Nøglen (på skærmen under havelågen) er jo forkert. Det står der ikke på kortet. Formoder, at dette skal matche den første kode på nøglekortet. Det er ikke klart for brugeren, at det viste nummer skal findes på kortet - og tilsvarende tal skal tastes. P - P04-L17 (OPG2) - Brugeren udtrykker, ved indtastning af tal fra nøglekort: Hvorfor bliver tal ikke skjult? P - P04-L49 (DEBR) - Bruger udtrykker, at NemID er besværligt ( skal hele tiden finde nøglekort ). P - P08-L21 (OPG2) - Link-tekst på knappen Næste siger Log på med NemID- dette forvirrer brugeren. P - P08-L23 (OPG2) - Efter fejlagtig angivet nøgle: Jeg ville slette den røde krans uden om feltet, hvis jeg kunne. P - P08-L26 (OPG2) - Forventer respons på skærmen uden at have klikket Næste. P - P09-L06 (OPG2) - Bruger indtaster forkert nøgle i første forsøg, selvom han er sikker på at have gjort det korrekt. Bestilling af nøglekort Lokalisering af webside og bestilling (Q) Q - P01-L27 (OPG5) - Uklart for brugeren, om nemid.info kan bruges til det brugeren ønsker (at bestille nyt nøglekort). Q - P02-L27 (OPG5) - Brugeren gennemlæser skærmbilledet, men kan ikke finde noget med nøglekort. Brugeren ser ikke selvbetjeningslinket. Det formodes, at brugeren havde valgt selvbetjening, hvis linket var opdaget. Q - P03-L12-L13 (OPG5) - Bruger vil på NemID for at bestille nøglekort. Har ikke bidt mærke i, at adressen er nemid.nu. Går ind på nemid.dk og søger efter oplysninger i omkring 2 minutter før der vendes tilbage til brevet og nemid.nu ses. Bilag 4, side 4 Q - P03-L14 (OPG5) - Brugeren udtrykker: Ville gerne blot kunne bestille kort!, Prøver lige at logge på, det ved jeg slet ikke om man kan!?. Finder ikke login-link, men finder, vha. søg, link til bestil ekstra nøglekort og kommer ad den vej til login. Q - P04-L45, L46 (OPG5) - Brugeren udtrykker: Går ud fra, at det her er til folk som ikke har NemID. Brugeren ser ikke selvbetjeningslink. Q - P07-L09 (OPG5) - Brugeren forveksler Bestil nøglekort med Bestil NemID. Brugeren når meget langt i processen (har tastet pasnummer, m.v.), før brugeren stoppes af forsøgsleder 211 Bilag J

217 (idet følgevirkningerne for brugeren ikke umiddelbart kunne gennemskues). P - P01-L23-L25 (OPG5) - Ved opfordring til at bestille nyt nøglekort udtrykker brugeren: I tivvl om jeg skal blive på sundhed.dk, overvejer skat.dk, kommer i tanke om noget med NemID. P - P01-L26 (OPG5) - Ved opfordring til at bestille nyt nøglekort anvender brugeren Google. Googler nem, hvorved nemid.info (nummer to på listen) er det første resultat relateret til NemID, som dukker op. P - P01-L29 (OPG5) - Bruger sammenkobler og skelner ikke mellem nemid.info og nemid.nu. P - P01-L40 (DEBR) - Bruger udtrykker, at vedkommende finder det mærkeligt, at der er info-side og login-side (henviser til nemid.info og nemid.nu) P - P02-L26 (OPG5) - Bruger går til danid.dk - tænker ikke på nemid.nu. P - P02-L27-L29 (OPG5) - Brugeren bruger sidens søgemulighed. Søger efter Nyt nøglekort og finder funktionen. P - P03-L16 (DEBR) - Bruger fandt det lidt besværligt at bestille nyt nøglekort. Konceptet Single-signon med NemID (Q-R) Q - P02-L17-L19 (OPG4) - Bruger udtrykker: Dårligt vindue. Hvorfor skal man ikke logge på hvert vindue? Q - P02-L42-L45 (DEBR) - Bruger finder det usmart, at man automatisk er logget på flere steder. Bruger er utryg ved dette, idet der er flere data oppe at køre uden man ved det, der er åbnet op for andre og IT kan kigge med i hvad der laves. Q - P04-L21 (OPG3) - Brugeren udtrykker, ved opdagelse af den automatiske login til sundhed.dk: Vil gerne proklamere utilfredshed allerede! Q - P04-L29 (CUT3) - Bruger føler sig overvåget af denne automatiske login. Q - P04-L34-L35 (CUT4) - Bruger konstaterer, at logoff fra skat.dk også betyder automatisk logoff fra sundhed.dk. Bruger udtrykker, at dette ikke var forventet. Negativt overrasket. Q - P04-L37-L38 (CUT4) - Bruger udtrykker, at digitale æg er samlet ét sted. Q - P04- L40-L44 (CUT4) - Bruger føler sig utryg ved denne sammenhæng (automatisk login). Q - P04-L50-L53, L64 (DEBR) - Bruger udtrykker overraskelse over automatisk logon / logoff. Have hellere set selvstændige løsninger. Overrasket over den centrale styring. Q - P07-L02 (CUT3) - Bruger udtrykker: Min sikkerhed er i fare - jeg er logget på flere steder ad gangen. Q - P07-L04 (CUT3) - Bruger udtrykker: Det er nemmere at have adgang til tingene, men jeg synes ikke, man skal bruge samme facilitet til alle tingene.. Q - P07-L05 (CUT3) - Bruger udtrykker: Der er forskel på indhold af siderne, men jeg har lige adgang til dem alle. Det bryder jeg mig ikke om.. Q - P07-L07 (CUT4) - Bruger udtrykker, at vedkommende med hensyn til log på/af sammenhængen mellem skat.dk og sundhed.dk synes, det er meget farligt Bilag J

218 P - P01-L11-L12 (CUT3) - Bruger forklarer med egne ord, at pålogning på sundhed.dk ikke var nødvendig - formentlig fordi der allerede var logget på skat.dk. P - P01-L13-L14 (CUT3) - Bruger forventede, at der manuelt skulle logges på sundhed.dk. Den automatiske pålogning er således i modsætning til det forventede. Bruger virker neutral over for dette. P - P01-L19-L22 (CUT4) - Bruger konstaterer, at logoff fra skat.dk også betyder automatisk logoff fra sundhed.dk. Men at der dog umiddelbart var tvivl om dette. Bruger udtrykker, at automatisk logoff var som forventet (formentlig på baggrund af den opnåede erfaring fra pålogning). P - P02-L11 (OPG3) - Bruger udtrykker: Henter data fra det andet vindue - har fundet ud af, at er logget på! P - P02-L12-L15 (CUT3) - Bruger konstaterer, overrasket, at vedkommende allerede er logget på sundhed.dk. Dette var ikke forventet. P - P02-L20-L21 (CUT4) - Bruger spekulerer over, hvorfor vedkommende er logget af sundhed.dk. Mener, at det enten kan være fordi vedkommende loggede af skat.dk eller fordi en tidsfaktor har logget af. P - P02-L22-L24 (CUT4) - Bruger håber, at det er en tidsfaktor, som bevirker logoff - og at det ikke var aflogningen fra skat.dk. P - P02-L25 (CUT4) - Bruger finder det forvirrende, at man pludselig er logget ud et sted, hvor man ikke aktivt har gjort noget for dette. P - P03-L03 (OPG3) - Bruger udtrykker, neutralt, nå, den kan huske mig - er logget på!. P - P03-L05-L07 (CUT3) - Bruger udtrykker overraskelse over at være logget på sundhed.dk automatisk. Bruger spekulerer over hvorfor - og henviser til, at det måske er den computer jeg sidder ved. Bruger havde ikke forventet dette. P - P03-L09-L10 (CUT4) - Bruger er uklar med hensyn til opfattelsen af sammenhængen mellem log på/af på skat.dk og sundhed.dk. Men udtrykker dog der er et eller andet der hænger sammen. P - P03-L11 (CUT4) - Bruger at det nok er forventet, at log af på skat giver anledning til automatisk log af på sundhed.dk. Denne sammenhæng er forventet på baggrund af opgave 3. P - P04-L22-L27 (CUT3) - Bruger konstaterer, at vedkommende allerede er logget ind på sundhed.dk, dvs. gemt oplysninger fra tidligere login i skat.dk. Bruger udtrykker negativ overraskelse over dette. P - P04-L28 (CUT3) - Bruger forventede selv at kunne styre, hvor der er logget ind. P - P04-L30-L32 (CUT3) - Bruger spekulerer over, om den automatiske login også gælder netbank. P - P04-L39 (CUT4) - Bruger udtrykker, at hvis man glemmer at logge af (på offentlig tilgængelig computer), kan andre komme til ens personlige oplysninger på alle offentlige tjenester. P - P07-L08 (CUT4) - Bruger udtrykker, at log på/af sammenhængen ikke var forventet. P - P09-L28 (CUT3) - Bruger udtrykker: (Systemet) går ud fra, at det er mig der sidder ved computeren. P - P09-L29 (CUT4) - Bruger udtrykker: På sin vis godt, men det burde ikke være muligt at logge ind på denne måde! 213 Bilag J

219 C - P01-L09-L10 (OPG3) - Bruger udtrykker (umiddelbar positiv) overraskelse over at være automatisk pålogget en anden tjeneste (sundhed.dk) C - P03-L19 (DEBR) - Bruger udtrykker, efter visning af fælles offentlige login-side, ikke overraskelse over, at login på skat også automatisk giver login på sundhed.dk. C - P09-L26 (CUT3) - Bruger er positivt overrasket over at kunne logge så hurtigt ind på sundhed.dk (vha. single-signon). N/A - P09-L30, L31 (CUT4) - Bruger er i tvivl om, hvordan og hvorfor det offentlige fælles-login virker, men det kører sikkert på samme server og det er sikkert billigere med ét system. Konceptet Samme kode til flere tjenester / Sikkerhed (Q) Q - P04-L57 (DEBR) - Bruger udtrykker utryghed med hensyn til sikkerhed - Hvis du fik fat i cpr-nr. og kort, så kunne du... Bilag 4, side 6 Q - P04-L58, L56 (DEBR) - Bruger udtrykker utryghed med hensyn til at samle hele elektroniske id i én kurv. Q - P04-L59 (DEBR) - Bruger udtrykker utryghed med hensyn til, at det er ét privat firma, som styrer dette. Q - P04-L60 (DEBR) - Bruger mener, at NemID sikkerhedsmæssigt er et tilbageskridt. Q - P07-L03 (CUT3) - Bruger udtrykker: Jeg kan logge ind på min netbank alle mulige steder fra - det kan jeg ikke lide. Q - P09-L22 (OPG3), L23, L24 (CUT3) - Bruger udtrykker bekymring over, hvis han glemmer at logge ud: Det er egentlig dumt lavet, hvis man glemmer at logge ud, Når man er logget på én fane er man også logget på på hele browseren, ikke godt! og særlig kritisk med netbanken. Q - P09-L36, L37, L38, L39, L40, L42 (DEBR) - Bruger udtrykker bekymring over sikkerheden i NemID: Ideen er god nok, men ved ikke hvor sikkert det er, Én mur, men når først den er væltet, så er det sårbart, Bekymret for sikkerhed, paranoia når på nettet, Bekymrer lidt, Kan ikke vurdere om mere eller mindre sikkert og Kan godt se det smarte, men også det farlige. Q - P09-L41 (DEBR) - Bruger udtrykker: Lyder lidt som en molbo-historie (til testleders forklaring af, at en af de stort anlagte fordele ved NemID er, at det kan bruges til single-signon). P - P01-L35-L36 (DEBR) - Bruger udtrykker, at vedkommende inden start af test ikke var bevidst om, at samme kode kunne bruges til flere steder. Ubevidst var NemID koblet til netbank. P - P09-L09, L20 (OPG2) - Bruger i tvivl om, hvorvidt man overhovedet kan bruge NemID på SKATs hjemmeside. Både før og efter tilknytning af offentlig digital signatur. C - P01-L33-L34 (DEBR) - Bruger udtrykker at det er rart med samme kode flere steder, idet koder til sjældent anvendte steder er svære at huske. C - P01-L37 (DEBR) - Bruger udtrykker, at vedkommende finder problem med tastselvkode - det er nemmere med NemID. C - P02-L36 (DEBR) - Bruger er ikke overrasket over, at NemID kan bruges til pålogning flere steder, idet den gamle digitale signatur også kunne bruges til dette. 214 Bilag J

220 C - P02-L37-40 (DEBR) - Bruger udtrykker, at vedkommende godt kan lide sikkerheden og at vedkommende trygt kan anvende NemID på fremmede computere. C - P04-L55 (DEBR) - Bruger mener, at NemID nok er nemmere for folk, som ikke kan huske koder (nemmere end nuværende løsninger med forskellige adgangskoder). Konceptet Nøglekortet (P) Q - P04-L20 (OPG2) - Bruger udtrykker Oldnordisk med sådan et kort!. Q - P04-L63 (DEBR) - Bruger finder det tåbeligt med papkort i elektronisk tidsalder. P - P01-L31 (OPG5) - Bruger udtrykker Kodegenerator er nemmere end nøglekort. P - P04-L54 (DEBR) - Bruger mener, at vedkommende vil komme til at smide kort væk eller glemme det. P - P04-L61 (DEBR) - Bruger mener, at det er et problem, hvis alle nøgler er blevet brugt, så er der pludselig ikke adgang til netbank. P - P04-L62 (DEBR) - Bruger udtrykker en miljømæssig betænkelighed med anvendelsen af papkort. P - P04-L70 (DEBR) - Bruger finder ikke NemID nemt ift. Active Card. P - P05-L03 (OPG2) - Bruger oplever det skræmmende med alle de tal på nøglekortet. P - P07-L06 (CUT3) - Bruger udtrykker: Hvad hvis jeg får brug for at logge på min netbank 100 gang i løbet af en weekend? - Jeg kan ikke logge på min netbank fremover mere, som jeg har lyst.. P - P08-L01 (OPG1) - Brugeren udtrykker forvirring over dekorationstegnene på nøglekortet. Tvivl om hvad disse skal bruges til. Det fremstod ikke for testpersonen, at disse blot var dekoration. C - P02-L33 (DEBR) - Bruger udtrykker, at det er godt med nøglekort - hackere kender ikke næste nummer på kortet. C - P02-L46 (DEBR) - Bruger udtrykker, at vedkommende finder, at nøglekortet giver øget sikkerhed. Information - Velkomstbrevet (P) Q - P09-L02, L03 (OPG2) - Bruger kan ikke finde den sekscifrede kode, som der henvises til, og mindes ikke at have modtaget nogen hverken per brev eller SMS. P - P01-L01 (OPG1) - Brugeren udtrykker ved gennemlæsning: Lidt i tvivl - virker ikke umiddelbart nemt. N/A - P01-L02-L03 (OPG2) - Den stillede opgave påfører testpersonen unødvendig tvivl. I opgaven angives, at et pinkode-brev skulle være modtaget. Dette er imidlertid ikke tilfældet, idet aktivering kan ske via brugerens netbank. Testpersonen løser selv problemet efter et stykke tid ved at vende tilbage til velkomstbrevet. Andet Skat.dk (Q) R - P08-L27, L30 (OPG2) - Finder ikke login med NemID. 215 Bilag J

221 R - P08-L29 (OPG2) - Bruger ville opgive at logge på. Kan ikke finde login-muligheden. Q - P05-L01 (OPG2) - Bruger er i tvivl om, hvor der skal logges på. Bruger næsten halvandet minut på lokalisering. P - P04-L18 (OPG2) - Brugeren finder det mærkeligt, at teksten NemID er forskubbet lidt vertikalt i forhold til Digital Signatur. Står forskelligt - mærkeligt!. P - P06-L01 (OPG2) - Bruger er i tvivl om, hvor der skal logges på. Finder det dog relativt hurtigt. P - P08-L28 (OPG2) - Bruger ved ikke, hvor er havnet efter klik på bestil NemID. T - P01-L15, P03-L08, P06-L10 (OPG4) - Ved log af fås på skærmen: Internet Explorer kan ikke vise siden. Bruger oplever imidlertid ikke dette som problem. Åbenbart ikke et problem for brugeren. Andet Netbank (Q) Q - P09-L07-L08 (OPG2) - Bruger er frustreret over ikke at kunne finde noget sted at aktivere sit NemID til offentlige tjenester på netbanken. Q - P09-L18 (OPG2) - Bruger er atter frustreret over ikke at være kommet videre efter at have prøvet de fleste muligheder på netbanken. T - P06-L02 (OPG2) - Netbank - Bruger bliver ved aktivering af NemID ikke spurgt om dette ønskes brugt til offentlige tjenester. Opleves ikke som problem af brugeren på dette tidspunkt, men det bliver det senere. T - P09-L01 (OPG2) - Bruger præsenteres for en programfejl, da han forsøger at logge på med NemID på netbanken. T - P09-L17 (OPG2) - Systemet giver fejlen Funktionen er midlertidigt ude af drift ved logon på netbank. N/A - P05-L11, L14 (OPG2) - Login til netbank - Bruger i tvivl om hvad der skal bruges Lidt lost - tror jeg skal bruge nye adgangskode!. Dette opleves efter forudgående loginproblemer, og ses som en følge af disse (se P05, L2 - L9) Andet Sundhed.dk (P) Q - P02-L09 (OPG3) - Brugeren gennemskuer hurtigt, at vedkommende ikke er logget på sundhed.dk, men anvender ét minut på at lokalisere login-muligheden. Q - P09-L27 (CUT3) - Bruger er negativt overrasket over muligheden for, at der kunne stå en forkert læges adresse, og at han i så fald ville skulle til at Google (det er svært at afkode denne udtalelse, red.). Andet NemID Generelt (P/C) P - P01-L32 (DEBR) - Bruger udtrykker at når først NemID er installeret, er det nemt nok at bruge. P - P01-L38, L39 (DEBR) - Bruger udtrykker, at vedkommende i starten var skeptisk overfor NemID, men at vedkommende ikke er blevet afskrækket af den indtil nu opnåede erfaring med NemID. P - P03-L04 (OPG3) - Bruger udtrykker uklarhed: Min læge kom frem af en eller anden 216 Bilag J

222 årsag. Uklarheden går formentlig på indholdet af offentlige tjenester generelt og ikke på den automatiske pålogning på sundhed.dk. P - P09-L05, L44 (OPG2) - Bruger afbryder irriteret en introduktionsvideo om NemID, som bliver vist på netbanken, Gider ikke snik snak videoer!. P - P09-L25 (CUT3) - Bruger antager, at netbankerne er med i det offentlige single-signon system. P - P09-L32 (DEBR) - Bruger udtrykker (under udfyldelse af spørgeskema): NemID er let, men det er svært at få det offentlige med. P - P09-L43 (DEBR) - Bruger udtrykker: Min generation kan nok godt finde ud af det, men mange andre vil få problemer. N/A - P02-L30, L31 (DEBR) - Bruger konstaterer, at ikke alle tjenester er bygget op, så det er let at finde log på/af. N/A - P02-L41 (DEBR) - Bruger udtrykker, at det jo ikke er NemIDs skyld, at tjenester er bygget forskelligt op med hensyn til log på/af. N/A - P03-L18 (DEBR) - Bruger udtrykker kendskab til, at NemID kan bruges fra en hvilken som helst computer. C - P02-L32 (DEBR) - Bruger udtrykker, at vedkommende finder NemID-konceptet rigtig godt. C - P03-L17 (DEBR) - Bruger fandt ikke de store problemer og var ikke overrasket over dette. Andet Proces (N/A) N/A - P02-L34 (DEBR) - Bruger udtrykker, at vedkommende nok ikke var kommet så langt med NemID derhjemme. N/A - P02-L35 (DEBR) - Bruger udtrykker, at hvis vedkommende ikke var med i forsøget, havde vedkommende nok kun brugt NemID til netbank - og ikke til andre tjenester. N/A - P09-L34, L35 (DEBR) - Bruger udtrykker, at han havde givet op, hvis vi ikke havde været der, eller alternativt prøvet udelukkelsesmetoden. 217 Bilag J

223 Bilag K. Første spørgeskema Herunder gengives skærmbilleder af udformningen af første spørgeskema i den rækkefølge, de kommer i under selve besvarelsen. Efter spørgsmålene om velkomstbrev og nøglekort vises én af de to følgende sider, alt efter hvad man har svaret på spørgsmålet Hvordan har du fået dit NemID?. Hvis der undervejs opstår problemer med aktiveringen (altså svares nej på et af Lykkedes det dig at... - eller Fik du... -spørgsmålene), ledes respondenten videre til fejlsiden og får ikke vist de efterfølgende trin i processen. Først ledes respondenten via kortlinket videre en startside med information om undersøgelsen på forfatterens egen hjemmeside: Ved klik på knappen Start undersøgelsen startes undersøgelsen, og respondenten ledes videre til selve skemaet på Google Docs (se de følgende sider). 218 Bilag K

224 Brugerundersøgelse af NemID 16/12/ Brugerundersøgelse af NemID Velkommen til denne undersøgelse. Du vil først blive stillet en række baggrundsspørgsmål, hvorefter du vil blive bedt om at svare på en række spørgsmål, som besvares samtidig med aktiveringen af dit NemID. Du kan svare på spørgsmålene under eller lige efter aktiveringen. Har du allerede aktiveret dit NemID, bedes du huske tilbage på processen, som den foregik. Efter gennemførsel af undersøgelsen har du mulighed for at deltage i konkurrencen en ipod Shuffle. Spørgsmål markeret med * er påkrævede. *Påkrævet Oplysninger om dig som bruger De følgende spørgsmål er primært af baggrundsmæssig karakter og er nødvendige for at kunne placere din besvarelse sammen med andre af samme slags. Din besvarelse er anonym. Alder * Angiv venligst din alder. 27 Køn * Angiv venligst dit køn. Mand Kvinde Oprindelsesland * Angiv venligst hvilket land du er født i. Danmark Andre: Førstesprog / modersmål * Angiv venligst dit førstesprog / modersmål. Dansk Andet Længste gennemførte uddannelse * Angiv venligst din længste gennemførte uddannelse. Folkeskole Gymnasial uddannelse Kort videregående uddannelse (< 2 år) Side 1 af Bilag K

225 Brugerundersøgelse af NemID 16/12/ Mellemlang videregående uddannelse (2-3,5 år) Lang videregående uddannelse (>3,5 år) Beskæftigelse * Angiv venligst din nuværende beskæftigelse (f.eks. bager, portør, gymnasielærer, projektleder, studerende,...) TEST Eventuelle funktionsnedsættelser * Angiv venligst om du har nogen former for funktionsnedsættelse, der kræver støtte i form af specielle IT-værktøjer eller andre hjælpemidler (f.eks. alvorligt synshandicap, ordblindhed, delvis lammelse). Ja Nej Hvis ja, hvilke? TEST Fortsæt» Leveret af Google Dokumenter Rapporter misbrug - Servicevilkår - Yderligere vilkår Side 2 af Bilag K

226 Brugerundersøgelse af NemID 16/12/ Brugerundersøgelse af NemID *Påkrævet Brug af og kendskab til IT De følgende spørgsmål skal kortlægge din brug af IT og forskellige tjenester i det daglige. IT-færdigheder * Hvordan vil du generelt bedømme dine egne IT-færdigheder? Meget uerfaren Uerfaren Neutral Erfaren Meget erfaren Indenfor IT er jeg: Dit primære operativsystem / styresystem * Angiv venligst det styresystem, som du primært bruger, når du anvender Internettet. Windows Mac OS X Linux Andet / Ved ikke Anvendelse af Internettet * Angiv venligst hvor ofte du anvender Internettet. Dagligt Ugentligt Månedligt Sjældnere Har aldrig anvendt Anvendelse af Internettet * Angiv venligst hvilke steder du primært går på Internettet. Markér gerne flere. Hjemme Arbejde Uddannelsessted Internet-caféer Biblioteker Andre steder Side 1 af Bilag K

227 Brugerundersøgelse af NemID 16/12/ Hvor ofte anvender du følgende tjenester? * Angiv venligst hvor ofte du anvender nedenstående tjenester og hjemmesider Netbank / homebanking TastSelv på Dagligt Ugentligt Månedligt Sjældnere Har aldrig anvendt Har du anvendt den gamle digitale signatur? * Angiv venligst, om du har anvendt den digitale signatur, som bliver udfaset ved introduktionen af NemID Ja Nej Ved ikke «Tilbage Fortsæt» Leveret af Google Dokumenter Rapporter misbrug - Servicevilkår - Yderligere vilkår Side 2 af Bilag K

228 Brugerundersøgelse af NemID 16/12/ Brugerundersøgelse af NemID *Påkrævet Velkomstbrevet De følgende spørgsmål drejer sig primært om det velkomstbrev, som du har fået tilsendt med posten. Velkomstbrevet indeholder selve nøglekortet, samt nogle sider med information og regler om brugen af NemID. Hvordan har du fået dit NemID? * Fik det automatisk tilsendt Har selv bestilt Har selv hentet i min bank Har du læst velkomstbrevet? * Ja, helt Ja, delvist Nej Hvis nej, hvorfor ikke? TEST Du bedes nu angive, hvor enig du er i følgende udsagn om velkomstbrevet: * Meget uenig Uenig Hverken enig eller uenig Enig Meget enig Brevet er let at forstå Brevet er interessant Brevets længde er tilpas Brevets indhold er relevant Brevet giver nok Side 1 af Bilag K

229 Brugerundersøgelse af NemID 16/12/ information Du bedes nu angive, hvor enig du er i følgende udsagn om nøglekortet: * Meget uenig Uenig Hverken enig eller uenig Enig Meget enig Kortet er overskueligt Kortet er praktisk Kortet har en god størrelse Kortet har en tilpas mængde koder Hvis du har yderligere kommentarer til velkomstbrevet eller nøglekortet, bedes du skrive dem her: TEST «Tilbage Fortsæt» Leveret af Google Dokumenter Rapporter misbrug - Servicevilkår - Yderligere vilkår Side 2 af Bilag K

230 Brugerundersøgelse af NemID 16/12/ Brugerundersøgelse af NemID *Påkrævet Aktivering af dit NemID - Netbank Du bedes nu tage dit NemID i brug (aktivere det) ved at logge på din netbank og sige ja til at tage dit NemID i brug. De følgende spørgsmål kan besvares under eller umiddelbart efter processen og kommer i samme rækkefølge som de udførte trin. Vend løbende tilbage hertil, når du har klikket "Næste" i et skærmbillede i din netbank. Det er vigtigt, at du fortsætter, indtil du enten har gennemført aktiveringen eller ikke kan komme videre på egen hånd. Lykkedes det dig (eventuelt efter flere forsøg) at oprette din selvvalgte adgangskode? * Ja Nej Du bedes nu angive, hvor enig du er i følgende udsagn om oprettelsen af din selvvalgte adgangskode: * Meget uenig Uenig Hverken enig eller uenig Enig Meget enig Adgangskoden var let at oprette Reglerne var lette at forstå Jeg forstod opgaven Vinduet var overskueligt Jeg havde behov for mere hjælp «Tilbage Fortsæt» Leveret af Google Dokumenter Rapporter misbrug - Servicevilkår - Yderligere vilkår Side 1 af Bilag K

231 Brugerundersøgelse af NemID 13/01/ Brugerundersøgelse af NemID *Påkrævet Aktivering og første brug af dit NemID Du bedes nu tage dit NemID i brug (aktivere det) ved at anvende det til at logge på en tjeneste, som understøtter NemID - for eksempel eller Det er vigtigt, at du fortsætter, indtil du enten er logget ind på den pågældende tjeneste eller ikke kan komme videre på egen hånd. De følgende spørgsmål kan besvares under eller umiddelbart efter processen og kommer i samme rækkefølge som de udførte trin. Lykkedes det dig (eventuelt efter flere forsøg) at oprette din selvvalgte adgangskode? * Ja Nej Du bedes nu angive, hvor enig du er i følgende udsagn om oprettelsen af din selvvalgte adgangskode: * Meget uenig Uenig Hverken enig eller uenig Enig Meget enig Adgangskoden var let at oprette Reglerne var lette at forstå Jeg forstod opgaven Vinduet var overskueligt Jeg havde behov for mere hjælp «Tilbage Fortsæt» Leveret af Google Dokumenter Rapporter misbrug - Servicevilkår - Yderligere vilkår Side 1 af Bilag K

232 Brugerundersøgelse af NemID 16/12/ Brugerundersøgelse af NemID *Påkrævet Valgte du et selvvalgt bruger-id? * Ja Nej Hvis nej, hvorfor ikke? TEST «Tilbage Fortsæt» Leveret af Google Dokumenter Rapporter misbrug - Servicevilkår - Yderligere vilkår Side 1 af Bilag K

233 Brugerundersøgelse af NemID 16/12/ Brugerundersøgelse af NemID *Påkrævet Fik du (eventuelt efter flere forsøg) fundet og indtastet den rigtige kode fra nøglekortet? * Ja Nej Hvis nej, hvorfor ikke? Du bedes nu angive, hvor enig du er i følgende udsagn om indtastningen af en nøgle fra nøglekortet: * Meget uenig Uenig Hverken enig eller uenig Enig Meget enig Jeg forstod min opgave Vinduet var overskueligt Symbolerne gav mening Jeg havde behov for mere hjælp «Tilbage Fortsæt» Leveret af Google Dokumenter Rapporter misbrug - Servicevilkår - Yderligere vilkår Side 1 af Bilag K

234 Brugerundersøgelse af NemID 16/12/ Brugerundersøgelse af NemID *Påkrævet Fik du (eventuelt efter flere forsøg) fundet og indtastet den rigtige kode fra nøglekortet? * Ja Nej Hvis nej, hvorfor ikke? TEST Du bedes nu angive, hvor enig du er i følgende udsagn om indtastningen af en nøgle fra nøglekortet: * Meget uenig Uenig Hverken enig eller uenig Enig Meget enig Jeg forstod min opgave Vinduet var overskueligt Symbolerne gav mening Jeg havde behov for mere hjælp «Tilbage Fortsæt» Leveret af Google Dokumenter Rapporter misbrug - Servicevilkår - Yderligere vilkår Side 1 af Bilag K

235 Brugerundersøgelse af NemID 16/12/ Brugerundersøgelse af NemID *Påkrævet Lykkedes det dig at aktivere dit NemID? * Ja Nej Gennem hvilken tjeneste forsøgte du at aktivere dit NemID? * Netbank / homebanking TastSelv på Andre: «Tilbage Fortsæt» Leveret af Google Dokumenter Rapporter misbrug - Servicevilkår - Yderligere vilkår Side 1 af Bilag K

236 Brugerundersøgelse af NemID 13/01/ Brugerundersøgelse af NemID *Påkrævet Grund til problemer Du er kommet til denne side, fordi du har haft problemer med at aktivere eller anvende dit NemID. Du bedes nedenfor kort beskrive, hvad der gik galt. Hvilke problemer opstod der under aktiveringen? * Svar gerne så detaljeret som muligt på dette spørgsmål. Hvad kunne have hjulpet dig undervejs, så du kunne have undgået problemerne? Vil denne oplevelse afholde dig fra i fremtiden at anvende NemID? * Ja Nej «Tilbage Fortsæt» Leveret af Google Dokumenter Rapporter misbrug - Servicevilkår - Yderligere vilkår Side 1 af Bilag K

237 Brugerundersøgelse af NemID 16/12/ Brugerundersøgelse af NemID *Påkrævet Så er vi næsten færdige... Du bedes nu angive, hvor enig du er i følgende udsagn om NemID: * NemID er let at oprette NemID er let at bruge Meget uenig Uenig Hverken enig eller uenig Enig Meget enig NemID er sikkert NemID er praktisk NemID er sikrere end tidligere metoder NemID er lettere end tidligere metoder Hvis du har yderligere kommentarer til NemID generelt, bedes du skrive dem her: Det virker jo nogenlunde... Skriv din eller telefonnummer her, hvis du ønsker at deltage i lodtrækningen om en ipod Shuffle. andersbp@me.com Opfølgende spørgsmål Sæt kryds her, hvis jeg må kontakte dig 2-3 uger efter undersøgelsen med eventuelle korte, opfølgende spørgsmål til din brug af NemID. Du bedes i så fald angive din adresse i feltet ovenfor. Jeg må kontaktes med eventuelle korte opfølgende spørgsmål. «Tilbage Send Leveret af Google Dokumenter Rapporter misbrug - Servicevilkår - Yderligere vilkår Side 1 af Bilag K

238 Tak! 16/12/ Undersøgelsen er nu slut. Hvis du har valgt at deltage i lodtrækningen om en ipod Shuffle, vil du blive kontaktet efter undersøgelsens afslutning, hvis du er den heldige vinder. Mange tak for din deltagelse i undersøgelsen. Anders Bjerg Pedersen stud.scient.dat, Københavns Universitet Gå tilbage til formularen Opret din egen formular Side 1 af Bilag K

239 Bilag L. Første spørgeskema: Resultater Nedenfor er gengivet en statistisk opsamling på resultaterne af første spørgeskema. På de efterfølgende sider gengives deskriptiv statistik på relevante kolonner fra datamaterialet samt uddybende kommentarer fra fritekstfelterne i spørgeskemaet. Der er tale om de direkte data indsamlet i spørgeskemaet, hvor flest mulige kolonner er konverteret til numeriske størrelser. Eksempel: femtrinsskalaen Meget uenig til Meget enig er konverteret til tallene 1-5. Eneste undtagelse er sidste variabel, it beregnet, der er en beregnet størrelse for hver respondent udregnet efter formlen: it beregnet = netbank frekvens + skat frekvens + borger frekvens + sundhed frekvens +eboks f rekvens + internet anvendelse + anvendt gammel 4 Da alle variable i formlens højreside er tal mellem 0 og 4, havner it beregnet på en skala fra 0 til 28. Herunder følger en kort forklaring af de deskriptive statistiske resultater: 38 Navn: Betydning: # Antallet af besvarelser. Middel Middelværdien (gennemsnittet) af besvarelserne. Varians Variansen af besvarelserne. Et mål for, hvor meget observationerne i gennemsnit afviger fra deres middelværdi (gennemsnit). Standardafvigelse Standardafvigelsen (eller spredningen) af besvarelserne fra deres gennemsnit. Er lig kvadratroden af variansen. Min Mindste værdi blandt besvarelserne. Max Største værdi blandt besvarelserne. Range Mindste interval, der kan indeholde alle besvarelserne, dvs. Max Min SEM Standard error of the mean: standardfejl på middelværdien. Et mål for, hvor stor fejlmargin der må påregnes på den observerede middelværdi. 1. kvartil Nedre kvartil. Den mindste observation, hvor alle de observationer der er mindre end den, udgør mindst 25% af alle observationerne. Median Også kaldet 2. kvartil. Det midterste punkt blandt de sorterede besvarelser. Eksempel: i et sorteret datasæt med 5 observationer, er element nummer 3 median. 3. kvartil Øvre kvartil. Den mindste observation, hvor alle de observationer, der er mindre end den, udgør mindst 75% af alle observationerne. Mode Den hyppigst forekommende værdi blandt besvarelserne 38 De fleste definitioner er hentet fra Bilag L

240 Demografiske data og baggrund indenfor IT Alder: ,6 % ,3 % ,9 % ,9 % ,2 % ,6 % ,9 % ,6 % ,6 % ,3 % ,0 % ,0 % Køn: Mænd 97 63,8 % Kvinder 55 36,2 % ,0 % Oprindelsesland: Danmark ,4 % Andet 4 2,6 % ,0 % Modersmål: Dansk ,1 % Andet 6 3,9 % ,0 % Uddannelse: Folkeskole 12 7,9 % Gymnasial uddannelse 33 21,7 % Kort videregående 7 4,6 % Mellemlang videregående 53 34,9 % Lang videregående 47 30,9 % ,0 % IT-færdigheder: Meget uerfaren 4 2,6 % Uerfaren 1 0,7 % Neutral 12 7,9 % Erfaren 67 44,1 % Meget erfaren 68 44,7 % ,0 % Anvendelse af Internettet, frekvens: Dagligt ,3 % Ugentligt 1 0,7 % Månedligt 0 0,0 % Sjældnere 0 0,0 % Har aldrig anvendt 0 0,0 % ,0 % Anvendelse af Internettet, steder: Hjemme ,3 % Arbejde ,4 % Uddannelsessted 64 42,1 % Internet-caféer 10 6,6 % Biblioteker 12 7,9 % Andre steder 39 25,7 % Operativsystem: Windows 94 61,8 % Mac 37 24,3 % Linux 21 13,8 % Andet / Ved ikke 0 0,0 % ,0 % Anvendt gammel signatur: Ja ,0 % Nej 39 25,7 % Ved ikke 2 1,3 % ,0 % Vægtning: Anvendelse af tjenester: Dagligt Ugentligt Månedligt Sjældnere Har aldrig anvendt Total: Vægtet snit: Netbank / homebanking ,84 TastSelv på , , , , Bilag L

241 Velkomstbrevet Hvordan har du fået dit NemID? Fik det automatisk tilsendt 90 59,2 % Har selv bestilt 59 38,8 % Har selv hentet i min bank 3 2,0 % ,0 % Har du læst velkomstbrevet? Ja, helt 68 44,7 % Ja, delvist 69 45,4 % Nej 15 9,9 % ,0 % Vægtning: Velkomstbrevet: Meget uenig Uenig Hverken eller Enig Meget enig Total: Vægtet snit: Let at forstå ,59 Interessant ,47 Længde er tilpas ,42 Indhold er relevant ,58 Giver nok information ,33 Vægtning: Nøglekortet: Meget uenig Uenig Hverken eller Enig Meget enig Total: Vægtet snit: Er overskueligt ,31 Er praktisk ,65 Har en god størrelse ,47 Har en tilpas mængde koder ,32 Adgangskode (både netbank og selv bestilt) Lykkedes det dig at oprette selvvalgt adgangskode? Ja ,4 % Nej 13 8,6 % ,0 % Vægtning: Adgangskode: Meget uenig Uenig Hverken eller Enig Meget enig Total: Vægtet snit: Let at oprette ,76 Regler lette at forstå ,82 Forstod opgaven ,05 Vinduet overskueligt ,86 Behov for mere hjælp ,91 Bruger-id (både netbank og selv bestilt) Valgte du et selvvalgt bruger-id? Ja 80 57,6 % Nej 59 42,4 % ,0 % OBS: Kun besvaret af respondenter, som er lykkedes indtil videre. 236 Bilag L

242 Indtastning af nøgle (både netbank og selv bestilt) Fik du fundet og indtastet den rigtige nøgle? Ja ,6 % Nej 2 1,4 % ,0 % OBS: Kun besvaret af respondenter, som er lykkedes indtil videre. Vægtning: Indtastning af nøgle: Meget uenig Uenig Hverken eller Enig Meget enig Total: Vægtet snit: Forstod opgaven ,45 Vinduet overskueligt ,22 Symbolerne gav mening ,17 Behov for mere hjælp ,53 Endelig aktivering (både netbank og selv bestilt) Lykkedes det dig at aktivere dit NemID? Ja ,0 % Nej 0 0,0 % ,0 % OBS: Kun besvaret af respondenter, som er lykkedes indtil videre. Hvilken tjeneste forsøgte du aktivere gennem? Netbank / homebanking ,3 % TastSelv på 4 2,9 % 7 5,1 % 1 0,7 % 2 1,5 % Andre 13 9,5 % ,0 % Problemer undervejs Vil dette afholde dig fra at anvende NemID? Ja 8 53,3 % Nej 7 46,7 % ,0 % OBS: Kun besvaret af respondenter, som ikke er kommet igennem. NemID generelt (både netbank og selv bestilt) Vægtning: NemID er: Meget uenig Uenig Hverken eller Enig Meget enig Total: Vægtet snit: Let at oprette ,59 Let at bruge ,55 Sikkert ,07 Praktisk ,59 Sikrere end før ,68 Lettere end før ,39 Jeg må kontaktes med opfølgende spørgsmål Ja 92 60,5 % Nej 60 39,5 % ,0 % Jeg vil gerne deltage i konkurrencen: Ja ,2 % Nej 24 15,8 % ,0 % 237 Bilag L

243 alder uddannelse netbank_frekvens skat_frekvens borger_frekvens sundhed_frekvens funktions_ned it_skills internet_frekvens eboks_frekvens brev_read brev_1 brev_2 brev_3 brev_4 brev_5 kode_succes kode_1 kode_2 kode_3 kode_4 brugerid_yn keypress_1 keypress_2 keypress_3 keypress_4 keycard_1 keycard_2 keycard_3 keycard_4 keypress_yn kode_5 aktivere_yn afholde_fremover anvendt_gammel nemid_1 nemid_2 nemid_3 nemid_4 nemid_5 nemid_6 opfoelgende_yn kode2_succes kode2_1 kode2_2 kode2_3 kode2_4 kode2_5 it_beregnet # Middel Varians STDAFV Min Max Range SEM 1. kvartil Median 3. kvartil Mode ,14 102,57 10, ,82 24,00 28,00 36,25 28, ,59 1,78 1, ,11 2,00 4,00 5,00 4, ,84 0,46 0, ,06 3,00 3,00 3,00 3, ,18 0,28 0, ,04 1,00 1,00 1,00 1, ,91 0,45 0, ,05 0,00 1,00 1,00 1, ,64 0,42 0, ,05 0,00 1,00 1,00 1, ,02 0,02 0, ,01 0,00 0,00 0,00 0, ,28 0,72 0, ,07 4,00 4,00 5,00 5, ,99 0,01 0, ,01 4,00 4,00 4,00 4, ,54 0,87 0, ,08 1,00 2,00 2,00 2, ,35 0,43 0, ,05 1,00 1,00 2,00 1, ,59 0,76 0, ,07 3,00 4,00 4,00 4, ,47 0,74 0, ,07 2,00 3,00 3,00 3, ,42 0,70 0, ,07 3,00 3,00 4,00 4, ,58 0,72 0, ,07 3,00 4,00 4,00 4, ,33 1,12 1, ,09 3,00 4,00 4,00 4, ,88 0,11 0, ,04 1,00 1,00 1,00 1, ,51 1,98 1, ,18 2,00 4,00 5,00 4, ,61 1,79 1, ,17 3,00 4,00 5,00 4, ,85 1,44 1, ,16 4,00 4,00 5,00 4, ,68 1,33 1, ,15 3,00 4,00 4,00 4, ,58 0,25 0, ,04 0,00 1,00 1,00 1, ,45 0,44 0, ,06 4,00 5,00 5,00 5, ,22 0,65 0, ,07 4,00 4,00 5,00 4, ,17 0,87 0, ,08 4,00 4,00 5,00 5, ,53 0,82 0, ,08 1,00 1,00 2,00 1, ,31 1,62 1, ,10 2,00 4,00 4,00 4, ,65 2,08 1, ,12 1,00 2,00 4,00 1, ,47 1,52 1, ,10 3,00 4,00 4,00 4, ,32 1,29 1, ,09 3,00 3,00 4,00 4, ,99 0,01 0, ,01 1,00 1,00 1,00 1, ,03 1,93 1, ,18 1,00 1,00 2,50 1, ,00 0,00 0, ,00 1,00 1,00 1,00 1, ,53 0,27 0, ,13 0,00 1,00 1,00 1, ,76 0,21 0, ,04 0,00 1,00 1,00 1, ,59 1,53 1, ,10 3,00 4,00 4,00 4, ,55 1,61 1, ,10 3,00 4,00 4,00 4, ,07 1,33 1, ,09 2,75 3,00 4,00 3, ,59 1,83 1, ,11 1,00 3,00 4,00 1, ,68 1,24 1, ,09 2,00 3,00 3,00 3, ,39 1,42 1, ,10 1,00 2,00 3,00 2, ,00 0,00 0, ,00 1,00 1,00 1,00 1, ,94 0,06 0, ,03 1,00 1,00 1,00 1, ,91 1,36 1, ,12 4,00 4,00 5,00 4, ,95 1,01 1, ,10 4,00 4,00 5,00 4, ,18 0,65 0, ,08 4,00 4,00 5,00 4, ,97 0,92 0, ,10 4,00 4,00 5,00 4, ,83 1,36 1, ,12 1,00 1,00 2,00 1, ,14 9,89 3, ,26 12,00 14,00 16,00 16, Bilag L

244 N: Eventuelle funktionsnedsættelser? ADHD Adhd. jeg skriver dårligt i hånden. Jeg husker dårligt, og får svært ved at bruge nemid. Kortet med koder vil hele tiden forsvinde for mig, så jeg aldrig kan logge ind hverken i banken eller på offentlige sider - så selvom jeg kan huske brugernavn og password - dúr dette system ikke til mig, desværre. Jeg ved ikke om det var det du mente, men du er velkommen til at skrive hvis du har yderligere spørgsmål. U: Grunde til ikke at have læst velkomstbrev: Fordi jeg hellere ville bruge tiden på at aktivere NemID'en, man kunne jo gøre begge ting, men det kræver jo også mere tid. Havde ikke brug for det. Skulle kun bruge aktiveringen. Har jyskebank og deres netbank login system er stort set det samme som NemID. Så der var ikke behov for nogen videre information. For langt og uoverskueligt. Jeg fandt hurtigt de væsentlige ting i brevet. Gad ikke. Jeg fik smidt det væk inden adgangskoden ankom Gider virkelig ikke begynde at bruge det før det er tvunget fra bankens side af.. De laver ikke deres netbank om før til nytår.. så venter med at bruge det. rigtige mænd læser ikke skidtet :) Virkede besværligt. Jeg har aldrig modtaget noget velkomstbrev. Fik blot NemID-nøglekortet tilsendt uden yderligere forklaringer. Bor i udlandet. Jeg har således svaret "Hverken eller" til alle spørgsmål om velkomstbrevet. Har ikke haft behov for det før min digitale signatur udløb Allerede efter overskriften lagde jeg brevet fra mig, da jeg ikke synes at den lød indbydende til at læse videre. Det er anden gang jeg bestiller, første gang blev det ikke gjort, fordi der var lang leveringstid og jeg havde travlt. Regnede med at det var udløbet og bestilte igen. Har ikke fået noget velkomstbrev denne gang. Der var så mange papirer, og jeg tænkte at der nok ikke stod noget vigtigt i nogen af dem. Hvis det viser sig at der er noget jeg skulle have læst, så bliver jeg nok opmærksom på det, når jeg forsøger at tage NemID'et i brug, og så kan jeg læse det når det bliver nødvendigt. Gider jeg ikke Fandt ud af det uden AA: Yderligere kommentarer til velkomstbrev eller nøglekort: Jeg missede brugernavnet første gang jeg læste brevet igennem. Det værste ved velkomstbrevet er, at der ikke gives ordentlig information om, hvor man skal logge på første gang. Størrelsen skal ikke ændres fra at kunne passe som kreditkort i pungen. Tykkelsen skal ej heller ændres da det næsten er for tykt som det er nu. er lidt sur over at i bruger et sikkerhedshul i java til at oprette en (.log) i min hjemme mappe og føler bare i kan læse/ skrive på hele min harddisk. ser det lidt som om i Hacker hele min computer bare få at lige en lille log i min hjemme mappe. måske i skulle gemme logen i /Users/Library/Logs nu hvor i har fuld skrive og læse radiheder på hele disken bare så i ikke skrammer gamle mennesker væk gider ikke ha den skal ligge synligt når der er en Mappe på Mac til at gemme log i Det skulle ha været et digitalt kort i stedet for, som ved hjælp af koden skulle taste ind og så fik man en ny på kortet i stedet for. Ikke dette gamle flip papir som man skal have med sig overalt hvis man vil på netbank. Synes, det er hjernedødt, at man nu skal flere ting, for at komme på sin netbank. Det er KUN blevet mere besværligt for mig i forhold til før. Jeg hentede NemID hos borgerservice efter forgæves at have bestilt det først hos banken, og dernæst hos NemID selv. Det tog 3 måneder med forgæves bestilling, men 5 min på borgerservice ;-) 239 Bilag L

245 Velkomstbrevet var langt og kedeligt. Mange unødvendige informationer blandet ind i en masse tekst. Man skulle lede efter de centrale informationer mellem en masse tekst med oplysninger som virkede selvindlysende. Mht. nøglekortet synes jeg det er virkelig besværligt at skulle være afhængig af noget fysisk for at komme på netbank. Desuden synes jeg der er for få koder. Efter jeg har fået nemid er jeg begyndt at tænke over hvor ofte jeg går på netbank og vurdere om det er nødvendigt frem for at gøre det når jeg har behov for at checke mine konti eller lignende. Jeg ville hellere få tilsendt en sms med nye koder, i stedet for at skulle sikre mig at jeg ikke får smidt endnu en lap papir væk. Kortet er upraktisk i størrelse. Man kunne f.eks. have lavet et smalt kort der automatisk generede en ny talkode. Disse koster kun få kr at fremstille og ville i længere være billigere end hele tiden at fremsende nye kort. Nemid er noget af det mest hjernedøde, brugetfjendske og topstyrede som staten har fundet på i lang tid burde gøres tydeligere at det brev med koder man automatisk får tilsendt ikke giver adgang til skat, borgerservice, m.v. og kun netbank. Overså det i første omgang. Det er noget latterligt lort, vi alle skal tvinges til at bruges som er overflødigt og ikke gennemtænkt Jeg hader det nye setup. Det er ikke en skid mere sikkert, så længe du er i besiddelse af en andens cpr nummer, så kan du få nøglekort tilsendt og hvor svært er det lige at nappe en andens post? Jeg er spændt på at se om det virker, det med at man får tilsendt nyt kodekort, inden der ikke er flere koder tilbage på det jeg har fået nu. Jeg synes ikke det er betryggende at det ikke kræver noget at bruge nem id på en anden computer. Hvad hvis man gerne vil svare, at man helst er fri for nøglekortet. Og at det muligvis har en fin størrelse, men at det bliver et helvede at skulle have det med og huske det, og passe på det, osv. Det fremgår ikke af brev eller andet materiale om man selv kan vælge hvilket # nummer man vil benytte når man logger på. Det er derfor uklart om man kan splitte kortet i 3 dele og kiun bruge den ene del, eller om man kan blive afkrævet nøglen for et hvilket som helst af numrene på de dele af kortet. Det vil selvfølgelig blive klart efter et par logins, men det er en information jeg mangler lige nu. Det burde være muligt at finde en løsning uden et nøglekort -- det er alt for bøvlet. Jeg er træt af at skulle bære rundt på et kort for at kunne komme på nettet. For få koder- hvis man bruger netbank dagligt Det er da det mest irriterende skidt, ikke nok med at jeg skal huske mine log in koder, nu skal jeg også have styr på hvor det kort er, det er besværligt og et irritationsmoment. Jeg ahndler aktier, og logger derfor ind 4-5 gange dagligt. Jeg bor i Sverige, men har bank i Danmark, så det er et STORT problem med så usmidigt et system og meget iriiterende. Det ville være godt, hvis kortet af sig selv kunne foldes helt sammen. Da jeg har et "activecard" til min netbank, er jeg ked af at skulle skifte det ud med noget jeg finder mere usikkert, da man har en pinkode på activecardet. DEt er overhovedet ikke et system der er mere sikkert end det hidtil har været. Min adgang ligger pt. gennem den USB stick som jeg altid har ved mig. Bliver den glemt skal man kunne min kode først. OK indrømmet det skal man også med SVÆRT- ID men der får man jo den svære del foræret--- Min mening... SPILD af tid og jeg har fandme ikke tid til at sidde og lede efter 20 forskellige nøgler når jeg er på netbank... Kort sagt Møg besværlig :::-ID Jeg har været godt tilfreds med mit Activecard fra Danske og det bygger lidt på samme princip med kode og retur kode. Princippet i NemID har eksisteret i i hvert fald 10, hvor det bl.a. er blevet brugt i Jyske Bank. Men jeg synes ikke det er praktisk Det er sikkert fint nok med et nøglekort, men altså, sammenlignet med det ActiveCard jeg plejede at bruge til netbank, så virker det som at blive kastet tilbage til stenalderen. Både med hensyn til brugerinterface og sikkerhed... Problemet er at man intet kan foretage sig uden dette kort. Man skal altid have det med sig - det må ikke blive væk. Hvis man får stjålet sin taske (som jeg gjorde sidst jeg var i udlandet) skal man have tilsendt et nyt nøglekort før man igen kan bruge netbank osv. Det vil ikke fungere hvis man rejser meget, og er afhængig af netbank. Min søn er talblind, og uden min hjælp har han svært ved at anvende nøglekortet. (altså når vi efter lang tids søgen endelig får det fundet) Det er fuldstændig vanvittigt at man skal rende rundt med et kort i lommen med koder!!!!! Forstår ikke systemet! Det giver ikke mening med at man skal have en bunke koder. Hvori ligger det nemme i det? Bruger selv ActiveCard fra Danske Bank. Den generer selv en kode hver gang man skal logge på sin NetBank. Smart! På mit gamle nøglekort til banken var hver nøgle kun 4 cifre (bestående af tal og bogstaver) og færre nøgler. Det gjorde det lettere og mere overskueligt at bruge. 240 Bilag L

246 En skandale at det er blevet indført af bagdøre for at skjule million-underskudet fra Digital Signatur, men det var vel at forvente. Og hvad får man så som "opgradering" til "esafekey" der virkede fint? Et menukort til dværge. Fremskridt, tja... Praktisk? 0! Har udelukkende taget det i brug da der ikke er noget valg, man SKAL bruge det... Nøglekortet er en komplet hjernedød opfindelse. Det er papirspild, det økonomisk helt gak at skulle snail-maile nye nøglekort ud til folk hele tid og det er voldsomt irriterende nu at skulle holde styr på en åndssvag papirlap. Forklaringen af single-sign-on er uklar eller ikke eksisterende. Jeg var usikker på om valget af cpr-nr eller nemid-adgangskode fastlagde praksis fremover - prøvede af og fandt at jeg kunne benytte begge muligheder fremover. Nøglekortet er ret stort - kunne være på to sider med ligeså mange koder, hvis der var ruttet mindre med plads "forsideinformationen", det er jo mest reklame og tomgang :-) AC: Hvilke problemer opstod der under aktiveringen? jeg blandede nøgle og kode fra to forskellige linjer sammen Timeout pga. jeg brugte specialtegn i eget password. Dette bevirkede at jeg skulle finde et nyt, gerne ligeså sikkert. Timeout kom dog først efter jeg havde valgt brugernavn ved næste skærmbillede. problemer med koden til log on og så var der lige det der med, (er lidt sur over at i bruger et sikkerhedshul i java til at oprette en (.log) i min hjemme mappe og føler bare i kan læse/ skrive på hele min harddisk. ser det lidt som om i Hacker hele min computer bare få at lige en lille log i min hjemme mappe. måske i skulle gemme logen i /Users/Library/Logs nu hvor i har fuld skrive og læse radiheder på hele disken) bare så i ikke skrammer gamle mennesker væk Jeg kunne ikke aktivere min konto selvom jeg fulgte velkomstbrevet. Har ikke aktiveret NemID, da jeg foretrækker at benytte min nuværende netbank så længe som muligt. Endvidere er det ikke muligt at sende s med digital signatur fra Mac - hvilket er muligt med den gamle signatur Betragter NemID for at være et tilbageskridt, da den endnu ikke er fuldt implementeret. NemID er påtvunget, men OCES vil blive fravalgt og den "gamle" digitale signatur vil jeg anvende så længe som muligt lortet virkede ikke Systemet skrev at der opstod en fejl. Jeg forsøgte herefter igen. Så skrev systemet at jeg havde brugt min aktiveringskode for mange gange. Nu skal jeg have tilsendt en ny. Det er uacceptabelt. Den sagde min kode havde været brugt før. og det var første gang jeg skulle bruge koden :S At NemID ALDRIG skulles tvinges til at bruges, og personerne der står for det skulle hænges Jeg fik udleveret TO nøglekort og to midlertidige pinkoder, et sæt fra banken som jeg fik tilsendt, og et sæt som jeg selv hentede fra borgerservice (og som jeg havde i hånden INDEN det jeg havde fået fra banken, som til gengæld var mit "første" nøglekort). Jeg brugte nøglekortet og koden fra borgerservice til at prøve at logge ind (inden jeg modtog post fra banken), hvilket mislykkedes. Jeg talte med Nemid's kundeservice, og de sagde at det var en fejl fra borgerservice's side at udlevere nøglekort nummer to. Nu har jeg modtaget pinkode nummer tre, og det er lykkedes mig at aktivere mit nemid. Eneste tilbageværende problem er at jeg i banken er oprettet med et forkert nemid, hvilket jeg bliver nødt til at tale med dem om. GRRRRR! Fejl under opstart/aktivering af Nem-ID. Kunne ikke logge ind. Min macbook vil ikke opdatere til en nyere version af JAVA, hvilket åbentbart er nødvendigt. Må prøve fra arbejdet i morgen i stedet. Kan ikke aktivere det. Har prøvet alle kombinationer og den melder hele tiden fejl! Den melder at koden er brugt eller ukendt. Jeg har ikke modtaget et brev med min midlertidige adgangskode, så jeg kunne ikke oprette NemID. Jeg prøvede at bestille en ny kode på men fik 3 fejlmeldinger i stedet. Nu har jeg skrevet til "support" for at få en ny midlertidig kode. Jeg forsøgte først at ringe, men havde ikke nok strøm på mobilen til at vente i en tlf.kø. AI: Hvorfor valgte du ikke et selvvalgt bruger-id? Synes det er meget fint at bruger-id og nøglekort er på samme seddel. Jeg skal jo alligevel have fat i nøglekortet når jeg skal logge ind. 241 Bilag L

247 Mit cpr-nr er lettere at huske, og jeg orker ikke at huske flere brugernavne Jeg bruger bare cpr nr kunne ikke bestemme mig for hvad det skulle være, og regner med, at jeg kan ændre det ved senere lejlighed. For svært at huske. (Medmindre CPR-nummeret er selvvalgt, så gjorde jeg...) Hvorfor gå og huske på endnu et nyt brugernavn. CPR-nr er jo ganske fint, det har man altid brugt til offentlige systemer (fx det offentlig pinkode). Jeg var tilfreds med at kunne bruge mit CPR-nummer Tænkte det var nemmest bare at bruge mit cpr-nummer. Det er nemmere at huske CPR. Det skulle være for at gøre det umuligt at violate min konto vha. mit cpr nummer, men da begge muligheder stadig er åbne (5 invalid passes og lock), er det ligemeget. CPR nummeret er let at huske Nemt at huske cpr - har mange andre koder at huske Jeg sybes, at det er helt fint, at man kan bruge sit personnummer. Fordi jeg er vant til at bruge mit CPR-nummer - kan ikke se en grund til, at lave det om. Fordi jeg ikke så nogen grund til det, idet CPR-nummer er let at huske som standard-bruger-id. Jeg synes mit cpr nr er fint, og det er ikke blevet tydeligt gjort hvorfor jeg skal vælge mit eget bruger id... Vanskeligt at finde på. Det var nemmere bare at bruge cpr. Særligt fordi bruger-id ikke måtte være det samme som adgangskode Jeg kan huske mit personnummer og gider ikke huske flere koder(/og tal) end højst nødvendigt. man kunne bruge cpr nr CPR er OK CPR-nummer er nemt at huske. Jeg synes det er nemmere at huske mit cpr-nr. end at holde styr på de utallige brugernavne jeg efterhånden har rundt omkring. Mit cpr-nr. sidder i position 3mX7, lidt til højre for yderste venstre hjernelap -- og er således let at huske Hvorfor skulle jeg det? Cpr-nummer er da nemmere at huske. mit cpr er rigeligt Usikkert.. Ikke behov for det er nemmere bare at bruge mit cpr-nr. Intet behov bruger cpr-nr Det er lettere med CPR-nummeret. Det havde jeg også førhen. for besværligt at huske jeg kan godt huske mit cpr nummer Jeg tænker det er nemmere bare at bruge nit cpr.nummer, i stedet for at skulle til og huske en "kode" mere. jeg gør det nok på et tidspunkt, da jeg tror det er en dårlig ide at bruge CPR. en der ikke kan lide mig kan lukke min Nemid blot ved hjælp af mit CPR (# forkerte indtastninger) hvorfor skulle jeg? Så er der bare mere at huske Mit ønske var optaget, og så er CPR lige så godt Jeg kunne ikke lige komme på noget fornuftigt der ikke ville være et af de navne jeg normalt bruger på nettet. Og jeg tænker at det er en god ide ikke at bruge et af de navne jeg normalt bruger på nettet. Jeg synes jge skal huske så mange bruger id i forvejen Fordi cpr er nemt at huske Fordi det er lige så nemt bare at bruge sit cpr-nummer. det var nemmere at bruge mit cpr nr. det kan jeg huske Jeg kan bruge mit CPR nummer, og det kan jeg jo alligevel huske. Jeg kan ikke forstå hvorfor jeg skulle have lyst til at oprette flere brugernavne? Brugte bare CPR det er nemmeste at huske ingen grund til at huske på flere ID s. For besværligt at skulle huske. Fik ud fra velkomstbrevet det indtryk at jeg altid kan bruge mit cpr-nummer som brugerid, og det sørger jeg i forvejen for at huske. Fordi det alligevel er nemmere for mig at huske mit cpr-nummer end et elelr andet tilfældigt id. 242 Bilag L

248 Der er koder nok at huske på til hverdag, så det er fint at bruge CPR-nummeret Det kan oprettes senere. Lettere at bruge mit cpr fordi jeg har brugt mit cpr-nummer tidligere som login til netbank, og derfor ikke ønsker at skulle memorere et nyt brugernavn. Jeg vil benytte cpr-nr. Den mulighed fik jeg ikke Jeg har i forvejen alt for mange koder og lignende at huske på. mulighederne, der allerede var tilstede, kan jeg huske AR: Hvad kunne have hjulpet dig undervejs, så du kunne have undgået problemerne? Måske at linjerne var bedre adskilt NemID anbefaler at man brugerspecialtegn, men siger dog at nogle _ikke_ er tilladt. Der står dog ingen steder hvilke tegn der tillades. Så en udførlig liste med tilladte tegn havde været god. Endvidere ville det have været rart hvis det blev oplyst at der var timeout på. i skjuler eller gemmer logen i Library/Logs At jeg ikke bliver tvunget til at bruge det lort At borgerservice havde vidst at de ikke måtte oprette nemid til en borger når der allerede var oprettet et nemid til borgeren af vedkommenes bank. Ja det vil fraholde mig fra at anvende det pgs. den enorme mængde tid det tager at bruge og finde koder, men har man et VALG... Næ, vel! Spild af samfundets penge... og vores tid... At min mac selv opdaterede den nye version af JAVA, når jeg trykkede på softwareopdateringsknappen. Men den blev ikke fundet. De skulle ikke have lavet nemid til at starte med Ved det ikke. Et mere simpelt system, hvor man blot har een fast kode der kan anvendes universelt! At have fået den midlertidige kode - enten med post eller på hjemmesiden. AZ: Hvorfor fik du ikke indtastet den rigtige kode fra nøglekortet? jeg blandede linjerne sammen BA: Yderligere kommentarer til NemID generelt Det er ikke praktisk at have et nøglekort. Jeg har rigelige mængder af mere eller mindre ubrugelige kort i min pung, så dette er blot en til stakken. Digital signatur var mere praktisk, da den var elektronisk. Enormt besværlig process. Jeg er mere til: selvvalgt brugernavn + selvvalgt adgangskode (ét brugernavn, én adgangskode). Velvidende at ca. 1/3 af Danmarks befolkning ville vælge deres primære mailadresse og adgangskoden '1234' Det er ikke praktisk i den forstand, at man skal have nøglekortet med sig overalt, og når man skal logge på, skal man til at finde det frem og sådan - meget langsommere end tidligere Digital Signatur. Men sikkerheden overfor internetkriminalitet er et plus, den er sat i vejret, da der nu er fysiske rammer for, hvor langt hackeren kan nå. Fysisk i den forstand, at det hele ikke ligger på computeren. Det er besværligt at nogle sider bruger navnet NemID hvor andre sider bruger navnet Digital Signatur. Fx min.su.dk hedder knappen "log på med digital signatur" hvilket er totalt misvisende, da man sendes til "DET OFFENTLIGE LOG- IN-FÆLLESSKAB" som beder om ens digitale signatur. Her skal man aktivt vælge at bruge NemID i stedet. Har valgt kun at bruge det til netbank, da jeg ikke har planer om at rende rundt med nøglekortet på mig, og derfor hellere så længe det er muligt bruge fælleskode, eller ringe og gøre tingene over telefonen, som jeg gjorde sidst jeg flyttede pga. jeg ikke bruger Nemid til borgerservice. Det tog også kun 10 min at gøre det i telefonen, det skulle jeg have brugt på at finde mit nøglekort frem fra rodet. Når man har brugt digital signatur og andre login systemer er NemID et kæmpe tilbageskridt. Det er laveste fællesnævner på alle punkter lige fra det er upraktisk altid at skulle holde på sig men ikke tabe/ligge synligt til sikkerheden er elendigt hvis kortet blot kortvarigt har været i anden mands besiddelse - er det fuldstændig uvist om sikkerheden er kompromitteret. 243 Bilag L

249 Problemet med den tidligere digitale signatur var ikke nøglefilerne, som er en meget mere sikker måde at implementere digital kryptering. For mig virker det usikkert når man ikke selv har kontrol over sin private nøgle. Implementationen (både teknisk og socialt i befolkningen) af den tidligere digitale signatur var dårligt udført - derfor virkede den besværlig og den brede befolkningen kom aldrig igang med at bruge den. Dette var problemet man burde have løst. Jeg havde problemer med at oprette min selvvalgte adgangskode, da jeg skulle bruge en midlertidig kode. Blev lidt forvirret over om det var én af de mange koder på nøglekortet eller måske det der NemID-nummer i toppen af kortet. Da det ikke virkede, ringede jeg til min bank, og de sendte mig en midlertidig kode per sms. Derefter var der ingen problemer! Men synes generelt det er lidt tosset med alle de koder, og det fungerer ikke rigtig i internet explorer, men kun i firefox. Men det skyldes nok mine personlige sikkerhedsindstillinger. Kommentar til spørgsmålet: Vil denne oplevelse afholde dig fra i fremtiden at anvende NemID?): Jeg har intet valg. Jeg skulle skifte adresse og dette er den eneste mulighed. Det er også utroligt at der fra NemID's side ikke er blevet taget højde for at efterspørgelsen efter NemID er ret stor, hvorfor det tager lang tid at modtage. Jeg fik aldrig mit midlertidige kodeord til at starte med, hvilket krævede at jeg henvendte mig personligt til borgerservice, og fik et nyt. Da jeg først havde mit kodeord, var det ganske nemt at oprette NemID. Trods irriterende fil dialog foretrækker jeg den gamle løsning. Dog hader jeg at det skal foregå i en java applet... Plus at signering med Nem-id ikke fungerer på webreg, det er ganske enkelt pt. ikke muligt at adminstrere min virksomhed online. Hele konceptet om at man skal kunne bruge det overalt, men at man ikke må opbevare NEMID kortet og sine personlige oplysninger det samme sted, giver ingen mening. Har ikke aktiveret NemID, da jeg foretrækker at benytte min nuværende netbank så længe som muligt. Endvidere er det ikke muligt at sende s med digital signatur fra Mac - hvilket er muligt med den gamle signatur Betragter NemID for at være et tilbageskridt, da den endnu ikke er fuldt implementeret. NemID er påtvunget, men OCES vil blive fravalgt og den "gamle" digitale signatur vil jeg anvende så længe som muligt Til spørgsmålet "NemID er sikkert": Det er kun sikkert, hvis du gemmer dit nøglekort i et aflåst skab el. lign. Jeg ved at begge mine forældre har oprettet NemID, og de har skrevet deres login oplysninger på nøglekortet, og lagt det under deres computer skærm. Der røg al sikkerhed i det system. Ved desværre ikke, om det er sikkert, da jeg ikke kender koden bag NemID's Java applet har lige crashet min browser og tvinger mig til at bruge netbank i en virtuel maskine (LiveCD). besværligt at skulle bruge nøglekortet hver gang Det burde ikke være nødvendigt med et nøglekort! Nemid gør i modsætning til hvad der hævdes, det væsentligt mere farligt at være på nettet for den enkelte persomnlig. Hele ideen om om at knytte en digital signatur til et single logon er udtryk for en perverteret sikkerhedsopfattelse hvor man alene kigger på den tekniske løsning. Jeg har fået tilsendt i alt 3 adgangskoder før jeg fik aktiveret min NemId, de første to gange fordi jeg ikke overholdt diverse udløbsdatoer [først fordi man i starten vist skulle være i stand til at indtaste koden inden for 5 minutter -- og der var mere spændende ting i verden, og anden gang fordi jeg skulle have aktiveret det inden for en måned]. Den sidste gang måtte jeg ringe til NemID support fordi jeg havde smidt brevet væk hvor mit NemID-nummer stod i; der var her gået måneder siden jeg havde modtaget mit velkomstbrev. Jeg brugte ActivCard før og det fungerede på stort set samme måde, men var beskyttet af en yderligere pinkode på selve ActivCard'et - så mht. sikkerhed og lethed i brug er det rimelig uændret. Jeg er bare glad for at det virker på Linux. Jeg blev desuden fejlinformeret i banken mht. hvordan jeg skulle igangsætte oprettelsen; jeg fik at vide at jeg skulle logge på netbank som normalt og at jeg derfra skulle oprette NemID, så jeg blev nød til at ringe til support for at få at vide at jeg i stedet blot skulle vælge "logon med NemID" fra forsiden. 244 Bilag L

250 Jeg har nu ventet 3 uger på at få gensendt en aktiveringskode. I mellemtiden har jeg forlagt mit nøgle kort. En anden ting er sikkerhedsperspektivet. I gamle dage havde man en fysisk fil på computeren - en nøgle - der sammen med et password gav adgang til f.eks. en netbank. Det krævede altså at man sad ved den computer hvor nøgefilen var for at få adgang til at logge ind. Som jeg forstår det nye system så kan man nu med nøglekortet, cprnr og et selvvalgt password få adgang fra alle steder. Forskellen er altså at der ikke længere kræves en fysisk nøgle / adgang fra en bestemt fysisk placering. Problemet der i mine øjne opstår - og som er meget alvorligt - er at man ved tvang kan få alle 3 oplysninger ud af en person. Det kan være et overfald på gaden, på en ferie eller lign. Man stjæler nøglekortet og cpr nr og man får kodeordet enten vha tvang eller ved at snyde sig frem til det eller gætte det. Herefter er der frit spil til at overføre en persons aktier, penge eller udføre anden kriminalitet fra hele verden. Personen man forbryder sig imod kan enten være tilbageholdt eller helt uvidende om dette. Og det kan ske når som helst for det kræver ikke længere adgang til nøglen på en hjemmepc/kontorpc. Det er altså ikke nødvendigvis sikrere at oplysningerne til log-in findes i en persons hoved. Faktisk kan disse ved tvang oftest fremskaffes nemmere end hvis man skulle finde en nøglekode på en låst pc i et låst hjem/kontor. Upraktisk og skulle have nøglekort med sig hvergang man skal logge på. Det tager længere tid og logge på end tidligere. Det er blevet nemmere nu da man ikke skal gemme rundt på certifikater. Så når man skifter mellem mange platforme så er det meget nemmere her... Jeg bruger det også på mobilen med Danske Bank og det er bare nemt her også Svært at oprette hvis man ikke læser infoen, og nemt at benytte efterfølgende. Der mangler klare linjer for hvordan man får alle tjenester forbundet med samme NemID. Jeg kan ikke komme på skat, selvom man ifølge deres slogan, "en kode til det hele", skulle kunne komme på når man har registreret sig første gang. Det er overflødigt Det sucks Jeg synes det er nemt og smart at man kan bruge det på andre computere, men også lidt besværligt med nøglekort, når men ligesom mig smider alting væk hele tiden :) Det har jo sine fordele og ulemper. Før var det irriterende ikke at kunne tjekke sin netbank, uden at have sin usb med Id på. På den anden side er det ikke særlig fedt at skulle bære rundt på sit nøglekort. Godt fordi man ikke skal bruge nøglefiler. Skidt fordi man i stedet skal bruge et fysisk kort. Alt i alt ikke så meget vundet - men dog en smule, fordi et kort er nemmere at medbringe på en ferie end en nøglefil. Jyske Bank havde et nemmere system end NEM ID da deres måde er den samme som NEM ID bortset fra at deres version ikke var en flash baseret version. Jeg har svært ved at svare på om det er lettere, da jeg endnu ikke har nået at bruge det mere end en gang. Det er bestemt praktisk at kunne logge på netbank på alle computere, og ikke kun sin egen (med signaturer fra netbak og Digital Signatur), men jeg ved ikke nok om det til at vide om det rent faktisk er sikrere end tidligere metoder. Det virker forældet med et nøglekort Ved hverken enig eller uenig skal følgende forstås: ved ikke NemID bruger en Java Applet og det er komplet useless. Jyske Netbank har brugt et næsten identisk system i 10 år som kun bruger standard HTML. Dette ville være at fortrække da Java på alle tænkelige måder sucks balls til applets. Appleten kræver security elevation som er out of this world, og derfor har jeg erklæret mig selv uenig i at det er sikkert. Jeg stoler som udgangspunkt heller ikke på DanID og kan derfor ikke se at det er smart at give dem read/write access på min computer. Arghh, jeg vil have min digitale signatur tilbage!!! Jeg vidtse det var uundgåeligt, men det er et skidt produkt Synes det virker som en midlertidig løsning, man burde kunne finde på noget smartere og meget sikkert! Kan ikke forestille mig at skulle bruge det system ret langt ud i fremtiden. Ikke andet end jeg tidligere har kommenteret---- Burde kaldes SVÆRT- ID Ellers et andet skældsord jeg kan... jeg ved ikke om det er mere sikkert end tidligere. det tekniske kender jeg ikke til. God undersøgelse Anders, lykke til med specialet. du skriver bare på mail, hvis du har spørgsmål. Eller vinder mail!! :-) Problemet og usikkerheden i NemID ligger generelt i praktikaliteten og tilgængeligheden, hvorved flere aktører får lov til at anvende certifikatet og certifikatet giver fuld adgang til data om borgere. 245 Bilag L

251 Det er mit indtryk at NemID er betydeligt mindre sikkert end det Activecard jeg tidligere brugte til at logge på Netbank. Activecard'et var ligesom en lille lommeregner hvor jeg indtastede end pinkode som jeg kendte, og et tilfædigt tal jeg fik fra netbanken. Activecard'et svarede så tilbage med et nyt tal, som jeg tastede tilbage ind i netbanken, og så var jeg så logegt ind. Der var sikkerhed i at man kun kunne logge ind som mig, hvis man havde både activecard'et, kendte pinkoden til det og kendte mit brugernavn/password til netbank. Med NemID er alt den her sikkerhed væk. Hvis jeg mister min lap papir med koder, så er det eneste en evt. forbryder mangler, for at kunne tilgå mine bankinformationer, mit CPR nummer. Selvom CPR numre forventes at være hemmelige er det altså ikke vanvittigt svært at skaffe dem... Derudover er NemID sværrere at bruge. På Activecard'et var der et tal at læse, på NemID kortet er der et hav af tal og det kan være svært at fokusere øjnene på lige det tal man er ved at indtaste. Mit indtryk af NemID er, helt generelt, at det mere ligner et system der er 10 år gammelt og på vej ud, end Danmarks helt sprit nye sikre digitale nøglesystem. Irriterende system, bruger for meget tid på at finde kortet frem og finde frem til koden blandt alt for mange tal og endelig indtaste koden. Jeg er ikke begejstret. problemet for de fleste jeg har talt med (på min alder :)) er at kortet bliver væk, eller mistes. Nøglekortet er den mest åndsvage "opfindelse" længe. Jeg gider ikke rende rundt med et nøglekort i mine bukselommer eller tasker. Stoler staten ikke på, at vi kan bruge vores eget hoved? NemID er lavpraktisk og jeg føler større sikkerhed ved den end ved en elektronisk nøgle - og så fylder det ikke ret meget. Hvis NemID bliver stjålet skal den tages fra mig fysisk, hvorimod en elektronisk nøgle kan aflures, hackes etc. - og jeg opdager ikke den er taget før der er transaktioner på min bankkonto. Har haft en "Token" til et firmalogon - men den er også besværlig og så fylder den betydelig mere end NemID's nøglekort. Der er en ekstrabyrde ved alle sikkerhedssystemer - men NemID er lige til at gå til. Metoden var kendt for mig fra Jyske Banks nøglekort som jeg tog i brug sidst i halvfemserne. På baggrund af at jeg bruger ActiveCard via Danske Bank mener jeg dette system er klart det mest anvendelige og sikre system at bruge. Det eneste man behøver en "lommerregneren og et fast login. Det ville være smart, hvis man kunne få sit nøglekort på sin telefon eller lignende. Har tidligere brugt et ActiveCard til min netbank. Det var en simplere og sikrere løsning. Jeg synes ikke det er lettere eller mere praktisk end før, når jeg skal have fat i nøglekortet hver gang, - det giver jo en ekstra handling. Alligevel er det praktisk, at jeg kan bruge det fra alle pc'er, så det er lidt både og hvad det angår. Som nævnt: en opgradering består af flere ting: Sikkerhed Brugervenlighed Administration Sikkerheden: er (iflg. hvad jeg læser mig til) helt i top, og det håber jeg den bliver ved med at være, altså at der ikke kommer alvorlige sikkeerhedsbrister frem, da "vi alle sammen" jo skal være med til at betale for et nyt system. Brugervenligheden: er helt til grin, men har fundet en smart lille fidus: Jeg har nøglekortet liggende som foto på min mobiltelefon, og det virker! Selv om det jo ikke er lovligt, iflg. Nets selv (Enhver gengivelse af nøglekortet bla. bla. bla.). Jeg er ikke den eneste der har fundet på denne løsning, og så kunne man lige så godt have lavet en teknologisk opdateret løsning på "nøglekortet" i stedet for et gigantisk stykke lamineret pap... Det her er altså Danmark år 2010, ikke Polen år Administrationen: Ja, gratis er det jo nok ikke, og hvem skal så betale for denne administration? Gæt selv... Dette system er upraktisk og det er møgirriterende at man nu skal finde læsebriller og kodekort frem når man skal på sin netbank. Fordelen ved at man kan komme ind fra en hvilken som helst computer overskygges af bøvlet i det daglige. Jeg har meget sjældent behov for at komme på via anden computer, og tidligere har jeg bare haft mit brugerid med på en usbnøgle hvis der var sandsynlighed for et behov for at komme på netbank via anden computer - kursusophold,udenlandsrejser o.l. - men jeg har aldrig haft brug for at benytte det når det kom til stykket. Dertil kommer at min kone ikke kan komme ind på vore fælleskonti fordi jeg står som ejer af netbankkontoen - så nu har jeg måttet lave kopi af kodekortet til hende så hun kan komme ind via mit id ind til banken får snøvlet sig sammen til at finde en løsning. Dette system burde omgående afskaffes og erstattes af noget mere burgevenligt. At det så bliver hævdet at sikkerheden ikke er i orden gør det jo ikke bedre. Jeg har hidtil brugt et "ActivCard" som efter min mening er både smartere (uendelig mange koder) og mere sikker (et ekstra kode niveau i form af en pinkode) end NemId. 246 Bilag L

252 Jeg har tidligere benyttet active card hos Danske Bank - det var hurtigere og nemmere i brug - og mere sikkert - primært fordi min selvvalgte kode af bekvemmelighedsgrunde for mig er valgt så den er ret let at gætte...active card proceduren var helt sin egen... og kunne ikke gættes/brydes uden stor og målrettet indsats. NemID kortet kan nemt "lånes" af misbruger - kopieres og lægges tilbage til mit opbevaringssted uden jeg opdager det... dernæst kan misbruger vente på at skaffe sig min kode - mit personnummer er meget let at skaffe sig... Hvis jeg vinder ipod Shuffle som beder jeg dig undlade at anskaffe den idet jeg straks returnerer den til dig...mvh Erik 247 Bilag L

253 Bilag M. Første spørgeskema: R-kode Herunder er gengivet den R-kode 39, som er blevet anvendt til statistiske tests og plots af data fra første spørgeskema. 1 # Indlæs data 2 setwd ( / Users / anders / Documents / Datalogi /7-1- Speciale / ) 3 dat <- read. csv ( file = Tests / Elektronisk /R/Q1 - statistik. csv, sep = ;, header = FALSE ) 4 5 # Fjern første søjle ( timestamp ) 6 # dat <- dat [,2:56] 7 8 # Indsæt korrekte søjlenavne 9 colnames (dat, do. NULL = FALSE ) 10 colnames ( dat ) <- c( alder, sex, uddannelse, netbank _ frekvens, skat _ frekvens, borger _ frekvens, sundhed _ frekvens, os, oprindelsesland, modersmaal, funktions _ ned, it_ skills, internet _ frekvens, internet _ steder, eboks _ frekvens, nemid _ modtaget, brev _ read, brev _1, brev _2, brev _3, brev _4, brev _5, kode _ succes, kode _1, kode _2, kode _3, kode _4, brugerid _yn, keypress _1, keypress _2, keypress _3, keypress _4, keycard _1, keycard _2, keycard _3, keycard _4, keypress _yn, kode _5, aktivere _yn, kontakt, afholde _ fremover, anvendt _ gammel, nemid _1, nemid _2, nemid _3, nemid _4, nemid _5, nemid _6, opfoelgende _yn, kode2 _ succes, kode2 _1, kode2 _2, kode2 _3, kode2 _4, kode2 _5 ) # Deskriptiv statistik på data 13 summary ( dat ) # Udvidet deskriptiv statistik 16 library ( pastecs ) 17 stat. desc ( dat ) # Indlæs bibliotek med barplot2 20 library ( gregmisc ) # Antal respondenter 23 n <-dim ( dat ) [1] # 2. søjle : køn 26 sex <-dat [,2] # 3. søjle : uddannelse ( grupperet 1-3) 29 udd <-rep ( lav, n) 30 udd [ dat [,3] >=3] <- mellem 31 udd [ dat [,3] >=5] <- hoej # 12. søjle : IT - færdigheder (1 ( uerfarne + neutrale ) / 2 ( erfarne )) 34 it <-rep (1,n) 35 it[dat [,12] >=4] < # Beregnede IT - kompetencer ( søjle ) 38 it2 <- rep (1,n) 39 it2 <- dat [,4]+ dat [,5]+ dat [,6]+ dat [,7]+ dat [,15]+ dat [,13]+ dat [,42] * # Shapiro - Wilks test for normalformdelte beregnede IT - kompetencer 42 shapiro. test ( it2 ) # Gruppér i 3 kategorier 45 it23 <- rep (1, n) 46 it23 [ it2 >=10] < Se: Bilag M

254 47 it23 [ it2 >=19] < # Plot histogram over it og it2 med indlagt normalfordeling 50 hist ( dat [,12], breaks =5, xlim =c (0,5), main = IT - færdigheder, subjektive, ylab = Densitet, xlab = IT - færdigheder (1-5), col =c( red, orange, yellow, green ), probability = TRUE ) hist (it2, breaks =14, xlim =c (0,30), main = IT - færdigheder, beregnede, ylab = Densitet, xlab = IT - færdigheder (0-28), col = lightblue, probability = TRUE ) 53 curve ( dnorm (x, mean ( it2 ),sd(it2 )), col = black, add = TRUE ) # 39. søjle : lykkedes at aktivere 56 succes <-rep (1,n) 57 succes [is.na(dat [,39]) ] < # 42. søjle : anvendt gammel signatur 60 gammel <-rep ( nej, n) 61 gammel [ dat [,42]==1] <- ja # G1 - G6 ( søjle 43-48) med tre grader af enighed 64 d43tre <-rep (1,n) 65 d43tre [ dat [,43]==3] <-2 66 d43tre [ dat [,43] >=4] <-3 67 d44tre <-rep (1,n) 68 d44tre [ dat [,44]==3] <-2 69 d44tre [ dat [,44] >=4] <-3 70 d45tre <-rep (1,n) 71 d45tre [ dat [,45]==3] <-2 72 d45tre [ dat [,45] >=4] <-3 73 d46tre <-rep (1,n) 74 d46tre [ dat [,46]==3] <-2 75 d46tre [ dat [,46] >=4] <-3 76 d47tre <-rep (1,n) 77 d47tre [ dat [,47]==3] <-2 78 d47tre [ dat [,47] >=4] <-3 79 d48tre <-rep (1,n) 80 d48tre [ dat [,48]==3] <-2 81 d48tre [ dat [,48] >=4] < # ########################################################### 85 # #### AFHÆNGIGHEDSTESTS ##### 86 # ########################################################### # Test for afhængighed mellem uddannelse ( grupperet 1-3) og G1 - G6 (43-48) 90 table ( dat [,43], udd ) 91 fisher. test ( table ( dat [,43], udd )) # Tests for afhængighed mellem køn og G1 - G6 ( søjle i data ): 95 table ( dat [,48], sex ) 96 contig <- table ( dat [,48], sex ) 97 prop. test ( contig [, Mand ], rowsums ( contig )) # Tests for afhængighed mellem køn og G1 - G6 ( søjle i data, 3 enighedsgrader ): 101 table ( d48tre, sex ) 102 contig <- table ( d48tre, sex ) 103 prop. test ( contig [, Mand ], rowsums ( contig )) Bilag M

255 # Tests for afhængighed mellem køn og Lykkedes at aktivere (39) : 107 contig <- table ( succes, sex ) 108 chisq. test ( table ( succes, sex )) # Tests for afhængighed mellem køn og Læst velkomstbrev (17, ja+ delvist / nej ): 112 laest <-rep (0,n) 113 laest [ dat [,17] >=1] < contig <- table (sex, laest ) 115 chisq. test ( contig ) # Plot af andel af mænd, der har svaret i de forskellige kategorier på Sikkert - spørgsmålet 119 plot (1:5, prop. test ( contig [, Mand ], rowsums ( contig ))$ estimate, main = Sikkert, ylim =c (0,1), ylab = Andel mænd, type = h ) # Tests for afhængighed mellem Anvendt gammel signatur (42, ved ikke = nej ) og G1 -G6 (43-48) : 123 contig <- table ( dat [,48], gammel ) 124 chisq. test ( contig ) # Tests for afhængighed mellem Anvendt gammel signatur (42, ved ikke = nej ) og G1 -G6 (43-48, 3 enighedsgrader ): 128 contig <- table ( d48tre, gammel ) 129 chisq. test ( contig ) # Tests for afhængighed mellem Lykkedes at aktivere (39) og Anvendt gammel signatur (42, ja/nej ): 133 contig <- table ( succes, gammel ) 134 chisq. test ( contig ) # Tests for afhængighed mellem Lykkedes at aktivere (39) og Læst velkomstbrev (17, ja+ delvist / nej ): 138 laest <-rep (0,n) 139 laest [ dat [,17] >=1] < contig <- table ( succes, laest ) 141 chisq. test ( contig ) # Tests for afhængighed mellem Alder (1, +/ -30) og Lykkedes at aktivere (39) : 145 aldersgrp <-rep (1,n) 146 aldersgrp [ dat [,1] >=30] < contig <- table ( succes, aldersgrp ) 148 chisq. test ( contig ) # Tests for afhængighed mellem Uddannelse (3, 1-3) og Lykkedes at aktivere (39) : 152 contig <- table ( succes, udd ) 153 chisq. test ( contig ) # Tests for afhængighed mellem Uddannelse (3, 1-3) og G1 - G6 (43-48) : 157 contig <- table ( dat [,48], udd ) 158 chisq. test ( contig ) 250 Bilag M

256 159 # Med tre grader af enighed : 160 contig <- table ( d48tre, udd ) 161 chisq. test ( contig ) # Tests for afhængighed mellem IT - færdigheder (12, 1/ 2) og Lykkedes at aktivere (39) : 165 contig <- table ( succes,it) 166 chisq. test ( contig ) # Tests for afhængighed mellem IT - færdigheder (12, 1/ 2) og G1 - G6 (43-48) : 170 contig <- table ( dat [,43], it) 171 chisq. test ( contig ) # ########################################################### 175 # #### DIVERSE PLOTS ##### 176 # ########################################################### # Plot alder vs uddannelse, dense scatter plot 180 library ( hexbin ) 181 bin <- hexbin ( dat [,1], dat [,3], xbins =25) 182 plot (bin, ylab = Uddannelsesniveau (1-5), xlab = Alder, main = Alder og uddannelse ) # Forberedelse af plot af gennemsnit med errorbars for G1 - G6 186 matr <-as. matrix ( dat [,43:48]) 187 n <-dim ( matr ) [1] 188 gns <- apply (matr, 2, mean ) 189 gnsm <- apply ( matr [ sex == Mand,], 2, mean ) 190 gnsk <- apply ( matr [ sex == Kvinde,], 2, mean ) 191 var <- apply (matr, 2, var ) 192 varm <- apply ( matr [ sex == Mand,], 2, var ) 193 vark <- apply ( matr [ sex == Kvinde,], 2, var ) 194 sem <- sqrt ( var /n) 195 semm <- sqrt ( varm / sum ( sex == Mand )) 196 semk <- sqrt ( vark / sum ( sex == Kvinde )) # Plot af G1 - G6 for mænd / kvinder / generelt med errorbars ( SEM ) 199 barplot2 (t( cbind (gnsm,gnsk, gns )), beside =TRUE, plot.ci=true, ci.l=t( cbind (gnsm -semm,gnsk -semk,gns - sem )),ci.u=t( cbind ( gnsm +semm, gnsk +semk, gns + sem )), ylim =c (1,5), col =c( blue, red, green ), main = Generelle holdninger til NemID, kønsopdelt, names. arg = c( Let at oprette, Let at bruge, Sikkert, Praktisk, Sikrere, Lettere ), legend. text = c( Mænd, Kvinder, Generelt ), ylab = Enighed (1-5), xpd = FALSE ) # Forberedelse af plot af gennemsnit med errorbars for VELKOMSTBREV 203 matr <-as. matrix ( dat [,18:22]) 204 n <-dim ( matr ) [1] 205 gns <- apply (matr, 2, mean ) 206 gnsm <- apply ( matr [ sex == Mand,], 2, mean ) 207 gnsk <- apply ( matr [ sex == Kvinde,], 2, mean ) 208 var <- apply (matr, 2, var ) 209 varm <- apply ( matr [ sex == Mand,], 2, var ) 210 vark <- apply ( matr [ sex == Kvinde,], 2, var ) 211 sem <- sqrt ( var /n) 212 semm <- sqrt ( varm / sum ( sex == Mand )) 213 semk <- sqrt ( vark / sum ( sex == Kvinde )) 251 Bilag M

257 # Plot af VELKOMSTBREV for mænd / kvinder / generelt med errorbars ( SEM ) 216 barplot2 (t( cbind (gnsm,gnsk, gns )), beside =TRUE, plot.ci=true, ci.l=t( cbind (gnsm -semm,gnsk -semk,gns - sem )),ci.u=t( cbind ( gnsm +semm, gnsk +semk, gns + sem )), ylim =c (1,5), col =c( blue, red, green ), main = Holdninger til velkomstbrevet, kønsopdelt, names. arg = c( Let at forstå, Interessant, Længde tilpas, Indhold relevant, Nok information ), legend. text = c( Mænd, Kvinder, Generelt ), ylab = Enighed (1-5), xpd = FALSE ) # Forberedelse af plot af gennemsnit med errorbars for NØGLEKORT 220 matr <-as. matrix ( dat [,33:36]) 221 n <-dim ( matr ) [1] 222 gns <- apply (matr, 2, mean ) 223 gnsm <- apply ( matr [ sex == Mand,], 2, mean ) 224 gnsk <- apply ( matr [ sex == Kvinde,], 2, mean ) 225 var <- apply (matr, 2, var ) 226 varm <- apply ( matr [ sex == Mand,], 2, var ) 227 vark <- apply ( matr [ sex == Kvinde,], 2, var ) 228 sem <- sqrt ( var /n) 229 semm <- sqrt ( varm / sum ( sex == Mand )) 230 semk <- sqrt ( vark / sum ( sex == Kvinde )) # Plot af NØGLEKORT for mænd / kvinder / generelt med errorbars ( SEM ) 233 barplot2 (t( cbind (gnsm,gnsk, gns )), beside =TRUE, plot.ci=true, ci.l=t( cbind (gnsm -semm,gnsk -semk,gns - sem )),ci.u=t( cbind ( gnsm +semm, gnsk +semk, gns + sem )), ylim =c (1,5), col =c( blue, red, green ), main = Holdninger til nøglekortet, kønsopdelt, names. arg = c( Overskueligt, Praktisk, God størrelse, Tilpas mængde koder ), legend. text = c( Mænd, Kvinder, Generelt ), ylab = Enighed (1-5), xpd = FALSE ) # Cronbach s alpha for adgangskode ( samlet for netbank og selv bestilt ) # Let at oprette ( søjle ) : 239 adglet1 <- dat [,51] 240 adglet1 [is.na(dat [,51]) ] < adglet2 <- dat [,24] 242 adglet2 [is.na(dat [,24]) ] < adglet <- adglet1 + adglet2 244 adglet # Havde behov for mere hjælp ( søjle ) : 247 adghelp1 <- dat [,55] 248 adghelp1 [is.na(dat [,55]) ] < adghelp2 <- dat [,38] 250 adghelp2 [is.na(dat [,38]) ] < adghelp <- adghelp1 + adghelp2 252 # Vend scoren ( invers skala ) 253 adghelp <- 6- adghelp frame <- data. frame ( adglet = adglet, adghelp = adghelp ) 256 library ( multilevel ) cronbach ( frame ) # Cronbach s alpha for indtastning af nøgle # Forstod min opgave ( søjle 29) : 263 nogleforstod <- dat [,29] 264 nogleforstod 252 Bilag M

258 # Havde behov for mere hjælp ( søjle 32) : 267 noglehelp <- dat [,32] 268 noglehelp 269 # Vend scoren ( invers skala ) 270 noglehelp <- 6- noglehelp frame <- data. frame ( nogleforstod = nogleforstod, noglehelp = noglehelp ) 273 frame cronbach ( frame ) 253 Bilag M

259 Bilag N. Andet spørgeskema Herunder gengives skærmbilleder af udformningen af det opfølgende spørgeskema. Linket til spørgeskemaet blev udsendt per mail (se Figur 8 nedenfor) til de interesserede respondenter fra første undersøgelse, og der er derfor ingen startside. Spørgeskemaet består kun af én side med seks spørgsmål. Figur 8: Invitation til opfølgende spørgeskema udsendt til respondenter 254 Bilag N

260 Brugerundersøgelse af NemID - opfølgende spørgsmål 20/12/ Brugerundersøgelse af NemID - opfølgende spørgsmål Du deltager i denne korte opfølgende undersøgelse, fordi du har sagt ja til at måtte blive kontaktet i en tidligere undersøgelse om NemID. Du bedes nu svare på følgende 6 spørgsmål om din efterfølgende brug af dit NemID. *Påkrævet Hvor mange uger er det siden, du aktiverede (eller forsøgte at aktivere) dit NemID? * Hvor mange gange har du anvendt dit NemID, siden du aktiverede det? * TIP: dit nøglekort indholder 148 nøgler. Du får oplyst, hvor mange af disse du har tilbage, hver gang du anvender dit NemID. Hvilke tjenester har du anvendt dit NemID til at logge ind på? Markér gerne flere. Netbank / homebanking TastSelv på Andre: Har du siden aktiveringen oplevet problemer under brugen af dit NemID? * Ja Nej Hvis ja, hvilke? Du bedes nu angive, hvor enig du er i følgende udsagn om NemID: * Side 1 af Bilag N

261 Brugerundersøgelse af NemID - opfølgende spørgsmål 20/12/ Meget uenig Uenig Hverken enig eller uenig Enig Meget enig NemID er let at bruge NemID er sikkert NemID er praktisk NemID er sikrere end tidligere metoder NemID er lettere end tidligere metoder Send Leveret af Google Dokumenter Rapporter misbrug - Servicevilkår - Yderligere vilkår Side 2 af Bilag N

262 Bilag O. Andet spørgeskema: Resultater Herunder gengives resultater og deskriptiv statistik for det opfølgende spørgeskema. Se Bilag L for en beskrivelse af de statistiske termer. Herefter følger de kommentarer, respondenterne har givet i feltet om eventuelle oplevede problemer siden aktiveringen. Resultater: Deskriptiv statistik: 257 Bilag O

263 Hvilke problemer har du oplevet siden aktiveringen af dit NemID? Deres java applet virker ikke på min Debian Linux! :( Men det virker med Knoppix LiveCD og på min Android 2.2 telefon med Danske Banks app. En enkelt gang har jeg fået "NemID sign error" eller noget i den stil, men det kunne klares ved at prøve igen. Nemid er IKKE aktiveret og bliver det ikke før end i sidste øjeblik jeg skal logge ind 2 gange og bruger dermed 2 nøgler pr login Nedetid. Der er problemer med java applet'en, der nogen gange ikke viser password boksen, når der skal signeres for overførsler på netbank, og webreg. at ikke alle browsere virker Det er ikke altid, den registrerer et login. Eller - den tæller ned på nøgleantallet, men logger mig ikke ind... Har ikke haft nogle problemer, men havde dog et spørgsmål. ringede til min bank og fik rigtig god support. Men selv supporten hos NEM-ID er ringe... Jeg har haft problemer med at overføre penge via min netbank fra min mac, hvor den nogengange bare går helt kold, så jeg må genstarte computeren. Andre gange kan den godt overføre uden problemer. For at kunne bruge NemID skulle de nulstille ip-adresser i deres system (var sat op således, idet vi bruger Linux)... Mobilapp til danske bank virker ikke med unikt bruger-id (kun med cpr og nemid-nummer). På grund af tekniske komplikationer (både banken og borgerservice havde oprettet et nemid til mig) ved aktivering, kan jeg ikke benytte mig af cpr ved indlogning på nemid. Og da jeg ikke kan huske mit nemid-nummer (og i øvrigt ikke ønsker at skulle huske på et mangecifret nummer), kan jeg ikke bruge danske banks mobilapp til homebanking :( Jeg aktiverede NemID med min netbank og brugte ikke engangskoden, der kom med brev. Da jeg dagen efter forsøgte at logge på Netbank igen fik jeg fejlbeskeden (sådan cirka): Din engangskode er udløbet, dit NemID er spærret. To timer senere kunne jeg godt logge på med NemID. jeg tillader mig at skrive en kommentar til første spørgsmål, jeg kan ikke huske det...det var ved juletid NemID blev spærret fordi de have sendst kode og brugernavn samme dag. Dernæst blev min digitale signatur spærret. Det virker ikke på min Debian installation. Dog virker det upåklageligt med Knoppix livecd'en eller Danske Banks app til Android. 258 Bilag O

264 Bilag P. Interview med Peter Lind Damkjær, DanID, 26. januar 2011, 17:30-18:30 Spørgsmål: 1. Spørg om OK til diktafon, ellers notér på livet løs! Tilbyd at læse citater inden publicering (men ingen korrekturret - blot faktuelle fejl). 2. Indledning (fortælle hvem jeg er er, hvad jeg laver, og hvorfor jeg gerne vil tale med dig). 3. Fortæl kort overordnet om processen der foregår, når en bruger logger ind med sit NemID: Hvilke informationer udveksles og hvornår? Forholdene mellem bruger, myndighed og DanID (CA) Hvad skal der til, for at en bruger er autentificeret? 4. Sikkerhed: Hvordan sikres de forskellige kanaler mellem bruger, myndighed og DanID (CA)? 5. Sikkerhed: Hvor sikre (lange) er de nøgler, som anvendes til at kryptere og autentificere, og hvordan opbevares de? 6. Sikkerhed: Er det korrekt forstået, at NemID-brugere stadig er potentielt i fare for phishing-angreb, hvor brugeren lokkes til at indtaste sine oplysninger på en falsk hjemmeside, som anvender oplysningerne til misbrug hos den virkelige myndighed? 7. Privacy: Der har været massiv kritik blandt kyndige af det faktum, at DanID skriver under for brugeren med ført hånd- mange vil hellere selv have kontrol over deres private nøgle. Forstår du den kritik? 8. Sikkerhed: Konceptet med at opbevare samtlige private nøgler på ét sted fokuserer potentielle hackerangreb fra brugerens egen computer til ét centralt sted. Hvor godt vil du umiddelbart mene, at DanID har sikret den ene væg, der skal gennembrydes? Er den ligefrem ubrydelig? 9. Sikkerhed: Efter DanIDs mening er NemID sikrere end den tidligere digitale signatur. På hvilke specifikke punkter gør dette sig gældende? 10. Sikkerhed: Sikkerheden er i sidste ende ikke større end brugerens kompetencer. I tests klikkede næsten alle med det samme på accept af DanIDs applet uden at have læst, hvad det drejede sig om. Hvad er din kommentar til det? 11. Sikkerhed: Kan du kort beskrive, hvorfor og i hvor høj grad sikkerheden i NemID er baseret på åbne standarder? Ifølge kravspecifikationen er der en lang række af krav til dette. 12. Sikkerhed: Hvad er årsagen til, at der i genereringen af den selvvalgte adgangskode ikke skelnes mellem store og små bogstaver? Er dette ikke med til at forringe sikkerheden i den ene faktor? 13. Sikkerhed: 22% af borgerhenvendelserne til IT&T samt hundredevis af kritiske artikler - hvad tror du, årsagen er til, at folk er så bekymrede for sikkerheden, og hvad kan I gøre for at imødekomme dette? 259 Bilag P

265 Tid: Kommentar: Kontekst: 1:30 PLDs rolle: PKI manager (rammer for håndtering af nøgler), systems security officer Spørgsmål 2 (overordnet ansvar for sikkerheden), godkender ændringer, der kan have sikkerhedsmæssig karakter, sidder med i DanIDs sikkerhedsledelse (er med til at skrive under på erklæringer til IT&T samt revisor) NemID består egentlig af to forskellige løsninger, som så er puttet ind under den samme Spørgsmål 3 motorhjelm. Jeg vælger at bruge en analogi til en hybridbil. Når man kører i banken, så bruger man én motor, og når man kører alle andre steder hen, så bruger man en anden motor. Og hvorfor ikke bare bruge én løsning til det hele? Det er simpelthen er spørgsmål om, at dengang NemID blev tænkt op, da var bankerne igang med at lave en fælles sikkerhedsmodel. De kunne se, at nøglefilbaserede systemer var under angreb fra især Østeuropa, hvor der blev lagt keyloggere ind, og så stjal de nøglefilen, og så begyndte de at udgive sig for at være den her netbankbruger. Det foregik i regi af Finansrådet, at man ville have en fælles løsning, som var baseret på det, man kalder ægte to- faktor. Lidt efter at de her beslutninger er lavet i bankverdenen, så kommer det offentliges digitale signatur i udbud igen, fordi den oprindelige aftale var baseret på et EU- udbud, og så har man så brugt lejligheden til at sige "hvad kan vi så risikere, at den her infrastruktur, vi har nu, kan blive udsat for; hvad er det for nogle erfaringer, vi har gjort; lad os opgradere den". Men bankernes behov og det offentliges behov var ikke fuldstændig identiske, og der var nogle ting, som sagde, at de funktionelle krav ikke svarede ikke til hinanden. Så det, vi lavede, var én løsning, hvor vi så blev enige om at have en fælles grænseflade. Så de brugere, der ikke interesserer sig for det, vil opleve, at de har én løsning. Når jeg træder på speederen i en hybridbil, er jeg lidt ligeglad med, om det er den ene eller den anden motor. Men det virker som én. 5:30 Hvis man logger ind på et offentligt site, så har man i forvejen fået genereret nogle nøgler. De ligger på et hardware security module (HSM, red.) dybt inde i vores serverrum. For at komme til at lave privatnøgleoperationen så angiver man et brugernavn og password. Den måde, det foregår på, er, at når man skal logge ind, så loades der en applet, som beder brugeren om brugernavn og password. Når den har fået det, så etablerer appletten en forbindelse til vores serverrum (kan man sige) i en protokol, der hedder SRP (Secure Remote Password) baseret på det password, man har valgt. Denne kanal kan kun etableres, hvis man angiver det rigtige password. Herefter etableres igennem denne kanal en ny kanal, som også er en SRP- kanal, som baseres på den OTP- værdi (altså den engangsnøgle), som man indtaster, efter man har fået en challenge fra serveren. Der bliver så etableret en forbindelse, ikke bare til vores serverrum, men helt ned til den HSM, som er det eneste sted, hvor den private nøgle findes i klartekst. Den skal findes i klartekst, for at den kan bruges til en privatnøgleoperation. Man skriver under på, at man gerne vil logges ind på Site X, eller hvad det nu måtte være. Den underskrift bliver så sendt ud af appletten til den side, man nu er på, som så bruger den som adgangsbillet til det site, man nu skal besøge. Dermed har det offentlige site fået en digitalt underskrives billet på, at man gerne vil logges ind klokken det og det, og der kan de så trække certifikatet ud og få informationer om brugeren. Den information, der ligger (i certifikatet, red.), er sandsynligvis ikke særlig anvendelig. Der står MÅSKE et navn, og så står der et PID- nummer, et Personligt IDentifikationsnummer. Offentlige mndigheder har så lov til at lave opslag hos IT- og telestyrelsen, de har en database, hvor det er muligt at konvertere det her PID- nummer til et CPR- nummer. Private udbydere kan lave det samme, hvs de har behov for CPR- nummer, men de kan ikke bare lave opslag. De gør typisk det, at de beder brugeren om CPR- nummer, og så validerer de, fordi IT- og Telestyrelsen ikke bare kan udlevere CPR- numre til private tjenesteudbydere. Og så er man identificeret på CPR- nummerniveau, hvis dette er nødvendigt. Der er også nogle tjenesteudbydere, der ikke har behov for CPR- numre, som bare skal genkende brugerne. Og så stopper festen med, at de har fået certifikatet. Spørgsmål 3 (samt lidt 4) 260 Bilag P

266 10:15 Principielt handler det om, at man gennem appletten laver en autentifikation overfor DanID, Spørgsmål 3 hvor man anvender brugernavn, password og engangskode, så man kan bruge den private nøgle, som man har liggende centralt. Så man kan egentlig betragte den HSM, vi har, som brugerens smartcard, der bare har en afsindigt lang ledning i form af internettet. ABP: Så det er jer, der med brugerens private nøgle skriver under på vegne af brugeren? PLD: Nej...ja, altså vi kan ikke gøre det, fordi nøglen blandt andet er krypteret med brugerens password, som vi ikke kender. Så vi har faktisk ikke mulighed for...man kan sige, vi skriver under, men det er på samme måde, som hvis man har et smartcard, så sender man også opgaven ud til smartcardet, så det skriver under for en. Det, der er meget væsentligt, det er, at det er brugeren, der har kontrol over den private nøgle. Det er et af de kritikpunkter, der har været, og derfor er der nogen, der ikke mener, at det er PKI det her, fordi den private nøgle ikke ligger hos brugeren. Men det, mener jeg måske nok, er en meget firkantet måde at se det på, for det, der er væsentligt, er, at det kun er brugeren selv, der kan bruge den her private nøgle - at systemet er sat op på den måde. ABP: I som systemleverandører er altså ikke i stand til at bruge det her system på måder, som kan kompromittere brugeren? PLD: Ikke som det er designet nu, nej. Så skulle vi lave helt om på designet, men det er jo ligesom i den klassiske digitale signatur. Der bliver nøglerne også genereret, godt nok ude hos brugeren, men af vores software. Så kunne vi i princippet tage vores software og sende nøglerne ind til DanID og lave om på det på den måde, hvis vi ville. ABP: Så der er på det punkt ikke nogen forskel fra den gamle signatur til den nye? PLD: Nej, der er forskel på, hvor nøglerne fysisk ligger henne, men det, der er vigtigt for mig i en PKI, det er, at den private nøgle kun kan anvendes af brugeren selv - inden for nogle bestemte antagelser. F.eks. at systemet er sikkert. Så hvis man kigger på den gamle løsning med nøglefilsbaserede løsninger, så ved vi jo, at i Danmark der er der i hvert fald omkring kompromitterede zombier, og der kan man diskutere i hvilket omfang, de har kontrol over deres PC og dermed kontrol over deres private nøgle. 14:30 Appletten sender en hash- værdi af den ticket, der ønskes krypteret til HSM- modulet, som Spørgsmål 3 PKCS1- signerer det og sendes retur til appletten, som aflerverer ticketten til den hjemmeside, man ønsker at logge ind på. ( ) Der er ikke nogen kommunikation med myndigheden, andet end gennem appletten. Når appletten bliver loadet, så ryger der også nogle informationer fra myndigheden med til DanID og til appletten. Der er forskellige sikkerhedsparametre i det, men alle de her parametre, der siger, hvordan appletten skal køre, de er digitalt underskrevet af myndigheden, for at der ikke er nogen, der kan skrue på de her parametre, så den kommer til at at opføre sig anderledes end den måde, myndigheden regner med. Men tingene foregår gennem appletten og brugerens browser. 16:00 Det er som minimum RSA med bits nøgler. Altså alle brugernøglerne er to kilobit. Den CA (Certificate Authority, red.), der udsteder, er også to kilobit, men vi er ved at etablere en CA oppe over vi har lavet sådan et hierarki af CA'er. De udstedende CA'er, der er også to kilobit, mens det CA, der er oppe over - vi har sådan et primary CA - den er fire kilobit, altså 4096 bit. Det er derfor, jeg siger, at alle nøglerne er minimum to kilobit. Og dem, som er to kilobit, der er ikke nogen, der bliver over 15 år gamle. De har en udløbsdato tilknyttet. Brugerens certifikater er maksimalt fire år, de udstedende CA'er er maksimalt 15 år, og det øverste CA har udløbsdato i Spørgsmål Bilag P

267 18:30 Ja. Altså det, som du snakker om, det er et man- in- the- middle angreb. Og ja, det er muligt at Spørgsmål 6 lave sådan et scenarie. Vi har lavet nogle ting i appletten, der gør det besværligt at lave det angreb. Og det er vigtigt også at vide, at i det her NemID det vi har startet, det er en proces. Vi har ikke lavet en endelig løsning, der er færdig, og så er den mejslet ind i sten - så vi kender godt de angreb, man kunne forestille sig, og vi overvåger også for, hvordan verden ser ud, og hvordan det udvikler sig, og vi har nogle skruer, vi kan skrue på, så vi kan fange de her ting, efterhånden som vi ser, at det bliver et scenarie, som vil ske. Men vi har også skrevet på vores FAQ, at man godt kan forestille sig man- in- the- browser og man- in- the- middle angreb, altså online phishing- angreb. (...) Det vil kunne lade sig gøre. Men vi har lavet nogle tiltag i appletten, som gør, at det bliver lidt besværligt. Dem, som vi især vil beskytte os imod, det er østeuropæiske bander. Og de har, så vidt vi kan se lige i øjeblikket, rettet deres øjne et andet sted hen, fordi vi har fået indført sådan en to- faktorløsning. Det er også det, vi traditionelt kunne se i Danmark, at Danmark var beskyttet mod netbankangreb i lang tid, fordi Norden var nogle af de første, der indførte nøglefilsløsninger. Og det gjorde, at de helt simple phishing- angreb med brugernavn/password, det duede ikke - man skulle ned og have fat i nøglefilen. Da resten af verden fik nøglefiler, så blev Norden også interessant, og det var først der, man begyndte at se netbankangreb. Så vi overvåger, og vi har nogle mekanismer, vi kan skrue på, men det vil gøre, at der kommer en brugerinvolvering, og det er altid et spørgsmål om at finde niveauet. Der er ikke noget, der hedder 100% sikkerhed. Vi kan aldrig gardere os 100% - om ikke andet så er det, brugeren ser på, en glasplade, og han har et tastatur og et interface. Det kan man altid mingelere med, så brugeren tror, der sker noget andet. Man kan jo ikke sidde og kigge på de strømme, der løber nede i computeren, så det er et spørgsmål om at sige, hvor skal man sætte barrieren. Og den barriere vil flytte sig over tid - der vil man opleve, at vi har nogle mekanismer, så vi kan skrue op og sige "nu skal vi have noget mere", så nu lægger vi nogle yderligere barrierer ind, fordi vi kan se, at det her er blevet interessant. ABP: Men eksemplet med nemid.dk viste vel, at så er det heller ikke sværere at lave en hjemmeside, som folk tror, har tilknytning til jer? (...) (Svarer ikke helt på spørgsmålet...) 24:15 Jeg har hørt nogle kritikere sige til mig, at de kan beskytte nøglen bedre end man kan på en Spørgsmål 7 HSM hos DanID. Jeg har været i sikkerhedsbranchen i nogle år, så jeg er ret sikker på, at jeg selv ikke ville være i stand til at beskytte nøglen så godt, som man kan. Trenden er helt klart, at dem, der vil angribe systemer, går væk fra at angribe serveren - de angriber klienter, fordi det er meget meget nemmere. Hvis man ser værktøjer som Zeus og lignende, er det forbløffende, hvad man kan. Der er noget her i verden, der hedder "crime as a service". Ligesom man i cloud computing opererer med "infrastructure as a service" og "software as a service, så findes der også i den mørkere side af internettet noget, man kunne kalde "crime as a service", hvor man går ud og sælger løsninger, der går specifikt efter bestemte ting, og når de sælger løsningerne spørger: "Hvilke antivirusprodukter vil du gerne beskytte dig imod?", "Hvem vil du gerne have, ikke kan fange din løsning?". Og så bliver der simpelthen lavet en løsning, som f.eks. McAfee og FSecure ikke kan detektere; det undersøger de, inden de sender løsningen ud. Så jeg er glad for, at jeg ikke har mine ting på min PC mere, for jeg er ikke sikker på, det er et godt sted at have dem. 26:22 ABP: Så i forhold til den gamle signatur vil du mene, at nøglerne er langt mere beskyttede nu? PLD: Helt afgjort! Jeg er sikker på, at hvis man vil angribe systemet, så er det, man skal have fat i brugeren - man ville ikke gå efter serveren. Vi beskytter brugerens nøgler efter samme principper, som vi også beskytter vores CA- nøgler, så hvis jeg var hacker og ville gå efter serveren... Lad os antage, at jeg ikke ville gå efter brugeren (hvilket ville være meget nemmere), men jeg ville gå efter serveren, fordi jeg ville opnå meget magt. Så tror jeg ikke, jeg ville gå efter den server, hvor brugeren havde deres private nøgler liggende. ABP: Du ville gå efter CA'ens? PLD: Ja, for så kan jeg lave mine egne identiteter, som jeg har lyst til. Det ville være meget mere magtfuldt end at gå efter brugernes nøgler. Så kan jeg opfinde mine egne identiteter, også på folk, som slet ikke er oprettet i systemet - dem kan jeg selv opfinde og lave certifikater til. Så jeg kan godt forstå kritikken, men det er måske mere ud fra en akademisk synsvinkel end ud fra den praktisk, sikkerhedsmæssige løsning. (...) Så hvis vi var onde, kunne vi bare bruge CA- nøglerne til at lave nogle nye private nøgler til eget brug, det havde vi ikke brug for brugernes private nøgler til at gøre. Spørgsmål Bilag P

268 28:00 Hele vores infrastruktur er baseret på, at den mur skal være sikker. Så vi har gjort os meget meget umage. Vi har haft alle de kritiske faktorer, vi har lavet, til review hos tredjeparter og skal have en rating på alt det, vi laver. Man rater efter, hvor godt man synes, det er. De protokoller, vi laver, har vi haft både indenlandske og udenlandske eksperter til at kigge på og sige, hvor er det, at sårbarhederne er i det her, og hvor realistisk er det, at de vil blive brugt. Hele vores driftsapparat er bygget op om, at alle de steder, hvor der er nogle kritiske ting (f.eks. vores CA- nøgler eller de steder, hvor vi har brugerens private nøgler liggende), der har vi en udpræget brug af dualitet, dvs. at der skal mere end én person til at gøre nogle bestemte ting. Vi har zoneopdelt det, og i det inderste i vores CA, der kan der ikke gå én mand ind alene - der skal der to mand til. Og det skal ikke være to driftsfolk, det skal være en driftsperson og en anden, typisk en security officer eller en, der har en applikationsvej (?). Der skal være to til stede, og de skal have forskellig funktion. ABP: Så du vil mene, at muren er særdeles holdbar? PLD: Der er nogle folk, der synes, vi er hysteriske, men det er vores forbandede pligt at være hysteriske. ABP: Er muren ubrydelig? PLD: Der er ikke noget i verden, der er 100% sikkert, men vi har gjort os meget store anstrengelser i at gøre det usædvanlig svært at angribe det her. Vandet vil søge hen de steder, hvor det er nemt at løbe igennem, og det er IKKE server- side. ABP: Det havde jeg egentlig også forventet, du ville sige... Spørgsmål 8 31:00 Det væsentlige det er, at vi har ægte to- faktor. En en- faktor- løsning er typisk noget, man Spørgsmål 9 ved, altså brugernavn og password. En to- faktor- løsning er primært noget, man ved og noget, man har. Og der kan man diskutere en nøglefilsbaseret løsning: det er bedre end bare et brugernavn/password, men det er ikke så godt som en to- faktor, hvor det er noget fysisk, man har. Nogle kalder sådan en nøglefilsbaseret løsning for halvanden- faktor, fordi det er sådan lidt af hvert. Og det er det, der styrken i det her, at der kommer noget ekstra ind, som er uafhængigt af PC'en, som gør det noget nær umuligt at lave offline- angreb (angreb, der foregår, mens brugeren ikke er indblandet, red.), som er det, som hackerne typisk bruger idag. De går ind og stjæler tingene, lægger det ud og sælger det så til nogle andre, som så bruger de her informationer. Så de store skridt er overgangen fra halvanden til to, plus det at man skal lave online- angreb for at angribe det her. 32:40 ABP: Er der nogen specifik sikkerhedsforbedring i at bruge papkortene i forhold til andre Spørgsmål 9 mulige løsninger? PLD: Kortet er jo ikke mere sikker end diverse RSA- tokens og lignende - det er tilsvarende sikkerhed. Årsagen til, at det blev papkort, var, at vi havde testet det på mange brugere. Kan man finde ud af det, kan man forstå sikkerheden i det, kan man forstå at beskytte den del, som man skal beskytte? Og det bongede altså ud til, at et nøglekort er meget nemmere at forstå. Et godt eksempel er, at når de ser sådan en her (RSA- token, red.), så er de i tvivl om, hvordan de her seks cifre er kommet frem, og om det nu er sikkert. Og af en eller anden grund så synes de, det er mere sikkert, at tallene står på et papkort. Opfattelsen er så også, at hvis man får sådan et elektronisk device, efter man har fået et nøglekort, så har man nemmere ved at acceptere det, for det er jo bare et nøglekort, der er digitaliseret. (...) For at det overhovedet kunne lade sig gøre at rulle [NemID] ud på et halvt år, så var det nøglekortsløsningen...der var nogle produktionstekniske årsager til, at vi gjorde det på den måde. (...) Vi kommer også med sådan nogle RSA- tokens til sommer, tror jeg, ligesom vi også kommer med en OTP- device (One- Time Password, red.) som app, så man kan bruge telefonen som OTP- device. Det betyder så, at man ikke kan bruge telefonen til at gå på sin netbank, fordi så er tingene blevet samlet. Så bliver den ene faktor ligesom degenereret af det, så man må vælge, om man vil bruge sin telefon som applikation, eller om man vil bruge den som sikkerhedsdevice. 35:20 Vi kan ikke lave alting på én gang, jo det kunne vi godt, så skal vi bare vente [med lanceringen]. Så vi har valgt at lave baseline, som alle kan komme til, og alle kan komme på, og så laver vi løsningerne løbende. Og man kan så diskutere, om vi har været gode nok til at kommunikere ud, at der kommer andre løsninger også, men nu laver vi en baseline, som vi så bygger videre på. Spørgsmål Bilag P

269 35:50 Det er selvfølgelig skidt, og det er en del af den awareness- ting, som bør komme. Det er et Spørgsmål 10 40:55 helt generelt problem. Det er også et problem, at folk installerer software. Der er stadigvæk folk, der klikker.exe- filer, som de har fået som vedhæftede filer. Det er et helt generelt problem, og det er egentlig ligegyldigt, om det er vores applet eller ej, for hvis ting de er kommet ind, fordi folk tror, de har installeret en Adobe Reader, at den så måske har vores applet- funktionalitet. Det generelle problem det er awareness i befolkningen, hvordan holder jeg min platform sikker. ABP: Men man kan så ikke omvendt sige, at det i høj grad bliver jeres problem, da jeres system i høj grad tager sig af faktisk alle de personfølsomme data, som folk ligger inde me?. PLD: Fidusen er, at uanset om folk de kiggede på vores applet og de Java- advarsler, der kommer der, hvis de har fået noget skidt ind ad en anden vej, jamen så har de jo adgang til at se, hvad der måtte foregå på skærmen og interagere måske - vise folk noget andet på skærmen. Og det kan være, de har fået det gennem en exploit via et drive- by, fordi de har været på en midtjysk avis, der specifikt har haft en fejl i en bannerannonce, hvor der har været en exploit, så man har fået noget kode ned. Og det vil jo ramme generelt, ligegyldigt hvordan vi fortæller folk om advarsler fra vores applet. Det er jo generelt, at man skal holde sin platform sikker. Der kan man sige, at fordi vi har indført en to- faktor, skal du fange folk i situationen. Det er jo et våbenkapløb, og efterhånden som man når dertil, hvor de (hackere, red.) ikke kan hive de samme penge ud af folk mere, så bliver det også mere avanceret. Men det at vi har fået to- faktor gør så, at de nogle af de businessmodeller, der er i "den sorte verden", ikke fungerer mere, for det nytter ikke noget kun at sælge brugernavn/password - du skal også sælge noget, som gør, at du har onlineadgang til brugeren. ABP: Men er det noget, I gør noget aktivt for at informere brugerne om? PLD: Nets er jo med i nogle af de kampagner. Blandt andet IT- og Telestyrelsen har en kampagne, der hedder Netsikker.nu, og den er Nets også med i at bidrage til og prøve at højne awareness. (...) Men det nytter ikke noget at sige, at i vores lille applet der skal du holde øje med det her, for det er alle steder. Hvis folk installerer et eller andet, som de tror er Angry Birds til PC'er, og det så er noget andet, jamen så kan vi have lige Det er så en meget stor sikkerhed, diskussion! som Vi har vi vil, lavet men et hvis projekt, maskinen som også er totalt bliver inficeret, videreført, så er der det, hedder at vi har Spørgsmål 11 OpenOCES, så vi har nogle ting, der er open source. Vi har også nogle ting, der ikke er det, fordi vi gerne vil gøre det bøvlet. Vi ved godt, at nogle af de ting, vi producerer, vil nogle kunne decompile på et tidspunkt. Men der er nogle steder, vi gerne vil have nogle barrierer for at gøre det så surt som muligt for dem, der gerne vil gøre livet surt for vores brugere. Og så er der andre steder, hvor vi siger, jamen her betyder det ikke noget, og vi kan udnytte, at tingene er open source, så folk kan komme med gode ideer til, hvor man kunne skrue på nogle ting. Jeg er ikke religiøs i hverken den ene eller den anden lejr. Vi prøver at se lavpraktisk på det og sige "hvor kan vi udnytte, at tingene er open source" og selv udvikle open source, og hvor er der nogle steder, hvor vi gerne vil pakke det lidt ind for at gøre det surt for dem, der ikke er venner med os. (...) Vi udvikler meget selv, men der er så også noget af det, vi udvikler, som vi lægger ud som open source, og der er også noget, som vi absolut ikke nogensinde kommer til at lave som open source. 43:25 Nej. Det her det er jo lavet til, at det skal ud til alle. Og der er mange af dem, som det skal ud Spørgsmål 12 til, som ikke skelner mellem store og små bogstaver. Helt konkret kan jeg sige, at da jeg fortalte min mor om det her NemID- projekt, og det er den samme digitale signatur, der skal bruges (meget populært sagt) både til banken og til SKAT. Det kunne hun ikke forstå, det gør hun jo allerede. Så siger jeg: "det ved jeg med sikkerhed, at du ikke gør", og så siger hun jo jo, det gjorde hun. Det eneste, hun skulle huske på, det var, at når hun loggede ind på SKAT, så skulle nogle af bogstaverne være med stort, og nu havde hun vænnet sig til, hvad det var for nogle. Hun kunne ikke huske, at hun selv havde valgt det password, og hvilke bogstaver der skulle være store eller små. Det vi har kigget på, det er, hvad er den samlede passwordsikkerhed for brugeren. Dels så skal der være de her seks bogstaver og tal i deres password, og så er der OTP- værdien, som består af seks decimalcifre. Og hvis der er nogen, der gerne vil bruge den sikkerhed, der ligger i at bruge store og små bogstaver, så kan de opnå den samme sikkerhed ved typisk at lægge et eller to tegn mere på. Så vil de faktisk få samme entropi. Så værre er det ikke, men samlet set så er den samlede sikkerhed og entropi væsentlig større, og så er den en stor forskel i den gamle signatur, og den vi har nu. I den gamle signatur er der en nøglefil, hvor du kunne lave brute- force. I den løsning, vi har lavet nu, bliver der lukket efter fem forsøg.det, man egentlig skulle sammenligne det med, det er Dankortet. Der har du fire tal. 264 Bilag P

270 ABP: Skelner systemet heller ikke? PLD: Nej, hvis du taster store eller små bogstaver, så Spørgsmål 12 lowercaser vi det hele. Og det er simpelthen fordi, en stor del af befolkningen ikke skelner mellem store og små bogstaver. ABP: Men igen - det virker på dem, som ved noget om passwords, som en svækkelse af sikkerheden, så jeg undrer mig over, hvorfor I har valgt at skrive specifikt, at der ikke skelnes mellem store og små bogstaver, når I nu alligevel bare skriver "bogstaver og tal", så folk selv kunne vælge, om de ville have lowercase hele vejen. PLD: Det er netop fordi, vi lowercaser det hele. ABP: Og hvorfor er det, I gør det? PLD: Jamen det er fordi, folk de glemmer, at de har lavet et af bogstaverne med stort. ABP: Så det er af hensyn til brugeren? PLD: Det er af brugerhensyn, ja. Og så en samlet sikkerhedsvurdering der siger, at vi har alligevel brute- force (- sikring, red.) på, så det er altså væsentlig nemmere at angribe et kreditkort for eksempel, end det ville være at angribe det her system med brute- force. (...) Hvis du ser på det samlet set, så har du en voldsomt meget højere entropi, end du har på mange andre systemer, hvor du for eksempel kræver, at det skal være store og små bogstaver og otte tegn. Her der har vi faktisk 12 tegn, og så ved jeg godt, at de seks af dem det er cifre, men der er faktisk relativt meget entropi på. ABP: Hvis du blander faktorerne sammen, ja, men hvis du holder faktorerne adskilt, så er man nødt til at kigge isoleret på passwordet. PLD: Ja, og der vil du kunne opnå samme sikkerhed ved typisk at lægge et eller to tegn ekstra på. ABP: Men det er så ikke noget, brugerne ved, kan man sige? PLD: Nej. Men det er jo også derfor vi skriver, at vi ikke skelner, så brugerne de er klar over, at entropien er ikke stærkere, end at vi ikke skelner mellem store og små bogstaver, så nej. Hvis vi ikke skrev det, så kunne nogle blive narret ved at tro, at vi havde en entropi på en vis størrelse. ABP: Men det er jo så fordi, I har valgt at lowercase passwordet. Det ved brugeren jo heller ikke, at I gør. PLD: Det er af brugerhensyn, da der en stor del, der ikke skelner, og ikke kan huske, at de har valgt nogle af bogstaverne med stort. 49:30 Når der kommer en ny løsning, som er national, så er det ikke fedt at skrive noget om, at det Spørgsmål 13 er sikkert. Jeg hørte engang en journalist skrive, at det er ikke fedt at skrive en historie om en hund, der bider en mand. Det er meget federe, hvis man har en historie om en mand, der bider en hund. Og det er nogle af mekanismerne, der kommer ind. Det er fedt journalistisk set at koble ting til sådan en stor ny infrastruktur og diskutere sikkerheden i den. Nogle af historierne har jo intet med NemID at gøre. En lang debat var det med, at når man var inde på en tjenesteudbyder og loggede ud, hvorvidt man så var logget ud eller ej. F.eks. i browseren, hvis du laver flere faneblade og logger dig ind et eller andet sted, og du laver flere faneblade, og så du lukker et faneblad ned. Så er browserens natur, at så holder den jo stadig sessionen, hvis du har flere faneblade. (...) Det var en af de historier, der blev kædet sammen med NemID, og det har jo principielt ikke noget med NemID at gøre. NemID har jo sluppet for lang tid siden på det tidspunkt, og det var uanset om de havde logget ind med en hvilken som helst løsning, så er det jo sådan, browseren er bygget. Men historien bliver jo kun god, hvis man kan kæde det med NemID, som er en stor infrastruktur, som berører tre millioner af Danmarks befolkning. 52:25 Vi er jo bare en single- password løsning, vi er ikke en single- signon- løsning. Man har et sæt Spørgsmål 13 akkreditiver, man bruger. Men når man går ind i banken eller ind på SKAT, så skal man logge ind, men det offentlige har lavet deres NemLog- In, som er en single- signon. Så er du logget ind gennem NemLog- In, så er du logget ind til det offentlige. ABP: Men det vil uvægerligt blive kædet sammen med NemID. PLD: Ja, det er nogle af de udfordringer, vi står med. ABP: Men det er jo ikke nødvendigvis en dårlig ting? PLD: Nej nej, der er nogle, der vil synes, det er en facilitet, der er dødspændende. Vi har også brugere, der skidesure over, at når de er logget ind i banken, hvorfor de så skal logge ind igen, når de skal ind på SKAT. 54:00 ABP: I har jo heller ikke kommunikeret så meget ud, at det er adskilte systemer. Ligesom hvis Spørgsmål 13 man er logget ind på både banken og SKAT og derefter skal ind på nemid.nu og lave nogle ændringer, så skal man faktisk i gang med et tredje login. Så der er ikke så mange, der rent faktisk forstår de her faktisk tre systemer. PLD: Nej, der er mange komplekse problemstillinger i det her, og man skal nok vælge, hvad det er, man vil kommunikere ud. Der er også mange, der har bestilt NemID, og det ikke har virket på deres netbank, og der har det været en vigtig del af kommunikationsstrategien at sige "bare vent, du får det via din bank". Hos Danske Bank, der har de af deres brugere selv henvendt sig og spurgt "kan vi ikke godt få lov til at få det nu". Jeg er ikke kommunikationsmand, men det er noget med at vælge, hvilke budskaber, man vil have ud for at få så mange igennem på den lette måde. Og hvis man bombarderer med for mange budskaber, så drukner det hele. Det vil sikkert komme i steps, men det er der nogle kommunikationsfolk, der er meget bedre til at finde ud af. Jeg er bare en sølle tekniker Bilag P

271 55:25 ABP: Hvor lang tid tror du, der går, før NemID kan kaldes en fuldblodssucces? PLD: Det ER for mig at se en fuldblodet succes. Altså vi har rullet en infrastruktur ud på et halvt år, hvor de undersøgelser, vi har lavet, IT- og Telestyrelsen har lavet, Danske Bank har også lavet en undersøgelse, viser, at langt hovedparten af brugerne er enten meget tilfredse eller tilfredse med denne her løsning. Tendensen er, at jo længere tid man har haft det, hvor man kan se synergieffekterne af, at man kan gå ind flere forskellige steder med den samme løsning, jo bedre. Så det er for mig at se en succes, hvor vi har rullet en løsning ud, som i store træk fungerer - vi har haft nogle driftsnedbrud i forbindelse med udrulningen her. Vi har haft nogle fejl, som jeg meget meget gerne ville have været foruden omkring forsendelse af PIN- breve og midlertidige adgangskoder. Men bortset fra det så har vi en infrastruktur, som faktisk er rimelig stabil og er accepteret af langt hovedparten af de brugere, der har fået det her, mere eller mindre uden at de har valgt det selv. Vi har folk, der kommer fra Japan for at se, hvad det her det er for noget og er vildt begejstrede over, at vi har kunnet lave det her. Afrunding 266 Bilag P

272 Bilag Q. Userminds testrapport for DanIDs Java-applet (udleveret ved aktindsigt) 267 Bilag Q

273 Testrapport Til Creuna og DanID Userminds 8. juni, 2009 Testrapporten er udarbejdet af: Claus Dan Pedersen, Trine Holst Gennemførelse af prototype test af NemIDs logon applet Kontakt: Tlf.: Version 1 Indhold Summary in English Indledning Testen Testdeltagere Testrapporten Konklusion Forbehold Generelle forbehold for tænke-højt test Specifikke forbehold for denne tænke-højt test Testresultater Overordnede resultater og problematikker Navigation og IA Design Sprog og indhold Koncept Testresultater relateret til specifikke opgaver/områder Oprettelse af NemID Oprettelse af adgangskode Oprettelse af brugernavn Tilknytning af digital signatur til NemID Logon med adgangskode og brugernavn Logon med nøgle, spærring Aktivering af nyt nøglekort Signering ifm. overførsel (Et-faktor signering) Signering ifm. ændring af NemKonto (To-faktor signering) Trykt materiale Bilag 1 Spørgeramme - Test af DanIDs logon applet Bilag 2 Screener til rekruttering Side 1 / Bilag Q

274 Summary in English In general the participants find it very easy to complete the given tasks. Furthermore the participants are pleased with the design which they find simple and to-the-point. The biggest challenges that should be addressed are: Several participants do not fully understand the NemID concept e.g. the relationship between digital signature/digital signing and NemID. Some participants are dissatisfied with having to use a keycard they do not understand the benefits and/or do not find that the benefits outweigh the con s of having a keycard. Some participants further believe that the introduction of keycards also introduce new security risks. 1 Indledning I forbindelse med lanceringen af afløseren for digital signatur, NemID, er der blevet gennemført en brugervenlighedstest af den nye logon applet, der skal tilknyttes NemID. Med brugervenlighedstest forstås en klassisk tænke-højt test, hvor deltagerne har testet en næsten færdig html-løsning. Brugertestene har grundlæggende haft til formål at afdække, om løsningen ift. brugervenlighed, struktur, navigation, navngivning, design og indhold lever op til målgruppernes behov og forventninger. Brugertestene udgør dermed et udgangspunkt for den videre optimering af logon appletten inden lancering. 1.1 Testen Der er foretaget 22 test. Hvert testforløb indledes med et interview, hvor bl.a. deltagerens baggrund for at deltage i testen, og hvor deltagerens viden om den nuværende digitale signatur og holdninger til nuværende netbankløsninger kort afdækkes. Selve testen er gennemført som en tænke-højt test, hvor der er afsat 1 ½ time pr. deltager. En testleder beder deltageren om at fortælle, hvad han/hun tænker under løsningen af prædefinerede opgaver. De gennemførte brugertest har konkret fokuseret på områderne: Bank og forvaltning o Oprettelse af NemID o Oprettelse af adgangskode o Oprettelse af brugernavn o Tilknytning af digital signatur til NemID o Logon med adgangskode og brugernavn o Logon med nøgle o Logon med nøgle, spærring Side 2 / Bilag Q

275 o Aktivering af nyt nøglekort o Signering ifm. overførsel (Et-faktor) o Signering ifm. ændring af NemKonto (To-faktor) Trykt materiale Hver test afsluttes med et kort interview, hvor deltageren får mulighed for at komme med uddybende kommentarer til prototypen. Undervejs noterer en logger, det som deltageren siger og gør, samtidig med at hver test (skærmbillede og samtale) optages som avi-fil Testdeltagere Prototypen blev testet på 22 testdeltagere, med følgende profiler: Deltager Profil Alder IKT* Prøvet DS Netbank(er) Har gennemført forvaltningsflow Claus Hospitalsportør 42 Over Nej Carsten Kontorchef 41 Middel Ja Karin Freelance 46 Middel Ja Ernst Arbejdsløs 57 Under Nej Peter Salgskoordinator 32 Middel Ja Stine Lagerarbejder 25 Under Ja Har gennemført bankflow Allan Økonomisk konsulent 33 Over Ja Helle Produktchef 33 Middel Nej Hernan Tandlæge 26 Over Ja Hans Arkitekt 43 Over Ja Winnie SoSu 54 Middel Ja Annica Sygeplejerske 30 Under Nej Mette Praktik som fotograf 45 Under Nej Tommy Kommunalansat 30 Over Ja Anders (1) Fuldmægtig 34 Over Nej Trine Distributionsplanlægger 36 Middel Ja Grete Selvstændig 39 Under Ja Eva Ledig 39 Middel Ja Anders (2) Miljøtekniker 36 Middel Nej Britta Pædagogmedhjælper 54 Under Nej Anna Maria Arkitekt 59 Middel Nej Ida Kriminalassistent 45 Under Nej Side 3 / Bilag Q

276 Tabel 1 - Oversigt over deltagere * IKT-niveau er fastsat ud fra besvarelser ift. kriterier fastlagt i screener ved rekruttering. IKTniveau er anvendt som det primære kriterium for udvælgelse af testdeltagere ift. de opsatte spredningskrav. Den godkendte screener brugt til rekruttering er vedlagt som bilag 2. Løsningen er testet i FireFox. Løsningen er testet på en 20 tommer skærm ved skærmopløsningen 1680X1050 (og sekundært 1024x768). 1.2 Testrapporten Testrapporten henvender sig til personer involveret i udviklingen og evalueringen af NemID. Testrapporten indeholder testresultater baseret på testleders og loggers observationer/notater gennem de 22 testforløb samt efterfølgende analyser. Side 4 / Bilag Q

277 2 Konklusion Overordnet har deltagerne let ved at gennemføre de givne opgaver. Deltagerne er desuden glade for designet, som de finder simpelt og to-the-point. Generelt er løsningen simpel, det fungerer. Det ville være nemmere, hvis der ikke var så mange koder, ikke så mange muligheder. - Hernan, over middel, bank Det er en smule mere omstændigt pga. nøglekort. Men også mere sikkert. En sikkerhedsfaktor, der gør én interesseret i det. Men måske er man irriteret de første gange. Derefter bliver det en vane. Jeg ville helt klart vælge den her løsning. Godt at man kan flytte penge fra hvilken som helst computer! - Anders (2), middel, bank De primære udfordringer, som bør adresseres er: Flere deltagere forstår ikke konceptet for NemID fuldt ud Fx relationen mellem digital signatur/digital signering og NemID En del deltagere er utilfredse med at skulle benytte et nøglekort. De finder ikke, at fordelene ved nøglekortet opvejer ulemperne. Muligvis fordi fordelene ikke forstås/ikke er tydelige for flere deltagere. Ligeledes er flere deltagere usikre på ulemperne ved nøglekort. Fx har de forventning om, at brugen af nøglekort gør den samlede løsning mere usikker. 3 Forbehold 3.1 Generelle forbehold for tænke-højt test Kunstig situation: Deltagerne placeres i en kunstig situation, som er anderledes end den brugssituation, de normalt vil befinde sig i, når de på egen hånd skal benytte den endelige hjemmeside. Det kan betyde, at de fx er mere nervøse end normalt, at de læser mindre/mere tekst end normalt, eller at de ikke har den hjælp til rådighed (fx familie/venner), som de typisk ville have. Førstehåndsindtryk: Deltagerne har ikke på forhånd haft lejlighed til at stifte bekendtskab med systemet. Det vil derfor udelukkende være deres førstehåndsindtryk af systemet, som undersøges. Det må forventes, at deltagerne på sigt vil få større kendskab til og forståelse for systemet og derfor vil få lettere ved at løse de givne opgaver. Omvendt kan deltagerne på sigt også opdage problematikker, som ikke blev belyst ved testen. 3.2 Specifikke forbehold for denne tænke-højt test Manglende information: Logon appletten er blot er én af flere informationskanaler, fx information fra samarbejdspartnere, mulige informationskampagner m.m. Side 5 / Bilag Q

278 I testen havde deltagerne kun adgang til informationen omkring NemID fra logon appletten og nøglekort-brev (forvaltningsflow-deltagerne havde også adgang til et introduktionsbrev samt brevet med den midlertidige adgangskode), og derfor fik deltagerne ikke den fulde information om, hvad NemID er, hvem der står bag løsningen, hvad NemID kan bruges til og hvordan NemID bruges. Det er Userminds vurdering, at deltagerne her har været stillet ringere, end hvis de havde benyttet den færdige løsning i den tiltænkte kontekst. Prototype: Userminds testede to prototyper (forvaltnings- og bankflow). Med prototype menes der, at der var tale om endnu ufærdige versioner af den endelige løsning. Det betyder, at det ikke var alt indhold eller funktionalitet, der var til stede ved testens gennemførsel. Det betyder ligeledes, at deltagerne til tider oplevede systemfejl, som de ikke ville have oplevet ved brug af den færdige løsning. Da Userminds ikke har et samlet overblik over prototypehistorikken og for at sikre, at alle problemstillinger bliver belyst, har vi valgt at tage alle fundne fejl med. Det er ikke Userminds opfattelse, at prototypens mangler og fejl generede deltagerne i en sådan grad, at de ikke kunne forholde sig til systemet. Side 6 / Bilag Q

279 4 Testresultater I det efterfølgende gennemgås de identificerede resultater og problematikker i detaljer. For hver problematik angives følgende: ID: Nummerering af problem & emne Kategori: Kategorisering af problem. Se tabel 1 Beskrivelse: Anbefaling: En kort beskrivelse af problematikken Anbefaling til løsning af problemet Testresultaterne er klassificeret efter nedenstående oversigt defineret af Userminds: Nr. Kategorisering Beskrivelse 4 Alvorligt brugervenlighedsproblem 3 Forstyrrende brugervenlighedsproblem Problem af så alvorlig karakter, at det gør det svært eller direkte umuligt at gennemføre opgaven. Brugeren må eksempelvis have hjælp fra andre for at komme videre. Problem der indebærer, at brugeren anvender uforholdsmæssigt megen tid på at løse en opgave. 2 Kosmetisk problem Problemer der ikke har større betydning for brugervenligheden, men som dog generer det generelle indtryk af brugergrænsefladen. 1 God idé Et brugerforslag, der kan forbedre brugergrænsefladens brugervenlighed. Tabel 1 - Oversigt over problem-kategoriseringer Userminds har valgt at kategorisere problemstillingerne, da det dermed vil være lettere for interessenterne at fokusere på de alvorligste problemer. Nr. Kategorisering Antal identificerede problematikker 4 Alvorligt brugervenlighedsproblem 3 Forstyrrende brugervenlighedsproblem ID: 7 Overordnede koncept uklart ID: 8 Utilfredshed med at skulle benytte et nøglekort ID: 11 Flow ved Nej til modtagelse af nøglekort er forkert ID: 34 Hvad er Bruger-id? ID: 41 Hjælpen opdages ikke, da flere deltagerne stopper efter 2 forsøg ID: 55 Nøglekort er perforeret imellem de enkelte sektioner ID: 56 En deltager vil skrive adgangskode og bruger-id på nøglekortet ID: 4 Digital signatur / digital signering ID: 9 Modstridende information mht. modtagelse af brev og nøglekort forvirrer ID: 13 Konceptuel misforståelse prædefineret eller selvvalgt adgangskode? Side 7 / Bilag Q

280 ID: 14 Forkert fejlbesked ifm. brug af æøå ID: 15 Modstridende og fejlagtige oplysninger ID: 17 Der skelnes tilsyneladende mellem store og små bogstaver ID: 19 Mange begreber kan skabe forvirring ID: 20 Oprettelse af selvvalgt brugernavn opfattes som obligatorisk ID: 21 Inkonsistent angivelse af regler ID: 22 Inkonsistent regel / fejl i prototyper ID: 25 Forslag til alternative brugernavne er ikke altid gyldige ID: 26 Usikkerhed ift. sammenhængen mellem NemID og digital signatur ID: 27 Teksten under Accepter vilkår er uforståelig ID: 30 Besked ved forsøg på logon uden tilknyttet digital signatur er vanskelig at forstå ID: 32 Dybe links efterspørges ID: 35 Hjælpeikonet overses ID: 36 Teksten i hjælpeboksen Hjælp til bruger-id er ikke tydelig ID: 39 Brugerne modtager ingen hjælp, hvis de har glemt deres adgangskode ID: 43 Fejlmeddelelse dækker for logon appletten ID: 45 Teksten og linket under Log på knappen bemærkes ikke. ID: 48 Begrebsforvirring på signeringsside ID: 50 Nøglekort flosser ved fjernelse fra brev ID: 52 Nøglekortnummeret i appletten har ikke samme formel som det trykte nøglekort. ID: 53 Nøgler kan være svære at læse for dårligt seende 2 Kosmetisk problem ID: 1 Tabulator-funktionalitet fungerer ikke optimalt ID: 2 Cursoren placeres ikke automatisk i det første indtastningsfelt ID: 3 Link i tekst er inaktivt ID: 5 Orddeling skal rettes til (vilkår) ID: 6 Ingen information om supports åbningstider ID: 10 Upræcis information kan forvirre ID: 16 Markering af tekst fejler ved træk af cursor ID: 18 Primære informationer præsenteres sekundært ID: 23 Radioknap Ja, opret brugernavn nu markeres ikke automatisk ID: 24 specialtegn kan ikke benyttes ID: 28 Tilknytning af digital signatur til NemID fremgår ikke af bekræftelsen ID: 29 Det fremstår ikke som et krav, at brugerne skal indtaste nøgle fra nøglekort ID: 31 Betydning af Ok knap uklar ID: 33 Valg af indgang til at logge på ID: 37 Hjælpeboksene Hjælp til bruger-id og Hjælp til adgangskode lægger sig oven i hinanden. ID: 38 Fejlmeddelelse er misvisende ID: 42 Opsætningen af hjælpen kan optimeres ID: 44 Der efterlyses informationer om supportmuligheder ID: 46 Tag nyt nøglekort i brug - side dækker for appletten Side 8 / Bilag Q

281 ID: 47 Teksten i Hjælp til adgangskode hjælpeboksen er misvisnede ID: 49 Midlertidig adgangskode er svær at få adgang til ID: 51 Fremgår ikke klart, at nøglekortet kan fjernes fra brevet ID: 54 Baggrundsfarver opfordrer til vertikal læsning af nøglekort 1 God idé ID: 12 Det fremgår ikke klart, at bekræftsiden kun vises én gang ID: 40 Opsætning af tekst i hjælpeboksen Hjælp til nøgle kan optimeres Tabel 2 - Oversigt over antal identificerede problematikker Side 9 / Bilag Q

282 4.1 Overordnede resultater og problematikker Navigation og IA Deltagerne har generelt let ved at orientere sig i løsningen. De forstår at anvende de tilbudte navigationsmuligheder, og løser typisk hurtigt de givne opgaver. Dette gælder både for bank- og forvaltningsflows. Jeg har ikke haft svært ved at overskue det eller komme igennem. Nemt. - Anders (2), middel, bank ID: 1 Tabulator-funktionalitet fungerer ikke optimalt Kategori: 2 Beskrivelse: Mange deltagere opdager ikke, at de ved brugen af tabulator ikke blot springer fra indtastningsfelt til indtastningsfelt, men også markerer hjælpe-bokse. Dette betyder i praksis, at deltagerne forsøger at skrive tekst, mens de har hjælpebokse markeret. [Tabulerer til hjælp i stedet for indtastningsfelt] Vil det være muligt, at den går til næste felt i stedet for at spørgsmålstegnet? - Tommy, over middel, bank Ved tab bør den springe ned til næste felt og ikke herover [til spørgsmålstegn] Hernan, over middel, bank Anbefaling: Ændre tabulator-rækkefølgen, så den fx bliver indtastningsfelt, indtastningsfelt, knap, hjælp, hjælp. ID: 2 Cursoren placeres ikke automatisk i det første indtastningsfelt Kategori: 2 Beskrivelse: Det irriterer, at cursoren ikke automatisk placeres i indtastningsfeltet. Deltagernes opmærksomhed er rettet mod det udleverede trykte materiale eller tastaturet, og mange når fx at taste hele deres bruger-id ind inden de opdager, at appletten ikke har registeret indtastningen. Eksempel på manglende cursor i indtastningsfelt Det ville være nemmere hvis cursoren stod i feltet i forvejen Anna Maria, middel, bank Jeg skriver ikke en skid? Nu skal man til at skrive det igen, det er lige til at blive langhåret af. Annica, under middel, bank Side 10 / Bilag Q

283 Anbefaling: Sørg for at cursoren automatisk står i det første indtastningsfelt, når brugeren kommer til en ny side i appletten. ID: 3 Link i tekst er inaktivt Kategori: 2 Beskrivelse: Flere deltagere kommenterer, at man ikke kan klikke på i teksten. De havde forventet, at der var tale om et aktivt link. Tekstlink ikke aktivt Der kunne lige så godt være et link. - Anders (2), middel, bank Anbefaling: Gør links i teksten aktive (som eksterne links) Design Designet modtages overordnet meget positivt af deltagerne. Deltagerne er glade for det simple layout, som fokuserer på opgaveløsning, og som ikke forstyrrer oplevelsen af den side, som appletten ligger ovenpå. Pæne farver. God tekst, ikke for meget. Rimeligt konsistent. Ganske fornuftigt. Kan godt lide det enkelt. Ser klassisk ud. - Claus, over middel, forvaltning Det er ok. Der er den information, man har brug for. Det er ok. Rimelig overskueligt. - Ernst, under middel, forvaltning Fint design. God løsning, rigtig god løsning. - Peter, middel, forvaltning Fungerer rigtig godt. Mega fokus på, hvad det drejede sig om. - Hernan, over middel, bank Designet er fint, enkelt, diskret. - Annica, under middel, bank Kan godt lide, at det er simpelt. Simpelt og ligetil. - Tommy, over middel, bank Fint. Opbygget klassisk. Logisk. Hurtigt at finde ud af. - Grete, under middel, bank Side 11 / Bilag Q

284 4.1.3 Sprog og indhold Deltagerne kommenterer generelt ikke på det anvendte sprogbrug og lader ikke til at have problemer hermed. Dog volder vilkårsbeskrivelserne problemer. Indholdsmæssigt skal der arbejdes på forklaringen af konceptet og fx sammenhængen mellem NemID og digital signatur. [Om informationer] Fint. Kan benytte hjælpen hvis jeg er i tvivl. Der skal ikke stå for meget, det forvirrer. - Annica, under middel, bank Man bliver guidet godt igennem. På nær ved de 2 login-muligheder. Men ellers guidet godt og gode beskrivelser hele vejen igennem. - Tommy, over middel, bank Jeg har ikke manglet info [ud over konceptmæssig info omkring årsagen til nøglekort]. Hurtigt, nemt, overskueligt. Intet irrelevant. - Grete, under middel, bank ID: 4 Digital signatur / digital signering Kategori: 3 Beskrivelse: Flere steder i appletten bruges begrebet digital signatur, hvilket forvirrer, da deltagerne forventer at NemID er afløseren for digital signatur, og derfor ikke forstå hvorfor den gamle digitale signatur skal benyttes. Eksempel på hvordan begrebet digital signatur benyttes i forbindelse med NemID Anbefaling: Undgå at bruge begrebet digital signatur og andre begreber, der minder om det, da det forvirrer brugerne, og giver en forventning om, at den nye NemID ikke er en erstatning for digital signatur, men en udvidelse af den. ID: 5 Orddeling skal rettes til (vilkår) Kategori: 2 Beskrivelse: Orddelingen ifm. vilkår er mangelfuld, og bør rettes for fejl. Fx uauto-riseret. Side 12 / Bilag Q

285 Eksempel på mangelfuld orddeling i vilkår Anbefaling: Ret orddeling. ID: 6 Ingen information om supports åbningstider Kategori: 2 Beskrivelse: Flere deltagere påpeger, at supports åbningstider ikke fremgår af logon appletten. Man kunne skrive åbningstider her [i applet]. - Tommy, over middel, bank Anbefaling: Skriv åbningstider. Det bør ligeledes overvejes, om der kan opstå situationer, hvor brugerne har akut behov for hjælp uden for support åbningstid. Hvad gør man i så fald? Koncept Userminds ser ud fra et brugsperspektiv de to største udfordringer for en succesfuld lancering af løsningen som værende: 1. At forklare konceptet for løsningen for de potentielle brugere. 2. At forklare fordelene ved løsningen, herunder fordele ved brug af nøglekortet, for de potentielle brugere. Det skal dog understreges at de flest deltagere bliver mere positive overfor NemID konceptet i løbet af testen, da de ved brug af logon appletten får en forståelse for NemID-løsningen. Ydermere ser de få deltagere, som også er erhvervskunder, ikke umiddelbart nogen erhvervsrelateret problematik ved den foreslåede løsning. Det er allerede blevet nemmere Anna Maria, middel, bank Overordnet God ide. Fint at samle kode til det hele. - Annica, under middel, bank Jeg håber, det afløser det andet. Ikke et supplement [til nuværende digitale signatur]. Så forsvinder effekten. Jeg ville anskaffe et NemID! Hvis flere ting knyttes til NemID, så er det en pragtfuld ide. - Tommy, over middel, bank Rimeligt logisk med de nøgler. Hvis det giver mere sikkerhed, så er det positivt. Jeg kan ikke sige, om det er mere sikkert. [ ] Jeg får ikke nogen information om, hvorfor det skulle være så smart med nøglekort. [ ] Der står kun, af sikkerhedshenseende skal man Side 13 / Bilag Q

286 bruge det. Men ikke hvorfor. [ ] Jeg foretrækker det her, hvis jeg kan få én kode til det hele [DS og netbank]. - Grete, under middel, bank Så skal jeg have nøglekort igen. Det er besværligt. Men det kan være, det er mere sikkert? Det ved jeg ikke. Men så ville jeg tage besværet med. Anna Maria, middel, bank Det her [nøglekort] kan ligge frit fremme på køkkenbordet. Det kan ikke misbruges. 100 % anonymt. - Ernst, under middel, forvaltning [Nøglekortet] er godt som ekstra sikkerhed, hvis det ikke er en fast computer du bruger. Biblioteket. Jeg har selv 2 computere og min kæreste har også en. Hvis man kun har adgang til offentlige computer, så kunne det være smart. Ernst, under middel, forvaltning ID: 7 Overordnede koncept uklart Kategori: 4 Beskrivelse: Det kommer flere steder til udtryk, at deltagerne er usikre på det overordnede koncept. Fx i forhold til sammenhængen mellem digital signatur og NemID og i forhold til formålet med nøglekort. Nu har jeg fået digital signatur, men jeg er i tvivl om, hvad den er? Gad vide, hvad min digitale signatur [som han har tilknyttet til NemID] er? - Anders (2), middel, bank Anbefaling: Det er essentielt, at brugerne forstår konceptet for NemID. Forståelsen kan i høj grad hjælpes på vej, ved at satse helhjertet på det nye NemID i stedet for et miks af NemID og digital signatur. Dvs. løsningen simplificeres. Præsentationen af NemID konceptet bør både ske i forbindelse med logon appletten, på NemID.dk, via udleveret materiale såsom breve og ikke mindst ved at NemIDs samarbejdspartnere præsenterer NemID for deres brugere. ID: 8 Utilfredshed med at skulle benytte et nøglekort Kategori: 4 Beskrivelse: Flere deltagere udtrykker utilfredshed med at skulle benytte et nøglekort. De ser det som en unødvendig byrde i forhold til deres nuværende netbankløsninger og digitale signatur. Deltagerne er desuden bekymrede for de problematikker, som relaterer sig til, at de mister deres nøglekort. Både i forhold til gener dette medfører og i forhold til sikkerhedsrisici. Det er ikke alle, som forstår fordelene ved at have et nøglekort. Jeg ville hellere have haft 1 bruger-id end at have dette [nøglekortet] i tegnebogen. [ ] Der ville jeg være pissed, hvis jeg havde mistet papiret [nøglekort]. [Skal indtaste nøgle igen] Nå, ok. Så skal jeg finde nøglekort igen. Der kom der et irritationsmoment ind over. [ ] Man skal lige vænne sig til nøglekortet. Men det er en fordel, at it-kriminelle ikke kan snuse sig frem til koden. [ ] Jeg ville nok acceptere det. Det var for sikkerheden. - Claus, over middel, forvaltning Side 14 / Bilag Q

287 Så har vi balladen. Så skal jeg bruge den her igen [nøglekort]. Det synes jeg ikke er smart. Hvorfor skal jeg det? Jeg er registret. [ ] Så skal den ligge ved siden af computeren, og så har vi kaffe, te, is, smøger [bliver ødelagt]. [ ] Det virker simpelt, bortset fra nøglen, som jeg finder unødvendig. Det burde ikke være nødvendigt som fast bruger på pc en. Det giver sikkerhed, men er for omstændigt. - Ernst, under middel, forvaltning Den her er en unik id, sikkerhed [nøglekort]. Det er smart, genialt. Det brugte jeg allerede i Norge, da jeg boede der. [ ] Kan godt virke bøvlet, men rart med den sikkerhed. Det var det, jeg manglede i min netbank i dag. - Peter, middel, forvaltning Så skal jeg bruge en ny nøgle? Det forstår jeg ikke. Jeg troede ikke, det [nøglekort] skulle bruges mere end én gang. Besværligt. [ ] Det var nemt nok at logge ind, bare besværligt at rende rundt med det her. Men det er en ekstra sikkerhed. - Annica, under middel, bank Jeg plejer bare at skrive password. Men det her er mere sikkert. Jeg vil dog foretrække min nuværende løsning. Gider ikke bøvle [og mener ikke, han har behov for sikkerheden]. Pludselig smider man nøglekortet væk. Det gider jeg ikke. Men god ide at føle sig sikker. - Tommy, over middel, bank Skal jeg gemme det her [nøglekort]? Skal jeg altid taste herfra? Så er det ikke så brugervenligt. Irriterende. Det er en fordel, at det er sikkert, men så kan man måske smide det væk Men den kan prikkes ud og foldes. Smart. Man kan måske logge på fra hvilken som helst computer? Der er på sin vis meget smart! [ ] Der er ikke den store forskel. Kun den der nøgle igen, som jeg ikke rigtig ved, hvad jeg skal synes om. Gør det lidt mere besværligt, men måske bare en vane, når jeg har vænnet mig til det. - Trine, middel, bank Jeg kan risikere at få brug for nøglekortet senere. Jeg er lidt i tvivl, om jeg skal oprette det her på hver computer, eller om jeg er oprettet på alle. Jeg vil ikke rende rundt med det [nøglekortet] i pungen. Der er så meget andet. [Hvis man frit kan benytte andre computere pga. nøglekort] Så vil det være bedre. Motiverer mig til at tage nøglekortet med. - Grete, under middel, bank Anbefaling: Konceptet og ikke mindst fordelene ved at have et nøglekort frem for en ren digital løsning bør præsenteres tydeligt for de potentielle brugere. Det er essentielt, at potentielle brugere tager konceptet og herunder nøglekortet til sig eller i det mindste forstår, hvorfor den nuværende løsning er valgt. Side 15 / Bilag Q

288 4.2 Testresultater relateret til specifikke opgaver/områder Bank og forvaltning o Oprettelse af adgangskode o Oprettelse af brugernavn o Tilknytning af digital signatur til NemID o Logon med adgangskode og brugernavn o Logon med nøgle o Logon med nøgle, spærring o Aktivering af nyt nøglekort o Signering ifm. overførsel (Et-faktor) o Signering ifm. ændring af NemKonto (To-faktor) Trykt materiale Oprettelse af NemID Deltagerne har generelt nemt ved at oprette NemID. Det var OK. Det virkede meget logisk. Først kode, så bruger-id og så tjek [nøgle]. Jeg fandt lynhurtigt ud af, hvad det gik ud på. Det tog ikke mange sekunder. - Claus, over middel, forvaltning [Ser hjælp] Det er meget pædagogisk, logisk. Jeg ville ikke være i tvivl om, hvad jeg skal indtaste. - Hernan, over middel, bank ID: 9 Modstridende information mht. modtagelse af brev og nøglekort forvirrer Kategori: 3 Beskrivelse: Informationen er tvedelt. Det kan forvirre, at man spørges, om man har modtaget brev og nøglekort, og samtidig får at vide, at der går et par dage, inden man modtager brev og nøglekort. Modstridende informationer forvirrer Der går et par dage, inden du modtager brev og nøglekort? Det er noget vrøvl. Jeg har lige valg, at jeg har modtaget det! - Anna Maria, middel, bank Anbefaling: Teksten Der går et par dage bør kun vises, hvis deltageren vælger Nej, jeg har ikke modtaget brev og nøglekort. Side 16 / Bilag Q

289 ID: 10 Upræcis information kan forvirre Kategori: 2 Beskrivelse: Det er upræcist, at der ved logon på netbanken står modtaget brev OG nøglekort. Det kan foranledige brugeren til at tro, at der er tale om to forskellige forsendelser, mens det i realiteten er en og samme forsendelse. Anbefaling: Omformuler teksten til modtaget brev MED et nøglekort. ID: 11 Flow ved Nej til modtagelse af nøglekort er forkert Kategori: 4 Beskrivelse: Ved besvarelsen Nej, jeg har ikke modtaget brev og nøglekort, afkræves brugeren alligevel en nøgle, for at logge ind. Der er givetvis tale om en prototypefejl. Der kræves nøgle selvom brugeren ikke har modtaget et nøglekort Anbefaling: Ret flow, så brugeren ikke afkræves nøgle, hvis han ikke har modtaget et nøglekort. ID: 12 Det fremgår ikke klart, at bekræftsiden kun vises én gang Kategori: 1 Beskrivelse: Om end flere deltagere opfatter det som en besked, der kun vises én gang, fremgår dette ikke tydeligt af bekræftsiden. Side 17 / Bilag Q

290 Bekræftelsessider Den ville jeg læse første gang, og så gå videre. Allan, over middel, bank Anbefaling: Tilføj teksten klar til brug for første gang Oprettelse af adgangskode Deltagerne formår generelt hurtigt at oprette en adgangskode. Deltagerne sætter pris på og har gavn af den givne hjælp. Det er dog ikke umiddelbart klart for flere deltagere, at der er tale om en selvvalgt adgangskode. Disse deltagere leder efter en adgangskode i det fremsendte brev, som indeholder nøglekortet. Oprettelse af adgangskode Det er rigtig godt det her [regler og tjek]. Så ved man, at man gør noget rigtigt. - Hernan, over middel, bank Den ser ok ud. Det er ufatteligt smart, synes jeg [visning af regler og tjek]. - Tommy, over middel, bank Side 18 / Bilag Q

291 ID: 13 Konceptuel misforståelse prædefineret eller selvvalgt adgangskode? Kategori: 3 Beskrivelse: Flere deltagere er i tvivl om, hvilken kode de skal benytte. De forventer, at der er tale om en prædefineret kode og leder efter den i det fremsendte brev, som indeholder nøglekortet. Konceptuel misforståelse ift. adgangskode Jeg skal selv oprette en ny adgangskode. Der kunne stå, at det var en ny adgangskode, man selv genererer første gang. - Allan, over middel, bank [Indtaster NemID-nummer og får fejlbesked] Så ville jeg have skrevet efter eget valg! - Trine, middel, bank Hvis der stod en selvvalgt adgangskode ville det hjælpe Anna Maria, middel, bank Anbefaling: Udspecificer i teksten, at der er tale om en selvvalgt adgangskode, fx Opret en selvvalgt adgangskode til NemID. ID: 14 Forkert fejlbesked ifm. brug af æøå Kategori: 3 Beskrivelse: Såfremt brugeren forsøger at vælge adgangskoden æøåæøå1, får man fejlagtigt en besked om, at adgangskoden skal indeholde både tal og bogstaver. Forkert fejlbesked ift. æøå Den må ikke indeholde æ. ø og å? Det må de godt skrive. [Senere ifm. angivelse af brugernavn] Her står, at den ikke må indeholde æ. ø og å! - Ernst, under middel, forvaltning Anbefaling: Ret fejlbeskeden, så det i stedet pointeres, at brugeren ikke må benytte æøå (såfremt æøå ikke kan implementeres som valide valg). Side 19 / Bilag Q

292 ID: 15 Modstridende og fejlagtige oplysninger Kategori: 3 Beskrivelse: Såfremt brugeren har fået en fejlbesked og sletter sin indtastning, kan der opstå situationer, hvor der gives fejlagtige og direkte modstridende oplysninger. Fx i forhold til hvorvidt der er indtastet mellem 6 og 40 tegn. Modstridende oplysninger ift. antal tegn Anbefaling: Ret fejl. Fjern fejlbeskeder ID: 16 Markering af tekst fejler ved træk af cursor Kategori: 2 Beskrivelse: Såfremt man markerer sine indtastninger og trækker cursoren ud over indtastningsfeltet (til venstre), af-markeres indtastningerne igen. Man skal med andre ord være præcis, såfremt man ønsker at markere alle sine indtastninger for fx at slette dem. Fejl ved markering af tekst Anbefaling: Lad fortsat teksten være markeret, såfremt man trækker cursoren ud over indtastningsfeltet. ID: 17 Der skelnes tilsyneladende mellem store og små bogstaver Kategori: 3 Beskrivelse: Såfremt man indtaster adgangskoderne test12 og TEST12 får man besked om, at koderne ikke er ens. Dette tyder på, at der faktisk, modsat af hvad der oplyses om, skelnes imellem store og små bogstaver. Der skelnes, modsat hvad der oplyses, mellem store og små bogstaver Side 20 / Bilag Q

293 Anbefaling: Ret fejl, så der ikke skelnes mellem store og små bogstaver, eller fjern oplysningen om, at der ikke skelnes mellem store og små bogstaver Oprettelse af brugernavn Deltagerne har generelt let ved at oprette et brugernavn. Der er dog flere, som umiddelbart ville fravælge denne løsning, da de foretrækker at anvende deres cprnummer, så de slipper for at huske på flere oplysninger. Hvad fanden skal jeg bruge et brugernavn til? Måske hvis jeg skulle chatte med nogen fra kommunen? Mette, under, bank I forhold til at huske adgangskoder og brugernavne beretter en del deltagere, at det kan volde problemer. Fx har mange tidligere oprettet en digital signatur, hvorefter de har glemt deres kode. Deltagerne har derfor undladt at bruge digital signatur eller været nødt til at bestille en ny (i nogle tilfælde flere gange). Det opfattes således positivt, at logon-information både kan benyttes til netbank og SKAT m.m. ID: 18 Primære informationer præsenteres sekundært Kategori: 2 Beskrivelse: Da næsten alle deltagere ytrer, at de vil benytte enten cpr-nummer eller selvvalgt brugernavn til at logge på, kan det undre, at disse muligheder først præsenteres efter logon med NemID-nummer. NemID-nummer præsenteres før cpr-nummer og selvvalgt brugernavn NemID nummer kunne man godt udelade. Så skal man gemme det der [brev] til tid og evighed. - Ernst, under middel, forvaltning NemID-nummer er overflødigt, hvis man har cpr-nummer. - Hernan, over middel, bank Jeg kan ikke se, hvad jeg skal bruge NemID til. Jeg har brugernavn. - Grete, under middel, bank Anbefaling: Simplificer løsningen og undlad at benytte NemID-nummer. Alternativt placer - dit NemID-nummer sidst i rækkefølgen, dvs. under - et selvvalgt brugernavn. Side 21 / Bilag Q

294 ID: 19 Mange begreber kan skabe forvirring Kategori: 3 Beskrivelse: Flere deltagere er usikre på funktionen af de forskellige begreber og sammenblander disse. Mange begreber at holde styr på. Bl.a. bruger-id, brugernavn, NemID, NemID-nummer Det er overflødigt at oprette brugernavn, når man har de 2 andre muligheder. Nemmest er cpr-nummer. Nu er der allerede 2 ting, jeg skal huske. [ ] Ikke så sikkert, fordi jeg har skrevet brugernavn ned. - Hernan, over middel, bank [Opretter brugernavn benytter sit cpr-nummer] Mit cpr-nummer bliver ikke væk. - Annica, under middel, bank Når man får for mange brugernavne, så kan man ikke huske det. Jeg har en lille bog, jeg skriver dem ned i. - Grete, under middel, bank Jeg kan ikke se, hvad jeg skal bruge brugernavn til. Jeg vil undvære det, hvis jeg kan bruge cpr. - Grete, under middel, bank Ikke brugernavn. Jeg har 1000 brugernavne. Jeg vil bruge cpr-nummer i stedet. - Anders (2), middel, Bank En forfærdelig masse, jeg skal huske på. Hvad var kode, nøglekode osv.? Masser begreber, jeg skal huske. - Anna Maria, middel, bank Anbefaling: Simplificer løsningen og undlad foruden NemID-nummer også at benytte brugernavn. Benyt kun cpr-nummer. Alternativt referer kun til brugerid som vist i skærmbilledet ved ID 20 herunder. ID: 20 Oprettelse af selvvalgt brugernavn opfattes som obligatorisk Kategori: 3 Beskrivelse: Mange deltagere opfatter oprettelsen af brugernavn som obligatorisk. Nogle er ikke klar over, at de selv kan vælge brugernavn. De leder efter brugernavn i det fremsendte trykte materiale. Side 22 / Bilag Q

295 Bruger-id side Jeg ville have, den siger, Vil du have et selvvalgt brugernavn?, som linjen over. - Peter, middel, forvaltning [Tøver ved indtastning af brugernavn) Jeg ved ikke, om det er det samme, som det her [brugernavn til bank-logon] - Tommy, over middel, bank Anbefaling: Promover valgmuligheder ift. bruger-id. Adskil visuelt den indledende information fra optionen med at oprette et selvvalgt bruger-id (brugernavn). Tydeliggøre, at der er tale om et selvvalgt bruger-id. Vis evt. først regler for selvvalgt bruger-id, når brugeren vælger Ja radioknappen. Se eksempel th. Forslag til ændring af Bruger-id side ID: 21 Inkonsistent angivelse af regler Kategori: 3 Beskrivelse: Regler oplyses forskelligt til brugerne ved indtastning af adgangskode og brugernavn. Ved indtastning af adgangskode oplyses brugeren om, at koden ikke må indeholde samme tegn 3 gange i træk. Ved indtastning af brugernavn oplyses brugeren ikke umiddelbart om dette. Først når brugeren forsøger at gå videre, berettes der om reglen vha. rød fejltekst. Side 23 / Bilag Q

296 Regler ift. brugen af samme tegn 3 gange oplyses forskelligt til brugerne Anbefaling: Ensret visning af regler. Vis per default reglen ift. samme tegn 3 gange i træk. Tilsvarende er det her angivet, at æ, ø og å ikke kan benyttes. Dette var ikke tilfældet ved indtastning af adgangskode. Også i denne forbindelse bør præsentationen af reglerne ensrettes. ID: 22 Inkonsistent regel / fejl i prototyper Kategori: 3 Beskrivelse: Det fremgår ikke tydeligt, hvorvidt brugernavnet SKAL indeholde både tal, tegn eller bogstaver eller ej. Teksten (tal, tegn og bogstaver) i bankflowet kan opfattes som et krav hertil (især set i lyset af, at dette var tilfældet ved valg af adgangskode), men dette er ikke tilfældet. Forvaltningsflow Brugernavn skal indeholde både tal og bogstaver Side 24 / Bilag Q

297 Bankflow Brugernavn behøver ikke indeholde både tal, tegn og bogstaver Anbefaling: Ensret bank- og forvaltningsflow ift. krav til tal, tegn og bogstaver ifm. brugernavn. Ret prototypefejl, såfremt brugernavnet faktisk skal indeholde både tal, tegn og bogstaver og skriv dette i regelteksten, fx (både tal, tegn og bogstaver). Såfremt det ikke er et krav, at brugernavnet indeholder både tal, tegn og bogstaver, fjern henvisning (tal, tegn og bogstaver) fra bankflowet. ID: 23 Radioknap Ja, opret brugernavn nu markeres ikke automatisk Kategori: 2 Beskrivelse: Radioknappen Ja, opret brugernavn nu markeres ikke automatisk, når man i forvaltningsflowet indtaster brugernavn. Dette medfører, at brugeren er nødt til at klikke en ekstra gang for at kunne fortsætte. Forvaltningsflow Radioknap markeres ikke automatisk Anbefaling: Marker automatisk radioknappen Ja, opret brugernavn nu, når brugeren i forvaltningsflowet indtaster brugernavn. ID: 24 specialtegn kan ikke benyttes Kategori: 2 Beskrivelse: Enkelte deltagere ønsker at benytte adresse som brugernavn. Dette er dog ikke muligt, da specialtegn ikke kan benyttes. Side 25 / Bilag Q

298 Ikke muligt at benytte adresse Anbefaling: Overvej at gøre det muligt at i brugernavn/ adgangskode. ID: 25 Forslag til alternative brugernavne er ikke altid gyldige Kategori: 3-4 Beskrivelse: Der opstår flere gange situationer, hvor systemet foreslår brugernavne, som ikke er valide. Fx foreslås brugernavne, som indeholder 3 ens cifre i træk. Anbefaling: Ret fejl, så der altid foreslås valide brugernavne Tilknytning af digital signatur til NemID Deltagerne vælger som oftest at tilknytte digital signatur til NemID. Deltagerne løser generelt opgaven, men der er en vis usikkerhed forbundet hermed. Jeg ville helt ærligt vælge den nederste [radioknap Nej til at tilknytte DS til NemID]. Jeg tror, det er mere sårbart, hvis det hele er knyttet sammen. [ ] Skitser, hvad der sker [eksemplificer valg]. Det ville være rart. Sælg ideen! - Trine, middel, bank Nå, hvorfor siger den det? Jeg troede, at det var min digitale signatur, jeg var på? - Grete, under middel, bank ID: 26 Usikkerhed ift. sammenhængen mellem NemID og digital signatur Kategori: 3 Beskrivelse: Sammenhængen mellem NemID og digital signatur er uklar for mange deltagere. En del deltagere forstår, at de ved at svare ja både kan benytte NemID til deres netbank og til fx SKAT.dk. Det undrer dog deltagerne meget, at NemID ikke som forventet afløser digital signatur. Det skal her nævnes, at deltagerne tidligere i forbindelse med introduktionen til testen er blevet fortalt, at NemID er en ny digital signatur. Side 26 / Bilag Q

299 Sammenhængen mellem NemID og digital signatur er uklar Jeg forestillede mig, at det der NemID skulle erstatte digital signatur. Men det skal det ikke. Det skal supplere digital signatur. [Hvor vil man kunne bruge NemID?] Typisk på de offentlige sider. [Også i bank?] Det er jeg ikke sikker på. Nej, det tror jeg ikke. Jeg har luret på, hvornår jeg kunne bruge min digitale signatur? Britta, under middel, bank Anbefaling: Det er vigtigt, at konceptet fremgår klart for brugerne. Userminds foreslår derfor, at referencen til digital signatur udelades. Fx kunne de to valg lyde: Ja, jeg vil gerne benytte mit NemID til både offentlige og private sider, fx SKAT og min bank og Nej, jeg vil kun benytte mit NemID i banken. Alternativt kan der anbefales, at ordet digital signatur tages ud af overskriften, men indgår som et underpunkt i vilkårsbeskrivelserne. Det skal dog her tages i betragtning, at brugerne typisk ikke læser, men blot skimmer den givne tekst. ID: 27 Teksten under Accepter vilkår er uforståelig Kategori: 3 Beskrivelse: Accepter vilkår læses af få, og ingen af deltagerne forstår teksten. Teksten er meget lang og skrevet i et svært forståeligt sprog, der er fyldt med tekniske begreber, som deltagerne ikke kender til. Deltagerne opfatter derfor ikke teksten som direkte relevant for dem. Teksten ifm. Accepter vilkår læses/forstås ikke Det er jo én lang sætning med bisætninger, det var kun Søren Kierkegaard der kunne komme af sted med det Anna Maria, middel, bank Det er sådan noget jeg ikke plejer at læse, det er ikke beregnet til almindelige mennesker. Alle de der forkortelser DanID, Biometrisk kode Jeg er godt begavet, men hr. og fru Jensen kan nok ikke forstå det. Mette, under, bank Side 27 / Bilag Q

300 Alt det i starten er tysk [uforståeligt]. Men jeg er klar over, at det skal stå her. - Hernan, over middel, bank Jeg gad ikke læse det. Der stod så meget. - Annica, under middel, bank Jeg læser aldrig de der [vilkår]. Det er tit noget jura sprog. Certifikater og alle mulige forkortelser, og så går jeg videre. - Tommy, over middel, bank Her er jeg så dårlig. Det er kedeligt at læse. Jeg læser kun de 2 første linjer. - Trine, middel, bank [Læser vilkår] Man fatter ikke en hat af det. Bla, bla, bla Jeg bliver så træt af det her. Plejer at skimme det igennem. De skriver til slut, når man HAR mistet interessen, noget interessant. - Anders (2), middel, bank Jeg var nok stået af. Sagt til helvede med den ide og stoppet. [Skippe vilkår, blot acceptere?] Nej, ikke til den der. Det er noget sikkerheds [ ] Biometrisk kode? Øhh, det vil jeg springe over. Forstår det ikke. Det kommer nok ikke mig ved. - Anna Maria, middel, bank Anbefaling: Hvis brugerne skal læse og forstå vilkårene, er det vigtigt at teksten gøres lettere tilgængelig og forståelig. Der kan overvejes forskellige løsningsmodeller på problemstillingen. 1. Teksten bør hvor muligt renses for tekniske begreber, så det er lettere at læse teksten. 2. Hvis det er muligt, vil det være en fordel, hvis teksten kortes ned. 3. Der bør gives en indholdsfortegnelse til indholdet, da denne både bidrager til at give et overblik over indholdet og samtidig sætter brugerne i stand til at springe til den information, de finder interessant. ID: 28 Tilknytning af digital signatur til NemID fremgår ikke af bekræftelsen Kategori: 2 Beskrivelse: Det fremgår ikke af bekræftelsen, hvorvidt man har tilknyttet sin digitale signatur til NemID. Tilknytning af digital signatur til NemID fremgår ikke af bekræftelsen Side 28 / Bilag Q

301 Anbefaling: Det kan overvejes at udspecificere, hvorvidt NemID både kan benyttes til offentlige og private sider. Fx Næste gang du logger på din bank vs. Næste gang du logger på offentlige eller private sider ID: 29 Det fremstår ikke som et krav, at brugerne skal indtaste nøgle fra nøglekort Kategori: 2 Beskrivelse: Enkelte deltagere påpeger, at der står Du kan også blive bedt frem for Du skal også. Det gør for deltagerne den forskel, at de i højere grad vil passe på deres nøglekort, hvis de ved, at det skal benyttes senere. Anbefaling: Omformuler tekst til Du skal også (såfremt dette er korrekt i alle henseende). ID: 30 Besked ved forsøg på logon uden tilknyttet digital signatur er vanskelig at forstå Kategori: 3 Beskrivelse: Hvis man vælger ikke at tilknytte digital signatur ved oprettelsen af NemID i bankregi, mødes man af en besked om, at man mangler at tilknytte digital signatur, når man forsøger at logge ind på et forvaltningssite. Denne fejlbesked er for flere deltagere uforståelig, da de ikke er klar over, hvad den digitale signatur har at gøre med den NemID, de forsøger at logge sig ind med. Logon uden tilknyttet digital signatur Hvorfor skriver den det? Jeg troede at det var min digitale signatur jeg var gået på, jeg vil klikke på linket og se hvad jeg har gjort galt. Digital signatur og NemID havde jeg håbet på var det samme Grete, under, bank Anbefaling: Sørg for at tydeliggøre, hvad der er årsagen til beskeden; beskriv at det er fordi, brugeren valgte at NemID kun kunne bruges i banken, da de oprettede sig som bruger via deres bank. ID: 31 Betydning af Ok knap uklar Kategori: 2 Beskrivelse: Flere deltagere er usikre på betydningen af Ok knappen. Nogle forventer, at den linker dem til Side 29 / Bilag Q

302 Betydningen af Ok knappen er uklar lukker den vinduet eller aktiverer den linket? OK betyder at jeg har læst det den er ikke helt god. OK vil ikke betyde at jeg bliver sendt videre. Man kunne godt i farten komme til at klikke på OK og tro man bliver sendt videre Anna Maria, middel, bank Der er ikke et link her. Det ville være en smart feature. - Allan, over middel, bank Anbefaling: Omdøb Ok knappen til Luk. ID: 32 Dybe links efterspørges Kategori: 3 Beskrivelse: Deltagerne kommenterer, at de ved klik på nemid.dk forventer at komme direkte til den side, hvor man kan tilknytte sin digitale signatur til ens NemID (dybt link). Link skal føre til noget pædagogisk. - Hernan, over middel, bank Jeg forestiller mig, at jeg kommer ind lige der, hvor jeg skal gøre det. Ikke klikke igennem 3-4 sider. Så rigtig godt! - Trine, middel, bank Anbefaling: Det vil være optimalt, hvis brugerne kan tilknytte digital signatur til deres NemID direkte på siden (dvs. uden link til anden nemid.dk). Alternativt bør der gives et dybt link, som leder brugerne direkte til den relevante side på nemid.dk Logon med adgangskode og brugernavn Logonprocessen er for de fleste deltagere meget let. Et fåtal af deltagerne har dog store problemer med at logge ind, primært fordi de ikke forstår NemID konceptet, og fordi brugen af nøglekort ikke forstås. Side 30 / Bilag Q

303 ID: 33 Valg af indgang til at logge på Kategori: 2-3 Beskrivelse: Når deltagerne skal oprette sig som bruger af NemID, og efterfølgende logge sig på netbanken er de i tvivl, om de skal vælge topmenupunktet Log på NetBank eller Log på NetBank med NemID. Udsnit af topmenuen på Sparekassen Thys netbank Jeg kan ikke engang finde der hvor jeg skal logge mig ind Anna Maria, middel, bank [Klikker på Log på NetBank ] Der sker ikke noget jeg prøver med den [Log på NetBank med NemID] Eva, middel, bank Det undrer mig at der er 2 log-på? Jeg vil vælge nummer 2. Hvad er forskellen? Den ene vil være digital signatur og den anden NemID. Jeg vil gerne have at man udspecificerer det noget mere. Hernan, over middel, bank Nu prøver jeg igen [anden logon]. Ha, den virkede. Men ikke kløgtigt at have 2 forskellige indgange. - Tommy, over middel, bank Anbefaling: Når bankerne ruller løsningen ud, bør de overveje adgangen til oprettelse og logon med NemID. Hvis der er muligt for bankerne, anbefales det at logon til både bankens eksisterende netbank samt NemID logon samles under ét menupunkt. Under menupunktet bør der være adgang til både den eksisterende logon applet til bankens netbank, samt den nye NemID logon applet. På denne side bør der også være mulighed for at oprette sig som ny bruger af NemID. ID: 34 Hvad er Bruger-id? Kategori: 4 Beskrivelse: Flere deltagere bliver forvirret over, at de skal logge ind med deres bruger-id. Da deltagerne oprettede sig som brugere af NemID, blev de tilbudt at oprette et brugernavn, og flere har vanskeligt ved at forstå sammenhængen mellem de to begreber. Begreberne ligner hinanden, men opfattes alligevel af nogle deltagere som forskellige. Side 31 / Bilag Q

304 Første trin i logonprocessen Bruger-id? Kaldte de det ikke brugernavn? [Forvirret]. Synes ikke at jeg har lavet noget Bruger-id [ ] Kald det enten Bruger-id eller brugernavn, ellers vil det forvirre gamle damer. Jeg foretrækker mit CPR-nummer, det kan jeg altid huske. Mette, under middel, bank. Mit Bruger-id? Nej, det kan ikke være brugernavn. Anders (1), over middel, bankflow Nu står der Bruger-id i stedet for navn. Blev i tvivl om det var det jeg lige havde oprettet. Så vil jeg kunne bruge mit navn. Annica, under middel, bank Nu bliver jeg rigtig forvirret. Hvad er egentlig mit Bruger-id? Nu kan man jo bruge alle ting. Måske kan jeg bruge digital signatur. Ellers CPR-nummer. Hernan, over middel, bank Anbefaling: Der findes forskellige løsninger på problematikken. Som tidligere beskrevet ved ID 19, kan termen brugernavn erstattes af termen bruger-id. Dernæst kan det overvejes, om det er nødvendigt, at brugeren opretter et brugernavn i forbindelsen med oprettelsen. Det kan også synliggøres hvad ens bruger-id er ved at skrive eksemplerne ind i, eller lige under indtastningsfeltet. Eksempel på hvad brugeren kan taste ind som sit bruger-id Side 32 / Bilag Q

305 ID: 35 Hjælpeikonet overses Kategori: 3 Beskrivelse: Mange af deltagerne overser hjælpeikonet, og direkte adspurgt vil flere deltagere få hjælpe til indtastningen ved at kontakte Hotline i Sparekassen Thy. En enkelt bemærker at spørgsmålstegnet ikke ligner et spørgsmålstegn, men derimod et øre. Logon appletten integreret på Sparekassen Thys netbank Hjælpeikon placeret til højre for indtastningsfeltet Glemt adgangskode? Jeg vil ringe til banken, deres hotline Grete, under middel, bank Glemt adgangskode? Jeg vil ringe til support. Der er også noget der hedder ophæv spærring, det ville ikke hjælpe mig. Der står jo et lige et spørgsmålstegn Anna Maria, middel, bank De her [spørgsmålstegn] kan også bare stå mere i in-your-face. Jeg havde ikke lagt mærke til dem. Et eller andet der gør det mere tydeligt, hvis du er i tvivl, så tryk her. Når man ikke lægger mærke til det fra starten af, så er det ikke tydeligt nok. Stine, under middel, forvaltning Måske skal spørgsmålstegnet have en kraftigere ramme eller farve Claus, over middel, forvaltning Spørgsmålstegnet ligner et øre Mette, under middel, bank Anbefaling: Hjælpikonet kan med fordel optimeres grafisk. Ikonet kan gøres større, så det har samme højde som indtastningsfeltet, og spørgsmåltegnet kan gøres tydeligere. Der kan ligeledes arbejdes med at fremhæve hjælpikonet vha. grafiske elementer som farver eller skygger. Side 33 / Bilag Q

306 ID: 36 Teksten i hjælpeboksen Hjælp til bruger-id er ikke tydelig Kategori: 3 Beskrivelse: I hjælpeboksen beskrives, hvad der kan benyttes som bruger-id. Flere deltagere bliver dog forvirret af teksten, da de tror at de skal bruge både cprnummer og NemID-nummer og selvvalgt brugernavn. Yderligere undres deltagerne af teksten under punktopstillingen. Deltagerne forstår ikke, hvorfor de får information om, at de skal logge på med deres NemIDnummer, hvis det er første gang, de logger på, da de netop har oprettet et brugernavn. Andre opfatter det ikke som første gang, de logger på, men bliver forvirret over, at de bliver tiltalt, som var det første gang, de logger på. Hjælpeboks Hjælp til bruger-id Anbefaling: Teksten i hjælpeboksen bør omformuleres, sådan at det er tydeligt, at brugeren kan vælge at logge ind med enten cpr-nummer eller NemID-nummer eller det brugernavn brugeren selv valgte ved oprettelse. Det er vigtigt, at brugerne ikke præsenteres for irrelevant information i forhold til den opgave, de er i gang med at løse. ID: 37 Hjælpeboksene Hjælp til bruger-id og Hjælp til adgangskode lægger sig oven i hinanden. Kategori: 2 Beskrivelse: Det er mulig at have de to hjælpebokse åbne samtidigt, hvorved at de kommer til at skjule hinanden. Eksempel på hvordan de to hjælpebokse skjuler hinanden Side 34 / Bilag Q

307 Anbefaling: Sørg for at hjælpeboksene placeres og eventuelt skaleres sådan, at de ikke dækker for hinanden. ID: 38 Fejlmeddelelse er misvisende Kategori: 2 Beskrivelse: Hvis man undlader at indtaste en adgangskode, får man besked på, at der er fejl i adgangskoden. Hjælpetekst i forbindelse med indtastning af adgangskode Anbefaling: Sørg for at fejlbeskeden relaterer til, hvilken fejl brugeren begår. Når der ikke indtastes en adgangskode, bør brugeren få at vide, at der skal indtastes en adgangskode. ID: 39 Brugerne modtager ingen hjælp, hvis de har glemt deres adgangskode Kategori: 3-4 Beskrivelse: Det er ikke klart for deltagerne, hvad de skal gøre, hvis de glemmer deres adgangskode. Flere deltagere søger efter hjælp, men finder ingen. Deltagerne vil typisk kontakte support for hjælp. Nogle foreslår dog, at de præsenteres for muligheder, som giver dem umiddelbar adgang for at komme videre, fx gennem link Har du glemt adgangskode eller bruger-id, som de kender fra andre hjemmesider. Der gives ingen hjælp, hvis man har glemt sin adgangskode Jeg kan ikke huske min adgangskode. Hvad skal jeg så? Der er ikke engang tlf. til support. Der skal være en forklaring Har du glemt din adgangskode ring til/ brug 4 cifret adgangskode [udleveret midlertidig kode] - Peter, middel, forvaltning Den siger, hvad du skal taste, det er fint hvis man kunne få den [adgangskoden] via e- mail. Hvis den går helt galt, kan man få sendt en mail til en verificeret -adresse Claus, over middel, forvaltning Side 35 / Bilag Q

308 [Se hjælp for info om glemt kode] Jeg ville sige øv. Der står ikke, man kan få den tilsendt [ ] Jeg håber, jeg får en sms med en ny kode. Tit skriver de Skriv din mail, så nulstiller vi dig. - Annica, under middel, bank SMS ville være meget smart. I stedet for at vente 3 dage. Midlertidig kode. - Tommy, over middel, bank Nogle gange kan man klikke på Du kan ikke huske brugernavn/adgangskode? - Trine, middel, bank Anbefaling: Tilbyd mulighed for at få fremsendt adgangskode, såfremt man har glemt den. Dette forudsætter naturligvis, at man kan udarbejde en sikker løsning, fx gennem brug af nøglekort, brugernavn, den indtastede / det givne telefonnummer m.m. Alternativt bør hjælpen klart angive, hvad brugeren skal gøre, for at komme videre. ID: 40 Opsætning af tekst i hjælpeboksen Hjælp til nøgle kan optimeres Kategori: 1 Beskrivelse: Teksten i hjælpeboksen skal læses relativt grundigt, for at hjælpen forstås. Nøglekortudsnittet er sløret, hvilket er fint, men det er vanskeligt at se # og nøgleikonet i nøglekortsudsnittet. Hjælp til nøgle hjælpeboks Anbefaling: Fremhæv # -ikonet i teksten. Indsæt et linjeskift i teksten, sådan at sætningen Indtast det 6-cifrede tal starter på en ny linje. Udsnittet af nøglekortet bør stadigvæk være sløret, men # og nøgleikonet kan med fordel gøres skarpe, så det er lettere at se hvor de er placeret på nøglekortet. Side 36 / Bilag Q

309 4.2.6 Logon med nøgle, spærring Flere deltagere frustreres over denne opgave, da de er meget påpasselige med at indtaste den rigtige nøgle. Det er derfor vanskeligt at få deltagerne til at forholde sig til den information, de får i appletten. ID: 41 Hjælpen opdages ikke, da flere deltagerne stopper efter 2 forsøg Kategori: 4 Beskrivelse: Mange deltagere opdager ikke den givne hjælp, da de af frygt for at få spærret deres NemID stopper efter 2 fejlslagne forsøg. Deltagerne er meget påpasselige med at indtastede de korrekte informationer, efter at de første gang har fået at vide, at den indtastede nøgle er forkert. Den siger at jeg skriver forkert, men det mener jeg ikke at jeg gør? Vil mene at jeg har trykket på de rigtige. Hjælpen vil ikke give mig noget. Så ville jeg afbryde og ringe til hotline. Jeg kan jo ikke logge på alligevel. Jeg har tjekket at det er det rigtige kort Jeg havde nok givet op inden de 3 gange Annica, under middel, bank [Ville hjælp hjælpe dig videre?] Næh, jeg ville ikke se 3. forsøg. Jeg ville stoppe efter 2 forsøg og slukke, ringe til en ven eller et eller andet Jeg er den type, der ville stoppe, før det gik galt [efter 2. forsøg]. Ida, under middel, bank Forkert nøgle: Den kunne de godt komme med første gang, med det samme. Eller måske 2 gange, fordi du ikke taster forkert 3 gange i træk. Så ville det være irriterende at få først efter 3. gang. Mette, under middel, bank Anbefaling: Hjælpen bør præsenteres allerede efter 2 fejlslagne forsøg. ID: 42 Opsætningen af hjælpen kan optimeres Kategori: 2 Beskrivelse: De fleste testdeltagere læser hjælpen, der vises, når de indtaster en forkert nøgle tre gange. Der er dog flere, der ikke forstår teksten, og en enkelt mener at NemID nu er spærret, og det derfor ikke er muligt at forsætte. Fejlmeddelelse ved indtastning af forkert nøgle tre gange Side 37 / Bilag Q

310 Anbefaling: Opsætningen på hjælpen kan optimeres, sådan at udsnittet af nøglekortet er på linje med hjælpeteksten. Derudover kan teksten under punktopstillingen rykkes længere ned på siden, så den fremstår som et separat element. Oplæg til ny fejlmeddelelse ID: 43 Fejlmeddelelse dækker for logon appletten Kategori: 3 Beskrivelse: Fejlmeddelelsen dækker fuldstændig for logon appletten, hvilket betyder, at de informationer, som fejlmeddelelsen giver, ikke direkte kan sammenlignes med og benyttes i forhold til ens indtastninger. Screenshot af Forkert nøgle fejlmeddelelsen Hvor kan jeg se, at det er det rigtige nøglekortnummer, jeg har? Hvad skal jeg holde det op i mod? Anders (1), over middel, bank Den siger, at jeg skal tjekke mit nøglekort, men jeg ved ikke, hvad jeg skal forholde den til. Allan, over middel, bank Side 38 / Bilag Q

311 Anbefaling: Sørg for at ingen fejlmeddelelser dækker for logon appletten. ID: 44 Der efterlyses informationer om supportmuligheder Kategori: 2 Beskrivelse: Hvis et nøglekort spærres, bliver brugeren bedt om at ringe til support eller kontakte deres bank. Enkelte deltagere efterlyser yderligere information om support, eksempelvis åbningstider og en adresse til support. Screenshot af Din NemID er spærret fejlmeddelelsen Jeg havde håbet på tlf., , support af en art. - Claus, over middel, forvaltning Det er vigtigt for mig, at supporten så også er åben, man laver jo ting med myndighederne i sin fritid - Peter, middel, forvaltning [Om hjælp ved spærret nøglekort] Så bliver den sikkert låst, ja, ja der er nogle firmaer, der ringer tilbage. Nu!! Ikke om 3 dage. Supporttelefon er god nok, men kobl det med at ringe tilbage. Selvfølgelig ikke 24/7. Der skal stå nogle åbningstider. - Ernst, under middel, forvaltning Ok nu er det måske søndag, banken har ikke åbent. Så ville jeg sætte pris på at der var døgnåbent. At der er åbent hele tiden. Hvis ikke, så ville jeg vente til i morgen. Fx kunne der være en computer man ringede til, hvor man kan taste et nummer og få hjælp. At der så altid ville være mulighed for at få hjælp. Hernan, over middel, bank Anbefaling: Din NemID er spærret -siden kan med fordel udbygges med informationer om supports åbningstider. Hvis supporten påtænker at yde hjælp via mail, skal der ligeledes stå en mailadresse til supporten, samt oplysninger om hvor hurtigt supporten behandler mails. Hvis der vil blive mulighed for at yde mailsupport, bør der også beskrives hvilke oplysninger supporten har brug for, for at kunne hjælpe, eksempelvis brugerens telefonnummer, så supporten er i stand til at ringe til brugeren. Side 39 / Bilag Q

312 4.2.7 Aktivering af nyt nøglekort De fleste deltagere opdager hurtigt linket Tag nyt nøglekort i brug, og det er let for dem at aktivere et nyt kort. Enkelte deltagere har ikke forstået NemID- og nøglekortkonceptet, eller bemærker ikke linket, og har derfor meget vanskeligt ved at aktiverer et nyt nøglekort. Der er ikke noget, jeg tænker kunne være meget anderledes. Det er meget fint. Allan, over middel, bank Det er meget pædagogisk. Nu er jeg ikke i tvivl om, det er det rigtige. - Hernan, over middel, bank Meget ligetil, Tydeligt. - Tommy, over middel, bank Det var meget nemt. Faktisk meget rart, at jeg kan bestille nogle ekstra kort og have liggende. - Trine, under middel, bank Nemt og overskueligt. Foruroligende nemt faktisk. - Anders (2), middel, bank ID: 45 Teksten og linket under Log på knappen bemærkes ikke. Kategori: 3 Beskrivelse: Når deltagerne logger ind, er deres fokus primært på indtastningsfelterne, og teksten Du har xx nøgler tilbage og linket Tag et nyt nøglekort i brug bemærkes derfor ikke umiddelbart af alle. Som følge heraf, er der testdeltagere, der fuldstændigt overser informationen, og konsekvensen bliver, at de har vanskeligt ved at aktivere et nyt nøglekort. Screenshot af logon appletten, med en indikation af, hvor mange nøgler der er tilbage på nøglekortet Kan man ændre det nøglekortnummer? [markerer nummer i overskrift]. Det kan jeg ikke. Britta, under middel, bank Side 40 / Bilag Q

313 Jeg skulle lige lede efter det nye nøglekortlogin, det var først efter jeg havde opgivet at jeg fandt det, efter du coachede mig. Jeg vil gerne have feltet ud til højre, og en grøn eller rød, så man kan se, at man skal aktivere et nyt kort opdag lige den her. Claus, over middel, forvaltning Anbefaling: Når antallet af nøgler er ved at løbe ud, kan nøgleantallet med fordel fremhæves. Tilsvarende kan linket Tag nyt nøglekort i brug blive yderligere fremhævet. De to linjer kan eventuelt rykkes op over Log på knappen Eksempel på hvordan antallet af nøgler og link til aktivering af nyt nøglekort kan fremhæves ID: 46 Tag nyt nøglekort i brug - side dækker for appletten Kategori: 2-3 Beskrivelse: Tag nyt nøglekort i brug -siden lægger sig oven på appletten, og det er derfor ikke muligt at se, hvor mange nøgler man har tilbage på det aktive nøglekort. Tag nyt nøglekort i brug side dækker for logon appletten [Lukker Tag nyt nøglekort i brug -siden] Nåh, den står lige der. Vinduet måtte gerne have stået længere ude, så den ikke dækkede. [ ] Jeg skulle lede lidt. Der var et vindue, der spærrede. - Claus, over middel, forvaltning Anbefaling: Sørg for at ingen hjælpesider dækker for logon appletten. Side 41 / Bilag Q

314 4.2.8 Signering ifm. overførsel (Et-faktor signering) Signeringen i forhold til at overføre penge er en let proces, da deltagerne er vant til at skulle signere ved overførsel af penge i deres netbank. ID: 47 Teksten i Hjælp til adgangskode hjælpeboksen er misvisnede Kategori: 2 Beskrivelse: I hjælpeboksen er der en tekst, der beskriver, hvad man skal gøre, hvis det er første gang, man benytter NemID. På dette stadie har brugeren allerede brugt sin adgangskode en del gange, og teksten er derfor irrelevant. Hjælpeboks på signeringsside Er det første gang, jeg logger på, så jeg skal bruge mit NemID-nummer? Det er fjollet. Jeg har jo lige oprettet det [brugernavn]. - Anna Maria, middel, bank Anbefaling: Sørg for at gennemgå denne og alle andre hjælpebokse, så det sikres, at brugeren udelukkende tilbydes information, som brugeren har brug for på den aktuelle side. På denne side kan det sidste afsnit slettes, og eventuelt erstattes med en beskrivelse af, hvad man gør, hvis man har glemt sin adgangskode Signering ifm. ændring af NemKonto (To-faktor signering) Enkelte deltagere er lidt overraskede over, at de skal indtaste både adgangskode og nøgle fra nøglekort, men ingen af deltagerne har problemer med at gennemføre opgaven. Hold da op! At jeg skal bruge nøglekort 2 gange?! Har brugt det, da jeg skulle logge ind. Men det er måske ok risikoen er større. Men fint nok med adgangskoden. Men man gør det ikke så tit, så måske er det ok. Det irriterer ikke, når den ikke gør det oftere. - Tommy, over middel, bank Side 42 / Bilag Q