Bilag 14: Prøver Udbud om levering, installation, implementering, support, drift og vedligehold af Borgeradministrativt System (BAS)
Indhold bilag 14 Prøver 14. Prøver... 3 14.1 Indledning... 3 14.2 Afprøvningsprogram / Hovedtestplan... 4 14.2.1 Generelle krav til afprøvningsprogrammet... 4 14.2.2 Teststrategi for projektet... 5 14.2.3 Testtilgang... 6 14.2.4 Oversigt over prøve- og testtyper... 7 14.3 Afprøvningsforskrifter... 8 14.3.1 Generelle krav til afprøvningsfoskrifter... 8 14.3.2 Testgennemførelse... 8 14.3.3 Testværktøjer... 8 14.4 Afprøvningsplaner... 10 14.4.1 Tidsplan for testforløb... 10 14.4.2 Prøveplaner for afprøvning... 10 14.4.3 Testdata og testcases... 11 14.5 Godkendelse af en prøve... 13 14.5.1 Fejlkategorisering... 13 14.5.2 Reaktioner ved fejl... 14 14.5.3 Godkendelse af prøve/test... 17 14.5.4 Fejltolerancer... 18 14.6 Afprøvningsrapporter... 18 14.6.1 Afrapporteringsformat... 18 14.6.2 Rapportering af resultater... 18 Side 2 af 19
14. Prøver Bilaget indeholder ordregivers krav til tilbuddet. Krav er opdelt i mindstekrav og konkurrencekrav. Tilbudsgiver skal i sit tilbud besvare kravene i henhold til anvisningerne i bilaget. Besvarelserne skal ske i Bilag 20 Løsningsbeskrivelse. Det kan være anført at besvarelser yderligere skal ske i seperate underbilag. Underbilagene 14D Hovedtestplan og 14E Niveautestplan, er forudfyldt med Kundens indholdsskabelon for henholdsvis Hovedtestplan og Niveautestplan. Det er frivilligt for Leverandøren at benytte Kundens skabeloner. Besvarelse skal således findes sted i Bilag 14D og 14E, hvor dette angives, men Leverandøren bestemmer selv om Leverandøren ønsker at benytte Kundens skabeloner helt, delvist eller slet ikke. Udbudsmaterialet anvender følgende terminologi omkring mindstekrav og konkurrencekrav: Krav, som skal opfyldes for, at et tilbud kan deltage i konkurrencen, betegnes som mindstekrav (MK) Såfremt ét eller flere mindstekrav ikke er opfyldt, er tilbuddet ikke konditionsmæssigt, og udbyder er forpligtet til at afvise tilbuddet som ikkekonditionsmæssigt. Der kan ikke tages forbehold for mindstekravene. Leverandøren garanterer ved afgivelsen af tilbud, at samtlige mindstekrav kan opfyldes. Et konkurrencekrav (KK) skal ikke nødvendigvis opfyldes for, at et tilbud kan deltage i konkurrencen. Et konkurrencekrav kan således opfyldes helt, delvist eller slet ikke uden at tilbuddet derved bliver ukonditionsmæssigt. Leverandørens redegørelse for graden af opfyldelse og/eller eventuelt måden for opfyldelse af ordregivers krav vil indgå i tilbudsevalueringen i overensstemmelse med, hvad ordregiver har anført i forbindelse med det enkelte konkurrencekrav. 14.1 Indledning Dette bilag beskriver den afprøvning der skal gennemføres i forbindelse med levering af Leverancen, og forløbet relateret hertil. Det fastsætter kravene til hver enkelt prøve/test og kriterierne for hvornår den er bestået, samt kravene relateret til styring af testforløbet gennem hele projektet. De enkelte prøver og test vil have indbyrdes afhængigheder, således at der tegnes et forløb fra de indledende prøver og test til de afsluttende. Det er en forudsætning for en afprøvning, at den gennemføres under forhold, der er sammenligneligt med en normal driftssituation, som er nærmere beskrevet i bilag 2, kundens IT-miljø. Kunden bruger i nærværende bilag en begrebsterminologi vedrørende Prøver som adskiller sig fra standardterminologien i K02. Derfor gives nedenfor en oversigt over kundens terminologi. I bilag 14 anvendes i overskrifterne standardterminologien fra K02, mens der i den øvrige tekst overvejende benyttes Kundens egen terminologi jf. nedenstående:. Terminologi i K02 Kundens terminologi Side 3 af 19
Afprøvningsprogram Afprøvningsplaner Prøveplaner Afprøvning/prøver/test Afprøvningsforeskrifter Afprøvningsrapporter Hovedtestplan Indeholder desuden: - Teststrategi - Testtilgang - PRA Fase- og/eller Niveautestplaner eller testplaner Prøver/test Kunden skelner mellem prøver og tests. Prøver vil typisk bestå af en til flere tests, mens en test dækker et specifikt område af leverancen. Afprøvningsforeskrifter Afprøvningsrapporter 14.2 Afprøvningsprogram / Hovedtestplan Afprøvningsprogrammet har som formål at give en samlet og dækkende, men overordnet beskrivelse af de installationer og afprøvninger, der skal gennemføres som en del af Leverancen. Afprøvningsprogrammet fastlægger principperne og de metoder, der skal anvendes. 14.2.1 Generelle krav til afprøvningsprogrammet Kravskema: Generelle krav til afprøvningsprogrammet Afprøvningsprogrammet skal indeholde en komplet, men overordnet beskrivelse af de afprøvninger, som Leverancen skal gennemgå i projektforløbet, jf. Kontraktens punkt 8. Afprøvningerne vedrører: 14.2.1.1 MK Fabriksprøve Installationsprøve Overtagelsesprøve Driftsprøve Jf. beskrivelse i Underbilag 14B 14.2.1.2 KK Der skal være sporbarhed mellem afprøvningsprogrammet og Bilag 3 Side 4 af 19
Afprøvningsforskrifterne Afprøvningsplanerne Afprøvningsprogrammet skal for hver afprøvning som minimum indeholde oplysninger om: Afprøvningens placering i projektforløbet (eventuelt i form af henvisning til Bilag 1) Afprøvningens overordnede forudsætninger De funktioner, der afprøves Afprøvningens fysiske rammer 14.2.1.3 MK De afprøvningsmetoder, der anvendes De ressourcer, som Kunden skal stille til rådighed, jf. Bilag 1 De afprøvningsforskrifter, der skal udarbejdes Godkendelseskriterier for prøver jf. Underbilag 14 C Afprøvningsforskrifter til prøver og tests. Teststrategi jf. afsnit 14.2.2 Testtilgang jf. afsnit 14.2.3 Produktrisikoanalyse jf. afsnit 14.2.1.4 MK Afprøvningsprogrammet skal fremsendes som en del af tilbuddet. Det behandles og godkendes af Kunden i afklaringsfasen 14.2.2 Teststrategi for projektet Kundens generelle tilgang til test og prøver ligger til grund for de krav der udtrykkes med dette bilag, og som specifikt er afspejlet i heri. Leverandøren skal i hovedtestplanen beskrive den teststrategi som Leverandøren forventer at bruge i forbindelse med sin del af testarbejdet. Leverandørens teststrategi skal være godkendt af Kunden før der udarbejdes en fase og/eller en niveautestplan for den første testaktivitet. Kravskema: Teststrategi for projektet 14.2.2.1 MK Leverandøren skal levere en test strategi i sin som en del af afprøvningsprogrammet. Teststrategien for projektet skal foreligge ved tilbudsafgivelsen, som en Side 5 af 19
del af Afprøvningsprogrammet, og skal foreligge, godkendt af Kunden, senest ved udgangen af afklaringsfasen. Kunden skal godkende den endelige test strategi. Leverandørens teststrategi kan godkendes 14.2.2.2 MK når den beskriver Leverandørens tilgang til test på et detaljeniveau, som sætter Kunden i stand til at kunne vurdere og planlægge behovet for ressourcer som skal afsættes til indgåelse i prøver og test, og når den ikke er i modstrid med Kundens krav, og når den i øvrigt er af en sådan karakter at den giver Kunden den fornødne indsigt, til at kunne vurdere de processer som indgår. 14.2.3 Testtilgang Leverandøren skal i Underbilag 14D beskrive sin testtilgang med hensyn til hvordan Leverandøren effektivt vil måle fremdrift for de prøver og test som denne har hovedansvaret for. Ligeledes skal Leverandøren beskrive sin tilgang til testrelateret risikostyring, testdækning, prioritering samt sporbarhed. Yderligere kan leverandøren levere en oversigt over komponenter der er i løsningen, der synliggør de tiltag der er taget i systemet for at levere løsningen til kunden. Oversigten inddeles i disse tre kategorier: a) Ikke tilrettet, komponenter genbrugt i løsningen. b) Tilrettet, komponenter delvist tilrettet løsningen. c) Helt nye, komponenter nyudviklet til løsningen. Leverandøren kan i Underbilag 4B redegøre for hvordan hver komponent i systemet er kvalitetssikret. Ved komponenter der er i kategorien c) Helt nye, skal leverandøren som minimum levere et cyklomatisk kompleksitets tal (McCabe) til information for kunden. Kravskema: Testtilgang 14.2.3.1 MK 14.2.3.2 KK Leverandøren skal beskrive sin testtilgang, der inkluderer en beskrivelse af testrelateret risikostyring, testdækning, prioritering samt sporbarhed. Denne skal forelægge som en del af afprøvningsprogrammet, som beskrives i Underbilag 14D. Leverandøren kan levere en oversigt over samtlige komponenter der er i løsningen, fordelt på tre kategorier: a) Ikke tilrettet, komponenter genbrugt i løsningen. Side 6 af 19
b) Tilrettet, komponenter delvist tilrettet løsningen. c) Helt nye, komponenter nyudviklet til løsningen. Det vægtes positivt, såfremt leverandøren kan levere en oversigt over samtlige komponenter. Leverandøren kan for Kunden synliggøre det cyklomatiske kompleksitets tal (McCabe) som minimum for de komponenter i kategorien c) fra krav 14.2.3.2 14.2.3.3 KK Det vægtes positivt, såfremt leverandøren kan levere det cyklomatiske kompleksitets tal (McCabe) for komponenter i systemet. 14.2.4 Oversigt over prøve- og testtyper Der gennemføres de prøver som er krydset jf. underbilag 14 B Oversigt over prøve- og testtyper. Eventuelle prøver der ikke er krydset af, gennemføres ikke og indgår derfor ikke i Leverandørens Hovedtestplan. Kunden har foretaget en produktrisiko-analyse i projektets indledende fase, jf. underbilag 14A PRA resultat. Heri har Kunden identificeret testmål og angivet risiko klasser for hvert testmål, samt angivet den forventede test intensitet for hvert test mål. Kravskema: Prøve- og testtyper 14.2.4.1 MK 14.2.4.2 KK Leverandøren skal gennemføre prøvetyper jf. underbilag 14 B Oversigt over prøve- og testtyper. Leverandøren skal tilpasse den eksisterende produktrisiko-analyse sammen med kunden i afklaringsfasen for at præcisere og afstemme test mål. Det vægtes positivt, såfremt leverandøren kan levere en beskrivelse af tilgang til anvendelse af produktrisiko-analyse. Side 7 af 19
14.3 Afprøvningsforskrifter Der er udarbejdet en beskrivelse af de prøve- og testtyper som det kan forventes at leverandøren skal forholde sig til i underbilag 14 C Afprøvningsforskrifter til prøver og tests. 14.3.1 Generelle krav til afprøvningsforeskrifter Kravskema: Afprøvningsforskrifter 14.3.1.1 MK Leverandøren skal overholde de forskrifter der er gældende for hver prøve i underbilag 14 C Afprøvningsforskrifter til prøver og tests. 14.3.2 Testgennemførelse En prøve eller test gennemføres inden for de rammer der er udstukket i beskrivelsen af den enkelte prøve/test i underbilag 14 C Afprøvningsforskrifter til prøver og tests. Hvis der konstateres fejl under en prøve/test i et givet miljø, skal Leverandøren rette fejlen(e) i udviklingsmiljøet og ikke i det miljø hvor fejlen er konstateret. Når fejlen(e) er rettet i udviklingsmiljøet, gentestes Leverancen i testmiljøet, indtil man er tilbage ved det miljø man oprindeligt fandt fejlen i. Sådanne gentest baseres om muligt på testcases der indgår i et regressionsdatasæt, jf. underbilag 14 C Afprøvningsforskrifter til prøver og tests. Kravskema: Testgennemførelse 14.3.2.1 MK 14.3.2.2 MK 14.3.2.3 KK Leverandøren skal gennemføre en prøve eller test inden for de rammer der er udstukket i underbilag 14 C Afprøvningsforskrifter til prøver og tests Leverandøren skal rette enhver fejl konstateret i systemet i udviklingsmiljøet, teste denne i testmiljøet før denne kan testes i et andet givent miljø. Hvis der er konstateret en fejl i systemet, skal leverandøren sikre sig at denne fejl er dækket af testcases, så test cases kan indgå i regressionstests. Det vægtes positivt, såfremt leverandøren kan levere en beskrivelse af en procedure for opbygning af regressionstests. 14.3.3 Testværktøjer 14.3.3.1 Fejlrapporteringsværktøj og styring af test fremdriften Leverandøren skal benytte et testværktøj. Værktøjet benyttes til planlægning, gennemførelse, styring og dokumentation af testforløbet, herunder også til oprettelse og styring af fejlrapporter i forbindelse med testgennemførelsen. Kravskema: Testværktøjer Side 8 af 19
14.3.3.1.1 MK Leverandøren skal bruge et teststyringsværktøj til håndtering af krav, test cases, testforløb, håndtering af fejl og test eksekverings resultater. Leverandøren skal benytte Region Syddanmarks teststyringsværktøj. 14.3.3.1.2 KK Det vægtes positivt, såfremt leverandøren kan imødegå Regions Syddanmarks ønske om at bruge Region Syddanmarks teststyringsværktøj (HP ALM). 14.3.3.2 Automatiserede test værktøjer En øget anvendelse af test automatiseringsværktøjer vægtes positivt hvis det sandsynliggør en kortere og nemmere gentagelig regressionstest og derigennem en mindskning af belastningen af regionens test ressourcer. Kravskema: Automatiseringsværkstøjer 14.3.3.2.1 KK Leverandørens anvendelse af test automatiseringsværktøjer vægtes positivt hvis det sandsynliggør en kortere og nemmere gentagelig regressionstest og derigennem en mindskning af belastningen af regionens test ressourcer. Leverandøren bruger et svartids-, belastnings- og skalérbarhedstest automatiseringsværktøj til at dække svartids-, belastnings og skalérbarhedstest cases. 14.3.3.2.2 KK Det vægtes positivt, såfremt leverandøren kan levere dokumentation for brug af et test automatiseringsværktøj til svartids-, belastnings og skalérbarhedstest cases. Leverandøren eksekverer automatiske funktionelle test scripts (fra krav 14.3.2.2.1) fra regionens test styrings værktøj (HP Quality Center). 14.3.3.2.3 KK Det vægtes positivt, såfremt leverandøren kan levere dokumentation for at de funktionelle test scripts fra krav 14.3.2.2.1 kan eksekveres fra HP ALM. Leverandøren eksekverer automatiske svartids- og belastningstest scripts (fra krav 14.3.2.2.2) fra regionens test styrings værktøj (HP ALM). 14.3.3.2.4 KK Det vægtes positivt, såfremt leverandøren kan levere dokumentation for at de automatiske svartids- og belastningstest scripts fra krav 14.3.2.2.2 kan eksekveres fra HP ALM. Side 9 af 19
14.4 Afprøvningsplaner------- 14.4.1 Tidsplan for testforløb Jf. bilag 1 Tidsplan beskriver Leverandøren hvordan de enkelte prøver og test ligger i forhold til hinanden, og deres udstrækning i tid (start- og sluttidspunkt). Angivelsen i tidsplanen suppleres af en nærmere beskrivelse af prøve-/testforløbet i Hovedtestplanen, der inkluderer testrelaterede aktiviteter, milepæle og produkter. For hver prøve eller test som Kunden har hovedansvaret for, fremgår det fra bilag 1 hvornår leverandøren senest skal advisere Kunden om, hvornår den pågældende prøve eller test kan påbegyndes. Kravskema: Tidsplan 14.4.1.1 MK 14.4.1.2 MK Leverandøren skal levere en tidsplan jf. bilag 1 for hvornår de enkelte prøver og test ligger i forhold til hinanden Leverandøren skal levere en tidsplan jf. bilag 1 der inkluderer tidsfrister for levering af Testplaner, testcases samt testrapporter. 14.4.2 Prøveplaner for afprøvning Teststrategien for projektet suppleres af fase og/eller niveautestplaner for de enkelte prøver/tests. Disse niveautestplaner kan yderligere deles op i fase/niveautestplaner, hvis dette vurderes at give mere mening for de enkelte tests. Kunden reviewer fase- og/eller niveautestplanen under brug af de relevante fejlkategorier i 14.5.2, Tabel 1 og afgør om den kan godkendes. Tilbagemelding til Leverandøren vedrørende godkendelse skal ske senest ti arbejdsdage efter fase- og/eller niveautestplanen er modtaget af Kunden. Ved manglende godkendelse skal Leverandøren hurtigst muligt rette op på de identificerede fejl og fremsende planen til Kunden igen, som uden unødigt ophold skal reviewe om planen nu kan godkendes og give Leverandøren besked herom. Det er en betingelse for igangsættelsen af en prøve eller test at niveautestplanen er godkendt af Kunden Kravskema: Prøveplaner / testplaner / niveautestplaner Testplaner skal som minimum indeholde: 14.4.2.1 MK Kort overordnet beskrivelse af testen og dens formål. Detaljeret tidsplan for testen med angivelse af aktiviteter, milepæle og produkter. Start- og slutkriterier. Beskrivelse af testdata og de enkelte testcases der skal gennemføres med reference til hvor de forefindes. Blandt andet beskrives dækning (herunder skal fremgå sporbarhed mellem krav og testcases) og prioriteringer. Side 10 af 19
Beskrivelse af det testmiljø testen skal udføres i. Beskrivelse af eventuelle testværktøjer og metoder der anvendes. Beskrivelse af software, herunder systemets versionsnummer og eventuelt hvilken anden software der skal være til rådighed. Beskrivelse af hvordan testen gennemføres, inklusive planlægning, udførelse og rapportering. Beskrivelse af områder der ikke er under test. Personresurser, herunder hvilke krav der er til Kundens involvering. Uddannelses behov ved personresurser. En testplan kan desuden indeholde: En Reference til en oversigt over komponenter i systemet, der viser hvilke komponenter der er helt nye, hvilke der er delvist tilrettet og hvilke der er genbrugt. Som nærmere beskrevet i afsnit 14.2.3. 14.4.2.2 KK Det vægtes positivt, såfremt leverandøren kan levere en oversigt over samtlige komponenter i en test plan. 14.4.2.3 MK Der skal være sporbarhed mellem testplanen(er) og teststrategien og mellem testplan(er) og kravene som er beskrevet i bilag 3 og de tilhørende underbilag samt andre relevante bilag, der udtrykker krav der testes. 14.4.2.4 MK En hovedtest plan skal opdeles i fase og/eller niveautestplaner så den specifikt omhandler det der skal testes i detaljer. 14.4.2.5 MK Leverandøren udarbejder testplaner 14.4.2.6 MK Kunden reviewer og godkender testplaner 14.4.2.7 MK Leverandøren skal levere fase og/eller niveautestplaner senest 20 arbejdsdage før en prøves planlagte start. 14.4.2.8 MK Leverandøren skal ved manglende godkendelse af en testplan, indenfor 5 arbejdsdage rette op på de identificerede fejl og herefter fremsende planen til kunden igen. 14.4.2.9 MK Test plan skal være godkendt senest 10 arbejdsdage før en prøves start. 14.4.3 Testdata og testcases Enhver testcase skal indeholde en beskrivelse af formål, forudsætninger, hvilke trin der skal gennemløbes med angivelse af input, forventet resultat og en angivelse af hvilke(t) krav der testes. Kunden reviewer testcases under brug af de relevante fejlkategorier i 14.5.2, Tabel 1 og afgør om disse kan godkendes. Tilbagemelding til Leverandøren vedrørende godkendelse skal ske Side 11 af 19
senest ti arbejdsdage efter testcases er modtaget af Kunden. Ved manglende godkendelse skal Leverandøren hurtigst muligt rette op på de identificerede fejl og fremsende test cases til Kunden igen, som uden unødigt ophold skal reviewe om testcases nu kan godkendes og give Leverandøren besked herom. Det er en betingelse for igangsættelsen af en prøve eller test at testcases er godkendt af Kunden. Kravskema: Testdata og testcases 14.4.3.1 MK Leverandøren skal levere testdata jf. underbilag 14 C Afprøvningsforskrifter til prøver og tests. Enhver testcase skal som minimum indeholde følgende: 14.4.3.2 MK Beskrivelse af formål. Forudsætninger. Hvilke trin der skal gennemløbes med angivelse af input. Forventet resultat. Angivelse af krav der testes Testcases skal organiseres, herunder indsættes og opdateres af leverandøren i regionens teststyringsværktøj. 14.4.3.3 KK Det vægtes positivt, såfremt leverandøren kan levere en beskrivelse af procedure for indsættelse og opdatering af test cases i regionens teststyringsværktøj. 14.4.3.4 MK Kunden skal godkende testcases 14.4.3.5 MK En prøve eller test kan ikke påbegyndes før testcases der skal anvendes i prøven eller testen er godkendt. 14.4.3.6 MK Leverandøren skal levere testcases og evt. testdata senest 20 arbejdsdage før en prøves planlagte start. 14.4.3.7 MK Leverandøren skal ved manglende godkendelse af testcases, indenfor 5 arbejdsdage rette op på de identificerede fejl og herefter fremsende planen til kunden igen. 14.4.3.8 MK Test cases og evt. testdata skal være godkendt senest 10 arbejdsdage før en prøves start. Side 12 af 19
14.5 Godkendelse af en prøve 14.5.1 Fejlkategorisering Fejl fundet i forbindelse med en test kategoriseres med hensyn til hvor alvorlige de er, uanset hvilket miljø de er fundet i. Kategorierne beskrevet i Tabel 1 i dette afsnit benyttes. Der skelnes mellem kategorier brugt ved funktionelle test, kategorier brugt ved nonfunktionelle test og kategorier brugt ved brugervenlighedstest. Som udgangspunkt træffer Kunden beslutning om hvordan en fejl skal kategoriseres. Ved uenighed har Leverandøren dog mulighed for at eskalere afgørelsen jf. kontraktens punkt 27.2. Nr. Betegnelse Beskrivelse Fejlkategorier ved funktionelle test 1 Kritisk fejl Fejl der medfører at ingen af de væsentlige arbejdsprocesser er mulige at gennemføre, ej heller ved mindre ændringer i arbejdsgangene. Fejl der øger brugerens risiko for at sammenblande data mellem patienter. Fejl der medfører forhøjet risiko for fejl i patientbehandling eller fejl i patientlogistik (behandlingssted, indkaldelse etc.) 2 Alvorlig fejl Fejl der medfører at flere væsentlige arbejdsprocesser ikke kan gennemføres eller kun kan gennemføres ved væsentlige ændringer i arbejdsgange. Fejl der medfører at data mistes. 3 Normal fejl Fejl der ikke hindrer arbejdsprocessen i at kunne gennemføres normalt, eventuelt med mindre ændringer i arbejdsgange for at omgå fejlen. 4 Mindre betydende fejl Ubetydelig eller kosmetisk fejl, men hvor der er fejl i forhold til aftalegrundlaget. Fejlkategorier ved non-funktionelle test: belastningstest, svartidstest, skalerbarhedstest 1 Kritisk fejl Hvis det målte resultat afviger med mere end 60 % fra kravet. 2 Alvorlig fejl Hvis det målte resultat afviger med mere end 30 % men lig med eller mindre end 60 % fra kravet. 3 Normal fejl Hvis det målte resultat afviger med mere end 10 % men lig med eller mindre end 30 % fra kravet. 4 Mindre betydende fejl Hvis det målte resultat afviger med mere end 5 % men lig med eller mindre end 10 % fra kravet. Fejlkategorier ved brugervenlighedstest 1 Alvorligt brugervenligh eds problem Problem af så alvorlig karakter, at det kan risikere at påvirke Kundens troværdighed. Det er svært eller direkte umuligt at gennemføre opgaven eller fortsætte brugen af brugergrænsefladen på en meningsfyldt måde. Brugeren må eksempelvis have hjælp fra andre for at komme videre. Til denne kategori hører også situationer, hvor brugeren synes, at produktet forlanger unødvendige oplysninger eller handlinger. 2 Forstyrrende brugervenligh eds problem Problem der er forstyrrende for brugen af produktet og indebærer, at brugeren anvender uforholdsmæssigt meget tid på at løse en opgave. Side 13 af 19
3 Kosmetisk problem Observationer, der ikke har større betydning for brugervenligheden, men som dog generer det generelle indtryk af brugergrænsefladen. 4 God ide Et brugerforslag, der kan forbedre brugergrænsefladens brugervenlighed. Fejlkategorier ved dokumentationstest og review 1. Kritisk fejl Dokumentet indeholder fejl som bevirker, at dokumentet ikke lever op til kontraktens krav eller til efterfølgende dokumenterede afklaringer. Eller dokumentet indeholder fejl eller unøjagtigheder som gør læsningen og forståelsen af dokumentet meget svær eller umulig. 2. Væsentlig fejl Dokumentet indeholder beskrivelser som er inkonsistente med andre beskrivelser i samme eller andre dokumenter, eller dokumentet indeholder væsentlige fejl eller formuleringer som gør det vanskeligt at forstå for den modtagergruppe, dokumentet er tiltænkt. 3. Mindre væsentlig fejl Indholdet har behov for uddybning eller præcisering, eller der er andre fejl som hverken er kritiske eller væsentlige. 4. Skønhedsfejl Der er mindre fejl i dokumentet, fx stavefejl, grammatiske fejl eller Tabel 1. Fejlkategorier. andre fejl, som ikke hindrer læsning af dokumentet, men som alligevel forstyrrer øjet der læser. Ad brugervenlighedstest: En fejl fundet gennem en brugervenlighedstest klassificeres som et brugervenlighedsproblem. Som grundlag for at definere hvor alvorligt et givet brugervenlighedsproblem er, vurderes følgende: Hvad er frekvensen eller hyppigheden af fejlen/problemet? Hvilken indvirkning har problemet/fejlen på brugernes anvendelsessituation? Vil det være let eller svært for brugeren at komme uden om problemet/fejlen? Er problemet vedvarende eller er det en engangsfejl/et engangsproblem, som brugeren kan overkomme, når denne først ved hvordan, eller vil brugeren gentagne gange blive generet af problemet/fejlen? Hvilken indvirkning har problemet/fejlen på tilliden til Kunden? Har fejlen stor eller lille betydning for Kundens troværdighed i brugernes øjne, hvor selv mindre fejl objektivt set kan have markant betydning. Et brugervenlighedsproblem er et problem, uanset om en eller flere brugere har oplevet problemet. Såfremt en bruger oplever problemet, er der en risiko for at andre brugere vil opleve tilsvarende problemer, når Leverancen via brugergrænsefladen bliver taget i brug. Ad dokumentationstest og review: Den anførte kategorisering anvendes ved dokumentationstest, jf. underbilag 14 C Afprøvningsforskrifter til prøver og tests, og ved review af øvrige dokumenter udarbejdet af Leverandøren og beskrevet i bilag 4. Kravskema: Fejlkategorisering 14.5.1.1 MK Leverandøren skal ved afprøvning og test benytte fejl kategorierne beskrevet i dette bilag afsnit 14.5.1 i fejl kategorisering. 14.5.2 Reaktioner ved fejl En prøve eller test kan afbrydes af Kunden, hvis der findes kritiske eller alvorlige fej l, jf. Tabel 2 i dette afsnit. Kunden beslutter om prøven/testen kan fortsætte mens fejlen udbedres. Side 14 af 19
Kunden beslutter ligeledes om prøven/testen skal starte forfra efter at Leverandøren har udbedret den pågældende fejl, eller om den kan fortsætte fra det punkt man var nået til. Kunden og leverandøren skal i en dialog fastsætte omfanget af en eventuel regressionstest. Tabel 2 beskriver desuden hvordan Leverandøren skal reagere på identificerede fejl og problemer. Testperioden er den periode, der er afsat til selve gennemførelsen af en prøve eller test. Nr. Betegnelse Reaktion ved funktionelle test 1 Kritisk fejl Identificeres en sådan fejl under en prøve eller test, kan Kunden vælge at afbryde prøven/testen, idet det ikke giver mening at fortsætte. Leverandøren skal, uden ugrundet ophold, udbedre den eller de kritiske fejl. Hvis Leverandøren ikke er i stand til at udbedre den/de kritiske fejl inden for maksimalt fem (5) kalenderdage, skal Leverandøren levere bindende planer til Kunden for hvorledes den/de kritiske fejl vil blive udbedret inden for testperioden. 2 Alvorlig fejl Kunden kan vælge at indstille testen/prøven, såfremt sådanne fejl identificeres. Leverandøren skal, uden ugrundet ophold, udbedre den eller de alvorlige fejl. Hvis Leverandøren ikke er i stand til at udbedre den/de alvorlige fejl inden for maksimalt ti (10) kalenderdage, skal Leverandøren levere bindende planer til Kunden for hvorledes den/de alvorlige fejl vil blive udbedret inden for testperioden. 3 Normal fejl Leverandøren skal, uden ugrundet ophold, udbedre den eller de betydende fejl. Hvis Leverandøren ikke er i stand til at udbedre den/de betydende fejl inden for maksimalt femten (15) kalenderdage, skal Leverandøren levere bindende planer til Kunden for hvorledes den/de betydende fejl vil blive udbedret inden for testperioden. 4 Mindre betydende fejl Leverandøren skal levere bindende planer til Kunden, der beskriver hvorledes alle normale fejl udbedres inden for testperioden. Reaktion ved non-funktionelle test: belastningstest, svartidstest, skalerbarhedstest 1 Kritisk fejl Identificeres en sådan fejl under en test, kan Kunden vælge at afbryde testen, idet det ikke giver mening at fortsætte. Leverandøren skal reagere som beskrevet for kritisk fejl ved en funktionel test. 2 Alvorlig fejl Kunden kan vælge at indstille testen, såfremt sådanne fejl identificeres. Leverandøren skal reagere som beskrevet for alvorlig fejl ved en funktionel test. 3 Normal fejl Leverandøren skal reagere som beskrevet for normal fejl ved en funktionel test. 4 Mindre betydende fejl Leverandøren skal reagere som beskrevet for mindre betydende fejl ved en funktionel test. Reaktion ved brugervenlighedstest 1 Alvorligt brugervenligh eds problem Identificeres en sådan fejl under en prøve eller test, kan Kunden vælge at afbryde prøven/testen, idet det ikke giver mening at fortsætte. Side 15 af 19
Leverandøren skal, uden ugrundet ophold, udbedre den eller de alvorlige brugervenlighedsproblemer. Hvis Leverandøren ikke er i stand til at udbedre den/de alvorlige brugervenlighedsproblemer inden for maksimalt fem (5) kalenderdage, skal Leverandøren levere bindende planer til Kunden for hvorledes den/de alvorlige brugervenlighedsproblemer vil blive udbedret inden for testperioden. 2 Forstyrrende brugervenligh eds problem Leverandøren skal, uden ugrundet ophold, udbedre den eller de forstyrrende brugervenlighedsproblemer. Hvis Leverandøren ikke er i stand til at udbedre den/de forstyrrende brugervenlighedsproblemer inden for maksimalt ti (10) kalenderdage, skal Leverandøren levere bindende planer til Kunden for hvorledes den/de forstyrrende brugervenlighedsproblemer vil blive udbedret inden for testperioden. 3 Kosmetisk problem Leverandøren skal levere bindende planer til Kunden, der beskriver hvordan og hvornår alle kosmetiske problemer udbedres. 4 God ide Lægges i idébunken, og det diskuteres med Leverandøren hvorvidt idéen vil blive implementeret uden beregning eller behandlet som et ændringsønske. Leverandøren er ikke forpligtet til at tage gode idéer i betragtning medmindre Kunden vil betale for det. Reaktion ved dokumentationstest og review 1. Kritisk fejl Identificeres en sådan fejl under en test eller et review, kan Kunden vælge at afbryde testen/reviewet, idet det ikke giver mening at fortsætte. Leverandøren skal reagere som beskrevet for kritisk fejl ved en funktionel test. 2. Væsentlig fejl Leverandøren skal reagere som beskrevet for alvorlig fejl ved en funktionel test. 3. Mindre væsentlig fejl Leverandøren skal levere bindende planer til Kunden, der beskriver hvordan og hvornår alle mindre væsentlige fejl udbedres. 4. Skønhedsfejl Leverandøren skal levere bindende planer til Kunden, der beskriver hvornår skønhedsfejl udbedres. Tabel 2. Reaktioner ved identificerede fejl og problemer. Kravskema: Reaktioner ved fejl Hvis der er konstateret en fejl i systemet, skal leverandøren overholde de forskrifter der beskriver reaktioner ved fejl jf. dette bilag afsnit 14.5.2. 14.5.2.1 KK Det vægtes positivt, såfremt leverandøren kan bekræfte at overholde de forskrifter der beskriver reaktioner ved fejl jf. dette bilag afsnit 14.5.2. 14.5.2.2 KK Kunden kan afbryde en prøve eller test, hvis der findes fejl i kategorien 1 eller 2. Det vægtes positivt, såfremt leverandøren kan bekræfte afbrydelse af test, hvis der findes fejl i kategorien 1 eller 2. Side 16 af 19
14.5.2.3 MK Kunden bestemmer om testen skal fortsætte eller starte forfra efter udbedringen af en fejl. 14.5.3 Godkendelse af prøve/test Kundens godkendelse af en prøve eller test sker på baggrund af den udarbejdede testrapport. Kunden skal, medmindre andet fremgår under den pågældende testtype, jf. underbilag 14 C Afprøvningsforskrifter til prøver og tests, efter modtagelse (jf. bilag 1 Tidsplan) af en testrapport fra Leverandøren skriftligt meddele Leverandøren, om den pågældende test/prøve kan godkendes. Der inkluderes en mangelliste med angivelse af fejl og/eller manglende overholdelse af servicemål. Hvis det er Kunden, der har hovedansvaret for en prøve/test, skal Kunden på tilsvarende vis skriftligt meddele Leverandøren om prøven/testen er bestået eller ej. Medmindre andet er aftalt, skal dette ske efter testen er gennemført og den afsluttende testrapport udarbejdet. Godkendelsen af en prøve/test omfatter to delelementer: Godkendelse af testrapport. Godkendelse af testresultat. Både testrapport og testresultat skal opfylde kravene til godkendelse, før prøven/testen samlet kan godkendes. En forudsætning for Kundens godkendelse af en prøve/test er, at testrapporten er udarbejdet i overensstemmelse med kravene hertil som angivet i afsnit 14.6.2.2, herunder at rapporten tydeligt viser at prøven/testen har omfattet afprøvning af alle relevante områder af det leverede. Hvis testrapporten ikke er udarbejdet i overensstemmelse med kravene hertil, kan Kunden afvise testrapporten. Leverandøren er herefter forpligtet til at udarbejde en revideret rapport, der uden udgrundet ophold skal leveres til Kunden. Hvis rapporten viser, at prøven/testen ikke har omfattet alle dele af det leverede, som ifølge testplanen skulle have været afprøvet, kan Kunden afvise prøven/testen. Leverandøren er herefter, medmindre Kunden bestemmer andet, forpligtet til at gentage den fulde prøve/test. Kunden skal, på anmodning, have mulighed for fuld indsigt i det materiale der danner grundlag for testrapporten. Alle prøver/test godkendes af Kunden dog ikke miljøaccepttesten hvis denne er medtaget. Åbne fejl fra test der hører ind under en prøve, såvel som åbne fejl fra tidligere prøver indgår i opgørelsen over antallet af konstaterede fejl i en prøve, som beskrevet i Tabel 3 i afsnit 14.5.4. Åbne fejl fra test af samme type som den der rapporteres fra, tæller med i antallet af konstaterede fejl i testen, som beskrevet i Tabel 3 i afsnit 14.5.4. I underbilag 14 C Afprøvningsforskrifter til prøver og tests er der for hver enkelt prøve og test angivet slutkriterier, dvs. hvilke kriterier der skal være opfyldt for at prøven/testen kan godkendes. Kravskema: Godkendelse af prøve/test 14.5.3.1 MK 14.5.3.2 MK Kunden skal på baggrund af en udarbejdet testrapport godkende en prøve eller test. Både testrapport og testresultat skal opfylde kravene til godkendelse, før prøven/testen samlet kan godkendes, jf. afsnit 14.5.4. Side 17 af 19
14.5.3.3 MK Leverandøren skal jf. underbilag 14 C Afprøvningsforskrifter til prøver og tests overholde de slutkriterier der er angivet heri for hver enkelt prøve eller test. 14.5.3.4 MK Alle åbne fejl skal tælles med i opgørelser over fejl. 14.5.3.5 MK Kunden skal forholde sig til en test rapport indenfor 10 arbejdsdage. 14.5.4 Fejltolerancer Tabel 3 beskriver hvilke tolerancer Kunden har i forhold til godkendelse af prøver/test. De konkrete godkendelseskriterier for den enkelte prøve/test er beskrevet i underbilag 14 C Afprøvningsforskrifter til prøver og tests. Fejltolerancer ved funktionelle og non-funktionelle test Det accepterede antal fejl i en leverance er: Ingen kategori 1 og 2 fejl og maksimalt 5 kategori 3 fejl og 30 kategori 4 fejl. For kategori 3, 4 og 5 fejl skal der foreligge en plan for udbedring af fejlene, som skal godkendes af Kunden. Fejltolerancer ved brugervenlighedstest og it-tilgængelighedstest For testpersonerne skal det gælde at maksimalt 20 % af testpersonerne må finde kategori 1 fejl, maksimalt 30 % må finde kategori 2 fejl, maksimalt 40 % må finde kategori 3 fejl. Desuden må testlederen/eksperten ikke have fundet nogen kategori 1 fejl og 2 fejl, maksimalt 5 kategori 3 fejl og 30 kategori 4 fejl. Fejltolerancer ved dokumentationstest og review Det accepterede antal fejl i en leverance er: Ingen kategori 1 og 2 fejl og maksimalt 5 kategori 3 fejl og 30 kategori 4 fejl. Tabel 3. Fejltolerancer. Kravskema: Fejltolerancer 14.5.4.1 MK Leverandøren skal overholde fejltolerancer i forhold til godkendelse af prøver eller tests beskrevet i dette bilag afsnit 14.5.4. 14.6 Afprøvningsrapporter Afprøvningsrapporterne dokumenterer de udførte afprøvninger, således at det er klart, hvad der er afprøvet, og hvad afprøvningsresultatet var. 14.6.1 Afrapporteringsformat Kravskema: Afrapporteringsformat 14.6.1.1 MK Leverandøren skal afrapportere i word format hvor der refereres til test eksekverings resultater 14.6.2 Rapportering af resultater Den hovedansvarlige (Leverandøren eller Kunden) for en prøve eller test skal udarbejde en rapport over prøve-/testforløbet i form af en prøverapport eller testrapport der dokumenterer prøvens/testens resultat. Side 18 af 19
Rapporten skal angive resultatet af prøvens/testens gennemførelse og skal overholde hvad der er defineret i krav 14.6.2.2. Derudover skal Leverandøren supplere med en plan for udbedring hvis der er udeståender. Kravskema: Rapport over prøve-/testforløbet 14.6.2.1 MK 14.6.2.2 MK 14.6.2.3 MK 14.6.2.4 MK Leverandøren skal senest 5 arbejdsdage efterendt prøve- /testforløb udarbejde en rapport indholdende punkter fra krav 14.6.2.2. En testrapport skal som minimum indeholde følgende punkter: Dokumentation af at alle testcases er gennemført samt resultatet deraf. Hvor mange hændelser (fejl/problemer) der er fundet i alt og med hvilken kategori. Hvor mange hændelser der er udestående og med hvilken kategori. Handlingsplan for udestående hændelser. Er slutkriterierne opfyldt? Var startkriterierne opfyldt? Eventuelle afvigelser i forhold til testplanen (inklusive tidspunkter og involverede personer). Oversigt over eventuelle udeståender. Software versioner brugt under test. Evt. øvrige relevante forhold. Leverandøren skal efter endt prøve-/testforløb levere en plan for udbedringer hvis der er udeståender Kunden kan afvise en testrapport hvis denne ikke opfylder kravene 14.6.2.1 14.6.2.3 Side 19 af 19