Bilag 6 Afprøvninger Version

Transkript

1 Bilag 6 Afprøvninger Version

2 Indhold 1 VEJLEDNING TIL TILBUDSGIVER INDLEDNING TERMINOLOGI TESTOMFANG TESTORGANISATION ANSVARSFORDELING (ROLLER OG ANSVAR) AFPRØVNINGSMILJØER OG TESTDATA TESTVÆRKTØJER FEJLKATEGORIER UNDER AFPRØVNING FEJLKATEGORIER FOR BRUGERVENLIGHEDSTEST FEJLKATEGORIER FOR ØVRIGE AFPRØVNINGER UDARBEJDELSE OG LEVERING AF TESTDOKUMENTATION HÅNDTERING AF FEJL OPFØLGNING OG AFRAPPORTERING KLARMELDING FØR OPSTART AF AFPRØVNING AFRAPPORTERING UNDER GENNEMFØRELSE AF AFPRØVNING AFRAPPORTERING EFTER AFSLUTTET AFPRØVNING AFPRØVNINGSOMFANG GENERELLE TIDSFRISTER I FORBINDELSE MED AFPRØVNINGER GENERELLE STARTKRITERIER BRUGERVENLIGHEDSTEST FORMÅL STARTKRITERIER GENNEMFØRELSE ANSVARSFORDELING AFRAPPORTERING Bilag 6 Afprøvninger Side 2 af 41

3 3.3.6 GODKENDELSESKRITERIER KOMPONENTTEST OG KOMPONENTINTEGRATIONSTEST FORMÅL STARTKRITERIER GENNEMFØRELSE ANSVARSFORDELING AFRAPPORTERING GODKENDELSESKRITERIER DELLEVERANCEPRØVE FORMÅL STARTKRITERIER GENNEMFØRELSE ANSVARSFORDELING AFRAPPORTERING GODKENDELSESKRITERIER SAMLET SYSTEMINTEGRATIONSTEST FORMÅL STARTKRITERIER GENNEMFØRELSE ANSVARSFORDELING AFRAPPORTERING GODKENDELSESKRITERIER IDRIFTSÆTTELSESPRØVE FORMÅL STARTKRITERIER GENNEMFØRELSE ANSVARSFORDELING AFRAPPORTERING GODKENDELSESKRITERIER KONVERTERINGSPRØVE FORMÅL STARTKRITERIER Bilag 6 Afprøvninger Side 3 af 41

4 3.8.3 GENNEMFØRELSE ANSVARSFORDELING AFRAPPORTERING GODKENDELSESKRITERIER OVERTAGELSESPRØVE FORMÅL STARTKRITERIER GENNEMFØRELSE ANSVARSFORDELING AFRAPPORTERING GODKENDELSESKRITERIER VERIFIKATION AF IDRIFTSÆTTELSE OG ENDELIG KONVERTERING FORMÅL STARTKRITERIER GENNEMFØRELSE ANSVARSFORDELING AFRAPPORTERING GODKENDELSESKRITERIER DRIFTSPRØVE FORMÅL STARTKRITERIER GENNEMFØRELSE ANSVARSFORDELING AFRAPPORTERING GODKENDELSESKRITERIER REVIEW OG GODKENDELSE AF DOKUMENTATION TESTPROCEDURE I FORBINDELSE MED VIDEREUDVIKLINGSOPGAVER TESTDOKUMENTATION TESTSTRATEGI FORMÅL Bilag 6 Afprøvninger Side 4 af 41

5 4.1.2 INDHOLD UDARBEJDELSE OG GODKENDELSE TESTPLAN FORMÅL INDHOLD UDARBEJDELSE OG GODKENDELSE TESTSCENARIER FORMÅL INDHOLD UDARBEJDELSE OG GODKENDELSE TESTCASE FORMÅL INDHOLD UDARBEJDELSE OG GODKENDELSE TESTRAPPORT FORMÅL INDHOLD UDARBEJDELSE OG GODKENDELSE LEVERANDØRENS BESKRIVELSE AF AFPRØVNING LEVERANDØRENS TESTSTRATEGI LEVERANDØRENS BESKRIVELSE AF DE ENKELTE AFPRØVNINGER LEVERANDØRENS BESKRIVELSE AF TEST- OG FEJLSTYRINGSVÆRKTØJ LEVERANDØRENS BESKRIVELSE AF HÅNDTERING AF FEJLRAPPORTERING LEVERANDØRENS BESKRIVELSE AF AUTOMATISERET TEST Bilag 6 Afprøvninger Side 5 af 41

6 1 Vejledning til Tilbudsgiver Vejledning: I dette dokument beskrives, hvilken afprøvning der skal gennemføres af Systemet før og efter idriftsættelse. Bilaget skal udfyldes af Tilbudsgiver jf. nedenstående retningslinjer. Tilbudsgivers eventuelle forbehold anføres i en forbeholdsliste og skrives ind med ændringsmarkeringer i selve bilaget i overensstemmelse med udbudsbetingelserne. Tilbudsgiver skal, som en del af sit tilbud, følge og besvare instruktioner, som er markeret med [ ]. Dette betyder, at Tilbudsgiver skal: I afsnit 5.1 vedlægge et udkast til Teststrategi. I afsnit 5.2 for hver afprøvning beskrive hvordan han vil planlægge og gennemføre disse, samt hvilken metode og testteknikker, der benyttes til disse afprøvninger I afsnit 5.2 angive beskrivelse af eventuelle yderligere testforløb, som Tilbudsgiver finder relevante til afprøvning af Leverancen. I afsnit 5.3 redegøre for, hvilke test- og fejlstyringsværktøj (evt. flere værktøjer) der benyttes til de afprøvninger, der skal gennemføres. I afsnit 5.4 redegøre for, hvilke data der forventes at være i en korrekt udfyldt fejlrapport, og hvordan Tilbudsgiver vil håndtere fejl og uhensigtsmæssigheder, fra disse er rapporteret, til de er meldt rettet eller afvist. I afsnit 5.5 redegøre for, hvilke testværktøjer, der benyttes til automatiseret test og Tilbudsgivers erfaringer med disse. Tabel 1 Vejledning til Tilbudsgiver Bilag 6 Afprøvninger Side 6 af 41

7 2 Indledning Dette bilag beskriver den afprøvning af Leverancen, der skal gennemføres for at sikre, at Leverancen opfylder de specificerede krav, og at Leverancen kan avendes i henhold til det aftalte. For hver afprøvning (test) angives formålet, processen for gennemførelsen samt de Godkendelseskriterier, Leverancen skal opfylde for, at en afprøvning kan betragtes som godkendt. 2.1 Terminologi Ved al planlægning, gennemførelse, dokumentation og afrapportering af afprøvningen skal Leverandøren benytte dokumenterede og anerkendte begreber, f.eks. seneste godkendte testterminologi fra ISTQB. Hvis Leverandøren benytter begreber, eller undtagelsesvis tillægger begreber en anden betydning end et i forvejen kendt og anvendt begreb, skal dette fremgå klart, eksempelvis i en separat ordliste eller i et underafsnit. I tvivlstilfælde benyttes terminologiliste fra ISTQB Software Testing (ISTQB version 2.2). 2.2 Testomfang Leverandøren har det fulde ansvar for alle afprøvninger og er ansvarlig for planlægningen og udførelsen af disse. De afprøvninger, der skal gennemføres fremgår af Tabel 2 nedenfor. Etape Afprøvninger: Brugervenlighedstest Komponenttest Komponent- Integrationstest Delleveranceprøve Samlet systemintegrationstest Etape I (Afklaring) X Etape II (Analyse, Design, Udvikling) X X X X Etape III (Implementering, Afslutning og Godkendelse) Bilag 6 Afprøvninger Side 7 af 41

8 Etape Idriftsættelsesprøve Konverteringsprøve Overtagelsesprøve Verifikation af idriftsættelse og endelig konvertering Driftsprøve X X X X X Tabel 2 - Rækkefølge af afprøvningerne Sammenhængen mellem Udviklingsprojektets Etaper og de enkelte afprøvninger fremgår af Figur 1 nedenfor. Omfanget af afprøvninger kan variere i Etape II, afhængig af de enkelte Delleverancers indhold. De enkelte afprøvningers sammenhæng med øvrige aktiviteter i Udviklingsprojektet fremgår af bilag 1 (Tidsplan). Figur 1 Udviklingsprojektets Etaper og sammenhæng med afprøvningerne Komponenttest, komponent-integrationstest er Leverandørens afprøvninger der gennemføres uden tilslutning til eksterne parter. Bilag 6 Afprøvninger Side 8 af 41

9 2.3 Testorganisation I gennemførelsen af afprøvningerne er der en række afgørende roller og ansvarsområder. For at sikre en klar opgave- og ansvarsfordeling i gennemførelsen af afprøvningerne vil der blive etableret en organisering, der er i funktion mens afprøvningerne gennemføres. Denne organisation er vist i Figur 2 og er underlagt Udviklingsprojektets almindelige projektledelse, men går derudover på tværs af Udviklingsprojektets delprojekter/arbejdsgrupper. Den funktionelle afklaringsgruppe bemandes af ATP og har til formål at træffe funktionelle beslutninger efter vejledning fra projektledelsen. Leverandørens testmanager er ansvarlig for planlægning, tilrettelæggelse, gennemførelse og kontrol af alle afprøvningernes gennemførelse. Figur 2 Testorganisation Bilag 6 Afprøvninger Side 9 af 41

10 2.4 Ansvarsfordeling (roller og ansvar) Tabellen nedenfor viser Ansvarsfordelingen i de enkelte afprøvninger. Afprøvning Ansvarlig for planlægning og Medvirker Godkender Miljø udførelse Etape I (Afklaring) Brugervenlighedstest Leverandør ATP ATP Klikbar prototype Etape II (Analyse, Design, Udvikling og Implementering) Komponenttest Leverandør Leverandør Leverandør Leverandørens interne testmiljø Komponent-integrationstest Leverandør Leverandør Leverandør Leverandørens interne testmiljø Delleveranceprøve Leverandør ATP/Leverandør ATP Eksternt testmiljø Samlet systemintegrationstest Leverandør ATP/Leverandør ATP Eksternt testmiljø Etape III (Afslutning og Godkendelse) Idriftsættelsesprøve Leverandør ATP/Leverandør ATP Præproduktionsmiljø Konverteringsprøve Leverandør ATP/Leverandør ATP Præproduktionsmiljø Overtagelsesprøve Leverandør ATP ATP Præproduktionsmiljø Verifikation af idriftsættelse Leverandør ATP ATP Produktionsmiljø og endelig konvertering Driftsprøve Leverandør Leverandør ATP Produktionsmiljø Tabel 3 Ansvarsfordeling under de forskellige afprøvninger. Under planlægningen har Leverandøren ansvar for følgende: Planlægning af testforberedelse. Planlægning af testgennemførelse. Planlægning af testgodkendelse. Ressourceplanlægning og bemanding i henhold til testorganisationen. Tilvejebringelse af alle forudsætninger for igangsætning og gennemførelse af afprøvningen, i overensstemmelse med angivne startkriterier for hver afprøvning. Udarbejdelse af testscenarier ud fra retningslinjer udarbejdet af ATP. Udarbejdelse af testcases ud fra retningslinjer udarbejdet af ATP. Tilvejebringelse af nødvendige testværktøjer, herunder værktøj til fejl/afvigelsesrapportering og opfølgning. Under gennemførelse har Leverandøren ansvaret for: Bilag 6 Afprøvninger Side 10 af 41

11 Løbende planlægning og opfølgning på Testplan herunder genplanlægning hvor afprøvningen ikke kan gennemføres som planlagt. Testgennemførelse. Afrapportering, opfølgning og løsning af Fejl. Afrapportering af testresultater blandt andet i henhold til afsnit 2.10 Opfølgning og afrapportering nedenfor. Leverandøren skal inddrage ATP med henblik på, dels at ATP kan verificere prøveforløbenes overensstemmelse med Kontrakten, dels rigtigheden af testresultatet, herunder de faktiske resultaters overensstemmelse med det, som fremgår af Leverandørens testrapporter. Under godkendelse har Leverandøren ansvaret for: Foranstaltning af en godkendelsesproces i henhold til Godkendelseskriterierne beskrevet i dette bilag, herunder tilvejebringelse af det nødvendige grundlag for at foretage godkendelsen. Opsamling på og udarbejdelse af handlingsplan for at imødekomme alle eventuelle betingelser forbundet med godkendelsen (ved en betinget godkendelse). Afrapportering til ATP s projektledelse. Under planlægning har ATP ansvaret for: Udarbejdelse af retningslinjer for testscenarier og testcases. Under godkendelse har ATP ansvaret for: Godkendelse af afrapportering jf. afsnit Godkendelse af Teststrategi, Testplaner, testscenarier og testcases i henhold til afsnit ATP kan vælge at supplere med yderligere testscenarier og testcases. 2.5 Afprøvningsmiljøer og testdata Det er Leverandørens ansvar at sikre, at de nødvendige miljøer med testdata er til rådighed jf. Teststrategi, Testplan og testscenarier, når en afprøvning skal afvikles. afprøvningerne skal kunne gennemføres i de i Tabel 3 anførte miljøer. De nærmere krav til miljøerne er angivet i bilag 3A (Behovsopgørelse) og 3A.1 (Kravliste), non-funktionelle krav, kravgruppen Miljøer. Bilag 6 Afprøvninger Side 11 af 41

12 2.6 Testværktøjer Der skal i forbindelse med de forskellige testforløb anvendes et testværktøj til kravstyring, testforberedelse, testeksekvering samt defect/fejlstyring, således at samme data nemt og hurtigt kan benyttes i flere forskellige testsammenhænge, for eksempel at Krav, Testcase, Testscript og Fejl automatisk sammenknyttes i forbindelse med fejlrapportering eller rapportering. 2.7 Fejlkategorier under afprøvning Fejlkategorier for brugervenlighedstest Følgende kategorisering af Fejl anvendes af ATP i forbindelse med brugervenlighedstesten. Det er alene ATP s beslutning at kategorisere Fejl i disse kategorier, men Leverandøren er berettiget til at komme med anbefalinger til ATP herom. Kategori A B C Beskrivelse af fejl Testpersonen kan ikke gennemføre opstillede testscenarier, da personen ikke forstår løsningen. Denne type fejl hindrer testpersonen i at gennemføre selvbetjeningen/sagsbehandlingen. Testen skal kortlægge alle kategori A fejl. Testpersoner kan gennemføre opstillede testscenarier, men er uforholdsmæssigt lang tid om at gennemføre et eller flere trin i løsningen. Testpersoner `strander med andre ord ved en funktionalitet i længere tid, inden de forstår, hvordan de interagerer med løsningen. Fejl, der kun giver mindre eller næsten ingen gene hos testpersonen. Fejlen hindrer ikke, at testpersonen kan gennemføre selvbetjenings-/sagsbehandlingsflowet. Tabel 4 Fejlkategorier ved brugervenlighedstesten Fejlkategorier for øvrige afprøvninger Følgende kategorisering af Fejl anvendes af ATP i forbindelse med afprøvningerne, bortset fra brugervenlighedstesten. Det er alene ATP s beslutning at kategorisere Fejl i disse kategorier, i forbindelse med de afprøvninger hvor ATP er medvirkende, men Leverandøren er berettiget til at komme med anbefalinger til ATP herom. Fejlkategori Betydning 1. Kritiske fejl Fejl i programmel, udstyr eller data, som gør at test ikke kan fortsættes. En kritisk fejl forhindrer testeren eller væsentlige dele af testen i at komme videre, og det tjener derfor ikke noget Bilag 6 Afprøvninger Side 12 af 41

13 Fejlkategori Betydning fornuftigt formål at fortsætte testen indenfor de berørte områder. Fejl i denne kategori vil betyde, at programmel, udstyr eller data skal udskiftes, opdateres eller modificeres i væsentlig grad på flere afgørende punkter. En Fejl i denne kategori medfører at en fuld eller omfattende gentest er nødvendig for at verificere, at den afhjælpende handling (udskiftning, opdateres, modificering) er gennemført med det ønskede resultat og, at det kan dokumenteres. 2. Større fejl Større fejl i programmel, udstyr eller data, som gør at dele af testen ikke kan fortsættes medmindre en væsentlig work-around tages i anvendelse. Større fejl vil typisk betyde, at programmel, udstyr eller data enten skal udskiftes, opdateres eller modificeres på flere punkter. En Fejl i denne kategori vil medføre at en gentest er nødvendig for at verificere, at den afhjælpende handling (udskiftning, opdateres, modificering) er gennemført med det ønskede resultat og, at det kan dokumenteres. 3. Mindre fejl Mindre fejl i programmel, udstyr eller data, som gør at test kan fortsætte, f.eks. ved at en simpel work-around tages i anvendelse, men i øvrigt ikke stopper testen. Fejl i denne kategori vil typisk betyde, at programmel, udstyr eller data enten skal udskiftes, opdateres eller modificeres på en række punkter. En Fejl i denne kategori vil medføre at en gentest er nødvendig for at verificere, at den afhjælpende handling (udskiftning, opdateres, modificering) er gennemført med det ønskede resultat og, at det kan dokumenteres. 4. Uhensigtsmæssigheder Fejl i programmel, udstyr eller data, som er mindre betydelige eller af kosmetisk art, men fortsat en fejl i forhold til Kontrakten, eksempelvis stavefejl, fejl i layout af skærmbilleder, og lignende. En fejl, som ikke påvirker dataintegritet eller i væsentlig grad Systemets anvendelse i øvrigt, men som kræver en mindre uvæsentlig handling for at rette. Fejl i denne kategori kan typisk betyde, at programmel, udstyr eller data enten skal udskiftes, opdateres eller modificeres. ATP vil vurdere om gentest af fejl i denne kategori er nødvendig for at verificere, at den afhjælpende handling (udskiftning, opdateres, modificering) er gennemført med det ønskede resultat og, at det kan dokumenteres. Bilag 6 Afprøvninger Side 13 af 41

14 Tabel 5 Fejlkategorier ved øvrige afprøvninger 2.8 Udarbejdelse og levering af testdokumentation Udarbejdelse og levering af testdokumentation skal følge anvisningerne i kapitel Håndtering af Fejl Alle Fejl der identificeres under afprøvningen skal registreres af testeren i det dertil indrettede testværktøj. Registreringen skal indeholde alle de oplysninger der er nødvendige for at behandle fejlrapporten. Fejl-gruppen er ansvarlig for snarest derefter at behandle fejlrapporten og løse denne, eller angive en beskrivelse af hvorfor fejlrapporten afvises. Se Figur 2 Testorganisation. Det er udelukkende ATP, der kan godkende løsningen på en Fejl enten ved gentest, verifikation eller ved accept af at fejlrapporten ikke krævede en rettelse i Systemet. Dette gælder de afprøvninger, hvor ATP medvirker. I forhold til de afprøvninger hvor Leverandøren alene er ansvarlig, skal Leverandøren levere en testrapport til ATP, som dokumentation for afprøvningens gennemførelse og resultat. Alle fejlrapporter, der lukkes, skal indeholde en nøje beskrivelse af løsningen på den konstaterede Fejl. Leverandøren skal føre en log over alle fejlrapporter, som skal være online tilgængelig for ATP via det anvendte testværktøj, jf. afsnit 2.6. Alle fejlrapporter, der lukkes, skal have beskrevet en begrundet løsning, således at dette tjener som en del af den officielle dokumentation for Leverancen. Der skal holdes historik på fejlrapporter, således at det ved testafrapportering er muligt at føre statistik over alle fundene Fejl i de forskellige testfaser. Den specifikke procedure for de enkelte afprøvninger, skal beskrives i Testplaner, jf. afsnit 4.2 nedenfor Opfølgning og afrapportering Klarmelding før opstart af afprøvning Leverandøren er ansvarlig for planlægning i henhold til afsnit 2.4. Leverandøren skal forinden opstart på en afprøvning, give ATP en skriftlig klarmelding. Bilag 6 Afprøvninger Side 14 af 41

15 Klarmeldingen skal omfatte dokumentation for, at startkriterierne for afprøvningen er overholdt. Klarmeldingen skal foreligge senest 5 dage før den planlagte startdato for afprøvning. Hvis Leverandøren er bekendt med forhold, der vil påvirke afprøvningens gennemførelse som planlagt, skal Leverandøren uden ugrundet ophold meddele dette til ATP, så eventuelle konsekvenser for ATP s ressourcer kan indarbejdes i god tid Afrapportering under gennemførelse af afprøvning Leverandøren er ansvarlig for gennemførelse i henhold til afsnit 2.4. Leverandøren er forpligtet til, under gennemførelse af en afprøvningen, på ATP s forlangende, at udarbejde en statusrapport på fremdrift for gennemførelse af afprøvningen, samt en risikovurdering i forhold til konstaterede Fejl, anbefalede korrigerende handlinger, herunder planlægning af gentest af afprøvningen, samt konsekvenser for afprøvningens validitet og konsekvenser for øvrige aktiviteter omfattet af Leverancen. Denne statusrapport skal tydeligt angive sammenhængen mellem Fejl og testscenarier/testcases, således at det er muligt at se, hvilke dele af Systemet og afprøvningen, der er påvirket af de konstaterede Fejl. Leverandøren skal fremsende statusrapporten senest 8 timer efter ATP s skriftlige forlangende, regnet inden for normal forretningstid, dvs. Arbejdsdage i tidsrummet Statusrapporten skal fremsendes skriftligt til ATP s projektleder eller dennes stedfortræder. Under gennemførelse af en afprøvning har ATP ret til at få udleveret gældende kopier af udfyldte testskemaer indeholdende testresultater, fejlrapporter, samt øvrige testbilag i det omfang, det ønskes. Leverandøren skal udlevere materialet uden ugrundet ophold til ATP s projektleder og testmanager Afrapportering efter afsluttet afprøvning Leverandøren er ansvarlig for gennemførelse i henhold til afsnit 2.4. Leverandøren skal efter afsluttet afprøvning, afrapportere resultaterne i form af en skriftlig testrapport. Testrapporten skal omfatte en fuldstændig liste af de testscenarier og testcases der er gennemført, samt alle rapporterede Fejl og forslag til kategorisering af de konstaterede Fejl samt løsning og aktuel status på disse. Herudover skal Bilag 6 Afprøvninger Side 15 af 41

16 testrapporten redegøre for, hvilke testcases der er henholdsvis har bestået/ikke bestået acceptkriterierne. En afprøvning, som ATP skal godkende, kan kun betragtes som godkendt, når ATP skriftligt har godkendt testrapporten for den pågældende afprøvning. Godkendelsesprocessen for dokumentet fremgår af afsnit Bilag 6 Afprøvninger Side 16 af 41

17 3 Afprøvningsomfang 3.1 Generelle tidsfrister i forbindelse med afprøvninger For alle afprøvninger gælder at Leverandøren skal aflevere en Testplan og en antal testscenarier med tilhørende testcases i henhold til bilag 1 (Tidsplan). For Delleveranceprøverne skal testscenarier og tilhørende testcases afleveres til ATP senest 10 Arbejdsdage inden afprøvningens afvikling. For alle øvrige afprøvninger skal testscenarier og tilhørende testcases afleveres til ATP senest 20 Arbejdsdage inden afprøvningens afvikling.testscenarier og tilhørende testcases skal afleveres til ATP senest 20 Arbejdsdage inden afprøvningens afvikling. Testplanen skal afleveres til ATP senest 10 Arbejdsdage inden afprøvningens afvikling. For hver aflevering har ATP 5 Arbejdsdage til at komme med skriftlige indsigelser. Såfremt ATP ikke fremsender skriftlige indsigelser senest 5 Arbejdsdage efter modtagelsen, betragtes det fremsendte som godkendt. Efter prøven skal Leverandøren straks udarbejde en rapport for afprøvningen, jf. Kontraktens punkt 17.3, og levere denne til ATP. ATP har fra modtagelsen af Testrapporten, 10 Arbejdsdage til at meddele Leverandøren, om afprøvningen kan godkendes. Leverandøren skal seneste 5 Arbejdsdage efter ATP s godkendelse af afprøvningen levere den endelige testrapport for afprøvningen til ATP. 3.2 Generelle startkriterier Leverandøren skal sikre, at følgende er opfyldt inden afviklingen af en given afprøvning kan påbegyndes: Det relevante testmiljø, inklusive testdata og eventuelle integrationer er etableret. Afprøvningen skal være specificeret i en af ATP i forvejen godkendt Teststrategi. Planen for gennemførelse af afprøvningen skal være specificeret i en af ATP i forvejen godkendt Testplan. Bilag 6 Afprøvninger Side 17 af 41

18 Scenarierne som afprøvningen omfatter, skal være specificeret i et eller flere af ATP i forvejen godkendte testscenarier. Kravene og områderne afprøvningen omfatter, skal være specificeret i et antal af ATP i forvejen godkendte testcases. 3.3 Brugervenlighedstest Formål Formålet med afprøvningen er at verificere, at ATP s krav til Systemets brugervenlighed i brugergrænsefladerne til kunderådgiverne og i Selvbetjeningsløsningen, jf. bilag 3A (Behovsopgørelse) og bilag 3A.1 (Kravliste), er opfyldt. Afprøvningen skal foregå i forbindelse med Etape I Afklaringsetapen på en til formålet udviklet prototype af Systemets brugergrænsefalder til kunderådgiverne og Selvbetjeningsløsningen Startkriterier Kriteriet for gennemførelse af afprøvningen er følgende: De generelle startkriterier, jf. afsnit 3.2, skal være opfyldt. Systemets brugergrænseflader i prototypen har en færdiggørelsesgrad, så ATP s testere kan få meningsfyldt oplevelsen af Leverandørens hensigt med den færdige løsning Gennemførelse Afprøvningen skal planlægges, designes og afrapporteres i overensstemmelse med Teststrategien. Afprøvningen skal gennemføres på en af ATP valgt adresse med ATP s brugere som testpersoner og med Leverandøren som Instruktør. ATP er ansvarlig for at udvælge de brugere, der skal deltage. Leverandøren er forpligtet til at assistere i gennemførelsen af afprøvningen og i nødvendigt omfang undervejs, at instruere ATP i gennemførelse af afprøvningen. Leverandøren må ikke forsøge at påvirke ATP s testpersoner undervejs, men skal alene i forhold til gennemførelse af afprøvningen, virke som instruktør Ansvarsfordeling Leverandørens ansvar er beskrevet i afsnit 2.4 og i afsnit Bilag 6 Afprøvninger Side 18 af 41

19 ATP medvirker i gennemførelsen af afprøvningen og godkender afprøvningen Afrapportering Afprøvningen skal afrapporteres i henhold til afsnit Godkendelseskriterier Kriteriet for godkendelse af afprøvningen er, at afprøvningen er afsluttet uden at der i forbindelse hermed er konstateret udestående Fejl af kategori A og maksimalt to Fejl af kategori B pr. testperson, og at dette er dokumenteret overfor ATP i henhold til afsnit Afprøvningen kan betragtes som godkendt, når der foreligger en af ATP skriftlig godkendt testrapport. ATP har pligt til at godkende testrapporten, såfremt det heri er dokumenteret, at afprøvningen er bestået i henhold til Godkendelseskriterierne. Testrapporten skal underskrives af ATP s projektleder og testmanager. Testrapporten skal udarbejdes og udformes i henhold til afsnit Komponenttest og komponentintegrationstest Formål Formålet med komponenttesten og komponentintegrationstesten er, at Leverandøren før levering af Systemet til ATP verificerer, at hver komponent samt integrationen mellem de forskellige komponenter i Systemet er testet. Komponenttesten og komponentintegrationstesten er en funktionel og teknisk test, som skal verificere, at Systemet er klar til igangsætning af Delleveranceprøve. Komponenttesten og komponentintegrationstesten kontrollerer funktionen af Programmel, der kan testes individuelt og sammensat. Komponenttesten og komponentintegrationstesten er Leverandørens test. Komponenttesten og komponentintegrationstesten foretages, når den enkelte komponent er færdigudviklet og dokumenteret, og kvaliteten er verificeret i henhold til Leverandørens kvalitetssikring Startkriterier Leverandøren fastlægger selv startkriterierne. Bilag 6 Afprøvninger Side 19 af 41

20 3.4.3 Gennemførelse Afprøvningen skal planlægges, designes og gennemføres i overensstemmelse med Teststrategien. Afprøvningen skal gennemføres i det miljø som fremgår af afsnit Ansvarsfordeling Leverandørens ansvar er beskrevet i afsnit 2.4. ATP eller en af denne udpegede tredjemand har ret til at deltage som observatør i denne afprøvning Afrapportering Prøven skal afrapporteres i henhold til afsnit Godkendelseskriterier Kriterierne for godkendelse af afprøvningen er, at afprøvningen er afsluttet uden at der i forbindelse hermed er konstateret udestående Fejl af kategori 1 og kategori 2, samt maksimalt konstateret 10 Fejl af kategori 3 og 30 Fejl af kategori 4 i Systemet, og at dette er dokumenteret overfor ATP i henhold til afsnit Testrapporten skal udarbejdes og udformes i henhold til afsnit Delleveranceprøve Formål Formålet med en Delleveranceprøve er at konstatere, om den pågældende Delleverance opfylder de krav, som Delleverancen omfatter, herunder om den aftalte funktionalitet for Delleverancerne og tilhørende Dokumentation er leveret, og at integrationer fungerer og anvendes korrekt. Derudover gennemføres en regressionstest af tidligere leverede Delleverancer. Der skal gennemføres en Delleveranceprøve for hver Delleverance. En Delleveranceprøve vil således tjene som test af seneste Delleverance samt regressionstest af tidligere Delleverancer. For hver Delleverance er der opnået enighed mellem ATP og Leverandøren om, hvilke krav den pågældende Delleverance skal opfylde. Disse krav kan være funktionelle, såvel som ikke-funktionelle herunder krav til integrationer, konvertering og Dokumentation. Delleveranceprøven omfatter disse krav, samt alle Bilag 6 Afprøvninger Side 20 af 41

21 krav, der er - eller skulle være - opfyldt i tidligere leverede Delleverancer, jf. Kontraktens punkt En Delleveranceprøve kan derfor omfatte afprøvning af opfyldte krav i den aktuelle Delleverance, samt gentest af Fejl, der måtte være udbedret i forhold til tidligere Delleverancer og relevant regressionstest Startkriterier Afprøvninger der jf. Tabel 2 ligger før denne afprøvning, skal være godkendt De generelle startkriterier, jf. afsnit 3.2, skal være opfyldt Gennemførelse Afprøvningen skal planlægges, designes og gennemføres i overensstemmelse med Teststrategien. Afprøvningen skal gennemføres i det miljø som fremgår af afsnit Ansvarsfordeling Leverandørens ansvar er beskrevet i afsnit 2.4. ATP eller en af ATP udpeget tredjemand medvirker som observatør i denne afprøvning Afrapportering Afprøvningen skal afrapporteres i henhold til afsnit Godkendelseskriterier Kriteriet for godkendelse af afprøvningen er, at afprøvningen er afsluttet uden at der i forbindelse hermed er konstateret udestående Fejl af kategori 1 og kategori 2, samt maksimalt konstateret 10 Fejl af kategori 3 og 30 Fejl af kategori 4 i Systemet, og at dette er dokumenteret overfor ATP i henhold til afsnit Testrapporten skal underskrives af ATP s projektleder og testmanager. Testrapporten skal udarbejdes og udformes i henhold til afsnit 4.5. Afprøvningen kan betragtes som godkendt, når der foreligger en skriftlig godkendt testrapport. ATP har pligt til at godkende testrapporten, såfremt det heri er dokumenteret, at afprøvningen er bestået i henhold til ovennævnte Godkendelseskriterier. Bilag 6 Afprøvninger Side 21 af 41

22 3.6 Samlet systemintegrationstest Formål Formålet med den samlede systemintegrationstest er, at Leverandøren, før levering af Systemet, verificerer, at den aftalte funktionalitet for Systemet opfylder alle ATP s krav til Leverancen. Systemintegrationstesten er en funktionel test og en integrationstest af de forskellige Delleverancer, og den skal verificere, at Systemet er klar til igangsætning af Overtagelsesprøven og at Systemet kan kommunikere med eksterne it-systemer udenfor ATP s it-miljø, som forudsat i Leverancebeskrivelsen. Regressionstest i forhold alle forudgående Delleverancer, skal indgå som en del af systemintegrationstesten, for at sikre at rettelser i forudgående Delleverancer ikke har afstedkommet nye uhensigtsmæssigheder i Systemet. Regressionstesten skal automatiseres for væsentlige processer, så som motorveje og relaterede integrationer, så den kan genanvendes når der kræves tilretninger til Systemet efter idriftsættelse Startkriterier Afprøvninger, der jf. Tabel 2 ligger før denne afprøvning, skal være godkendt De generelle startkriterier, jf. afsnit 3.2, skal være opfyldt Gennemførelse Afprøvningen skal planlægges, designes og gennemføres i overensstemmelse med Teststrategien. Afprøvningen skal gennemføres i det miljø som fremgår af afsnit Ansvarsfordeling Leverandørens ansvar er beskrevet i afsnit 2.4. ATP eller en af ATP udpeget tredjemand medvirker som observatør i denne afprøvning Afrapportering Afprøvningen skal afrapporteres i henhold til afsnit Godkendelseskriterier Kriteriet for godkendelse af afprøvningen er, at afprøvningen er afsluttet uden at der i forbindelse hermed er konstateret udestående Fejl af kategori 1 og kategori 2, Bilag 6 Afprøvninger Side 22 af 41

23 samt maksimalt konstateret 10 Fejl af kategori 3 og 30 Fejl af kategori 4 i Systemet, og at dette er dokumenteret overfor ATP i henhold til afsnit Testrapporten skal underskrives af ATP s projektleder og testmanager. Testrapporten skal udarbejdes og udformes i henhold til afsnit 4.5. Afprøvningen kan betragtes som godkendt, når der foreligger en skriftlig godkendt testrapport. ATP har pligt til at godkende testrapporten, såfremt det heri er dokumenteret, at afprøvningen er bestået i henhold til ovennævnte Godkendelseskriterier 3.7 Idriftsættelsesprøve Formål Formålet med Idriftsættelsesprøven er, at afprøve idriftsættelsesprocessen, samt at verificere, at Systemet kan installeres korrekt i præproduktionsmiljøet i overensstemmelse med installationsvejledningen inden Overtagelsesprøven påbegyndes Startkriterier Kriterierne for gennemførelse af afprøvningen er følgende: Afprøvninger, der jf. Tabel 2 ligger før denne afprøvning, skal være godkendt De generelle startkriterier, jf. afsnit 3.2, skal være opfyldt Gennemførelse Afprøvningen skal planlægges, designes og gennemføres i overensstemmelse med Teststrategien. Afprøvningen skal gennemføres i det miljø som fremgår af afsnit Ansvarsfordeling Leverandørens ansvar er beskrevet i afsnit 2.4. ATP eller en af ATP udpeget tredjemand medvirker som observatør i denne afprøvning Afrapportering Leverandøren skal afrapportere afprøvningen i henhold til afsnit Bilag 6 Afprøvninger Side 23 af 41

24 3.7.6 Godkendelseskriterier Godkendelseskriterier for denne afprøvning er: Systemet er installeret korrekt i det pågældende miljø jf. afsnit 2.4. Afprøvningen er afsluttet uden at der i forbindelse hermed er konstateret udestående Fejl af kategori 1 og kategori 2, samt maksimalt konstateret 5 Fejl af kategori 3 og 10 Fejl af kategori 4 i Systemet, og at dette er dokumenteret overfor ATP i henhold til afsnit Testrapporten skal underskrives af ATP s projektleder og testmanager. Testrapporten skal udarbejdes og udformes i henhold til afsnit 4.5. Afprøvningen kan betragtes som godkendt, når der foreligger en skriftlig godkendt testrapport. ATP har pligt til at godkende testrapporten, såfremt det heri er dokumenteret, at afprøvningen er bestået i henhold til ovennævnte Godkendelseskriterier. 3.8 Konverteringsprøve Formål Formålet med konverteringsprøven er at sandsynliggøre, at Leverandørens løsning til konvertering af ATP s data lever op til kravene til konvertering i henhold til bilag 3 (Leverancebeskrivelse). Konverteringsprøven har til formål, at verificere: At Leverandørens metoder, teknikker og værktøjer til datakonvertering fungerer. At data, som prøvekonverteres over i Systemet, placeres korrekt i Systemet. At både stamdata og transaktionsdata er komplette og sammenhængende, således at alle Systemets funktioner kan anvendes uden fejl som følge af manglende/ukorrekte data. Leverandørens beregninger af, hvilken tid der vil medgå til den endelige konvertering af data forud for idriftsættelsen. Afprøvningen skal som minimum omfatte følgende områder: Afstemning af totaler, sumposter, antal m.v. for at teste kompletheden af data. Kontrol af konsistens i data sammenlignet med ATP s eksisterende systemer. (kildesystemer). Bilag 6 Afprøvninger Side 24 af 41

25 Kontrol af revisionsspor og transaktionsspor i form af logning på record-niveau og afstemningsrapporter Funktionel test af data med hensyn til korrekthed, komplethed, samt Systemets anvendelse af disse data. Afprøvning af, at data, som skal viderefordeles til øvrige systemer, fordeles korrekt. En end-to-end test af konverteringsprocessen, jf. beskrivelsen af dataudtræk, indlæsning og viderefordeling af data i bilag 3A (Behovsopgørelse) Startkriterier Afprøvninger, der jf. Tabel 2 ligger før denne afprøvning, skal være godkendt. De generelle startkriterier, jf. afsnit 3.2, skal være opfyldt. Der skal foreligge en af ATP godkendt Konverteringsstrategi. Der skal foreligge en af ATP godkendt Konverteringsdrejebog Gennemførelse Afprøvningen skal planlægges, designes og gennemføres i overensstemmelse med Teststrategien. Afprøvningen skal gennemføres i det miljø som fremgår af afsnit Ansvarsfordeling Leverandørens ansvar er beskrevet i afsnit 2.4. ATP eller en af ATP udpeget tredjemand medvirker som observatør i denne afprøvning Afrapportering Afprøvningen skal afrapporteres i henhold til afsnit Godkendelseskriterier Godkendelseskriteriet for denne afprøvning er at Leverandøren overfor ATP har dokumenteret, at konverteringen er gennemført uden at data er gået tabt eller blevet forvansket at Leverandøren overfor ATP har dokumenteret, at Leverandørens beregninger af konverteringstid er korrekte og retvisende, inklusiv kontrol og afstemning. Afprøvningen er afsluttet uden at der i forbindelse hermed er konstateret udestående Fejl af kategori 1, kategori 2, kategori 3 samt maksimalt Bilag 6 Afprøvninger Side 25 af 41

26 konstateret 10 Fejl af kategori 4 i Systemet, og at dette er dokumenteret overfor ATP i henhold til afsnit Testrapporten skal underskrives af ATP s projektleder og testmanager. Testrapporten skal udarbejdes og udformes i henhold til afsnit 4.5. Afprøvningen kan betragtes som godkendt, når der foreligger en skriftlig godkendt testrapport. ATP har pligt til at godkende testrapporten, såfremt det heri er dokumenteret, at afprøvningen er bestået i henhold til ovennævnte Godkendelseskriterier. 3.9 Overtagelsesprøve Formål Formålet med Overtagelsesprøven er at konstatere, om den aftalte funktionalitet for det samlede System er leveret, at ikke-funktionelle krav er opfyldt, at Systemet og alle integrationer fungerer i samspil, at Systemet foretager en korrekt anvendelse af disse samt, at den tilhørende Dokumentation, der skal leveres under Kontrakten, opfylder Kontraktens krav. Herudover skal Overtagelsesprøven verificere, at Systemet er færdigudviklet, færdigopsat og indeholder korrekte konverterede data og opfylder alle ATP s krav til Leverancen, således at den samlede Leverance kan godkendes af ATP. Ved ATP s godkendelse af Overtagelsesprøven overtager ATP Systemet, jf. Kontrakten. Overtagelsesprøven skal afvikles i præproduktionsmiljøet, der skal være identisk med produktionsmiljøet og med en ny installation samt ny-konverterede data fra seneste prøvekonvertering, således at det samlede System fremstår i tilsvarende stand som efter den endelige produktionskonvertering. Præproduktionsmiljøet skal forblive intakt og uden ændringer i hele Overtagelsesprøvens løbetid. Leverandøren har således ingen beføjelser til at ændre i præproduktionsmiljøet under Overtagelsesprøven, uden skriftlig accept fra ATP. Dette gælder blandt andet systemrettelser, opsætning, konfigurering, brugeradgange, stamdata, transaktionsdata m.v. Overtagelsesprøven har til formål at verificere den samlede Leverance herunder blandt andet: Bilag 6 Afprøvninger Side 26 af 41

27 Processer og dagligdags arbejdsgange er udgangspunktet for afprøvningen, idet formålet er at verificere, at Systemet kan virke i praksis hos ATP i henhold til kravene i Leverancebeskrivelsen. Funktionaliteten i Systemet og konfiguration (herunder skærmbilleder, rapporter, breve/print etc.) Afprøves i forhold til at validere Systemets virkemåde i henhold til de valg, der blev taget i analysearbejdet og udtrykt i Systembeskrivelsen. Beregninger i Systemet afprøves via stikprøver for at sikre, at Systemet beregner korrekt i forholdt til gældende lovgivning. Systemadgange og brugergrupper afprøves som en integreret del af afprøvningen, ved at systemhandlingerne foretages med virkeligstro roller og brugerrettigheder. Stamdata og konfiguration valideres som en del af afprøvningen, således at testmaterialet og testerne forholder sig til korrektheden af stamdata og konfiguration. Konverterede data/transaktionsdata Afprøves ved at hele afprøvningen eksekveres i et miljø, der er populeret med en komplet sæt konverterede data tilvejebragt efter samme metode som planlægges brugt ved den endelige konvertering. Grænseflader Afprøves dels enkeltvis dels ved en procesorganiseret afprøvning, hvor grænseflademeddelelser genereres og modtages som ved normal systembrug. Batchjobs Afprøves dels enkeltvis dels ved en procesorganiseret afprøvning, hvor Systemet startes automatisk eller manuelt på realistiske tidspunkter i forhold til eksekveringen af afprøvningen. Udskrifter Afprøves som en del af Overtagelsesprøven ved at der foretages en signifikant stikprøve af kritisk udskrifter (bl.a. kundeafregninger), som genereres og udskrives og valideres manuelt af ATP. Brugervenlighed Afprøves i henhold til kravene herfor, herunder brugervejledning og on-line hjælp indbygget i Systemets brugergrænseflade. Disse krav fremgår af bilag 3A.1 (Kravliste). Forretningsprocesser Afprøves og prioriteres med udgangspunkt i motorveje, landeveje og bjergveje. Vejene er som udgangspunkt med til at definere automatiseringsgrad og kompleksitet: o Motorvej; automatiseret o Landevej; optimalt systemunderstøttet o Bjergvej; systemunderstøttet Bilag 6 Afprøvninger Side 27 af 41

28 End-to-end test Afprøvning af hele Systemet på tværs af fagsystemer, støttesystemer og leverandører. Dokumentation Afprøves i henhold til kravene hertil i bilag 4 (Dokumentation) og programmel. Performancetest Afprøves i henhold kravene til servicemål, jf. bilag 7 (Servicemål) i forhold til svartider, og procestider, både i en normal driftssituation og under spidsbelastninger. Sikkerhedstest Afprøves i henhold kravene, jf. bilag 3 (Leverancebeskrivelse), følgende skal Afprøves i forbindelse med afprøvningen: o Systemet opfylder kravene til autentifikation jf. bilag 3. o Brugerdata og parametre for systemopsætning ikke lagres på klientprogrammel o Autentifikationsmekanismen i Systemet understøtter fail-secure, jf. kravene hertil i bilag 3. o Systemet understøtter autentifikation via NemID for eksterne brugere. o Autentifikationsmekanismen i Systemet ikke oplyser om brugernavn eller password er fejlet ved log-in. o Opbevaring af adgangskontroloplysninger i Systemet er krypteret. o Fejlbeskeder ikke viser information der er kritisk for Systemets sikkerhedsmodel. o Systemet understøtter at brugere ikke kan overtage hinandens sessioner (Secure Cookies). o Personfølsomme data i transition mellem System og bruger er krypteret med en stærk kryptering, baseret på en anerkendt algoritme. o Systemet i sin eksterne kommunikation krypterer for fortrolighed og signerer for integritet baseret på digital signatur. o Inaktive brugersessioner i Systemet afbrydes automatisk. o Systemet reagerer på en kontrolleret måde (og ikke fryser eller låser), hvis brugerne begår fejl såsom fejlindtastninger, slåfejl eller tilfældig hurtig aktivering af flere kommandoer. o Systemet sikrer dataintegritet sådan, at data forbliver konsistente i forbindelse med forskellige fejlsituationer. o Systemet danner et kontrol- og transaktionsspor bl.a. til opfyldelse af bogføringslovens krav om et intakt transaktionsspor og funktionsadskillelse. Bilag 6 Afprøvninger Side 28 af 41

29 o Alle relevante transaktioner i Systemet skal logges herunder væsentlige brugeraktiviteter, afvigelser, sikkerhedshændelser. Alle identificerede Fejl i forbindelse med tidligere afprøvninger, hvis løsning ikke er godkendt af ATP, skal godkendes som led i Overtagelsesprøven. Alle identificerede Fejl til den samlede Leverance, hvor løsningen ikke er verificeret og endeligt Godkendt af ATP vil tælle med som Fejl i Overtagelsesprøven herunder alle typer Fejl omfattet af punkterne ovenfor Startkriterier Kriteriet for gennemførelse af afprøvningen er følgende: Afprøvninger, der jf. Tabel 2 ligger før denne afprøvning, skal være godkendt. De generelle startkriterier, jf. afsnit 3.2, skal være opfyldt. Systemet er i en sådan færdiggørelsesgrad, at testerne uhindret kan navigere meningsfyldt i brugergrænsefladen og relatere oplevelsen direkte til Leverandørens hensigt med den færdige løsning. Testplanen indeholder en fuldstændig plan over ressourcebehovet og de allokerede ressourcer til at gennemføre testen i henhold til testorganisationen. Al udvikling, opsætning m.v. er afsluttet og afprøvet i henhold til de foregående afprøvninger i dette bilag og er installeret i Præproduktionsmiljøet. Leverandøren har skriftligt meddelt ATP at den samlede Leverance er klar til afprøvning. Leverandøren har redegjort for at alle identificerede Fejl er rettede og verificerede af ATP. Konverteringsprøven er gennemført og Præproduktionsmiljøet er populeret med fungerende stamdata og transaktionsdata i tilstrækkelig kvalitet og omfang til at gennemføre afprøvningen. Brugergrupper og autorisationsrettigheder er oprettet til testbrug og afspejle de kommende virkelige brugerrettigheder i henhold til bilag 3. Der er etableret testværktøjer, og de testfaciliteter og personer der indgår i testen skal have fået tilstrækkelig uddannelse og træning i, at håndtere værktøjer og udføre afprøvningen Gennemførelse Afprøvningen skal planlægges, designes og gennemføres i overensstemmelse med Teststrategien. Bilag 6 Afprøvninger Side 29 af 41

30 Afprøvningen skal gennemføres i det miljø som fremgår af afsnit 2.4. Overtagelsesprøven afprøver Systemets understøttelse af forretningsprocesserne i bilag 3 ved hjælp af en række testscenarier. Et testscenarie beskriver således en overordnet forretningsproces. Under et testscenarie vil der være en række varianter af forretningsprocessen disse beskrives som testcases. Testcases til Overtagelsesprøven udarbejdes i samarbejde med ATP og skal godkendes af ATP. Fejl identificeret forud for Overtagelsesprøven skal være løst. Fejl, som ATP ikke har godkendt løsningen af ved Overtagelsesprøve start, vil indgå i den samlede opgørelse af Fejl identificeret i forbindelse med Overtagelsesprøven, med mindre løsninger på disse verificeres og godkendes af ATP som en del af Overtagelsesprøven. 1 måned før planlagt påbegyndelse af Overtagelsesprøven afholdes et møde, hvor Leverandøren fremlægger aktuel status på samtlige kendte Fejl samt redegør for, hvilke udestående Fejl, der løses og leveres forud for starten på Overtagelsesprøven, herunder fremlægger en dagsplan for gentesten af disse inden påbegyndelsen af Overtagelsesprøven. 7 dage før planlagt påbegyndelse af Overtagelsesprøven afholdes et møde, hvor Leverandøren fremlægger status på udestående Fejl og melder klar til påbegyndelse af Overtagelsesprøven. I forbindelse med gennemførelsen af Overtagelsesprøven skal Leverandøren stille det nødvendige antal ressourcer til rådighed, som kan håndtere fejlrettelser, således at der ikke skabes unødige forsinkelser. Det vil være nødvendigt for afprøvningens fremdrift og gennemførelse at Leverandøren retter Fejl løbende og transporterer disse til testmiljøet. Leverandøren er ansvarlig for at dokumentere og følge en kvalitetssikret proces, for at holde styr på disse rettelser, således at Leverandøren uden ugrundet ophold til enhver tid kan redegøre for hvilke version, patch, rettelser m.v. som Systemet indeholder. Der afholdes en planlagt række testdage, hvor de enkelte testgrupper udfører de prioriterede testcases, udvalgt af ATP. Ved gennemførelse af Overtagelsesprøven deltager Leverandøren for at undgå misforståelser i testafviklingen samt for om nødvendigt at yde bistand for testerne. Bilag 6 Afprøvninger Side 30 af 41

31 Ved afslutningen af en dag i Overtagelsesprøven udarbejder Leverandøren en testrapport, der redegør for hvilke Fejl, der er identificeret den pågældende dag. Denne testrapport gennemgås på et møde næstfølgende Arbejdsdag efter hver testdag, hvor Leverandøren rapporterer til og evaluerer resultatet overfor ATP Ansvarsfordeling Leverandørens og ATP s ansvar er beskrevet i afsnit Afrapportering Leverandøren skal løbende afrapportere fremdriften af afprøvningen til ATP jf. afsnit ATP skal efter Overtagelsesprøvens afslutning, skriftligt meddele Leverandøren om: Afprøvningen er bestået med angivelse af eventuelle Fejl i en mangelliste Afprøvningen ikke er bestået med begrundelse herfor. Leverandøren er ansvarlig for udarbejdelse af testrapporten Godkendelseskriterier Overtagelsesprøven er bestået, såfremt: Der ikke i forbindelse hermed er konstateret Fejl af kategori 1 og kategori 2, samt maksimalt er konstateret 10 Fejl af kategori 3 og 30 Fejl af kategori 4 i Systemet. Der foreligger en af ATP godkendt udbedringsplan for udbedring af alle Fejl. Alle de af ATP udvalgte testcases er gennemførte og de opstillede testbetingelser er verificerede. Dette skal dokumenteres i en afsluttende testrapport, som Leverandøren er ansvarlig for at udarbejde, og som skal foreligge senest 5 dage efter Overtagelsesprøvens afslutning. Testrapporten skal udarbejdes og udformes i henhold til afsnit 4.5. Testrapporten skal underskrives af ATP s projektleder. ATP indkalder samtidig med testrapportens fremsendelse til et møde med Leverandøren, hvor testrapporten (inklusiv en komplet liste over Fejl) gennemgås. Bilag 6 Afprøvninger Side 31 af 41

32 Afprøvningen kan betragtes som godkendt, når der foreligger en af ATP skriftlig godkendt testrapport. ATP har pligt til at godkende testrapporten, såfremt det heri er dokumenteret, at afprøvningen er bestået i henhold til ovennævnte Godkendelseskriterier Verifikation af idriftsættelse og endelig konvertering Formål Formålet med verifikation af idriftsættelse og endelig konvertering er, at verificere at idriftsættelsen og den endelige konvertering af data i produktionsmiljøet er gennemført succesfuldt, så ATP kan ibrugtage Systemet Startkriterier Kriterierne for gennemførelse af verifikationen er følgende: Overtagelsesprøven er bestået. Idriftsættelsen af Systemet og den endelige konvertering er foretaget i produktionsmiljøet Gennemførelse Afprøvningen skal planlægges, designes og gennemføres i overensstemmelse med Teststrategien. Afprøvningen skal gennemføres i det miljø som fremgår af afsnit Ansvarsfordeling Leverandørens ansvar er beskrevet i afsnit 2.4. ATP eller en af ATP udpeget tredjemand medvirker som observatør i denne afprøvning Afrapportering Leverandøren skal afrapportere afprøvningen i henhold til afsnit Godkendelseskriterier Godkendelseskriterier for denne verifikation er: Systemet er installeret korrekt i det pågældende miljø jf. afsnit 2.4. at Leverandøren overfor ATP har dokumenteret, at konverteringen er gennemført uden at data er gået tabt eller blevet forvansket Bilag 6 Afprøvninger Side 32 af 41

33 at der i forbindelse med verifikation og foregående afprøvninger er konstateret maksimalt 10 kategori 3 fejl og maksimalt 30 kategori 4 fejl, jf. afsnit 2.7, og at dette er dokumenteret overfor ATP i henhold til afsnit Testrapporten skal underskrives af ATP s projektleder og testmanager. Testrapporten skal udarbejdes og udformes i henhold til afsnit 4.5. Verifikationen kan betragtes som godkendt, når der foreligger en skriftlig godkendt testrapport. ATP har pligt til at godkende testrapporten, såfremt det heri er dokumenteret, at afprøvningen er bestået i henhold til ovennævnte Godkendelseskriterier. Fejl konstateret i forbindelse med verifikationen skal indarbejdes i udbedringsplanen fra Overtagelsesprøven Driftsprøve Formål Formålet med driftsprøven er, at konstatere, om Systemet lever op til krav til servicemål jf. bilag 7 (Servicemål) i ATP s normale driftssituation. Afprøvningen har til formål at verificere, at: Servicemålene kan opfyldes ved en normal drift af Systemet. Procedurer for håndtering af fejlrettelser omfattet af Leverandørens garanti i henhold til Kontrakten og Leverandørens supportforpligtelser Startkriterier Afprøvninger, der jf. Tabel 2 ligger før denne afprøvninger, skal være godkendt. Afprøvningen skal være specificeret i en af ATP i forvejen godkendt Teststrategi. Planen for gennemførelse af afprøvningen skal være specificeret i en af ATP i forvejen godkendt Testplan. Scenarierne som afprøvningen omfatter, skal være specificeret i et antal af ATP i forvejen godkendt testscenarier. Kravene og områderne afprøvningen omfatter, skal være specificeret i et antal af ATP i forvejen godkendt testcases. Bilag 6 Afprøvninger Side 33 af 41

34 Gennemførelse Driftsprøven udføres i produktionsmiljøet for Systemet som helhed. Driftsprøven påbegyndes, når ATP giver Leverandøren meddelelse derom, dog senest 30 Arbejdsdage efter at Overtagelsesprøven er godkendt. Driftsprøven skal omfatte mindst 30 Arbejdsdage i træk, hvori Leverancen har været i Drift med normale funktioner. Driftsprøven er bestået, når servicemål for Leverancen opgjort for de sidste 30 Arbejdsdage af Driftsprøveperioden opfylder servicemålene jf. bilag 7 (Servicemål). Driftsprøven fortsætter, indtil den er bestået, men med mindre ATP udtrykkeligt samtykker i en forlængelse, skal den være afsluttet senest 30 Arbejdsdage efter påbegyndelsen. Afprøvningen skal planlægges, designes og gennemføres i overensstemmelse med Teststrategien. Afprøvningen skal gennemføres i det miljø som fremgår af afsnit Ansvarsfordeling Leverandørens ansvar er beskrevet i afsnit Afrapportering Afprøvningen skal afrapporteres i henhold til afsnit Godkendelseskriterier Driftsprøven er bestået, såfremt kravene til servicemål jf. bilag 7 (Servicemål) er opfyldt i 30 Arbejdsdage i træk i driftsprøveperioden. Driftsprøven fortsætter, indtil den er bestået, medmindre ATP udtrykkeligt samtykker i en forlængelse eller ATP ophæver Kontrakten i henhold til Kontraktens bestemmelser herom. Testrapporten skal udarbejdes og udformes i henhold til afsnit 4.5. Testrapporten skal underskrives af ATP s projektleder. Afprøvningen kan betragtes som godkendt, når der foreligger en af ATP skriftlig godkendt testrapport ATP har pligt til at godkende testrapporten, såfremt det heri er dokumenteret, at afprøvningen er bestået i henhold til ovennævnte Godkendelseskriterier. Bilag 6 Afprøvninger Side 34 af 41

35 3.12 Review og godkendelse af dokumentation Dokumentation der leveres under kontrakten skal behandles og godkendes af ATP. Det omfatter dokumentation som Leverandøren udarbejder og dokumentation som Leverandøren og ATP udarbejdes i fælleskab. Godkendelse af dokumentation gennemføres som et review med ATP s deltagelse, hvor ATP præsenterer de observationer, der er foretaget i dokumentation under review. Fejlkategorier i relation til review af dokumentation fremgår af nedenstående tabel: Kritisk Fejl Væsentlig Fejl Uvæsentlig Fejl Klar Fejl, inkonsistens eller mangel, der enten giver stor uklarhed i forståelsen eller medfører Fejl Fejl, inkonsistens eller mangel, der giver væsentlig risiko for enten misfortolkning eller Fejl Fejl af kosmetisk karakter, der ikke forstyrrer forståelsen eller medfører Fejl Tabel 6 Fejlkategorier ved review af Dokumentation. Dokumentation er godkendt hvis der ikke ved reviewet er konstateres kritiske eller alvorlige Fejl og mangler. I tilfældet af at der er konstateret kritiske eller alvorlige Fejl og mangler, skal dokumentation korrigeres og et nyt review finder sted. Mindre betydende Fejl og mangler, der måtte konstateres ved reviewet kan korrigeres uden nyt review Testprocedure i forbindelse med videreudviklingsopgaver I forbindelse med Projekter der omfatter videreudvikling af Systemet, skal de nødvendige afprøvninger gentages, for at sikre at Systemet fortsat fungerer. Dette gælder Komponenttest, Komponentintegrationstest, Systemintegrationstest og Delleveranceprøven. Hvis Projektet omfatter ændringer til driftsmiljøet, skal de relevante dele af Driftsprøven udføres. I forbindelse med indgåelse af en Projektaftale, aftales det hvilke afprøvninger der skal gennemføres. Bilag 6 Afprøvninger Side 35 af 41

36 4 Testdokumentation Dette afsnit beskriver krav til indhold og håndtering af testdokumentation. Al testdokumentation er herudover underlagt de generelle krav til dokumentation jf. bilag 4 (Dokumentation). Testdokumentationen skal leveres i overensstemmelse med bilag 1 (Tidsplan) samt de i afsnit 3.1 anførte frister. 4.1 Teststrategi Formål Tilbudsgiver skal jf. afsnit 5.1 som en del af sit tilbud i levere et udkast til en Teststrategi. Teststrategien færdiggøres og godkendes i Etape I Afklaringsetapen. Formålet med Teststrategien er, at dokumentere hvordan opfyldelse af Leverancebeskrivelsen og/eller øvrige relevante dele af Kontrakten efterprøves. Dokumentet har til formål, at dokumentere Leverandørens strategi og overordnede tilgang til afprøvning, herunder tilvalg/fravalg/modificering af afprøvninger, principper, metoder, værktøjer, samt forudsætninger for at kunne dokumentere at afprøvning af Leverancen har fundet sted, så Leverancen opfylder Kontrakten Indhold Dokumentet skal som minimum omfatte og beskrive følgende: Testfaser der skal gennemføres. Start- og Slutkriterier for hver testfase. Risikoområder ved afprøvning af Leverancen, samt forslag til begrænsning af sådanne risici. Vurdering af behovet for afprøvning for at opnå en tilstrækkelig dækningsgrad. Metode og tilgang for opnåelse af tilstrækkelig dækningsgrad. Specifikation af krav til dokumentation for opnået dækningsgrad. Afprøvningsmiljøer og håndtering af disse. Håndtering af forskelle i de forskellige afprøvningsmiljøer og produktionsmiljøet, herunder ift. driftsafviklingsværktøjer. Anvendelse af metoder, teknikker og værktøjer, herunder til automatiseret test. Vurdering af behovet for anvendelse af automatiseret test og forslag hertil. Bilag 6 Afprøvninger Side 36 af 41

37 4.1.3 Udarbejdelse og godkendelse Dokumentet udarbejdes som en del af Leverancen. Godkendelsesprocessen for dokumentet fremgår af afsnit Dokumentet udarbejdes af Leverandøren og godkendes af ATP i Etape I - Afklaringsetapen. 4.2 Testplan Formål Dokumentet har til formål, at konkretisere Teststrategien, at beskrive omfang, tilgang, ressourcer og tidsplan for de tilsigtede testaktiviteter. Dokumentet styrer alle underliggende dokumenter der ligger til grund for afprøvning af Leverancen Indhold Dokumentet skal som minimum omfatte og beskrive følgende: En oversigt over hvilke testscenarier der er nødvendige for at opnå den nødvendige dækning og afprøvning af Leverancen. Rækkefølgen af testscenarier. Tidsplan for testforløb med milepæl. Testleverancer. Afbrydelseskriterier. Den konkrete brug af metode, teknikker og værktøjer for hver afprøvning. Overordnet tidsplan for ATP s deltagelse i hver afprøvning, samt estimerede ressourceindsats. Testbemanding med angivelse af navngivne personer og testrolle i hvert testscenarie. Angivelse af tidspunkter for gennemførelse af i hvert testscenarie. Specifikation af eventuelle fysiske hensyn som forudsætning for afprøvning. Specifikation af krav til testmiljøer, grænseflader, testdata. Plan for hvordan startkriterierne for den pågældende test tilvejebringes Udarbejdelse og godkendelse Dokumentet udarbejdes som en del af Leverancen. Godkendelsesprocessen for dokumentet fremgår af afsnit Bilag 6 Afprøvninger Side 37 af 41

38 Dokumentet udarbejdes af Leverandøren og godkendes af ATP. 4.3 Testscenarier Formål Dokumentet har til formål, at specificere de overordnede testcases, der skal udføres indenfor det område det testscenarie, som testcasene vedrører, dækker eller forventes at dække Indhold Dokumentet skal som minimum omfatte og beskrive følgende: En samlet oversigt over hvilke testcases, der udføres som en del af scenariet for at opnå en fyldestgørende afprøvning af det pågældende testscenarie jf. Teststrategien En beskrivelse af hver testcase, mht. formål og hvilke processer/krav der er omfattet, samt o Nummer o Titel på testscenariet o Beskrivelse (kort) o Procesområde(r) (inkl. reference til procesmodellen) o Procesansvarlig Specifikation af afhængigheder mellem testcases Udarbejdelse og godkendelse Godkendelsesprocessen for dokumentet fremgår af afsnit Dokumentet udarbejdes af Leverandøren og godkendes af ATP. 4.4 Testcase Formål Dokumentet har til formål, at specificere en konkret testcase, der skal udføres for at afprøve et eller flere konkrete krav til Leverancen Indhold Testcases skal udarbejdes i Leverandørens testværktøj. Dokumentet skal som minimum omfatte og beskrive følgende: Fuld sporbarhed fra krav og testscenarie til testcase. Bilag 6 Afprøvninger Side 38 af 41

39 En beskrivelse af hver testcase, mht. formål og hvilke processer/krav, testcasen omfatter. Specifikation af afhængigheder mellem testcases. En beskrivelse af formål, testbetingelser, inputdata, testbrugerroller, samt forventede resultater og acceptkriterier Udarbejdelse og godkendelse Godkendelsesprocessen for dokumentet fremgår af afsnit Dokumentet udarbejdes af Leverandøren og godkendes af ATP. 4.5 Testrapport Formål Dokumentet anvendes til afrapportering for hver gennemført afprøvning Indhold Dokumentet skal som minimum omfatte og beskrive følgende: En entydig reference til det/de testscenarier, som testrapporten omhandler. En kopi af listen over Fejl konstateret undervejs, samt status for hver enkelt Antallet af Fejl per testcase og gennemførte korrigerende handlinger. Beskrivelse af, om der har været foretaget re-test og hvor, samt resultat. Delkonklusion for hver testcase, der er gennemført under testscenariet i forhold til acceptkriterierne for den pågældende afprøvning. En entydig konklusion af, hvorvidt den afrapporterede afprøvning kan godkendes Udarbejdelse og godkendelse Godkendelsesprocessen for dokumentet fremgår af afsnit Der skal udarbejdes en Testrapport for hver gennemført afprøvning. Bilag 6 Afprøvninger Side 39 af 41

40 5 Leverandørens beskrivelse af afprøvning 5.1 Leverandørens Teststrategi [[Tilbudsgiver skal i dette afsnit vedlægge et udkast til en Teststrategi, som er i overensstemmelse med kravene i afsnit 4.1]. 5.2 Leverandørens beskrivelse af de enkelte afprøvninger [For hver afprøvning, skal Tilbudsgiver beskrive, hvordan han vil planlægge og gennemføre disse samt hvilken metode og hvilke testteknikker, der benyttes til afprøvningerne. Tilbudsgiver kan angive yderligere afprøvningsforløb, som tilbudsgiver finder relevante til afprøvning af Systemet. Tilbudsgiver skal i så fald supplere bilaget med beskrivelse af disse yderligere afprøvninger, som Tilbudsgiver tilbyder. Suppleres bilaget med yderligere afprøvninger, skal beskrivelse af hver af disse følge sammen dispositionsstruktur og som minimum beskrive de områder som i forvejen angivet under hver afprøvning i afsnit 3. Tilbudsgiver skal beskrive, hvilke ressourcer til afprøvninger, der er inkluderet i tilbuddet. Med ressourcer menes personer, systemer, dokumenter, værktøjer og materialer. Tilbudsgiver bedes endvidere beskrive hvordan testdata importeres og eksporteres til og fra test- og udviklingssystemer. Tilbudsgiver bedes fremlægge forslag til en enkel metode, hvorved ATP ved en central måling kan få sandsynliggjort, at den garanterede performance opfyldes under hensyntagen til de beskrevne krav om kapacitet, herunder antal samtidige brugere. Såfremt svartider og tilgængelighed og måles med et helt eller delvis automatiseret værktøj, bedes tilbudsgiver oplyse navn på værktøjet samt Tilbudsgivers kendskab og erfaring med at benytte værktøjet]. 5.3 Leverandørens beskrivelse af test- og fejlstyringsværktøj [Tilbudsgiver skal redegøre for, hvilket test- og fejlstyringsværktøj (evt. flere værktøjer) der benyttes til de afprøvninger, der skal gennemføres. Tilbudsgiver skal endvidere angive, om - og i bekræftende fald på hvilke betingelser - dette værktøj stilles til rådighed for ATP. Bilag 6 Afprøvninger Side 40 af 41

41 5.4 Leverandørens beskrivelse af håndtering af fejlrapportering [Tilbudsgiver skal redegøre for, hvilke data der forventes at være i en korrekt udfyldt fejlrapport, og hvordan tilbudsgiver vil håndtere fejl og uhensigtsmæssigheder, fra disse er rapporteret, til de er meldt rettet eller afvist. Sidstnævnte kan eventuelt anskueliggøres i et flowdiagram]. 5.5 Leverandørens beskrivelse af automatiseret test [Tilbudsgiver skal redegøre for, hvilke testværktøjer der benyttes i til automatiseret test og erfaringer med disse. Tilbudsgiver skal endvidere angive, om - og i bekræftende fald på hvilke betingelser - dette værktøj stilles til rådighed for ATP. Tilbudsgiver skal derudover redegøre for hvordan automatiseret test udføres og hvilke testværktøjer, der benyttes. Redegørelsen for hvordan Leverandøren har tænk sig at automatisere, skal indeholde et eksempel på hvordan, hvad f.eks. test af Services, databaser, test af selve funktionaliteten, hovedvejene, test af GUI en samt en prissætning i forhold til forskellige størrelser af pakkerne og i forhold til antal testcases, afvikling og rapporteringsdetaljeringsgrad (small, medium, large), samt hvilket automatiserings værktøj der benyttes]. Bilag 6 Afprøvninger Side 41 af 41