Bilag 6 Afprøvninger Version

Transkript

1 Bilag 6 Afprøvninger Version

2 Indhold 1 VEJLEDNING TIL TILBUDSGIVER INDLEDNING TERMINOLOGI TESTOMFANG TESTORGANISATION ANSVARSFORDELING (ROLLER OG ANSVAR) ATP'S MEDVIRKEN VED AFPRØVNINGERNE AFPRØVNINGSMILJØER OG TESTDATA TESTVÆRKTØJER FEJLKATEGORIER UNDER AFPRØVNING FEJLKATEGORIER FOR BRUGERVENLIGHEDSTEST FEJLKATEGORIER FOR ØVRIGE AFPRØVNINGER UDARBEJDELSE OG LEVERING AF TESTDOKUMENTATION HÅNDTERING AF FEJL OPFØLGNING OG AFRAPPORTERING KLARMELDING FØR OPSTART AF AFPRØVNING AFRAPPORTERING UNDER GENNEMFØRELSE AF AFPRØVNING AFRAPPORTERING EFTER AFSLUTTET AFPRØVNING AFPRØVNINGSOMFANG GENERELLE TIDSFRISTER I FORBINDELSE MED AFPRØVNINGER GENERELLE STARTKRITERIER BRUGERVENLIGHEDSTEST FORMÅL STARTKRITERIER GENNEMFØRELSE ANSVARSFORDELING Bilag 6 Afprøvninger Side 2 af 44

3 3.3.5 AFRAPPORTERING GODKENDELSESKRITERIER KOMPONENTTEST OG KOMPONENTINTEGRATIONSTEST FORMÅL STARTKRITERIER GENNEMFØRELSE ANSVARSFORDELING AFRAPPORTERING GODKENDELSESKRITERIER TESTBARHEDSTEST FORMÅL STARTKRITERIER GENNEMFØRELSE ANSVARSFORDELING AFRAPPORTERING GODKENDELSE DELLEVERANCEPRØVE FORMÅL STARTKRITERIER GENNEMFØRELSE ANSVARSFORDELING AFRAPPORTERING GODKENDELSESKRITERIER SAMLET SYSTEMINTEGRATIONSTEST FORMÅL STARTKRITERIER GENNEMFØRELSE ANSVARSFORDELING AFRAPPORTERING GODKENDELSESKRITERIER IDRIFTSÆTTELSESPRØVE FORMÅL Bilag 6 Afprøvninger Side 3 af 44

4 3.8.2 STARTKRITERIER GENNEMFØRELSE ANSVARSFORDELING AFRAPPORTERING GODKENDELSESKRITERIER KONVERTERINGSPRØVE FORMÅL STARTKRITERIER GENNEMFØRELSE ANSVARSFORDELING AFRAPPORTERING GODKENDELSESKRITERIER PERFORMANCETEST FORMÅL STARTKRITERIER GENNEMFØRELSE ANSVARSFORDELING AFRAPPORTERING GODKENDELSESKRITERIER OVERTAGELSESPRØVE FORMÅL STARTKRITERIER GENNEMFØRELSE ANSVARSFORDELING AFRAPPORTERING GODKENDELSESKRITERIER DRIFTSPRØVE FORMÅL STARTKRITERIER GENNEMFØRELSE ANSVARSFORDELING AFRAPPORTERING Bilag 6 Afprøvninger Side 4 af 44

5 GODKENDELSESKRITERIER REVIEW OG GODKENDELSE AF DOKUMENTATION TESTPROCEDURE I FORBINDELSE MED VIDEREUDVIKLINGSOPGAVER TESTDOKUMENTATION TESTSTRATEGI FORMÅL INDHOLD UDARBEJDELSE OG GODKENDELSE TESTPLAN FORMÅL INDHOLD UDARBEJDELSE OG GODKENDELSE TESTSCENARIER FORMÅL INDHOLD UDARBEJDELSE OG GODKENDELSE TESTCASE FORMÅL INDHOLD UDARBEJDELSE OG GODKENDELSE TESTRAPPORT FORMÅL INDHOLD UDARBEJDELSE OG GODKENDELSE LEVERANDØRENS BESKRIVELSE AF AFPRØVNING LEVERANDØRENS TESTSTRATEGI LEVERANDØRENS BESKRIVELSE AF DE ENKELTE AFPRØVNINGER LEVERANDØRENS BESKRIVELSE AF TEST- OG FEJLSTYRINGSVÆRKTØJ Bilag 6 Afprøvninger Side 5 af 44

6 5.4 LEVERANDØRENS BESKRIVELSE AF HÅNDTERING AF FEJLRAPPORTERING LEVERANDØRENS BESKRIVELSE AF AUTOMATISERET TEST Bilag 6 Afprøvninger Side 6 af 44

7 1 Vejledning til Tilbudsgiver Vejledning: I dette dokument beskrives, hvilken afprøvning der skal gennemføres af Systemet før og efter idriftsættelse. Bilaget skal udfyldes af Tilbudsgiver jf. nedenstående retningslinjer. Tilbudsgiver skal, som en del af sit tilbud, følge og besvare instruktioner, som er markeret med [ ]. Dette betyder, at Tilbudsgiver skal: I punkt 5.1 vedlægge et udkast til Teststrategi. I punkt 5.2 for hver afprøvning beskrive hvordan han vil planlægge og gennemføre disse, samt hvilken metode og testteknikker, der benyttes til disse afprøvninger I punkt 5.2 angive beskrivelse af eventuelle yderligere testforløb, som Tilbudsgiver finder relevante til afprøvning af Leverancen. I punkt 5.3 redegøre for, hvilke test- og fejlstyringsværktøj (evt. flere værktøjer) der benyttes til de afprøvninger, der skal gennemføres. I punkt 5.4 redegøre for, hvilke data der forventes at være i en korrekt udfyldt fejlrapport, og hvordan Tilbudsgiver vil håndtere fejl og uhensigtsmæssigheder, fra disse er rapporteret, til de er meldt rettet eller afvist. I punkt 5.5 redegøre for, hvilke testværktøjer, der benyttes til automatiseret test og Tilbudsgivers erfaringer med disse. Tabel 1 Vejledning til Tilbudsgiver Bilag 6 Afprøvninger Side 7 af 44

8 2 Indledning Dette bilag beskriver den afprøvning af Leverancen, der skal gennemføres for at sikre, at Leverancen opfylder de specificerede krav, og at Leverancen kan anvendes i henhold til det aftalte. For hver afprøvning (test) angives formålet, processen for gennemførelsen samt de Godkendelseskriterier, Leverancen skal opfylde for, at en afprøvning kan betragtes som godkendt. 2.1 Terminologi Ved al planlægning, gennemførelse, dokumentation og afrapportering af afprøvningen skal Leverandøren benytte dokumenterede og anerkendte begreber, f.eks. seneste godkendte testterminologi fra ISTQB. Hvis Leverandøren benytter begreber, eller undtagelsesvis tillægger begreber en anden betydning end et i forvejen kendt og anvendt begreb, skal dette fremgå klart, eksempelvis i en separat ordliste eller i et underafsnit. I tvivlstilfælde benyttes terminologiliste fra ISTQB Software Testing (ISTQB version 2.2). 2.2 Testomfang Leverandøren har det fulde ansvar for alle afprøvninger og er ansvarlig for planlægningen og udførelsen af disse. De afprøvninger, der skal gennemføres, fremgår af Tabel 2 nedenfor. Etape I Etape II Etape III Etape IV (Afklaring) (Analyse, (Prøver og (Løbende Design, Idriftsættelse) Ibrugtagning) Udvikling og Afprøvninger Test) Brugervenlighedstest X Komponenttest X Komponent- X Integrationstest Testbarhedstest X Delleveranceprøve X Samlet X systemintegrationstest Idriftsættelsesprøve X Bilag 6 Afprøvninger Side 8 af 44

9 Etape I (Afklaring) Etape II (Analyse, Design, Etape III (Prøver og Idriftsættelse) Etape IV (Løbende Ibrugtagning) Udvikling og Afprøvninger Test) Konverteringsprøve X X X X Performancetest X X Overtagelsesprøve X Driftsprøve X X Tabel 2 - Rækkefølge af afprøvningerne Sammenhængen mellem Udviklingsprojektets Etaper og de enkelte afprøvninger fremgår af Figur 1 nedenfor. Omfanget af afprøvninger kan variere i Etape II, afhængig af de enkelte Delleverancers indhold. De enkelte afprøvningers sammenhæng med øvrige aktiviteter i Udviklingsprojektet fremgår af bilag 1 (Tidsplan). Figur 1 Udviklingsprojektets Etaper og sammenhæng med afprøvningerne Komponenttest, komponent-integrationstest er Leverandørens afprøvninger der gennemføres uden tilslutning til eksterne parter. Bilag 6 Afprøvninger Side 9 af 44

10 2.3 Testorganisation I gennemførelsen af afprøvningerne er der en række afgørende roller og ansvarsområder. For at sikre en klar opgave- og ansvarsfordeling i gennemførelsen af afprøvningerne vil der blive etableret en organisering, der er i funktion mens afprøvningerne gennemføres. Denne organisation er vist i Figur 2 og er underlagt Udviklingsprojektets almindelige projektledelse, men går derudover på tværs af Udviklingsprojektets delprojekter/arbejdsgrupper. Den funktionelle afklaringsgruppe bemandes af ATP og har til formål at træffe funktionelle beslutninger efter vejledning fra projektledelsen. Leverandørens testmanager er ansvarlig for planlægning, tilrettelæggelse, gennemførelse og kontrol af alle afprøvningernes gennemførelse. Figur 2 Testorganisation Bilag 6 Afprøvninger Side 10 af 44

11 2.4 Ansvarsfordeling (roller og ansvar) Tabellen nedenfor viser Ansvarsfordelingen i de enkelte afprøvninger. Afprøvning Ansvarlig for planlægning og Medvirker Godkender Miljø udførelse Etape I (Afklaring) Brugervenlighedstest Leverandør ATP ATP Klikbar prototype Etape II (Analyse, Design, Udvikling og Test) Komponenttest Leverandør Leverandør Leverandør Leverandørens interne testmiljø Komponent-integrationstest Leverandør Leverandør Leverandør Leverandørens interne testmiljø Testbarhedstest Leverandør Leverandør ATP Eksternt testmiljø Delleveranceprøve Leverandør ATP/Leverandør ATP Eksternt testmiljø Konverteringsprøve Leverandør ATP/Leverandør ATP Eksternt testmiljø Samlet systemintegrationstest Leverandør ATP/Leverandør ATP Eksternt testmiljø Etape III (Prøver og Idriftsættelse) Idriftsættelsesprøve Leverandør ATP/Leverandør ATP Præproduktionsmiljø Konverteringsprøve Leverandør ATP/Leverandør ATP Præproduktionsmiljø Performancetest Leverandør ATP/Leverandør ATP Præproduktionsmiljø Overtagelsesprøve Leverandør ATP ATP Præproduktionsmiljø Driftsprøve Leverandør Leverandør ATP Produktionsmiljø Etape IV (Løbende Ibrugtagning) Performancetest Leverandør ATP/Leverandør ATP Produktionsmiljø Driftsprøve Leverandør Leverandør ATP Produktionsmiljø Tabel 3 Ansvarsfordeling under de forskellige afprøvninger. Under planlægningen har Leverandøren ansvar for følgende: Planlægning af testforberedelse. Planlægning af testgennemførelse. Planlægning af testgodkendelse. Ressourceplanlægning og bemanding i henhold til testorganisationen. Tilvejebringelse af alle forudsætninger for igangsætning og gennemførelse af afprøvningen, i overensstemmelse med angivne startkriterier for hver afprøvning. Bilag 6 Afprøvninger Side 11 af 44

12 Udarbejdelse af testscenarier ud fra retningslinjer udarbejdet af ATP. Udarbejdelse af testcases ud fra retningslinjer udarbejdet af ATP. Tilvejebringelse af nødvendige testværktøjer, herunder værktøj til fejl/afvigelsesrapportering og opfølgning. Under gennemførelse har Leverandøren ansvaret for: Løbende planlægning og opfølgning på Testplan herunder genplanlægning hvor afprøvningen ikke kan gennemføres som planlagt. Testgennemførelse. Afrapportering, opfølgning og løsning af Fejl. Afrapportering af testresultater blandt andet i henhold til punkt 2.10 Opfølgning og afrapportering nedenfor. Leverandøren skal inddrage ATP med henblik på, dels at ATP kan verificere prøveforløbenes overensstemmelse med Kontrakten, dels rigtigheden af testresultatet, herunder de faktiske resultaters overensstemmelse med det, som fremgår af Leverandørens testrapporter. Under godkendelse har Leverandøren ansvaret for: Foranstaltning af en godkendelsesproces i henhold til Godkendelseskriterierne beskrevet i dette bilag, herunder tilvejebringelse af det nødvendige grundlag for at foretage godkendelsen. Opsamling på og udarbejdelse af handlingsplan for at imødekomme alle eventuelle betingelser forbundet med godkendelsen (ved en betinget godkendelse). Afrapportering til ATP s projektledelse. Under planlægning har ATP ansvaret for: Udarbejdelse af retningslinjer for testscenarier og testcases Medvirke til udarbejdelse af prototyper. Under godkendelse har ATP ansvaret for: Godkendelse af afrapportering jf. punkt Godkendelse af Teststrategi, Testplaner, testscenarier og testcases i henhold til punkt ATP kan vælge at supplere med yderligere testscenarier og testcases. Bilag 6 Afprøvninger Side 12 af 44

13 2.4.1 ATP's medvirken ved afprøvningerne ATP medvirker til testgennemførelse som angivet i Tabel 3. Ved medvirken forstås aktiv deltagelse i udførelse af afprøvningerne. Omfanget af ATP s medvirken i hver enkelt afprøvning specificeres i Teststrategien. 2.5 Afprøvningsmiljøer og testdata Det er Leverandørens ansvar at sikre, at de nødvendige miljøer med testdata er til rådighed jf. Teststrategi, Testplan og testscenarier, når en afprøvning skal afvikles. Afprøvningerne skal kunne gennemføres i de i Tabel 3 anførte miljøer. De nærmere krav til miljøerne er angivet i bilag 3A (Behovsopgørelse) og 3A.1 (Kravliste), non-funktionelle krav, kravgruppen Miljøer. 2.6 Testværktøjer Der skal i forbindelse med de forskellige testforløb anvendes et testværktøj til kravstyring, testforberedelse, testeksekvering samt defect/fejlstyring, således at samme data nemt og hurtigt kan benyttes i flere forskellige testsammenhænge, for eksempel at Krav, Testcase, Testscript og Fejl automatisk sammenknyttes i forbindelse med fejlrapportering eller rapportering Fejlkategorier under afprøvning Fejlkategorier for brugervenlighedstest Følgende kategorisering af Fejl anvendes af ATP i forbindelse med brugervenlighedstesten. Det er alene ATP s beslutning at kategorisere Fejl i disse kategorier, men Leverandøren er berettiget til at komme med anbefalinger til ATP herom. Kategori A B C Beskrivelse af fejl Testpersonen kan ikke gennemføre opstillede testscenarier, da personen ikke forstår løsningen. Denne type fejl hindrer testpersonen i at gennemføre sagsbehandlingen. Testen skal kortlægge alle kategori A fejl. Testpersoner kan gennemføre opstillede testscenarier, men er uforholdsmæssigt lang tid om at gennemføre et eller flere trin i løsningen. Testpersoner `strander med andre ord ved en funktionalitet i længere tid, inden de forstår, hvordan de interagerer med løsningen. Fejl, der kun giver mindre eller næsten ingen gene hos testpersonen. Fejlen hindrer ikke, at testpersonen kan gennemføre sagsbehandlingsflowet. Tabel 4 Fejlkategorier ved brugervenlighedstesten. Bilag 6 Afprøvninger Side 13 af 44

14 2.7.2 Fejlkategorier for øvrige afprøvninger Følgende kategorisering af Fejl anvendes af ATP i forbindelse med afprøvningerne, bortset fra brugervenlighedstesten. Det er alene ATP s beslutning at kategorisere Fejl i disse kategorier, i forbindelse med de afprøvninger hvor ATP er medvirkende, men Leverandøren er berettiget til at komme med anbefalinger til ATP herom. Fejlkategori Betydning 1. Kritiske fejl Fejl i programmel, udstyr eller data, som gør at test ikke kan fortsættes. En kritisk fejl forhindrer testeren eller væsentlige dele af testen i at komme videre, og det tjener derfor ikke noget fornuftigt formål at fortsætte testen indenfor de berørte områder. Fejl i denne kategori vil betyde, at programmel, udstyr eller data skal udskiftes, opdateres eller modificeres i væsentlig grad på flere afgørende punkter. En Fejl i denne kategori medfører at en fuld eller omfattende gentest er nødvendig for at verificere, at den afhjælpende handling (udskiftning, opdateres, modificering) er gennemført med det ønskede resultat og, at det kan dokumenteres. 2. Større fejl Større fejl i programmel, udstyr eller data, som gør at dele af testen ikke kan fortsættes medmindre en væsentlig work-around tages i anvendelse. Større fejl vil typisk betyde, at programmel, udstyr eller data enten skal udskiftes, opdateres eller modificeres på flere punkter. En Fejl i denne kategori vil medføre at en gentest er nødvendig for at verificere, at den afhjælpende handling (udskiftning, opdateres, modificering) er gennemført med det ønskede resultat og, at det kan dokumenteres. 3. Mindre fejl Mindre fejl i programmel, udstyr eller data, som gør at test kan fortsætte, f.eks. ved at en simpel work-around tages i anvendelse, men i øvrigt ikke stopper testen. Fejl i denne kategori vil typisk betyde, at programmel, udstyr eller data enten skal udskiftes, opdateres eller modificeres på en række punkter. En Fejl i denne kategori vil medføre at en gentest er nødvendig for at verificere, at den afhjælpende handling (udskiftning, opdateres, modificering) er gennemført med det ønskede resultat og, at det kan dokumenteres. Bilag 6 Afprøvninger Side 14 af 44

15 Fejlkategori Betydning 4. Uhensigtsmæssigheder Fejl i programmel, udstyr eller data, som er mindre betydelige eller af kosmetisk art, men fortsat en fejl i forhold til Kontrakten, eksempelvis stavefejl, fejl i layout af skærmbilleder, og lignende. En fejl, som ikke påvirker dataintegritet eller i væsentlig grad Systemets anvendelse i øvrigt, men som kræver en mindre uvæsentlig handling for at rette. Fejl i denne kategori kan typisk betyde, at programmel, udstyr eller data enten skal udskiftes, opdateres eller modificeres. ATP vil vurdere om gentest af fejl i denne kategori er nødvendig for at verificere, at den afhjælpende handling (udskiftning, opdateres, modificering) er gennemført med det ønskede resultat og, at det kan dokumenteres. Tabel 5 Fejlkategorier ved øvrige afprøvninger 2.8 Udarbejdelse og levering af testdokumentation Udarbejdelse og levering af testdokumentation skal følge anvisningerne i kapitel Håndtering af Fejl Alle Fejl, der identificeres under afprøvningen, skal registreres af testeren i det dertil indrettede testværktøj. Registreringen skal indeholde alle de oplysninger, der er nødvendige for at behandle fejlrapporten. Fejl-gruppen er ansvarlig for snarest derefter at behandle fejlrapporten og løse denne, eller angive en beskrivelse af hvorfor fejlrapporten afvises. Se Figur 2 Testorganisation. Det er udelukkende ATP, der kan godkende løsningen på en Fejl enten ved gentest, verifikation eller ved accept af at fejlrapporten ikke krævede en rettelse i Systemet. Dette gælder de afprøvninger, hvor ATP medvirker. I forhold til de afprøvninger hvor Leverandøren alene er ansvarlig, skal Leverandøren levere en testrapport til ATP, som dokumentation for afprøvningens gennemførelse og resultat. Alle fejlrapporter, der lukkes, skal indeholde en nøje beskrivelse af løsningen på den konstaterede Fejl. Leverandøren skal føre en log over alle fejlrapporter, som skal være online tilgængelig for ATP via det anvendte testværktøj, jf. punkt 2.6. Alle fejlrapporter, der lukkes, skal have beskrevet en begrundet løsning, således at dette tjener som en del af den officielle dokumentation for Leverancen. Der skal Bilag 6 Afprøvninger Side 15 af 44

16 holdes historik på fejlrapporter, således at det ved testafrapportering er muligt at føre statistik over alle fundene Fejl i de forskellige testfaser. Den specifikke procedure for de enkelte afprøvninger, skal beskrives i Testplaner, jf. punkt 4.2 nedenfor Opfølgning og afrapportering Klarmelding før opstart af afprøvning Leverandøren er ansvarlig for planlægning i henhold til punkt 2.4 Leverandøren skal forinden opstart på en afprøvning, give ATP en skriftlig klarmelding. Klarmeldingen skal omfatte dokumentation for, at de generelle startkriterier for afprøvningen, jf. punkt 3.2, er overholdt. Klarmeldingen skal foreligge senest 5 dage før den planlagte startdato for afprøvning. Hvis Leverandøren er bekendt med forhold, der vil påvirke afprøvningens gennemførelse som planlagt, skal Leverandøren uden ugrundet ophold meddele dette til ATP, så eventuelle konsekvenser for ATP s ressourcer kan indarbejdes i god tid Afrapportering under gennemførelse af afprøvning Leverandøren er ansvarlig for gennemførelse i henhold til punkt 2.4. Leverandøren er forpligtet til, under gennemførelse af en afprøvning, på ATP s forlangende, at udarbejde en statusrapport på fremdrift for gennemførelse af afprøvningen, samt en risikovurdering i forhold til konstaterede Fejl, anbefalede korrigerende handlinger, herunder planlægning af gentest af afprøvningen, samt konsekvenser for afprøvningens validitet og konsekvenser for øvrige aktiviteter omfattet af Leverancen. Denne statusrapport skal tydeligt angive sammenhængen mellem Fejl og testscenarier/testcases, således at det er muligt at se, hvilke dele af Systemet og afprøvningen, der er påvirket af de konstaterede Fejl. Leverandøren skal fremsende statusrapporten senest 8 timer efter ATP s skriftlige forlangende, regnet inden for normal forretningstid, dvs. Arbejdsdage i tidsrummet Statusrapporten skal fremsendes skriftligt til ATP s projektleder eller dennes stedfortræder. Bilag 6 Afprøvninger Side 16 af 44

17 Under gennemførelse af en afprøvning har ATP ret til at få udleveret gældende kopier af udfyldte testskemaer indeholdende testresultater, fejlrapporter, samt øvrige testbilag i det omfang, det ønskes. Leverandøren skal udlevere materialet uden ugrundet ophold til ATP s projektleder og testmanager Afrapportering efter afsluttet afprøvning Leverandøren er ansvarlig for gennemførelse i henhold til punkt 2.4. Leverandøren skal efter afsluttet afprøvning, afrapportere resultaterne i form af en skriftlig testrapport. Testrapporten skal omfatte en fuldstændig liste af de testscenarier og testcases, der er gennemført, samt alle rapporterede Fejl og forslag til kategorisering af de konstaterede Fejl samt løsning og aktuel status på disse. Herudover skal testrapporten redegøre for, hvilke testcases der har henholdsvis bestået/ikke bestået acceptkriterierne. En afprøvning, som ATP skal godkende, kan kun betragtes som godkendt, når ATP skriftligt har godkendt testrapporten for den pågældende afprøvning. Bilag 6 Afprøvninger Side 17 af 44

18 3 Afprøvningsomfang 3.1 Generelle tidsfrister i forbindelse med afprøvninger For alle afprøvninger, med undtagelse af Leverandørens komponent- og komponentintegrationstest, gælder at Leverandøren skal aflevere en Testplan og en antal testscenarier med tilhørende testcases i henhold til bilag 1 (Tidsplan). For Delleveranceprøverne skal testscenarier og tilhørende testcases afleveres til ATP senest 10 Arbejdsdage inden afprøvningens afvikling. For alle øvrige afprøvninger skal testscenarier og tilhørende testcases afleveres til ATP senest 20 Arbejdsdage inden afprøvningens afvikling. Testplanen skal afleveres til ATP senest 10 Arbejdsdage inden afprøvningens afvikling. For hver aflevering har ATP 5 Arbejdsdage til at komme med skriftlige indsigelser. Såfremt ATP ikke fremsender skriftlige indsigelser senest 5 Arbejdsdage efter modtagelsen, betragtes det fremsendte som godkendt. Efter prøven skal Leverandøren straks udarbejde en rapport for afprøvningen og levere denne til ATP. ATP har fra modtagelsen af Testrapporten følgende frister til at meddele Leverandøren, om afprøvningen kan godkendes: Brugervenlighedstest 10 Arbejdsdage Komponenttest og komponentintegrationstest 2 Arbejdsdage Testbarhedstest 2 Arbejdsdage Delleveranceprøve 5 Arbejdsdage Samlet systemintegrationstest 10 Arbejdsdage Idriftsættelsesprøve 5 Arbejdsdage Konverteringsprøve 10 Arbejdsdage Performancetest 5 Arbejdsdage Overtagelsesprøve 10 Arbejdsdage Driftsprøve 10 Arbejdsdage. Leverandøren skal senest 5 Arbejdsdage efter ATP s godkendelse af afprøvningen levere den endelige testrapport for afprøvningen til ATP. Bilag 6 Afprøvninger Side 18 af 44

19 3.2 Generelle startkriterier Leverandøren skal sikre, at følgende er opfyldt inden afviklingen af en given afprøvning kan påbegyndes: Det relevante testmiljø, inklusive testdata og eventuelle integrationer er etableret. Afprøvningen skal være specificeret i en af ATP i forvejen godkendt Teststrategi. For alle afprøvninger, med undtagelse af Leverandørens komponent- og komponentintegrationstest, gælder endvidere følgende: Planen for gennemførelse af afprøvningen skal være specificeret i en af ATP i forvejen godkendt Testplan. Scenarierne som afprøvningen omfatter, skal være specificeret i et eller flere af ATP i forvejen godkendte testscenarier. Kravene og områderne afprøvningen omfatter, skal være specificeret i et antal af ATP i forvejen godkendte testcases. 3.3 Brugervenlighedstest Formål Formålet med afprøvningen er at verificere, at ATP s krav til Systemets brugervenlighed i brugergrænsefladerne til kunderådgiverne, jf. bilag 3A (Behovsopgørelse) og bilag 3A.1 (Kravliste), er opfyldt. Afprøvningen skal foregå i forbindelse med Etape I (Afklaring) på en til formålet udviklet prototype af Systemets brugergrænseflader til kunderådgiverne, jf. bilag 3A (Behovsopgørelse) punkt Startkriterier Kriteriet for gennemførelse af afprøvningen er følgende: De generelle startkriterier, jf. punkt 3.2, skal være opfyldt. Systemets brugergrænseflader i prototypen har en færdiggørelsesgrad, så ATP s testere kan få en meningsfyldt oplevelse af Leverandørens hensigt med den færdige løsning Gennemførelse Afprøvningen skal planlægges, designes og afrapporteres i overensstemmelse med Teststrategien. Bilag 6 Afprøvninger Side 19 af 44

20 Afprøvningen skal gennemføres på en af ATP valgt adresse med ATP s brugere som testpersoner og med Leverandøren som Instruktør. ATP er ansvarlig for at udvælge de brugere, der skal deltage. Leverandøren er forpligtet til at assistere i gennemførelsen af afprøvningen, og i nødvendigt omfang undervejs, at instruere ATP i gennemførelse af afprøvningen. Leverandøren må ikke forsøge at påvirke ATP s testpersoner undervejs, men skal alene, i forhold til gennemførelse af afprøvningen, virke som instruktør Ansvarsfordeling Leverandørens ansvar er beskrevet i punkt 2.4 og i punkt ATP medvirker i gennemførelsen af afprøvningen og godkender afprøvningen Afrapportering Afprøvningen skal afrapporteres i henhold til punkt Godkendelseskriterier Kriteriet for godkendelse af afprøvningen er, at afprøvningen er afsluttet uden at der i forbindelse hermed er konstateret udestående Fejl af kategori A og maksimalt to Fejl af kategori B pr. testperson, og at dette er dokumenteret overfor ATP i henhold til punkt Afprøvningen kan betragtes som godkendt, når der foreligger en af ATP skriftlig godkendt testrapport. ATP har pligt til at godkende testrapporten, såfremt det heri er dokumenteret, at afprøvningen er bestået i henhold til Godkendelseskriterierne. Testrapporten skal underskrives af ATP s projektleder og testmanager. Testrapporten skal udarbejdes og udformes i henhold til punkt Komponenttest og komponentintegrationstest Formål Formålet med komponenttesten og komponentintegrationstesten er, at Leverandøren før levering af Systemet til ATP verificerer, at hver komponent samt integrationen mellem de forskellige komponenter i Systemet er testet. Komponenttesten og komponentintegrationstesten er en funktionel og teknisk test, som skal verificere, at Systemet er klar til igangsætning af Testbarhedstest og Delleveranceprøve. Bilag 6 Afprøvninger Side 20 af 44

21 Komponenttesten og komponentintegrationstesten kontrollerer funktionen af Programmel, der kan testes individuelt og sammensat. Komponenttesten og komponentintegrationstesten er Leverandørens test. Komponenttesten og komponentintegrationstesten foretages, når den enkelte komponent er færdigudviklet og dokumenteret, og kvaliteten er verificeret i henhold til Leverandørens kvalitetssikring Startkriterier De generelle startkriterier jf. punkt 3.2 skal være opfyldt. Herudover fastlægger Leverandøren selv startkriterierne Gennemførelse Afprøvningen skal planlægges, designes og gennemføres i overensstemmelse med Teststrategien. Afprøvningen skal gennemføres i det miljø som fremgår af punkt Ansvarsfordeling Leverandørens ansvar er beskrevet i punkt 2.4. ATP eller en af denne udpegede tredjemand har ret til at deltage som observatør i denne afprøvning Afrapportering Prøven skal afrapporteres i henhold til punkt Godkendelseskriterier Kriterierne for godkendelse af afprøvningen er, at afprøvningen er afsluttet uden at der i forbindelse hermed er konstateret udestående Fejl af kategori 1 og kategori 2, samt maksimalt konstateret 10 Fejl af kategori 3 og 30 Fejl af kategori 4 i Systemet, og at dette er dokumenteret overfor ATP i henhold til punkt Testrapporten skal udarbejdes og udformes i henhold til punkt Testbarhedstest Formål Formålet med Testbarhedstesten er at konstatere, om den pågældende Delleverance er klar til Delleveranceprøven. Bilag 6 Afprøvninger Side 21 af 44

22 3.5.2 Startkriterier Afprøvninger der jf. Tabel 2 ligger før denne afprøvning, skal være godkendt De generelle startkriterier, jf. punkt 3.2, skal være opfyldt Gennemførelse Afprøvningen skal planlægges, designes og gennemføres i overensstemmelse med Teststrategien. Afprøvningen skal gennemføres i det miljø som fremgår af punkt Ansvarsfordeling Leverandørens ansvar er beskrevet i punkt 2.4. ATP eller en af ATP udpeget tredjemand medvirker som observatør i denne afprøvning Afrapportering Afprøvningen skal afrapporteres i henhold til punkt Godkendelse Kriteriet for godkendelse af afprøvningen er, at afprøvningen er afsluttet uden at der i forbindelse hermed er konstateret udestående Fejl af kategori 1 og kategori 2, samt maksimalt konstateret 10 Fejl af kategori 3 og 30 Fejl af kategori 4 i Systemet, og at dette er dokumenteret overfor ATP i henhold til punkt Testrapporten skal underskrives af ATP s projektleder og testmanager. Testrapporten skal udarbejdes og udformes i henhold til punkt 4.5. Afprøvningen kan betragtes som godkendt, når der foreligger en skriftlig godkendt testrapport. ATP har pligt til at godkende testrapporten, såfremt det heri er dokumenteret, at afprøvningen er bestået i henhold til ovennævnte Godkendelseskriterier. 3.6 Delleveranceprøve Formål Formålet med en Delleveranceprøve er at konstatere, om den pågældende Delleverance opfylder de krav, som Delleverancen omfatter, herunder om den aftalte funktionalitet for Delleverancerne og tilhørende Dokumentation er leveret, Bilag 6 Afprøvninger Side 22 af 44

23 og at integrationer fungerer og anvendes korrekt. Derudover gennemføres en regressionstest af tidligere leverede Delleverancer. Der skal gennemføres en Delleveranceprøve for hver Delleverance. En Delleveranceprøve vil således tjene som test af seneste Delleverance samt regressionstest af tidligere Delleverancer. Før hver Delleverance er der opnået enighed mellem ATP og Leverandøren om, hvilke krav den pågældende Delleverance skal opfylde. Disse krav kan være funktionelle, såvel som ikke-funktionelle herunder krav til integrationer, konvertering og Dokumentation. Delleveranceprøven omfatter disse krav, samt alle krav, der er - eller skulle være - opfyldt i tidligere leverede Delleverancer. En Delleveranceprøve kan derfor omfatte afprøvning af opfyldte krav i den aktuelle Delleverance, samt gentest af Fejl, der måtte være udbedret i forhold til tidligere Delleverancer og relevant regressionstest Startkriterier Afprøvninger der jf. Tabel 2 ligger før denne afprøvning, skal være godkendt De generelle startkriterier, jf. punkt 3.2, skal være opfyldt Gennemførelse Afprøvningen skal planlægges, designes og gennemføres i overensstemmelse med Teststrategien. Afprøvningen skal gennemføres i det miljø som fremgår af punkt Ansvarsfordeling Leverandørens ansvar er beskrevet i punkt 2.4. ATP s medvirken er beskrevet i punkt Afrapportering Afprøvningen skal afrapporteres i henhold til punkt Godkendelseskriterier Kriteriet for godkendelse af afprøvningen er, at afprøvningen er afsluttet uden at der i forbindelse hermed er konstateret udestående Fejl af kategori 1 og kategori 2, samt maksimalt konstateret 10 Fejl af kategori 3 og 30 Fejl af kategori 4 i Systemet, og at dette er dokumenteret overfor ATP i henhold til punkt Bilag 6 Afprøvninger Side 23 af 44

24 Testrapporten skal underskrives af ATP s projektleder og testmanager. Testrapporten skal udarbejdes og udformes i henhold til punkt 4.5. Afprøvningen kan betragtes som godkendt, når der foreligger en skriftlig godkendt testrapport. ATP har pligt til at godkende testrapporten, såfremt det heri er dokumenteret, at afprøvningen er bestået i henhold til ovennævnte Godkendelseskriterier. 3.7 Samlet systemintegrationstest Formål Formålet med den samlede systemintegrationstest er, at Leverandøren, før levering af Systemet, verificerer, at den aftalte funktionalitet for Systemet opfylder alle ATP s krav til Leverancen. Systemintegrationstesten er en funktionel test og en integrationstest af de forskellige Delleverancer, og den skal verificere, at Systemet er klar til igangsætning af Overtagelsesprøven og at Systemet kan kommunikere med eksterne it-systemer udenfor ATP s it-miljø, som forudsat i Leverancebeskrivelsen. Regressionstest i forhold til alle forudgående Delleverancer, skal indgå som en del af systemintegrationstesten, for at sikre at rettelser i forudgående Delleverancer ikke har afstedkommet nye uhensigtsmæssigheder i Systemet. Regressionstesten skal automatiseres for væsentlige processer, så som motorveje og relaterede integrationer, så den kan genanvendes når der kræves tilretninger til Systemet efter idriftsættelse Startkriterier Afprøvninger, der jf. Tabel 2 ligger før denne afprøvning, skal være godkendt De generelle startkriterier, jf. punkt 3.2, skal være opfyldt Gennemførelse Afprøvningen skal planlægges, designes og gennemføres i overensstemmelse med Teststrategien. Afprøvningen skal gennemføres i det miljø som fremgår af punkt 2.4. Bilag 6 Afprøvninger Side 24 af 44

25 3.7.4 Ansvarsfordeling Leverandørens ansvar er beskrevet i punkt 2.4. ATP s medvirken er beskrevet i punkt Afrapportering Afprøvningen skal afrapporteres i henhold til punkt Godkendelseskriterier Kriteriet for godkendelse af afprøvningen er, at afprøvningen er afsluttet uden at der i forbindelse hermed er konstateret udestående Fejl af kategori 1 og kategori 2, samt maksimalt konstateret 10 Fejl af kategori 3 og 30 Fejl af kategori 4 i Systemet, og at dette er dokumenteret overfor ATP i henhold til punkt Testrapporten skal underskrives af ATP s projektleder og testmanager. Testrapporten skal udarbejdes og udformes i henhold til punkt 4.5. Afprøvningen kan betragtes som godkendt, når der foreligger en skriftlig godkendt testrapport. ATP har pligt til at godkende testrapporten, såfremt det heri er dokumenteret, at afprøvningen er bestået i henhold til ovennævnte Godkendelseskriterier 3.8 Idriftsættelsesprøve Formål Formålet med Idriftsættelsesprøven er, at afprøve idriftsættelsesprocessen, samt at verificere, at Systemet kan installeres korrekt i præproduktionsmiljøet i overensstemmelse med installationsvejledningen inden Overtagelsesprøven påbegyndes Startkriterier Kriterierne for gennemførelse af afprøvningen er følgende: Afprøvninger, der jf. Tabel 2 ligger før denne afprøvning, skal være godkendt De generelle startkriterier, jf. punkt 3.2, skal være opfyldt Gennemførelse Afprøvningen skal planlægges, designes og gennemføres i overensstemmelse med Teststrategien. Bilag 6 Afprøvninger Side 25 af 44

26 Afprøvningen skal gennemføres i det miljø som fremgår af punkt Ansvarsfordeling Leverandørens ansvar er beskrevet i punkt 2.4. ATP eller en af ATP udpeget tredjemand medvirker som observatør i denne afprøvning Afrapportering Leverandøren skal afrapportere afprøvningen i henhold til punkt Godkendelseskriterier Godkendelseskriterier for denne afprøvning er: Systemet er installeret korrekt i det pågældende miljø jf. punkt 2.4. Afprøvningen er afsluttet uden at der i forbindelse hermed er konstateret udestående Fejl af kategori 1 og kategori 2, samt maksimalt konstateret 5 Fejl af kategori 3 og 10 Fejl af kategori 4 i Systemet, og at dette er dokumenteret overfor ATP i henhold til punkt Testrapporten skal underskrives af ATP s projektleder og testmanager. Testrapporten skal udarbejdes og udformes i henhold til punkt 4.5. Afprøvningen kan betragtes som godkendt, når der foreligger en skriftlig godkendt testrapport. ATP har pligt til at godkende testrapporten, såfremt det heri er dokumenteret, at afprøvningen er bestået i henhold til ovennævnte Godkendelseskriterier. 3.9 Konverteringsprøve Formål Formålet med konverteringsprøven er at sandsynliggøre, at Leverandørens løsning til konvertering af ATP s data lever op til kravene til konvertering i henhold til bilag 3 (Leverancebeskrivelse). Leverandøren har mulighed for at tilrettelægge flere Konverteringsprøver i såvel Etape II som Etape III. Konverteringsprøven har til formål, at verificere: At Leverandørens metoder, teknikker og værktøjer til datakonvertering fungerer. Bilag 6 Afprøvninger Side 26 af 44

27 At data, som prøvekonverteres over i Systemet, placeres korrekt i Systemet. At både stamdata og transaktionsdata er komplette og sammenhængende, således at alle Systemets funktioner kan anvendes uden fejl som følge af manglende/ukorrekte data. Leverandørens beregninger af, hvilken tid der vil medgå til henholdsvis datavask, load og indlæsning i forbindelse med den endelige konvertering af data forud for idriftsættelsen. Afprøvningen skal som minimum omfatte følgende områder: Afstemning af totaler, sumposter, antal m.v. for at teste kompletheden af data. Kontrol af konsistens i data sammenlignet med ATP s eksisterende systemer. (kildesystemer). Kontrol af revisionsspor og transaktionsspor i form af logning på recordniveau og afstemningsrapporter Funktionel test af data med hensyn til korrekthed, komplethed, samt Systemets anvendelse af disse data. Kontrol af alle beregningsregler, jf bilag 3A.8 (Oversigter), faneblad Beregningsregler FØP og FOP. Kontrol af korrekt historik på sager. Afprøvning af, at data, som skal viderefordeles til øvrige systemer, fordeles korrekt. En end-to-end test af konverteringsprocessen, jf. beskrivelsen af dataudtræk, indlæsning og viderefordeling af data i bilag 3A (Behovsopgørelse) Startkriterier Afprøvninger, der jf. Tabel 2 ligger før denne afprøvning, skal være godkendt. De generelle startkriterier, jf. punkt 3.2, skal være opfyldt. Der skal foreligge en af ATP godkendt Konverteringsstrategi. Der skal foreligge en af ATP godkendt Konverteringsdrejebog Gennemførelse Afprøvningen skal planlægges, designes og gennemføres i overensstemmelse med Teststrategien. Afprøvningen skal gennemføres i det miljø som fremgår af punkt 2.4. Bilag 6 Afprøvninger Side 27 af 44

28 3.9.4 Ansvarsfordeling Leverandørens og ATP s ansvar er beskrevet i punkt 2.4. ATP s medvirken er beskrevet i punkt Afrapportering Afprøvningen skal afrapporteres i henhold til punkt Godkendelseskriterier Godkendelseskriteriet for denne afprøvning er at Leverandøren overfor ATP har dokumenteret, at konverteringen er gennemført uden at data er gået tabt eller blevet forvansket at Leverandøren overfor ATP har dokumenteret, at Leverandørens beregninger af konverteringstid for henholdsvis datavask, load og indlæsning er korrekte og retvisende, inklusiv kontrol og afstemning. Afprøvningen er afsluttet uden at der i forbindelse hermed er konstateret udestående Fejl af kategori 1, kategori 2, kategori 3 samt maksimalt konstateret 10 Fejl af kategori 4 i Systemet, og at dette er dokumenteret overfor ATP i henhold til punkt Testrapporten skal underskrives af ATP s projektleder og testmanager. Testrapporten skal udarbejdes og udformes i henhold til punkt 4.5. Afprøvningen kan betragtes som godkendt, når der foreligger en skriftlig godkendt testrapport. ATP har pligt til at godkende testrapporten, såfremt det heri er dokumenteret, at afprøvningen er bestået i henhold til ovennævnte Godkendelseskriterier Performancetest Formål Testen har til formål, at verificere, at: Systemet kan opfylde krav til servicemål, jf. bilag 7 (Servicemål) i forhold til svartider. Systemet skal kunne håndtere at samtidige transaktioner ikke påvirkes negativt med hensyn til svartider i forhold til hvad der er aftalt i servicemål, jf. bilag 7 (Servicemål). Bilag 6 Afprøvninger Side 28 af 44

29 Startkriterier Kriteriet for gennemførelse af testen er følgende: Afprøvninger, der jf. Tabel 2 ligger før denne afprøvning, skal være godkendt. Afprøvningen skal være specificeret i en af ATP i forvejen godkendt Teststrategi. Planen for gennemførelse af afprøvningen skal være specificeret i en af ATP i forvejen godkendt Testplan. Scenarierne som afprøvningen omfatter, skal være specificeret i et antal af ATP i forvejen godkendte testscenarier. Kravene og områderne afprøvningen omfatter, skal være specificeret i et antal af ATP i forvejen godkendte testcases Gennemførelse Baggrundsbelastning under svartidsmålingerne skal aftales med ATP. Baggrundsbelastningen skal være repræsentativ i forhold til en realistisk brugssituation. Svartidsmålingerne skal honorere de svartidskrav, der er sat i bilag 7 (Servicemål). Afprøvningen skal afspejle en realistisk situation med 250 samtidige kunderådgivere. Scenarierne fastlægges i Etape I (Afklaring) i teststrategien Ansvarsfordeling Leverandørens og ATP s ansvar er beskrevet i punkt 2.4. ATP s medvirken er beskrevet i punkt Afrapportering Testen skal afrapporteres i henhold til punkt Godkendelseskriterier Testen er bestået, såfremt det i forbindelse hermed er sandsynliggjort, at Systemet vil kunne opfylde de aftalte krav til performance i en normal driftssituation, herunder ved automatiske kørsler, jf. bilag 7 (Servicemål), afsnit 4. Testrapporten skal udarbejdes og udformes i henhold til punkt 4.5. Testrapporten skal underskrives af ATP s projektleder. Bilag 6 Afprøvninger Side 29 af 44

30 Afprøvningen kan betragtes som godkendt, når der foreligger en af ATP skriftligt godkendt testrapport. ATP har pligt til at godkende testrapporten, såfremt det heri er dokumenteret, at afprøvningen er bestået i henhold til ovennævnte Godkendelseskriterier Overtagelsesprøve Formål Formålet med Overtagelsesprøven er at konstatere, om den aftalte funktionalitet for det samlede System er leveret, at ikke-funktionelle krav er opfyldt, at Systemet og alle integrationer fungerer i samspil, at Systemet foretager en korrekt anvendelse af disse samt, at den tilhørende Dokumentation, der skal leveres under Kontrakten, opfylder Kontraktens krav. Herudover skal Overtagelsesprøven verificere, at Systemet er færdigudviklet, færdigopsat og indeholder korrekte konverterede data og opfylder alle ATP s krav til Leverancen, således at den samlede Leverance kan godkendes af ATP. Ved ATP s godkendelse af Overtagelsesprøven overtager ATP Systemet, jf. Kontrakten. Overtagelsesprøven skal afvikles i præproduktionsmiljøet, der skal være identisk med produktionsmiljøet og med en ny installation samt ny-konverterede data fra seneste prøvekonvertering, således at det samlede System fremstår i tilsvarende stand som efter den endelige produktionskonvertering. Præproduktionsmiljøet skal forblive intakt og uden ændringer i hele Overtagelsesprøvens løbetid. Leverandøren har således ingen beføjelser til at ændre i præproduktionsmiljøet under Overtagelsesprøven, uden skriftlig accept fra ATP. Dette gælder blandt andet systemrettelser, opsætning, konfigurering, brugeradgange, stamdata, transaktionsdata m.v. Ved flere Overtagelsesprøver skal præproduktionsmiljøet opdateres/synkroniseres med funktionalitet, der allerede forefindes i produktionsmiljøet. Overtagelsesprøven har til formål at verificere den samlede Leverance herunder blandt andet: Processer og dagligdags arbejdsgange er udgangspunktet for afprøvningen, idet formålet er at verificere, at Systemet kan virke i praksis hos ATP i henhold til kravene i Leverancebeskrivelsen. Bilag 6 Afprøvninger Side 30 af 44

31 Funktionaliteten i Systemet og konfiguration (herunder skærmbilleder, rapporter, breve/print etc.) afprøves i forhold til at validere Systemets virkemåde i henhold til de valg, der blev taget i analysearbejdet og udtrykt i Leverancebeskrivelsen. Beregninger i Systemet afprøves via stikprøver for at sikre, at Systemet beregner korrekt i forhold til gældende lovgivning. Årskørsler Årskørsler som beskrevet i bilag 1, punkt 2.4 afprøves. Systemadgange og brugergrupper afprøves som en integreret del af afprøvningen, ved at systemhandlingerne foretages med virkeligstro roller og brugerrettigheder. Stamdata og konfiguration valideres som en del af afprøvningen, således at testmaterialet og testerne forholder sig til korrektheden af stamdata og konfiguration. Konverterede data/transaktionsdata Afprøves ved at hele afprøvningen eksekveres i et miljø, der er populeret med et komplet sæt konverterede data tilvejebragt efter samme metode som planlægges brugt ved den endelige konvertering. Grænseflader Afprøves dels enkeltvis dels ved en procesorganiseret afprøvning, hvor grænseflademeddelelser genereres og modtages som ved normal systembrug. Automatiske kørsler Afprøves dels enkeltvis dels ved en procesorganiseret afprøvning, hvor Systemet startes automatisk eller manuelt på realistiske tidspunkter i forhold til eksekveringen af afprøvningen. Udskrifter Afprøves som en del af Overtagelsesprøven ved at der foretages en signifikant stikprøve af kritisk udskrifter (bl.a. kundeafregninger), som genereres og udskrives og valideres manuelt af ATP. Brugervenlighed Afprøves i henhold til kravene herfor, herunder brugervejledning og on-line hjælp indbygget i Systemets brugergrænseflade. Disse krav fremgår af bilag 3A.1 (Kravliste). Forretningsprocesser Afprøves og prioriteres med udgangspunkt i motorveje, landeveje og bjergveje. Vejene er som udgangspunkt med til at definere automatiseringsgrad og kompleksitet: o o o Motorvej; automatiseret Landevej; optimalt systemunderstøttet Bjergvej; systemunderstøttet Bilag 6 Afprøvninger Side 31 af 44

32 End-to-end test Afprøvning af hele Systemet på tværs af fagsystemer, støttesystemer og leverandører. Dokumentation Afprøves i henhold til kravene hertil i bilag 4 (Dokumentation) og programmel. Sikkerhedstest Afprøves i henhold til kravene, jf. bilag 3 (Leverancebeskrivelse). Følgende skal Afprøves i forbindelse med afprøvningen: o Systemet opfylder kravene til autentifikation jf. bilag 3 (Leverancebeskrivelse). o Brugerdata og parametre for systemopsætning ikke lagres på klientprogrammel o Autentifikationsmekanismen i Systemet understøtter fail-secure, jf. kravene hertil i bilag 3 (Leverancebeskrivelse). o Systemet understøtter autentifikation via NemID for eksterne brugere. o Autentifikationsmekanismen i Systemet ikke oplyser om brugernavn eller password er fejlet ved log-in. o Opbevaring af adgangskontroloplysninger i Systemet er krypteret. o Fejlbeskeder ikke viser information, der er kritisk for Systemets sikkerhedsmodel. o Systemet understøtter, at brugere ikke kan overtage hinandens sessioner (Secure Cookies). o Personfølsomme data i transition mellem System og bruger er krypteret med en stærk kryptering baseret på en anerkendt algoritme. o Systemet i sin eksterne kommunikation krypterer for fortrolighed og signerer for integritet baseret på digital signatur. o Inaktive brugersessioner i Systemet afbrydes automatisk. o Systemet reagerer på en kontrolleret måde (og ikke fryser eller låser), hvis brugerne begår fejl såsom fejlindtastninger, slåfejl eller tilfældig hurtig aktivering af flere kommandoer. o Systemet sikrer dataintegritet sådan, at data forbliver konsistente i forbindelse med forskellige fejlsituationer. o Systemet danner et kontrol- og transaktionsspor bl.a. til opfyldelse af bogføringslovens krav om et intakt transaktionsspor og funktionsadskillelse. Bilag 6 Afprøvninger Side 32 af 44

33 o Alle relevante transaktioner i Systemet skal logges - herunder væsentlige brugeraktiviteter, afvigelser og sikkerhedshændelser. Alle identificerede Fejl i forbindelse med tidligere afprøvninger, hvis løsning ikke er godkendt af ATP, skal godkendes som led i Overtagelsesprøven. Alle identificerede Fejl til den samlede Leverance, hvor løsningen ikke er verificeret og endeligt Godkendt af ATP vil tælle med som Fejl i Overtagelsesprøven herunder alle typer Fejl omfattet af punkterne ovenfor Startkriterier Kriteriet for gennemførelse af afprøvningen er følgende: Afprøvninger, der jf. Tabel 2 ligger før denne afprøvning, skal være godkendt. De generelle startkriterier, jf. punkt 3.2, skal være opfyldt. Systemet er i en sådan færdiggørelsesgrad, at testerne uhindret kan navigere meningsfyldt i brugergrænsefladen og relatere oplevelsen direkte til Leverandørens hensigt med den færdige løsning. Testplanen indeholder en fuldstændig plan over ressourcebehovet og de allokerede ressourcer til at gennemføre testen i henhold til testorganisationen. Al udvikling, opsætning m.v. er afsluttet og afprøvet i henhold til de foregående afprøvninger i dette bilag og er installeret i Præproduktionsmiljøet. Leverandøren har skriftligt meddelt ATP, at den samlede Leverance er klar til afprøvning. Leverandøren har redegjort for at alle identificerede Fejl er rettede og verificerede af ATP. Konverteringsprøven er gennemført og Præproduktionsmiljøet er populeret med fungerende stamdata og transaktionsdata i tilstrækkelig kvalitet og omfang til at gennemføre afprøvningen. Brugergrupper og autorisationsrettigheder er oprettet til testbrug og afspejle de kommende virkelige brugerrettigheder i henhold til bilag 3. Der er etableret testværktøjer, og de testfaciliteter og personer, der indgår i testen, skal have fået tilstrækkelig uddannelse og træning i at håndtere værktøjer og udføre afprøvningen. Bilag 6 Afprøvninger Side 33 af 44

34 Gennemførelse Afprøvningen skal planlægges, designes og gennemføres i overensstemmelse med Teststrategien. Afprøvningen skal gennemføres i det miljø som fremgår af punkt 2.4. Overtagelsesprøven afprøver Systemets understøttelse af forretningsprocesserne i bilag 3 ved hjælp af en række testscenarier. Et testscenarie beskriver således en overordnet forretningsproces. Under et testscenarie vil der være en række varianter af forretningsprocessen disse beskrives som testcases. Testcases til Overtagelsesprøven udarbejdes i samarbejde med ATP og skal godkendes af ATP. Fejl, som ATP ikke har godkendt løsningen af ved Overtagelsesprøve start, vil indgå i den samlede opgørelse af Fejl identificeret i forbindelse med Overtagelsesprøven, medmindre løsninger på disse verificeres og godkendes af ATP som en del af Overtagelsesprøven. 1 måned før planlagt påbegyndelse af Overtagelsesprøven afholdes et møde, hvor Leverandøren fremlægger aktuel status på samtlige kendte Fejl samt redegør for, hvilke udestående Fejl, der løses og leveres forud for starten på Overtagelsesprøven, herunder fremlægger en dagsplan for gentesten af disse inden påbegyndelsen af Overtagelsesprøven. 7 dage før planlagt påbegyndelse af Overtagelsesprøven afholdes et møde, hvor Leverandøren fremlægger status på udestående Fejl og melder klar til påbegyndelse af Overtagelsesprøven. I forbindelse med gennemførelsen af Overtagelsesprøven skal Leverandøren stille det nødvendige antal ressourcer til rådighed, som kan håndtere fejlrettelser, således at der ikke skabes unødige forsinkelser. Det vil være nødvendigt for afprøvningens fremdrift og gennemførelse at Leverandøren retter Fejl løbende og transporterer disse til testmiljøet. Leverandøren er ansvarlig for at dokumentere og følge en kvalitetssikret proces, for at holde styr på disse rettelser, således at Leverandøren uden ugrundet ophold til enhver tid kan redegøre for hvilken version, patch, rettelser m.v. som Systemet indeholder. Bilag 6 Afprøvninger Side 34 af 44

35 Der afholdes en planlagt række testdage, hvor de enkelte testgrupper udfører de prioriterede testcases udvalgt af ATP. Ved gennemførelse af Overtagelsesprøven deltager Leverandøren for at undgå misforståelser i testafviklingen samt for om nødvendigt at yde bistand for testerne. Ved afslutningen af en dag i Overtagelsesprøven udarbejder Leverandøren en testrapport, der redegør for hvilke Fejl, der er identificeret den pågældende dag. Denne testrapport gennemgås på et møde næstfølgende Arbejdsdag efter hver testdag, hvor Leverandøren rapporterer til og evaluerer resultatet overfor ATP Ansvarsfordeling Leverandørens og ATP s ansvar er beskrevet i punkt 2.4. ATP s medvirken er beskrevet i punkt Afrapportering Leverandøren skal løbende afrapportere fremdriften af afprøvningen til ATP jf. punkt ATP skal efter Overtagelsesprøvens afslutning, skriftligt meddele Leverandøren om: Afprøvningen er bestået med angivelse af eventuelle Fejl i en mangelliste Afprøvningen ikke er bestået med begrundelse herfor. Leverandøren er ansvarlig for udarbejdelse af testrapporten Godkendelseskriterier Overtagelsesprøven er bestået, såfremt: Der ikke i forbindelse hermed er konstateret Fejl af kategori 1 og kategori 2, samt maksimalt er konstateret 10 Fejl af kategori 3 og 30 Fejl af kategori 4 i Systemet. Der foreligger en af ATP godkendt udbedringsplan for udbedring af alle Fejl. Alle de af ATP udvalgte testcases er gennemførte og de opstillede testbetingelser er verificerede. Dette skal dokumenteres i en afsluttende testrapport, som Leverandøren er ansvarlig for at udarbejde, og som skal foreligge senest 5 dage efter Overtagelsesprøvens afslutning. Testrapporten skal udarbejdes og udformes i henhold til punkt 4.5. Bilag 6 Afprøvninger Side 35 af 44

36 Testrapporten skal underskrives af ATP s projektleder. ATP indkalder samtidig med testrapportens fremsendelse til et møde med Leverandøren, hvor testrapporten (inklusiv en komplet liste over Fejl) gennemgås. Afprøvningen kan betragtes som godkendt, når der foreligger en af ATP skriftlig godkendt testrapport. ATP har pligt til at godkende testrapporten, såfremt det heri er dokumenteret, at afprøvningen er bestået i henhold til ovennævnte Godkendelseskriterier Driftsprøve Formål Formålet med driftsprøven er, at konstatere, om Systemet lever op til krav til servicemål jf. bilag 7 (Servicemål) i ATP s normale driftssituation. Afprøvningen har til formål at verificere, at: Servicemålene kan opfyldes ved en normal drift af Systemet. Procedurer for håndtering af fejlrettelser omfattet af Leverandørens garanti i henhold til Kontrakten og Leverandørens supportforpligtelser Startkriterier Afprøvninger, der jf. Tabel 2 ligger før denne afprøvninger, skal være godkendt. Afprøvningen skal være specificeret i en af ATP i forvejen godkendt Teststrategi. Planen for gennemførelse af afprøvningen skal være specificeret i en af ATP i forvejen godkendt Testplan. Scenarierne som afprøvningen omfatter, skal være specificeret i et antal af ATP i forvejen godkendte testscenarier. Kravene og områderne afprøvningen omfatter, skal være specificeret i et antal af ATP i forvejen godkendte testcases Gennemførelse Driftsprøven udføres i produktionsmiljøet for Systemet som helhed. Driftsprøven påbegyndes, når ATP giver Leverandøren meddelelse derom, dog senest 30 Arbejdsdage efter at Overtagelsesprøven er godkendt. Bilag 6 Afprøvninger Side 36 af 44

37 Driftsprøven følger indkonverteringen af data. Leverandøren planlægger Driftsprøver i overensstemmelse hermed. Driftsprøven skal omfatte mindst 30 Arbejdsdage i træk, hvori Leverancen har været i Drift med normale funktioner. Driftsprøven er bestået, når servicemål for Leverancen opgjort for de sidste 30 Arbejdsdage af Driftsprøveperioden opfylder servicemålene jf. bilag 7 (Servicemål). Driftsprøven fortsætter, indtil den er bestået, men med mindre ATP udtrykkeligt samtykker i en forlængelse, skal den være afsluttet senest 30 Arbejdsdage efter påbegyndelsen. Afprøvningen skal planlægges, designes og gennemføres i overensstemmelse med Teststrategien. Afprøvningen skal gennemføres i det miljø som fremgår af punkt Ansvarsfordeling Leverandørens ansvar er beskrevet i punkt Afrapportering Afprøvningen skal afrapporteres i henhold til punkt Godkendelseskriterier Driftsprøven er bestået, såfremt kravene til servicemål jf. bilag 7 (Servicemål) er opfyldt i 30 Arbejdsdage i træk i driftsprøveperioden. Driftsprøven fortsætter, indtil den er bestået, medmindre ATP udtrykkeligt samtykker i en forlængelse eller ATP ophæver Kontrakten i henhold til Kontraktens bestemmelser herom. Testrapporten skal udarbejdes og udformes i henhold til punkt 4.5. Testrapporten skal underskrives af ATP s projektleder. Afprøvningen kan betragtes som godkendt, når der foreligger en af ATP skriftligt godkendt testrapport. ATP har pligt til at godkende testrapporten, såfremt det heri er dokumenteret, at afprøvningen er bestået i henhold til ovennævnte Godkendelseskriterier. Bilag 6 Afprøvninger Side 37 af 44

38 3.13 Review og godkendelse af dokumentation Dokumentation, der leveres under Kontrakten, skal behandles og godkendes af ATP. Det omfatter dokumentation, som Leverandøren udarbejder, og dokumentation, som Leverandøren og ATP udarbejder i fælleskab. Godkendelse af dokumentation gennemføres som et review med ATP s deltagelse, hvor ATP præsenterer de observationer, der er foretaget i dokumentation under review. Fejlkategorier i relation til review af dokumentation fremgår af nedenstående tabel: Kritisk Fejl Væsentlig Fejl Uvæsentlig Fejl Klar Fejl, inkonsistens eller mangel, der enten giver stor uklarhed i forståelsen eller medfører Fejl Fejl, inkonsistens eller mangel, der giver væsentlig risiko for enten misfortolkning eller Fejl Fejl af kosmetisk karakter, der ikke forstyrrer forståelsen eller medfører Fejl Tabel 6 Fejlkategorier ved review af Dokumentation. Dokumentation er godkendt, hvis der ikke ved reviewet er konstateret kritiske eller alvorlige Fejl og mangler. I tilfældet af, at der er konstateret Kritiske eller Væsentlige Fejl, skal dokumentation korrigeres og et nyt review finder sted. Uvæsentlige Fejl, der måtte konstateres ved reviewet, kan korrigeres uden nyt review Testprocedure i forbindelse med videreudviklingsopgaver I forbindelse med Projekter, der omfatter videreudvikling af Systemet, skal de nødvendige afprøvninger gentages, for at sikre at Systemet fortsat fungerer. Dette gælder Komponenttest, Komponentintegrationstest, Systemintegrationstest og Delleveranceprøven samt Overtagelsesprøve. Hvis Projektet omfatter ændringer til driftsmiljøet, skal de relevante dele af Driftsprøven udføres. I forbindelse med indgåelse af en Projektaftale, aftales det, hvilke afprøvninger der skal gennemføres. Bilag 6 Afprøvninger Side 38 af 44

39 4 Testdokumentation Dette afsnit beskriver krav til indhold og håndtering af testdokumentation. Al testdokumentation er herudover underlagt de generelle krav til dokumentation jf. bilag 4 (Dokumentation). Testdokumentationen skal leveres i overensstemmelse med bilag 1 (Tidsplan) samt de i punkt 3.1 anførte frister. 4.1 Teststrategi Formål Tilbudsgiver skal jf. punkt 5.1 som en del af sit tilbud i levere et udkast til en Teststrategi. Teststrategien færdiggøres og godkendes i Etape I (Afklaring). Formålet med Teststrategien er at dokumentere, hvordan opfyldelse af Leverancebeskrivelsen og/eller øvrige relevante dele af Kontrakten efterprøves. Dokumentet har til formål, at dokumentere Leverandørens strategi og overordnede tilgang til afprøvning, herunder tilvalg/fravalg/modificering af afprøvninger, principper, metoder, værktøjer, samt forudsætninger for at kunne dokumentere at afprøvning af Leverancen har fundet sted, så Leverancen opfylder Kontrakten Indhold Dokumentet skal som minimum omfatte og beskrive følgende: Testfaser der skal gennemføres. Start- og Slutkriterier for hver testfase. Risikoområder ved afprøvning af Leverancen, samt forslag til begrænsning af sådanne risici. Vurdering af behovet for afprøvning for at opnå en tilstrækkelig dækningsgrad. Metode og tilgang for opnåelse af tilstrækkelig dækningsgrad. Specifikation af krav til dokumentation for opnået dækningsgrad. Afprøvningsmiljøer og håndtering af disse. Håndtering af forskelle i de forskellige afprøvningsmiljøer og produktionsmiljøet, herunder ift. driftsafviklingsværktøjer. Anvendelse af metoder, teknikker og værktøjer, herunder til automatiseret test. Vurdering af behovet for anvendelse af automatiseret test og forslag hertil. Bilag 6 Afprøvninger Side 39 af 44

40 4.1.3 Udarbejdelse og godkendelse Dokumentet udarbejdes som en del af Leverancen. Godkendelsesprocessen for dokumentet fremgår af punkt Dokumentet udarbejdes af Leverandøren og godkendes af ATP i Etape I (Afklaring). 4.2 Testplan Formål Dokumentet har til formål at konkretisere Teststrategien og at beskrive omfang, tilgang, ressourcer og tidsplan for de tilsigtede testaktiviteter. Dokumentet styrer alle underliggende dokumenter, der ligger til grund for afprøvning af Leverancen Indhold Dokumentet skal som minimum omfatte og beskrive følgende: En oversigt over hvilke testscenarier, der er nødvendige for at opnå den nødvendige dækning og afprøvning af Leverancen. Rækkefølgen af testscenarier. Tidsplan for testforløb med milepæl. Testleverancer. Afbrydelseskriterier. Den konkrete brug af metode, teknikker og værktøjer for hver afprøvning. Overordnet tidsplan for ATP s deltagelse i hver afprøvning, samt estimerede ressourceindsats. Testbemanding med angivelse af navngivne personer og testrolle i hvert testscenarie. Angivelse af tidspunkter for gennemførelse af hvert testscenarie. Specifikation af eventuelle fysiske hensyn som forudsætning for afprøvning. Specifikation af krav til testmiljøer, grænseflader, testdata. Plan for hvordan startkriterierne for den pågældende test tilvejebringes Udarbejdelse og godkendelse Dokumentet udarbejdes som en del af Leverancen. Godkendelsesprocessen for dokumentet fremgår af punkt Bilag 6 Afprøvninger Side 40 af 44

41 Dokumentet udarbejdes af Leverandøren og godkendes af ATP. 4.3 Testscenarier Formål Dokumentet har til formål, at specificere de overordnede testcases, der skal udføres indenfor det område, som det testscenarie, som testcasene vedrører, dækker eller forventes at dække Indhold Dokumentet skal som minimum omfatte og beskrive følgende: En samlet oversigt over hvilke testcases, der udføres som en del af scenariet for at opnå en fyldestgørende afprøvning af det pågældende testscenarie jf. Teststrategien En beskrivelse af hver testcase, mht. formål og hvilke processer/krav der er omfattet, samt o o o o o Nummer Titel på testscenariet Beskrivelse (kort) Procesområde(r) (inkl. reference til procesmodellen) Procesansvarlig Specifikation af afhængigheder mellem testcases Udarbejdelse og godkendelse Godkendelsesprocessen for dokumentet fremgår af punkt Dokumentet udarbejdes af Leverandøren og godkendes af ATP. 4.4 Testcase Formål Dokumentet har til formål, at specificere en konkret testcase, der skal udføres for at afprøve et eller flere konkrete krav til Leverancen Indhold Testcases skal udarbejdes i Leverandørens testværktøj. Dokumentet skal som minimum omfatte og beskrive følgende: Fuld sporbarhed fra krav og testscenarie til testcase. Bilag 6 Afprøvninger Side 41 af 44

42 En beskrivelse af hver testcase, mht. formål og hvilke processer/krav, testcasen omfatter. Specifikation af afhængigheder mellem testcases. En beskrivelse af formål, testbetingelser, inputdata, testbrugerroller, samt forventede resultater og acceptkriterier Udarbejdelse og godkendelse Godkendelsesprocessen for dokumentet fremgår af punkt Dokumentet udarbejdes af Leverandøren og godkendes af ATP. 4.5 Testrapport Formål Dokumentet anvendes til afrapportering for hver gennemført afprøvning Indhold Dokumentet skal som minimum omfatte og beskrive følgende: En entydig reference til det/de testscenarier, som testrapporten omhandler. En kopi af listen over Fejl konstateret undervejs, samt status for hver enkelt Antallet af Fejl per testcase og gennemførte korrigerende handlinger. Beskrivelse af, om der har været foretaget re-test og hvor samt resultat. Delkonklusion for hver testcase, der er gennemført under testscenariet i forhold til acceptkriterierne for den pågældende afprøvning. En entydig konklusion af, hvorvidt den afrapporterede afprøvning kan godkendes Udarbejdelse og godkendelse Godkendelsesprocessen for dokumentet fremgår af punkt Der skal udarbejdes en Testrapport for hver gennemført afprøvning. Bilag 6 Afprøvninger Side 42 af 44

43 5 Leverandørens beskrivelse af afprøvning 5.1 Leverandørens Teststrategi [Tilbudsgiver skal i dette punkt vedlægge et udkast til en Teststrategi, som er i overensstemmelse med kravene i punkt 4.1]. 5.2 Leverandørens beskrivelse af de enkelte afprøvninger [For hver afprøvning, skal Tilbudsgiver beskrive, hvordan han vil planlægge og gennemføre disse samt hvilken metode og hvilke testteknikker, der benyttes til afprøvningerne. Tilbudsgiver kan angive yderligere afprøvningsforløb, som tilbudsgiver finder relevante til afprøvning af Systemet. Tilbudsgiver skal i så fald supplere bilaget med beskrivelse af disse yderligere afprøvninger, som Tilbudsgiver tilbyder. Suppleres bilaget med yderligere afprøvninger, skal beskrivelse af hver af disse følge sammen dispositionsstruktur og som minimum beskrive de områder som i forvejen angivet under hver afprøvning i punkt 3. Tilbudsgiver skal beskrive, hvilke ressourcer til afprøvninger, der er inkluderet i tilbuddet. Med ressourcer menes personer, systemer, dokumenter, værktøjer og materialer. Tilbudsgiver bedes endvidere beskrive hvordan testdata importeres og eksporteres til og fra test- og udviklingssystemer. Tilbudsgiver bedes fremlægge forslag til en enkel metode, hvorved ATP ved en central måling kan få sandsynliggjort, at den garanterede performance opfyldes under hensyntagen til de beskrevne krav om kapacitet, herunder antal samtidige brugere. Såfremt svartider og tilgængelighed og måles med et helt eller delvis automatiseret værktøj, bedes tilbudsgiver oplyse navn på værktøjet samt Tilbudsgivers kendskab og erfaring med at benytte værktøjet]. 5.3 Leverandørens beskrivelse af test- og fejlstyringsværktøj [Tilbudsgiver skal redegøre for, hvilket test- og fejlstyringsværktøj (evt. flere værktøjer) der benyttes til de afprøvninger, der skal gennemføres. Tilbudsgiver skal endvidere angive, om - og i bekræftende fald på hvilke betingelser - dette værktøj stilles til rådighed for ATP. Bilag 6 Afprøvninger Side 43 af 44

44 5.4 Leverandørens beskrivelse af håndtering af fejlrapportering [Tilbudsgiver skal redegøre for, hvilke data der forventes at være i en korrekt udfyldt fejlrapport, og hvordan tilbudsgiver vil håndtere fejl og uhensigtsmæssigheder, fra disse er rapporteret, til de er meldt rettet eller afvist. Sidstnævnte kan eventuelt anskueliggøres i et flowdiagram]. 5.5 Leverandørens beskrivelse af automatiseret test [Tilbudsgiver skal redegøre for, hvilke testværktøjer der benyttes i til automatiseret test og erfaringer med disse. Tilbudsgiver skal endvidere angive, om - og i bekræftende fald på hvilke betingelser - dette værktøj stilles til rådighed for ATP. Tilbudsgiver skal derudover redegøre for hvordan automatiseret test udføres og hvilke testværktøjer, der benyttes. Redegørelsen for, hvordan Leverandøren har tænk sig at automatisere test, skal indeholde eksempler på brugen af automatiseret test, fx hvordan test af Services, databaser og test af selve funktionaliteten udføres]. Bilag 6 Afprøvninger Side 44 af 44