DataHub Bilag 14 - Prøver. 1.0 Udbudsmateriale til udsendelse d. 5. juli Revideret bilag udsendt d. 24.

Transkript

1 DataHub Bilag 14 - Prøver 1.0 Udbudsmateriale til udsendelse d. 5. juli Revideret bilag udsendt d. 24. august DATE XRDA ADA NAME DATE REV. DESCRIPTION PREPARED CHECKED REVIEWED APPROVED EU-udbud 2010/S XRDA NAME Energinet.dk Doc. no.

2 Vejledning Vejledning: I dette dokument beskrives, hvilken afprøvning der skal gennemføres af Leverancerne før og efter idriftsættelse. I de enkelte bestemmelser i kontrakten til de forskellige prøver er formålet med prøverne kort angivet, jf. kontraktens punkt De enkelte prøver skal tilrettelægges og gennemføres i overensstemmelse med disse formål. Leverandøren skal færdiggøre dette bilag ved at: Tilføje yderligere afsnit, såfremt Leverandøren har behov for dette herunder f.eks. angive yderligere testforløb, som Leverandøren finder relevante til afprøvning af en af Leverancerne. indsætte tekst de steder, hvor der er supplerende vejledninger til Leverandøren eller markeret på anden vis. Indsætte eventuelle forbehold til bilaget, jf. udbudsbetingelsernes punkt 5. Alle indarbejdede forbehold skal være markeret som ændringer. Slettet tekst markeres med rød gennemstreget tekst. Tilføjet tekst markeres med blå tekst. Eksempelvis: Denne tekst er slettet. Denne tekst er tilføjet. Dok /10, Sag 10/3365 2/32

3 Indholdsfortegnelse 1. INDLEDNING KUNDENS KRAV TIL AFPRØVNING Terminologi Prøver Testorganisation Ansvarsfordeling (roller og ansvar) Testmiljøer Testdata Testværktøjer Fejlkategorier Håndtering af afvigelser Generelle Start- og slutkriterier Generelle startkriterier Generelle slutkriterier Opfølgning og afrapportering Klarmelding før opstart af prøve Afrapportering under gennemførelse af prøve Afrapportering efter afsluttet prøve Godkendelse Kundens krav til afprøvning Kravtabel PRØVEOMFANG DE 2 DELPROJEKTLEVERANCER Modulprøve Formål Gennemførelse Ansvarsfordeling Afrapportering Godkendelseskriterier Fabriksprøve Formål Gennemførelse Ansvarsfordeling Afrapportering og dokumentation Godkendelseskriterier Installationsprøve Formål Specifikke startkriterier Gennemførelse Ansvarsfordeling Afrapportering Godkendelseskriterier Brugeraccepttest Formål...23 Dok /10, Sag 10/3365 3/32

4 3.4.2 Specifikke startkriterier Gennemførelse Ansvarsfordeling Afrapportering Godkendelseskriterier Delprojektprøve/Overtagelsesprøve Formål Specifikke startkriterier Gennemførelse Afrapportering Godkendelseskriterier Driftsprøve Formål Gennemførelse Ansvarsfordeling Afrapportering Godkendelseskriterier LEVERANDØRENS KRAVBESVARELSE TABELOVERSIGT...32 Dok /10, Sag 10/3365 4/32

5 1. Indledning DataHub-projektet har mange berøringsflader med eksterne interessenter, hvilket medfører, at Kunden forventer en tæt koordinering med et antal arbejdsgrupper omkring tilrettelæggelse og afvikling af prøver. Arbejdsgrupperne kan bestå af repræsentanter for Kunden, Eksterne aktører, Kundens eksisterende it-leverandører samt Leverandøren. Leverandøren er ansvarlig for tilrettelæggelse og afvikling af prøver i tilbuddet jf. Kontraktens kapitel 8. Prøvernes mål er at sikre, at Leverandørens forpligtelser i forbindelse med den samlede Data- Hub-leverance opfyldes som aftalt i kontrakt og kravspecifikation, ved hjælp af test og afprøvninger. I dette bilag beskrives kravene til prøver af samtlige leverancer i forbindelse med DataHub, det vil sige alt leveret programmel og andre ydelser. Tilbuddet bør omfatte alle prøver, hvor Kunden har en interesse for at sikre opfyldelsen af krav, det vil sige: Modulprøve Fabriksprøve Installationsprøve Brugeracceptprøve Delprojektprøve Overtagelsesprøve Driftsprøve Leverandøren skal i sin tidsplan i Bilag 1 nøje angive, hvornår de enkelte prøver gennemføres, med angivelse af milepæle for starttidspunkt og sluttidspunkt (godkendelse af prøverne). Kunden vil efter afslutning af den enkelte prøve skriftligt meddele Leverandøren, hvorvidt: prøven er godkendt, prøven er betinget godkendt med angivelse af mindre betydende fejl i en mangelliste, eller prøven ikke er godkendt med angivelse af alle kritiske, alvorlige, betydende og normale fejl i en mangelliste. Dok /10, Sag 10/3365 5/32

6 2. Kundens krav til afprøvning 2.1 Terminologi Ved al planlægning, gennemførelse, dokumentation og afrapportering af prøver skal Leverandøren benytte dokumenterede og anerkendte begreber, f.eks. seneste godkendte testterminologi fra ISTQB. Hvis Leverandøren benytter begreber, eller undtagelsesvis tillægger begreber en anden betydning end et i forvejen kendt og anvendt begreb, skal dette fremgå klart, eksempelvis i en separat ordliste eller i et underafsnit. I tvivlstilfælde benyttes terminologiliste fra ISTQB International Software Testing Qualifications Board (ISTQB version 2.0). 2.2 Prøver Prøveforløbet og omfanget af prøver for de to Delprojekt-leverancer adskiller sig på en række områder fra hinanden, og der vil i det følgende derfor skelnes mellem de to Delprojekter og kravene hertil. Leverandøren skal gennemføre og medvirke til gennemførelse af de prøver, i den rækkefølge, som fremgår af tabel 2-1. Den tidsmæssige sammenhæng mellem de enkelte prøver samt de enkelte prøvers sammenhæng med øvrige aktiviteter i Projektet fremgår af Bilag 1. I tabel 2-1 er angivet en kort beskrivelse af de prøver, der ønskes gennemført. Der er desuden angivet eventuelle forskelle mellem prøveforløbet for Delprojekterne for hhv. Aktørtestsystemleverancen og DataHub-leverancen. Prøve ID Prøvefase Generel beskrivelse Aktørtestsystemleverancen DataHub-leverancen P-01 Modulprøve Leverandørens test af Skal gennemføres for mo- Skal gennemføres for (Unittest) moduler af programmel. duler i Aktørtestsystemleverancen. moduler i DataHubleverancen P-02 Fabriksprøve Leverandørens test af Skal gennemføres separat Skal gennemføres sepa- (FAT) programmel, udstyr og dokumentation, inden systemet installeres og integreres hos kunden, for så vidt dette kan for Aktørtestsystemleverancen. rat for DataHubleverancen ske uden direkte tilslutning til Kundens itmiljø. Dok /10, Sag 10/3365 6/32

7 Prøve ID Prøvefase Generel beskrivelse Aktørtestsystemleverancen DataHub-leverancen P-03 Installationsprøve En installationsprøve dokumenterer, at det aftalte udstyr og Programmel er tilsluttet i Skal gennemføres separat for Aktørtestsystemleverancen. Skal gennemføres separat for DataHubleverancen funktionsdygtig stand hos Kunden i det omfang, som dette er nødvendigt for gennemførelse af overtagelsesprøve. P-04 Brugeracceptprøve Formålet med Brugeracceptprøven er at Aktørtest-systemet uden konfigurationer DataHub-systemet uden konfigurationer. (UAT) sikre, at Leverancen lever op til de funktionelle krav, og at systemintegrationerne fungerer i henhold til kontrakten og kravspecifikationen. P-05 Delprojektprøve Formålet med delprojektprøven er at sikre, Afprøvning af Aktørtestsystem med konfigurationer. ved prøvninger og test, at Leverandøren opfylder de i kontrakten og kravspecifikationen I denne afprøvning indgår også pilotdrift. aftalte leverancer og ydelser. Ved accept og overtagelse accepterer parterne, at leverancen i henhold til acceptkriterierne i kontrakten er sket. Herefter starter garantiperioden. Dok /10, Sag 10/3365 7/32

8 Prøve ID Prøvefase Generel beskrivelse Aktørtestsystemleverancen DataHub-leverancen P-06 Overtagelsesprøve Formålet med overtagelsesprøven er at sikre, ved prøvninger og test, at Leverandøren opfylder de i kontrakten og kravspecifikationen aftalte leverancer og ydelser. Afprøvning af DataHubsystemet med konfigurationer. I denne afprøvning indgår også en generalprøve Ved accept og overtagelse accepterer parterne, at leverancen i henhold til acceptkriterierne i kontrakten er sket. Herefter starter garantiperioden. P-07 Driftsprøve Formålet med driftsprøven er at konstatere, hvorvidt leverancen overholder de opstillede servicemål. Skal gennemføres separat for Aktørtestsystemleverancen. Skal gennemføres separat for DataHubleverancen Tabel 2-1: Oversigt over prøver Kravtabel 2.3 Testorganisation I gennemførelsen af prøverne er der en række afgørende roller og ansvarsområder, der afviger fra den normale projektorganisation. For at sikre en klar opgave- og ansvarsfordeling i gennemførelsen af prøverne skal der etableres en separat organisation, der er i funktion, mens prøverne gennemføres. Denne organisation skal være underlagt Projektets almindelige projektledelse. Som en del af testorganisationen vil der derfor være behov for en gruppe af testkoordinatorer, der er ansvarlige for planlægning, tilrettelæggelse, gennemførelse og kontrol af alle prøverne. Supplerende vejledning: Leverandøren skal her beskrive testorganisationen og vise den i et organisationsdiagram. De konkrete grupper og deres sammensætning, skal tage højde for eventuelle krav opstillet i tabel 2-4, og de generelle beskrivelser i dette afsnit og i afsnit 2.8. Leverandøren skal beskrive, hvilke ressourcer til test, der er inkluderet i tilbuddet. Med ressourcer menes personer, systemer, dokumenter, værktøjer og materialer. Dok /10, Sag 10/3365 8/32

9 2.4 Ansvarsfordeling (roller og ansvar) Nedenfor er skitseret ansvarsfordelingen i forhold til den samlede liste af prøver for DataHubleverancen og Aktørtestsystem-leverancen. Ansvarlig Planlægger Gennemfører Godkender Miljø Modulprøve Leverandør Leverandør Leverandør Udviklingsmiljø Fabriksprøve Leverandør Leverandør Leverandør Testmiljø Installationsprøve Leverandør Leverandør Kunde Testmiljø Brugeracceptprøve Kunde Leverandør/Kunde Kunde Præproduktionsmiljø Delprojektprøve Kunde Leverandør/Kunde Kunde Præproduktionsmiljø 1 Overtagelsesprøve Kunde Leverandør/Kunde Kunde Præproduktionsmiljø Driftsprøve Leverandør Kunde Kunde Driftsmiljø Tabel 2-2: Ansvarsfordeling for prøver Kunden har det overordnede ansvar for udarbejdelse af en teststrategi og drejebog for test, men det forventes at Leverandøren deltager aktivt i udarbejdelse af disse dokumenter med levering af input. Planlægger har ansvaret for: Planlægning af prøveforberedelse Planlægning af prøvegennemførelse Planlægning af prøvegodkendelse Ressourceplanlægning og bemanding i henhold til testorganisationen Tilvejebringelse af alle forudsætninger for igangsætning og gennemførelse af prøven som beskrevet under de generelle startkriterier i afsnit 2.9 og de specifikke startkriterier for hver prøve. Udarbejdelse af Testbetingelser Udarbejdelse af Testscenarier Udarbejdelse af Test case herunder Testscripts Gennemfører har ansvaret for: 1 En del af overtagelsesprøven for Aktørtestsystemet består af en pilotdrift, hvorfor dele af prøven vil gennemføres i driftsmiljøet. Dok /10, Sag 10/3365 9/32

10 Løbende planlægning og opfølgning på testplan herunder genplanlægning, hvor prøven ikke kan gennemføres som planlagt Tilvejebringelse af testdata. Prøvegennemførelse Afrapportering, opfølgning og løsning af fejl/afvigelser Afrapportering af prøveresultater Opsamling på og udarbejdelse af handlingsplan for at imødekomme alle eventuelle betingelser forbundet med godkendelsen (ved en betinget godkendelse). Godkender har ansvaret for: Foranstaltning af en godkendelsesproces i henhold til godkendelseskriterierne beskrevet i dette bilag herunder tilvejebringelse af det nødvendige grundlag for at foretage godkendelsen. Godkendelse af afrapportering jf. afsnit Godkendelse af alle prøvedokumenter i henhold til dette bilag og Bilag 4: Dokumentation. Afrapportering til projektledelsen, projektets styregruppe og andre af Kundens relevante interessenter. 2.5 Testmiljøer Leverandøren skal i henhold til Bilag 1 og Bilag 4 udarbejde en Systembeskrivelse. Dette dokument skal blandt andet indeholde en oversigt over de systemmiljøer, der er brug for i projektet, herunder til prøver, samt en procedure for arbejdet med miljøerne. I Bilag 3a afsnit 8.2 er kundens forventninger til hvilke miljøer, der skal etableres, angivet. I forhold til testmiljøer skal leverandøren særligt sikre: At der er en klar og kvalitetssikret procedure for transportering af applikationselementer og data mellem de enkelte miljøer og at denne procedure er kendt af projektdeltagerne og kvalitetsstyres tæt af Leverandøren. At der findes et tilstrækkeligt antal miljøer og varianter af hvert miljø (fx i form af Klienter), således at det i henhold til teststrategien og drejebog for test er muligt at gennemføre prøven som planlagt. Det skyldes bl.a., at der eventuelt er nogle prøver, der skal køre parallelt, samt at der under en given prøve kan være flere testhold i gang ad gangen. I henhold til ovenstående skal der være en procedure for at genopfriske transaktionsdata (f.eks. prøvekonverterede data) i testmiljøerne, således at en test case kan gennemføres mere end en gang, med de samme test data (f.eks. ved gentest af en rettet fejl) Genopfriskningen af data i testmiljøerne skal udelukkende ske efter aftale med Kundens Testkoordinator og i tæt samspil med Testplanen. Dok /10, Sag 10/ /32

11 2.5.1 Testdata Supplerende vejledning: Leverandøren skal her beskrive processen for at fremskaffe realistiske testdata i samarbejde med Kunden. Leverandøren skal endvidere beskrive, hvordan testdata importeres og eksporteres til og fra test- og udviklingssystemer. 2.6 Testværktøjer Til planlægning, gennemførsel og styring af de forskellige prøveforløb, skal der anvendes et eller flere testværktøjer til: Planlægning udarbejdelse og dokumentation af test cases, herunder kobling til krav Planlægning af i hvilken rækkefølge test cases skal eksekveres Styring hvem tester hvad og hvornår Fejlhåndtering Rapportering af fremdrift på testen samt forskellige statistikker over fejl Styring og dokumentation af manuel test Supplerende vejledning: Leverandøren skal her redegøre for, hvilket test- og fejlstyringsværktøj (evt. flere værktøjer) der benyttes i de prøveforløb, hvor Leverandøren både er helt eller delvis planlæggende og helt eller delvis udførende. Leverandøren skal endvidere angive, om og i bekræftende fald på hvilke betingelser - dette værktøj stilles til rådighed for Kunden. Leverandøren skal derudover redegøre for, hvilke testværktøjer der benyttes til automatiseret test og erfaringer med disse, og i den forbindelse også angive, om og i bekræftende fald på hvilke betingelser dette værktøj stilles til rådighed for Kunden. 2.7 Fejlkategorier Fejl identificeret under en prøve inddeles i de kategorier, som Kunden har angivet i tabel 2-3. Fejlniveauet i en prøve opgøres ved optælling af fejl i de definerede fejlkategorier. Betegnelse Beskrivelse Dok /10, Sag 10/ /32

12 1. Kritisk fejl Fejl der medfører, at ingen af de væsentlige arbejdsprocesser er mulige at gennemføre, ej heller ved mindre ændringer i arbejdsprocessen eller hvor Programmel/udstyr/enhed har fejl, der medfører, at programmel/udstyr/ enhed er utilgængelig, og hvor omgåelse ikke er mulig. I tilfælde af kritiske fejl afbrydes prøven, idet det ikke giver mening at fortsætte. Leverandøren skal, uden ugrundet ophold, udbedre den eller de kritiske fejl. Hvis Leverandøren ikke er i stand til at udbedre den/de kritiske fejl inden for maksimalt 5 kalenderdage, skal Leverandøren levere bindende planer til Kunden for, hvorledes den/de kritiske fejl vil blive udbedret indenfor prøveperioden. 2. Alvorlig fejl Fejl der medfører, at flere væsentlige arbejdsprocesser ikke kan gennemføres eller kun kan gennemføres ved væsentlige ændringer i arbejdsgangen, eller fejl i programmel/udstyr/enhed, der medfører, at Programmel/udstyr/enhed er utilgængelig, men hvor omgåelse er mulig. Kunden kan vælge at indstille prøven, såfremt sådanne fejl opstår. Leverandøren skal, uden ugrundet ophold, udbedre den eller de alvorlige fejl. Hvis Leverandøren ikke er i stand til at udbedre den/de alvorlige fejl inden for maksimalt 10 kalenderdage, skal Leverandøren levere bindende planer til Kunden for, hvorledes den/de alvorlige fejl vil blive udbedret indenfor prøveperioden. 3. Betydende fejl Fejl der resulterer i, at arbejdsprocesser ikke kan gennemføres eller kun kan gennemføres ved ændringer i arbejdsgangen eller hvor Programmel/udstyr/enhed har fejl, der medfører gene for brugere, og hvor alternativer er tilgængelige. Fejlen kan afhjælpes i prøveperioden Kunden kan vælge at indstille prøven, såfremt sådanne fejl opstår. Leverandøren skal, uden ugrundet ophold, udbedre den eller de betydende fejl. Hvis Leverandøren ikke er i stand til at udbedre den/de betydende fejl indenfor maksimalt 15 kalenderdage, skal Leverandøren levere bindende planer til Kunden for, hvorledes den/de betydende fejl vil blive udbedret indenfor prøveperioden. 4. Normal fejl Fejl der ikke hindrer at arbejdsprocessen i at kunne gennemføres normalt, eventuelt med mindre ændringer i arbejdsprocessen for at omgå fejlen eller fejl i programmel/udstyr/enhed, der medfører mindre gene for brugerne, og hvor fejlen ikke er blokerende. Fejlen kan umiddelbart rettes. Ved mere end 10 eller flere samtidige normale fejl, anses de 10 eller flere samtidige normale fejl for en alvorlig fejl, og kunden kan vælge at indstille prøven. Leverandøren skal levere bindende planer til Kunden, der beskriver hvorledes Dok /10, Sag 10/ /32

13 alle normale fejl udbedres indenfor prøveperioden. 5. Mindre betydende fejl Ubetydelig eller kosmetisk fejl, men hvor der er fejl i forhold til aftalegrundlaget eller en uhensigtsmæssighed i programmel/udstyr/enhed, dvs. ikke en decideret fejl. Ved mere end 30 samtidige mindre betydelige fejl, anses de 30 mindre betydelige fejl for en alvorlig fejl, og kunden kan vælge at indstille prøven. Leverandøren skal til Kunden levere bindende planer til Kunden, der beskriver hvorledes alle mindre betydelige fejl udbedres inden for prøveperioden. Tabel 2-3: Fejlkategorier 2.8 Håndtering af afvigelser Alle afvigelser, der identificeres under en prøve skal registreres af testeren i det dertil indrettede testværktøj (afvigelseslisten). Registreringen skal indeholde alle de oplysninger der er nødvendige for at behandle afvigelsesrapporten. Leverandøren skal i beskrivelsen af Testorganisationen i afsnit 2.3 angive de ansvarlige for at behandle afvigelsesrapporten og løse denne. Det er udelukkende Kunden, der kan godkende løsningen på en fejl enten ved genafprøvning, verifikation eller ved accept af, at afvigelsesrapporten ikke krævede en rettelse i Systemet. Alle afvigelsesrapporter, der lukkes, skal indeholde en nøje beskrivelse af løsningen på den konstaterede fejl. Leverandøren skal føre en log over alle afvigelsesrapporter, som skal være on-line tilgængelig for Kunden i det projektrum, Kunden har stillet krav til i bilag 4. Alle afvigelsesrapporter, der lukkes, skal have beskrevet en begrundet løsning, således at dette tjener som en del af den officielle dokumentation for Leverancen. Der skal holdes historik på afvigelsesrapporter, således at det ved testafrapportering er muligt at føre statistik herover. Den specifikke procedure for de enkelte prøver, skal beskrives i testplaner, jf. krav til testplaner i bilag 4. Supplerende vejledning: Leverandøren skal redegøre for, hvilke data der forventes at være i en korrekt udfyldt fejlrapport, og hvordan Leverandøren vil håndtere fejl og uhensigtsmæssigheder, fra disse er rapporteret, til de er meldt rettet eller afvist. Sidstnævnte kan eventuelt anskueliggøres i et flowdiagram. Dok /10, Sag 10/ /32

14 2.9 Generelle Start- og slutkriterier Generelle startkriterier Følgende startkriterier skal være opfyldt, før en prøve kan begynde: Testmiljøet skal være konfigureret, versioneret og under konfigurationsstyring ved teststart Alle slutkriterier for den foregående test skal være opfyldt (undtagelser skal være aftalte og identificeret i testrapporten fra den foregående test), og prøver, der jf. tabel 2-1 ligger før denne test, skal være godkendt. Alle software-moduler, testdata og test er migreret, og under konfigurationsstyring Et forberedende testreview-møde er afholdt: Alle startkriterier er blevet vurderet, og eventuelle afledte handlinger er godkendt og beskrevet i aktionsplan Prøven specificeres i en af Kunden udarbejdet teststrategi (dokument) Prøven specificeres i en af Kunden udarbejdet drejebog for test jf. bilag 4 (dokument) Planen for gennemførelse af prøven skal være specificeret i en af Kunden forvejen godkendt Testplan (dokument) Scenarierne som prøven omfatter, skal være specificeret i et af Kunden forvejen godkendt testscenarium (dokument) Kravene og områderne, som prøven omfatter, skal være specificeret i et af Kunden forvejen godkendt test case (dokument) Dokumentation for træning af Leverandørens testpersoner foreligger Leverandørens forslag til prøvens acceptkriterier skal være godkendt af Kunden Generelle slutkriterier Følgende afslutningskriterier skal være opfyldt, før en test kan afsluttes: Alle planlagte test cases er udført, og de forventede resultater opnået og registreret. Der er givet begrundelse for eventuelle aftalte afvigelser, og en løsningsplan er på plads. Alle kritiske og alvorlige fejl, som er blevet rapporteret under testen, er blevet rettet og testet. For væsentlige og mindre væsentlige fejl er der udarbejdet en handlingsplan, som detaljeret beskriver rettelses- og testhandlinger, som er nødvendige for at rette disse fejl. Handlingsplaner vedrørende væsentlige fejl skal godkendes af Kunden. Der er afholdt et afsluttende testreview-møde. Alle afslutningskriterier er blevet vurderet og eventuelle afledte handlinger, som er nødvendige for at rette fejlene, er blevet identificeret, ændringer til dokumentation, ændringer til designspecifikation og ændringer til processer er aftalt og registreret i en handlingsplan. Dok /10, Sag 10/ /32

15 Der er udarbejdet en testrapport for den pågældende test, som danner baggrund for testens godkendelse Opfølgning og afrapportering Klarmelding før opstart af prøve For de prøver, hvor Leverandøren er ansvarlig for planlægning i henhold til afsnit 2.4, skal Leverandøren forinden opstart på en prøve, give Kunden en skriftlig klarmelding. Klarmeldingen skal omfatte dokumentation for, at startkriterierne for prøven er overholdt. Klarmeldingen skal foreligge senest 5 dage før den planlagte startdato for prøven. Hvis Leverandøren er bekendt med forhold, der vil påvirke prøvens gennemførelse som planlagt, skal Leverandøren uden ugrundet ophold meddele dette til Kunden, så eventuelle konsekvenser for Kundens ressourcer kan indarbejdes i god tid. For de prøver, hvor Kunden er ansvarlig for planlægning i henhold til afsnit 2.4, skal Kunden forinden opstart på en prøve, orientere Leverandøren om det forventede starttidspunkt for prøvens gennemførelse. Klarmeldingen skal foreligge senest 10 arbejdsdage før den planlagte startdato for prøven Afrapportering under gennemførelse af prøve For de prøver, hvor Leverandøren er ansvarlig for gennemførelse i henhold til afsnit 2.4, er Leverandøren forpligtet til, under gennemførelse af en prøve, på Kundens forlangende at udarbejde en statusrapport på fremdrift for gennemførelse af prøven, samt en risikovurdering i forhold til konstaterede fejl, anbefalede korrigerende handlinger, herunder planlægning af genafprøvning, samt konsekvenser for prøvens validitet og konsekvenser for øvrige aktiviteter omfattet af Leverancen. Denne statusrapport skal tydeligt angive sammenhængen mellem fejl og testscenarier/test cases, således at det er muligt at se, hvilke dele af Systemet og prøven, der er påvirket af de konstaterede fejl. Leverandøren skal fremsende statusrapporten senest 8 timer efter Kundens skriftlige forlangende, regnet inden for normal forretningstid, dvs. Arbejdsdage i tidsrummet Statusrapporten skal fremsendes skriftligt til Kundens projektleder eller dennes stedfortræder. Under gennemførelse af en prøve har Kunden ret til at få udleveret gældende kopier af udfyldte testskemaer indeholdende testresultater, afvigelsesrapporter, samt øvrige testbilag i det omfang, det ønskes. Leverandøren skal udlevere materialet uden ugrundet ophold til Kundens projektleder og den ansvarlige for koordinering af prøver. For de prøver, hvor Kunden er ansvarlig for gennemførelse af en prøve i henhold til afsnit 2.4, er Kunden forpligtet til løbende, at orientere Leverandøren om prøvens fremdrift med henblik på hurtigt og effektiv behandling af fejl, der kan understøtte Kundens prøve gennemføres Afrapportering efter afsluttet prøve For de prøver, hvor Leverandøren er ansvarlig for gennemførelse i henhold til afsnit 2.4, skal Leverandøren efter afsluttet prøve, afrapportere resultaterne i form af en skriftlig testrapport. Dok /10, Sag 10/ /32

16 Testrapporten skal udarbejdes og udformes i henhold til Bilag 4, Dokumentation. Testrapporten skal omfatte en fuldstændig liste af de testscenarier og test cases der er gennemført, samt alle rapporterede fejl og forslag til kategorisering af de konstaterede fejl samt løsning og aktuel status på disse. Herudover skal testrapporten redegøre for, hvilke test cases der har henholdsvis bestået/ikke bestået godkendelseskriterierne Godkendelse En prøve kan kun betragtes som godkendt, når Kunden skriftligt har godkendt testrapporten for den pågældende prøve. Testrapporten skal underskrives af Kundens projektleder, testansvarlige, alternativt en stedfortræder. Godkendelsesprocessen for dokumentet fremgår af bilag 4 afsnit 3.3. Kunden har pligt til at godkende testrapporten, såfremt det heri er dokumenteret, at prøven er bestået i henhold til godkendelseskriterierne. Med mindre andet er aftalt, skal Kunden senest 10 Arbejdsdage efter at have modtaget rapport med prøveresultatet, skriftligt meddele Leverandøren, om prøven er bestået eller ikke bestået med angivelse af fejl og manglende overholdelse af servicemål i en mangelliste. En prøve er bestået, når godkendelseskriterierne er opfyldt. Såfremt der konstateres fejl, skal Leverandøren snarest muligt rette disse og efterfølgende demonstrere, at afhjælpning har fundet sted i henhold til klassifikationen af fejltypen. Såfremt Kunden ikke afgiver meddelelse om godkendelsen inden fristen, kan Leverandøren meddele Kunden, at prøven vil blive anset for godkendt, medmindre Kunden ikke inden 10 Arbejdsdage regnet fra Leverandørens meddelelse tager stilling til prøven Kundens krav til afprøvning Kravtabel Denne kravtabel samler en række generelle krav til Prøver angivet i kapitel 2. De specifikke krav til de enkelte prøver er angivet i kapitel 3. Dok /10, Sag 10/ /32

17 Krav ID Kravtype Kravtitel Kravbeskrivelse MK/K/O K Prøveomfang Leverandøren skal gennemføre og medvirke til gennemførelse af de prøver, i den rækkefølge, som fremgår af tabel K Ansvarsfordeling Leverandøren skal leve op til den ansvarsfordeling, der er angivet i afsnit K Testorganisation Leverandøren skal stille med en testmanager, der har ansvaret for at planlægge og koordinere Leverandørens opgaver i forbindelse med testen K Tilrettelæggelse prøveafvikling Leverandøren skal tilrettelægge prøveafviklingen, såvel internt som hos Kunden, på en sådan måde, at Leverancen leveres som specificeret og til den aftalte tid K Afrapportering under gennemførelse af prøve Leverandøren skal overholde de krav til afrapportering under gennemførelse af prøve, der er angivet i afsnit K Afrapportering efter afsluttet prøve Leverandøren skal overholde de krav til afrapportering efter afsluttet prøve, der er angivet i afsnit MK Udarbejdelse af styringsdokumenter Leverandøren skal udarbejde de nødvendige styringsdokumenter til brug for en retvisende og dækkende prøveproces, jf. testdokumentation i bilag MK Ansvar for afprøvning Leverandøren har som en del af Leverancen ansvaret for afprøvningen af de Leverancer, som er et resultat af de udviklingsydelser, som Leverandøren leverer i overensstemmelse med Kontrakten K Generelle start- og slutkriterier De generelle start- og slutkriterier, jf. afsnit 2.9, skal overholdes for samtlige prøver K Fejlkategorisering Fejl identificeret under en prøve inddeles i de kategorier, som Kunden har angivet i tabel 2-3. Fejlniveauet i en prøve opgøres ved optælling af fejl i de definerede fejlkategorier. Dok /10, Sag 10/ /32

18 Krav ID Kravtype Kravtitel Kravbeskrivelse MK/K/O K Beståelse af prøve En prøve er bestået, når godkendelseskriterierne fastsat i afprøvningsprogrammet er opfyldt, hvorefter godkendelse skal ske i overensstemmelse med kontraktens punkt K Leverandørens klarmelding af en prøve For de prøver, hvor Leverandøren er ansvarlig for planlægning i henhold til afsnit 2.4, skal Leverandøren senest 5 arbejdsdage før den planlagte startdato for en prøve, give Kunden en skriftlig klarmelding. For Delprojektprøve samt Overtagelsesprøve er fristen 10 arbejdsdage. Klarmeldingen skal omfatte dokumentation for, at startkriterierne for prøven er overholdt K Forhold der kan påvirke prøvens gennemførelse Hvis Leverandøren er bekendt med forhold, der vil påvirke prøvens gennemførelse som planlagt, skal Leverandøren uden ugrundet ophold meddele dette til Kunden, så eventuelle konsekvenser for Kundens ressourcer kan indarbejdes i god tid K Statusrapport på fremdrift For de prøver, hvor Leverandøren er ansvarlig for gennemførelse i henhold til afsnit 2.4, er Leverandøren forpligtet til, under gennemførelse af en prøve, på Kundens forlangende, at udarbejde en statusrapport på fremdrift for gennemførelse af prøven, samt en risikovurdering i forhold til konstaterede fejl, anbefalede korrigerende handlinger, herunder planlægning af genafprøvning, samt konsekvenser for prøvens validitet og konsekvenser for øvrige aktiviteter omfattet af Leverancen K Kopier af udfyldte testskemaer Under gennemførelse af en prøve har Kunden ret til at få udleveret gældende kopier af udfyldte testskemaer indeholdende testresultater, afvigelsesrapporter, samt øvrige testbilag i det omfang, det ønskes. Leverandøren skal udlevere materialet uden ugrundet ophold til Kundens projektleder og den ansvarlige for koordinering af prøver K Afrapportering Leverandøren skal udforme den til afprøvningen hørende afrapportering i form af en testrapport, jf. Bilag 4. Dok /10, Sag 10/ /32

19 Krav ID Kravtype Kravtitel Kravbeskrivelse MK/K/O K Godkendelse af prøve En prøve kan kun betragtes som godkendt, når Kunden skriftligt har godkendt testrapporten for den pågældende prøve. Godkendelsesprocessen for dokumentet fremgår af bilag 4. Tabel 2-4: Generelle krav til prøver Kravtabel Dok /10, Sag 10/ /32

20 3. Prøveomfang for de 2 delprojektleverancer Aktørtestsystemet og DataHub en skal principielt gennemføre det samme testforløb med undtagelse af mindre forskelle. I det følgende beskrives prøveforløbet derfor samlet med angivelse af de forskelle, der er undervejs i forløbet. 3.1 Modulprøve Formål Formålet med Modulprøven er, at kontrollere, at leverandøren på tilfredsstillende vis, har testet de små byggesten i en leverance. Leverandørens test skal finde fejl, som stammer fra fejl i moduldesignspecifikationen eller misfortolkninger af moduldesignspecifikationen samt programmeringsfejl. Leverandørens test omfatter leverancens programkode, funktionalitet og dokumentation. Modulprøven kontrollerer funktionen af Programmel, der kan testes individuelt. Modulprøven er Leverandørens prøve, og Leverandøren fastlægger selv startkriterierne, jf. dog afsnit Modultesten foretages, når den enkelte modul er færdigudviklet og dokumenteret og kvaliteten er verificeret i henhold til Leverandørens kvalitetssikring Gennemførelse Prøven skal planlægges, designes og gennemføres i overensstemmelse med teststrategien. Prøven skal gennemføres i det miljø, som fremgår af afsnit 2.4. Proceduren for udarbejdelse af testdokumenter skal følge anvisningen i Bilag Ansvarsfordeling Leverandørens ansvar er beskrevet i afsnit 2.4. Kunden eller en af denne udpegede tredjemand har ret til at deltage som observatør i denne test Afrapportering Prøven skal afrapporteres i henhold til afsnit Godkendelseskriterier Kriteriet for godkendelse af prøven er, at prøven er afsluttet uden, at der i forbindelse hermed er konstateret udestående fejl (kritiske fejl eller alvorlige fejl) i Systemet, samt at dette er dokumenteret overfor Kunden i henhold til afsnit Dok /10, Sag 10/ /32

21 Testrapporten skal udarbejdes og udformes i henhold til Bilag 4, Dokumentation. 3.2 Fabriksprøve Formål Formålet med Fabriksprøven er, at Leverandøren før levering af programmel og dokumentation til Kunden verificerer, og ved en testrapport over for Kunden godtgør, at den aftalte funktionalitet for leverancen og dokumentationen som helhed opfylder kontraktens krav. Fabriksprøven skal: Verificere, at Leverancens funktionalitet er i overensstemmelse med Kontraktens krav samt eventuelle aftalte ændringer, og at det er forsvarligt for Kunden i efterfølgende prøver at gå videre med afprøvning af Leverancen. Demonstrere integrationer til øvrige it-systemer ved hjælp af stubbe eller lignende. Verificere, at Kontraktens krav til dokumentation af Leverancen er opfyldt. Fabriksprøven er Leverandørens prøve, og Leverandøren fastlægger selv startkriterierne, jf. dog afsnit Gennemførelse Prøven skal planlægges, designes og gennemføres i overensstemmelse med teststrategien. Prøven skal gennemføres i det miljø, som fremgår af afsnit 2.4. Proceduren for udarbejdelse af testdokumenter skal følge anvisningen i Bilag Ansvarsfordeling Leverandørens ansvar er beskrevet i afsnit 2.4. Kunden eller en af denne udpegede tredjemand har ret til at deltage som observatør i denne test Afrapportering og dokumentation Prøven skal afrapporteres i henhold til afsnit Godkendelseskriterier Kriteriet for godkendelse af prøven er, at prøven er afsluttet uden, at der i forbindelse hermed er konstateret udestående fejl (kritiske fejl eller alvorlige fejl) i Systemet, samt at dette er dokumenteret overfor Kunden i henhold til afsnit Testrapporten skal udarbejdes og udformes i henhold til Bilag 4, Dokumentation. Dok /10, Sag 10/ /32

22 3.3 Installationsprøve Formål Formålet med testen er at verificere, at Det nødvendige udstyr og Programmel er til stede i henhold til Systembeskrivelsen Systemet kan installeres på det i Systembeskrivelsen specificerede miljø Konfiguration af Systemet kan gennemføres i henhold til Systembeskrivelsen Installation af Systemet kan gennemføres i henhold til Installationsvejledningen Specifikke startkriterier Se de generelle startkriterier i afsnit Gennemførelse Testen skal planlægges, designes og gennemføres i overensstemmelse med Teststrategien. Testen skal gennemføres i det miljø som fremgår af afsnit Ansvarsfordeling Leverandørens ansvar er beskrevet i afsnit 2.4. Kunden eller en af denne udpegede tredjemand har ret til at deltage som observatør i denne test Afrapportering Leverandøren skal afrapportere testen i henhold til afsnit Godkendelseskriterier Godkendelseskriteriet for denne test er, at 1) Systemet kan installeres på det i Systembeskrivelsen specificerede miljø, 2) Konfiguration af Systemet kan gennemføres i henhold til Systembeskrivelsen, 3) Installation af Systemet kan gennemføres i henhold til Installationsvejledningen. Testen kan betragtes som godkendt, når der foreligger en af Kunden skriftlig godkendt testrapport. Testrapporten skal underskrives af Kundens projektleder, testansvarlige, alternativt en stedfortræder. Kunden har pligt til at godkende testrapporten, såfremt det heri er dokumenteret, at testen er bestået i henhold til godkendelseskriterierne. Testrapporten skal udarbejdes og udformes i henhold til Bilag 4, Dokumentation. Dok /10, Sag 10/ /32

23 3.4 Brugeraccepttest Formål Formålet med testen er at verificere, at Leverancen kan anvendes efter Kundens hensigt og omfatter den aftalte og specificerede funktionalitet, og at denne funktionalitet lever op til kravene i Leverancebeskrivelsen, inklusive Systembeskrivelsen. Disse krav er udtrykt gennem Kontrakten, Kravspecifikationen, Systembeskrivelsen, godkendte ændringsønsker samt øvrige aftalte designbeslutninger i projektet. Testen skal som minimum omfatte følgende: Processer og dagligdags arbejdsgange, idet formålet er at verificere, at Systemet kan virke i praksis hos Kunden i henhold til kravene i Leverancebeskrivelsen. Funktionaliteten i Systemet (herunder skærmbilleder, rapporter, print, datakommunikation etc.) i forhold til at validere Systemets virkemåde i henhold til de valg, der blev taget i analyse-arbejdet og udtrykt i Systembeskrivelsen, samt efterfølgende aftalte designbeslutninger. Systemadgange og brugergrupper testes som en integreret del af testen, ved at testen gennemføres med virkelighedstro roller og brugerrettigheder i henhold til Systembeskrivelsen Grænseflader testes dels enkeltvis, dels ved en procesorganiseret test, hvor grænseflade-meddelelser genereres og modtages som ved normal systembrug Batchjobs testes dels enkeltvis, dels ved en procesorganiseret test, hvor Systemet startes automatisk eller manuelt på realistiske tidspunkter i forhold til eksekveringen af testen Specifikke startkriterier Systemet er i en sådan færdiggørelsesgrad, at testerne uhindret kan navigere meningsfyldt i brugergrænsefladen og relatere oplevelsen direkte til Leverandørens hensigt med den færdige løsning. Plan for gennemførelse af brugeraccepttesten er udarbejdet og godkendt af Kunden. Denne plan indeholder desuden en fuldstændig plan over ressourcebehovet og de allokerede ressourcer til at gennemføre testen i henhold til testorganisationen. Al udvikling, opsætning m.v. er afsluttet og testet i henhold til de foregående tests i dette bilag og er installeret i Præproduktionsmiljøet. Leverandøren har skriftligt meddelt Kunden, at den samlede Leverance er klar til test Leverandøren har redegjort for at alle identificerede defects/fejl er rettede og verificerede af Kunden Brugergrupper og autorisationsrettigheder er oprettet til testbrug og afspejler de kommende virkelige brugerrettigheder i henhold til Systembeskrivelsen. Dok /10, Sag 10/ /32

24 Der er etableret testværktøjer, og de testfaciliteter og personer der indgår i testen, skal have fået tilstrækkelig uddannelse og træning i at håndtere værktøjer og udføre test Gennemførelse Testen skal planlægges, designes og gennemføres i overensstemmelse med teststrategien. Testen skal gennemføres i det miljø som fremgår af afsnit 1.4. Proceduren for udarbejdelse af testdokumenter skal følge anvisningen i Bilag 4. Brugertesten tester Systemets funktionalitet i bilag 3a ved hjælp af en række testscenarier. Et testscenarium beskriver således de overordnede processer og arbejdsgange. Under et testscenarium vil der være en række varianter af processerne og arbejdsgangene disse beskrives som test cases. Testscenarierne og test cases til brugeraccepttesten udarbejdes af Kunden i testforberedelsen. En test case indeholder et testscript der beskriver de skridt, der skal gennemgås, testdata, inputdata, testroller, samt forventede resultater. I forbindelse med gennemførelsen af brugeraccepttesten skal Leverandøren stille det nødvendige antal ressourcer til rådighed, som kan håndtere fejlrettelser, således at der ikke skabes unødige forsinkelser. Det vil være nødvendigt for testens fremdrift og gennemførelse, at Leverandøren retter fejl løbende og transporterer disse til testmiljøet. Leverandøren er ansvarlig for at dokumentere og følge en kvalitetssikret proces, for at holde styr på disse rettelser, således at Leverandøren uden ugrundet ophold til enhver tid kan redegøre for version, patch, rettelser m.v. som Systemet indeholder Ansvarsfordeling Leverandørens ansvar er beskrevet i afsnit Afrapportering Testen skal afrapporteres i henhold til afsnit Godkendelseskriterier Brugeraccepttesten er bestået, såfremt der maksimalt er: 0 kritiske fejl 0 alvorlige fejl 0 betydende fejl 5 normale fejl 15 mindre betydende fejl Dok /10, Sag 10/ /32

25 Leverandøren skal, som en del af testrapporten levere en specifik løsningsbeskrivelse på alle udestående fejl, samt en tidsplan for implementering af de nødvendige fejlrettelser. Testen kan betragtes som godkendt, når der foreligger en af Kunden skriftlig godkendt testrapport, som Kunden er ansvarlig for at udarbejde. Testrapporten skal underskrives af Kundens projektleder eller testansvarlige, alternativt en stedfortræder. Kunden har pligt til at godkende testrapporten, såfremt det heri er dokumenteret, at testen er bestået i henhold til godkendelseskriterierne. Testrapporten skal udarbejdes og udformes i henhold til Bilag 4, Dokumentation. 3.5 Delprojektprøve/Overtagelsesprøve Formål Formålet med overtagelsesprøven og delprojektprøven er at verificere, at Systemet er færdigudviklet, konfigureret og indeholder korrekte konverterede data, således at den samlede Leverance kan godkendes af Kunden. Formålet er at sikre, at Leverancen omfatter den aftalte funktionalitet, og at denne funktionalitet lever op til kravene i Leverancebeskrivelsen, inklusive Systembeskrivelsen. Disse krav er udtrykt gennem Kontrakten, Kravspecifikationen, Systembeskrivelsen, godkendte ændringsønsker samt øvrige aftalte designbeslutninger i projektet (herunder dokumenterede løsninger på fejl fra foregående prøver). Først ved Kundens godkendelse af overtagelsesprøven overtager Kunden Systemet, jf. Kontrakten. Prøverne skal afvikles på præproduktionsmiljøet, der skal være identisk med produktionsmiljøet og med en ny installation samt nykonverterede data fra seneste prøvekonvertering, således at det samlede System fremstår i tilsvarende stand som efter den endelige produktionskonvertering. Præproduktionsmiljøet skal forblive intakt og uden ændringer i hele prøverne løbetid. Leverandøren har således ingen beføjelser til at ændre i præproduktionsmiljøet under prøverne, uden skriftlig accept fra Kunden. Dette gælder blandt andet systemrettelser, opsætning, konfigurering, brugeradgange, stamdata, måledata m.v. Prøverne har til formål at verificere den samlede Leverance herunder blandt andet: Processer og dagligdags arbejdsgange er udgangspunktet for testen, idet formålet er at verificere, at Systemet kan virke i praksis hos Kunden i henhold til kravene i Leverancebeskrivelsen. Funktionaliteten i Systemet og konfiguration (herunder skærmbilleder, rapporter, breve/print etc.) testes i forhold til at validere Systemets virkemåde i henhold til de valg, der blev taget i designarbejdet og udtrykt i Systembeskrivelsen. Systemadgange og brugergrupper testes som en integreret del af testen, ved at systemhandlingerne foretages med virkelighedstro roller og brugerrettigheder. Dok /10, Sag 10/ /32

26 Stamdata og konfiguration valideres som en del af testen, således at testmaterialet og testerne forholder sig til korrektheden af stamdata og konfiguration. Konverterede data/transaktionsdata testes ved, at hele testen eksekveres i et miljø, der er populeret med en komplet sæt konverterede data tilvejebragt efter samme metode som planlægges brugt ved den endelige konvertering. Grænseflader testes dels enkeltvis dels ved en procesorganiseret test, hvor grænseflademeddelelser genereres og modtages som ved normal systembrug Batchjobs testes dels enkeltvis dels ved en procesorganiseret test, hvor Systemet startes automatisk eller manuelt på realistiske tidspunkter i forhold til eksekveringen af testen. Brugervenlighed testes i henhold til kravene herfor, herunder brugervejledning og online hjælp indbygget i Systemets brugergrænseflade. Dokumentation testes i henhold til kravene hertil i Bilag 4. Alle identificerede fejl i forbindelse med tidligere tests, hvis løsning ikke er godkendt af Kunden, skal godkendes som led i prøverne. Alle identificerede fejl og afvigelser til den samlede Leverance, hvor løsningen ikke er verificeret/testet og endeligt godkendt af Kunden vil tælle med som fejl i prøverne herunder alle typer fejl og afvigelser omfattet af punkterne ovenfor Specifikke startkriterier I tillæg til de generelle startkriterier i afsnit 2.9.1, skal følgende være gældende førend prøven kan startes: Fejl identificeret forud for prøverne skal være løst. Fejl, som Kunden ikke har godkendt løsningen af ved prøvernes start, vil indgå i den samlede opgørelse af fejl identificeret i forbindelse med prøverne, med mindre løsninger på disse verificeres og godkendes af Kunden som en del af prøverne. 1 måned før prøvernes start fremlægger Kunden en liste over prioriterede testcases, der som minimum skal testes under prøverne samt en ressourceoversigt, der viser testdeltagernes tilgængelighed i de planlagte prøver. 1 måned før planlagt påbegyndelse af prøverne afholdes et møde, hvor Leverandøren fremlægger aktuel status på samtlige kendte fejl samt redegør for, hvilke udestående fejl, der løses og leveres forud for starten på prøverne, herunder fremlægger en dagsplan for gentesten af disse inden påbegyndelsen af prøverne. 3 uger før planlagt påbegyndelse af prøverne fremlægger Kunden en detaljeret plan for prøverne, hvor Kundens testkoordinator afstemmer behovet for ressourcer med Leverandørens testkoordinator. Senest 1 uge herefter skal Leverandøren bekræfte dennes ressourcer og beredskab i forbindelse med at støtte Kunden i gennemførelsen af prøverne. 7 dage før planlagt påbegyndelse af overtagelsesprøven afholdes et møde, hvor Leverandøren fremlægger status på udestående fejl. Dok /10, Sag 10/ /32

27 3.5.3 Gennemførelse Prøverne gennemføres ved hjælp af en række testscenarier, der beskriver en overordnet forretningsproces. Under et testscenarium vil der være en række varianter af forretningsprocessen. Disse beskrives som testcases. Testscenarierne og testcases til prøverne udarbejdes af Kunden i prøveforberedelsen, og tager i vidt omfang udgangspunkt i de udarbejdede BRS er. En Testcase indeholder et testscript, der beskriver de skridt, der skal gennemgås, testdata, testroller samt forventede resultater. Der afholdes en planlagt række testdage, hvor de enkelte testgrupper udfører de prioriterede testcases, udvalgt af Kunden. Ved gennemførelse af prøverne deltager Leverandøren for at undgå misforståelser i testafviklingen samt for om nødvendigt at yde bistand for testerne. Ved afslutningen af en dag i prøverne udarbejder Kunden en testrapport, der redegør for hvilke - fejl, der er identificeret den pågældende dag. Denne testrapport gennemgås på et møde næstfølgende Arbejdsdag efter hver testdag, hvor Kunden rapporterer til og evaluerer resultatet overfor Leverandøren. Testen skal planlægges, designes og gennemføres i overensstemmelse med teststrategien. Testen skal gennemføres i det miljø, som fremgår af afsnit 2.4 Tilføjelse til Delprojektprøven for Aktørtestsystemet Delprojektprøven for aktørtestsystemet gennemføres i to trin, idet der udover ovenstående afprøvning af forretningsprocesserne ønskes gennemført en pilotdrift med en delmængde af de eksterne aktører. Pilotdriften skal gennemføres i driftsmiljøet. Formålet med gennemførelse af pilotdriften er at sikre at Aktørtestsystemet er klar til drift. Der vil være en presset tidsplan samt hård belastning af Aktørtestsystemet i de første seks måneder af systemets drift, frem til DataHub'ens idriftsættelse. Tilføjelse til Overtagelsesprøven for DataHub en Overtagelsesprøven for DataHub en gennemføres i to trin, idet der udover ovenstående afprøvning af forretningsprocesserne ønskes gennemført en generalprøve af cut-over aktiviteterne. Generalprøven skal gennemføres med deltagelse af alle aktører, og omfatter afprøvning af alle cut-over aktiviteter, herunder (men ikke begrænset til) transport af DataHub en til driftsmiljø, opsætning og aktivering af brugerrettigheder og roller, konvertering og indlæsning af ændrede data fra sidst godkendte datakonvertering til skæringsdato, gennemførelse af rigtige transaktioner (parallelt med de eksisterende driftssystemer) Dok /10, Sag 10/ /32

28 Formålet med gennemførelse af generalprøven af cut-over aktiviteterne er at identificere evt. udfordringer i forbindelse med gennemførelse af cut-over aktiviteterne, herunder fejl og mangler der vil kunne blokere for en succesfuld idriftsættelse af DataHub en Afrapportering Den løbende fremdrift af testen skal dokumenteres løbende, jf. afsnit Kunden skal efter prøvernes afslutning, skriftligt meddele Leverandøren om: Prøven er bestået med angivelse af eventuelle fejl i en mangelliste Prøven ikke er bestået med begrundelse herfor. Kunden er ansvarlig for udarbejdelse af testrapporten Godkendelseskriterier Prøverne er bestået, såfremt der maksimalt er: 0 kritiske fejl 0 alvorlige fejl 0 betydende fejl 5 normale fejl 15 mindre betydende fejl Endvidere skal alle de af Kunden udvalgte testcases være gennemførte og de opstillede testbetingelser være verificerede. Prøven skal dokumenteres i en afsluttende testrapport, som Kunden er ansvarlig for at udarbejde, og som skal foreligge senest 5 arbejdsdage efter overtagelsesprøvens afslutning. Testen kan betragtes som godkendt, når der foreligger en af Kunden skriftlig godkendt testrapport. Kunden har pligt til at godkende testrapporten, såfremt det heri er dokumenteret, at testen er bestået i henhold til godkendelseskriterierne. Testrapporten skal underskrives af Kundens projektleder, alternativt en stedfortræder. Testrapporten skal udarbejdes og udformes i henhold til Bilag 4, Dokumentation. Kunden indkalder samtidig med testrapportens fremsendelse til et møde med Leverandøren, hvor testrapporten (inklusiv en komplet liste over fejl) gennemgås. Hvis prøverne ikke kan bestås, skal den gentages i sin fuldstændighed, indtil Kunden har godkendt den eller måtte ophæve Kontrakten i henhold til Kontraktens bestemmelser herom. Dok /10, Sag 10/ /32

29 3.6 Driftsprøve Formål Formålet med driftsprøven er, at konstatere, om systemet lever op til krav for servicemål beskrevet i Bilag 6 i Kundens normale driftssituation. Der måles blandt andet på driftseffektivitet og svartider for løsningen i miljøet til drift over en periode, mens Løsningen anvendes og for aktørtestdelprojektet efter at pilotdriften er gennemført. Prøven har til formål at verificere, at: Servicemålene i Bilag 6 kan opfyldes ved en normal drift af Systemet Procedurer for håndtering af fejlrettelser omfattet af Leverandørens garanti i henhold til Kontrakten (eller Leverandørens supportforpligtelser i henhold til bilag 5) fungerer og følges Gennemførelse Driftsprøven udføres i produktionsmiljøet for systemet som helhed. Driftsprøven påbegyndes, når Kunden giver Leverandøren meddelelse derom, dog senest 40 Arbejdsdage efter at overtagelsesprøven er godkendt. Driftsprøven skal omfatte mindst 90 Arbejdsdage i træk, hvori Leverancen har været i Drift med normale funktioner. Driftsprøven er bestået, når servicemål for Leverancen, opgjort for de sidste 50 Arbejdsdage af driftsprøveperioden, opfylder servicemålene jf. Bilag 6. Driftsprøven fortsætter, indtil den er bestået, men med mindre kunden udtrykkeligt samtykker i en forlængelse, skal den være afsluttet senest 90 Arbejdsdage efter påbegyndelsen. Testen skal planlægges, designes og gennemføres i overensstemmelse med teststrategien. Testen skal gennemføres i det miljø som fremgår af afsnit Ansvarsfordeling Leverandørens ansvar er beskrevet i afsnit Afrapportering Testen skal afrapporteres i henhold til afsnit Kunden er ansvarlig for, at udarbejde en testrapport Godkendelseskriterier Driftsprøven er bestået, såfremt kravene til servicemål jf. bilag 6 er opfyldt i 50 Arbejdsdage i træk i driftsprøveperioden. Driftsprøven fortsætter, indtil den er bestået inden for de 90 dage, medmindre Kunden udtrykkeligt samtykker i en forlængelse eller Kunden ophæver Kontrakten i henhold til Kontraktens bestemmelser herom. Dok /10, Sag 10/ /32

30 Testen kan betragtes som godkendt, når der foreligger en af Kunden skriftlig godkendt testrapport. Kunden har pligt til at godkende testrapporten, såfremt det heri er dokumenteret, at testen er bestået i henhold til godkendelseskriterierne. Dok /10, Sag 10/ /32

31 4. Leverandørens kravbesvarelse Supplerende vejledning: Leverandøren skal udfylde Bilag 3c Kravmatricen i henhold til Læsevejledningen. Leverandøren skal i dette afsnit beskrive hvordan prøveforløbet tænkes gennemført under hensyntagen til de i dette bilag beskrevne prøver og krav til disse. Såfremt Leverandøren har forbehold eller ændringer til et krav, skal det beskrives i dette afsnit og en reference hertil skal indsættes i kravmatricen. Dok /10, Sag 10/ /32

32 5. Tabeloversigt Tabel 2-1: Oversigt over prøver Kravtabel...8 Tabel 2-2: Ansvarsfordeling for prøver...9 Tabel 2-3: Fejlkategorier...13 Tabel 2-4: Generelle krav til prøver Kravtabel...19 Dok /10, Sag 10/ /32