Teksten i denne instruktion er ikke en del af Kontrakten og vil blive fjernet ved kontraktindgåelse.

Transkript

1 BILAG 10 PRØVER

2 Indholdsfortegnelse 1. Prøver Fælles regler for afprøvning Afklaringsproces og udarbejdelse af test cases Beskrivelse af afklaringsproces og udarbejdelse af test cases Rapport over prøveforløbet Godkendelse af en prøve Afhjælpning af konstaterede Mangler Fejlsituationer Mangelkategorier Godkendelseskriterier Overtagelsesprøve Prøveplan for overtagelsesprøven Leverandørens interne test Forudsætninger for overtagelsesprøvens igangsættelse Tilrettelæggelse af overtagelsesprøven Gennemførelse af overtagelsesprøven Godkendelseskriterier for overtagelsesprøven Udbedring af Mangler inden driftsprøven Driftsprøven Prøveplan for driftsprøven Forudsætninger for gennemførelse af driftsprøven Krav til Leverandøren under driftsprøven Øvrige driftsprøveelementer Driftsprøvens periode Godkendelseskriterier Mangelafhjælpning efter driftsprøve Afprøvningsplaner Afprøvningsplaners indhold Prøveplanens elementer Detaljerede tidsplaner for prøver Afprøvningsrapporter Side 2 of 10

3 Instruktion til besvarelse af bilaget: Teksten i denne instruktion er ikke en del af Kontrakten og vil blive fjernet ved kontraktindgåelse. Formål med bilag: Formålet med Bilag 10 Prøver er at beskrive Kundens krav til prøver, som er gældende for Kontrakten som helhed, herunder yderligere bestillinger. Instruks vedr. bilag: I forbindelse med afgivelse af tilbud skal Tilbudsgiver på baggrund af Kundens beskrivelse udarbejde besvarelse af bilaget. Dette sker ved besvarelse af infokrav Evaluering af besvarelse: Tilbudsgivers besvarelse af bilaget vil indgå i tilbudsevalueringen i tilknytning til underkriteriet "Samarbejde". Evaluering af infokrav 10.1: Det vil blive vurderet positivt i evalueringen, hvis den beskrevne proces viser erfaring med udarbejdelse af test cases, herunder viser en styrket leverancesikkerhed. Side 3 of 10

4 1. PRØVER Der afholdes i forbindelse med leveringen af Systemet en overtagelsesprøve og en driftsprøve i overensstemmelse med Kontraktens pkt. 17 og dette bilag. Afprøvning af videreudviklingsopgaver og ændringer, der under Kontrakten bestilles til levering efter Overtagelsesdagen, gennemføres som ved leveringen af Systemet, medmindre andet er skriftligt aftalt. Der kan endvidere være forskellige former for testtyper, som skal gennemføres forud for de nævnte prøver. Bilaget er opbygget med fælles krav til de forskellige prøver, og som de enkelte prøver, herunder afprøvningsplaner og godkendelseskriterier, skal udføres og udformes i henhold til. 2. FÆLLES REGLER FOR AFPRØVNING En prøve har generelt til formål at sikre, at Leverandørens leverance på overtagelsestidspunktet er uden Mangler, er stabil og opfylder de fastlagte krav og servicemål. Tidspunktet for en prøves gennemførelse fremgår af tidsplanen, jf. Bilag 1. Alle prøver skal gennemføres hos Kunden. Alle prøveplaner skal opfylde kravene, der fremgår under pkt. 5. Prøverne gennemføres fra en standard arbejdsplads og skal laves på realistiske data og datamængder. Forud for en prøves afvikling skal Leverandøren have gennemført en regressionstest på Systemet, dvs. før hver enkelt implementering af nye releases eller videreudviklingsopgaver. Medmindre andet konkret og skriftligt aftales mellem Kunden og Leverandøren, gælder i øvrigt følgende regler for prøver, der gennemføres under Kontrakten. 2.1 Afklaringsproces og udarbejdelse af test cases Leverandøren skal på baggrund af de gennemførte afklaringer med Kunden ved implementeringer udarbejde test cases til brug for gennemførelse af overtagelsesprøven. Test cases til brug for overtagelsesprøven skal fremsendes til Kundens godkendelse senest 20 Arbejdsdage før gennemførelsen af overtagelsesprøven. Leverandøren skal indarbejde forslag til ændringer fra Kunden i de enkelte test cases, med mindre Leverandøren kan godtgøre, at disse forslag ligger uden for, hvad der med rimelighed kan påregnes indeholdt i en test case for prøven. Kundens forslag til ændring af en test case skal være Leverandøren i hænde senest 15 Arbejdsdage før prøvens start, hvorefter Leverandøren udarbejder en revideret test case. Den reviderede test case skal være modtaget af Kunden senest 5 Arbejdsdage efter Leverandørens modtagelse af Kundens forslag til ændringer. Side 4 of 10

5 En prøve skal gennemføres med udgangspunkt i de af Kunden godkendte test cases og under forhold, der i videst muligt omfang svarer til en normal driftssituation. 2.2 Beskrivelse af afklaringsproces og udarbejdelse af test cases [Infokrav 10.1 Beskrivelse af afklaringsproces og udarbejdelse af test cases Tilbudsgiver bedes redegøre for afklaringsprocessens gennemførelse samt, hvordan udarbejdelse af test cases, jf. pkt. 2.1, påtænkes gennemført. Beskrivelsen skal være detaljeret. Leverandøren bedes indsætte sin besvarelse her.] 2.3 Rapport over prøveforløbet Ved overtagelsesprøvens afslutning, udarbejder Leverandøren straks en rapport over prøveforløbet med opførelse af eventuelle konstaterede Mangler i en mangelliste. Kunden udarbejder en tilsvarende rapport i forbindelse med gennemførelse af driftsprøven. 2.4 Godkendelse af en prøve En prøve er bestået, når kravene til prøvens resultat er opfyldt, og godkendelse skal herefter ske i overensstemmelse med Kontraktens pkt Kan prøven ikke godkendes af Kunden, skal Kunden uden ugrundet ophold skriftligt meddele dette til Leverandøren samt anføre årsagen til den manglende godkendelse. 2.5 Afhjælpning af konstaterede Mangler Såfremt Kunden godkender overtagelsesprøven med konstaterede Mangler, skal disse anføres i en mangelliste. Kunden er først forpligtet til at godkende driftsprøven, når sådanne Mangler i det væsentligste er afhjulpet. Mangler konstateret efter Overtagelsesdagen afhjælpes i overensstemmelse med Bilag Fejlsituationer I forbindelse med prøverne skal fremprovokeres en række fejlsituationer. En betingelse for godkendelse af prøven er, at der afgives meningsfyldte fejlmeddelelser, og at brugeren kan fortsætte på et veldefineret grundlag. 2.7 Mangelkategorier Mangelkategorier i forbindelse med prøver er følgende: Mangelkategori A (Kritiske Mangler) B (Betydelige Mangler) Beskrivelse En Mangel, der er kritisk for anvendelse af løsningen, hvor Systemet er utilgængeligt for brugere eller på anden måde ubrugelig i praksis, og hvor rimelig omgåelse ikke er mulig. En Mangel, der har betydelig indvirkning på anvendelse af løsningen, men hvor rimelig omgåelse efter Leverandørens Side 5 of 10

6 C (Mindre Betydelige Mangler) anvisninger er mulig. Systemet kan anvendes, men der skal foretages særlige work-arounds. En Mangel, der ikke er kritisk for anvendelse af løsningen, og hvor rimelig omgåelse er mulig. Manglerne er af mere kosmetisk karakter. Såfremt antallet og indholdet af kategori C Mangler er af et sådant omfang, at Kundens anvendelse af Systemet herigennem påvirkes, som havde der været tale om en kategori A eller B Mangel, vil disse samlet blive anset som en kritisk Mangel (kategori A). 2.8 Godkendelseskriterier Godkendelseskriterierne for overtagelsesprøven er følgende: Der må ikke forekomme nogen kategori A eller B Mangler. Der må endvidere kun forekomme maksimalt 10 kategori C Mangler. 3. OVERTAGELSESPRØVE Overtagelsesprøven kan indeholde forskellige testtyper. Hvilke testtyper der anvendes, fastlægges endeligt sammen med Kunden i afklaringsfasen. Formålet med overtagelsesprøven er primært at konstatere, om den aftalte funktionalitet samt den aftalte understøttelse af Kundens forretningsprocesser er til stede og dokumentation er leveret, jf. Bilag 3. Det skal her også konstateres, om servicemål er opfyldte og tilknyttede ydelser er leveret i overensstemmelse med det aftalte. 3.1 Prøveplan for overtagelsesprøven Leverandøren skal i forbindelse med afklaringsfasen udarbejde et udkast til prøveplan for overtagelsesprøven. Udkast til prøveplan skal være Kunden i hænde senest 20 Arbejdsdage før overtagelsesprøvens påbegyndelse. Prøveplanen skal beskrive prøvens gennemførelse og rapportering, samt hvilke testtyper og evt. tekniske forhold, der skal gennemføres. Prøveplanen skal sikre, at overtagelsesprøven giver et retvisende billede af om kravene til Systemet er opfyldt, og at Systemet har den ønskede kvalitet. I Leverandørens udkast til prøveplan skal karakter, omfang samt tidspunkt for Kundens deltagelse specificeres, herunder hvilke data Kunden skal stille til rådighed med henblik på en hensigtsmæssig gennemførelse af prøven. Prøveplanen udarbejdes under afklaringsfasen og godkendes af Kunden som led i afslutningen på afklaringsfasen. Leverandøren skal indarbejde forslag til ændringer fra Kunden i prøveplanen, med mindre Leverandøren kan godtgøre, at disse forslag vil indebære aktiviteter, der ligger uden for, hvad der med rimelighed kan påregnes. Kundens forslag til ændring af prøveplanen skal være Leverandøren i hænde senest 15 Arbejdsdage før prøvens start, hvorefter Leverandøren udarbejder en revideret prøveplan. Den reviderede prøveplan skal være modtaget af Kunden senest 5 Arbejdsdage, efter Leverandørens modtagelse af Kundens forslag til ændringer. Side 6 of 10

7 3.2 Leverandørens interne test Leverandøren skal gennemføre interne tests med det formål at sikre, at en leverance er klar til afprøvning. Leverandøren planlægger og gennemfører selv egne tests. Der udarbejdes testplaner for disse tests, hvor Kunden godkender testenes indhold og omfang. Kunden kan efter aftale i den overordnede prøveplan komme med input til forretningskomplekse testscenarier. 3.3 Forudsætninger for overtagelsesprøvens igangsættelse Inden overtagelsesprøven kan igangsættes, skal Leverandøren udarbejde en testrapport for Leverandørens egne gennemførte interne test. Denne godkendes af Kunden, hvis godkendelseskriterierne herfor er opfyldte. De(n) interne test(s) godkendelse er en forudsætning for overtagelsesprøvens start. Hvis de(n) interne test(s) godkendes med kendte Mangler, udarbejdes der en afhjælpningsplan for sådanne Mangler. 3.4 Tilrettelæggelse af overtagelsesprøven Overtagelsesprøven tilrettelægges af Leverandøren som en funktionsprøve, hvor det kontrolleres, at den aftalte funktionalitet, herunder integration til andre systemer, og dokumentation er leveret. 3.5 Gennemførelse af overtagelsesprøven Overtagelsesprøven gennemføres af Leverandøren med Kundens aktive deltagelse. Kundens deltagelse skal være nærmere beskrevet i Leverandørens oplæg til prøveplan, jf. pkt. 3.1 ovenfor. I forbindelse med overtagelsesprøvens gennemførelse fremprovokeres en række fejlsituationer, som Systemet skal reagere på med fejlmeddelelser, der gør det muligt for brugeren at fortsætte på et veldefineret grundlag. Som et led i prøven skal der derudover gennemføres en svartidsprøve. Formålet med svartidsprøven er at kontrollere, at Systemet uden belastning overholder de krav til svartider, der fremgår af Bilag 13 Servicemål. 3.6 Godkendelseskriterier for overtagelsesprøven Godkendelseskriterierne for overtagelsesprøven fremgår af pkt. 2.8 ovenfor. 3.7 Udbedring af Mangler inden driftsprøven Det påhviler Leverandøren snarest og inden driftsprøvens start at rette alle kategori A og B Mangler, jf. pkt Leverandøren skal i fornødent omfang over for Kunden demonstrere, at afhjælpning er sket. Udbedring af kategori C Mangler skal indarbejdes i en releaseplan for Systemets første periode af drift. Denne releaseplan skal godkendes af Kunden. 4. DRIFTSPRØVEN Formålet med driftsprøven er at konstatere, hvorvidt Systemet overholder de opstillede servicemål specificeret i Bilag 13 Servicemål, samt at Systemet fungerer i en normal driftssituation. Side 7 of 10

8 4.1 Prøveplan for driftsprøven Leverandøren skal udarbejde en prøveplan, der beskriver gennemførelse og rapportering, samt hvilke tekniske og ressourcemæssige forhold, der er en forudsætning for driftsprøvens gennemførelse. Prøveplanen skal sikre, at driftsprøven giver et retvisende billede af, om de stillede servicemål er opfyldt. Prøveplanen for driftsprøven udarbejdes under afklaringsfasen og godkendes af Kunden som led i afslutningen på afklaringsfasen i overensstemmelse med det i pkt. 3.1 beskrevne. 4.2 Forudsætninger for gennemførelse af driftsprøven Inden driftsprøven påbegyndes, skal overtagelsesprøven være godkendt af Kunden. Driftsprøven påbegyndes endvidere først, når Kunden har givet Leverandøren meddelelse derom, dog senest 20 Arbejdsdage efter Overtagelsesdagen, og efter rettelse af evt. udestående Mangler, jf. pkt Driftsprøven gennemføres af Kunden med bistand fra Leverandøren, og udføres for Systemet som helhed. 4.3 Krav til Leverandøren under driftsprøven Under driftsprøven har Leverandøren pligt til løbende at optimere Systemets ydeevne i det omfang, at det måtte være nødvendigt samt afhjælpe evt. konstaterede Mangler. Desuden skal Leverandøren være Kunden behjælpelig i forbindelse med besvarelse af Kundens spørgsmål vedrørende brug af Systemet, herunder yde support via servicedesk. 4.4 Øvrige driftsprøveelementer Leverandøren skal i sin driftsprøve inddrage udvalgte testtyper. Omfanget af prøverne, herunder hvilke testtyper der inkluderes, fastlægges endeligt sammen med Kunden under afklaringsfasen. 4.5 Driftsprøvens periode Driftsprøven skal omfatte mindst 40 Arbejdsdage i træk, hvor Systemet har været i normal drift. Fristen for driftsprøvens afslutning fremgår af Bilag 1. Driftsprøven fortsætter under alle omstændigheder indtil de aftalte servicemål er overholdt i det nedenfor anførte antal Arbejdsdage, eller til, Kunden hæver Kontrakten i henhold til bestemmelserne herom. 4.6 Godkendelseskriterier Godkendelseskriteriet for driftsprøven er, at servicemålene vedrørende tilgængelighed og svartider, jf. Bilag 13 Servicemål, opgjort for de sidste 25 Arbejdsdage af driftsprøveperioden er opfyldt for Systemet som helhed. Har Kunden godkendt overtagelsesprøven med kendte Mangler anført i mangellisten, er Kunden først forpligtet til at godkende driftsprøven, når sådanne Mangler i det væsentligste er afhjulpet. Herved forstås, at der alene resterer Mangler i Mangelkategori C. Kunden er dog ikke forpligtet til at godkende driftsprøven, såfremt der foreligger mere end 5 sådanne Mangler. De resterende Mangler afhjælpes i overensstemmelse med Bilag 13 Servicemål. Side 8 of 10

9 Såfremt prøven afvises, skal Kunden dokumentere årsagerne og påpege de områder, der fejlede testen. Styregruppen tager herefter beslutning om det videre forløb. Kunden er alene ansvarlig for idriftsætningen og Driften af Systemet, såfremt optionen om Drift ikke tilvælges. Såfremt optionen tilvælges, er dette også Leverandørens ansvar. 4.7 Mangelafhjælpning efter driftsprøve Det påhviler Leverandøren snarest at rette alle Mangler, som er beskrevet i mangellisten. Leverandøren skal i fornødent omfang over for Kunden demonstrere, at afhjælpning er sket. 5. AFPRØVNINGSPLANER Følgende krav er gældende for afprøvningsplaner, som skal udarbejdes af Leverandøren. 5.1 Afprøvningsplaners indhold Afprøvningsplanerne skal som minimum indeholde oplysning om: - Hvilke afprøvninger der skal gennemføres. - Hvem der skal deltage i de enkelte afprøvninger ved navns nævnelse eller ved stillingsbetegnelse. - Evt. prøvedata, der skal leveres af Kunden. 5.2 Prøveplanens elementer Prøveplanen for prøven skal indeholde følgende elementer: - Den enkelte afprøvnings placering i forløbet (evt. i form af henvisning til tidsplan). - Den enkelte afprøvnings overordnede forudsætninger. - De funktionelle og ikke-funktionelle krav, der afprøves i den pågældende afprøvning. - Dato for fremsendelse af den detaljerede gennemgang af testaktiviteter pr. afprøvning, dvs. en plan for den enkelte afprøvning. - Specifikation af testmiljøer. 5.3 Detaljerede tidsplaner for prøver Prøveplanen skal indeholde en detaljeret tidsplan, som skal angive: - Start- og sluttidspunkt for samtlige installationer og afprøvninger. - Hvornår prøveplanerne fremsendes til Kunden, hvornår de skal være kommenteret af Kunden, og hvornår de skal være godkendt af Kunden. - Perioden fra fremsendelse af den tilhørende dokumentation og frem til det tidspunkt, hvor dokumentationen skal være godkendt af Kunden. Side 9 of 10

10 6. AFPRØVNINGSRAPPORTER Når en prøve er afsluttet, udarbejder Leverandøren straks en rapport over prøveforløbet med opførelse af evt. konstaterede Mangler i en mangelliste. Dette gælder samtlige prøver. Afprøvningsrapporterne dokumenterer de udførte afprøvninger, således at det er klart, hvad der er afprøvet, og hvad afprøvningsresultatet var. Side 10 of 10