Kontrakt om Videreudvikling, Vedligeholdelse og Support af IMK2- systemet Bilag 8 Test 12.05.2016 Version 1.0
[Vejledning til tilbudsgiver: Bilaget er i sin helhed at betragte som et mindstekrav (MK). Bilaget skal ikke udfyldes af tilbudsgiver.] Side 2/12
Indhold 1. Indledning (MK)... 4 2. Det samlede testforløb (MK)... 5 3. Overtagelsestest (MK)... 7 4. Test ifm. Videreudvikling og vedligehold (MK)... 8 5. Driftsprøve (MK)... 12 Side 3/12
1. Indledning (MK) Dette bilag indeholder en beskrivelse af de krav, som Kunden stiller til test af enhver Ændring, Videreudviklings- eller Vedligeholdelsesydelse, herunder tests specifikt i relation til overtagelsen. I afsnit 2 beskrives det samlede forløb omkring test, herunder rolle og ansvarsfordeling mellem Leverandøren og Kunden i forbindelse med de forskellige former for test. Herefter beskrives i afsnit 3-4 specifikke krav for henholdsvis Vedligehold, Videreudvikling og overtagelsestest. For Videreudviklingsydelser skal der, på Kundens anmodning, også afholdes driftsprøve. Kravene hertil fremgår af afsnit 5. Incidenttyper er defineret i bilag 3 Support. Reaktionstider og løsningstider er angivet i bilag 5 Servicemål. Side 4/12
2. Det samlede testforløb (MK) Nedenstående figur illustrerer det samlede testforløb: Figur 1 - Testforløb På baggrund af godkendt Løsningsbeskrivelse fra Kunden udarbejder testerne hos Leverandøren Testdokumentation. Leverandøren foretager interne test af Programmellet inden en Release leveres til Kunden. Den interne test dokumenteres i en foreløbig testrapport, som sendes til Kunden 14 dage inden leveringsdatoen for en Release. Kunden anvender denne foreløbige rapport til sin planlægning af testforløb hos Kunden. Umiddelbart inden den planlagte Release-dato fremsender Leverandøren endelig testrapport til Kundens godkendelse. Kundens driftsorganisation installerer Releasen på testmiljø, og Kundens testere afvikler systemtest af Releasen. Kundens testere rapporterer fundne Fejl til Leverandøren i Kundens Side 5/12
fejlhåndteringssystem (Team Foundation Server 1 ) Efter et aftalt tidsrum får Kunden en eller flere ny(e) Release(s), hvori de fundne Fejl er rettet. Når Kunden har testet de enkelte Ændringsanmodninger, og der ikke er flere kritiske og alvorlige Fejl, lukkes ændringsanmodningen i Kundens fejlhåndteringssystem. Når produktionsdatoen nærmer sig, bliver Releasen med de rettede fejl installeret i det næste testmiljø, og i rimelig tid inden produktionsdatoen installeres i præproduktionsmiljø. Når Releasen er sat i produktion starter garantiperioden. Behov for testbistand til Kundens tests afregnes efter medgået tid med mindre andet er aftalt. 1 Kundens fejlhåndteringssystem TFS er endnu ikke implementeret, men forventes at være klar ved kontraktunderskrivelse. Såfremt dette ikke kan nås, vil Kunden anvende et alternativt system, som Leverandøren vil blive introduceret til. Side 6/12
3. Overtagelsestest (MK) 3.1 Afslutning af overtagelse. Leverandørens Overtagelsesfase afsluttes ved Kundens godkendelse af overtagelsesprocessen (overtagelsestesten) på det i den detaljerede overtagelsesplans specificerede tidspunkt, jf. underbilag 10A Tidsplan for Afklaringsfasen. 3.2 Formål med overtagelsestesten. Overtagelsestesten indebærer en verifikation af, at de i bilag 6 Overgangsydelser beskrevne overtagelsesaktiviteter/opgaver er gennemført. 3.3 Indhold i overtagelsestesten. Overtagelsestesten skal indeholde en verifikation af, at de i bilag 6A 2 Håndbog for levering beskrevne procedurer er implementeret i Leverandørens organisation: a) Verifikation af de etablerede procedurer for fejlretning og Vedligeholdelse, herunder testprocedurer. b) Verifikation af de etablerede procedurer for Videreudvikling og udarbejdelse af det konkrete indhold af Releases. c) Verifikation af, at Dokumentation vil blive udført i henhold til krav og procedurer i bilag 3 Support og 4 Videreudvikling og Vedligeholdelse. d) Verifikation af, at en katastrofesituation kan håndteres jævnfør beredskabsplanen. e) Verifikation af de etablerede procedurer for test, jf. dette bilag. Kunden vil i forbindelse med sin godkendelse af Håndbog for levering overfor Leverandøren udpege procedurer, som Kunden ønsker at verificere implementering af. Parterne aftaler herefter de nærmere rammer for denne verifikation. 3.4 Afslutning af overtagelsestest. Ved afslutningen af de under ovenstående punkt 3.3 nævnte aktiviteter udarbejder og fremsender Leverandøren straks en rapport til Kunden med angivelse resultatet, herunder eventuelle konstaterede mangler. Af rapporten skal der desuden fremgå en handlingsplan, der beskriver, hvordan og hvornår Mangler udbedres. Overtagelsestesten afsluttes herefter med Kundens godkendelse af denne rapport. 2 Underbilag 6A forefindes i Bilag 6 Overgangsydelser. Side 7/12
4. Test ifm. Videreudvikling og vedligehold (MK) 4.1 Generelt om test ifm. Videreudvikling og Vedligehold. Efter Leverandøren har testet det udviklede eller tilrettede Programmel i udviklingsmiljøet og dokumenteret resultatet af disse prøver i Testdokumentation, jf. bilag 9 Dokumentation, modtager Kunden Programmellet med og den tilhørende Dokumentation, herunder Testdokumentation og installationsvejledning. Kunden udfører herefter en række prøver i test-, præproduktions- og produktionsmiljøerne. Inden igangsætning af videreudviklet eller nyudviklet Programmel i Kundens produktionsmiljø, gennemføres en overtagelsesprøve i præproduktionsmiljøet til verificering af, at det leverede Programmel ikke indeholder Fejl. Kunden er ansvarlig for at gennemføre prøven med bistand fra Leverandøren. Overtagelsesprøven skal verificere, at: Den aftalte nye eller tilpassede funktionalitet er til stede og uden Fejl. Øvrig funktionalitet fortsat er intakt og uden Fejl. Systemets servicegrænseflader til andre services (herunder til CAP-TAS og Vis Kort m.fl jf. bilag 2 Situationsbeskrivelse ) fungerer korrekt. Systemet fortsat overholder servicemål, jf. bilag 5 Servicemål. Såfremt der ved overtagelsesprøven konstateres kritiske eller alvorlige Fejl jf. kategorisering af fejltyper i bilag 5 Servicemål, kan overtagelsesprøven ikke godkendes og det leverede Programmel kan ikke idriftsættes. Programmellet betragtes i så fald som værende ikke leveret. Rettelse af Fejl, herunder Fejl af kategorien mindre Fejl, sker i henhold til bilag 5 Servicemål og rammerne af garantien jf. Kontrakten. Leverandøren skal yde bistand til Kundens egne prøver i test-, præproduktions- og produktionsmiljøet. Side 8/12
4.2 Miljøer, som test gennemføres i. De test, der skal gennemføres af Kunden, gennemføres i de testmiljøer, der er angivet i bilag 2 Situationsbeskrivelse. 4.3 Leverandørens interne testmiljøer. Leverandøren skal selv have de af Leverandøren vurderede nødvendige udviklingsmiljøer og interne testmiljøer, således at Leverandøren her kan udvikle og afprøve rettelser, Ændringer og Videreudviklinger, inden sådanne pakkes og leveres i en Release, der kan installeres i Kundens testmiljøer og i Kundens produktionsmiljø. 4.4 Miljøer, hvori Fejl udbedres. Hvis der konstateres Fejl under test/brug i et givet miljø (jf. miljøer beskrevet i bilag 2 Situationsbeskrivelse ), skal Leverandøren rette fejlen(e) i et separat miljø (f.eks. Leverandørens udviklingsmiljø). Når Fejlen(e) er rettet og testet i det separate miljø, gentestes i det/de relevante testmiljøer. 4.5 Kundens teststyring. Fejl, der konstateres under tests, som Kunden har ansvaret for, oprettes i Kundens fejlhåndteringsværktøj. Såfremt Leverandøren i sin Leverance til Kunden har kendte Fejl, skal disse også oprettes i Kundens fejlhåndteringsværktøj. Leverandøren er forpligtiget til løbende at følge op på Fejl i Kundens fejlhåndteringsværktøj. Såfremt Leverandøren finder, at dette kan løses ved at integrere sit eget fejlhåndteringsværktøj med Kundens, skal Leverandøren redegøre for, hvorledes denne integration skabes. 4.6 Ansvar for udarbejdelse af Testdokumentation. Leverandøren udarbejder Testdokumentation til brug i eget internt testmiljø. Testdokumentation leveres til Kunden. Kunden er ansvarlig for udarbejdelse af testcases til brug i Kundens testmiljøer. 4.7 Leverandørens bistand ved Kundens egne tests. I tilfælde, hvor Kunden er ansvarlig for en test, skal Leverandøren bistå Kunden under testen med at løse eventuelle problemer, der måtte opstå undervejs. 4.8 Leverandøren udarbejder testrapport. Når Leverandøren er ansvarlig for en test, skal Leverandøren udarbejde en rapport over testforløbet i form af en testrapport, der dokumenterer testens resultat. Leverandøren udarbejder jf. Figur 1 i punkt 2 såvel en foreløbig som en endelig testrapport. Begge testrapporter skal, med mindre andet aftales med Kunden, angive resultatet af testens gennemførelse og skal som minimum indeholde følgende: a) Resume med hovedkonklusioner. b) Hvad omfattede testen? c) Hvem har gennemført testen? d) Eventuelle øvrige relevante forhold, herunder om testen har været afbrudt. e) Hvor mange Fejl er udestående og med hvilken kritikalitet jf. bilag 5 Servicemål? f) Dokumentation af, at alle tests er gennemført samt resultatet deraf. Side 9/12
g) Oversigt over eventuelle udeståender med angivelse af Fejl og/eller manglende overholdelse af servicemål, jf. Bilag 5 Servicemål. h) Plan for udbedring af eventuelle udeståender. i) Evaluering af testforløbet. j) Konklusion og anbefalinger. 4.9 Kundens afvisning af testrapporter. Hvis testrapporten ikke er udarbejdet i overensstemmelse med kravene hertil, kan Kunden afvise denne. Leverandøren er herefter forpligtet til at udarbejde en revideret rapport, der hurtigst muligt og inden for 5 Arbejdsdage skal leveres til Kunden. For den endelige testrapport skal Leverandøren uden unødigt ophold udarbejde revideret rapport. 4.10 Mangellister for Indicent-kategorier. Leverandøren skal for kritiske og alvorlige Incidents (jf. bilag 3 Support ), der er konstateret under Kundens test men ikke korrigeret af Leverandøren, før testen må anses for bestået, udarbejde en mangelliste, hvor Leverandøren også skal angive tidsfrister for Leverance med fejlrettelse, så gentest af Leverancen kan planlægges og udføres. I tilfælde af, at der som følge af denne udbedring og gentest sker en tidsmæssig forsinkelse, skal dette også fremgå. Selv om en kendt Fejl ikke anføres på listen, indebærer dette ikke afkald på afhjælpning af Fejlen. 4.11 Godkendelse af test. En test er bestået, når kravene til testens resultat er opfyldt. Kan testen ikke godkendes af Kunden, skal Kunden uden ugrundet ophold skriftligt meddele dette til Leverandøren samt anføre årsagen til den manglende godkendelse. 4.12 Hvis en test ikke kan godkendes. Hvis Kunden ikke kan godkende testen, skal testen gentages, når Leverandøren har udbedret Fejl og selv har testet disse. 4.13 Leverandørens interne tests. Inden gennemførelsen af en test med Kunden eller en af Kunden udpeget ressource, skal Leverandøren have gennemført egen test med det formål at sikre, at Leverancen er klar til test hos Kunden, hvilket dokumenteres gennem den udarbejdede testrapport. Leverandøren planlægger og gennemfører selv interne tests. Leverandøren tester det udviklede eller tilrettede Programmel i Leverandørens testmiljø. Leverandøren skal kunne dokumentere, at den interne test er gennemført samt kunne dokumentere testens resultat i en testrapport indeholdende en handlingsplan for udbedring af fundne Fejl, jf. ovenstående defineret indhold af en testrapport i punkt 4.8. Herefter modtager Kunden Programmellet med den tilhørende Testdokumentation. Først når Kunden har accepteret at modtage Programmellet til test, er Kunden forpligtet til at påbegynde denne. Efterfølgende tests udføres af Kunden og tager udgangspunkt i Kundens Testdokumentation. Side 10/12
4.14 Kundens idriftsættelsestest. Inden idriftsættelse af Vedligeholdt eller Videreudviklet Programmel i Kundens produktionsmiljø gennemfører Kunden en idriftsættelsestest i Kundens præproduktionsmiljø til verificering af, at det leverede Programmel ikke indeholder Fejl. Idriftsættelsestesten afholdes i henhold til Kundens releaseplan og skal verificere, at: a) den aftalte nye eller tilpassede funktionalitet er til stede og uden Fejl, og b) øvrig funktionalitet fortsat er intakt og uden Fejl. 4.15 Ved godkendt idriftsættelsestest. Når idriftsættelsestesten er godkendt som bestået, med skriftligt meddelelse herom fra Kunden, anses Vedligeholdelses- og Videreudviklingsydelsen for leveret (Idriftsættelsesdagen). Ydelserne må først idriftsættes, når godkendelse af idriftsættelsestesten foreligger. 4.16 Ved ikke-godkendt idriftsættelsestest. Såfremt der ved idriftsættelsestesten konstateres kritiske eller alvorlige Incidents, jf. kategorisering af Incidenttyper i bilag 3 Support, kan idriftsættelsestesten ikke godkendes, og det leverede Programmel kan ikke idriftsættes. Programmellet betragtes i så fald som værende ikke leveret. Side 11/12
5. Driftsprøve (MK) For Videreudviklingsydelser afholdes der på Kundens anmodning - eller efter yderligere aftale Parterne imellem - en driftsprøve i Kundens produktionsmiljø. Formålet med driftsprøven er at konstatere, hvorvidt Leverancen overholder de opstillede forretningsmål til performance (jf. bilag 2 Situationsbeskrivelse ) samt eventuelt øvrige i forbindelse med videreudviklingsopgavers aftalte servicemål (jf. bilag 5 Servicemål ). 5.1 Driftsprøvens forudsætninger. Leverandøren skal beskrive, hvilke tekniske og ressourcemæssige forhold, der er en forudsætning for driftsprøvens gennemførelse. Beskrivelsen skal sikre, at driftsprøven giver et retvisende billede af om de stillede forretnings- og servicemål er opfyldt. 5.2 Driftsprøvens start. Driftsprøven påbegyndes først, når Kunden har givet Leverandøren meddelelse derom, dog senest 20 Dage efter godkendt idriftsættelsestest. Driftsprøven gennemføres af Kunden med bistand fra leverandøren, og udføres for systemet som helhed. 5.3 Varighed. Driftsprøven skal omfatte mindst 20 Arbejdsdage i træk, hvori Systemet har været i drift med normale funktioner. Såfremt servicemål over en længere periode på mindst 3 Dage ikke har været opfyldt, afbrydes driftsprøven og genoptages først, når servicemål atter kan overholdes. Der kan maksimalt forekomme 3 sådanne afbrydelser af driftsprøve forløbet. 5.4 Godkendelseskriterier. Kravene til driftsprøvens resultat er opfyldt, når servicemålene opgjort for de sidste 20 Arbejdsdage af driftsprøveperioden for Systemet som helhed er opfyldt. Parterne kan aftale yderligere efter behov. Side 12/12