Bilag 14 Prøver INSTRUKTION TIL TILBUDSGIVER: Bilag 14 skal udfyldes af tilbudsgiver som del af tilbuddet. Udfyldelse skal ske i overensstemmelse med nedenstående retningslinjer.
2 14. INDLEDNING... 3 14.1 Afprøvningsprogram... 3 14.2 Afprøvningsforskrifter... 7 14.3 Afprøvningsplaner... 8 14.4 Godkendelse af en prøve... 9 14.4.1 Kategorisering af fejl... 10 14.4.2 Fejltolerancer... 11 14.5 Afprøvningsrapporter... 12
3 14. INDLEDNING Det er en forudsætning for en afprøvning, at den gennemføres under forhold, der i videst muligt omfang svarer til en normal driftssituation. 14.1 Afprøvningsprogram Leverandøren skal i sin besvarelse af dette bilag beskrive det afprøvningsprogram, som Leverandøren forventer at bruge i forbindelse med sin del af testarbejdet. Beskrivelsen bør adressere følgende punkter: Testtilgang Prøve- og testtyper Tidsplan og testforløb Testplaner Testmiljøer Testdata og testcases Testværktøjer Testgennemførelse Fejlkategorisering Reaktioner ved fejl Rapportering af resultatet Organisation, roller og ansvar. Afprøvningsprogrammet for projektet skal udarbejdes og vedlægges som en del af tilbuddet. Leverandøren skal, i sin løsningsbeskrivelse, beskrive sin testtilgang med hensyn til hvordan Leverandøren effektivt vil måle fremdrift for de prøver og test som denne har hovedansvaret for. Ligeledes skal Leverandøren i sin løsningsbeskrivelse beskrive sin tilgang til testrelateret risikostyring, testdækning, prioritering samt sporbarhed. Det er et ønske at prøver gennemføres tidligt og kontinuerligt i forløbet og som en integreret del af det samlede leveranceforløb. Nedenstående prøver kræver Region Syddanmark som min. bliver gennemført Fabriksprøve
4 Installationsprøve Overtagelsesprøve Driftsprøve En prøve omfatter en eller flere test. Ud over de beskrevne test står det Leverandøren frit for at gennemføre egne test efter behov, såfremt det af leverandøren skønnes hensigtsmæssigt. Nedenstående ses, til støtte for en fælles forståelse af indhold og formål i de enkelte test, en beskrivelse af de nævnte prøver og test. Fabriksprøven gennemføres hos Leverandøren som et led i egen kvalitetssikring af programmer og programmeringsarbejde og omfatter en afprøvning af systemets funktional i- tet uden direkte tilslutning til Kundens it-miljø. Formålet er at kontrollere, at den aftalte funktionalitet er leveret og har en kvalitet som giver Leverandøren og Kunden en forventning om, at Leverancen opfylder de kriterier, der testes i de efterfølgende prøver. Fabriksprøve bør som minimum indeholde følgende tests: Komponentintegrationstest - Tester om de udviklede/ændrede komponenter, som indgår i Leverancen, fungerer sammen indbyrdes. Fokus på grænseflader og samspil mellem komponenter. Systemtest Tester, at alle funktioner beskrevet i kravspecifikationen, er til stede, og fungerer efter hensigten, under antagelse af, at systemets omgivelser fungerer som specificeret. Installationsprøven gennemføres for de miljøer, som leverandøren installerer. Formålet med installationsprøven er at afprøve, om Leverancen i forbindelse med installation i et nyt miljø rent faktisk kan installeres og er i funktionsdygtig stand, før en ny test eller prøve påbegyndes. Installationsprøven bør som minimum indeholde følgende tests:
5 Installationstest - Tester at de komponenter som indgår i Leverancen, alle er installeret og at systemet fungerer uden kritiske og alvorlige fejl. Overtagelsesprøven tilrettelægges af Leverandøren som en funktionsprøve, hvor det kontrolleres, at den aftalte funktionalitet, herunder integration til and re systemer, og dokumentation, er leveret. Det aftales med Kunden hvilke systemer der testes på. Afprøvning af væsentlige funktioner samt dokumentationen er omfattet af Leverandørens oplæg til prøveplan. Øvrige funktioner og forhold afprøves i overensste mmelse med prøveplanen. Formålet med overtagelsesprøven er primært at konstatere, om den aftalte funktionalitet og Dokumentation er leveret og er korrekt installeret og konfigureret. Det skal også, i forbindelse med overtagelsesprøven, så vidt muligt, konstateres, om servicemålene i Bilag 6 vil kunne opfyldes, når Systemet sættes i drift. Overtagelsesprøven bør som minimum indeholde følgende tests: Systemintegrationstest Tester grænseflader og samspil mod andre systemer Funktionel kravtest - Tester alle funktionelle krav til Leverancen Dokumentationstest - Tester via review om den aftalte dokumentation opfylder kravene Ved overtagelsesprøvens gennemførelse skal der endvidere foretages en konstatering af, om Systemet vil kunne opfylde de i Bilag 6 anførte servicemål, når det sættes i drift (gennem simulerede stressbelastninger m.v). Dette kunne omfatte: Svartidstest - Tester om kravene til svartider er overholdt, jf. Bilag 6 Servicemål Skalerbarhedstest - Tester om Leverancen kan opskaleres ved øget belastning af Leverancen eller senere udvidelser Sikkerhedstest - Tester om Leverancen lever op til de krav til sikkerhed, der er stillet Recoverytest - Tester om Leverancen reagerer planmæssigt i tilfælde af, at der sker nedbrud på de enkelte systemkomponenter/systemet i drift. Det vægtes at test gennemføres kontinuerligt i projektforløbet.
6 Overtagelsesprøven gennemføres af Leverandøren med Kundens aktive deltagelse. I forbindelse med overtagelsesprøven fremprovokeres en række fejlsituationer, som Systemet skal reagere på med fejlmeddelelser, der gør det muligt for brugeren at fortsætte på et veldefineret grundlag. Inden driftsprøven påbegyndes, skal overtagelsesprøven være godkendt af Kunden. Driftsprøven påbegyndes først, når Kunden har givet Leverandøren meddelelse derom, dog senest 20 dage efter Overtagelsesdagen. Driftsprøven gennemføres af Kunden med Leverandørens medvirken, og udføres for Systemet som helhed. Formålet med driftsprøven er at konstatere, hvorvidt leverancen overholder de op stillede servicemål, jf. Bilag 6. Under driftsprøven har Leverandøren ret og pligt til løbende at optimere Systemets yd e- evne i det omfang, at det måtte være nødvendigt, samt afhjælpe eventuelle konstaterede mangler. Desuden skal Leverandøren være Kunden b ehjælpelig i forbindelse med besvarelse af Kundens spørgsmål vedrørende brug af Systemet, herunder yde hotline service etc. Driftsprøven skal omfatte mindst 40 Arbejdsdage i træk, hvori Systemet har været i drift med normale funktioner. ID Type MK, KK 14.1.1 MK 14.1.2 MK Tilbudsgivers besvarelse (Ja/Nej) Beskrivelse Leverandøren skal vedlægge et afprøvnings program Afprøvningsplan skal som min. indeholde: Fabriksprøve Installationsprøve Overtagelsesprøve (som minimum indeholder systemintegrationstest, funktionel kravtest, og dokumentationstest) Driftsprøve
7 14.1.3 MK Der skal være sporbarhed mellem afprøvningspr o- grammet og Bilag 1 og 3 Afprøvningsforskrifterne Afprøvningsplanerne 14.1.4 MK Afprøvningsprogrammet skal, for hver afprøvning, som minimum, indeholde oplysninger om Afprøvningens placering i projektforløbet (eventuelt i form af henvisning til Bilag 1) Afprøvningens overordnede forudsætni n- ger De funktioner, der afprøves Afprøvningens fysiske rammer De afprøvningsmetoder, der anvendes De ressourcer, som Kunden skal stille til rådighed (eventuelt i form af henvisning til Bilag 6) De afprøvningsforskrifter, der skal udarbejdes Godkendelseskriterier 14.1.4 MK Afprøvningsprogrammet skal behandles og godkendes af Kunden som fastlagt i Bilag 1. 14.2 Afprøvningsforskrifter Afprøvningsprogrammet for projektet skal suppleres af afprøvningsforskrifter for den e n- kelte test/prøve. Afprøvningsforskrifterne for en given test eller prøve udarbejdes a f den part, der er ansvarlig for gennemførelse af testen/prøven ( Kunden eller Leverandøren). Det skal bemærkes, at en prøve kan indeholde op til flere test.
8 ID Type MK, KK 14.2.1 MK Tilbudsgivers besvarelse (Ja/Nej) Beskrivelse Afprøvningsforskrifterne skal, for hver af de afprøvninger, der er defineret i afprøvningsprogrammet, i detaljer beskrive gennemløbet af afprøvningerne. 14.2.2 MK 14.2.3 MK Beskrivelsen skal omfatte de eventuelle forudsætni n- ger, der skal være opfyldt for, at den pågældende afprøvning kan gennemføres, herunder hvilken Dokumentation der skal foreligge. Der skal være sporbarhed mellem afprøvningsforskri f- terne og Afprøvningsprogrammet Afprøvningsplanerne Bilag 3 Afprøvningsforskrifterne skal behandles og godkendes af Kunden som fastlagt i Bilag 1. 14.3 Afprøvningsplaner En afprøvningsplan kan f.eks. indeholde følgende oplysninger: ID Type MK, KK 14.3.1 MK Tilbudsgivers besvarelse (Ja/Nej) Beskrivelse Afprøvningsplanerne omfatter også eventuelle insta l- lationsaktiviteter og skal som minimum indeholde oplysning om:
9 Kort overordnet beskrivelse af testen og dens formål Hvilke afprøvningsforskrifter, der er omfattet af afprøvningsplanen Hvilke installationsplaner, der er omfattet af afprøvningsplanen Beskrivelse af eventuelle testværktøjer og metoder, der anvendes Hvem, der skal deltage i de enkelte installationer/afprøvninger ved navns nævnelse eller ved stillingsbetegnelse Eventuelt udstyr, der indgår i den enkelte installation/afprøvning Eventuelle prøvedata, der skal leveres af Kunden. En time-for-time beskrivelse af installationer og afprøvninger 14.3.2 MK Afprøvningsplanerne skal behandles og godkendes af Kunden. 14.4 Godkendelse af en prøve En prøve er bestået, når godkendelseskriterierne fastsat i afprøvningsprogrammet er o p- fyldt. Kundens godkendelse af en prøve eller test sker på baggrund af den udarbejdede tes t- rapport. Kunden skal, medmindre andet fremgår under den pågældende testtype, inden for 5 arbejdsdage efter modtagelse af en testrapport fra Leverandøren skriftligt meddele Lev e- randøren, om den pågældende test/prøve kan godkendes.
10 Der inkluderes en mangelliste med angivelse af fejl og/eller manglende overholdelse af servicemål. Hvis Regionen har hovedansvaret for en prøve/test, skal Regionen på tilsvarende vis skriftligt meddele Leverandøren om prøven/testen er bestået eller ej. Medmindre andet er aftalt, skal dette ske inden for 5 arbejdsdage efter testen er gennemført og den afsluttende testrapport udarbejdet. 14.4.1 Kategorisering af fejl Fejl fundet i forbindelse med en prøve/test kategoriseres med hensyn til, hvor alvorlige de er. Kategorierne beskrevet i nedenstående tabel benyttes. Der skelnes mellem kategorier brugt ved funktionelle test, og kategorier brugt ved nonfunktionelle test. Som udgangspunkt træffer Kunden beslutning om, hvordan en fejl skal kategoriseres. Ved uenighed har Leverandøren dog mulighed for at eskalere afgørelsen. jf. Kontraktens punkt 27. Nr. Betegnelse Beskrivelse Fejlkategorier ved funktionelle test 1 Kritisk fejl Fejl, der medfører, at ingen af de væsentlige arbejdsprocesser er mulige at gennemføre, ej heller ved mindre ændringer i arbejdsgangene. Fejl, der øger brugerens risiko for, at sammenblande data mellem patienter. Fejl der medfører forhøjet risiko i patientlogistik (behandlingssted, in d- kaldelse mm.) 2 Alvorlig fejl Fejl, der medfører, at flere væsentlige arbejdsprocesser ikke kan ge n- nemføres eller kun kan gennemføres ved væsentlige ændringer i arbejdsgange. Fejl, der medfører, at data mistes. 3 Betydende fejl Fejl, der resulterer i, at arbejdsprocesser ikke kan gennemføres eller kun kan gennemføres ved ændringer i arbejdsgange. 4 Normal fejl Fejl, der ikke hindrer arbejdsprocessen i at kunne gennemføres normalt,
11 eventuelt med mindre ændringer i arbejdsgange for at omgå fejlen. 5 Mindre betydende fejl Ubetydelig eller kosmetisk fejl, men hvor der er fejl i forhold til aftal e- grundlaget. Fejlkategorier ved non-funktionelle test: belastningstest, svartidstest, skalerbarhedstest 1 Kritisk fejl Hvis det målte resultat afviger med mere end 60 % fra kravet. 2 Alvorlig fejl Hvis det målte resultat afviger med mere end 30 %, men lig med eller mindre end 60 % fra kravet. 3 Betydende fejl Hvis det målte resultat afviger med mere end 10 %, men lig med eller mindre end 30 % fra kravet. 4 Normal fejl Hvis det målte resultat afviger med mere end 5 %, men lig med eller mindre end 10 % fra kravet. 5 Mindre betydende fejl Hvis det målte resultat afviger med 5 % eller mindre fra kravet. 14.4.2 Fejltolerancer Nedenstående tabel beskriver, hvilke tolerancer Kunden som udgangspunkt har, i forhold til godkendelse af prøver/test. Såfremt leverandøren har yderligere forslag til godkendelseskriterier b edes disse angives. Ændringer i godkendelseskriterier kan aftales i afklaringsfase n, såfremt parterne er enige. Fejltolerancer ved funktionelle og non-funktionelle test Det accepterede antal fejl i en leverance er: 0 fejl i kategori 1 og kategori 2 3 fejl i kategori 3 15 fejl i kategori 4 25 fejl i kategori 5 For kategori 3, 4 og 5 fejl skal der foreligge en plan for udbedring af fejlene, som skal go d- kendes af Kunden. Tabel 1. Fejltolerancer ID Type Tilbudsgivers Beskrivelse MK, besvarelse
12 KK 14.4.2.1 MK (Ja/Nej) En prøve er bestået, når godkendelseskriterierne fastsat i afprøvningsprogrammet er opfyldt, hvore f- ter godkendelse skal ske i overensstemmelse med Kontraktens punkt 21. 14.5 Afprøvningsrapporter Leverandøren (eller kunden såfremt denne er hovedansvarlig for prøven) udarbejder en rapport over prøve-/testforløbet i form af en prøverapport eller testrapport, der dokumenterer prøvens/testens resultat. ID Type MK, KK Tilbudsgivers besvarelse (Ja/Nej) Beskrivelse 14.5.1 MK Rapporten bør angive resultatet af prøvens/testens gennemførelse og kan indeholde følgende: Dokumentation af alle testcases samt result a- tet deraf Hvor mange hændelser (fejl/problemer), der er fundet i alt og med hvilken kategori Hvor mange hændelser, der er udestående og med hvilken kategori Handlingsplan for udestående hændelser Oversigt over eventuelle udeståender Eventuelle afvigelser i forhold til testplanen