GODKENDELSESKRITERIER
GODKENDELSESKRITERIER Indlægget drøfter med udgangspunkt i konkrete eksempler forskellige typer af godkendelseskriterier ved afprøvning i udviklings- og driftsaftaler og de overvejelser, der bør gøres i forhold til valg af kriterier og overtagelsesproces for de to typer af kontrakter.
GODKENDELSESKRITERIER Agenda 1. Problem i praksis eller? 2. Leverancetyper og overtagelsesprocessen 3. Regulering i ex. K01, K02 og K03 og evt. behov for justeringer? 4. Hvad er god markedsstandard for godkendelseskriterier i en udviklingskontrakt og driftskontrakt 5. Diskussion
Ad. 1 Problem i praksis eller?
AD1: STATISTIK FRA IACCM - HVAD GÅR TYPISK GALT?
AD 1: ER GODKENDELSESKRITERIER ET OMRÅDE, SOM OFTE GIVER ANLEDNING TIL PROBLEMER? Fokusområde hos advokatkontorer, analysevirksomheder og organisationer, herunder Gartner, BVH og IACCM Kontraktområde, som lander mellem flere faggrupper, (juridiske, leverancemæssige og projektledelse) Ofte også stor uenighed om selve prøveplanen, cases og hvornår prøven er afsluttet Påfører projektet stor kommerciel og projektmæssig risici, hvis der ikke er den rette regulering i kontrakten Manglende sammenhæng mellem regulering i hovedkontrakten og i prøvebilaget Sammenhæng til bods-og erstatningsbestemmelser samt bestemmelser om proactive remedies
Ad. 2 Leverancetyper og overtagelsesprocessen
AD 2: LEVERANCETYPE OG OVERTAGELSESPROCESSEN OG BETYDNINGEN FOR GODKENDELSESKRITERIERNE Skal tilpasses til den konkrete leverance, herunder i forhold til transitionsplanen for projektet Godkendelseskritierne skal tilpasses de forskellige type af prøver Overvejelser i forhold til fall-back mulighederne, hvis prøven ikke bestås Skal tage højde for mulighederne for at gentage prøverne, hvor der kun er visse tidsslot på måneden eller året, hvor prøverne kan gennemføres Overvejelser i forhold til funktionaliteter i systemet, som kun kan afprøves i bestemte tidsrum
Ad. 3 Eksempler på regulering i K01, K02, K03 og i en driftskontrakt og evt. behov for justeringer?
AD 3: K01 GODKENDELSESKRITERIER BILAG 8 PKT. 3.5 Kravene til overtagelsesprøvens resultat er opfyldt, hvis prøven gennemføres uden konstatering af en eller flere kvalificerede mangler. Der er tale om en kvalificeret mangel hvis, flertallet af brugerne ikke kan anvende systemet eller funktionaliteten er nedsat i en sådan grad, at systemet må anses for ude af drift, eller anvendeligheden af systemet nedsættes eller besværliggøres i betydende omfang, eller anvendeligheden af systemet er nedsat i ikke ubetydeligt omfang, med mindre manglen kun berører enkelte af de relevante brugere eller manglen kan omgås uden betydelig ekstra indsats for kunden. et af de i bilag 10 anførte servicemål er forringet med mere end [ ]%, forudsat at det er aftalt at servicemålet afprøves under overtagelsesprøven. der konstateres væsentlige mangler ved tilknyttede ydelser...[ ]
AD 3: K01 GODKENDELSESKRITERIER BILAG 8 PKT. 3.5, FORTSAT Der er ikke tale om en kvalificeret mangel hvis, der blot er tale om at en enkelt funktion ikke virker, med mindre den pågældende funktion har central betydning for kundens anvendelse af systemet, eller kun [ ] brugere ud af en større brugergruppe er påvirket af manglen, og således at de øvrige brugere i brugergruppen fortsat kan anvende systemet, eller der blot er tale om at en enkelt funktion ikke virker, med mindre den pågældende funktion har central betydning for kundens anvendelse af systemet. [ ] Såfremt antallet og indholdet af ikke kvalificerede mangler er af et sådant omfang at kundens anvendelse af systemet herigennem påvirkes som havde der været tale om en kvalificeret mangel, vil disse samlet blive anset som en kvalificeret mangel. Antallet af ikke kvalificerede mangler må under ingen omstændigheder overstige [ ].
AD 3: K02 GODKENDELSESKRITERIER, BILAG 14: PRØVER, (VEJLEDNINGSTEKST) Leverandøren fremkommer som en del af sit tilbud med afprøvningsprogram, afprøvningsforskrifter, afprøvningsplaner og godkendelseskriterier. Hvis der er særlige forhold, kunden ønsker adresseret i forbindelse med afprøvningen, herunder krav til godkendelse af en bestået prøve, kan kunden med fordel vælge at opstille en række overordnede krav hertil som en del af sit udbudsmateriale. De i bilag 6 anførte servicemål skal, medmindre andet angives i bilag 6, overholdes fra overtagelsesdagen. Kunden skal være opmærksom på, at såfremt overholdelse af sådanne servicemål (f.eks. svartider) skal indgå som en del af overtagelsesprøven, skal dette meddeles leverandøren inden afklaringsfasens afslutning eller være omfattet af kundens eventuelle krav til overtagelsesprøven.
AD 3: K03 GODKENDELSESKRITERIER, BILAG 6 (VEJLEDNINGSTEKST) Det anbefales, at Kunden ved formuleringen af kravene samtidig foretager en indledende formulering af det tilhørende acceptkriterier til brug for Interne Tests. Derved sikres, at kravene kan verificeres og ikke bliver for upræcise. -------- Kontrakten forudsætter herefter, at Parterne i fællesskab, som led i planlægningen af den kommende Iteration, fastlægger acceptkriterier til de krav, som er omfattet af den pågældende Iteration, jf. Kontraktens punkt 5.2.1. Acceptkriterierne fastlægges i overensstemmelse med retningslinjerne fastlagt i bilag 6. Acceptkriterierne anføres i dette bilag ud for det korresponderende krav, jf. nedenfor i punkt 4. -------- I bilaget skal fastsættes kundens godkendelseskriterier for de enkelte prøver. Kunden skal i den sammenhæng være opmærksom på Kontraktens punkt 7.4, hvoraf følger, at Kunden ikke kan nægte godkendelse af en overtagelsesprøve under henvisning til, at godkendelseskriterierne til Øvrige krav ikke er opfyldt. Såfremt godkendelseskriterierne til Øvrige krav ikke er opfyldt behandles dette som en Fejl, som anføres i Fejllisten.
AD 3: EKSEMPEL PÅ GODKENDELSESKRITERIER I EN DRIFTSKONTRAKT Leverandøren udarbejder en overtagelsesprøverapport, der forelægges Kunden til godkendelse. Kravene til overtagelsesprøvens resultat er opfyldt, hvis prøven gennemføres uden konstatering af én eller flere kvalificerede Fejl eller Mangler. Der er tale om en kvalificeret Fejl eller Mangel, hvis: Flertallet af Brugerne ikke kan anvende Driftsmiljøet eller de dele af Driftsmiljøet, der gennemføres overtagelsesprøve på, eller funktionaliteten er nedsat i en sådan grad, at Driftsmiljøet eller de dele af Driftsmiljøet, der gennemføres overtagelsesprøve på, må anses for ude af drift. Anvendeligheden af Driftsmiljøet eller de dele af Driftsmiljøet, der gennemføres overtagelsesprøve på, nedsættes eller besværliggøres i betydende omfang.
AD 3: EKSEMPEL PÅ GODKENDELSESKRITERIER I EN DRIFTSKONTRAKT Anvendeligheden af Driftsmiljøet eller de dele af Driftsmiljøet, der gennemføres overtagelsesprøve på, er nedsat i ikke ubetydeligt omfang, medmindre Fejlen eller Manglen kan omgås uden betydelig ekstra indsats for Kunden. Et af de i bilag 5 anførte servicemål vedr. tilgængelighed er forringet med mere end 1%, forudsat at servicemålet kan afprøves under overtagelsesprøven. For kritiske IT-miljøer, jf. bilag 2 må tilgængeligheden dog ikke være forringet med mere end 0,5 %. Der konstateres Fejl eller Mangler i forhold til de aftalte sikkerhedsniveau og processer, medmindre der er tale om bagatelagtige forhold. Der konstateres væsentlige Fejl eller Mangler ved tilknyttede Leverancer, fx Driftsdokumentation.
AD 3: EKSEMPEL PÅ GODKENDELSESKRITERIER I EN DRIFTSKONTRAKT Der er ikke tale om en kvalificeret Mangel, hvis: Der blot er tale om, at en enkelt funktion ikke virker i de aftalte Leverancer, medmindre den pågældende funktion har central betydning for Kundens anvendelse af Driftsmiljøet eller de dele af Driftsmiljøet, der gennemføres overtagelsesprøve på. Såfremt antallet og indholdet af ikke-kvalificerede Fejl og Mangler er af et sådant omfang, at Kundens anvendelse af Driftsmiljøet eller de dele af Driftsmiljøet, der gennemføres overtagelsesprøve på, herigennem påvirkes, som havde der været tale om en kvalificeret mangel, vil disse samlet blive anset som en kvalificeret Mangel. Antallet af ikke-kvalificerede Fejl og Mangler må under ingen omstændigheder overstige 10 for den samlede overtagelsesprøve. Såfremt der afholdes delovertagelsesprøver aftales det maksimale antal ikke-kvalificerede Fejl og Mangler for hver delovertagelsesprøve.
Ad. 4 Hvad er god markedsstandard for godkendelseskriterier i en udviklingskontrakt og driftskontrakt
MARKEDSSTANDARD FOR UDVIKLINGSKONTRAKTER? Godkendelseskriterierne aftales inden kontraktindgåelsen Kunden skal sikre sig en grundig forståelse af prøveforløbet og kundens indsats under afprøvningen Leverandøren og kunden har samme forståelse af godkendelseskriterierne Sporbarhed tilbage til kravene i kravspecifikationen Kriterierne skal være operationelle med udgangspunkt i brugerne anvendelse af systemet Regulering af en betinget godkendelse skal være klar i forhold til gentagelse af afprøvningen, bod og afholdelse af meromkostninger, som påføres kunden
MARKEDSSTANDARD FOR DRIFTSKONTRAKTER? Afholdelse af forudgående readiness tests med egne kriterier inden overtagelsesprøven gennemføres, hvor der eksempelvis afprøves: applikationens funktionalitet er fuldt til stede i samme omfang som før verifikation af at data er til stede uforvanskede svartidsmålinger i forhold til konkrete kpi'er for udvalgte applikationer,- ofte flyttes miljøerne ikke samlet og test sker løbende afprøvning af proces for håndtering af incidents og problems, dvs er organisering og viden til stede hos leverandøren afprøvning af særlig aftalt overvågning, måling, logning og sikkerhed er til stede som aftalt
MARKEDSSTANDARD FOR DRIFTSKONTRAKTER? Overtagelsesprøven er ikke en funktionalitetsprøve Forskel i forhold til om det er en as-is service inden transformation til to-be service Leverandøren skal være forpligtet til at levere services, selvom prøven ikke bestås Godkendelseskriterierne vil som oftest tage udgangspunkt i: verifikation af de aftalte servicemål afprøvning af om forskellige processer fungerer verifikation af om den aftalte dokumentation er tilstede Driftsprøven verificerer, at servicemålene er stabile og overholdes i en aftalt periode plus opsamling af fejl fra overtagelsesprøven
Ad. 5 Diskussion
DISKUSSION Kan der etableres markedsstandarder for godkendelseskriterier? Kan der etableres en juridisk vejledning til overtagelsesprocessen? Kan der etableres en vejledning til de juridiske konsekvenser, som der skal tages højde for, hvis prøven godkendes betinget?