Udbud af RIPA-Syd til Underbilag 14.A - Definitioner og testtype katalog Underbilag 14.A Definitioner og testtypekatalog Side 1 af 10
Indholdsfortegnelse: 1. DEFINITIONER...4 2. TESTTYPE KATALOG...5 2.1 Testtyper...6 2.2 Testtyper i forhold til kvalitetsparametre... Fejl! Bogmærke er ikke defineret. Underbilag 14.A Definitioner og testtypekatalog Side 2 af 10
INSTRUKTION TIL TILBUDSGIVER: Teksten i dette afsnit er ikke en del af Kontrakten og vil blive fjernet ved kontraktindgåelse. Formål med bilag: Formålet med Underbilag 14.A er udbygge Kontraktens definerede termer i relation til Bilag 14 inkl. Underbilag. Instruks vedrørende bilag: Underbilaget er færdigt og skal ikke udfyldes. Evaluering af besvarelse: Underbilaget indgår ikke i tilbudsevalueringen. Udbudsbetingelsernes Bilag X: Det vil være muligt at angive forbedringsforslag i Udbudsbetingelsernes Bilag X, Tilbudsgivers forbedringsforslag. Sådanne forslag kan blive drøftet i forhandlingsfasen, men vil ikke nødve n- digvis blive det. Underbilag 14.A Definitioner og testtypekatalog Side 3 af 10
1. DEFINITIONER Term Automatiseret test Driver Fejlrapport Fejltolerance Gentest Hovedtestplan Negativ test Performancetest Produkt Risiko analyse Smoke-test Sporbarhed Statisk test Stub Definition Automatisering af en testtype, så den gentagende gange maskinelt kan eksekveres og resultatet dokumenteres automatisk. Komponent eller værktøj, der under test modellerer spørgeren i en integration, kan f.eks. benyttes i forbindelse med testen under Fabriksprøven. En Driver kan alt efter behov variere i kompleksitet fra en endelig liste af forespørgsler med tilhørende svar til en faktisk simulation af et system eller en komponent. Indmeldt hændelse, der er accepteret som en Fejl. Kontrolleret degradering af funktionalitet i forbindelse med systemfejl. Verifikation af at en rettelse til Løsningen har fjernet en Fejl, og den derfor ikke længere kan genskabes fra en given Version. Se fejlprocessen for yderligere information. Plan for det samlede Prøveprogram, udgør sammen med Prøveprogrammet en samlet overordnet beskrivelse af de planlagte Prøver og testtyper. Test der bevist forsøger at få systemer til at fejle, for derved at afdække systemets evne til at håndtere fejlsituationer. Eksempler på fejl kan være ikke validt eller manglende input enten fra en bruger eller et integreret system. Samlet betegnelse for testtyperne: Belastnings, Skalerbarheds, Stress. Metoder til ud fra produktrisikoen at fordele testdækning og prioritering af test indsats, danner grundlag for Prøveprogrammet og hovedtestplanen. En delmængde af Løsningens testcases, der dækker hovedfunktionaliteten i en komponent eller et delsystem for at fastslå, at de vigtigste funktioner fungerer inden man iværksætter en grundigere test. Dokumentation af relationen mellem elementer, f.eks. krav og testcases, Prøveforskrift og Testtypeplan. Der kan også være flere led f.eks. Krav-Testcase-Defect. Sporbarhed dokumenteres bedst ved brug at et værktøj som HP ALM. Test af løsningen der gennemføres uden at Systemet er aktivt. Der kan være tale om et normalt review, eller en egentlig inspektion hvor der benyttes tjek lister til at undersøge overholdelse af standarder, aftaler etc. Komponent eller værktøj, der under test modellerer svargiveren i en integration, kan f.eks. benyttes i forbindelse med testen under Fabriksprøven. En Stub kan alt efter behov variere i kompleksitet fra en endelig Underbilag 14.A Definitioner og testtypekatalog Side 4 af 10
Testcase Testemne Testdata Testdækning Testdækningselementer Testforløb Testplan Testsæt Testtype liste af forespørgsler med tilhørende svar til en faktisk simulation af et system eller en komponent. Et sæt inputværdier, startbetingelser for afvikling, forventede resultater, slutbetingelser for afvikling. Designet med henblik på et bestemt mål eller testemne, så som at aktivere en bestemt programsti eller at verificere overensstemmelse med et specifikt krav. Et objekt eller hændelse i en komponent eller et system, der kan verificeres af en eller flere testcases, f.eks. en funktion, transaktion, feature, kvalitetsattribut eller strukturelt element. Dække dels de data der benyttes som input under testgennemførelse og dels de data testmiljøet har fået indlæst for at tilsvare produktionsmiljøet på det for en aktuel testtypes relevante parametre. Procentdelen af dækningselementer, der dækkes af den planlagte test. En enhed eller egenskab, der anvendes som grundlag for testdækning, f.eks. krav, Use cases, kodeliner eller menupunkter. Den samlede mængde aktiviteter udløst af et prøveprogram eller en testplan. Plan for en Prøve eller en testtype, indhold som defineret i Bilag 14. En samling af testcases, der skal afvikles samlet. Sættet kan indholde krav til afviklingsrækkefølge og prioritering. En gruppe testaktiviteter, som sigter mod at teste et System eller en del af dette med fokus på et specifikt testformål, fx funktionel test, brugervenlighedstest etc. En Testtype kan anvendes i en eller flere Prøver og i en eller flere Testfaser. 2. TESTTYPE KATALOG Dette dokument indeholder en oversigt, med de testtyper, der kan benyttes i forbindelse med de krævede prøver. Testtyperne beskrives alle i et fast skema: Testtypens navn r inkl. formålet med testtypen. Altså hvad vil man kunne opnå ved at gennemføre den. De nødvendige roller fra nedenstående tabel for at kunne gennemføre testtypen. Testkonsulent Forretningstester Stor viden om test teori, erfaring med at design og eksekvering af test (primært funktionel). Stor viden om forretningen/domænet hvori Systemet skal fungere, mindre viden om test teori. Stor viden om en testtype. Rådgiver om og understøtter brugen af Underbilag 14.A Definitioner og testtypekatalog Side 5 af 10
metoder, processer og værktøjer i forbindelse denne. Er oftest også ansvarlig for planlægning og eksekvering af testen f.eks.: belastningstest, sikkerhedstest eller lign. 2.1 Testtyper Komponenttest Afprøver om de individuelle komponenter/moduler i Løsningen virker efter hensigten. Statisk test Afprøver om de individuelle komponenter/moduler i Løsningen virker efter hensigten. Forretningstester (ved automatisk/værktøjsbaseret) Systemtest (aka Funktionel kravs test) At verificere Løsningen indfrier foreningsmængden af mindstekravene og Løsningsbeskrivelsen inkl. konkurrencekravsbesvarelsen. Testkonsulent og/eller forretningstester Integrationstest Test af integrationerne mellem Løsningen og de systemer denne integrerer til. Under fabriksprøven vil en del af disse blive testet mod en stub. Fokus er kommunikationen mellem Løsningen under test og de omkringliggende systemer, der integreres til. Testtyper dække over både lavniveau test af grænseflader. Samt test af forretningsgangene, der inkluderer integrationer. Testkonsulent og/eller forretningstester. bl.a. ved brug at drivers og stubbe. Brugertest En endelig validering af at Løsningen understøtter forretningens arbejdsgange. Denne testtype placeres oftest sent i et forløb og har også til formål at give udvalgte brugere et større indblik i den endelige løsning. Forretningstester Belastningstest Med et egnet testværktøj. Tester Løsningens evne til at overholde Servicemål under belastning, dels den forventede typiske belastning i produktion og dels den fastsatte spidsbelastning. Fokus er på de forbrugte ressourcer i forhold til resultatet, samt overholdelse af Underbilag 14.A Definitioner og testtypekatalog Side 6 af 10
svartidskravene. Stresstest Gennemføres med et egnet testværktøj, for at fastslå et systems eller delsystems øvre grænse. Der testes udover den normale operationelle kapacitet, ofte til systemet fejler, for at måle og observere hvordan og hvorfor det sker. Skalerbarhedstest Med et egnet testværktøj. Testes systems eller delsystems evne til at performe (fastholde svartiderne) som funktion af horisontal og vertikal skalering. Der testes udover den normale operationelle kapacitet, ofte til systemet fejler, for at måle og observere hvordan og hvorfor det sker. Horisontal skalering:= flere maskiner. Vertikal skalering:= mere cpu og memory. Svartidstest Måling af svartider for udvalgte funktioner eller arbejdsgange. En svartidsmåling omhandler kun svartiderne, og kan ikke alene fortælle mere om systemets performance. Derfor kombineres målingen oftest med en belastningstest eller stresstest. med et testværktøj eller x personer med stopuret som nødløsning. Stabilitetstest/langtidstest Tester om systemet korrekt frigør ressourcer efter brug. Hvis belastningstesten eller stresstesten indikerer, at systemet mister ressourcer, f.eks. at hukommelse eller databaseforbindelser ikke frigives efter brug, gennemføres en stabilitetstest. Dette gøres typisk ved at lade testen køre over flere dage/uger med en belastning svarende til 70-80 % af den der anvendes i belastningstesten (produktionsbelastning).. Brugervenlighedstest Afprøver i hvilken grad løsningen understøtter brugerne i deres brug af denne. Kan løsningen bruges med de forudsætninger der er kravsat, eller er der behov for yderligere uddannelse eller tilretning af løsning. Underbilag 14.A Definitioner og testtypekatalog Side 7 af 10
IT-tilgængelighedstest Giver f.eks. synshandikappede, døve etc. mulighed for brug af løsningen i forhold til de opstillede krav. WCAG 2.0 standarden er styrende for denne testtype., evt. forretningstester. Internationaliseringstest 2 delt formål, dels test af muligheden for at internationalisere de krævede elementer og dels kvalitetssikring af enkle internationaliseringer. En eller flere sprog eksperter/kyndige. Dokumentationstest (Review) Typisk review af dokumenter, hvor både syntaks og indhold kontrolleres i forhold til det aftalte. Forretningstester Fejltolerancetest Test af løsnings evne til kontrolleret at lukke ned for dele af funktionaliteten i fejlsituationer, lige såvel som dets evne til at genoprette funktionaliteten i takt med at man bevæger sig tilbage til en normal drift situation. Genoprettelsestest Test af genoprettelsesproceduren efter et nedbrud. Testens scope kan være begrænset til applikationen eller til hele systemet. Fail-over test Test af fail-over senarier for at sikre, at arbejdet i løsningen kan fortsætte som kravsat efter en fail-over er gennemført. Omfanget af testen afgøres af de stillede krav. Testkonsulent og forretningstester. Sikkerhedstest Tester at kravene til sikkerhed er opfyldt. Der kan f.eks. være tale om krav til beskyttelse af adgang til løsningen, logning af brugen eller sikkerhed for at informationer lagres og viser korrekt. Platformstest Formålet er at teste om den tekniske platform er opsat korrekt i Underbilag 14.A Definitioner og testtypekatalog Side 8 af 10
forhold til de krav, der er stillet til f.eks. infrastruktur, hardware og software. Testen kan være styret af tjeklister. Testkonsulent Installationstest Sikre at løsningen kan installeres på de platforme, der er stillet krav om. Testkonsulent Kompatibilitetstest Undersøger om løsningen kan fungere på de platforme, der er stillet krav om, da kan både være tale om server og klientplatformen. Typisk vil det dog være klientplatformen, der er i fokus i form af mobileenheder, browser etc. Kan i et vist omfang automatiseres og denne mulighed bør afdækkes, hvis der er stille krav om bred platformsunderstøttelse. Testkonsulent, (ved automatisering) Konverteringstest Sikre at konvertering af data gennemføres korrekt. Form og indholdet af denne testtype er typisk afhængig den valgte konvertering strategi. Ved en manuel konvertering kan man vælge at lave en manuel stikprøve kontrol. Hvis der laves en automatisk konvertering, bør der vælges et værktøj, der også giver mulighed for automatisk test af resultatet. Alt efter strategivalg, forretningstester sammen med testkonsulenter eller testspecialister. Underbilag 14.A Definitioner og testtypekatalog Side 9 af 10
Underbilag 14.A Definitioner og testtypekatalog Side 10 af 10