Den røde tråd fra testdækning til releasemetrikker

Transkript

1 Den røde tråd fra testdækning til releasemetrikker The art of developing software cheaper, in good quality and at schedule Software-Pro

2 Agenda Den røde tråd fra testdækning til releasemetrikker Mange har taget ISTQB certifikat i softwaretest men ofte bliver begrebet testdækning ikke brugt i det praktiske arbejde Det er en skam, for testdækning er sammen med fejlniveau to vigtige elementer, når man skal sætte mål for testen Mål for testen er første punkt i Testing Maturity Model, så det understreger, hvor vigtigt det er Testdækning og mål for testen er også væsentlige parametre når man skal opstille releasemetrikker. I dette indlæg vil Torben, med input fra tilhørerne, prøve at få den røde tråd gennem disse emner frem: Testdækning (teori, dækningselementer, anvendelse i praksis) Fejlniveau - kvalitet Mål for testen Testing Maturity Model (TMM/TMMi) Testplanlægning Releasemetrikker Dashboard med trendkurver for at sikre ledelsesinvolvering

3 Founder and owner Torben Hoelgaard, B.Sc. in IT, Test and QA Consultant, CEO Founded Software-Pro in 2008 Experience: 5 years of consulting in ATP, Saxo Bank and 20 other companies 4 years as VP of Corp. Quality Assurance at Saxotech 4 years as VP of Services at Saxotech 3 years as Nordic Sales Manager at Saxotech 3 years as Project Chief at Saxotech 7 years as Project Manager at Nordjyske 20+ years as Change Agent

4 Software-Pro Rådgiver, bemander og uddanner indenfor krav, test og kvalitetssikring

5 Software-Pro Rådgiver vore kunder til bedre testprocesser højere testmodenhed (TMM) færre fejl i produktionen billigere test og udvikling hurtigere projektgennemløb større agilitet Uddanner vore kunder i certificeret test og testledelse krav og scope management Scrum og Kanban CMMI process improvement sourcing Bemander vore kunders projekter med testere testmanager testspecialister QA konsulenter releasemanager danske og udenlandske konsulenter

6 Software-Pro - Change Cube B Organizational level Strategic C Level 3 Level 2 Maturity Level 1 Tactic Operational Software-Pro Processes People Methods A M+P+P

7 Customers and Projects Projects (not complete list) Test Assessment Test Strategy develop and implement ISTQB Test training courses Test Community Kick off Test Optimization Project Test Process Issue Test Plans & Rapports Test Metrics and Dashboards Test Management Test Design and Test Execution Test Tool implementation: QC9.2 and ALM11 a.o. SCRUM training and coaching Develop and implement Resource Planning System and Processes Development Model Incident Management Process Major Planning system CMMI introduction LEAN Test Strategy Use Case Driven Design implementation

8 Agenda Den røde tråd fra testdækning til releasemetrikker Mange har taget ISTQB certifikat i softwaretest men ofte bliver begrebet testdækning ikke brugt i det praktiske arbejde Det er en skam, for testdækning er sammen med fejlniveau to vigtige elementer, når man skal sætte mål for testen Mål for testen er første punkt i Testing Maturity Model, så det understreger, hvor vigtigt det er Testdækning og mål for testen er også væsentlige parametre når man skal opstille releasemetrikker. I dette indlæg vil Torben, med input fra tilhørerne, prøve at få den røde tråd gennem disse emner frem: Testdækning (teori, dækningselementer, anvendelse i praksis) Fejlniveau - kvalitet Mål for testen Testing Maturity Model (TMM/TMMi) Testplanlægning Releasemetrikker Dashboard med trendkurver for at sikre ledelsesinvolvering

9 TMM Den røde tråd

10 Mål for testen Mål for testen = testdækning og fejlniveau Fejlniveau = fejlmængde x alvorlighed Alvorlighed (severity) opdeles i kategorier Blokerende fejl Alvorlige fejl Mindre alvorlige fejl Kosmetiske fejl

11 Test Coverage - Exercise Case: You have designed 50 test cases You planned to execute 40 test cases You actually managed to execute 30 What is your test coverage? A: 80% B: 75% C: 60% D: Don t know

12 Test Coverage - Answer If you planned for 40 tests and did 30, most Project Managers would think that your test coverage is 75% (which would be a pretty good test) Right answer is D: Don t know! Test Coverage definition: The degree, in percent, to which a coverage item has been tested Examples of Coverage Items: User Stories, requirements, interfaces, statements etc. In this case we have no information about the coverage item and the number of tests needed to get 100% coverage E.g. if 200 tests were needed to get 100% coverage, and you did 30, the coverage would be 15% (which would be a pretty bad test)

13 Testdækning øvelse 2 Find 5 eksempler på dækningselementer

14 Testdækning - dækningselementer Fra artiklen: Testdækning et vigtigt begreb User Stories Instruktioner (code statements) Beslutninger (code decisions) Grænseflader Transaktionstyper Menupunkter Brugerroller Forretningsprocesser

15 Testdækning - øvelse 3 Kan man tale om testdækning per testniveau? Find to eksempler på dækningselementer for hvert testniveau i ISTQB

16 Testdækning udtrykkes i procent Husk at testdækningen udtrykkes i procent Procentdelen af dækningselementet der er testet Skal målet være 100% testdækning?

17 Testdækning hvilke Hvilke dækningselementer og hvilken dækningsgrad skal vi vælge? It depends Risici Kommunikation Testniveauer Modenhed

18 Mål for testen Mål for testen = testdækning og fejlniveau Fejlniveau = fejlmængde x alvorlighed Alvorlighed (severity) opdeles i kategorier Blokerende fejl Alvorlige fejl Mindre alvorlige fejl Kosmetiske fejl

19 Mål for testen - fejlniveau Fra artiklen: Mål for testen - eksempel på næste side

20 Fejlniveau kvalitet Målet for fejlniveauet kunne f.eks. være: Vi vil ikke frigive software med kendte kategori 1 fejl Vi vil ikke frigive software med kendte kategori 2 fejl, med mindre de er dokumenterede og der findes en workaround og det er besluttet, hvornår fejlen rettes Vi vil ikke frigive, før fejltendensen er faldende

21 Fejlniveau øvelse 4 Find 3 eksempler på fejlniveauer Kan man tale om fejlniveauer per testniveau? Find et eksempel på fejlniveauet for hvert testniveau i ISTQB Hvorfor kendte fejl?

22 Fejltendens

23 Mål for testen Lad os se på to eksempler fra virkeligheden Mellemstor virksomhed indenfor publicering Stor virksomhed indenfor pension

24 Agenda Den røde tråd fra testdækning til releasemetrikker Mange har taget ISTQB certifikat i softwaretest men ofte bliver begrebet testdækning ikke brugt i det praktiske arbejde Det er en skam, for testdækning er sammen med fejlniveau to vigtige elementer, når man skal sætte mål for testen Mål for testen er første punkt i Testing Maturity Model, så det understreger, hvor vigtigt det er Testdækning og mål for testen er også væsentlige parametre når man skal opstille releasemetrikker. I dette indlæg vil Torben, med input fra tilhørerne, prøve at få den røde tråd gennem disse emner frem: Testdækning (teori, dækningselementer, anvendelse i praksis) Fejlniveau - kvalitet Mål for testen Testing Maturity Model (TMM/TMMi) Testplanlægning Releasemetrikker Dashboard med trendkurver for at sikre ledelsesinvolvering

25 TMM 22 Key Process Areas = 22 Projects of Change! Pick 1 or pick many TMM Saxotech DK Feb 2005 June 2006 March 2008

26 Testplanlægning Kan vi bruge Mål for testen i forbindelse med testplanlægning?

27 Release Metrics Test Progress

28 Metrik - pyramide Teststatus - fordeling Teststatus - trend Teststatus - trend Teststatus - trend Fejl - alvorlighed Fejl - trend Fejlede test iht. prio Når ledelsen ser de centrale metrikker for releasen, vil der helt naturligt komme spørgsmål til de enkelte ordninger og domæner. Det betyder, at releasemetrikkerne i virkeligheden kan ses som en pyramide, hvor man starter i toppen og spørger sig hele vejen ned fra Release -> Ordning -> Domæne -> Leverandør (Appl.) / Opgave Det gode er, at de centrale metrikker kan genanvendes på underliggende niveauer Releases Ordninger Domæner Applikationer / Opgaver

29 Overblik - Scope Release Fælles Ordning 29 X Domæne

30 Releasemetrikker Dashboard link

31 TMM Den røde tråd

32 Questions & comments? Software-Pro