FRA USECASE TIL TESTCASE HP TEST BRUGERKONFERENCE, 10. APRIL 2014

Transkript

1 FRA USECASE TIL TESTCASE HP TEST BRUGERKONFERENCE, 10. APRIL 2014

2 LIDT OM MIG SELV Erfaring NIELS-HENRIK HANSEN 35+ års samlet IT erfaring 15+ år som test manager Certificeret Inspection Leader ISEB Foundation ISTQB Advanced Test Analyst ISTQB Advanced Test Manager Karriere PRIVATbanken, Kommunedata, Navision, Nokia, Nordea, Tieto(Enator), TestHuset, Nykredit Fra 1. april 2014: Test Manager i BRFkredit

3 LIDT OM PRÆSENTATIONEN Hvad ser vi bl.a. på usecase & testcase sat i perspektiv at finde testcases fra usecases (eksempel) andre kilder til testcases den gode testcase BEMÆRK: Indholdet i denne præsentation er ikke baseret på BRF metode eller standard, men på egne tidligere erfaringer

4 TESTCASES I PERSPEKTIV

5 KRAV VS LØSNING Fokus på opgaven Frihedsgrader i løsning og projekt Forretningens lønsomhed Mål: Med løsningen skal kunden opnå (kundens mål) Behov: Løsningen skal støtte aktøren i at (aktørens opgave) Feature: IT-løsningen skal kunne (systemets egenskab) SW-element: IT-løsningen skal indeholde (skærmbilleder, kode, snitflader, etc) Fokus på IT-løsningen Forudsigelighed i løsning og projekt Projektets omkostninger

6 KRAV VS USECASE & TESTCASE Fokus på opgaven Frihedsgrader i løsning og projekt Forretningens lønsomhed Behovs usecases Mål: Med løsningen skal kunden opnå (kundens mål) Testcase (funktionel) Behov: Løsningen skal støtte aktøren i at (aktørens opgave) Feature: IT-løsningen skal kunne (systemets egenskab) SW-element: IT-løsningen skal indeholde (skærmbilleder, kode, snitflader, etc) Testcase (teknisk) Fokus på IT-løsningen Forudsigelighed i løsning og projekt Projektets omkostninger System usecases

7 HVAD ER EN USECASE En usecase kan trindeles fokuser på det der giver værdi for en aktør skal kunne gennemføres non-stop (ellers er der tale om flere seperate usecases) har et startpunkt og et/eller flere slutpunkt(er) kan inkludere andre usecases eller selv udvide andre usecases Usecases og IT-systemer En usecase beskriver funktionalitet som et IT-system stiller til rådighed for en aktør (en bruger, et andet system, etc.)

8 FRA USECASE TIL TESTCASES - EKSEMPEL

9 USECASEN ID (nr.) : 999 Titel: Pengeautomaten Projektnr.: 999 Projektnavn: Kursus: Fra usecase til testcase Init: XXXX Kategori: Behov Status: Godkendt Prioritet: Normal Prioritet nr.: Formål og beskrivelse: Aktører: Starthændelse: Startbetingelse: Slutbetingelse: Input: Output: Normalforløb: Undtagelser: 1 Ansvarlig: XXXX Denne usecase beskriver normalforløbet ved hævning af kontanter fra en pengeautomat. Testbruger Kreditkort indsættes i pengeautomaten Pengeautomaten er aktiv og ikke fejlbehæftet Kontanter haves Kreditkort og brugerinput via numerisk tastatur Dialogbokse, kreditkort (retur), kontanter og (evt.) kvittering Handling # Bruger 1 Kunden indsætter et kort i automaten System 2 Systemet validerer kortet 3 Systemet beder om pinkode 4 Kunden indtaster pinkode 5 Systemet validerer pinkoden 6 Systemet viser mulige hævebeløb 7 Kunden vælger et beløb fra listen 8 Systemet validerer det valgte beløb 9 Systemet returnerer kortet 10 Systemet udbetaler det valgte beløb 11 Systemet opdaterer kontoen 12 Systemet spørger om kunden ønsker en kvittering 13 Kunden afslår 1. 2a: Kortet er ugyldigt Kortet kan ikke valideres og returneres til kunden Exit usecase 5a: Pinkoden er ugyldig Der er indtastet forkert pinkode Systemet returnerer til trin 4 5a1a: Pinkoden er ugyldig for 3. gang i træk Kortet returneres til kunden Exit usecase 7a: Kunden vælger at indtaste et beløb selv 7a3a: Beløbet er ikke deleligt med 100 Der gives fejlbesked Systemet returnerer til trin 7a 7a3b: Beløbet er for stort Automatens max. pr. transaktion er kr Der gives fejlbesked Systemet returnerer til trin 7a 8a: Beløbet overstiger saldoen på kontoen Der gives fejlbesked Systemet returnerer til trin 7

10 HVORDAN GØR DU SÅ Lav skema til normalforløb Gør normalforløbet så simpelt som muligt (solskinshistorie) Tilføj en kolonne og række for hvert alternativ (undtagelse)

11 FRA USECASE TIL TESTCASE NORMALFORLØB Lav skema til normalforløb Tilføj en kolonne for hver undtagelse Ugyldigt kort Ugyldig pinkode Ugyldig Kunden pinkode for vælger 3'de gang tast-selv Overtræk Ikke penge Fejl under Kvittering Bemærkning nok i opdatering automaten Testcase Normalforløb Nej Nej Nej Nej Nej Nej Nej Nej 500 (Normalforløbet alt spiller den enkleste vej igennem - solskinshistorien).

12 FRA USECASE TIL TESTCASE UNDTAGELSER Tilføj en række for hver undtagelse vurdér! Ugyldigt kort Ugyldig pinkode Ugyldig Kunden pinkode for vælger 3'de gang tast-selv Overtræk Ikke penge Fejl under Kvittering Bemærkning nok i opdatering automaten Testcase Normalforløb Nej Nej Nej Nej Nej Nej Nej Nej 500 Alt 2a Ja Nej Nej Nej Nej Nej Nej Nej På hovedet

13 FRA USECASE TIL TESTCASE UNDTAGELSER Tilføj en række for hver undtagelse vurdér! Ugyldigt kort Ugyldig pinkode Ugyldig Kunden pinkode for vælger 3'de gang tast-selv Overtræk Ikke penge Fejl under Kvittering Bemærkning nok i opdatering automaten Testcase Normalforløb Nej Nej Nej Nej Nej Nej Nej Nej 500 Alt 2a Ja Nej Nej Nej Nej Nej Nej Nej På hovedet Ja Nej Nej Nej Nej Nej Nej Nej Ingen chip

14 FRA USECASE TIL TESTCASE UNDTAGELSER Tilføj en række for hver undtagelse vurdér! Ugyldigt kort Ugyldig pinkode Ugyldig Kunden pinkode for vælger 3'de gang tast-selv Overtræk Ikke penge Fejl under Kvittering Bemærkning nok i opdatering automaten Testcase Normalforløb Nej Nej Nej Nej Nej Nej Nej Nej 500 Alt 2a Ja Nej Nej Nej Nej Nej Nej Nej På hovedet Ja Nej Nej Nej Nej Nej Nej Nej Ingen chip Ja Nej Nej Nej Nej Nej Nej Nej Klippet itu

15 FRA USECASE TIL TESTCASE UNDTAGELSER Tilføj en række for hver undtagelse vurdér! Ugyldigt kort Ugyldig pinkode Ugyldig Kunden pinkode for vælger 3'de gang tast-selv Overtræk Ikke penge Fejl under Kvittering Bemærkning nok i opdatering automaten Testcase Normalforløb Nej Nej Nej Nej Nej Nej Nej Nej 500 Alt 2a Ja Nej Nej Nej Nej Nej Nej Nej På hovedet Ja Nej Nej Nej Nej Nej Nej Nej Ingen chip Ja Nej Nej Nej Nej Nej Nej Nej Klippet itu Ja Nej Nej Nej Nej Nej Nej Nej Sygesikring

16 FRA USECASE TIL TESTCASE UNDTAGELSER og vi spoler lige hurtigt frem her Tilføj en række for hver undtagelse vurdér! Ugyldigt kort Ugyldig pinkode Ugyldig Kunden pinkode for vælger 3'de gang tast-selv Overtræk Ikke penge Fejl under Kvittering Bemærkning nok i opdatering automaten Testcase Normalforløb Nej Nej Nej Nej Nej Nej Nej Nej 500 Alt 2a Ja Nej Nej Nej Nej Nej Nej Nej På hovedet Ja Nej Nej Nej Nej Nej Nej Nej Ingen chip Ja Nej Nej Nej Nej Nej Nej Nej Klippet itu Ja Nej Nej Nej Nej Nej Nej Nej Sygesikring Alt 5a Nej Ja Nej Nej Nej Nej Nej Nej 500 Alt 5a1a Nej Nej Ja Nej Nej Nej Nej Nej 500 Alt 7a Nej Nej Nej Ja Nej Nej Nej Nej 1000 Nej Nej Nej Ja Nej Nej Nej Nej 0 Nej Nej Nej Ja Nej Nej Nej Nej 2000 Alt 7a3a Nej Nej Nej Ja Nej Nej Nej Nej 750 Alt 7a3b Nej Nej Nej Ja Nej Nej Nej Nej Nej Nej Nej Ja Nej Nej Nej Nej 2050 Alt 8a Nej Nej Nej Nej Ja Nej Nej Nej 1000 Nej Nej Nej Ja Ja Nej Nej Nej 1500 Alt 8b Nej Nej Nej Nej Nej Ja Nej Nej 1500 Alt 11a Nej Nej Nej Nej Nej Nej Ja Nej 1900 Alt 13a Nej Nej Nej Nej Nej Nej Nej Ja 2000 Alt 13a Nej Ja Nej Ja Nej Nej Nej Ja 1100 Alt 13a Nej Ja Nej Nej Nej Nej Nej Ja 700

17 HVAD GØR DU Lav skema til normalforløb Gør normalforløbet så simpelt som muligt (solskinshistorie) Tilføj en kolonne og række for hvert alternativ (undtagelse) Vurdér og vær kritisk! F.eks. i Eksemplet: Bør der måske testes for om kunde kan fortryde midt i handlingen, og om systemet returnerer korrekt? Med 2 muligheder (ja/nej) pr. undtagelse og 8 undtagelser, er der alt i alt mindst 256 kombinationer, uden at vi har kigget på grænseværdier; men mange af dem er ugyldige så vurdér! Hver række i listen/tabellen resulterer i en testcase Evt. kan det overvejes om nogen af dem kan lægges sammen hvis værktøjet giver mulighed for f.eks. At anvende variabelt input i testcases ved afvikling Det vigtige er at alle konstaterede rækker resulterer i en test

18 FRA USECASE TIL TESTCASE PENGEAUTOMATEN I QUALITY CENTER

19 HVAD FÅR DU? Med teknikken kan du: Afgøre entydigt om usecasen er tilstrækkelig specifik Sikre at alle undtagelser testes Give de bedste muligheder for at vurdere kombinationer af undtagelser og ekstra/alternative tests. FORUDSÆTNING: Usecasen følger en entydig/aftalt standard dvs. først og fremmest tydelig dokumenterer normalforløb og undtagelser samt klare start og slut betingelser for alle gennemløb!

20 HVAD KAN DU RISIKERE? Følger usecasen ikke en entydigt/aftalt standard, mangler du: Et klart overblik over normalforløbet Et klart overblik over mulige undtagelser og konsekvenserne og så har du reelt ikke nogen nem teknik til at udarbejde testcases! Ingen teknik = du skal have ubegrænset adgang til eksperter samt dem der har skrevet usecases, krav eller anden dokumentation for at regne ud hvilke tests der skal laves. Og alligevel kan du til sidst ikke være sikker på at du har beskrevet de nødvendige testcases... Derfor insistér på brugbare usecases!

21 ANDRE KILDER TIL TESTCASES

22 DATADREVET TEST Identificer værdiområderne

23 DATADREVET TEST Identificer værdiområderne Identificer ækvivalensklasserne

24 DATADREVET TEST Identificer værdiområderne Identificer ækvivalensklasserne Identificer grænseværdierne

25 DATADREVET TEST og hvad kan det så betyde i forhold til vores liste/tabel med tescases til Pengeautomaten?

26 DATADREVET TEST 2 værdiområder som kunne være relevante Beløb på kontoen Vælg en saldo på kontoen, f.eks kr. 0 < Gyldigt værdiområde <= Penge i automaten Vælg kontantbeholdningen i automaten, f.eks. 800 kr. 0 < Gyldigt værdiområde <= 800

27 DATADREVET TEST 4-5 ækvivalensklasser som kunne være relevante Beløb på kontoen 0 < Ækvivalensklasse #1 <= < Ækvivalensklasse #2 Ækvivalensklasse #5 <0 Penge i automaten 0 < Ækvivalensklasse #3 <= < Ækvivalensklasse #4

28 DATADREVET TEST 10 grænseværdier som kunne være relevante Beløb på kontoen Grænseværdier: 0, 100, 1.100, 1.200, Penge i automaten Grænseværdier: 0, 100, 700, 800, 900

29 TESTCASES FØR Testcase Ugyldigt kort Ugyldig pinkode Ugyldig pinkode for 3'de gang Kunden vælger Overtræk tast-selv Ikke penge nok i automaten Fejl under opdatering Kvittering Bemærkning Normalforløb Nej Nej Nej Nej Nej Nej Nej Nej 500 Alt 2a Ja Nej Nej Nej Nej Nej Nej Nej På hovedet Ja Nej Nej Nej Nej Nej Nej Nej Ingen chip Ja Nej Nej Nej Nej Nej Nej Nej Klippet itu Ja Nej Nej Nej Nej Nej Nej Nej Sygesikring Alt 5a Nej Ja Nej Nej Nej Nej Nej Nej 500 Alt 5a1a Nej Nej Ja Nej Nej Nej Nej Nej 500 Alt 7a Nej Nej Nej Ja Nej Nej Nej Nej 1000 Nej Nej Nej Ja Nej Nej Nej Nej 0 Nej Nej Nej Ja Nej Nej Nej Nej 2000 Alt 7a3a Nej Nej Nej Ja Nej Nej Nej Nej 750 Alt 7a3b Nej Nej Nej Ja Nej Nej Nej Nej Nej Nej Nej Ja Nej Nej Nej Nej 2050 Alt 8a Nej Nej Nej Nej Ja Nej Nej Nej Nej Nej Nej Ja Ja Nej Nej Nej Alt 8b Nej Nej Nej Nej Nej Ja Nej Nej Alt 11a Nej Nej Nej Nej Nej Nej Ja Nej 1900 Alt 13a Nej Nej Nej Nej Nej Nej Nej Ja 2000 Alt 13a Nej Ja Nej Ja Nej Nej Nej Ja 1100 Alt 13a Nej Ja Nej Nej Nej Nej Nej Ja 700

30 TESTCASES EFTER Testcase Ugyldigt kort Ugyldig pinkode Ugyldig pinkode for 3'de gang Kunden vælger Overtræk tast-selv Ikke penge nok i automaten Fejl under opdatering Kvittering Bemærkning Normalforløb Nej Nej Nej Nej Nej Nej Nej Nej 500 Alt 2a Ja Nej Nej Nej Nej Nej Nej Nej På hovedet Ja Nej Nej Nej Nej Nej Nej Nej Ingen chip Ja Nej Nej Nej Nej Nej Nej Nej Klippet itu Ja Nej Nej Nej Nej Nej Nej Nej Sygesikring Alt 5a Nej Ja Nej Nej Nej Nej Nej Nej 500 Alt 5a1a Nej Nej Ja Nej Nej Nej Nej Nej 500 Alt 7a Nej Nej Nej Ja Nej Nej Nej Nej 1000 Nej Nej Nej Ja Nej Nej Nej Nej 0 Nej Nej Nej Ja Nej Nej Nej Nej 2000 Alt 7a3a Nej Nej Nej Ja Nej Nej Nej Nej 750 Alt 7a3b Nej Nej Nej Ja Nej Nej Nej Nej Nej Nej Nej Ja Nej Nej Nej Nej 2050 Alt 8a Nej Nej Nej Nej Ja Nej Nej Nej (saldo=1200) Nej Nej Nej Ja Ja Nej Nej Nej 0 (saldo=1200) Nej Nej Nej Ja Ja Nej Nej Nej 100 (saldo=1200) Nej Nej Nej Ja Ja Nej Nej Nej (saldo=1200) Nej Nej Nej Ja Ja Nej Nej Nej (saldo=1200) Nej Nej Nej Ja Ja Nej Nej Nej (saldo=1200) Alt 8b Nej Nej Nej Nej Nej Ja Nej Nej 0 (beholdning=800) Nej Nej Nej Nej Nej Ja Nej Nej 100 (beholdning=800) Nej Nej Nej Nej Nej Ja Nej Nej 700 (beholdning=800) Nej Nej Nej Nej Nej Ja Nej Nej 800 (beholdning=800) Nej Nej Nej Nej Nej Ja Nej Nej 900 (beholdning=800) Alt 11a Nej Nej Nej Nej Nej Nej Ja Nej 1900 Alt 13a Nej Nej Nej Nej Nej Nej Nej Ja 2000 Alt 13a Nej Ja Nej Ja Nej Nej Nej Ja 1100 Alt 13a Nej Ja Nej Nej Nej Nej Nej Ja 700

31 USER INTERFACE/SKÆRMBILLED TEST Forslag til tilgang: Test af inputfelter håndteres ved siden af de normale testcases (fra bl.a. Usecase) En testcase pr. skærmbillede Et teststep pr. inputfelt med stikord til hvad der skal testes Et teststep pr. knap og pr. link Ifm. Udforskende Test laves ofte en test målrettet mod det yderste lag (UI en), hvor testeren får frie tøjler

32 TEST AF SERVICES Services ligger omme bagved og er således normalt ikke lette at teste direkte ifm. (system- og) accepttesten. Der er en masse tidlig test af services, som er muligt både af udviklere og andre, bl.a. ved review eller nonfunktionelle test (performance, sikkerhed mv). Services testes også implicit sidenhen ifm. test af scenarier/usecases. Mange steder skrives der således normalt ikke særskilte testcases til test af services, men det kan gøres.

33 NON-FUNKTIONELLE KRAV Det afhænger meget af den enkelte organisation osv. om dette omfattes af tescases, og dækker bl.a. over test af: Pålidelighed Robusthed Nøjagtighed Ensartethed Standarder Brugervenlighed Flytbarhed Genanvendelighed Load/Stress Performance Sikkerhed Sporbarhed Vedligeholdelsesegnet Testbarhed

34 DEN GODE TESTCASE

35 7 GODE PRINCIPPER 1. Have kendte & definerede startbetingelser (brugeren logget ind, systemet klar på 1. oversigtsside etc.) 2. Have kendte & definerede slutbetingelser, både OK udfald og fejlsituationer 3. Skrevet i et entydigt sprog som ikke må kunne tolkes 4. Maksimalt indeholde 10 steps i én testcase (princippet kan være nødvendigt at fravige ved skærmbilled test) 5. Altid ligge i det valgte test værktøj (f.eks. Quality Center) 6. Altid være linket/referere til et krav bl.a. aht. sporbarhed 7. Bør være under versions kontrol, herunder miljø, data, udgave af AUT Punkt 1 3 betyder, at der skal beskrives præcist hvad testeren skal foretage sig, fra start til slut. Testeren må ikke være afhængig af at skulle gætte sig frem. En god sammenligning er at en testcase skal være som en madopskrift!

36 SPØRGSMÅL