Test i Danmark Undersøgelse på 2015 TestExpo
1 Indledning Velkommen til anden udgave af Test i Danmark rapporten. Test i Danmark har til formål at undersøge softwaretest og QA tendenser i Danmark og dets udvikling. Undersøgelsen tager udgangspunkt i hovedkonklusionerne fra World Quality Report 2014-15, der er udarbejdet sammen med HP, og undersøger den danske softwaretests tilstand op mod resten af testverdenen. Siden 2009 har Sogeti, Capgemini og HP publiceret denne rapport for at give indsigt i de seneste trends inden for applikationskvalitet, metoder, værktøjer og processer. World Quality Report 2014-15 er baseret på i alt 1.543 detaljerede telefoninterviews på tværs af 25 lande med CIO er, VP of Applications, it-direktører/chefer og QA direktører/chefer i private virksomheder og offentlige organisationer. I forbindelse med TestExpo-konferencen (www.testexpo.dk) den 29/1 2015 i Bella Center i København blev der foretaget en spørgeskemaundersøgelse. Der er 72 konferencedeltagere, der har besvaret undersøgelsens 10 spørgsmål.
2 Om forfatteren Ole Chr. Hansen Managing Consultant hos Capgemini Sogeti Danmark A/S, har arbejdet med testrådgivning og -ledelse i mere end 15 år. Før det arbejdede han i 10 år som projektleder, og har været ledende TPI-assessor på mange TPI-assessments i Danmark. Ole er: ISTQB Accredited Trainer in Software Testing; TPI NEXT Foundation Certified, ISEB Practitioner Certified in Software Testing, TMap NEXT Test Engineer Certified, Certified Scrum Master, PRINCE2 Foundation Certified, Certified Lead Assessor (ISO 9000). Ole Chr. Hansen skriver om test og teknologi på sin blog: www.ochansen.blogspot.com www.linkedin.com/in/ochansen www.twitter.com/ole_chr_hansen
3 Konklusioner i WQR 14-15 World Quality Report 2014-15 er den femte i en serie af undersøgelser, som gør status over applikationskvalitet og testpraksis i forskellige brancher og geografiske områder. Hent dit eksemplar her: www.capgeminisogeti.dk/wqr15 Hent dit eksemplar her: 3. 4. 5. 6. Mange virksomheder foretrækker at organisere deres test- og kvalitetsfunktioner som en kombination af centrale og decentrale enheder. Mange virksomheder øger anvendelsen af eksterne serviceleverandører inden for test og kvalitet. Andelen af rene offshore engagementer er faldende. Ikke-funktionelle krav - specielt sikkerhed og performance - og kundeoplevelser bliver et mere og mere vigtigt fokusområde for test og kvalitet. Der er en række spændende key-findings i World Quality Report 2014-15: 1. 2. Transformationsprogrammer der bruger SMAC (Social, Mobile, Analytics, Cloud) og IoT (Internet of Things) ændrer fokus på test og kvalitet og øger vigtigheden af samme. Budgetterne for test og kvalitet fortsætter med at stige til højder der ikke er set tidligere, og dette er delvist drevet af nye digitaliseringsprojekter. 7. 8. 9. De fleste virksomheder kræver hurtige og tilpassede løsninger i forholdet mellem test og kvalitet og agile udviklingsmetoder. Brugen af cloud-baserede løsninger for testområder er stigende. Mange virksomheder har stigende modenhed indenfor områderne testmiljø, test data management og testautomatisering. Uddrag fra www.ochansen.blogspot.com
4 Resultater Har test og QA fået en større rolle i jeres organisation i det seneste år? Har I observeret en positiv effekt ved at have introduceret test tidligere i udviklingsforløbet? Bliver du involveret tilstrækkeligt tidligt som tester (alle roller) i projekterne? Afholder manglen på specialiserede testressourcer jer i at udvikle test yderligere i jeres organisation? 22% 3% 3% 4% 75% 11% 86% 49% 47% 31% 7% 62% Har I tilstrækkelig viden til at kunne teste de nyere teknologiske tendenser? Er jeres test og QA organiseret i en central eller decentral afdeling/ sektion? Bruger I en kombineret leverancemodel, hvor I også anvender eksterne leverandører til test og QA? 5% 17% 33% 3% 44% 0% 56% 78% 64% Er jeres budget/ ressourcer til test og QA øget det seneste år? Hvad er jeres primære udviklingsmodel agil eller V - model? Anvender I cloud baserede løsninger til test? Central Decentral 18% 47% 1% 3% 23% Agile V-Agile 35% 43% 56% 74%
Har test og QA fået en større rolle i jeres organisation i det seneste år? 22% 11% 3% 3% 75% Har I observeret en positiv effekt ved at have introduceret test tidligere i udviklingsforløbet? JA NEJ Test og QA s rolle i organisationen Test og kvalitet får en større og større rolle blandt de organisationer og virksomheder, der har deltaget i undersøgelsen. 75% af respondenterne har alene det seneste år oplevet, at test og kvalitet har fået en større rolle. Det er en interessant udvikling, idet næsten 83% i 2014 svarede bekræftende på dette spørgsmål, hvilke kan se ud som et fald, men det er en naturlig udvikling at denne andel vil have en tendens til at falde i takt med at virksomhedernes modenhed øges. Der er ingen tvivl om, at der er sket meget i Danmark de seneste 5-10 år indenfor for softwaretest. Det øgede fokus matcher også den generelt stigende modenhed inden for testområdet. Ved hjælp af en model som TPI NEXT kan man som testorganisation måle sin modenhed på 16 nøgleområder inden for test - nærmere kan ses på www.tpinext.com Tidlig test Tidlig test har i mange år været et mantra for de fleste i testverdenen, og det er også et af de kendte testprincipper. Tidlig test omfatter dels involvering af personer med testperspektiv i review af krav og design og dels påbegyndelse af testprocessen tidligt her tænkes på testplanlægning, testanalyse og testdesign. Det er en god ide at involvere testperspektivet tidligt i et hvert it-projekt, og gerne allerede fra dag et. 86% JA NEJ Det er også et af nøgleområderne i den førnævnte testmodenhedsmodel. Hele 86% har oplevet en positiv effekt ved tidlig test, hvilket er godt, men det er overraskende, at hele 11% har oplevet det modsatte. Denne negative oplevelse af effekten af tidlig test kan skyldes mange faktorer, og en af disse er et manglende grundlag til at kunne sammenligne før og efter situationen, f.eks. i form af metrikker og målinger.
Bliver du involveret tilstrækkeligt tidligt som tester (alle roller) i projekterne? 49% 31% 4% 7% 47% Afholder manglen på specialiserede testressourcer jer i at udvikle test yderligere i jeres organisation? JA NEJ Tidlig involvering i projekterne er vigtigt i forhold til den nødvendige planlægning, og det er en forudsætning for at kunne holde testens aktiviteter væk fra projektets kritiske vej. Når dette tages i betragtning er det overraskende at se, at 49% af testerne ikke bliver involveret tilstrækkeligt tidligt i projekterne. Når man så kigger nærmere på de 49%, der har svaret nej i ovenstående spørgsmål, og det drejer sig om 35 respondenter, så har 89% svaret ja til det foregående spørgsmål om der er set en positiv effekt af tidlig involvering af testerne i projekterne. Der kan naturligvis være mange årsager til, at dette ikke sker. Det vi ofte ser er, at testerne ikke får kommunikeret den positive effekt tilstrækkeligt til ledelsen, hvorfor der ikke sker en tidlig allokering af testressourcerne til projekterne. Det er en generel udfordring for testområdet at få kommunikeret fordele og udbytte ved softwaretesten til ledelsen. Der er dog også andre årsager. Specialiserede testressourcer Som omtalt tidligere, sker der en fortsat udvikling af softwaretest som disciplin, hvilket kræver engagerede og dedikerede medarbejdere. Det er derfor interessant at se, at respondenternes it-organisationer i 62% af tilfældene mangler specialiserede testressourcer til innovation af området. 62% JA NEJ Den teknologiske udvikling øges år for år, hvorfor det er bekymrende, at der ikke er de nødvendige og tilstrækkelige ressourcer til at sikre den fortsatte udvikling af testområdet. Det betyder, at der er et ekstra krav til alle, der arbejder med softwaretest, til i fællesskab at sikre dette.
Har I tilstrækkelig viden til at kunne teste de nyere teknologiske tendenser - SMAC (Social - Mobile - Analytics - Cloud) og IoT (Internet of Things)? 5% 17% 78% Er jeres budget/ ressourcer til test og QA øget det seneste år? SMAC (Social Mobile Analytics Cloud) er en samlebetegnelse for de fire teknologier, der i øjeblikket driver den forretningsmæssige innovation for mange virksomheder. Det er også en af hjørnestenene i TechnoVision-konceptet, der er udviklet af Capgemini Sogeti. IoT (Internet of Things) omhandler den mulige værdiskabelse og serviceforbedring ved udvikling af data mellem forskellige operatører og de forbundne devices. Disse områder er blandt andet med til at drive omstillingen til den digitale forretningsmodel. Hele 78% mener ikke, at de er klædt på til at teste disse nye teknologier, hvilket er bekymrende. Hvis dertil lægges, at 84% af dem, der svarede nej til dette spørgsmål, har svaret ja til det foregående spørgsmål om manglende ressourcer til udvikling og innovation af testområdet, så må man konstatere at der er en alarmerende mangel på erkendelse af at disse nye teknologier vil ændre fokus for softwaretest, og generelt øge vigtigheden af test og kvalitet. En væsentlig af de mange årsager til dette er, at disse nye teknologier øger it-systemernes sårbarhed, hvorfor test og kvalitet er vigtig, og de to ting vil fremover komme til at udgøre en endnu større andel af budgetterne for de succesrige projekter. 18% 35% 47% JA NEJ 47% af respondenterne har fået øgede budgetter til test og kvalitet det seneste år, hvilket er helt på linje med resultaterne fra World Quality Report. 35% har ikke fået deres budget øget, hvilket kan skyldes, at de allerede har et højt niveau. Det, der ofte driver de øgede budgetter til test og kvalitet, er dels et ønske om en øget modenhed inden for testområdet og dels nye digitaliseringsprojekter, herunder projekter med relation til SMAC-teknologierne.
Er jeres test og QA organiseret i en central eller decentral afdeling/ sektion? 33% Central Decentral 3% 64% Bruger I en kombineret leverancemodel, hvor I også anvender eksterne leverandører til test og QA? 0% CENTRAL DECENTRAL En stor andel af respondenterne anvender en central organisering af test og kvalitet (64%) og en tredjedel har en decentral model. Det svarer meget til den globale trend, hvor det også er hovedlinjen. Over de senere år er etableringen af TCoE (Test Center of Excellence) øget, hvilket ofte bliver omdrejningspunktet for testgovernance, processer og rapportering, og hvor fra testerne kan allokeres til projekterne. Der er ikke konstateret nogen umiddelbar relation mellem formen for organiseringen af test og kvalitet og øgede eller mindre budgetter. Eksempelvis har de virksomheder, som har en central organisering af test og kvalitet, besvaret det foregående spørgsmål om budget med en ligelig fordeling mellem ja og nej. Over halvdelen (56%) af respondenterne anvender en kombineret leverancemodel, hvor der udover egne ressourcer også anvendes eksterne leverandører til test og kvalitetsområdet. Det er også en global trend, hvor andelen med en kombineret leverancemodel er øget de senere år. Tendensen er også, at det oftest er kunden der har ansvaret for testprojektet med ekstern ressourceforstærkning. 44% JA NEJ 56%
Anvender I cloud baserede løsninger til test? 3% 23% Helt i tråd med World Quality Report anvender cirka en fjerdedel cloud-baserede løsninger til testområdet. På globalt plan forventes det at øges de kommende år. Det fremgår ikke af spørgsmålet, hvad type af løsning der er cloud-baseret det kan være værktøjer, testmiljøer m.m. Det bliver spændende at se, om de danske virksomheder følger den internationale trend de kommende år. 43% 74% Hvad er jeres primære udviklingsmodel agil eller V - model? 43% Agile V-Agile 1% 56% AGIL V-MODEL De danske virksomheder har i høj grad taget den agile udviklingsmodel til sig hele 56% har den som den primære. Det er ikke overraskende, når man ser på de teknologiske tendenser og danske organisationer og virksomheders ønske om at tilpasse sig markedets og kundernes krav om hurtigere leverancer. Dette betyder så, at testerne skal være forberedt til dette både i form af et ændret mindset og med testmodeller, der understøtter den nødvendige prioritering i agile projekter. Risiko-baseret test er en af de oplagte og i kombination med øget brug af formelle testdesignteknikker, sikrer det en fokuseret test med minimal omfang og indsats i forhold til det givne risikoniveau. Der er ingen signifikant forskel i besvarelserne mellem, hvilken udviklingsmodel der anvendes som den primære og de øvrige spørgsmål. Eksempelvis siger 63% af dem, der primært anvender den agile model, ja til at manglen på specialiserede testressourcer begrænser dem i udviklingen af testområdet, mens det tilsvarende niveau for de, der primært anvender V-modellen, er 61%.
5 Konklusion Det er spændende at betragte perspektiverne inden for softwaretest ud fra det ovenstående empiriske grundlag. Deltagerne på TestExpo 2015 konferencen var fra mange forskellige virksomheder fra hele landet og fra mange forskellige sektorer. Undersøgelsen var anonym, herunder ingen sektorangivelse hvor det selvfølgelig kunne have været spændende at se om forskellige sektorer gav forskellige svar. Konklusionen må dog være, at der fortsat sker noget inden for testområdet, men, at der også er plads til fortsatte forbedringer. Baseret på nærværende datagrundlag, og forfatterens indsigt og viden om test i Danmark, må der ske en fortsat metodeudvikling inden for test, så det også dækker de udfordringer, der er ved at skulle teste software, som understøtter de nye forretningsmodeller baseret på SMACteknologierne. Det kræver en indsats fra alle, der arbejder med softwaretest. Det bliver interessant og spændende at se udviklingen de kommende år.
Capgemini Sogeti leverer it-konsulentydelser indenfor udvikling og integration, softwaretest og applikationsvedligeholdelse både onshore og offshore og har mere end 144.000 ansatte i 40 lande, heraf 290 i Danmark. Capgemini Sogeti er et helejet datterselskab af Cap Gemini SA, som er noteret på børsen i Paris. For mere information, besøg venligst: www.capgeminisogeti.dk 2015 Capgemini Sogeti. All Rights Reserved.No part of this document may be reproduced or copied in any form or by any means without written permission from Capgemini Sogeti Danmark A/S