The LEGO Journey: Building an agile test foundation one brick at the time Casper Gaardland Englund Stephan Hjelmdal Nielsen 2013 The LEGO Group l TestExpo 15
Hvem er vi? Casper Englund Uddannet datamatiker Senior Software Test Engineer i LEGOs marketingafdeling Page 2 2013 The LEGO Group
Hvem er vi? Stephan Nielsen MSc in Information Management and Business Konsulent hos CapgeminiSogeti Danmark A/S Arbejder med kvalitetsikring og agil udvikling hos LEGO A/S Page 3 2013 The LEGO Group
Medielandskabet +350.000.000 sidevisninger +27.000.000 unikke besøg +50 websites under LEGO.com Op til 23 sprog pr. site 25% besøg fra mobil / tablet Page 4
Page 5 Kvalitet hos LEGO
Rejsen Hvordan startede LEGO arbejdet med webudvikling og kvalitetssikring? Hvordan arbejder LEGO med test og agil udvikling I dag på den digitale portefølje I CMA? Page 6 2013 The LEGO Group
The testing dream Værktøjer Proces Teststrategi Page 7
Hvad er Consumer Marketing Agency? CMA Digital Solutions Consumer Marketing Agency Digital Product Development & Innovation Digital Platform Digital Marketing Development Page 8
LEGO.com tidslinie 1996 2000 2004 2005 2009 Page 9
Den spæde start FIX Dev team Deploy FTP LIVE Local test LIVE verificering Page 10
Udviklingsværktøjer Page 11 2013 The LEGO Group
Strukturering og SCRUM Daily scrum Product backlog Sprint backlog C D E F G H 2 week iterations Sprint activities Sprint review Sprint demo Sprint retrospective Page 12
Continuous integration QA QA QA QA QA QA Page 13
CI værktøjer Page 14
LEGO.com i dag Responsive? YEAH! Page 15
Test i udviklingsproces i dag Lokal server Build Deploy Dev QA / udvikler test Deploy WebQA Verificering / validering Redaktør miljø Deployment 2 gange ugentligt LIVE Verificering / validering Page 16
Test i dag Page 17
Page 18 LEGO DS Portfolio
LEGO DS Portfolio Page 19
Infrastruktur 1 server DEV miljø 4 servere QA miljø 12 servere Produktionsmiljø 2 Datacentre US / EU 2 Byggeserver Applikation og unit test 4 testservere UI Test Page 20
Værktøjer Page 21
Automatiseret Accept Test Page 22
Automatiseret Accept Test Page 23
Page 24 Udfordringer
Udvidet medielandskab Page 25
Kontrol over indhold Automatisk test Page 26
Proces udfordringer Decentralisering af test proces Testdesign / Testplan Decentralisering af test strategi Dokumentation / traceability Potentielt ustruktureret og uformaliseret Page 27
Menneskelige udfordringer Tidligere udviklere Traditionelle systemtestere Manuelle testere Tekniske testere Domæne kendere Page 28
Test pyramide Manuel test Accept test System test Integrationstest Unit test Page 29
Page 30 Drømmen
Test strategy Align test strategy across organization DS Test strategy CoE Test strategy Test strategy Test strategy Test strategy QA Test strategy QA Test strategy QA QA QA QA Page 31
Proces Page 32 2013 The LEGO Group
Strukturering og SCRUM Automation test center Daily scrum Product backlog Sprint backlog C D E F G H 2 week iterations Sprint activities Sprint review Sprint demo Sprint retrospective Page 33
Kode Kvalitet Page 34
Kode Kvalitet Page 35
Indholdsstruktur Page 36
Visuel test Page 37
Mobil Test Parallel mobile tests Test report Page 38
Chaos Monkey Features Kører kun i arbejdstiden Gennemfører tilfældige handlinger Effektiv til at opdage svagheder i setup Page 39
Page 40
Test rapportering Allure Allure Test Report Page 41
Cloud Partner Page 42
Definition af test profiler Website Website Website Komponent Komponent Infrastruktur Page 43
Strategi eksekvering 2015 2016 2017 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Strategi Test policy Test roller Offshore test Offshore AAT Test roller Test strategi Mobile first Test strategi Proces Testdesign DoR, DoD, DoS Test management Offshore AAT BDD Værktøjer Allure TIOBE Webspider Dynamisk UI test Mobile automation setup Chaos monkey Automation framework Page 44
Q & A (Spørgsmål) Kontaktoplysninger Casper Englund Casper.Englund@LEGO.com Stephan Nielsen Stephan.Nielsen@LEGO.com Page 45