IBM Software Group 요구사항에기반한테스팅. IBM Rational Software 박성민차장 IBM Corporation

Transkript

1 IBM Software Group 요구사항에기반한테스팅 IBM Rational Software 박성민차장 2010 IBM Corporation

2 목 차 소프트웨어개발과품질 Collaboration & Automation Requirement based 요약

3 들어가면서 Global 2000 organizations should actively pursue close collaboration across their requirements and testing activities to help create better-quality, more relevant applications faster. Melinda-Carol Ballou, IDC Consulting

4 효과적인소프트웨어개발의장애물 34% 의소프트웨어프로젝트만이성공적인것으로간주되며연간 $300B 가낭비된다 42% 의사용자들만이품질에만족한다 인프라문제 소프트웨어의개발속도에만족하는경우는 37% 에불과하다 사람, 프로세스, 프로젝트의집합 50% 의아웃소싱프로젝트가목표에미치지못하는것으로조사되었다 Software development has been, is, and will likely remain fundamentally hard. Grady Booch 조직의문제 공유되지않는도구 / 자산 원활치않은프로세스공유 자산에대한접근 팀및사업부간의원활한소통부재 전문성 / 효과적인검증기법부재 프로젝트거버넌스의부재 품질에대한책임부재 아웃소싱된정보제공자의보안문제

5 소프트웨어시장의동향 소프트웨어시장의동향 품질관리관점 사용자들의요구가복잡해지고품질에대한기대치가높아짐 정확한요구사항에근거한검증과결함예방및사전발견에대한필요증대 개발출시주기가짧아지고있음 효율적인업무로테스트기간단축요구 소프트웨어환경이점점더복잡해지고여러시스템의조합으로구성 테스트가점점더어려워져새로운도구와전문적기술수용필요 시장경쟁이더욱치열해짐 결과물의신뢰성에대한요구증대

6 품질 (Quality) 의정의 주어진요구사항을만족시킬수있는제품의기능과특성의무결성 (American Society for Quality) 요구사항에대한적합성 (Philip Crosby) 고객의기대치를충족시킬수있는제품과서비스의마케팅, 엔지니어링, 제조및유지보수등의종합적인특성 (Armand V. Feigenbaum) Fitness for use (Dr. Joseph M. Juran)

7 현행품질관련업무 Analyst Architect Developer Tester Operation Define Design Code Test Debug Functional Test Load Test Deploy Monitor 품질과관련된첫업무시작시점 대부분의노력을투입하는시점 일반적으로품질과관련된업무는개발자가코딩을끝내는시점에 테스트 수행으로시작되며, 대부분품질과관련된노력은이이후에집중 QA 팀에서결함및기능 / 성능상의문제점을찾는것으로품질문제를해결하려고함 요구사항에대한검증과이에근거한테스트항목도출을보장하기어려움

8 문제발견시점대비해결비용 프로젝트후반으로갈수록발견된결함을해결하는데더많은비용및노력소요 품질은 QA 팀에서관리하는것으로인식하는경우에는대부분 deploy 직전에문제를발견 발생 결함이발견된단계및수정에소요되는비용 발견 Inception Elaboration Construction Transition Inception $25 ~ $100 Elaboration $100 ~ $500 $50 ~ $250 Construction $500 ~ $1K $250 ~ $1.5K $75 ~ $500 Transition $8K ~ $10K $1.5K ~ $5K $500 ~ $3K? Source : Profiles of Level 5 CMMI Organizations by Donald J. Reifer

9 전체공정에걸친품질개선노력 개발이후 QA 팀에서시작되는품질관리는후반리스크를증가시키므로초기부터전체팀원이참여하는검증절차가필요 일반적인테스팅수행모델 Early Test 투입공수 테스팅재작업개발 2 3 투입공수 분석설계구현테스트 분석 / 설계단계의검증작업부재 적합하지않은테스트수행 후반결함발견에따른재작업 / 테스트증가 분석설계구현테스트 분석 / 설계단계의내용검증 조기결함발견및문제해결 다양한관점의테스트수행으로품질개선 개발완료이후부터검증시작으로인한후반리스크증가 조기검증을통한후반의리스크감소

10 품질개선을위한고려사항 품질은누구의책임인가? 테스트는개발공정중어느단계에서시작되어야하는가? 테스트수행시간을단축시키고커버리지를높이는방법은?

11 목 차 소프트웨어개발과품질 Collaboration & Automation Requirement based 요약

12 패러다임의변화 Test 소프트웨어개발프로세스의일부 Deployment 직전에 QA 팀에의한테스트 Quality 전략적인 IT 경쟁력 여러팀원들이품질개선업무에참여하는테스트 출시결정을위한마지막관문으로서의테스트 요구사항단계에서부터품질과관련된고려가강조됨 분산혹은단일프로젝트규모 내부조직및외부아웃소싱인원통합 Scope 주로애플리케이션결함의감소 Scope 고객만족및비즈니스성과개선

13 Rational Quality Manager? 웹기반의테스트관리 웹 2.0 스타일 테스트계획서, 테스트케이스등의산출물생성및관리 요구사항및결함관리기능포함및외부도구와데이터통합 테스트수행 웹기반의매뉴얼테스트기능포함 데스크탑기반의테스트도구들과연계 협업및 communication 자산및진척도등의공유를통한팀협업모델제공 리뷰 / 승인프로세스 리포팅 실시간정보수집및보고 커스텀리포트작성기능 IBM Rational Quality Manager CONTINUOUS test plan participate AUTOMATED context GOVERNANCE use case distributed access dashboards synchronize EASY HANDOFF trace LAB UTILIZATION functional PERFORMANCE security compliance

14 테스트계획중심의테스트관리 더많은팀원들이품질개선에기여하기위해서는테스트공정상에필요한다양한정보를수집할수있는테스트환경이요구됩니다. RQM 의테스트계획중심 기존의테스트케이스중심 비즈니스관련자 요구사항 요구사항, 목표, 일정, 인적정보, 테스트환경, 리스크등포괄적인정보 테스터에국한되지않은더많은팀원들의참여 테스트수행에초점 테스터 / 개발자위주정보 업무목표 테스트디자인 품질관리자 보안필수사항 결함기록 웹기반의실시간커뮤니케이션 지리적으로분산된곳에위치하는자산공유 테스트케이스 인력및기술가용성 프로젝트매니저 프로젝트로그 테스터 보안담당자 테스트계획서항목 테스트케이스항목

15 팀원들간의협업 효과적인품질관리업무를위해서는다양한팀원및타사업부등과의의사소통및협업이매우중요하며, 필요한시점에승인프로세스를통해팀원들간의업무조율이필요합니다. 업무에대한담당자를할당 시스템상의업무분담으로재작업방지 개인별할당업무추적 개인에게할당된업무아이템 (work item) 추적 팀원들이수행하고있는업무파악 타부서나팀원들간의리뷰 / 승인절차를통해중요사항결정 팀이벤트파악 지리적위치와관계없이웹기반의실시간커뮤니케이션가능 Project A Project B Project C Analyst 요구사항확인 Project Manager 품질검증 Lab Manager 릴리즈준비 산출물리뷰와승인절차

16 우선순위화 : 리스크기반테스트 시간, 인력및비용등제한된자원으로품질을개선할수있는최적의테스트를수행하는것이중요합니다. 제한된인력, 시간, 비용으로투입할노력을우선순위화 리스크기반의결정으로품질목표달성 리스크 = 장애가능성 X 손실 ( 장애가능성 = 사용빈도 X 결함가능성 ) 공동의지식및의견수렴필요 리스크항목및평가 팀원들의의견 Testing 은 bad game

17 매뉴얼테스트수행 수행할테스트의내용과절차를문서로작성하여관리하는것은비효율적입니다. 테스트내용변경에대응이어렵고테스트결과를관련된산출물과연관시켜관리하기어려우며, 테스터에따라일관성있는테스트수행을기대하기어렵습니다. 매뉴얼테스트스크립트생성및실행 스텝별테스트업무정의및실행기능 테스트실행시에검증할내용및입력할데이터제공 데이터풀을이용한 data driven 테스트지원 스크린샷및첨부파일을포함하는결함등록가능 테스트실행을위한직관적인인터페이스제공 검증할내용

18 결함관리 실행한결과가실패했을때이에대한후속작업을위해결함을등록하여이를해결할팀원들과정보를공유할수있어야합니다. 테스트수행중에결과를새로등록하거나기존결함에정보추가가능 조직에서요구되는결함양식및처리절차등을 UI 수준에서손쉽게구현 양식및절차변경시대응이용이 요구사항 테스트 결함에이르는추적성을제공하여자산간의연관성파악이가능

19 필요정보추출 여러다른역할을담당하는팀원들이품질공정에참여하므로개인별로관심을두는항목과수치를확인할수있어야하며다양한관점의보고서생성이가능해야합니다. 사용자정의대쉬보드 사용자별로관심이있는관점의차트, 테이블등으로개인화면구성 실시간정보획득 웹환경에서지리적위치에구애받지않고실시간확인으로더빠른피드백제공 다양한리포트제공 개인별대쉬보드화면 요구사항, 결함및테스트결과및이들간의연관성등을포함하는광범위한정보 보고서의오피스문서및 pdf 형태등으로변환가능 Cognos 기반의보고서저작도구포함으로요구되는정보추출가능 보고서 / 대쉬보드에활용

20 테스트관리사례 : Sogeti Group Sogeti Group 애플리케이션관리, 인프라관리및하이테크엔지니어링과테스팅서비스를전문으로하는서비스프로바이더 15 개국 200 여개의도시에 20,000 여명의전문인력보유 테스트팩토리방법론을적용하였으며, TMap(Test Management Approach) 를기반으로한테스트프로세스와관련된업무가대부분을차지 새로운시장의요구 기존의매뉴얼한테스트방식에서자동화된도구를이용하여비즈니스모델을확장해야하는필요성이생김 새비즈니스모델에요구되는중요요소 Speed, Price and Flexibility 이를위해서테스팅서비스의자동화를통해보다빠르고, 정확하고 cost effective 한결과를전달해야할필요성이대두됨 개선목표 Sogeti 의입증된테스트프로세스를보다효과적으로고객에게제공 자동화솔루션 전사프로세스관점에서요구사항에서결함까지리스크기반의접근법을적용하고, 검증및추적을통한분석모델제공 고객의자체시스템이나 3rd party 애플리케이션들을아우르는 cost effective 한솔루션제공 지리적으로분산된테스트자산을공유하고인력들간의효과적인협업모델

21 테스트관리사례 : Sogeti Group Benefits 여러프로젝트와고객을지원할수있고자산및자원을프로젝트간에공유할수있는자동화솔루션기반구축 비용문제로지리적으로분산된개발및테스팅인력을관리에어려움이있었으나 RQM 을통해효과적인의사소통과자산공유가능 새로운고객환경이추가될때라이센스를추가하지않고단일라이센스로여러고객들을지원할수있는모델구성 RQM 의도입으로추가적인 25% 의비용절감효과예상 IBM Rational offerings provide a business driven quality environment. By integrating and automating our process and Rational tools, Sogeti can deliver a consistent engagement approach, provide clients with process customization and transparency and accelerate the development of test plans and assets within Rational Quality Manager. Nijs Blokland, Leader, International Testing Community, Sogeti

22 테스트자동화 테스터들에의한반복적인테스트로는지속적으로개발 / 변경되는애플리케이션에대한충분한기능검증을수행하기어렵습니다. 유기적연계및통합모니터링 요구사항관리 요구사항검수 Design 컴포넌트설계 설계검수 Build & Test 단위및결함테스트 통합테스트 인수테스트 구현 수정및재작업 테스트반복수행 결함및품질관리 테스트결과모니터링 팀협업관리 형상및빌드관리 테스팅업무비중 반복적인테스트업무 테스트커버리지 개발프로젝트에서테스트의공수비중은 30~50% 테스트업무의성격상유사한활동이프로젝트기간동안계속반복 동일한노력으로더많은테스트수행가능 요구사항의 End-to-End 추적 테스트의업무비중과반복적인성격을고려할때자동화의효과가가증큰영역 효과적인테스트자동화도구의도입을통해품질개선과개발공정전반의효율화달성가능

23 . 테스트커버리지증대 테스트스크립트의반복실행을통해테스트커버리지를높일수있음 버전별애플리케이션회귀테스트회귀테스트 테스트케이스별데이터반복테스트 Build 1 Build 2 Build n 자동화도구 Test Case 1 Test Case 1 Test Case 1 데이터반복테스트 Data 1 Data 2 Data n Data 1 Data 2 Data n Data 1 Data 2 Data n Rational Functional Tester Rational TestRT Ratiional AppScan Test Case 2 Test Case 2 Test Case 2 Rational Performance Tester HP tools Test Case n Test Case n Test Case n

24 RFT RQM 연계테스트 테스트실행단위 ( 스크립트 ) 의결과가아닌테스트케이스기반의결과수집 테스크케이스및스크립트구현된테스트케이스, 실행된결과, 성공 / 실패여부 요구사항 테스트계획 / 케이스 테스트 결함에이르는결과의연관성및추적성제공 DOORS 1. 요구사항작성 요구사항 RQM 결과 RQM 1. 테스트케이스작성 2. 테스트스크립트추가 3. 테스트실행 4. 테스트결과수집 테스트계획 테스트케이스 결함 RFT 테스트결과 1. 테스트스크립트작성 테스트스크립트 테스트실행 테스트대상애플리케이션

25 목 차 소프트웨어개발과품질 Collaboration & Automation Requirement based 요약

26 조기검증의부재와문제점

27 기능및제품소개 요구사항에서시작되는품질관리의필요성 명확한비즈니스목적 비즈니스의목적, 고객의요구, 기술적명세서및규제등에대한가시성을높여테스트케이스를작성하는설계자, 개발자및테스터의이해도증진 개발자의생산성 19% 향상 European Based Semiconductor Company 비용절감 품질계획, 추적성파악, 테스트자산재사용, 재작업감소, 결함분석등을통한비용절감 GBS 테스팅서비스의고객들은이분야의 best-practice 개선으로 20~50% 의비용절감 GBS study of 846 projects over 4 years Reduce Project Costs Business Innovation Requirements Improve Quality Accelerate Delivery Time 품질개선 요구사항과테스트케이스의연계성추적으로 100% 의커버리지보장 품질프로세스의성숙도, 자동화와테스트공정상의협업모델개선 22% 의결함감소효과 - Financial Applications Company 시간단축 추적성자동파악과재작업감소, 자산재사용및자동화도구사용으로시간단축 팀원 /LOB 간의협업모델개선으로리뷰및승인절차소요시간 15% 개선 자동화테스트수행으로 3,000 여지사의 50 여개의애플리케이션테스트를 16 일주기로단축 leading bank in Italy

28 Rational DOORS DOORS 는요구사항수집및개발, 분석과정을통해전체시스템사양서를도출하고이들간에추적성을확보할수있는요구사항관리도구 효과적인의사소통및협업의도구로써요구사항수집 요구사항에대한추적성확보가필수적임 상위레벨의요구사항이어떻게하위레벨로변경되는가에대한이해가필요 예 : 요구사항 시스템설계서 (V 모델 ) 파일단위가아닌문서내에존재하는문장 ( 요구사항 ) 단위의추적에따른분석 변경이력및베이스라인관리 사용자요구사항 시스템사양서시스템설계서누락된요구사항식별

29 DOORS RQM 통합 요구사항을기반으로한테스트수행이기대치에맞는품질을보장 1. DOORS 의요구사항이 RQM 내의지정된테스트프로젝트로전달 2. 요구사항에근거한테스트업무가자세하게정의됨 3. 요구사항관점의테스트수행결과가 DOORS 로전달됨 테스트수행 3 테스트상태요구사항관리 1 Rational DOORS Rational Quality Manager 테스트계획 테스트설계 2

30 DOORS RQM 통합 DOORS에서작성된요구사항리스트가 RQM으로반영됨 변경된사항상호적용이가능하여요구사항 테스트추적성확보 테스트작성의근거로도출된요구사항을사용 요구사항에대한적합성 충족 DOORS Clients RQM Interface Server RQM Host 변경된요구사항

31 요구사항에기반한테스트 DOORS Rational Quality Manager 사용자요구사항 사용자요구사항테스트계획 satisfies satisfies 시스템요구사항 테스트케이스 테스트스크립트 시스템요구사항테스트계획 테스트케이스 테스트스크립트 인수테스트수행 시스템테스트수행 결함 설계요구사항 설계요구사항테스트계획 테스트케이스 테스트스크립트 통합테스트수행

32 DOORS RQM 통합 RQM 관점에서의정보 요구사항에근거한테스트를수행하기위한여러정보를제공 요구사항커버리지 테스트케이스로구현된요구사항의커버리지정보 요구사항 테스트 결함정보추적성제공 전체테스트공정에서의산출물간의연관성을제공 Ex) 결함이발생된요구사항등 변경된요구사항추적가능 요구사항커버리지 결함이발생된요구사항

33 DOORS RQM 통합 DOORS 관점에서의정보 요구사항담당자들이요구사항과관련되어수행된테스트정보확인가능 구현된테스트산출물 : 테스트케이스, 테스트스크립트 테스트실행결과 요구사항분석이후의품질관리업무에직 / 간접적으로참여 DOORS DOORS View Run Traceability Report Run Test Report 동기화 테스트계획에정보추가 테스트케이스 / 테스트스크립트작성 RQM 테스트실행결과 테스트수행정보 (Test Report)

34 목 차 소프트웨어개발과품질 Collaboration Requirement based Automation 요약

35 요 약 프로젝트성숙도수준별결함분포 Best Practice 1. 초기단계부터시작되는품질과관련된업무수행 테스팅성숙도수준 분석설계구현테스트운영 Trouble Project Risk 2. 다양한팀원들이참여하는품질개선 3. 분석된요구사항을근거로수행되는테스트업무 4. 전체품질관리공정에걸친연관성 분석설계구현테스트운영 5. 자동화도구를이용한효율적인업무 *IBM Watson 연구소 - 25 년간의 IBM 수행프로젝트데이터분석을통한통계자료에기반함

36 감사합니다

37 요약 요구사항정의테스트설계테스트구현테스트변경관리 요구사항관리 QA 변경관리 통합 Rational Quality Manager 통합 (Jazz) Rational DOORS Rational RequisitePro Optional 1. 전체팀원들의품질개선 2. 조기검증 3. 테스트자동화 Rational Functional Tester Rational Performance Tester Rational AppScan Tester Edition Rational Team Concert Rational ClearQuest Optional 요구사항 요구사항 요구사항 동기화 요구사항 테스트케이스 테스트스크립트 테스트로그 결함처리요청서 결함처리요청서 결함처리 요청서동기화 결함처리 요청서 Quality Dashboard 팀협업모델제공