Test Item Prioritizing Metrics for a Selective Software Testing

차별화된 소프트웨어 시험을 위한 시험항목 우선순위 조정

  • 이재기 (한국전자통신연구원 솔루션개발프로세스연구팀) ;
  • 이재정 (한국전자통신연구원 품질보증팀)
  • Published : 2008.01.31

Abstract

The system test was accomplished in delivery time for a suitable of various requirements at the software market. Especially, critical faults must be detected and removed for a close main functions and users against target system. In generally, proposed test methods are executed with a calendar time, not a competitive and effectiveness method as selective software testing. These methods are inapplicable to short term test or early system development stage. Moreover, it's accompanied by heavy cost. Overcoming of these problems, must attempted to new software test method role of core function in the system test. Selective software testing method is decided to mixing with the three-information such as a frequency, complexity of use scenario and fault impact. Using this information, searching a fatal error and usefully system test for an executed test scenario. In this paper, we have proposed new test method and verified testing results for the detection of critical faults or search a fatal errors with a system main function.

다양한 소프트웨어 기능들에 대해서 활발한 시장의 요구사항에 부응하기 위해서는 주어진 납기에 시스템시험을 마쳐야 한다. 특히, 사용자나 개발목표 시스템의 주요 핵심기능과 밀접한 주요 고장들은 시스템시험에서 반드시 검출, 제거되어야 한다. 대부분 제안되고 있는 시스템시험 방법은 효율적이고 가격 경쟁력을 갖춘 선택적인 시험 방법이 아닌 일상적인 방법이다. 이러한 방법들은 시스템 개발 초기나 단기간(short-term)의 효과적인 시험에 응용할 수 없으며, 새로운 기능의 추가에 따른 시험 준비에 많은 비용이 수반되므로 효과적인 시험이 되지 못한다. 이러한 문제를 극복하기 위한 새로운 시험방법으로 시험수행의 핵심적인 역할을 수행하는 선택적인 소프트웨어 시험이 필요하다. 선택적인 시험방법은 3가지 정보를 조합하여 시험항목 순위를 결정하는데 즉, 사용빈도, 시나리오 복잡도, 고장강도 등이다. 이 정보를 사용하여 시험을 수행함으로써 시스템의 치명적인 고장을 찾는데 활용함으로써 보다 효율적인 시스템 시험을 수행할 수 있다. 본 논문에서는 주요기능과 관련된 심각한 오류와 시스템의 치명적인 결함을 찾는 선택적인 소프트웨어 시험 방법에 대해 제안된 방법을 적용, 그 결과를 검증한다.

Keywords

References

  1. Gregg Rothermel, Mary Jean Harrold, "Empirical Studies of a Safe Regression Test Selection Technique", IEEE Trans. on Software Engineering, Vol. 24, No. 6, pp.401-419, JUNE 1998 https://doi.org/10.1109/32.689399
  2. Gregg Rothermel, Roland H. Untch, Chengyun Chu, Mary Jean Harrold, "Prioritizing Test Cases for Regression Testing", IEEE Trans. on Software Engineering, Vol. 27, No. 10, pp.929-948, Oct. 2001 https://doi.org/10.1109/32.962562
  3. SHNJI INOUE and SHIGERU YAMADA, "Testing-Coverage Dependant Software Reliability Growth Model", International Journal of Reliability, Quality and Safety Engineering, Vol. 11, No. 4, pp.303-312, 2004 https://doi.org/10.1142/S0218539304001531
  4. B. Beizer, Block-Box Testing, John Wiley & Sons, New York, 1995
  5. D. Binkley, "Semantics guided regression test cost reduction", IEEE Trans. on Software Engineering, Vol. 23, No. 8, pp.498-516, Aug. 1997 https://doi.org/10.1109/32.624306
  6. Sebastian Elbaum , Gregg Rothermel, "Incorporating varying test costs and fault severities into test case prioritization", Proc. 23rd International Conference on Software Engineering, pp.329-338, 2001
  7. N.E. Fenton and S.L. Pleeger, Software Metrics : A Rigorous & Practical Approach, PWS Publishing, 1997
  8. Sebastian Elbaum, Alexey G. Malishevsky, Gregg Rothermel, "Test Case Prioritization : A Family of Empirical Studies", IEEE Trans. on Software Engineering, Vol. 28, No. 2, pp.159-182, Feb. 2002 https://doi.org/10.1109/32.988497
  9. 이재기, 유재연, "기능블럭을 갖는 교환 소프트웨어의 정량적인 신뢰도 평가", 대한전자공학회논문지, SE No. 29, pp. 1096-1104, 1998
  10. R. Gupta, M.J. Harrold and M.L. Soffa, "An approach to regression test using slicing", Proc. Conference on Software maintenance, pp.299-308, 1992
  11. M.J. Harrold, D. Rosenblum, Gregg Rothermel, and Weyuker, "Empirical Studies of a prediction model for regression test selection", IEEE Trans. on Software Engineering, Vol. 27, No. 3, pp.248-263, 2001 https://doi.org/10.1109/32.910860
  12. J.D. Musa, "Software Reliability Engineering testing", IEEE Software, Vol.29, No. 11, pp.61-68, Nov. 1996
  13. J.D. Musa, Software Reliability Engineering : Faster Development and Testing, McGraw-Hill. 1998
  14. D.M. Marks, Testing very big Systems, McGraw-Hill. 1992
  15. W. Perry, Effective methods for Software testing, Wiley Publications, 1995
  16. J.A. Whittaker, "What is Software testing? and Why it is so hard?, IEEE Trans. on Software Engineering, Vol. 21, No. 1, pp.70-79, 2000
  17. Wong, J. Hogan, S. London and H. Agawal, "A Study of effective regression testing in practice:, Proc. 8th International Symposium on Software Reliability Engineering, pp.230-238, 1997
  18. ETRI, S-OLT/ONT 시스템 기술, ETRI 광대역통합망연구단, 2004. 6