Revision of ART with Iterative Partitioning for Performance Improvement

입력 도메인 반복 분할 기법 성능 향상을 위한 고려 사항 분석

  • 신승훈 (아주대학교 정보통신전문대학원) ;
  • 박승규 (아주대학교 정보통신대학) ;
  • 정기현 (아주대학교 정보통신대학)
  • Published : 2009.05.25

Abstract

Adaptive Random Testing through Iterative Partitioning(IP-ART) is one of Adaptive Random Testing(ART) techniques. IP-ART uses an iterative partitioning method for input domain to improve the performances of early-versions of ART that have significant drawbacks in computation time. Another version of IP-ART, named with EIP-ART(IP-ART with Enlarged Input Domain), uses virtually enlarged input domain to remove the unevenly distributed parts near the boundary of the domain. EIP-ART could mitigate non-uniform test case distribution of IP-ART and achieve relatively high performances in a variety of input domain environments. The EIP-ART algorithm, however, have the drawback of higher computation time to generate test cases mainly due to the additional workload from enlarged input domain. For this reason, a revised version of IP-ART without input domain enlargement needs to improve the distribution of test cases to remove the additional time cost. We explore three smoothing algorithms which influence the distribution of test cases, and analyze to check if any performance improvements take place by them. The simulation results show that the algorithm of a restriction area management achieves better performance than other ones.

적응적 랜덤 테스팅 (Adaptive Random Testing, ART) 기법 중 입력 도메인 반복 분할을 이용한 기법(ART through Iterative Partitioning, IP-ART)은 초기 ART 기법이 가지는 단점인 많은 거리 연산량을 입력 도메인 반복 분할 기법을 이용해 효율적으로 개선하였다. 또한 입력 도메인 확장을 이용한 IP-ART 기법(IP-ART with Enlarged Input Domain, EIP-ART)은 IP-ART가 가지는 특징을 효과적으로 이용해 IP-ART에서 보이는 테스트 케이스 분포 불균일 현상을 완화시켰으며, 다양한 환경에서 좋은 성능을 보인다. 하지만 EIP-ART는 입력 도메인 확장에 의해 발생되는 부수적인 부하로 인해 테스트 케이스 선택이 지연된다는 단점을 가진다. 이에 따라 본 논문에서는 입력 도메인의 확장 없이, IP-ART의 변화를 통한 성능 개선가능성 확인을 위해 테스트 케이스 분포에 영향을 줄 수 있는 세 가지 조건을 정의하고 이들 각각이 기법에 미치는 영향을 평가하였으며, 실험을 통해 정의된 세 가지 조건 중 제한 영역 관리 조건이 기법의 성능에 가장 긍정적인 영향을 주는 것을 확인하였다.

Keywords

References

  1. J. Regehr, 'Random Testing of Interrupt-Driven Software', in Proceedings of the 5th ACM international conference on Embedded software, pp. 290-298, Jersey City, NJ, USA, Sep. 2005 https://doi.org/10.1145/1086228.1086282
  2. T. Yoshikawa, K. Shimura, T. Ozawa, 'Random program generator for Java JIT compiler test system', in Proceedings of the 3rd International Conference on Quality Software, pp. 20-23, Dallas, Texas, USA, Nov. 2003
  3. G. J. Myers, The Art of Software Testing, 2nd ED., John Wiley & Sons, 2004
  4. T. Chen, T. Tse, Y. Yu, 'Proportional sampling strategy: a compendium and some insights', The Journal of Systems and Software, vol. 58, pp. 65-81, Aug. 2001 https://doi.org/10.1016/S0164-1212(01)00028-0
  5. J. Duran and S. Ntafos. 'An Evaluation of Random Testing', IEEE Transactions on Software Engineering, vol. 10, no. 4, pp. 438–444, Jul. 1984 https://doi.org/10.1109/TSE.1984.5010257
  6. D. Hamlet and R. Taylor. 'Partition Testing Does Not Inspire Confidence', IEEE Transactions on Software Engineering, vol. 16, issue 12, pp. 1402-1411, Dec. 1990 https://doi.org/10.1109/32.62448
  7. 신승훈, 박승규, '입력 도메인 확장을 이용한 반복 분할 기반의 적응적 랜덤 테스팅 기법', 정보처리학회논문지D, vol. 15D, no. 4, pp. 531-540, 2008년 8월
  8. 이광규, 신승훈, 박승규, '반복 분할 기반의 적응적 랜덤 테스팅 향상 기법', 전자공학회논문지, 제 45권 CI편 제5호, pp. 180-191, 2008년 9월.
  9. K. P. Chan, T. Y. Chen, and D. Towey, 'Restricted Random Testing', in Proceedings of the 7th European Conference on Software Quality, vol. 2349 of LNCS, pp. 321-330, Springer, Helsinki, Finland, Jun. 2002 https://doi.org/10.1007/3-540-47984-8_35
  10. T. Y. Chen, G. Eddy, R. Merkel, P. K. Wong, 'Adaptive Random Testing Through Dynamic Partitioning', in Proceedings of the 4th International Conference on Quality Software, pp. 79-86, Braunschweig, Germany, Sep. 2004
  11. T. Y. Chen, D. H. Huang, Z. Q. Zhou, 'Adaptive Random Testing through Iterative Partitioning', in Proceedings of the 11th International Conference on Reliable Software Technologies, vol. 4006 of LNCS, pp. 155-166. Springer-Verlag, Porto, Portugal, Jun. 2006 https://doi.org/10.1007/11767077_13
  12. T. Y. Chen, H. Leung, and I. K. Mak, 'Adaptive Random Testing', in Proceedings of the 9th Asian Computing Science Conference, vol. 3321 of LNCS, pp. 320-329. Springer, Chiang Mai, Thailand, Dec. 2004 https://doi.org/10.1007/978-3-540-30502-6_23
  13. J. Mayer, 'Adaptive Random Testing with Randomly Translated Failure Region', in Proceedings of the 1st International Workshop on Random Testing, pp. 70-77, Portland, Maine, USA, Jul. 2006 https://doi.org/10.1145/1145735.1145746
  14. J. Mayer, C. Schneckenburger, 'Adaptive Random Testing with Enlarged Input Domain', in Proceedings of the Sixth International Conference on Quality Software, pp. 251-258, Beijing, China, Aug. 2006