Journal of Software Engineering Society (소프트웨어공학소사이어티 논문지)

Software Engineering Society (한국정보과학회 소프트웨어공학 소사이어티)
권호 표지

Generating Test Data for Deep Neural Network Model using Synonym Replacement

동의어 치환을 이용한 심층 신경망 모델의 테스트 데이터 생성

  • 이민수 (중앙대학교 소프트웨어학부) ;
  • 이찬근 (중앙대학교 소프트웨어학부)
  • Received : 2019.01.04
  • Accepted : 2019.01.12
  • Published : 2019.06.30
Download PDF
⟨ Previous Next ⟩

Abstract

Recently, in order to effectively test deep neural network model for image processing application, researches have actively conducted to automatically generate data in corner-case that is not correctly predicted by the model. This paper proposes test data generation method that selects arbitrary words from input of system and transforms them into synonyms in order to test the bug reporter automatic assignment system based on sentence classification deep neural network model. In addition, we compare and evaluate the case of using proposed test data generation and the case of using existing difference-inducing test data generations based on various neuron coverages.

최근 이미지 처리 응용을 위한 심층 신경망 모델의 효과적 테스팅을 위해 해당 모델이 올바르게 예측하지 못하는 코너 케이스에 해당하는 행동을 보이는 데이터를 자동 생성하는 연구가 활발히 진행되고 있다. 본 논문은 문장 분류 심층 신경망 모델에 기반하고 있는 버그 담당자 자동 배정 시스템의 테스트를 위해 입력 데이터인 버그 리포트의 내용에서 임의의 단어를 선택해 동의어로 변형하는 테스트 데이터 생성기법을 제안한다. 그리고 제안하는 테스트 데이터 생성 기법을 사용한 경우와 기존의 차이 유발 테스트 데이터 생성 기법을 사용했을 경우를 다양한 뉴런 기반 커버리지를 중심으로 비교 평가한다.

Keywords

References

  1. K. Pei, Y. Cao, J. Yang, S. Jana, "DeepXplore : automated whitebox testing of deep learning systems," In Proc. of SOSP, ACM, pp. 1-18, Oct, 2017.
  2. Lei Ma, Felix Juefei-Xu, Jiyuan Sun, Chunyang Chen, Ting Su, Fuyuan Zhang, Minhui Xue, Bo Li, Li Li, Yang Liu, Jianjun Zhao, and Yadong Wang, "Deepguage: Comprehensive and multi-granularity testing criteria for gauging the robustness of deep learning systems," In Proc. of ASE, pp. 120-13, 2018.
  3. 박해성, 김수빈, 이찬근, 채병훈, 딥러닝 모델 기반의 버그 담당자 자동 배정 시스템 성능 측정, 한국 소프트웨어공학 학술대회 2018
  4. Houssem Ben Braiek, Foutse Khomh, "On Testing Machine Learning Programs,", CoRR, abs/1812.02257, 2018, URL: https://arxiv.org/abs/1812.02257
  5. Francesco Leofante, Nina Narodytska, Luca Pulina, Armando Tacchella, "Automated Verification of Neural Networks: Advances, Challenges and Perspectives," CoRR, abs/1805.09938, 2018, URL: http://arxiv.org/abs/1805.09938.