The Journal of the Acoustical Society of Korea (한국음향학회지)

The Acoustical Society of Korea (한국음향학회)
권호 표지
DOI QR코드

DOI QR Code

Online anomaly detection algorithm based on deep support vector data description using incremental centroid update

점진적 중심 갱신을 이용한 deep support vector data description 기반의 온라인 비정상 탐지 알고리즘

  • 이기배 (제주대학교 해양시스템공학과) ;
  • 고건혁 (제주대학교 해양시스템공학과) ;
  • 이종현 (제주대학교 해양시스템공학과)
  • Received : 2022.01.13
  • Accepted : 2022.03.08
  • Published : 2022.03.31
Download PDF
⟨ Previous Next ⟩

Abstract

Typical anomaly detection algorithms are trained by using prior data. Thus the batch learning based algorithms cause inevitable performance degradation when characteristics of newly incoming normal data change over time. We propose an online anomaly detection algorithm which can consider the gradual characteristic changes of incoming normal data. The proposed algorithm based on one-class classification model includes both offline and online learning procedures. In offline learning procedure, the algorithm learns the prior data to be close to centroid of the latent space and then updates the centroid of the latent space incrementally by new incoming data. In the online learning, the algorithm continues learning by using the updated centroid. Through experiments using public underwater acoustic data, the proposed online anomaly detection algorithm takes only approximately 2 % additional learning time for the incremental centroid update and learning. Nevertheless, the proposed algorithm shows 19.10 % improvement in Area Under the receiver operating characteristic Curve (AUC) performance compared to the offline learning model when new incoming normal data comes.

일반적인 비정상 탐지 알고리즘은 사전 데이터를 이용하여 학습된다. 따라서 시간에 따른 정상 데이터의 특징이 변화되는 경우에 기존의 배치 학습 기반 알고리즘의 성능 저하가 불가피하다. 본 논문에서는 정상 데이터의 점진적 특징 변화를 고려할 수 있는 온라인 비정상 탐지 알고리즘을 제안한다. 제안하는 알고리즘은 단일 클래스 분류 모델에 기반하며 오프라인 및 온라인 단계의 학습 과정을 포함한다. 제안된 알고리즘의 오프라인 학습 단계에서는 사전 데이터가 잠재 공간의 중심에 근접하도록 학습하고, 이후 온라인 학습단계에서는 신규 데이터에 의한 점진적 잠재 공간의 중심을 갱신하고, 갱신된 중심을 기준으로 계속 학습을 진행한다. 공개된 수중 음향 데이터를 이용한 실험결과 제안된 온라인 비정상 탐지 알고리즘은 점진적 중심 갱신 및 학습을 위해 단지 2 % 정도의 추가 학습시간이 소요되는 것으로 확인되었다. 반면에 시변 정상데이터가 수신되는 경우에 오프라인 학습 모델과 비교하여 19.10 % 개선된 Area Under the receiver operating characteristic Curve(AUC) 성능을 보였다.

Keywords

Acknowledgement

이 논문은 2021학년도 제주대학교 교원성과지원사업에 의하여 연구되었음.

References

  1. L. Ruff, J. R. Kauffmann, R. A. Vandermeulen, G. Monatavon, W. Samek, M. Kloft, T. G. Dietterich, and K. R. Muller, "A unifying review of deep and shallow anomaly detection," Proceeding of the IEEE, 109, 756-795 (2021). https://doi.org/10.1109/JPROC.2021.3052449
  2. B. Scholkopf, R. Willianson, A. Smola, J. S. Taylor, and J. Platt, "Support vector method for novelty detection," Proc. NIPS. 582-588 (1999).
  3. D. M. Tax and R. P. Duin, "Support vector data description," Machine Learning, 59, 45-66 (2004).
  4. L. Ruff, R. A. Vandermeulen, N. Gornits, L. Deecke, S. A. Siddiqui, A. Binder, E. Muller, and M. Kloft, "Deep one-class classification," Proc. ICML. 4393-4402 (2018).
  5. S. Akvay, A. A. Abarghouel, and T. P. Breckon, "GA Nomaly: semi-supervised anomaly detection via adversarial training," Proc. ACCV. 622-637 (2018).
  6. K. Lee and C. H. Lee, "Abnormal signal detection based on parallel autoencoders" (in Korean), J. Acoust. Soc. Kr. 40, 337-346 (2021).
  7. K. Lee, C. H. Lee, and J. Lee, "Semi-supervised anomaly detection algorithm usign probabilistic labeling (SAD-PL)," IEEE Access, 9, 142972-142981 (2021). https://doi.org/10.1109/ACCESS.2021.3120710
  8. Y. Wu, Y. Chen, L. Wang, Y. Ye, Z. Liu, T. Guo, and Y. Fu, "Large scale incremental learning," Proc. CVPR. 374-382 (2019).
  9. J. He, R. Mao, Z. Shao, and F. Zhu, "Incremental learning in online scenario," Proc. CVPR. 13926-13935 (2020).
  10. S. Seo, S. Park, C. Jeong, and J. Kim, "Knowledge distillation based online learning methodology using unlabeled data stream," Proc. MLMI. 68-71 (2018).
  11. R. J. Urick, Principles of Uunderwater Sound (Peninsula, Westport, 1993), pp. 181-200.
  12. K. Lee, J. Kim, M. J. Cheong, Y. W. Ryu, J. Bae, and C. H. Lee, "Separation and denoising algorithm of passive sonar targe signals in frequency domain," J. IEIE. 55, 88-96 (2018). https://doi.org/10.5573/ieie.2018.55.3.88
  13. D. S. Dominguez, S. T. Guijarro, A. C. Lopez, and A. P. Gimenez, "ShipEar: An underwater vessel noise database," Applied Acoustics, 113, 64-69 (2016). https://doi.org/10.1016/j.apacoust.2016.06.008
  14. K. J. V. Raposa, G. Scowcroft, J. H. Miller, D. R. Ketten, and A. N. Popper, "Discovery of sound in the sea: Resources for educators, students, the public, and policymakers," in Handbook of The Effects of Noise on Aquatic Life 2, edited by A. N. Popper and A. Hawkins (Springer, New York, 2016).