Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)

  • 2024.05a
  • /
  • Pages.658-661
  • /
  • 2024
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지

Anomaly Detection System for Cloud Resources Using Representation Learning-Based Deep Learning Models

표현 학습 기반의 딥러닝 모델을 활용한 클라우드 자원 이상 감지 시스템

  • Min-Yeong Lee (Dept. of Applied Artificial Intelligence, Graduate School of SW.AI Convergence, Korea University) ;
  • Heon-Chang Yu (Dept. of Computer Science & Engineering, Korea University)
  • 이민영 (고려대학교 SW.AI 융합대학원) ;
  • 유헌창 (고려대학교 정보대학 컴퓨터학과 )
  • Published : 2024.05.23
Download PDF
⟨ Previous Next ⟩

Abstract

퍼블릭 클라우드 시장이 성장하면서 퍼블릭 클라우드에서 호스팅하는 컴퓨팅 자원으로 구축된 거대하고 복잡한 IT 시스템이 점차 많아지고 있다. 이러한 시스템의 증가는 서비스 장애 발생 확률을 높이므로, 장애 관리 및 선제 감지를 위한 퍼블릭 클라우드 자원의 이상 감지 연구에 대한 수요 또한 증가하고 있다. 그러나 연구에 활용할 수 있는 벤치마크 데이터셋이 없다는 점과, 실제 자원에서 추출할 수 있는 데이터는 레이블링이 되어 있지 않은 불균형 데이터라는 점 때문에 관련 연구가 부족한 상황이다. 이러한 문제를 해결하고자 본 논문은 비지도 방식의 표현 학습 기반 딥러닝 모델을 활용한 이상 감지 시스템을 제안한다. 시스템의 이상 감지 성능을 유지하고자 일정 주기마다 다수의 딥러닝 모델을 재학습하고 비교하여 최적의 모델로 업데이트 하는 방식을 고안하였다. 해당 시스템의 평가에는 실제 퍼블릭 클라우드 자원에서 발생한 메트릭 데이터가 활용됐으며, 그 결과 준수한 이상 감지 성능을 보인다는 것을 확인하였다.

Keywords

References

  1. Michael Shirer, "Worldwide Spending on Public Cloud Services is Forecast to Reach $1.35 Trillion in 2027, According to New IDC Spending Guide", IDC Media Center, 2023.08.29.
  2. AlTwaijiry, A, "Cloud computing present limitations and future trends.", Journal of Grid and Distributed Computing, 6(6), 93-102, 2021.
  3. Gill, Sukhpal Singh, and Rajkumar Buyya, "Failure management for reliable cloud computing: a taxonomy, model, and future directions.", Computing in Science & Engineering, 22.3, 52-63, 2018.
  4. Cotroneo, Domenico, et al., "Enhancing the analysis of software failures in cloud computing systems with deep learning.", THE JOURNAL OF SYSTEMS AND SOFTWARE, 111043, 2021.
  5. Hagemann, T., & Katsarou, K.. "Reconstruction-based anomaly detection for the cloud: A comparison on the yahoo! webscope s5 dataset.", Proceedings of the 2020 4th International Conference on Cloud and Big Data Computing, 2020, 68-75.
  6. Trirat, Patara, et al., "Universal Time-Series Representation Learning: A Survey.", arXiv preprint arXiv:2401.03717, 2024.
  7. 조현수, "A Deep Representation Learning for Unsupervised Anomaly Detection : 비지도 이상 탐지를 위한 표현 학습론", 박사학위논문, 서울대학교, 2023.
  8. Yang, Yiyuan, et al., "Dcdetector: Dual attention contrastive representation learning for time series anomaly detection.", Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, 3033-3045, 2023.
  9. Wu, Haixu, et al., "Timesnet: Temporal 2d-variation modeling for general time series analysis.", The eleventh international conference on learning representations, 2022.
  10. Tuli, Shreshth, Giuliano Casale, and Nicholas R. Jennings, "TranAD: deep transformer networks for anomaly detection in multivariate time series data.", Proceedings of the VLDB Endowment, 15.6, 1201-1214, 2022.
  11. Audibert, Julien, et al., "Usad: Unsupervised anomaly detection on multivariate time series.", Proceedings of the 26th ACM SIGKDD international conference on knowledge discovery & data mining, 3395-3404, 2020.
  12. Ruff, Lukas, et al., "Deep one-class classification.", International conference on machine learning. PMLR, 4393-4402, 2018.
  13. Webb, Geoffrey I., et al., "Characterizing concept drift.", Data Mining and Knowledge Discovery, 30.4, 964-994, 2016
  14. Hongzuo Xu, et al., DeepOD, GitHub Repository, https://github.com/xuhongzuo/DeepOD
  15. Li, Jinbo, et al., "Clustering-based anomaly detection in multivariate time series data.", Applied Soft Computing 100, 106919, 2021.