KIISE Transactions on Computing Practices (정보과학회 컴퓨팅의 실제 논문지)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지
DOI QR코드

DOI QR Code

Anomaly Detection Technique of Log Data Using Hadoop Ecosystem

하둡 에코시스템을 활용한 로그 데이터의 이상 탐지 기법

  • 손시운 (강원대학교 컴퓨터과학과) ;
  • 길명선 (강원대학교 컴퓨터과학과) ;
  • 문양세 (강원대학교 컴퓨터과학과)
  • Received : 2016.10.10
  • Accepted : 2016.11.28
  • Published : 2017.02.15
⟨ Previous Next ⟩

Abstract

In recent years, the number of systems for the analysis of large volumes of data is increasing. Hadoop, a representative big data system, stores and processes the large data in the distributed environment of multiple servers, where system-resource management is very important. The authors attempted to detect anomalies from the rapid changing of the log data that are collected from the multiple servers using simple but efficient anomaly-detection techniques. Accordingly, an Apache Hive storage architecture was designed to store the log data that were collected from the multiple servers in the Hadoop ecosystem. Also, three anomaly-detection techniques were designed based on the moving-average and 3-sigma concepts. It was finally confirmed that all three of the techniques detected the abnormal intervals correctly, while the weighted anomaly-detection technique is more precise than the basic techniques. These results show an excellent approach for the detection of log-data anomalies with the use of simple techniques in the Hadoop ecosystem.

최근 대용량 데이터 분석을 위해 다수의 서버를 사용하는 시스템이 증가하고 있다. 대표적인 빅데이터 기술인 하둡은 대용량 데이터를 다수의 서버로 구성된 분산 환경에 저장하여 처리한다. 이러한 분산 시스템에서는 각 서버의 시스템 자원 관리가 매우 중요하다. 본 논문은 다수의 서버에서 수집된 로그 데이터를 토대로 간단하면서 효율적인 이상 탐지 기법을 사용하여 로그 데이터의 변화가 급증하는 이상치를 탐지하고자 한다. 이를 위해, 각 서버로부터 로그 데이터를 수집하여 하둡 에코시스템에 저장할 수 있도록 Apache Hive의 저장 구조를 설계하고, 이동 평균 및 3-시그마를 사용한 세 가지 이상 탐지 기법을 설계한다. 마지막으로 실험을 통해 세 가지 기법이 모두 올바로 이상 구간을 탐지하며, 또한 가중치가 적용된 이상 탐지 기법이 중복을 제거한 더 정확한 탐지 기법임을 확인한다. 본 논문은 하둡 에코시스템을 사용하여 간단한 방법으로 로그 데이터의 이상을 탐지하는 우수한 결과라 사료된다.

Keywords

Acknowledgement

Grant : 데이터 스트림 정제를 위한 지능형 샘플링 및 필터링 기술 개발

Supported by : 정보통신기술진흥센터, 한국연구재단

References

  1. J. Manyika, M. Chui, B. Brown, J. Bughin, R. Dobbs, C. Roxburgh, and A. Byers, "Big Data: The Next Frontier for Innovation, Competition, and Productivity," Technical Report, McKinsey Global Institute, 2011.
  2. D. Cutting. (2010, May 8). Apache Hadoop [Online]. Available: http://hadoop.apache.org/ (downloaded 2015, Apr. 8).
  3. M. Massie. (2001). Ganglia Monitoring System [Online]. Available: http://ganglia.info/ (downloaded 2015, Apr. 8).
  4. Facebook. (2008, Aug.). Apache Hive [Online]. Available: https://hive.apache.org/ (downloaded 2015, Apr. 8).
  5. A. Thusoo, J. S. Sarma, N. Jain, Z. Shao, P. Chakka, S. Authony, H. Liu, P. Wyckoff, and R. Murthy, "Hive: a Warehousing Solution over a Map-Reduce Framework," Proc. of the VLDB Endowment, Vol. 2, Issue 2, pp. 1626-1629, Aug. 2009.
  6. Y.-S. Moon and J. Kim, "Efficient Moving Average Transform-Based Subsequence Matching Algorithms in Time-Series Databases," Information Sciences, Vol. 177, No. 23, pp. 5415-5431, Dec. 2007. https://doi.org/10.1016/j.ins.2007.05.038
  7. J. M. Lucas and M. S. Saccucci, "Exponentially Weighted Moving Average Control Schemes: Properties and Enhancements," Technometircs, Vol. 32, No. 1, pp. 1-12, 1990. https://doi.org/10.1080/00401706.1990.10484583
  8. J. S. Hunter, "The exponentially Weighted Moving Average," Journal of Quality Technology, Vol. 18, No. 4, Oct. 1986.
  9. F. Pukelsheim, "The three sigma rule," The American Statistician, Vol. 48, Issue 2, pp. 88-91, 1994.
  10. K. Shvachko, H. Kuang, S. Radia, and R. Chansler, "The Hadoop Distributed File System," Proc. of the 26th IEEE Symp. on Mass Storage Systems and Technologies, Lake Tahoe, Nevada, pp. 1-10, May 2010.
  11. J. Dean and S. Ghemawat, "MapReduce: Simplified Data Processing on Large Clusters," Communications of the ACM, Vol. 51, No. 1, pp. 107-113, Jan. 2008. https://doi.org/10.1145/1327452.1327492