DOI QR코드

DOI QR Code

Development of Frequent Sequence Extractor Based on Hadoop

하둡 기반 빈발 시퀀스 추출기 개발

  • Park, Joon-Ha (Dept. of Computer Engineering, Korea Polytechnic University) ;
  • Lee, Byung-Hee (Dept. of Computer Engineering, Korea Polytechnic University) ;
  • Park, Sang-Jae (Dept. of Computer Engineering, Korea Polytechnic University) ;
  • Lee, Jeong-Joon (Dept. of Computer Engineering, Korea Polytechnic University)
  • 박준하 (한국산업기술대학교 컴퓨터공학과) ;
  • 이병희 (한국산업기술대학교 컴퓨터공학과) ;
  • 박상재 (한국산업기술대학교 컴퓨터공학과) ;
  • 이정준 (한국산업기술대학교 컴퓨터공학과)
  • Published : 2013.11.08

Abstract

최근 증권, 센서, 기후, 의료 분야 등에서 수많은 시계열 데이터들이 쏟아져 나오고 있고, 이러한 시계열 빅 데이터를 통해 의미를 찾아내고자 하는 시계열 해석 및 분석, 예측 작업의 수요가 증가하고 있다. 시계열 해석 및 분석, 예측 작업을 하기 위해서 사용 될 수 있는 기초 작업은 유사한 시계열 시퀀스를 찾아내는 유사 시퀀스 매칭과 이러한 매칭을 통해 특정 시계열 데이터의 하나의 특징이 되는 빈발 시퀀스 추출 기술이 필요하다. 본 논문에서는 이러한 시계열 빅 데이터에서 유사 시퀀스 매칭을 이용한 빈발 시퀀스 추출 문제를 효율적으로 해결하는 빈발 시퀀스 추출기(Frequent Sequence Extractor)를 개발 및 구현하였다. 또한 분산처리 플랫폼인 하둡을 이용한 데이터 파싱을 사용하여, 각 분야별 시계열 데이터를 분석하는 전문가에게 효율적인 분산처리 효과를 제공한다.

Keywords