데이터 스트림의 다중-간격 예측을 위한 통합된 계층형 시간적 메모리 네트워크

An Integrated Hierarchical Temporal Memory Network for Multi-interval Prediction of Data Streams

  • 조건화 (경상대학교 컴퓨터과학과) ;
  • 배선갑 (경상대학교 컴퓨터과학과) ;
  • 심명선 (경상대학교 컴퓨터과학과) ;
  • 배종민 (경상대학교 컴퓨터과학과) ;
  • 강현석 (경상대학교 컴퓨터과학과)
  • 투고 : 2010.01.05
  • 심사 : 2010.05.27
  • 발행 : 2010.07.15

초록

데이터 스트림을 위한 효율적인 예측 방법을 개발하기 위하여 많은 연구들이 진행 되어왔다. 하지만, 이들 방법들은 대부분 고정된 시간 구간에 대한 하나의 예측 결과만을 제공하고 있기 때문에 많은 경우에 다양한 시간 간격을 기초로 얻어진 예측 결과들이 다를 수 있다. 따라서 다중-간격 예측(Multi-Interval Prediction; MIP)을 위한 새로운 방법의 개발이 요구된다. 본 논문은 계층형 시간적 메모리(HTM) 기술을 이용하여 데이터 스트림을 다중-간격 기반으로 예측할 수 있는 새로운 방안을 제시한다. 우리는 원래의 HTM 네트워크에 새로운 노드 형태인 Zeta1LastNode를 도입하여 통합된 계층형 시간적 메모리(Integrated Hierarchical Temporal Memory; IHTM) 네트워크를 제안한다. 특히, 이 IHTM 네트워크의 계층적인 통합 특성을 이용하여, 데이터 스트림에 대한 다중-간격 예측이 효과적으로 이루어질 수 있도록 하였다. 성능 분석을 통해 IHTM이 다중-간격 예측을 함에 있어서 예측 간격이 늘어날수록 원래의 HTM에 비하여 메모리와 계산 시간의 소비를 획기적으로 줄일 수 있다는 것을 보였다.

There is a large body of ongoing research to develop efficient prediction methods for data streams. These methods provide single prediction with a fixed time interval. It is necessary to develop a method for multi-interval prediction (MIP) because different prediction results may be obtained based on different intervals in many cases. In this paper, we propose a solution for MIP based on the Hierarchical Temporal Memory (HTM) model. In order to solve the problem of MIP with HTM, we present an Integrated Hierarchical Temporal Memory (IHTM) network by introducing a new node type Zeta1LastNode to the original HTM network. Using the hierarchical characteristic of the IHTM network, different levels in the network learn and model the features of a data stream with different intervals and generate prediction results for different intervals. Performance evaluation shows that the IHTM is efficient in the memory and time consumption compared with the original HTM network in MIP.

키워드

참고문헌

  1. Y. Yang, X. Wu, and X. Zhu, "Proactive-reactive prediction for data streams," Technical Report CS-05-03, Department of Computer Sciences, University of Vermont, USA, 2005.
  2. B. Babcock, S. Babu, M. Datar, R. Motawani, and J. Widom, "Models and issues in data stream systems," In ACM Symposium on Principles of Database Systems (PODS), 2002.
  3. H. Wang, W. Fan, P. Yu, and J. Han, "Mining Concept-Drifting Data Streams Using Ensemble Classifiers," SIGKDD'03, Washington, 2003.
  4. Numenta, Numenta HTM Home page, Numenta Inc, 2007. http://numenta.com/.
  5. J. Hawkins and D. George, "Hierarchical Temporal Memory: Concepts, Theory, and Terminology," Numenta Inc, 2006.
  6. Numenta, waves example, Numenta Inc, 2007.
  7. Numenta, wallstreet example, Numenta Inc, 2007.
  8. D. George and B. Jaros, "Zatal Algorithms Reference," Numenta Inc, 2007.
  9. D. George and B. Jaros, "The HTM Learning Algorithms," Numenta Inc, 2007.
  10. D. George, "How the Brain Might Work: A Hierarchical and Temporal Model for Learning and Recognition," doctoral dissertation, Stanford University, June 2008.