초록
본문에서는 예측형 회귀신경망과 HMM (Hidden Markov Model)의 하이브리드 네트워크인 회귀신경망 예측 HMM을 구성하였다. 회귀신경망 예측 HMM은 예측형 회귀신경망을 HMM의 각 상태마다 예측기로 정의하여 일정치인 평균벡터 대신에 과거의 특징벡터의 영향을 받아 동적으로 변화하는 신경 망에 의한 예측치를 이용하므로 학습패턴 설정자체가 시변성을 반영하는 동적 네트워크의 특성을 가진다. 따라서 음성과 같은 시계열 패턴의 인식에 유리하다. 회귀신경망 예측 HMM은 예측형 회귀신경망의 구조에 따라 Elman망 예측 HMM과 Jordan망 예측 HMM으로 구분하였다. 실험에서는 회귀신경망 예측 HMM의 상태수를 4, 5, 6으로 증가시켜 각 상태 수별로 예측차수 및 중간층 유니트 수의 변화에 따른 인식성능을 조사하였다. 실험결과 평가용 데이터에 대하여 Elman망 예측 HMM은 상태수가 6이고, 예측차수가 3차, 중간층 유니트의 수가 15차원일 때, Jordan망 예측 HMM의 경우 상태수가 5이고, 예측차수가 3차, 중간층 유니트의 수가 10차원일 때 각각 98.5%로 우수한 결과를 얻었다.
In this paper, we propose the Recurrent Neural Predictive HMM (RNPHMM). The RNPHMM is the hybrid network of the recurrent neural network and HMM. The predictive recurrent neural network trained to predict the future vector based on several last feature vectors, and defined every state of HMM. This method uses the prediction value from the predictive recurrent neural network, which is dynamically changing due to the effects of the previous feature vectors instead of the stable average vectors. The models of the RNPHMM are Elman network prediction HMM and Jordan network prediction HMM. In the experiment, we compared the recognition abilities of the RNPHMM as we increased the state number, prediction order, and number of hidden nodes for the isolated digits. As a result of the experiments, Elman network prediction HMM and Jordan network prediction HMM have good recognition ability as 98.5% for test data, respectively.
