An Empiricl Study on the Learnign of HMM-Net Classifiers Using ML/MMSE Method

ML/MMSE를 이용한 HMM-Net 분류기의 학습에 대한 실험적 고찰

The HMM-Net is a neural network architecture that implements the computation of output probabilities of a hidden Markov model (HMM). The architecture is developed for the purpose of combining the discriminant power of neural networks with the time-domain modeling capability of HMMs. Criteria of maximum likehood(ML) and minimization of mean squared error(MMSE) are used for learning HMM-Net classifiers. The criterion MMSE is better than ML when initial learning condition is well established. However Ml is more useful one when the condition is incomplete[3]. Therefore we propose an efficient learning method of HMM-Net classifiers using a hybrid criterion(ML/MMSE). In the method, we begin a learning with ML in order to get a stable start-point. After then, we continue the learning with MMSE to search an optimal or near-optimal solution. Experimental results for the isolated numeric digits from /0/ to /9/, a training and testing time-series pattern set, show that the performance of the proposed method is better than the others in the respects of learning and recognition rates.

HMM-Net은 은닉 마르코프 모델(HMM)의 계산과정을 신경망 구조로 구현한 것으로, HMM이 갖고 있는 시계열 모델링 능력과 신경망이 갖고 있는 우수한 변별력을 결합한 것이다. HMM-Net 분류기를 학습하는 방법으로는 HMM의 학습에 이용되는 最尤法(ML)과 신경망 학습의 最小二乘誤差法(MMSE)를 적용할 수 있다. 이들 중 ML이 MMSE보다 안정된 학습을 보장하는 반면 초기 학습조건을 적절하게 설정하였을 경우에는 MMSE가 ML보다 우수하다고 알려져 있다[3]. 따라서 이 논문에서는 먼저 ML을 이용하여 초기학습을 수행한 다음 보다 학습성능이 우수한 MMSE로 바꾸어 최적 또는 준최적으로 학습하는 하이브리드 학습법(ML/MMSE)을 제안한다. 실험용 시계열 패턴으로 /0/부터 /9/까지의 고립 숫자음을 이용하여 실험한 결과, 제안한 방법이 학습특성 및 인식률면에서 ML이나 MMSE만을 이용하는 기존의 방법보다 우수하였음을 확인하였다.