Discriminative Training of Predictive Neural Network Models

예측신경회로망 모델의 변별력 있는 학습

Predictive neural network models are powerful speech recognition models based on a nonlinear pattern prediction. But those models suffer from poor discrimination between acoustically similar words. In this paper we propose an discriminative training algorithm for predictive neural network models. This algorithm is derived from GPD (Generalized Probabilistic Descent) algorithm coupled with MCEF(Minimum Classification Error Formulation). It allows direct minimization of a recognition error rate. Evaluation of our training algoritym on ten Korean digits shows its effectiveness by 30% reduction of recognition error.

예측신경회로망 모델은 패턴 예측에 의한 매우 효과적인 음성인식 모델이다. 그러나, 그러한 모델은 유사한 어휘간에서 변별력이 떨어지는 단점이 있다. 이 논문에서는 그러한 단점을 극복하기 위한 변별력있는 학습 알고리즘을 제안한다. 이 알고리즘은 최소 분류 오차 수식화와 GPD 알고리즘으로부터 유도외면 그에 따라서 인식 오차의 수를 직접 최소화하는 것이 가능하다. 한국어 숫자음에 대한 인식 실험결과, 기존의 알고리즘에서 발생하는 오인식의 30%를 줄일 수 있었다.