• The Journal of the Acoustical Society of Korea
• /
• v.13 no.1E
• /
• pp.11-19
• /
• 1994

Hidden Markov Models (HMM's) with explicit state duration density (HMM/SD) can represent the time-varying characteristics of speech signals more accurately. However, such an advantage is reduced in relatively smooth state duration densities or ling bounded duration. To solve this problem, we propose HMM's with global path constraint (HMM/GPC) where the transition between states occur only within prescribed time slots. HMM/GPC explicitly limits state durations and accurately describes the temproal structure of speech simply and efficiently. HMM's formed by combining HMM/GPC with HMM/SD are also presented (HMM/SD+GPC) and performances are compared. HMM/GPC can be implemented with slight modifications to the conventional Viterbi algorithm. HMM/GPC and HMM/SD_GPC not only show superior performance than the conventional HMM and HMM/SD but also require much less computation. In the speaket independent isolated word recognition experiments, the minimum recognition eror rate of HMM/GPC(1.6%) is 1.1% lower than the conventional HMM's and the required computation decreased about 57%.

• The Journal of the Acoustical Society of Korea
• /
• v.22 no.2
• /
• pp.145-152
• /
• 2003

In this paper, assuming that the score of speech utterance is the product of HMM log likelihood and HMM weight, we propose a new method that HMM weights are adapted iteratively like the general MCE training. The proposed method adjusts HMM weights for better performance using delta coefficient defined in terms of misclassification measure. Therefore, the parameter estimation and the Viterbi algorithms of conventional 1:.um can be easily applied to the proposed model by constraining the sum of HMM weights to the number of HMMs in an HMM set. Comparing with the general segmental MCE training approach, computing time decreases by reducing the number of parameters to estimate and avoiding gradient calculation through the optimal state sequence. To evaluate the performance of HMM-based speech recognizer by weighting HMM likelihood, we perform Korean isolated digit recognition experiments. The experimental results show better performance than the MCE algorithm with state weighting.

• Proceedings of the Acoustical Society of Korea Conference
• /
• 1994.06c
• /
• pp.152-156
• /
• 1994

본 논문에서는 연속출력 확률분포 HMM 모델의 단점을 보완하기 위해 1) 지속시간 확률분포를 갖는 HMM, 2) 동적특징 파라메터를 부여한 HMM, 3) 혼합연속출력 확률분포 HMM을 구성하여 한국어 단음절에 대한 인식실험을 하였다. 실험결과 화자 종속에서는 연속출력 확률분포 HMM 보다 지속시간 확률분포를 갖는 HMM의 경우 0.70%, 동적특징 파라메터를 부여한 HMM의 경우 1.06%, 혼합연속출력 확률분포 HMM의 경우 1.64%의 인식류리 향상되었다. 화자 독립에서는 연속출력 확률분포 HMM보다 동적특징 파라메터를 부여한 HMM의 경우 1.4%, 혼합연속 출력 확률분포 HMM의 경우 2.36%, 지속시간 확률분포를 갖는 HMM의 경우 2.78%의 인식률이 향상되었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 1998.10c
• /
• pp.372-374
• /
• 1998

온라인 문자 인식을 위해 시도된 여러 방법 중 은닉 마르코프 모델(HMM)이 우수한 성능을 보이고 있다. 영숫자 인식은 물론 한글 인식에 있어서도 HMM은 최근 널리 사용되고 있는데, HMM을 이용해서 모델링 할 때 해결해야 할 문제 중의 하나는 HMM의 구조를 어떻게 최적화 하느냐이다. 본 논문에서는 HMM을 이용한 온라인 한글 인식 시스템에서 HMM의 최적화를 통해 인식률을 향상시키고자 한다. 특히 HMM의 상태(state)수를 어떻게 정할 것인가에 초점을 맞춰, 실험을 통해 최적의 HMM 상태 수를 찾고자 한다.

• The Journal of the Acoustical Society of Korea
• /
• v.20 no.8
• /
• pp.12-18
• /
• 2001

In this paper, we propose the Recurrent Neural Predictive HMM (RNPHMM). The RNPHMM is the hybrid network of the recurrent neural network and HMM. The predictive recurrent neural network trained to predict the future vector based on several last feature vectors, and defined every state of HMM. This method uses the prediction value from the predictive recurrent neural network, which is dynamically changing due to the effects of the previous feature vectors instead of the stable average vectors. The models of the RNPHMM are Elman network prediction HMM and Jordan network prediction HMM. In the experiment, we compared the recognition abilities of the RNPHMM as we increased the state number, prediction order, and number of hidden nodes for the isolated digits. As a result of the experiments, Elman network prediction HMM and Jordan network prediction HMM have good recognition ability as 98.5% for test data, respectively.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.07b
• /
• pp.853-855
• /
• 2005

은닉 마르코프(HMM)의 HMM의 구조 최적을 위한 모델 선택 방법에 많은 방법들이 연구되어지고 있다. HMM의 구조를 어떻게 최적으로 정해야 하는 가에 대해 HMM의 구조를 체계적인 방법으로 정함과 동시에 변별력의 단점을 개선 할 수 있는 방법으로 Anti-likelihood(ALC1)를 제안하였고 이를 모델 선택 기준인 BIC와의 결합(ALC2)하여 필기 데이터에 대해 실험한 결과 기존의 방법보다 파라미터의 수는 감소되고 인식률이 향상됨을 알 수 있었다. 이를 Discrete HMM에도 적용하여 제안된 ALC2가 HMM 구조를 최적화하는 모델 선택 기준임을 Continuous-Density HMM과 비교하여 실험 검증 한다.

• Proceedings of the Acoustical Society of Korea Conference
• /
• 1994.06c
• /
• pp.157-160
• /
• 1994

본 논문에서는 한국어 숫자음 인식에 대한 이산분포 HMM과 연속분포 HMM의 인식 성능을 비교하였다. 일반적으로 연속분포 HMM은 많은 계산량이 필요하고, 학습시 초기값이 매우 민감하다는 단점이 있지만, 이산분포 HMM의 VQ로 인한 왜곡을 제거함으로써 인식률을 향상시킬 수 있다. 여기서는 성능비교를 위해서 mel-cepstrum의 분석차수, 이산분포 HMM의 codebook 크기, 연속분포 HMM의 miture 개수등에 따른 인식성능을 비교하였다. 실험 결과 이산분포 HMM에서는 mel-cepstrum 벡터가 14차이고, codebook 크기가 64일 때 가장 좋은 성능을 나타냈으며, 연속부포 HMM에서는 mel-cepstrum 벡터가 16차이고 miture가 3개일 때 가장 좋은 결과를 얻을 수 있었다. 특히 학습 데이터의 양이 적은 경우에는 연속분포 HMM이 이산분포 HMM보다 더 좋은 인식률을 나타내었다.

• Proceedings of the Korea Institute of Convergence Signal Processing
• /
• 2000.08a
• /
• pp.153-156
• /
• 2000

본문에서는 예측형 회귀신경망과 HMM의 하이브리드 네트워크인 회귀신경망 예측 HMM을 구성하였다. 회귀신경망 예측 HMM은 예측형 회귀신경망을 HMM의 각 상태마다 예측기로 정의하여 일정치인 평균벡터 대신에 과거의 특징벡터의 영향을 받아 동적으로 변화하는 신경망에 의한 예측치를 이용하므로 학습패턴 설정자체가 시변성을 반영하는 동적 네트워크의 특성을 가진다. 따라서 음성과 같은 시계열 패턴의 인식에 유리하다. 회귀신경망 예측 HMM은 예측형 회귀신경망의 구조에 따라 Elman망 예측 HMM과 Jordan망 예측 HMM으로 구분하였다. 실험에서는 회귀신경망 예측 HMM의 상태수를 4, 5, 6으로 증가시켜 각 상태 수별로 예측차수 및 중간층 유니트 수의 변화에 따른 인식성능을 조사하였다. 실험결과 평가용. 데이터에 대하여 Elman망예측 HMM은 상태수가 6이고, 예측차수가 3차, 중간층 유니트의 수가 15차원일 때, Jordan망 예측 HMM의 경우 상태수가 5이고, 예측차수가 3차, 중간층 유니트의 수가 10차원일 때 각각 99.5%로 우수한 결과를 얻었다.

• Proceedings of the Korea Institute of Convergence Signal Processing
• /
• 2003.06a
• /
• pp.74-77
• /
• 2003

본 논문에서는 자연스러운 온라인 필기체 문자 인식을 위하여 획 기반 HMM(Substroke HMM)을 기반으로 한 인식 방법을 채택하고, 획 분류의 정확도 향상을 위한 전처리 과정에 대해 재샘플링 간격 조정을 통한 획 분류실험을 통해 인식률 제고에 관한 실험을 수행하였다 필기체 문자인식을 위한 방법으로 한 문자 전체를 HMM으로 구성하는 Whole-character HMM과 자소단위를 HMM으로 구성하는 character HMM을 주로 이용하였으나, 이러한 방법은 문자의 수에 비례하여 비교적 큰 메모리 용량과 계산량이 요구되는 단점이 있다. 이러한 단점을 개선하기 위한 획 기반 HMM은 문자를 획 단위로 분류한 후 이를 HMM 모델로 구성하므로 소수의 획 기반 HMM 모델만으로 문자를 모두 표현할 수 있는 장점을 가지고 있어, 인식률의 큰 저하 없이 계산량 및 메모리 용량을 크게 줄일 수 있다. PDA상에서 수집한 완성형 한글 데이터베이스를 사용하여 획 분류 실험을 수행한 결과 평활화와 7/100 길이의 재샘플링을 수행한 경우 평활화 과정을 추가하지 않은 기존의 재샘플링 5/100 길이의 경우에 비해 정확도가 평균 3.7% 향상을 나타내었으며, 특히 첨가 에러율이 감소함을 확인할 수 있다.

• The Journal of the Acoustical Society of Korea
• /
• v.15 no.2
• /
• pp.85-89
• /
• 1996

In this paper, transition constrained Hidden Markov Model(HMM) in which the transition between states occur only within prescribed time slot is proposed and the performance is evaluated in the noisy environment. The transition constrained HMM can explicitly limit the state durations and accurately de scribe the temporal structure of speech signal simply and efficiently. The transition constrained HMM is not only superior to the conventional HMM but also require much less computation time. In order to evaluate the performance of the transition constrained HMM, speaker independent isolated word recognition experiments were conducted using semi-continuous HMM with the noisy speech for 20, 10, 0 dB SNR. Experiment results show that the proposed method is robust to the environmental noise. The 81.08% and 75.36% word recognition rates for conventional HMM was increased by 7.31% and 10.35%, respectively, by using transition constrained HMM when two kinds of noises are added with 10dB SNR.