• The Journal of the Acoustical Society of Korea
• /
• v.11 no.1
• /
• pp.22-34
• /
• 1992

There exists a transform trellis code that is optimal for stationary Gaussian sources and the squared-error distortion measure at all rates. In this paper, we train an asymptotically optimal version of such a code to obtain one which is matched better to the statistics of real world data. The training algorithm uses the M algorithm to search the trellis codebook and the LBG algorithm to update the trellis codebook. We investigate the trained transform trellis coding scheme for the first-order AR(autoregressive) Gaussian source whose correlation coefficient is 0.9 and actual speech sentences. For the first-order AR source, the achieved SNR for the test sequence is from 0.6 to 1.4 dB less than the maximum achievable SNR as given by Shannon's rate-distortion function for this source, depending on the rate and surpasses all previous known results for this source. For actual speech data, to achieve improved performance, we use window functions and gain adaptation at rate 1.0 bits/sample.

• Proceedings of the Acoustical Society of Korea Conference
• /
• autumn
• /
• pp.13-16
• /
• 1999

이산 HMM을 이용한 음성인식을 할 때, 관측심볼은 훈련 데이터의 양자화과정을 수행하여 얻게 된다. 훈련 데이터는 선정된 몇몇 화자에 의해서 얻어지게 되는데, 이러한 이유로 인하여 충분하지 못한 훈련 데이터가 얻어지므로, 관측 심볼에 따라 출력확률분포값이 영(zero)이나, 거의 영에 가까운 값을 가지게 된다. 이러한 요인은 인식률의 저하를 초래하므로, 본 논문에서는 fuzzy smoothing 기법을 채택하여, 출력확률분포값이 영(zero)의 값을 가지는 것을 방지하여, 새로 구해진 파라메터로 인식실험을 하였다. Smoothing과정을 수행한 후의 인식률이 smoothing을 하진 않은 인식율에 비해 평균 $1.46\%$ 향상되었다.

• Review of KIISC
• /
• v.12 no.2
• /
• pp.41-49
• /
• 2002

음성 인식 기술과 뿌리를 공유하는 화자 인식 기술은 지난 수십 년간의 연구결과로 괄목할 만한 진보가 이루어졌으며 최근에는 일반화될 수 있으리라는 기대를 가지도록 하기에 충분했다. 하지만 이러한 기술이 실제 환경에 적용되었을 때, 발성 환경을 제어할 수 없으며 그 결과 훈련 환경과는 다른 환경에서 발성된 음성을 인식 해야하는 이른바 '불일치 조건(mismatch condition)' 현상이 발생하게된다. 초기에는 이 현상을 극복하기 위해 잡음 자체를 모델링하고 제거함으로써 훈련과 인식 환경의 차이를 일정하게 정규화(normalization)해주는 연구가 진행되었다. 하지만 최근에는 잡음에 의한 왜곡의 모델이 복잡하고 실제 인식 성능에 직접적으로 나타나지 않는 문제점을 추가로 극복하기 위해, 훈련과 인식 환경의 차이를 보상해주는(compensation) 연구가 활발히 진행되고 있다. 본 논문에서는 기본적인 화자인식기술과 함께 성능저하를 일으키는 불일치 요인들 및 그것들을 극복하기 위한 기술들을 소개하고자 한다.

• Proceedings of the Acoustical Society of Korea Conference
• /
• 1997.06a
• /
• pp.9-12
• /
• 1997

대부분의 음성 파？너 추정 기법은 통신 채널의 주파수 응답에 의해 쉽게 영향을 받는다. 이 논문에서 우리는 음성에서 그러한 안정상태의 스펙트럼 계수에 있어서 좀더 강인한 기법인 RASTA-PLP 방법을 적용하여 파라미터를 추출하고 그 파라미터를 연속 HMM 인식기의 입력으로 사용하여 문맥독립 음소 모델을 훈련하는 과정에서 최적의 모델을 찾게 된다. 여기서는 ETRI 445 DB에 RASTA-PLP를 적용하였을 때 가장 좋은 성능을 나타내는 재추정 횟수와 mixutre 수를 찾는 데 목표를둔다. 문맥독립음소모델은 한국어의 발성학적 근거를 토대로 하고 여기에 묵음(silence)을 추가하여 총 40개로 정의하였다. 문맥독립 음소모델은 3개의 상태를 가지는 전형적인 left-to right CHMM(Continuous Hidden Markov Model)을 이용하여 훈련한다. 그리고 훈련시간을 줄이기 위해 Viterbi beam 탐색법을 적용한다.

• Proceedings of the Acoustical Society of Korea Conference
• /
• spring
• /
• pp.19-22
• /
• 2000

어휘독립 음성인식이란 음향학적 모델 훈련에 사용하지 않은 어휘들을 인식하는 것이다. 단어모델을 이용한 어휘독립 음성인식 시스템은 발음표기로 변환된 인식대상어휘에 대하여 문맥 종속형 부단어(context dependent subword) 단위로 훈련된 모델을 연결하여 단어 모델을 만들고 이 단어 모델로 인식을 수행한다. 이러한 시스템의 경우 훈련과정에서 나타나지 않는 문맥 종속형 부단어가 인식대상어휘에서 나타나게 되고, 따라서 정확한 단어모델을 구성할 수 없다는 문제점이 있다 본 논문에서는 문맥 종속형 부단어 구분의 계층화를 통한 back-off 선택 방법을 이용하여 새롭게 나타난 문맥 종속형 부단어 대신 연결될 부단어 모델을 찾아내는 방법을 제안한다 제안된 선택 방법은 새롭게 나타난 문맥 종속형 부단어를 포함하는 상위의 부단어를 찾아내는 방법이다. 실험 결과 10단어 세트에서 $97.5\%$ 50단어 세트에서$90.16\%$ 100 단어 세트에서 $82.08\%$의 인식률을 얻었다.

• The Korean Journal of Applied Statistics
• /
• v.36 no.1
• /
• pp.33-48
• /
• 2023

In this paper we consider automatic speech recognition (ASR) for Korean speech data in which elderly persons randomly speak a sequence of words such as animals and vegetables for one minute. Most of the speakers are over 60 years old and some of them are dementia patients. The goal is to compare deep-learning based ASR models for such data and to find models with good performance. ASR is a technology that can recognize spoken words and convert them into written text by computers. Recently, many deep-learning models with good performance have been developed for ASR. Training data for such models are mostly composed of the form of sentences. Furthermore, the speakers in the data should be able to pronounce accurately in most cases. However, in our data, most of the speakers are over the age of 60 and often have incorrect pronunciation. Also, it is Korean speech data in which speakers randomly say series of words, not sentences, for one minute. Therefore, pre-trained models based on typical training data may not be suitable for our data, and hence we train deep-learning based ASR models from scratch using our data. We also apply some data augmentation methods due to small data size.

• Proceedings of the Korean Information Science Society Conference
• /
• 1999.10b
• /
• pp.198-200
• /
• 1999

인간이 발성하는 음성에는 의미에 대한 정보 뿐만 아니라 화자의 성별에 따라 고유한 특성을 가지고 있다. 즉 음성은 고음이 강한 여성음성과 남성음성으로 분류할 수 있다. 그러나, 기존의 HMM을 이용한 음성인식시스템에서는 남성과 여성음성의 이러한 특성이 있음에도 불구하고 이를 고려하지 않고, 하나의 HMM으로 구성하고 있다. 본 논문에서 제시하는 알고리즘으로 실험한 결과 남성과 여성의 포만트 주파수가 100~30Hzck이가 나는 것을 알 수 있었고, 이러한 특성을 고려하여 남성과 여성의 음성을 구별할 수 있는 방법을 제안한다. 또한 남성과 여성음성을 각각 구분하여 GMM을 훈련시킨 후 인식과정에서 입력된 음성의 포만트 특성에 따라 남성음성이면 남성 HMM으로 여성음성이면 여성 HMM으로 인식을 수행함으로써 기존의 인식방법보다 남성음성은 5.2% 여성음성은 4.4% 향상된 결과를 얻었다.

• The Journal of the Acoustical Society of Korea
• /
• v.25 no.4
• /
• pp.159-163
• /
• 2006

In this paper a data-driven method to improve the performance of the Jacobian adaptation (JA) for the noisy speech recognition is proposed. In stead of constructing the reference HMM by using the model composition method like the parallel model combination (PMC), we propose to train the reference HMM directly with the noisy speech. This was motivated from the idea that the directly trained reference HMM will model the acoustical variations due to the noise better than the composite HMM. For the estimation of the Jacobian matrices, the Baum-Welch algorithm is employed during the training. The recognition experiments have been done to show the improved performance of the proposed method over the Jacobian adaptation as well as other model compensation methods.

• Phonetics and Speech Sciences
• /
• v.11 no.1
• /
• pp.41-49
• /
• 2019

An end-to-end speech recognition model consisting of a single integrated neural network model was recently proposed. The end-to-end model does not need several training steps, and its structure is easy to understand. However, it is difficult to understand how the model recognizes speech internally. In this paper, we visualized and analyzed the attention-based end-to-end model to elucidate its internal mechanisms. We compared the acoustic model of the BLSTM-HMM hybrid model with the encoder of the end-to-end model, and visualized them using t-SNE to examine the difference between neural network layers. As a result, we were able to delineate the difference between the acoustic model and the end-to-end model encoder. Additionally, we analyzed the decoder of the end-to-end model from a language model perspective. Finally, we found that improving end-to-end model decoder is necessary to yield higher performance.

• Phonetics and Speech Sciences
• /
• v.15 no.3
• /
• pp.75-82
• /
• 2023

Automatic speech recognition (ASR) has been revolutionized with deep learning-based approaches, among which self-supervised learning methods have proven to be particularly effective. In this study, we aim to enhance the performance of OpenAI's Whisper model, a multilingual ASR system on the Korean language. Whisper was pretrained on a large corpus (around 680,000 hours) of web speech data and has demonstrated strong recognition performance for major languages. However, it faces challenges in recognizing languages such as Korean, which is not major language while training. We address this issue by fine-tuning the Whisper model with an additional dataset comprising about 1,000 hours of Korean speech. We also compare its performance against a Transformer model that was trained from scratch using the same dataset. Our results indicate that fine-tuning the Whisper model significantly improved its Korean speech recognition capabilities in terms of character error rate (CER). Specifically, the performance improved with increasing model size. However, the Whisper model's performance on English deteriorated post fine-tuning, emphasizing the need for further research to develop robust multilingual models. Our study demonstrates the potential of utilizing a fine-tuned Whisper model for Korean ASR applications. Future work will focus on multilingual recognition and optimization for real-time inference.