• 한국음향학회지
• /
• 제28권8호
• /
• pp.832-842
• /
• 2009

Automatic speech recognition (ASR) has been successfully applied to many real human computer interaction (HCI) applications; however, its performance tends to be significantly decreased under noisy environments. The invention of audio visual speech recognition (AVSR) using an acoustic signal and lip motion has recently attracted more attention due to its noise-robustness characteristic. In this paper, we describe our novel integration scheme for AVSR based on a late integration approach. Firstly, we introduce the robust reliability measurement for audio and visual modalities using model based information and signal based information. The model based sources measure the confusability of vocabulary while the signal is used to estimate the noise level. Secondly, the output probabilities of audio and visual speech recognizers are normalized respectively before applying the final integration step using normalized output space and estimated weights. We evaluate the performance of our proposed method via Korean isolated word recognition system. The experimental results demonstrate the effectiveness and feasibility of our proposed system compared to the conventional systems.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2001년도 하계종합학술대회 논문집(4)
• /
• pp.29-32
• /
• 2001

Visual speech information improves the performance of speech recognition, especially in noisy environment. We have tested the various spatial-temporal features for the Korean lipreading and evaluated the performance by using a hidden Markov model based classifier. The results have shown that the direction as well as the magnitude of the movement of the lip contour over time is useful features for the lipreading.

• 한국음향학회지
• /
• 제3권1호
• /
• pp.36-42
• /
• 1984

본 논문에서는 음성이 백색 Gaussian 잡음에 섞여 있을 때 음성의 유무를 구별하는 방법에 관해 서 연구되었다 제안된 방법은 음성과 무언이 입력신호의 에너지와 자기상관함수의 합에 의해서 구별된 다. 에너지의 threshold 치는 입력되는 잡음음성의 에너지와 자기상관함수를 비교함으로써 적응되도록 하였다. 이 방법을 시험하기 위해서 잡음이 없는 음성, 0, 10, 및 20 dB의 잡음이 섞인 음성을 사용하여 computer simulation을 하였다. SNR이 20dB일 때 구별의 오차율은 2%로 나왔다.

• 대한음성학회지:말소리
• /
• 제55권
• /
• pp.131-142
• /
• 2005

A mismatch between the training and the test conditions often causes a drastic decrease in the performance of the speech recognition systems. In this paper, non-linear transformation techniques based on histogram equalization in the acoustic feature space are studied for reducing the mismatched condition. The purpose of histogram equalization(HEQ) is to convert the probability distribution of test speech into the probability distribution of training speech. While conventional histogram equalization methods consider only the probability distribution of a test speech, for noise-corrupted test speech, its probability distribution is also distorted. The transformation function obtained by this distorted probability distribution maybe bring about miss-transformation of feature vectors, and this causes the performance of histogram equalization to decrease. Therefore, this paper proposes a new method of calculating noise-removed probability distribution by using assumption that the CDF of noisy speech feature vectors consists of component of speech feature vectors and component of noise feature vectors, and this compensated probability distribution is used in HEQ process. In the AURORA-2 framework, the proposed method reduced the error rate by over $44\%$ in clean training condition compared to the baseline system. For multi training condition, the proposed methods are also better than the baseline system.

• 전자공학회논문지
• /
• 제51권9호
• /
• pp.165-170
• /
• 2014

음성 인식을 위한 전처리기로 주변 잡음을 제거해 주는 음성향상 기법이 강조되고 있다. 다양한 음성향상 기법들 중 코드북 기반 음성향상 기법은 nonstationary 잡음 환경에서도 효율적으로 동작한다. 하지만, 기존 코드북 기반 음성향상 기법에서는 입력 신호와 음성 및 잡음 코드벡터 간에 미스매치가 발생하여 부정확한 게인이 추정되는 문제가 있다. 본 논문에서는 부정확한 게인을 보상하기 위해 long-term 잡음 추정 알고리즘을 사용하여 매 프레임 별로 신호 대 잡음비기반의 Normalized Weighting Factor (NWF)를 구하고, 이것을 기존 게인에 보상하는 방식을 제안한다. 제안된 코드북 기반 음성향상 기법은 기존 코드북 기반 음성향상 기법에 비해 향상된 성능을 보였다.

• 대한전자공학회논문지SP
• /
• 제47권1호
• /
• pp.169-174
• /
• 2010

이 논문은 잡음환경에서 음성인식률 향상을 위한 끝점 검출 방법에 대해 소개한다. 제안된 방법은 엔트로피와 음성의 하모닉 검출을 이용해 음성 구간과 비음성 구간을 검출한다. 음성의 스펙트럴 에너지에 대한 엔트로피를 사용하여 끝점검출을 하게 되면 비교적 높은 SNR 환경(SNR 15dB)에서는 성능이 우수하나 잡음환경의 변화에 따라 음성과 비음성의 문턱값이 변화 하여 낮은 SNR환경(SNR 0dB)에서는 정확한 끝점 검출이 어렵다. 본 논문은 낮은 SNR 환경(0dB)에서도 정확한 끝점을 검출할 수 있도록 음성의 스펙트럴 엔트로피와 하모닉 성분을 검출하여 끝점을 검출하는 방법을 제안한다. 실험결과 기존의 엔트로피만을 이용한 방법보다 개선된 성능을 보였다.

• 한국음향학회지
• /
• 제21권4호
• /
• pp.374-379
• /
• 2002

본 논문에서는 유성음/무성음 분리를 이용하여 잡음처리를 한다. 유성음과 무성음은 음성의 하나의 중요한 특징으로 유성음과 무성음 부분에 각각 같은 잡음처리기법을 삼는 것이 아니라 각각의 성질을 고려하여 잡음처리를 하였다. 유성음/무성음의 분리는 영 교차율과 에너지를 이용하여 구해 졌으며, 유성음/무성음 분리정보를 토대로 하여 변형된 음성/잡음우세결정방법을 제안하였다. 제안된 방법은 백색 잡음과 비행기 잡음에 오염된 음성문장에 대해 성능평가가 이루어졌다. 그리고 다양한 입력 신호대잡음비 (SNR)로 오염된 문장에 대해 세그멘탈 신호대잡음비를 구하고, 듣기 평가를 통해 기존의 방법보다 향상된 성능을 가짐을 알 수 있다.

• IEIE Transactions on Smart Processing and Computing
• /
• 제3권5호
• /
• pp.259-266
• /
• 2014

In this paper, we propose a novel technique for noise robust automatic speech recognition (ASR). The development of ASR techniques has made it possible to recognize isolated words with a near perfect word recognition rate. However, in a highly noisy environment, a distinct mismatch between the trained speech and the test data results in a significantly degraded word recognition rate (WRA). Unlike conventional ASR systems employing Mel-frequency cepstral coefficients (MFCCs) and a hidden Markov model (HMM), this study employ histogram of oriented gradient (HOG) features and a Support Vector Machine (SVM) to ASR tasks to overcome this problem. Our proposed ASR system is less vulnerable to external interference noise, and achieves a higher WRA compared to a conventional ASR system equipped with MFCCs and an HMM. The performance of our proposed ASR system was evaluated using a phonetically balanced word (PBW) set mixed with artificially added noise.

• 한국음향학회:학술대회논문집
• /
• 한국음향학회 2000년도 하계학술발표대회 논문집 제19권 1호
• /
• pp.337-338
• /
• 2000

The perceptual filter for speech enhancement was analytically derived where the frequency content of the input noisy signal was made the same as that of the estimated clean signal in auditory domain. However, the analytical derivation should rely on the deconvolution associated with the spreading function in the psychoacoustic model, which results in an ill-conditioned problem. In order to cope with the problem associated with the deconvolution, we propose a novel psychoacoustic model based speech enhancement filter whose principle is the same as the perceptual filter, however the filter is derived by a constrained optimization which provides solutions to the ill-conditioned problem.

• The Journal of the Acoustical Society of Korea
• /
• 제23권1E호
• /
• pp.16-18
• /
• 2004

There have been numerous studies on the enhancement of the noisy speech signal. In this paper, I propose a completely new speech enhancement method, that is, a filtering of a dissonant frequency combined with noise reduction algorithm. The simulation results indicate that the proposed method provides a significant gain in audible improvement compared with the conventional method. Therefore if the proposed enhancement scheme is used as a pre-filter, the perceptual quality of speech is greatly enhanced.