Noise Cancellation Algorithm of Bone Conduction Speech Signal using Feature of Noise in Separated Band

밴드 별 잡음 특징을 이용한 골전도 음성신호의 잡음 제거 알고리즘

Abstract

In mobile communication, air conduction(AC) speech signal had been commonly used, but it was easily affected by ambient noise environment such as emergency, military action and rescue. To overcome the weakness of the AC speech signal, bone conduction(BC) speech signal have been used. The BC speech signal is transmitted through bone vibration, so it is affected less by the background noise. In this paper, we proposed noise cancellation algorithm of the BC speech signal using noise feature of decomposed bands. The proposed algorithm consist of three steps. First, the BC speech signal is divided into 17 bands using perceptual wavelet packet decomposition. Second, threshold is calculated by noise feature during short time of separated-band and compared to absolute average of the signal frame. Therefore, the speech and noise parts are detected. Last, the detected noise parts are removed and then, noise eliminated bands are re-synthesised. In order to confirm the efficiency of the proposed algorithm, we compared the proposed algorithm with conventional algorithm. And the proposed algorithm has better performance than the conventional algorithm.

1. 서 론

최근 모바일 통신기기의 발전으로 군사 작전, 화재 현장이나 구조 현장 등에서 발생하는 위급 상황에서도 신속한 정보 전달이 가능하게 되었다. 모바일 통신기기에서 음성을 수집하는 역할을 하는 마이크로폰은 공기전도(AC, air conduction) 방식이 보편적으로 사용되었으나, 외부 잡음에 쉽게 노출되어 소음이 심한 환경에서 사용할 경우 원활한 의사소통에 어려움이 발생한다. 그러므로 의사소통의 개선을 위해 공기전도 신호의 잡음을 제거하기 위한 방법들이 다양하게 연구되어 왔으나 외부 잡음의 직접적인 영향으로 인해 좋은 결과를 내지 못하였다[1]. 반면, 골전도(BC, bone conduction) 마이크로폰은 외부 잡음의 직접적인 영향을 적게 받는다는 장점이 있어 공기전도 마이크로폰의 대체로 주목을 받고 있으며 최근에는 이러한 골전도 음성신호를 활용하여 공기전도 음성신호의 외부 잡음을 제거하거나, 골전도 음성신호의 잡음 제거와 음성 신호 향상을 위한 다양한 연구들이 진행되고 있다[2].

골전도 음성 신호를 이용한 잡음 제거 방법으로는 주파수 밴드 결합, 비선형 적응잡음제거기(non-linear adaptive noise canceller)와 주파수 차감법(spectral subtraction) 등이 있다. 그 중, Rahman[3] 등은 공기전도와 골전도 신호의 장점을 활용하기 위해 두 신호의 주파수 밴드를 결합하는 방법을 제안하였으나, 공기전도와 골전도 신호의 적절하지 않은 결합 영역의 설정으로 인해 신호의 왜곡이 발생하는 단점이 있었다. Xiao[4]와 Huang[5] 등은 공기전도와 골전도 신호들의 특성을 보완하면서 잡음을 제거하기 위해 볼테라 필터(Volterra filter)와 기능성 링크 인공신경망(FLANN, functional link artificial neural network)을 이용한 비선형 잡음제거기를 제안하였다. 그러나 많은 연산량으로 인하여 실시간 처리에 어려움이 있으며 필터의 길이와 차수의 변화에 따라 잡음 제거 성능이 떨어지는 단점이 있었다. Zhu[6]와 Kong[7] 등은 공기전도와 골전도 음성신호의 잡음을 제거하기 위하여 연산량이 적고 구현이 간단한 주파수 차감법을 이용하였으나, 예측된 잡음과 실제 잡음 사이의 스펙트럼 차이로 인해 주파수 영역에서 피크가 고립되어 발생하는 뮤지컬 잡음(musical noise), 차감 후 남겨진 잡음으로 인하여 발생하는 잔존 잡음(residual noise)과 잡음과 비슷한 특성을 가진 무성음이 제거되는 음성 손실 등의 단점이 있었다. 이러한 기존 스펙트럼 차감법의 단점을 보완하기 위하여 Kamath[8] 등은 신호를 주파수 영역에서 여러 밴드로 분할 한 후, 밴드별 잡음을 고려하여 추정 잡음에 가중치를 부여한 후 제거하는 방법인 MBSS(multi-band spectral subtraction) 알고리즘을 제안하였다. MBSS는 공기전도 음성신호에서 많이 쓰이는 알고리즘으로 음성신호의 한 종류인 골전도 신호에도 적용 가능하나 낮은 SNR에서는 좋은 성능을 보여주지 못하였다.

따라서, 본 논문에서는 기존의 잡음 제거 방법에서 나타나는 단점을 보완하고 다양한 환경에서 잡음 제거가 가능하도록 밴드 별 잡음 특징을 이용한 잡음 제거 알고리즘을 제안하였다. 제안한 알고리즘에서는 음성 영역의 효과적인 해석이 가능한 인지적 웨이브렛 패킷 분해(PWPD, perceptual wavelet packet decomposition)를 이용하여 신호를 여러 개의 주파수 밴드로 분리하였다. 다양한 잡음 환경에 적응적인 잡음 제거를 위하여 각 밴드에서 짧은 구간 동안 획득한 잡음의 특징을 이용하여 문턱치를 설정하였고 문턱치를 통해 검출된 잡음 구간과 밴드를 제거하고 음성 구간을 재합성하였다. 제안한 알고리즘의 유효성을 평가하기 위해 다양한 신호 대 잡음비(SNR, signal to noise ratio)의 백색 잡음, 공장 잡음과 엔진잡음 환경에서 실험을 진행하였으며, 기존의 잡음 제거 알고리즘인 MBSS와 비교하였다. 그 결과, 제안한 알고리즘이 기존의 알고리즘에 비하여 성능이 우수한 것을 확인할 수 있었다.

 

2. 연구 방법

2.1 골전도 신호의 잡음 제거 흐름도

기존의 잡음 제거 방법에서는 과다한 연산량으로 인한 실시간 처리의 어려움, 실제 잡음과 추정 잡음의 주파수 영역에서의 차이로 인한 뮤지컬 잡음과 잔존 잡음의 발생, 낮은 SNR 환경에서의 적용이 어려움 등의 문제점이 발생한다. 이러한 문제점을 개선하기 위하여 본 논문에서는 골전도 음성신호의 밴드별 잡음의 특징을 이용하여 음성과 잡음을 분리한 후 잡음을 제거하는 알고리즘을 제안하였다. 제안한 알고리즘의 전체적인 흐름도는 Fig. 1에서 보이고 있다. 먼저, 골전도 음성신호 측정 시 발생하는 동잡음을 제거하기 위해 전처리 과정을 수행하였다. 그 다음, 저주파 영역에서 세밀한 분해가 가능한 PWPD를 이용하여 전처리된 신호를 주파수 영역에서 여러 개의 밴드로 나누었다. 나누어진 밴드 별로 잡음의 변화량이 다르다는 점을 이용하여, 각 밴드에서 신호 시작 후 짧은 구간 동안 잡음의 특징을 획득하고, 이를 이용하여 각 밴드의 문턱치를 설정하였다. 설정된 문턱치를 이용하여 음성 구간인지 잡음 구간인지 판단하고 검출된 잡음 구간과 잡음 밴드는 제거한 후 음성 구간만을 재합성하여 골전도 음성신호의 잡음 제거를 수행하였다.

Fig. 1.Flow chart of the proposed algorithm.

2.2 전처리 과정

공기전도 신호는 음성의 녹음에 주로 사용되는 콘덴서 마이크로폰을 이용하고 골전도 음성신호는 진동이나 압력을 감지하는 압전 마이크로폰을 이용하여 측정하였다. 골전도 음성신호 측정시, 음성뿐만 아니라 발성 시 인체에서 발생한 잡음이 동시에 측정되며 이러한 잡음은 큰 파형을 가지므로 음성신호를 정확하게 파악하는데 어려움이 있다. Fig. 2의 (a)는 공기전도 음성신호이고, (b)는 동시에 측정한 골전도 음성신호를 보이고 있다. Fig. 2(b)의 골전도 음성신호에서는 마이크로폰의 부착 부위에서 발생한 음성신호 대비 매우 큰 동잡음신호로 인해 동잡음신호만 보여지고 있어 이 신호에 포함되어 있는 음성신호의 파형은 확인하기 어렵다.

Fig. 2.The speech signal, (a) the AC and (b) the BC.

골전도 음성신호에서 나타나는 동잡음에는 발성시 안면근 움직임으로 인한 잡음들이 포함되어 있으며 이러한 잡음은 주로 10Hz이하의 저주파 영역에 존재한다[9]. 발생된 동잡음들과 전원잡음을 제거하기 위해 차단주파수 100Hz의 20차 버터워스(butterworth) 고역통과필터를 사용하였다. Fig. 3(a)와 (b)는 필터를 거친 공기전도와 골전도 음성신호를 보이고 있다. 필터의 사용으로 인해 골전도 음성신호에 존재하던 저주파의 동잡음은 제거되고 음성신호의 파형이 나타나는 것을 확인할 수 있다.

Fig. 3.Results of high-pass filter, (a) the AC and (b) the BC.

2.3 밴드 분할

발성 시 발생한 음성이 공기를 매질로 전달되는 공기전도 음성신호와는 다르게 골전도 음성신호는 발성 시 발생한 성대의 진동이 주변 연부조직과 척추를 지나 두개골로 전달된다[10]. 골전도 음성신호는 전달 경로의 특성으로 인하여 음성이 주로 저주파 영역에 존재하며 외부 잡음에 의한 영향이 낮다. 이러한 골전도 음성신호의 주파수 밴드 별 잡음의 특징을 활용하기 위하여 PWPD를 이용하여 신호를 여러개의 밴드로 나누었다. PWPD는 음향 심리학 모델(psychoacoustic model)과 유사하도록 웨이블릿 패킷 분해(WPD, wavelet packet decomposition) 구조를 변형한 것으로 소음 환경에서 잡음의 사전 지식없이도 필요한 음성 검출이 가능한 음향 심리학 모델을 반영함으로써 음성 영역의 효과적인 분석이 가능하다[11-12]. Fig. 4는 PWPD의 구조를 나타내고 있으며 웨이브렛 계수 wj,m에 대한 17개의 밴드를 구성하는 것을 보인다. 여기서 wj,m는 m번째 밴드, j번째 레벨의 웨이브렛 패킷 계수를 의미하며, j = 3,4,5이고 m = 1,…,17이다.

Fig. 4.Frequency band and structure of PWPD[11].

PWPD는 주파수 대역을 균등하게 분해하는 WPD보다 분해 가지가 적어 계산량을 줄일 수 있으면서도 저주파 영역에서 높은 분해능을 가진다[13]. 따라서 음성이 주로 저주파 영역에 분포하는 골전도 음성신호에 대하여 효과적인 분석이 가능하다. Fig. 5는 PWPD를 이용하여 분해된 골전도 음성신호를 나타내고 있다. 골전도 음성신호는 저주파 영역에서 잡음의 영향을 적게 받으므로 저주파 영역의 밴드에서는 잡음의 변화량이 적게 나타나고 음성의 변화량은 크게 나타나는 것을 확인할 수 있다. 또한, 고주파 영역의 밴드에서는 잡음의 변화량이 저주파 영역의 밴드에 비해 증가하고, 음성이 거의 나타나지 않는 것을 알 수 있다. (b)를 통하여 밴드마다 서로 다른 음성과 잡음의 특징을 가지는 것을 확인할 수 있으며 이를 토대로 밴드 별 잡음의 특징을 이용한 잡음 제거를 진행하였다.

Fig. 5.Signal of the separated bands.

2.4 개별 밴드 내의 잡음 구간 검출 및 제거

PWPD로 나누어진 골전도 음성신호의 잡음을 효과적으로 제거하기 위해 밴드 별 잡음의 특징을 이용하여 음성과 잡음을 검출하는 구간 검출기를 설정하였다. 기존의 잡음 제거 알고리즘은 많은 연산량으로 인해 실시간 처리가 어렵고, 추정 잡음의 오류로 인해 뮤지컬 잡음, 잔존 잡음 및 음성 손실이 나타나며 낮은 SNR 환경에 적용하기 어렵다는 문제점이 있었다. 이러한 문제점을 개선하기 위하여, 본 논문에서는 밴드 별로 신호 시작 후 짧은 구간 동안 잡음을 수집하여 각 밴드의 잡음 특징을 추출한 후 음성과 잡음 검출에 이용하였다. 잡음을 수집하는 시간은 청각신경학적으로 무시할 수 있는 지연시간 수준인 25ms로 설정하여 실시간 처리에 무리가 가지 않도록 하고 신호가 시작된 후 짧은 시간동안 수행되어 잡음만 수집되도록 하였다. 골전도 음성신호는 저주파 영역에서 잡음의 변화량이 적게 나타나고 고주파 영역에서 변화량이 저주파 영역에 비해 증가하여 나타나는 특징이 있다. 이러한 주파수 밴드별 잡음의 변화량을 이용하기 위하여 표준편차를 사용하였으며 이를 통하여 각 밴드의 잡음 특징을 추출하였다. 식 (1)은 m번째 밴드에서 25ms 동안 수집한 잡음의 표준 편차를 나타낸다.

σm는 수집된 잡음의 표준편차, N은 구간 내의 샘플 개수, xm은 구간 내 신호이고, 는 구간 내 신호의 평균, i는 구간 내의 샘플 수(sample number)이다. 구간 내 신호의 표준편차에 있어서 밴드 내의 잡음 구간은 음성 구간에 비해서 상대적으로 작은 값을 가지는 특징이 있어 음성과 잡음 구간 검출에 사용할 수 있다. 식 (2)는 m번째 밴드에서 25ms 동안 수집한 잡음의 특징을 이용하여 설정한 문턱치를 나타낸다.

여기서, Thm는 m번째 밴드의 문턱치를 나타내며 획득한 잡음의 표준편차를 문턱치 설정에 사용하여 구간 내 잡음의 변화량을 반영하였다. 문턱치는 각 밴드의 잡음 크기에 적응하여 값이 변동되므로 효과적인 음성과 잡음 구간의 검출이 가능하다. 설정된 문턱치를 이용한 음성 및 잡음 구간의 판단을 위하여 각 밴드를 50% 오버랩 시킨 25ms의 해밍 윈도우를 통해 구간을 나눈다. 해밍 윈도우로 나누어진 구간은 절대 평균을 구한 뒤 문턱치와 비교한다. 일반적인 구간의 평균을 구할 경우 신호의 음의 값으로 인해 변화량에 오류가 발생하게 되므로, 절대값을 취한 다음 평균을 구하여 구간 내의 변화량을 구한다. 구간내에 음성이 존재할 경우 음성의 크기로 인해 구간의 절대 평균은 문턱치보다 큰 값을 가지므로, 구간의 절대 평균과 문턱치를 비교하여 음성과 잡음 구간을 분류할 수 있다. 각 밴드 음성과 잡음을 분리하기 위한 음성 검출기는 다음 식 (3)과 같이 계산된다.

여기서, VADm는 m번째의 밴드음성검출기이며, Augm는 해밍 윈도우로 나누어진 구간의 절대 평균이며 k는 해밍 윈도우 번호이다. 음성 검출기는 절대 평균의 크기가 문턱치보다 크거나 같을 경우 1로, 작을 경우 0으로 만들어 음성과 잡음을 검출한다. 제안한 알고리즘은 하나의 문턱치로 모든 밴드의 구간크기를 비교하는 것이 아니라 밴드 각각의 문턱치를 이용해 구간 크기를 비교하므로 각 밴드의 잡음 환경에 따라 음성과 잡음 구간을 효과적으로 검출한다.

Fig. 6은 잡음이 다르게 존재하는 밴드에서 제안한 음성 검출기를 보이고 있다. Fig. 6(a)는 음성과 약한 잡음이 존재하는 것을 보이며 제안한 음성 검출기가 효과적으로 음성 구간을 검출하는 것을 확인할 수 있다. (b)는 (a)보다 강한 잡음이 주로 존재하는 것을 보이며 음성 검출기가 밴드의 환경에 따라 설정되어 음성이 검출되지 않는 것을 확인할 수 있다.

Fig. 6.The time gate(dotted line) and the band signal, (a) one of the low frequency bands and (b) one of the high frequency bands.

골전도 음성신호는 전달 경로 특성상 음성 정보가 주로 저주파 밴드에 존재하고 잡음의 영향을 적게 받으므로 음성 검출기를 이용하여 저주파 밴드의 음성 구간을 효과적으로 검출할 수 있다. 또한, 잡음이 주로 존재하는 골전도 음성신호의 고주파 밴드는 음성에 대한 정보가 미약하여 제거를 하더라도 음성신호에 큰 손실이 발생하지 않는다. 그러므로 음성 구간 검출기를 통해 검출된 음성만을 통과시켜 음성의 손실을 최대한 줄이면서 잡음을 제거하는 과정을 거친다. 각 밴드 별로 동일한 과정을 거쳐서 잡음 구간과 잡음 밴드는 분리하여 제거하고 음성 구간만 남긴다. 다음으로, 음성 구간이 남아 있는 밴드를 재합성하여 잡음이 제거된 신호를 복원하였다.

 

3. 실험 결과

3.1 골전도 음성신호의 측정 실험

공기전도와 골전도 신호의 측정을 위한 실험은 콘덴서 마이크로폰(DOM-5242L-R, PUI Audio Inc.)과 압전 마이크(CM01-B, Measurement Specialties)를 이용하여 수행하였으며 Fig. 7은 신호의 측정을 위한 블록선도를 보이고 있다. 군사 작전, 화재현장이나 구조 현장과 유사한 환경을 조성하기 위해 NOISEX-92의 잡음신호 샘플 중 백색 잡음, 공장 소음 및 엔진 소음을 이용하였다. 잡음신호는 스피커(Gigaworks T20, Creative)를 통해 인가하였으며 실험 환경의 잡음 크기는 음압 측정기(Testo 815, Testo)를 이용하여 측정하였다. 공기전도 신호의 측정을 위한 콘덴서 마이크로폰은 구강 앞에 위치시키고, 골전도 신호의 측정을 위한 압전 마이크로폰은 관자놀이에 위치시킨 후 헤어밴드를 이용하여 일정한 압력으로 고정시켰다. 실험을 위해 어음청각검사중 문장인지도검사 항목의 10문장을 선별하여 발성하였으며, 이때 마이크로폰으로 감지한 신호는 신호발생 측정용 장치(PXI system, National Instrument)와 Labview 2010을 이용하여 획득한 후, MATLAB 2012a를 이용하여 신호처리를 진행하였다.

Fig 7.Experimental block diagram for measurement of the AC and the BC speech signals.

3.2 골전도 음성신호의 잡음 제거 결과

제안한 알고리즘의 성능 분석을 위한 실험 데이터로써 콘덴서 마이크로폰과 압전 마이크로폰을 이용하여 획득한 공기전도와 골전도 음성신호를 사용하였으며, 군사 작전, 화재 현장이나 구조 현장에 대한 알고리즘의 성능을 확인하기 위하여 백색 잡음, 공장 소음 및 엔진 소음에 대하여 0dB, -5dB 그리고 -10dB의 환경에서 실험하였다. 제안한 알고리즘의 성능을 평가하기 위해 기존의 알고리즘인 MBSS와 비교하였다. Fig. 8은 다양한 잡음 환경 중 엔진 소음 0dB SPL 환경에서 MBSS와 제안한 알고리즘을 이용한 결과를 보이고 있다. Fig. 8(a)와 (b)는 무잡음 환경에서 획득한 골전도 음성신호와 잡음이 섞인 골전도 음성신호를 나타낸다. 제안한 알고리즘과 기존의 MBSS 알고리즘을 잡음이 섞인 골전도 음성신호에 적용하였다. Fig. 8(c)는 MBSS를 적용한 결과를 나타내며 잔존 잡음이 발생하고 음성 구간에서 음성의 손실이 발생하는 것을 확인할 수 있다. 그리고 Fig. 8(d)는 제안한 알고리즘을 적용한 결과를 나타내며, 잔존 잡음이 효과적으로 제거되고 음성 구간의 손실이 최소화됨을 보인다.

Fig. 8.Results of the proposed algorithm. (a) original BC speech signal, (b) noisy BC speech signal, (c) result of the MBSS algorithm, and (d) result of the proposed algorithm.

제안한 알고리즘의 유효성을 평가하기 위하여 잡음의 영향이나 수준을 알아보기 위한 지표인 SNR로써 다양한 잡음 환경에서 기존의 알고리즘인 MBSS와 제안한 알고리즘의 결과를 비교하였다. Table 1은 골전도와 공기전도 음성신호에 MBSS와 제안한 알고리즘을 적용한 결과를 보이고 있다. MBSS의 경우, 신호 처리 후 발생하는 잔존 잡음의 영향으로 인하여 SNR이 크게 향상되지 않는 것을 확인할 수 있다. 그러나 제안한 알고리즘은 주파수 밴드 별 잡음의 특징을 이용하여 밴드의 환경에 따라 잡음 구간을 검출한 뒤 제거하므로, 제안한 알고리즘을 적용할 경우 MBSS를 적용했을 때보다 SNR이 향상되는 것을 확인할 수 있다. 또한, 제안한 알고리즘을 같은 음성신호인 공기전도 음성신호에 적용할 경우에도 MBSS에 적용했을 때보다 SNR이 향상되는 것을 확인할 수 있다. 그러나 공기전도 음성신호는 잡음의 영향을 쉽게 받아 저주파 영역에서 잡음과 음성이 혼재되어 나타나므로 PWPD를 이용하여 저주파 영역을 세밀하게 분해한 후 제안한 알고리즘을 적용하여도 골전도 음성신호와 같은 효과를 내기 어렵다. 그러므로 공기전도 음성신호의 음성 영역을 고려하여 PWPD보다 더 넓은 주파수 범위를 세밀하게 분해한 후 제안한 알고리즘을 적용하거나 다양한 잡음 특징을 사용하여 혼재된 잡음을 제거할 경우 공기전도 신호에 서도 개선된 성능을 보일 수 있을 것으로 판단된다.

Table 1.Comparison with the MBSS algorithm and the proposed algorithm

 

4. 결 론

모바일 통신기기에 이용되는 공기전도 마이크로폰의 사용은 화재 현장이나 구조 현장 등의 긴급 상황에서 발생되는 심한 소음의 직접적인 영향을 받아 원활한 의사소통에 큰 어려움이 따른다. 반면 골전도 마이크로폰의 경우, 외부 소음에 의한 직접적인 영향을 적게 받으므로 최근에는 공기전도 마이크로폰을 대체하여 사용되고 있다. 이러한 골전도 음성신호를 이용하여 외부 잡음을 제거하고 음성을 향상시키기 위한 연구가 다양하게 진행되고 있으나 실시간 처리나 다양한 잡음 환경에서의 처리가 어렵고 신호의 왜곡과 잔존 잡음이 발생하며 낮은 SNR 환경에서의 사용이 어렵다는 문제점이 있다. 본 논문에서는 이러한 문제점을 보완하고자 골전도 음성신호의 밴드 별잡음 특징을 이용하여 잡음을 제거하는 알고리즘을 제안하였다. 제안한 알고리즘은 밴드 별 잡음의 특징을 고려하기 위해 PWPD를 이용하여 신호를 여러개의 주파수 밴드로 나눈 후, 밴드 별로 짧은 구간동안 잡음을 수집하고 그 특징을 이용하여 음성 구간과 잡음 구간을 효과적으로 분리하였다. 그 다음, 각 밴드에서 분리된 잡음과 잡음 밴드를 제거한 후 재합성하여 잡음이 제거된 신호를 획득하였다. 제안한 알고리즘의 유효성을 확인하기 위하여 기존의 알고리즘과 SNR을 비교한 결과, 제안한 알고리즘이 기존의 알고리즘보다 향상된 성능을 보이는 것을 확인하였다. 또한 제안한 알고리즘은 공기전도 음성신호에 적용하여도 개선된 결과를 보이지만, 골전도 음성신호의 잡음 특성을 고려하였으므로 골전도 음성신호에 적용할 경우 더욱 효과적이다. 따라서 제안한 알고리즘은 화재 현장이나 구조 현장 등 다양한 소음 환경에서 원활한 의사소통 및 명확하고 신속한 지시 전달에 사용 가능할 것으로 판단된다.