Robust Speech Recognition Algorithm of Voice Activated Powered Wheelchair for Severely Disabled Person

중증 장애우용 음성구동 휠체어를 위한 강인한 음성인식 알고리즘

  • 석수영 (산업기술종합연구소 정보기술연구부문 음성처리그룹) ;
  • 정현열 (영남대학교 정보통신공학과)
  • Published : 2007.08.31

Abstract

Current speech recognition technology s achieved high performance with the development of hardware devices, however it is insufficient for some applications where high reliability is required, such as voice control of powered wheelchairs for disabled persons. For the system which aims to operate powered wheelchairs safely by voice in real environment, we need to consider that non-voice commands such as user s coughing, breathing, and spark-like mechanical noise should be rejected and the wheelchair system need to recognize the speech commands affected by disability, which contains specific pronunciation speed and frequency. In this paper, we propose non-voice rejection method to perform voice/non-voice classification using both YIN based fundamental frequency(F0) extraction and reliability in preprocessing. We adopted a multi-template dictionary and acoustic modeling based speaker adaptation to cope with the pronunciation variation of inarticulately uttered speech. From the recognition tests conducted with the data collected in real environment, proposed YIN based fundamental extraction showed recall-precision rate of 95.1% better than that of 62% by cepstrum based method. Recognition test by a new system applied with multi-template dictionary and MAP adaptation also showed much higher accuracy of 99.5% than that of 78.6% by baseline system.

현재의 음성인식 기술은 하드웨어 기술의 발전과 더불어 여러 분야에 응용되고 있지만 음성구동 휠체어와 같은 고신뢰성이 요구되는 응용분야에서는 아직도 그 성능이 불충분하다. 실 환경에서 음성을 통해 안전하게 휠체어를 제어하기 위해서는 도로의 소음 등과 같은 주변잡음의 영향에 의한 음성인식 성능의 저하, 사용자의 기침소리나 숨소리 등과 같은 비음성 입력시의 오동작, 명령어의 불명확한 발성과 일반인과는 다른 발성 속도 및 발성 주파수 등을 고려한 인식시스템이 필요하다. 이를 위하여 본 논문에서는 비음성 입력시의 오동작을 방지하기 위해 인식기의 전처리 단에서 YIN 기본주파수 추출방법을 적용한 후 프레임 별 신뢰도에 기반한 고정도로 음성/비음성을 판별할 수 있는 방법을 제안하고, 불명확한발성에 대한 인식 성능 향상을 위해 화자 적응화 방법 및 개인적인 발성 변이를 표현할 수 있는 다중 후보 단어사전을 구성하여 인식성능 제고를 도모하였다. 잡음이 포함된 실 환경하에서 수집한 데이터를 대상으로 인식실험을 수행한 결과 기존의 켑스트럼 방법에서는 오류 없이 비음성을 찾아내는 재현율은 62%로 나타났으나 본 논문에서 제안한 YIN방법에 기반을 둔 신뢰도 측정방법에서는 95.1%를 나타나 우수한 성능을 나타내었다. 실 환경에서 수집된 2211개의 불명확한 발성을 대상으로 인식실험을 수행한 결과 2000상태 16 혼합수 HMnet 모델을 이용한 경우 인식률이 78.6%로 나타났으나 MAP적응화 방법 및 다중 후보 인식사전을 적용한 결과 99.5%의 인식 성능을 나타내어 제안한 방법의 유효성을 확인할 수 있었다.

Keywords

References

  1. D. Ding, R.A. Cooper, 'Electric Powered Wheelchairs,' in IEEE Trans. Control Systems Magazine, 25 22-34, 2005
  2. 송병섭, 이정현, 박정제, 박희준, 김영남 '화자 독립 방식의 음성인식 칩 및 무선마이크를 이용한 전동 휠체어의 구현' 센서공학회 논문집, 13 (1) 20-26, 2004
  3. A. Sasou, H. Kojima, 'Multi-Channel Speech Input System for a Wheelchair,' in Proc. Acoust. Soc. Japan, 2006
  4. K. Sadohara, S.W. Lee and H. Kojima, 'Topic Segmentation Using Kernel Principal Component Analysis for Sub-Phonetic Segments,' Technical Report of IEICE, AI 2004-77, 37-41, 2005
  5. J. Rouat, Y. C. Liu and D. Morrisette, 'A Pitch Determination and Voiced/Unvoiced Decision Algorithm for Noisy Speech,' in Speech Communication, 21, 1997
  6. S. Ahmadi, S. S. Andreas, 'Cepstrum-based Pitch Detection using a New Statistical V/UV Classification Algorithm,' in IEEE Trans. Speech Audio Processing, 7 (3) 333 -339, 1999 https://doi.org/10.1109/89.759042
  7. H. Miyabayashi, T. Funada, 'Pitch extraction and voiced/ unvoiced detection of speech by cross-coupling multi-layered neural network with feedback architecture.' in Journal of Electronics and Communication of Japan, 80 (9) 48-58, 1998
  8. K. Giridharan, B.Y. Smolenski and R.E. Yantorno, 'Statistical And Model Based Approach To Unvoiced Speech Detection:' in Proc. ISPACS, 816-821. 2004
  9. A. de Cheveigne, H. Kawahara, 'YIN, a Fundamental Frequency Estimator for Speech and Music,' in Journal of the Acoustic Society of the America, 111, 2002
  10. A. Lee, T. Kawahara and K. Shikano, 'Julius - an Open Source Real-time Large Vocabulary Recognition Engine.' in Proc. European Conference on Speech Communication and Technology, 1691-1694, 2001
  11. S.Y. SUK, S.W. Lee, H. Kojima and S. Makino, 'Multi-mixture based PDT-SSS Algorithm for Extension of HMNet Structure,' in Proc. Acoust. Soc. Japan, 2005