DOI QR코드

DOI QR Code

Improvement of Environment Recognition using Multimodal Signal

멀티 신호를 이용한 환경 인식 성능 개선

  • 박준규 (전남대학교 전자컴퓨터공학부) ;
  • 백성준 (전남대학교 전자컴퓨터공학부)
  • Received : 2010.08.30
  • Accepted : 2010.12.14
  • Published : 2010.12.28

Abstract

In this study, we conducted the classification experiments with GMM (Gaussian Mixture Model) from combining the extracted features by using microphone, Gyro sensor and Acceleration sensor in 9 different environment types. Existing studies of Context Aware wanted to recognize the Environment situation mainly using the Environment sound data with microphone, but there was limitation of reflecting recognition owing to structural characteristics of Environment sound which are composed of various noises combination. Hence we proposed the additional application methods which added Gyro sensor and Acceleration sensor data in order to reflect recognition agent's movement feature. According to the experimental results, the method combining Acceleration sensor data with the data of existing Environment sound feature improves the recognition performance by more than 5%, when compared with existing methods of getting only Environment sound feature data from the Microphone.

본 연구에서는 9가지 환경에서 마이크로폰과 자이로센서, 가속도센서를 이용하여 얻은 데이터를 특징 추출한 후 각 특징들을 조합하여 GMM (Gaussian Mixture Model)을 이용한 분류실험을 수행하였다. 기존의 환경 인식에 관한 연구들에서는 주로 마이크로폰을 이용한 환경음 데이터를 통해 인식주체의 환경 상황을 인식하고자 하였으나, 여러 노이즈들이 결합한 형태로 좋은 특징을 얻기 어려운 환경음의 구조적 특성으로 인해 그 인식 성능에 한계가 있었다. 이에 본 연구에서는 환경상황을 인식하기 위한 또 다른 방법으로 인식주체의 움직임 특성을 반영하기 위해 자이로센서와 가속도센서의 데이터를 특징에 추가 적용하는 방식을 제안하였다. 실험결과 따르면 마이크로폰을 통해 얻은 환경음의 특징만을 이용하는 기존의 방식들에 비해 가속도센서를 통해 얻은 데이터를 기존의 환경음 특징벡터와 조합한 경우에서 5% 이상 평균 인식률이 개선되는 것을 확인할 수 있었다.

Keywords

References

  1. http://www.teco.edu/tea/
  2. L. Ma, B. P. Milner, and D. Smith, “Acoustic environment classification,” ACM Transactions on Speech and Language Processing, Vol.3, No.2, pp.1-22. 2006.
  3. Y. Toyoda, J. Huang, S. Ding, and Y. Liu, “Environmental sound recognition by multilayered neural networks,” International Conference on Computer and Information Technology, pp.123-127, 2004.
  4. L. Couvreur and M. Laniray, “Automatic noise recognition in urban environments based on artificial neural networks and hidden Markov models,” InterNoise, Prague, Czech Republic, pp.1-8, 2004.
  5. N. Sawhney, “Situational awareness from environmental sounds,” MIT Media Lab. Technical Report, 1997.
  6. S. Chu, S. Narayana, C.-C. J. Kuo, and M. J. Mataric, "Where am I? Scene recognition for mobile robots using audio features," in Proc. ICME, 2006.
  7. R. G. Malkin and A. Waibel, "Classifying user environment for mobile applications using linear autoencoding of ambient audio," in Proc. ICASSP, 2005.
  8. A. Eronen, V. Peltonen, J. Tuomi, A. Klapuri, S. Fagerlund, T. Sorsa, G. Lorho, and J. Huopaniemi, “Audio-based context recognition,” IEEE Trans. on Audio, Speech, and Language Processing, Vol.14, No.1, pp.321-329, 2006(1). https://doi.org/10.1109/TSA.2005.854103
  9. S. Chu, S. Narayanan, and C.-C. Jay Kuo “Environmental Sound Recognition With Time-Frequency Audio Features,” IEEE Trans. on Audio, Speech, and Language Processing, Vol.17, No.6, pp.1-16, 2009. https://doi.org/10.1109/TASL.2008.2010365
  10. A. Kobayashi, T. Iwamoto, S. Nishiwama “UME : Method for Estimating User Movement Using an Acceleration Sensor,” in Proc. SAINT, 2008.
  11. C. M. Bishop, Neural networks for pattern recognition, Oxford University Press, UK, 1995.
  12. R. O. Duda, P. E. Hart, and D. G. Stork, Pattern Classfication, Jone Wiley & Son, Inc. 2001.