Journal of Institute of Control, Robotics and Systems (제어로봇시스템학회논문지)

Institute of Control, Robotics and Systems (제어로봇시스템학회)
권호 표지
DOI QR코드

DOI QR Code

Emotion Recognition and Expression Method using Bi-Modal Sensor Fusion Algorithm

다중 센서 융합 알고리즘을 이용한 감정인식 및 표현기법

  • 주종태 (중앙대학교 전자전기공학부) ;
  • 장인훈 (중앙대학교 전자전기공학부) ;
  • 양현창 (중앙대학교 전자전기공학부) ;
  • 심귀보 (중앙대학교 전자전기공학부)
  • Published : 2007.08.01
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we proposed the Bi-Modal Sensor Fusion Algorithm which is the emotional recognition method that be able to classify 4 emotions (Happy, Sad, Angry, Surprise) by using facial image and speech signal together. We extract the feature vectors from speech signal using acoustic feature without language feature and classify emotional pattern using Neural-Network. We also make the feature selection of mouth, eyes and eyebrows from facial image. and extracted feature vectors that apply to Principal Component Analysis(PCA) remakes low dimension feature vector. So we proposed method to fused into result value of emotion recognition by using facial image and speech.

Keywords

References

  1. 박창현, 심귀보 '음성 신호를 이용한 감정인식에서의 패턴 인식 방법,' 한국퍼지 및 지능시스템학회 논문지, 제 12 권, 제 3 호, pp. 284-288, 2006
  2. Y.-S. Shin 'The effect of facial expression recognition based on the dimensions of emotion using PCA representation and neural networks,' Lecture Notes in Computer Science(LNCS), vol. 3656, pp. 1133-1140, 2005
  3. Mingli Song, Jiajun Bu, Chun Chen, and Nan Li, 'Audio-visual based emotion recognition,' Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR'04), vol. 2, pp. 1020-1125, 2004
  4. H. Guncs and M. Piccardi, 'Bi-modal emotion recognition from expressive face and boby gessture' Journal of Network and Computer Applications, pp. 1-12, 2006
  5. D. Silval and P. C. Ng, 'Bimodal emotion recognition', Automatic Face and Gesture Recognition, 2000. Proceedings. Fourth IEEE International Conference on, pp. 332-335, 2000
  6. F. Hara, 'Artificial emotion of face robot through learning in communicative interactions with human,' Proceeding of the 2004 IEEE International Workshop on Robot and Human Interactive Communication, pp. 7-15, 2004
  7. 양현승, 서용호, 정일웅, 한태우, 노동현, '서비스 로봇을 위한 감성 인터페이스 기술,' 로봇공학회 논문지, 제 1 권, 제 1 호, pp. 58-65, 2006
  8. 심귀보, 박창현, '음성으로부터 감성인식 요소 분석,' 한국퍼지 및 지능시스템학회 논문지, 제 11 권, 제 6 호, pp. 510-515, 2001
  9. 이동훈, 심귀보 '2D 얼굴 영상을 이용한 로봇의 감정 인식 및 표현시스템,' 제어 . 자동화 . 시스템학회 논문지, 제 13 권, 제 4 호, pp. 371-376, 2007 https://doi.org/10.5302/J.ICROS.2007.13.4.371
  10. 김호덕, 양현창, 박창현, 심귀보, 'PCA을 이용한 얼굴 표정의 감정인식 방법,' 한국퍼지 및 지능시스템학회 논문지, 제 16 권, 제 7 호, pp. 772-776, 2003
  11. 김병훈, 이지근, 소인미, '얼굴과 음성정보를 이용한 바이모달 사용자 인식시스템 설계 및 구현,' 한국컴퓨터정보학회 논문지, 제 10 권, 제 5 호, pp. 353-361, 2005
  12. 심귀보, 변광섭, 박창현, '동적 감성 공간에 기반한 감정 표현 시스템,' 한국퍼지 및 지능시스템학회 논문지, 제 15 권, 제 1 호, pp. 18-23, 2005 https://doi.org/10.5391/JKIIS.2005.15.1.018

Cited by

  1. The Audience Behavior-based Emotion Prediction Model for Personalized Service vol.19, pp.2, 2013, https://doi.org/10.13088/jiis.2013.19.2.073