Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)

  • 2017.04a
  • /
  • Pages.1108-1111
  • /
  • 2017
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Audio and Image based Emotion Recognition Framework on Real-time Video Streaming

실시간 동영상 스트리밍 환경에서 오디오 및 영상기반 감정인식 프레임워크

  • Bang, Jaehun (Dept of Computer Science and Engineering, Kyung Hee University) ;
  • Lim, Ho Jun (Dept of Computer Science and Engineering, Kyung Hee University) ;
  • Lee, Sungyoung (Dept of Computer Science and Engineering, Kyung Hee University)
  • 방재훈 (경희대학교 컴퓨터공학과) ;
  • 임호준 (경희대학교 컴퓨터공학과) ;
  • 이승룡 (경희대학교 컴퓨터공학과)
  • Published : 2017.04.27
Download PDF
⟨ Previous Next ⟩

Abstract

최근 감정인식 기술은 다양한 IoT 센서 디바이스의 등장으로 단일 소스기반의 감정인식 기술 연구에서 멀티모달 센서기반 감정인식 연구로 변화하고 있으며, 특히 오디오와 영상을 이용한 감정인식 기술의 연구가 활발하게 진행되는 있다. 기존의 오디오 및 영상기반 감정신 연구는 두 개의 센서 테이터를 동시에 입력 저장한 오픈 데이터베이스를 활용하여 다른 이벤트 처리 없이 각각의 데이터에서 특징을 추출하고 하나의 분류기를 통해 감정을 인식한다. 이러한 기법은 사람이 말하지 않는 구간, 얼굴이 보이지 않는 구간의 이벤트 정보처리에 대한 대처가 떨어지고 두 개의 정보를 종합하여 하나의 감정도 도출하는 디시전 레벨의 퓨저닝 연구가 부족하다. 본 논문에서는 이러한 문제를 해결하기 위해 오디오 및 영상에 내포되어 있는 이벤트 정보를 추출하고 오디오 및 영상 기반의 분리된 인지모듈을 통해 감정들을 인식하며, 도출된 감정들을 시간단위로 통합하여 디시전 퓨전하는 실시간 오디오 및 영상기반의 감정인식 프레임워크를 제안한다.

Keywords

Acknowledgement

Supported by : Korea Small and Medium Business Administration