Design and Implementation of Media Control Application Based on Speech and Motion Recognition

음성 및 동작 인식 기반의 미디어 제어 애플리케이션 설계 및 구현

  • Lee, Won Joo (Dept. of Computer Science, InHa Technical College) ;
  • Kan, Myeonghae (Dept. of Computer Science, InHa Technical College) ;
  • Kang, Minsu (Dept. of Computer Science, InHa Technical College) ;
  • Kim, Taewan (Dept. of Computer Science, InHa Technical College) ;
  • Im, Jeongju (Dept. of Computer Science, InHa Technical College) ;
  • Kang, Jiwoo (Dept. of Computer Science, InHa Technical College)
  • 이원주 (인하공업전문대학 컴퓨터정보과) ;
  • 간명해 (인하공업전문대학 컴퓨터정보과) ;
  • 강민수 (인하공업전문대학 컴퓨터정보과) ;
  • 김태완 (인하공업전문대학 컴퓨터정보과) ;
  • 임정주 (인하공업전문대학 컴퓨터정보과) ;
  • 강지우 (인하공업전문대학 컴퓨터정보과)
  • Published : 2020.01.08

Abstract

본 논문에서는 미디어 플레이어 제어가 어려운 지체 장애인들을 위해 음성과 동작 인식 기반의 미디어 제어 애플리케이션을 설계하고 구현한다. 이 애플리케이션은 사용자의 음성 인식을 위해 먼저 명령어를 정하고, 명령에 매핑되는 키워드 관리하는 데이터 모델을 생성한다. 그리고 이 데이터 모델을 JSON 파일로 정제하여 사용한다. 그리고 키넥트 센서를 활용한 동작 인식은 오른쪽 어깨를 중심으로 오른쪽 손목의 좌표값을 인식함으로써 동작 인식 제어 컨트롤을 실행한다. 오른쪽 어깨를 기준점으로 오른쪽 손목의 좌표값으로 현재 팔의 위치를 정하고, 영역 1~4 에 따라 동작을 인식한다.

Keywords