Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)

  • 2019.10a
  • /
  • Pages.1137-1140
  • /
  • 2019
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Depth Image based Egocentric 3D Hand Pose Recognition for VR Using Mobile Deep Residual Network

모바일 Deep Residual Network을 이용한 뎁스 영상 기반 1 인칭 시점 VR 손동작 인식

  • Park, Hye Min (Dept. of Biomedical Engineering, College of Electronics and Information, Kyung Hee University) ;
  • Park, Na Hyeon (Dept. of Biomedical Engineering, College of Electronics and Information, Kyung Hee University) ;
  • Oh, Ji Heon (Dept. of Biomedical Engineering, College of Electronics and Information, Kyung Hee University) ;
  • Lee, Cheol Woo (Dept. of Biomedical Engineering, College of Electronics and Information, Kyung Hee University) ;
  • Choi, Hyoung Woo (Dept. of Biomedical Engineering, College of Electronics and Information, Kyung Hee University) ;
  • Kim, Tae-Seong (Dept. of Biomedical Engineering, College of Electronics and Information, Kyung Hee University)
  • 박혜민 (경희대학교 전자정보대학 생체의공학과) ;
  • 박나현 (경희대학교 전자정보대학 생체의공학과) ;
  • 오지헌 (경희대학교 전자정보대학 생체의공학과) ;
  • 이철우 (경희대학교 전자정보대학 생체의공학과) ;
  • 최형우 (경희대학교 전자정보대학 생체의공학과) ;
  • 김태성 (경희대학교 전자정보대학 생체의공학과)
  • Published : 2019.10.30
Download PDF
⟨ Previous Next ⟩

Abstract

가상현실(Virtual Reality, VR), 증강현실(Augmented Reality, AR), 혼합현실(Mixed Reality, MR) 분야에 유용한 인간 컴퓨터 인터페이스 기술은 필수적이다. 특히 휴먼 손동작 인식 기술은 직관적인 상호작용을 가능하게 하여, 다양한 분야에서 편리한 컨트롤러로 사용할 수 있다. 본 연구에서는 뎁스 영상 기반의 1 인칭 시점 손동작 인식을 위하여 손동작 데이터베이스 생성 시스템을 구축하여, 손동작 인식기 학습에 필요한 1 인칭(Egocentric View Point) 데이터베이스를 촬영하여 제작한다. 그리고 모바일 Head Mounted Device(HMD) VR 을 위한 뎁스 영상 기반 1 인칭 시점 손동작 인식(Hand Pose Recognition, HPR) 딥러닝 Deep Residual Network 를 구현한다. 최종적으로, 안드로이드 모바일 디바이스에 학습된 Residual Network Regressor 를 이식하고 모바일 VR 에 실시간 손동작 인식 시스템을 구동하여, 모바일 VR 상 실시간 3D 손동작 인식을 가상 물체와의 상호작용을 통하여 확인 한다.

Keywords