Journal of the Korea Computer Graphics Society (한국컴퓨터그래픽스학회논문지)

Korea Computer Graphics Society (한국컴퓨터그래픽스학회)
권호 표지
DOI QR코드

DOI QR Code

3D Virtual Reality Game with Deep Learning-based Hand Gesture Recognition

딥러닝 기반 손 제스처 인식을 통한 3D 가상현실 게임

  • Lee, Byeong-Hee (Department of Computer Engineering, Seokyeong University) ;
  • Oh, Dong-Han (Department of Computer Engineering, Seokyeong University) ;
  • Kim, Tae-Young (Department of Computer Engineering, Seokyeong University)
  • 이병희 (서경대학교 컴퓨터공학과) ;
  • 오동한 (서경대학교 컴퓨터공학과) ;
  • 김태영 (서경대학교 컴퓨터공학과)
  • Received : 2018.11.29
  • Accepted : 2018.11.30
  • Published : 2018.12.01
Download PDF
⟨ Previous Next ⟩

Abstract

The most natural way to increase immersion and provide free interaction in a virtual environment is to provide a gesture interface using the user's hand. However, most studies about hand gesture recognition require specialized sensors or equipment, or show low recognition rates. This paper proposes a three-dimensional DenseNet Convolutional Neural Network that enables recognition of hand gestures with no sensors or equipment other than an RGB camera for hand gesture input and introduces a virtual reality game based on it. Experimental results on 4 static hand gestures and 6 dynamic hand gestures showed that they could be used as real-time user interfaces for virtual reality games with an average recognition rate of 94.2% at 50ms. Results of this research can be used as a hand gesture interface not only for games but also for education, medicine, and shopping.

가상 환경에서 몰입감을 높이고 자유로운 상호작용을 제공하기 위한 가장 자연스러운 방법은 사용자의 손을 이용한 제스처 인터페이스를 제공하는 것이다. 그러나 손 제스처 인식에 관한 기존의 연구들은 특화된 센서나 장비를 요구하거나 낮은 인식률을 보이는 단점이 있다. 본 논문은 손 제스처 입력을 위한 RGB 카메라 이외 별도 센서나 장비 없이 손 제스처 인식이 가능한 3차원 DenseNet 합성곱 신경망 모델을 제안하고 이를 기반으로 한 가상현실 게임을 소개한다. 4개의 정적 손 제스처와 6개의 동적 손 제스처 인터페이스에 대해 실험한 결과 평균 50ms의 속도로 94.2%의 인식률을 보여 가상현실 게임의 실시간 사용자 인터페이스로 사용 가능함을 알 수 있었다. 본 연구의 결과는 게임 뿐 아니라 교육, 의료, 쇼핑 등 다양한 분야에서 손 제스처 인터페이스로 활용될 수 있다.

Keywords

References

  1. 박경범, 이재열, "가상현실 환경에서 3D 가상객체 조작을 위한 인터페이스와 인터랙션 비교 연구," 한국CDE학회 논문집, 21(1), pp. 20-30, 2016. 3.
  2. 윤종원, 민준기, 조성배, "몰입형 가상현실의 착용식 사용자 인터페이스를 위한 Mixture-of- Experts 기반 제스처 인식," 한국HCI학회 논문지, 6(1), pp. 1-8, 2011. 5.
  3. 나민영, 유휘종, 김태영, "스마트 디바이스 제어를 위한 비전 기반 실시간 손 포즈 및 제스처 인식방법," 한국차세대컴퓨팅학회 논문지, 8(4), pp.27-34, 2012. 8.
  4. 이새봄, 정일홍, "키넥트를 사용한 NUI 설계 및 구현," 한국디지털콘텐츠학회 논문지, 15(4), pp. 473-480, 2014. 8.
  5. 고택균, 윤민호, 김태영, "HMM과 MCSVM 기반 손 제스처 인터페이스 연구," 한국차세대컴퓨팅학회 논문지, 14(1), pp. 57-64, 2018. 2.
  6. 김민재, 허정만, 김진형, 박소영, 장준호, "직관적인 손동작을 고려한 립모션 기반 게임 인터페이스의 개발 및 평가," 한국컴퓨터게임학회 논문지, 27(4), pp. 69-75, 2014. 12.
  7. 문현철, 양안나, 김재곤, "웨어러블 응용을 위한 CNN 기반 손 제스처 인식," 방송공학회 논문지, 23(2), pp. 246-252, 2018. 3.
  8. A. Sinha, C. Choi and K. Ramani, "DeepHand: Robust hand pose estimation by completing a matrix imputed with deep features," The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4150-4158, 2016.
  9. P. Molchanov, S. Gupta, K. Kim and J. Kauts, "Hand gesture recognition with 3D convolutional neural networks," The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.1-7, 2015.
  10. G. Huang, Z. Liu, K. Q. Weinberger and L. van der Maaten, "Densely connected convolutional networks," The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp 3-11, 2017.
  11. C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D.Erhan, V. Vanhoucke and A. Rabinovich, "Going deeper with convolutions," The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1-9, 2015.
  12. K. He, X. Zhang, S. Ren and J. Sun, "Deep residual learning for image recognition," The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 770-778, 2016.
  13. M. Lin, Q. Chen and S. Yan, "Network In Network," arXiv preprint arXiv:1312.4400, 2013.
  14. Diederik P. Kingma, Jimmy Lei Ba, "Adam: A method for stochastic optimization," International Conference on Learning Representations (ICLR), pp. 1-15, 2015.

Cited by

  1. 제스처 인식 기반의 인터랙티브 미디어 콘텐츠 제작 프레임워크 구현 vol.25, pp.4, 2020, https://doi.org/10.5909/jbe.2020.25.4.545
  2. An Effective Recognition Method of the Gripping Motion Using a Data Gloves in a Virtual Reality Space vol.22, pp.3, 2021, https://doi.org/10.9728/dcs.2021.22.3.437