The Journal of the Korea Contents Association (한국콘텐츠학회논문지)

The Korea Contents Association (한국콘텐츠학회)
권호 표지
DOI QR코드

DOI QR Code

Developing Interactive Game Contents using 3D Human Pose Recognition

3차원 인체 포즈 인식을 이용한 상호작용 게임 콘텐츠 개발

  • 최윤지 (전남대학교 전자컴퓨터공학부) ;
  • 박재완 (전남대학교 전자컴퓨터공학부) ;
  • 송대현 (전남대학교 전자컴퓨터공학부) ;
  • 이칠우 (전남대학교 전자컴퓨터공학부)
  • Received : 2011.09.01
  • Accepted : 2011.10.14
  • Published : 2011.12.28
Download PDF
⟨ Previous Next ⟩

Abstract

Normally vision-based 3D human pose recognition technology is used to method for convey human gesture in HCI(Human-Computer Interaction). 2D pose model based recognition method recognizes simple 2D human pose in particular environment. On the other hand, 3D pose model which describes 3D human body skeletal structure can recognize more complex 3D pose than 2D pose model in because it can use joint angle and shape information of body part. In this paper, we describe a development of interactive game contents using pose recognition interface that using 3D human body joint information. Our system was proposed for the purpose that users can control the game contents with body motion without any additional equipment. Poses are recognized comparing current input pose and predefined pose template which is consist of 14 human body joint 3D information. We implement the game contents with the our pose recognition system and make sure about the efficiency of our proposed system. In the future, we will improve the system that can be recognized poses in various environments robustly.

일반적으로 비전기반 3차원 인체 포즈 인식 기술은 HCI(Human-Computer Interaction)에서 인간의 제스처를 전달하기 위한 방법으로 사용된다. 특수한 환경에서 단순한 2차원 움직임 포즈만 인식할 수 있는 2차원 포즈모델 기반 인식 방법에 비해 3차원 관절을 묘사한 포즈모델은 관절각에 대한 정보와 신체 부위의 모양정보를 선행지식으로 사용할 수 있어서 좀 더 일반적인 환경에서 복잡한 3차원 포즈도 인식할 수 있다는 장점이 있다. 이 논문은 인체의 3차원 관절 정보를 이용한 포즈 인식 기술을 인터페이스로 활용한 상호작용 게임 콘텐츠 개발에 관해 기술한다. 제안된 시스템에서 사용되는 포즈는 인체 관절 중 14개 관절의 3차원 위치정보를 이용해서 구성한 포즈 템플릿과 현재 사용자의 포즈를 비교해 인식된다. 이 방법을 이용하여 제작된 시스템은 사용자가 부가적인 장치의 사용 없이 사용자의 몸동작만으로 자연스럽게 게임 콘텐츠를 조작할 수 있도록 해준다. 제안된 3차원 인식 기술을 게임 콘텐츠에 적용하여 성능을 평가한다. 향후 다양한 환경에서 더욱 강건하게 포즈를 인식할 수 있는 연구를 수행할 계획이다.

Keywords

References

  1. MIT, "10 Emerging technologies 2011," Technology Review, 2011(5).
  2. 홍동표, 우운택, "제스처기반 사용자 인터페이스에 대한 연구 동향", Telecommunications Review, 제18권, 제3호, 2008.
  3. 전성국, 홍광진, 정기철, "회전무관 3D Star Skeleton 특징 추출", 정보과학회논문지, 제36권, 제7호, pp.836-850, 2009.
  4. I. Haritaoglu, D. Harwood, and L. S. Davis, "Ghost: A human body part labeling system using silhouettes," Proc. of the 14th International Conference on Pattern Recognition, pp.77-82, 1998.
  5. H. Fujiyoshi, A. J. Lipton, and T. kanade, "Real-Time Human motion analysis by image skeletonization," IEICE Transaxtions on Information Systems, pp.113-120, 2004.
  6. A. Baumberg and D. Hogg, "An adaptive eigenshape model," Proc. of British Machine Vision Conference, Vol.1, pp.87-96, 1995.
  7. 오치민, 3차원 인체포즈 인식을 위한 그림구조 모델과 파티클필터 추적, 전남대학교 석사학위논문, 2009.
  8. G. Mori and J. Malik, "Estimating Human Body Configurations using Shape Context Matching," Proc. of the 7th European Conference on Computer Vision Copenhagen(LNCS) , Vol.2352, pp.150-180, 2002.
  9. Y. Kameda, M. Minoh, and K. Ikeda, "Three dimensional pose estimation of an articulated object from its silhouette image," Proc. of the Asian Conference on Computer Vision, pp.612-615, 1993.
  10. B. Boulay, F. Brenmond, and M. Thonnat "Applying 3d human model in a posture recognition system," Pattern Recognition Letter, Vol.27, pp.1788-1796, 2006. https://doi.org/10.1016/j.patrec.2006.02.008
  11. D. M. Gavrila and L.S. davis, "3-D model-based tracking of humans in action: a multi-view approach," Proc. of IEEE Computer Vision and Pattern Recognition, 2006.
  12. I. Cohen and H. Li, "Posture and gesture Recognition using 3D body Shapes Decomposition," Proc. of IEEE Computer Society Conference on Computer vision and Pattern Recognition, 2005.
  13. 박재완, 오치민, 이칠우, "가상 놀이 공간 인터페이스를 위한 HMM기반 상반신 제스처 인식", 한국콘텐츠학회논문지, 제10권, 제8호, pp.11-17, 2010. https://doi.org/10.5392/JKCA.2010.10.8.011
  14. Microsoft Corp. Redmond WA. Kinect for Xbox360
  15. http://research.microsoft.com/en-us/um/redmond/projects/kinectsdk/
  16. J. Shotton, A. Fitzgibbon, M. Cook, M. Finocchio, R. Moore, A. Kipman, and a. Blake, "Real-Time Human Pose recognition in Parts from single depth Images," CVPR, 2011.