Journal of Broadcast Engineering (방송공학회논문지)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지
DOI QR코드

DOI QR Code

MPEG-U based Advanced User Interaction Interface System Using Hand Posture Recognition

손 자세 인식을 이용한 MPEG-U 기반 향상된 사용자 상호작용 인터페이스 시스템

  • Han, Gukhee (Multimedia Engineering, Hanbat National University) ;
  • Lee, Injae (Broadcasting & Telecommunications Media Research Department, ETRI) ;
  • Choi, Haechul (Multimedia Engineering, Hanbat National University)
  • 한국희 (한밭대학교 정보통신전문대학원 멀티미디어공학과) ;
  • 이인재 (한국전자통신연구원 방송통신융합연구부문 실감방송미디어연구부) ;
  • 최해철 (한밭대학교 정보통신전문대학원 멀티미디어공학과)
  • Received : 2013.10.28
  • Accepted : 2013.12.30
  • Published : 2014.01.30
Download PDF
⟨ Previous Next ⟩

Abstract

Hand posture recognition is an important technique to enable a natural and familiar interface in HCI(human computer interaction) field. In this paper, we introduce a hand posture recognition method by using a depth camera. Moreover, the hand posture recognition method is incorporated with MPEG-U based advanced user interaction (AUI) interface system, which can provide a natural interface with a variety of devices. The proposed method initially detects positions and lengths of all fingers opened and then it recognizes hand posture from pose of one or two hands and the number of fingers folded when user takes a gesture representing a pattern of AUI data format specified in the MPEG-U part 2. The AUI interface system represents user's hand posture as compliant MPEG-U schema structure. Experimental results show performance of the hand posture recognition and it is verified that the AUI interface system is compatible with the MPEG-U standard.

최근 손과 손가락을 인식하는 기술은 HCI(human computer interaction)에서 자연스럽고 친숙한 환경을 제공하기 위한 기술로 주목 받고 있다. 본 논문에서는 깊이 카메라를 이용하여 손과 손가락의 모양을 검출 및 인식하는 방법을 제안하고, 그 인식 결과를 활용하여 다양한 기기와 상호연동 할 수 있는 MPEG-U 기반 향상된 사용자 상호작용 인터페이스 시스템을 제안한다. 제안하는 시스템은 깊이 카메라를 이용하여 손을 검출한 후, 손목의 위치를 찾아 최소 손 영역을 검출한다. 이어서 검출된 최소 손 영역으로부터 손가락 끝점을 검출 한 후, 최소 손 영역의 중심점과 손가락 끝점간의 뼈대를 만든다. 이렇게 만든 뼈대의 길이와 인접 뼈대간의 각도차를 분석하여 손가락을 판별한다. 또한, 제안하는 시스템은 사용자가 MPEG-U에서 정의하는 다양한 심벌들을 손 자세로 취하였을 때 제안 방법을 이용하여 손 자세를 인식하고, 인식 결과를 상호연동 가능한 MPEG-U 스키마 구조로 표현한다. 실험에서는 다양한 환경에서 제안하는 손 자세 인식 방법의 성능을 보인다. 또한, 제안 시스템의 상호연동성을 보이기 위해 인식 결과를 MPEG-U part2 표준에 맞는 XML 문서로 표현하고, MPEG-U 참조 소프트웨어를 이용하여 그 표현 결과에 대한 표준 부합성을 검증한다.

Keywords

References

  1. Information technology - Rich media user interfaces - Part 2: Advanced user interaction (AUI) interfaces. - ISO/IEC 23007, Feb. 2012.
  2. G. Han, A. Baek, and H. Choi, "MPEG-U part2 based Advanced User Interaction Interface System," Journal of Korea Contents Association, Vol. 12, No. 12, pp. 54-62, Dec. 2012.
  3. Robert Y. Wang and Jovan Popovi, "Real-Time Hand-Tracking with a Color Glove," ACM Transactions on Graphics, Vol. 28, Issue. 3, No. 63, Aug. 2009.
  4. R. Lockton and A. Fitzgibbon, "Real-time gesture recognition using deterministic boosting," BMVC, pp. 1-10, Sep. 2002.
  5. Anastasios Roussos, Stavros Theodorakis, Vassilis Pitsikalis and Petros Maragos, "Hand tracking and affine shape-appearance handshape sub-units in continuous sign language recognition," ECCV Workshop on Sign, Gesture and Activity, Hersonissos, Crete, Greece, Sep. 2010.
  6. Yuh-Rau Wang, Wei-Hung Lin, and Ling Yang, "A novel real time hand detection based on skin-color," Consumer Electronics (ISCE), IEEE 17th International Symposium on, pp. 141-142, Jun. 2013.
  7. Xintao Li, Can Tang, Chun Gong, Sheng Cheng and Jianwei Zhang, "Hand Segmentation Based on Skin Tone and Motion Detection with Complex Backgrounds," Chinese Intelligent Automation Conference, Springer Berlin Heidelberg, Vol. 256, pp. 105-111, Jan. 2013.
  8. V. Argyros and S. Sclaroff, "Database indexing methods for 3D hand pose estimation," Gesture Workshop, pp. 288-299. Apr. 2003.
  9. Candescent NUI Samples & Source code http://candescentnui. codeplex. com/ SourceControl/latest#CCT.NUI.Visual/ClusterLayer. cs.
  10. S. Malik, "Real-time hand tracking and finger tracking for interaction," CSC2503F Project Report, Department of Computer Science, University of Toronto, Dec. 2003.
  11. C. Davatzikos and J. L. Prince, "Convexity analysis of active contour problems," Image Vision Computing, Vol. 17, pp. 27-36, Jan. 1999. https://doi.org/10.1016/S0262-8856(98)00087-0
  12. I. Oikonomidis, N. Kyriazis and AA. Argyros, "Efficient Model-based 3D Tracking of Hand Articulations using Kinect," BMVC, pp. 101.1-101.11, Sep. 2011.
  13. Junyeong Choi, Hanhoon Park and Jong-ll Park, "Hand shape recognition using distance transform and shape decomposition," Image Processing(ICIP), pp. 3605-3608, Sept. 2011.
  14. KINECT. http://en.wikipedia.org/wiki/Kinect.
  15. Sara Taskinen and David I, "Robust estimation and inference for bivariate line‐fitting in allometry," Biometrical Journal, pp. 652-672, Jun. 2011.
  16. Pedro F. Felzenszwalb and Daniel P. Huttenlocher, "Distance Transforms of Sampled Functions," Theory of Computing, Vol. 8, pp. 415-428, Sep. 2012. https://doi.org/10.4086/toc.2012.v008a019