저해상도 손 제스처 영상 인식에 대한 연구

A Study on Hand Gesture Recognition with Low-Resolution Hand Images

  • 안정호 (강남대학교 컴퓨터미디어정보공학부)
  • 투고 : 2014.01.26
  • 심사 : 2014.03.07
  • 발행 : 2014.03.30

초록

최근 물리적 디바이스의 도움 없이 사람이 시스템과 인터랙션 할 수 있는 인간 친화적인 인간-기계 인터페이스가 많이 연구되고 있다. 이중 대표적인 것이 본 논문의 주제인 비전기반 제스처인식이다. 본 논문에서 우리는 설정된 가상세계의 객체와의 인터랙션을 위한 손 제스처들을 정의하고 이들을 인식할 수 있는 효과적인 방법론을 제안한다. 먼저, 웹캠으로 촬영된 저해상도 영상에서 사용자의 양손을 검출 및 추적하고, 손 영역을 분할하여 손 실루엣을 추출한다. 우리는 손 검출을 위해, RGB 공간에서 명암에 따라 두개의 타원형 모델을 이용하여 피부색을 모델링하였으며, 블랍매칭(blob matching) 방법을 이용하여 손 추적을 수행하였다. 우리는 플러드필(floodfill) 알고리즘을 이용해 얻은 손 실루엣의 행/열 모드 검출 및 분석을 통해 Thumb-Up, Palm, Cross 등 세 개의 손모양을 인식하였다. 그리고 인식된 손 모양과 손 움직임의 콘텍스트를 분석해서 다섯 가지 제스처를 인식할 수 있었다. 제안하는 제스처인식 방법론은 정확한 손 검출을 위해 카메라 앞에 주요 사용자가 한 명 등장한다는 가정을 하고 있으며 많은 실시간 데모를 통해 효율성 및 정확성이 입증되었다.

Recently, many human-friendly communication methods have been studied for human-machine interface(HMI) without using any physical devices. One of them is the vision-based gesture recognition that this paper deals with. In this paper, we define some gestures for interaction with objects in a predefined virtual world, and propose an efficient method to recognize them. For preprocessing, we detect and track the both hands, and extract their silhouettes from the low-resolution hand images captured by a webcam. We modeled skin color by two Gaussian distributions in RGB color space and use blob-matching method to detect and track the hands. Applying the foodfill algorithm we extracted hand silhouettes and recognize the hand shapes of Thumb-Up, Palm and Cross by detecting and analyzing their modes. Then, with analyzing the context of hand movement, we recognized five predefined one-hand or both-hand gestures. Assuming that one main user shows up for accurate hand detection, the proposed gesture recognition method has been proved its efficiency and accuracy in many real-time demos.

키워드

참고문헌

  1. Y. Fang, K. Wang, J. Cheng and H. Lu, "A real-time hand gesture recognition method", IEEE International Conference on Multimedia and Expo, pp. 995-998, 2007.
  2. A. F. Bobick, and J. W. Davis, "The Recognition of Human Movement Using Temporal Templates", IEEE Transactions on Pattern Recognition and Machine Learning, Vol. 23, No. 3, 2001.
  3. J.W. Davis, "Hierarchical Motion History Images for Recognizing Human Motion", IEEE workshop on Detection and Recognition of Events in Video, pp.39-46, 2001.
  4. N. D. Binh, E. Shuichi and T. Ejima, "Real-Time Hand Tracking and Gesture Recognition System", GVIP Conference, 2005.
  5. L. Bretzber, I. Laptev, Tony Lindeberg, "Hand Gesture Recognition using Mulit-Scale Colour Features, Hierarchical Models and Partical Filtering", IEEE Interntional Conference on Automatic Face and Gesture Recognition, pp.423-428. 2002.
  6. H. Kim, G. Albuquerque, S. Havemann, D. W. Fellner, "Tangible 3D: Hand Gesture Interaction for Immersive 3D Modeling", IPT & EGVE Workshop, 2005.
  7. Microsoft Project Natal, http://research.microsoft .com/apps/video/default.aspx?id=144455 .
  8. T. Kirishima, K. Sato, K., Chihara, "Real-Time Gesture Recognition by Learning and Selective Control of Visual Interest Points", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 27, No. 3, pp.351-364, 2005. https://doi.org/10.1109/TPAMI.2005.61
  9. A. Malima, E. Ozgur, M. Cetin, "A Fast Algorithm for Vision-based Hand Gesture Recognition for Robot Control", IEEE Conference on Signal Processing and Communications Applications, 2006.
  10. H.-S. Yoon, J. Soh, Y. J. Bae, H. S. Yang, "Hand gesture recognition using combined features of location, angle and velocity", Pattern Recognition, Vol. 34, pp. 1491-1501, 2001. https://doi.org/10.1016/S0031-3203(00)00096-0
  11. P. Viola and M. Jones, "Robust Real-time Face Detection", International Journal of Computer Vision, vol.57, No. 2, pp. 137-154, 2001.
  12. X. Xiong and F. D. Torre, "Supervised Descent Method and its Applications to Face Alignment", IEEE Conference on Computer Vision and Pattern Recognition, 2013.
  13. J.-H. Ahn and J.-H. Kim, "A Stable Hand Tracking Method by Skin Color Blob Matching", Pacific Science Review, Vol.12, No.2, pp. 146-151, 2010.