A Study on Hand-signal Recognition System in 3-dimensional Space

3차원 공간상의 수신호 인식 시스템에 대한 연구

  • 장효영 (한국과학기술원 전자전산학과 전기 및 전자공학) ;
  • 김대진 (한국과학기술원 전자전산학과 전기 및 전자공) ;
  • 김정배 (삼성종합기술원 HCI Lab) ;
  • 변증남 (한국과학기술원 전자전산학과 전기 및 전자공학)
  • Published : 2004.05.01

Abstract

This paper deals with a system that is capable of recognizing hand-signals in 3-dimensional space. The system uses 2 color cameras as input devices. Vision-based gesture recognition system is known to be user-friendly because of its contact-free characteristic. But as with other applications using a camera as an input device, there are difficulties under complex background and varying illumination. In order to detect hand region robustly from a input image under various conditions without any special gloves or markers, the paper uses previous position information and adaptive hand color model. The paper defines a hand-signal as a combination of two basic elements such as 'hand pose' and 'hand trajectory'. As an extensive classification method for hand pose, the paper proposes 2-stage classification method by using 'small group concept'. Also, the paper suggests a complementary feature selection method from images from two color cameras. We verified our method with a hand-signal application to our driving simulator.

본 논문은 3차원 공간상에서 행해지는 수신호들을 인식하는 시스템을 다룬다. 수신호 입력을 위한 장치로는 두 대의 컬러카메라를 사용한다. 비전에 기반을 둔 제스처 인식 방식은 그 자체의 비접촉식 특성으로 인해 사용자 편의 면에서 우수한 것으로 알려져 있다. 그러나 여타의 카메라를 입력 장치로 사용하는 방식들이 그러하듯이 배경과 조명 변화에 대해 취약하다는 것이 문제시된다. 본 논문에서는 특수한 장갑이나 표식을 사용하지 않고도, 배경 및 조명 변화에 강인하게 입력 영상에서 손영역을 검출하기 위해, 적응 손 컬러 모델과 함께 이전 위치 정보를 이용하였다. 손 영역 영상으로부터 수신호를 인식하기 위해서, 본 논문은 '손 자세'와 '손 궤적'을 기본요소로 하는 수신호 정의 방식을 바탕으로 한다. 확장성 있는 손 자세 분류를 위해서 소그룹 개념을 통한 2단계의 분류방식을 제안한다. 3차원 수신호 영상을 얻기 위해 사용된 두 대의 카메라로부터 얻은 영상들에 대한 상호보완적 선택 방법도 제시한다. 제안된 수신호 인식 방법은 차량 주행 시뮬레이터에 적용하여 실제 환경에서의 적용 가능성을 검증하였다.

Keywords

References

  1. V.I. Pavlovic, R. Sharma, T.S. Huang, 'Visual interpretation of hand gestures for human-computer interaction,' IEEE Trans. PAMI, 19(7):677-695, 1997 https://doi.org/10.1109/34.598226
  2. T. Starner, J. Wieaver, and A. Pentland, 'Real-time american sign language recognition using desk and wearable computer based video,' IEEE Trans. PAMI, 20(12):1371-1375, 1998 https://doi.org/10.1109/34.735811
  3. Carlos, R. P. Dionisio, Ronberto M. Cesar J.R. 'A Project for Hand Gesture Recognition,' Proc. of the XIII Brazilian Symposium on Computer Graphics and Image Processing, 2000 https://doi.org/10.1109/SIBGRA.2000.895833
  4. J. Triesch and C.von der Malsburg, 'A gesture interface for human-robot-interaction,' Proc. of the 3rd Int. Conf. Automatic Face and Gesture Recognition, Nara, Japan, pp. 546-551, 1998 https://doi.org/10.1109/AFGR.1998.671005
  5. F. Quek, 'Toward a vision-based hand gesture interface,' Proc. of the Virtual Reality Software and Technology Conference, pp. 17-31, 1994
  6. R. C. Gonzalez and R. E. Woods, Digital Image Processing, p. 228, Addison-Wesley, 1992
  7. X. Zhu, J. Yang, A. Waibel, 'Segmenting lands of arbitrary color,' Proc. of the 4th Int'I Conf. on Automatic Face and Gesture Recognition, pp. 446-453, 2000 https://doi.org/10.1109/AFGR.2000.840673
  8. 장효영 외, '의사 결정 트리를 이용한 수신호 인식 시스템에 대한 연구,' 정보과학회 HCI 2002 학술대회, 2002
  9. L. R. Ribiner, 'A tutorial on hidden Markov models and selected applications in speech recognition,' Proc. of the IEEE, no. 77, pp. 257-286, 1989 https://doi.org/10.1109/5.18626
  10. T. K. Moon, 'The Expectation-Maximization Algorithm,' IEEE Trans. Signal Processing, 1996 https://doi.org/10.1109/79.543975
  11. X. D. Huang, Y. Arlki, M. A. Jack, 'Hidden Markov Models for Speech Recognition,' Edinburgh Univ. Press, 1990
  12. 김영순, '신체언어 커뮤니케이션의 기호학,' 커뮤니케이션북스 2001
  13. William T. Freeman, Craig D. Weissman, 'Television Control by Hand Gestures,' IEEE Intl. Workshop on Automatic Face and Gesture Recognition, 1995
  14. 이현규, 김호연, 김진형, '은닉 마르코프 모델 기반 손 제스처 적출을 위한 임계치 모델,' 정보과학회논문지(B), 제25권 1호, 150, 1998