Journal of the Institute of Electronics Engineers of Korea CI (전자공학회논문지CI)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지

A Robust Method for the Recognition of Dynamic Hand Gestures based on DSTW

다양한 환경에 강건한 DSTW 기반의 동적 손동작 인식

  • Ji, Jae-Young (Dept. of Computer Science and Engineering, Hanyang University) ;
  • Jang, Kyung-Hyun (Dept. of Computer Science and Engineering, Hanyang University) ;
  • Lee, Jeong-Ho (Dept. of Computer Science and Engineering, Hanyang University) ;
  • Moon, Young-Shik (Dept. of Computer Science and Engineering, Hanyang University)
  • 지재영 (한양대학교 컴퓨터공학과) ;
  • 장경현 (한양대학교 컴퓨터공학과) ;
  • 이정호 (한양대학교 컴퓨터공학과) ;
  • 문영식 (한양대학교 컴퓨터공학과)
  • Published : 2010.01.25
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, a method for the recognition of dynamic hand gestures in various backgrounds using Dynamic Space Time Warping(DSTW) algorithm is proposed. The existing method using DSTW algorithm compares multiple candidate hand regions detected from every frame of the query sequence with the model sequences in terms of the time. However the existing method can not exactly recognize the models because a false path can be generated from the candidates including not-hand regions such as background, elbow, and so on. In order to solve this problem, in this paper, we use the invariant moments extracted from the candidate regions of hand and compare the similarity of invariant moments among candidate regions. The similarity is utilized as a weight and the corresponding value is applied to the matching cost between the model sequence and the query sequence. Experimental results have shown that the proposed method can recognize the dynamic hand gestures in the various backgrounds. Moreover, the recognition rate has been improved by 13%, compared with the existing method.

본 논문에서는 Dynamic Space Time Warping(DSTW) 알고리즘을 이용하여 손동작을 다양한 배경에서도 정확하게 인식할 수 있는 방법을 제안한다. DSTW 알고리즘을 이용한 기존의 손동작 인식 방법은 질의 영상의 매 프레임마다 검출된 다수의 손 후보 영역과 모델 영상을 시간 축 상으로 비교하는 방법이다. 그러나 DSTW 알고리즘을 이용한 기존의 손동작 인식 방법은 손을 포함하지 않은 후보 영역들(배경, 팔꿈치 등)에 의해 오 인식될 수 있는 경로를 생성하며, 그 결과로 사용자가 의도하지 않은 손동작으로 인식된다. 이러한 단점을 해결하기 위해서, 본 논문에서는 손 후보 영역의 불변 모멘트를 이용하여 질감정보를 추출한 후 후보 영역들 사이의 유사도를 비교한다. 제안한 방법을 통해 계산된 유사도는 모델 영상과 질의 영상의 매칭 비용에 가중치로 적용된다. 실험 결과를 통해 제안한 방법은 다양한 배경에서도 사용자의 손동작을 정확하게 인식하였으며 기존의 방법에 비해 약 13%의 인식률이 향상한 것을 확인하였다.

Keywords

References

  1. 홍동표, 우운택, "제스처기반 사용자 인터페이스에 대한 연구 동향," Telecommunications Review, Vol. 18, No. 3, pp. 403-413, 2008.
  2. T. B. Moeslund, E. Granum, "A Survey of Computer Vision-Based Human Motion Capture," Computer Vision and Image Understanding, Vol. 81, No. 3, pp. 231-268, 2001. https://doi.org/10.1006/cviu.2000.0897
  3. M. Turk, "Computer Vision in the Interface," Communications of the ACM, Vol. 47, No. 1, pp. 60-67, 2004. https://doi.org/10.1145/962081.962107
  4. 장효영, 김대진, 김정배, 변중남, "3차원 공간상의 수신호 인식 시스템에 대한 연구," 전자공학회논문지, 제41권 CI편 제3호, pp. 103-114, 2004.
  5. M. J. Jones, J. M. Rehg. "Statistical color models with application to skin detection," International Journal of Computer Vision, Vol. 46, No. 1, pp. 81-96, January 2002. https://doi.org/10.1023/A:1013200319198
  6. P. Viola, M. J. Jones, "Rapid object detection using a boosted cascade of simple features," In Proc. IEEE Conference on Computer Vision and Pattern Recognition, Vol. 1, pp. 511-518, 2001.
  7. Q. Yuan, S. Sclaroff, and V. Athistos, "Automatic 2D hand tracking in video sequences," In Proc. WACV, Vol. 1, pp. 250-256, 2005.
  8. M. K. Hu, "Visual pattern recognition by moment invariants," IEEE Transactions on information Theory, Vol. 8, No. 2, pp. 179-187, 1962. https://doi.org/10.1109/TIT.1962.1057692
  9. Papoulis, Probability, Random Variables, and Stochastic Processes, McGraw Hill, 1965.
  10. M. Nadler and E. P. Smith, Pattern Recognition Engineering, Wiley-Interscience, pp. 197-1199, 1993.
  11. 신광규, 이강현, "Hu 불변 모멘트를 이용한 장문인식 알고리즘," 대한전자공학회논문지, 제42권, CI편 제2호, pp. 31-38, 2005.
  12. C. H. Teh and R. T. Chin, "On Digital Approximation of Moment invariants," Computer Vision, Graphics, And Image Processing, Vol. 33, pp. 318-326, 1986. https://doi.org/10.1016/0734-189X(86)90180-5
  13. M. K. Hu, "Pattern recognition by moment invariants," Proc. IRE Trans. Information Theory, Vol. 8, pp. 179-187, 1962.
  14. J. Alon, V. Athitsos, Q. Yuan, S. Sclaroff, "Simultaneous Localization and Recognition of Dynamic Hand Gestures," IEEE Workshop on Motion and Video Computing (WACV/MOTION '05), Vol. 2, pp. 254-260, 2005.
  15. Palm. Graffiti alphabet. http://www.palmone.com