Journal of the Institute of Electronics Engineers of Korea CI (전자공학회논문지CI)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지

Design of Computer Vision Interface by Recognizing Hand Motion

손동작 인식에 의한 컴퓨터 비전 인터페이스 설계

  • Yun, Jin-Hyun (Department of Information and communication Engineering, Inha University) ;
  • Lee, Chong-Ho (Department of Information and communication Engineering, Inha University)
  • 윤진현 (인하대학교 정보통신공학과) ;
  • 이종호 (인하대학교 정보통신공학과)
  • Received : 2010.04.05
  • Accepted : 2010.04.30
  • Published : 2010.05.25
Download PDF
⟨ Previous Next ⟩

Abstract

As various interfacing devices for computational machines are being developed, a new HCI method using hand motion input is introduced. This interface method is a vision-based approach using a single camera for detecting and tracking hand movements. In the previous researches, only a skin color is used for detecting and tracking hand location. However, in our design, skin color and shape information are collectively considered. Consequently, detection ability of a hand increased. we proposed primary orientation edge descriptor for getting an edge information. This method uses only one hand model. Therefore, we do not need training processing time. This system consists of a detecting part and a tracking part for efficient processing. In tracking part, the system is quite robust on the orientation of the hand. The system is applied to recognize a hand written number in script style using DNAC algorithm. Performance of the proposed algorithm reaches 82% recognition ratio in detecting hand region and 90% in recognizing a written number in script style.

손동작을 통한 입력방법은 컴퓨터와 디지털 기기의 발전에 따라 요구되는 새로운 HCI(Human-Computer Interaction) 방법으로써 그 가능성을 가지고 있으며 이에 대한 다양한 시도가 있었다. 본 논문에서는 컴퓨터 비전을 기반으로 단일 카메라를 사용하는 손 영역 검출 및 추적방법을 제시하고 이에 의한 컴퓨터 인터페이스를 제안한다. 기존에 많이 쓰이는 피부색 매치 방법에 추가하여 형태 정보를 더함으로써 손 영역 검출능력을 향상 시켰다. 이러한 형태 정보를 추출하는 방법으로써 주요 방향 에지 기술자라는 방법을 제안하였고 이는 강력하여 학습 시간 없이 한 가지 손 모델만을 사용하여 손 영역 검출을 할 수 있다. 또한 손 영역 검출과 추적하는 방법을 나누어 추적할 때는 회전에 대한 자유도를 높이도록 설계 하였다. 위 방법을 이용하여 3차원 공간에 그려지는 필기체 숫자 인식에 적용해 보았으며 분류 방법으로 DNAC 알고리즘을 사용하였다. 결과적으로 손 영역 검출은 82%의 검출률을 보였고 필기체 숫자 인식은 90%의 인식률을 보였다.

Keywords

References

  1. A.Jaimes, N.Sebe, "Multimodal Human Computer Interaction: A Survey," LNCS, vol. 3766, pp.1- 15, 2005.
  2. N.Sebe, I.Cohen, T.Gevers, T.Huang, "Multimodal Approaches for Emotion Recognition: A Survey," Proceedings of the SPIE, Volume 5670, pp. 56-67, 2004.
  3. 배창석, 전병태, 윤호섭, 민병우 "손의 이동 궤적 분석에 의한 제스처 인식," 전자공학회 워크샵, 제 8권, pp.144-148, Jan. 1996.
  4. Pragati Garg, Naveen Aggarwal, Sanjeev Sofat, "Vision Based and Gesture Recognition.," PWASET, volume 37, 2009.
  5. A. Mulder, "Hand gestures for HCI," Technical Report 96-1, vol. Simon Fraster University, 1996
  6. B. Stenger, A. Thayananthan, P.H.S. Torr, R. Cipolla, "Model-based hand tracking using a hierarchical Bayesian filter," IEEE transactions on pattern analysis and machine intelligence, September 2006.
  7. 고민삼, 이광희, 김창우, 안준호, 김인중, "비전 기반 제스처 인식을 이용한 인터페이스 구현," 한국컴퓨터종합학술대회 논문집, vol. 35 No.1, 2008.
  8. Tarek M. Mahmoud, "A New Fast Skin Color Detection Technique," PWASET, vol.33. September 2008.
  9. R., Gonzales, and E., Woods, "Digital Image Processing," Prentice Hall, Inc, New Jersey, 2002.
  10. B.D., Zarit, B.J., Super, and F.K.H. Quek, "Comparison of five color models in skin pixel classification.," In Int. Workshop on Recognition, Analysis, and Tracking of Faces and Gestures in Real-Time Systems, pages 58-63, Corfu, Greece, Sept. 1999.
  11. D. Chai, and K.N. Ngan, "Face segmentation using skin-color map in videophone applications," IEEE Trans. on Circuits and Systems for Video Technology, 9(4): 551-564, June 1999. https://doi.org/10.1109/76.767122
  12. W. T. Freeman and M. Roth. "Orientation histograms for hand gesture recognition," Intl. Workshop on Automatic Face and Gesture Recognition, IEEE Computer Society, Zurich, Switzerland, pages 296.301, June 1995.
  13. K. Hotta, "Scene Classification Based on multi-resulution Orientation Histogram of Gabor Features," ICVS 2008, LNCS 5008, pp.291～301, 2008.
  14. P. Buehler, M. Everingham, A. Zisserman, "Learning sign language by watching TV (using weakly aligned subtitles)," IEEE CVPR 2009.
  15. N. Dalal and B. Triggs. "Histogram of oriented gradients for human detection." In Proc. CVPR, 2005.
  16. 서승원, 선우명훈, "Template Matching을 위한 새로운 알고리즘 및 ASIC칩 구현," 전자공학회 논문지, 제3권, C편, 제1호,pp.15-24, Jan. 1998.
  17. 권오혁, "DNA 특성을 모방한 디지털 패턴인식 하드웨어 설계," 인하대학교 정보통신공학과 석사학위논문, 2008.
  18. 최선욱, "Multi-class 데이터 분류를 위한 DNA 컴퓨팅 기반의 패턴인식 하드웨어 설계," 인하대학교 정보통신공학과 석사학위논문, 2008.
  19. J.-K. Kim, B.-T. Zhang, "Evolving hypernetworks for pattern classification," IEEE Congress on Evolutionary Computation (CEC 2007), pp.1856-1862, 2007.
  20. University of California Irvine, Machine Learning repository, http://archive.ics.uci.edu/ml/