Journal of the Institute of Electronics Engineers of Korea SC (전자공학회논문지SC)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지

3D Pose Estimation of a Human Arm for Human-Computer Interaction - Application of Mechanical Modeling Techniques to Computer Vision

인간-컴퓨터 상호 작용을 위한 인간 팔의 3차원 자세 추정 - 기계요소 모델링 기법을 컴퓨터 비전에 적용

  • Han Young-Mo (Dept. of Information Electronics Ewha Womans University)
  • 한영모 (이화여자대학교 정보통신공학과)
  • Published : 2005.07.01
Download PDF
⟨ Previous Next ⟩

Abstract

For expressing intention the human often use body languages as well as vocal languages. Of course the gestures using arms and hands are the representative ones among the body languages. Therefore it is very important to understand the human arm motion in human-computer interaction. In this respect we present here how to estimate 3D pose of human arms by using computer vision systems. For this we first focus on the idea that the human arm motion consists of mostly revolute joint motions, and then we present an algorithm for understanding 3D motion of a revolute joint using vision systems. Next we apply it to estimating 3D pose of human arms using vision systems. The fundamental idea for this algorithm extension is that we may apply the algorithm for a revolute joint to each of the revolute joints of hmm arms one after another. In designing the algorithms we focus on seeking closed-form solutions with high accuracy because we aim at applying them to human computer interaction for ubiquitous computing and virtual reality.

인간은 의사 표현을 위해 음성언어 뿐 아니라 몸짓 언어(body languages)를 많이 사용한다 이 몸짓 언어 중 대표적인 것은, 물론 손과 팔의 사용이다. 따라서 인간 팔의 운동 해석은 인간과 기계의 상호 작용(human-computer interaction)에 있어 매우 중요하다고 할 수 있다. 이러한 견지에서 본 논문에서는 다음과 같은 방법으로 컴퓨터비전을 이용한 인간팔의 3차원 자세 추정 방법을 제안하다. 먼저 팔의 운동이 대부분 회전 관절(revolute-joint)에 의해 이루어진다는 점에 착안하여, 컴퓨터 비전 시스템을 활용한 회전 관절의 3차원 운동 해석 기법을 제안한다. 이를 위해 회전 관절의 기구학적 모델링 기법(kinematic modeling techniques)과 컴퓨터 비전의 경사 투영 모델(perspective projection model)을 결합한다. 다음으로, 회전 관절의 3차원 운동해석 기법을 컴퓨터 비전을 이용한 인간 팔의 3차원 자세 추정 문제에 웅용한다. 그 기본 발상은 회전 관절의 3차원 운동 복원 알고리즘을 인간 팔의 각 관절에 순서 데로 적용하는 것이다. 본 알고리즘은 특히 유비쿼터스 컴퓨팅(ubiquitous computing)과 가상현실(virtual reality)를 위한 인간-컴퓨터 상호작용(human-computer interaction)이라는 응용을 목표로, 고수준의 정확도를 갖는 폐쇄구조 형태(closed-form)의 해를 구하는데 주력한다.

Keywords

References

  1. D. M. Gavrila and L. S. Davis, '3-D model-based tracking of humans in action: a multiple-view approach,' Proc. IEEE Int. Conf. Computer Vision and Pattern Recognition, pp. 73-80, 1996
  2. L. Goncalves, E. D. Bernardo, E. Ursella, and P. Perona, 'Monocular tracking of the human arm in 3D,' Proc. IEEE Int. Conf. Computer Vision, pp. 764-770, 1995 https://doi.org/10.1109/ICCV.1995.466861
  3. I. Haritaoglu, D. Harwood and L. S. Davis,' $W^4$: Who? When? Where? What? A real time system for detecting and tracking people,' Proc. IEEE Int. Conf. Automatic Face Gesture Recognition, pp. 222-227, 1998
  4. I. A. Kakadiaris and D. Metaxas, 'Model-based estimation of 3D human motion with occlusion based on active multi-viewpoint selection,' Proc. IEEE Int. Conf. Computer Vision and Pattern Recognition, pp. 81-87, 1996 https://doi.org/10.1109/CVPR.1996.517057
  5. M. K. Leung and Y. H. Yang, 'First sight: A human body outline labeling system,' IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 17, no. 4, pp. 359-377, April 1995 https://doi.org/10.1109/34.385981
  6. J. M. Rehg and T. Kanade, 'DigitEyes: vision-based human tracking for human computer interaction,' Proc. IEEE Int. Conf. Motion of Non-Rigid and Articulated Objects, pp. 16-22, 1994
  7. K. Rohr, 'Towards model-based recognition of human movements in image sequences,' CVGIP: Image Undersanding, vol. 59, no. 1, pp. 94-115, 1994 https://doi.org/10.1006/ciun.1994.1006
  8. C. Wren, A. Azarbayejani, T. Darrell and A. Pentland, 'Pfinder: Real-time tracking of the human body,' IEEE trans. on PAMI, 19(7):780-785, 1997 https://doi.org/10.1109/34.598236
  9. C. J. Taylor, 'Recognition of articulated objects from point correspondences in a single uncalibrated image,' IEEE CVPR 2000, pp. 677-684, 2000 https://doi.org/10.1109/CVPR.2000.855885
  10. C. Bregler and J. Malik, 'Tracking people with twists and exponential maps,' Proc. IEEE Int. Conf. Computer Vision and Pattern Recognition, pp. 8-15, 1998 https://doi.org/10.1109/CVPR.1998.698581
  11. M. Yamamoto and K. Koshikawa, 'Human motion analysis based on a robot arm model,' Proc. IEEE Int. Conf. Computer Vision and Pattern Recognition, pp. 664-665, 1991 https://doi.org/10.1109/CVPR.1991.139772
  12. M. Yamamoto, T. Ohta, T. Yamagiwa, K. Yagishita, H. Yamanaka, and N. Ohkubo, 'Human action tracking guided by key-frames,' Proc. IEEE Int. Conf. Automatic Face and Gesture Recognition, pp. 354-361, 2000 https://doi.org/10.1109/AFGR.2000.840659
  13. R. M. Murray, Z. Li, and S. S. Sastry, 'A Mathematical introduction to robotic manipulation,' CRC Press, 1993
  14. D. H. Ballard, C. M. Brown, 'Computer Vision,' Prentice-Hall, Inc. 1982
  15. R. Fletcher, 'Practical methods of optimization,' A Wiley-Interscience Publication, 1987
  16. G. X. Ritter and J. N. Wilson, 'Handbook of computer vision algorithms in image algebra,' CRC Press, 1996
  17. 한영모, '능동적인 비전 시스템에서 카메라의 시선 조정 : 컴퓨터 비전과 제어의 융합테마', 전자공학회 논문지, 41권 SC편 4호, 2004년 7월