Efficient Intermediate Joint Estimation using the UKF based on the Numerical Inverse Kinematics

수치적인 역운동학 기반 UKF를 이용한 효율적인 중간 관절 추정

  • Seo, Yung-Ho (School of Electronics and Computer Engineering, Chonnam National University) ;
  • Lee, Jun-Sung (School of Electronics and Computer Engineering, Chonnam National University) ;
  • Lee, Chil-Woo (School of Electronics and Computer Engineering, Chonnam National University)
  • 서융호 (전남대학교 전자컴퓨터공학부) ;
  • 이준성 (전남대학교 전자컴퓨터공학부) ;
  • 이칠우 (전남대학교 전자컴퓨터공학부)
  • Received : 2010.08.09
  • Published : 2010.11.25

Abstract

A research of image-based articulated pose estimation has some problems such as detection of human feature, precise pose estimation, and real-time performance. In particular, various methods are currently presented for recovering many joints of human body. We propose the novel numerical inverse kinematics improved with the UKF(unscented Kalman filter) in order to estimate the human pose in real-time. An existing numerical inverse kinematics is required many iterations for solving the optimal estimation and has some problems such as the singularity of jacobian matrix and a local minima. To solve these problems, we combine the UKF as a tool for optimal state estimation with the numerical inverse kinematics. Combining the solution of the numerical inverse kinematics with the sampling based UKF provides the stability and rapid convergence to optimal estimate. In order to estimate the human pose, we extract the interesting human body using both background subtraction and skin color detection algorithm. We localize its 3D position with the camera geometry. Next, through we use the UKF based numerical inverse kinematics, we generate the intermediate joints that are not detect from the images. Proposed method complements the defect of numerical inverse kinematics such as a computational complexity and an accuracy of estimation.

영상 기반의 모션 캡처에 대한 연구는 인체의 특징 영역 검출, 정확한 자세 추정 및 실시간 성능 등의 문제를 풀기 위해 많은 연구가 진행되고 있다. 특히, 인체의 많은 관절 정보를 복원하기 위해 다양한 방법이 제안되고 있다. 본 논문에서는 수치적인 역운동학 방법의 단점을 개선한 실시간 모션 캡처 방법을 제안한다. 기존의 수치적인 역운동학 방법은 많은 반복 연산이 필요하며, 국부최소치 문제가 발생할 수 있다. 본 논문에서는 이러한 문제를 해결하기 위해 기존의 수치적인 역운동학 해법과 UKF를 결합하여 중간관절을 복원하는 방법을 제안한다. 수치적인 역운동학의 해와 UKF를 결합함으로써, 중간 관절 추정 시 최적값에 보다 안정적이고 빠른 수렴이 가능하다. 모션 캡처를 위해 먼저, 배경 차분과 피부색 검출 방법을 이용하여 인체의 특징 영역을 추출한다. 다수의 카메라로부터 추출된 2차원 인체 영역 정보로부터 3차원 정보를 복원하고, UKF와 결합된 수치적인 역운동학 해법을 통해 동작자의 중간 관절 정보를 추정한다. 수치적인 역운동학의 해는 UKF의 상태 추정 시 안정적인 방향을 제시하고, UKF는 다수의 샘플을 기반으로 최적 상태를 찾음으로써, 전역해에 보다 빠르게 수렴한다.

Keywords

References

  1. R. Poppse, "Vision-based Human Motion Analysis: An Overveiw," Computer Vision and Image Understanding, Vol. 108, Issues 1-2, pp. 4-18, 2007 https://doi.org/10.1016/j.cviu.2006.10.016
  2. A. Sundaresan and R. Chellappa, "Multicamera Tracking of Articulated Human Motion using Shape and Motion Cues," IEEE Trans. on Image Processing, Vol. 18, No. 9, pp. 2114-2126, Sept, 2009 https://doi.org/10.1109/TIP.2009.2022290
  3. C. Wan, B. Yuan and Z. Miao, "Markerless Human Body Motion Capture using Markov Random Field and Dynamic Graph Cuts," The Visual Computer, Vol. 24, No. 5, pp. 373-380, May 2008 https://doi.org/10.1007/s00371-007-0195-7
  4. A. Elgammal and C. S. Lee, "Inferring 3D Body Pose from Silhouettes using Activity Manifold Learning," IEEE Conf. on Computer Vision and Pattern Recognition, Vol. 2, pp. 681-688, 2004
  5. J. Gall, B. Rosenhahn and T. Brox, "Optimization and Filtering for Human Motion Capture," Int. J. Computer Vision, Special Issue Evaluation of Articulated Human Motion and Pose Estimation, Vol. 87, pp. 75-92, 2008
  6. A. Jaumei-iCapo, J. Varona, M. Gonzalez- Hidalgo, F. J. Perales, "Adding image to inverse kinematics for human motion capture," EURASIP Journal on Advances in Signal Processing, vol. 2010, no. 4, Jan. 2010
  7. 서융호, 두경수, 최종수, 이칠우, "인체의 구조적 특성과 역운동학을 이용한 모션 캡처," 전자공학회 논문지, 제47권 SP편, 제2호, 20-32쪽, 2010년 3월.
  8. D. Tolani, A. Goswami, N. I. Badler, "Real-time Inverse Kinematics Techniques for Anthropomorphic Limbs," Graphical Models and Image processing, Vol. 62, Issues 5, pp. 353-388, Sept. 2000 https://doi.org/10.1006/gmod.2000.0528
  9. W. Press, S. Teukolsky, W. Vetterling, and B. Flannery, "Numerical Recipes in C," Cambridge Univ. Press, 1992
  10. D. Simon, "Optimal State Estimation: Kalman $H_{\infty}$, and Nonlinear Approaches," John Wiley & Sons, Hoboke, NJ, 1998.