The KIPS Transactions:PartB (정보처리학회논문지B)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Human Motion Tracking by Combining View-based and Model-based Methods for Monocular Video Sequences

하나의 비디오 입력을 위한 모습 기반법과 모델 사용법을 혼용한 사람 동작 추적법

  • 박지헌 (홍익대학교 컴퓨터공학과) ;
  • 박상호 (University of Texas at Austin 대학원 전자 및 컴퓨터공학과) ;
  • Published : 2003.10.01
Download PDF
⟨ Previous Next ⟩

Abstract

Reliable tracking of moving humans is essential to motion estimation, video surveillance and human-computer interface. This paper presents a new approach to human motion tracking that combines appearance-based and model-based techniques. Monocular color video is processed at both pixel level and object level. At the pixel level, a Gaussian mixture model is used to train and classily individual pixel colors. At the object level, a 3D human body model projected on a 2D image plane is used to fit the image data. Our method does not use inverse kinematics due to the singularity problem. While many others use stochastic sampling for model-based motion tracking, our method is purely dependent on nonlinear programming. We convert the human motion tracking problem into a nonlinear programming problem. A cost function for parameter optimization is used to estimate the degree of the overlapping between the foreground input image silhouette and a projected 3D model body silhouette. The overlapping is computed using computational geometry by converting a set of pixels from the image domain to a polygon in the real projection plane domain. Our method is used to recognize various human motions. Motion tracking results from video sequences are very encouraging.

사람의 동작을 믿을 수 있게 따라가는 것은 감시용 비디오나 사람과 컴퓨터간의 사용자 인터페이스 개발에 있어서 필수적이다. 이 논문은 모습 기반법(appearance-based method)과 모델 사용법을 혼용하여 사람을 추적하는 새로운 방법에 관한 논문이다. 하나의 비디오 입력이 화소 단위 및 물체 단위로 처리된다. 화소 단위의 처리에 있어서 개별 화소색을 분류하는 훈련방법으로, 가우스 혼합 모델(Gaussian mixture model)을 사용하였다. 물체 단위의 처리에 있어서 사람 몸에 대한 삼차원 모델링을 하고, 모델 몸체를 투사면(projection plane)에 투사시켰다. 투사된 몸체와 배경을 제외한 영상과 계산 기하 방법을 사용하여, 화소보다 작은 단위로 겹쳐지는 면적을 계산하였다. 우리의 방법은 정방향 기구학 (forward kinematics)을 사용하므로 역방향 기구학(inverse kinematics)을 사용하는 방법과 달리 계산 결함(singularity)을 갖지 않는다. 이 논문에서는 사람의 동작을 추적하기 위한 문제를 비선형 방정식 문제로 바꾸었다. 비선형 방정식의 비용 함수는 전경(foreground)의 영상 실루엣(silhouette)과 투사된 삼차원 모델 몸체의 실루엣의 겹쳐지는 면적이다. 화소 단위의 영상을 화소를 하나의 면적으로 계산함으로써, 겹쳐지는 면적에 대한 실수 단위의 계산은 계산 기하를 사용하였다. 이 논문의 방법은 다양한 사람 동작을 인식하기 위하여 사용되었다. 비디오에 나타나는 사람 동작 추적은 매우 우수하다.

Keywords

References

  1. J.K. Aggarwal and Q. Cai, 'Human motion analysis : a review,' Computer Vision and Image Understanding, Vol.73, No.3, pp.295-304, 1999 https://doi.org/10.1006/cviu.1998.0744
  2. H. Asada and J. Slotion, Robot Analysis and Control, John Wiley and Sons, New York, NY, 1985
  3. J. Craig, Introduction to Robotics Mechanics and Control, Addison-Wesley, Reading, MA, 1986
  4. R.O. Duda, P. Hart and E. Stork, Pattern Classificaition, chapter Unsupervised Learning and Clustering, Wiley, New York, 2 edition, pp.517-583, 2001
  5. R. Freeman and D. Tesar, 'Dynamic Modeling of Serial and Parallel Mechanisms/Robotic Systems : Part I-Methodology,' in Trends and Developments in Mechanisms, Machines and Robotics, 20th Biennial Mechanisms Conference, 1988
  6. D. Gavrila, 'The visual analysis of human movement : a survey,' Computer Vision and Image Understanding, Vol.73, No.1, pp.82-98, 1999 https://doi.org/10.1006/cviu.1998.0716
  7. F. Hill, Computer Graphics, Macmillan, 1990
  8. Y. Huang and T.S. Huang, 'Model-based human body tracking,' in International Conference on Pattern Recognition, 2002 https://doi.org/10.1109/ICPR.2002.1044791
  9. S.X. Ju, M.J. Black and Y. Yacoob, 'Cardboard people : A parameterized model of articulated motion,' in International Conference on Automatic Face and Gesture Recognition, Killington, Vermont, pp.38-44, 1996 https://doi.org/10.1109/AFGR.1996.557241
  10. S. Khan and M. Shah, 'Tracking people in presence of occlusion,' in Asian Conference on Computer Vision, Taipei, Taiwan, 2000
  11. L. Lasdon and A. Waren, GRG2 User's Guide, 1989
  12. D. Morris and J. Rehg, 'Singularity analysis for articulated object tracking,' in Computer Vision and Pattern Recognition, 1998 https://doi.org/10.1109/CVPR.1998.698622
  13. S. Park and J.K. Aggarwal, 'Segmentation and trackin of interacting human body parts under occlusion and shadowing,' in IEEE Worshop on Motion and Video Computing, Orlando, FL, pp.105-111, 2002 https://doi.org/10.1109/MOTION.2002.1182221
  14. W. Press, B. Flannery, S. Teukolsky and W. Vetterling, Numerical Recipes, Cambridge University Press, Cambridge, England, 1986
  15. R. Rosales and S. Sclaro, 'Inferring body pose without tracking body parts,' in Computer Vision and Pattern Recognition, Hilton Head Island, South Carolina, pp.721-727, 2000 https://doi.org/10.1109/CVPR.2000.854946
  16. L. Salgado, N. Garcia, J. Menedez and E. Rendon, 'Efficient image sementation for region-based motion estimation and compensation,' IEEE Trans. Circuits and Systems for Video Technology, Vol.10, No.7, pp.1029-1039, 2000 https://doi.org/10.1109/76.875507
  17. H. Sidenbladh, M.J. Black and David J. Fleet, 'Stochastic tracking of 3d human gures using 2d image motion,' in ECCV (2), pp.702-718, 2000