Journal of the Institute of Electronics Engineers of Korea CI (전자공학회논문지CI)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지

Online Face Pose Estimation based on A Planar Homography Between A User's Face and Its Image

사용자의 얼굴과 카메라 영상 간의 호모그래피를 이용한 실시간 얼굴 움직임 추정

  • Koo, Deo-Olla (Dept. of Advanced Irnageing Science, Multimedia, and Film, Chung-Ang University) ;
  • Lee, Seok-Han (Dept. of Advanced Irnageing Science, Multimedia, and Film, Chung-Ang University) ;
  • Doo, Kyung-Soo (Dept. of Advanced Irnageing Science, Multimedia, and Film, Chung-Ang University) ;
  • Choi, Jong-Soo (Dept. of Advanced Irnageing Science, Multimedia, and Film, Chung-Ang University)
  • 구 떠올라 (중앙대학교 첨단영상대학원) ;
  • 이석한 (중앙대학교 첨단영상대학원) ;
  • 두경수 (중앙대학교 첨단영상대학원) ;
  • 최종수 (중앙대학교 첨단영상대학원)
  • Received : 2010.06.01
  • Accepted : 2010.07.07
  • Published : 2010.07.25
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we propose a simple and efficient algorithm for head pose estimation using a single camera. First, four subimages are obtained from the camera image for face feature extraction. These subimages are used as feature templates. The templates are then tracked by Kalman filtering, and camera projective matrix is computed by the projective mapping between the templates and their coordinate in the 3D coordinate system. And the user's face pose is estimated from the projective mapping between the user's face and image plane. The accuracy and the robustness of our technique is verified on the experimental results of several real video sequences.

본 논문에서는 단일 카메라를 이용하여 얼굴의 움직임 정보를 추정하고 3차원 모델을 합성하기 위한 기법을 제안한다. 먼저 단일 카메라 입력 영상에서 사용자의 얼굴 영역 특징 점 취득을 위한 4개의 하부 이미지를 획득한다. 획득된 4개의 하부 이미지를 템플릿으로 사용하여 사용자 얼굴 영역의 정보를 추출하며, 이들 4개의 특징 점을 사용하여 사용자 얼굴과 카메라 영상 평면 사이의 사영 관계를 계산한다. 취득된 카메라 행렬로부터 얼굴의 움직임 정보인 이동과 회전 성분을 추정할 수 있으며, 이를 기반으로 3차원 모델의 자세 정보를 설정한 다음 이를 사용자 얼굴에 가상의 객체를 합성하기 위한 정보로 이용한다. 다양한 실험을 통하여 사용자 얼굴의 움직임에 대한 정보 추출의 정확도를 검증하였다.

Keywords

References

  1. Q. Ji, R. Hu, "3D Face pose estimation and tracking from a monocular camera," Image and Vision Computing, Vol. 20, Issue 7, pp. 499-511, May 2002. https://doi.org/10.1016/S0262-8856(02)00024-0
  2. T. Horprasert, Y. Yacoob and L. S. Davis, "Computing 3-D Head Orientation from a Monocular Image Sequence," In Proc. IEEE International Conference on Face and Gesture Recognition, Killington, pp. 242-247, VT, 1996.
  3. R. Yang and Z. Zhang, "Model-based head pose tracking with stereovision," In Proc. The 5th International Conference Automatic Face and Gesture Recognition, pp. 255-260, Washington, D.C., 2002.
  4. 정민교, 박지숙, 엄성용, 조현희, "간단한 얼굴 방향성 검출," 멀티미디어학회 논문지 Vol. 9 No. 2 pp. 234-243 2006.
  5. P. Marco "Vision-based user interfaces: methods applications," International Journal of Human-Computer Studies, Vol. 57, pp. 27-73, 2002. https://doi.org/10.1006/ijhc.2002.1012
  6. R. Azuma, "A Survey of Augmented Reality," Teleoperators and Virtual Environments, Vol. 6, No. 4, pp. 355-385, Aug. 1997.
  7. H. M. Park, S. H. Lee, J. S. Choi, "Wearable Augmented reality System using Gaze Interaction," The 7th IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR2008), pp. 175-176, Cambridge, UK, Sep. 2008.
  8. 이석한, "증강현실 구현을 위한 실시간 카메라 추적 및 3차원 기하학 정보 추정에 관한 연구," 중앙대학교 박사학위 논문, 2008.
  9. R. Hartely, and A. Zisserman, "Multiple View Geometry in Computer Vision," Cambridge University Press, Cambridge, 2003.
  10. Y. Matsumoto and A. Zelinsky, "An algorithm for real-time stereo vision implementation of head pose and gaze direction measurement," Proc. IEEE Fourth Int. Conf. Face and Gesture Recognition, pp. 499-505, 2000.
  11. R. S. Feris, J. Gemmell, K. Toyama, and V. Kruger, "Facial Feature Detection Using A Hierarchical Wavelet Face Database," MSR-TR-2002-05, University of Maryland, 2002.
  12. G. Welch and G. Bishop, "An introduction to the Kalman filter," Dept. Comp. Sci., Univ. North Carolina, Chapel Hill, TR95-041.
  13. C. Harris and M. J. Stephens, "A combined corner and edge detector," In Alvey Vision Conference, pp. 147-152, 1988.
  14. M. Nixon and A. Aguado, "Feature Extraction and Image Processing Second edition," Academic Press is an imprint of Elsevier, pp. 186-196, 2008.
  15. R. Poppe, "Vision-based human motion analysis: An overview," Computer Vision and Image Understanding, Vol. 108, No. 1-2,pp. 4-18, 2007. https://doi.org/10.1016/j.cviu.2006.10.016
  16. P. Marco "Vision-based user interfaces: methods applications," International Journal of Human-Computer studies, Vol. 57, pp. 27-73, 2002. https://doi.org/10.1006/ijhc.2002.1012