한국통신학회논문지 (The Journal of Korean Institute of Communications and Information Sciences)

한국통신학회 (The Korean Institute of Commucations and Information Sciences)
권호 표지

광각 및 협각 카메라를 이용한 시선 위치 추적 시스템

Gaze Detection System by Wide and Narrow View Camera

  • 발행 : 2003.12.01
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

시선 위치 추적이란 현재 사용자가 쳐다보고 있는 위치를 컴퓨터 시각 인식 방법을 이용하여 파악하는 연구이다. 일반적으로 사용자가 모니터 상의 한 위치를 쳐다보기 위해서는 얼굴 및 눈동자를 동시에 움직이는 경향이 있다. 기존의 시선 위치 추적 시스템은 사용자의 얼굴 전체를 취득할 수 있는 단 하나의 광각 카메라를 이용하여 사용자의 얼굴 및 눈동자 움직임을 추적하였다. 그러나 이러한 경우, 광각 카메라 내에 포함된 눈동자 영상의 해상도가 많이 떨어져서 사용자의 눈동자 움직임을 정확하게 추적하지 못하는 문제점이 있었다. 그러므로 이 논문에서는 얼굴 영상을 취득하기 위한 광각 카메라 및 눈 영역을 확대하여 취득하는 협각 카메라, 즉 2개의 카메라를 이용하여 시선 위치추적 시스템을 구현하였다. 또한, 얼굴의 움직임 시 전체적인 위치가 변화될 눈동자의 움직임을 정확히 추적하기 위해, 협각 카메라에는 광각 카메라에서 추출된 얼굴 특징점의 위치를 기반으로 한 자동 초점 및 자동 상하/좌우 회전 기능이 포함되어 있다. 실험 결과, 얼굴 및 눈동자 움직임에 의한 모니터상의 시선 위치 정확도는 실험자가 눈동자는 고정으로 하고 얼굴만 움직여서 쳐다보는 경우에 약 3.1cm, 흐리고 얼굴 및 눈동자를 같이 움직여서 쳐다보는 경우에 약 3.57cm의 최소 자승 에러성능을 나타냈다. 처리 속도도 Pentium-IV 1.8 GHz에서 약 30ms 이내의 처리 속도를 나타냈다.

Gaze detection is to locate the position on a monitor screen where a user is looking by computer vision. Previous gaze detection system uses a wide view camera, which can capture the whole face of user. However, the image resolution is too low with such a camera and the fine movements of user's eye cannot be exactly detected. So, we implement the gaze detection system with a wide view camera and a narrow view camera. In order to detect the position of user's eye changed by facial movements, the narrow view camera has the functionalities of auto focusing and auto pan/tilt based on the detected 3D facial feature positions. As experimental results, we can obtain the facial and eye gaze position on a monitor and the gaze position accuracy between the computed positions and the real ones is about 3.1 cm of RMS error in case of Permitting facial movements and 3.57 cm in case of permitting facial and eye movement. The processing time is so short as to be implemented in real-time system(below 30 msec in Pentium -IV 1.8 GHz)

키워드

참고문헌

  1. A. Azarbayejani. 'Visually Controlled Graphics'. IEEE Trans. PAMI, Vol. 15, No. 6, pp. 602-605, 1993 https://doi.org/10.1109/34.216730
  2. K. R. Park et al., 'Gaze Point Detection by Computing the 3D Poskions and 3DMotions of Face', IEICE Trans. Inf. and Syst., Vol. E.83-D, No.4, pp.884-894, Apr 2000
  3. K. R. Park et aL 'Gaze Detection by Estimating the Depth and 3D Motions of Facial Features in Monocular Images', IEICE Trans. Fundamentals, Vol. E.82-A No. 10, PP. 2274-2284, Oct 1999
  4. K. OHMURA et al., 'Pointing Operation Using Detection of Face Direction from a Single View'. IEICE Trans. Inf./&Syst., Vol. J72-D-II, No.9, pp. 1441-1447, 1989
  5. P. Ballard et al., 'Controlling a Computer via Facial Aspect'. IEEE Trans. on SMC, Vol. 25, No. 4, pp. 669-677, 1995
  6. A. Gee et al., 'Fast visual tracking by temporal consensus', Image and Vision Computing. Vol. 14, pp. 105-114, 1996 https://doi.org/10.1016/0262-8856(95)01044-0
  7. J. IIeinzmann et al., '3D Facial Pose and Gaze Point Estimation using a Robust Real-Time Tracking Paradigm' .Proceedings of ICAFGR, pp. 142-147, 1998
  8. T. Rikert et al., 'Gaze Estimation using Morphable Models'. Proc. of ICAFGR, pp. 436-441, 1998
  9. A.Ali-A-L et al., 'Man-machine interface through eyeball direction of gaze'. Proc. of the Southeastern Symposium on System Theory, pp. 478-82, 1997
  10. A. TOMONO et al., 'Eye Tracking Method Using an Image Pickup Apparalus'. European Patent Specification-94101635, 1994
  11. Seika-Tenkai-Tokushuu-Go, ATR Joumal, 1996
  12. Eyemark Recorder Model EMR-NC, NAC Image Technology Cooperation
  13. Porrill-J et al., 'Robust and optimal use of information in stereo vision'. Nature. vol. 397, no. 6714, pp. 63-6, Jan 1999 https://doi.org/10.1038/16244
  14. Varchmin-AC et al., 'Image based recognition of gaze direction using adaptive methods. Gesture and Sign Languase in Human-Computer Interaction', Int. Gesture Workshop Proc. Berlin, Germany, pp. 245-57, 1998
  15. J. Heinzmann et al., 'Robust real-time face tracking and gesture recognition' .Proc. of the IJCAI, Vol. 2, pp. 1525-15 30,1997
  16. Matsumoto-Y, et al., 'An algorithm for real-time stereo vision implementation of head pose and gaze direction measurement'. Proc. the ICAFGR. pp. 499-504, 2000
  17. Newman-R et al., 'Real-time stereo tracking for head pose and gazeestimaton'. Proceedings the 4th ICAFGR. pp. 122-8, 2000
  18. Betke-M et al., Gaze detection via self-organizing gray-scale units. Proc. Int. Workshop on Recog., Analy., and Tracking of Faces and Gestures in Real-Time System. pp. 70-6, 1999
  19. K. R. Park et al., 'Intelligent Process Control via Gaze Detection Technology'. EAAI, Vol. 13, No. 5, pp. 577-587, 2000
  20. T. BROIDA et al., 'Recursive 3-D Motion Estimation from a Monocular Image Sequence'. IEEE Trans. Aerospace and Electronic Systems, Vol. 26, No. 4, pp. 639-656, 1990 https://doi.org/10.1109/7.55557
  21. T. Fukuhara et al., '3D-motion estimation of human head for model-based image coding'. IEE Proc., Vol. 140, No. 1, pp. 26-35, 1993
  22. K. R. Park et al., 'Facial and Eye Gaze detection'. LNCS, Vo1.2525, pp. 368-376, 2002
  23. http://www.polhemus.com