Journal of KIISE:Software and Applications (한국정보과학회논문지:소프트웨어및응용)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

Gaze Detection System using Real-time Active Vision Camera

실시간 능동 비전 카메라를 이용한 시선 위치 추적 시스템

  • Published : 2003.12.01
Download PDF
⟨ Previous Next ⟩

Abstract

This paper presents a new and practical method based on computer vision for detecting the monitor position where the user is looking. In general, the user tends to move both his face and eyes in order to gaze at certain monitor position. Previous researches use only one wide view camera, which can capture a whole user's face. In such a case, the image resolution is too low and the fine movements of user's eye cannot be exactly detected. So, we implement the gaze detection system with dual camera systems(a wide and a narrow view camera). In order to locate the user's eye position accurately, the narrow view camera has the functionalities of auto focusing and auto panning/tilting based on the detected 3D facial feature positions from the wide view camera. In addition, we use dual R-LED illuminators in order to detect facial features and especially eye features. As experimental results, we can implement the real-time gaze detection system and the gaze position accuracy between the computed positions and the real ones is about 3.44 cm of RMS error.

이 논문에서는 컴퓨터 시각 인식 방법에 의해 모니터 상에 사용자가 쳐다보고 있는 시선 위치를 파악하기 위한 새롭고 실용적인 방법을 제안한다. 일반적으로 사용자가 모니터 상의 한 위치를 쳐다보기 위해서는 얼굴 및 눈동자를 동시에 움직이는 경향이 있다. 기존의 시선 위치 추적 시스템은 사용자의 얼굴 전체를 취득할 수 있는 단 하나의 광각 카메라 시스템을 주로 많이 이용하였다. 그러나 이러한 경우 영상의 해상도가 많이 떨어져서 사용자의 눈동자 움직임을 정확하게 추적하기 어려운 문제점이 있다. 그러므로 이 논문에서는 광각 카메라(얼굴의 움직임에 의한 시선 위치 추적용) 및 눈 영역을 확대하여 취득하는 협각 카메라(눈동자 움직임에 의한 시선 위치 추적용), 즉 이중 카메라를 이용하여 시선 위치 추적 시스템을 구현하였다. 얼굴의 움직임 시 전체적인 위치가 변화될 눈동자의 움직임을 정확히 추적하기 위해, 협각 카메라에는 광각 카메라로부터 추출된 눈 특징점의 위치를 기반으로 한 자동 초점 및 자동 상하/좌우 회전 기능이 포함되어 있으며, 눈 특징점을 보다 빠르고 정확하게 추출하기 위해 이중 적외선 조명을 사용하였다. 실험 결과, 본 논문에서는 실시간으로 동작하는 시선 위치 추적 시스템을 구현할 수 있었으며, 이때 얼굴 및 눈동자 움직임을 모두 고려하여 계산한 모니터상의 시선 위치 정확도는 약 3.44cm의 최소 자승 에러성능을 나타냈다.

Keywords

References

  1. A. Azarbayejani. 'Visually Controlled Graphics'. IEEE Trans. PAMI, Vol. 15, No. 6, pp. 602-605, 1993 https://doi.org/10.1109/34.216730
  2. J. Heinzmann et al., 'Robust real-time face tracking and gesture recognition'. Proc. of the IJCAI, Vol. 2, pp. 1525-1530, 1997
  3. T. BROlDA et al., 'Recursive 3-D Motion Estimation from a Monocular Image Sequence'. IEEE Trans. Aerospace and Electronic Systems, Vol. 26, No.4, pp. 639-656, 1990 https://doi.org/10.1109/7.55557
  4. T. Fukuhara et al., '3D motion estimation of human head for model based image coding'. IEE Proc., Vol. 140, No.1, pp. 26-35, 1993
  5. K. R. Park et al., 'Gaze Point Detection by Computing the 3D Positions and 3D Motions of Face,' IEICE Trans. Inf. and Syst., Vol. E.83-D, No.4, pp.884-894, Apr 2000
  6. K. R. Park et al., 'Gaze Detection by Estimating the Depth and 3D Motions of Facial Features in Monocular Images,' IEICE Trans. Fundamentals, Vol. E.82-A, No. 10, pp, 2274-2284, Oct 1999
  7. K. OHMCRA et al., 'Pointing Operation Using Detection of Face Direction from a Single View'. IEICE Trans. Inf./&Syst., Vol. J72D-II, No.9, pp. 1441-1447, 1989
  8. P. Ballard et al., 'Controlling a Computer via Facial Aspect'. IEEE Trans. on SMC, Vol. 25, No. 4, pp. 669-677, 1995 https://doi.org/10.1109/21.370199
  9. A. Gee et al., 'Fast visual tracking by temporal consensus,' Image and Vision Computing. Vol. 14, pp. 105-114, 1996 https://doi.org/10.1016/0262-8856(95)01044-0
  10. J. Heinzmann et al., '3D Facial Pose and Gaze Point Estimation using a Robust Real- Time Tracking Paradigm'. Proceedings of ICAFGR, pp. 142-147, 1998 https://doi.org/10.1109/AFGR.1998.670939
  11. T. Rikert et al., 'Gaze Estimation using Morphable Models'. Proc. of ICAFGR, pp. 436-441, 1998 https://doi.org/10.1109/AFGR.1998.670987
  12. Matsumoto-Y, et al., 'An algorithm for real-time stereo vision implementation of head pose and gaze direction measurement'. Proc. the ICAFGR. pp. 499-504, 2000 https://doi.org/10.1109/AFGR.2000.840680
  13. Newman-R et al., 'Real-time stereo tracking for head pose and gaze estimation'. Proceedings the 4th ICAFGR. pp. 122-8, 2000 https://doi.org/10.1109/AFGR.2000.840622
  14. K. R. Park et al., 'Intelligent Process Control via Gaze Detection Technology'. EAAI, Vol. 13, No. 5, pp. 577-587, 2000 https://doi.org/10.1016/S0952-1976(00)00037-3
  15. A.Ali-A-L et al., 'Man-machine interface through eyeball direction of gaze'. Proc. of the Southeastern Symposium on System Theory, pp, 478-82, 1997 https://doi.org/10.1109/SSST.1997.581712
  16. A. TOMONO et al., 'Eye Tracking Method Using an Image Pickup Apparatus'. European Patent Specification-94101635, 1994
  17. Seika-Tenkai-Tokushuu-Go, ATR Journal, 1996
  18. Eyemark Recorder Model EMR-NC, NAC Image Technology Cooperation
  19. Porrill-J et al., 'Robust and optimal use of information in stereo vision'. Nature. vol. 397, no. 6714, pp. 63-6, Jan 1999 https://doi.org/10.1038/16244
  20. Varchmin-AC et al., 'Image based recognition of gaze direction using adaptive methods. Gesture and Sign Language in Human-Computer Interaction'. Int. Gesture Workshop Proc. Berlin, Germany, pp. 245-57, 1998
  21. Betke-M et al., 'Gaze detection via self-organizing gray-scale units'. Proc. Int. Workshop on Recog., Analy., and Tracking of Faces and Gestures in Real-Time System. pp. 70-6, 1999 https://doi.org/10.1109/RATFG.1999.799226
  22. K. R. Park et al., 'Facial and Eye Gaze detection'. LNCS, Vol.2525, pp. 368-376, 2002