대한전자공학회논문지SP (Journal of the Institute of Electronics Engineers of Korea SP)

대한전자공학회 (The Institute of Electronics and Information Engineers)
권호 표지

얼굴 및 눈동자 움직임에 의한 시선 위치 추적

Gaze Detection by Computing Facial and Eye Movement

  • 박강령 (상명대학교 소프트웨어대학 미디어학부)
  • 발행 : 2004.03.01
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

시선 위치 추적이란 현재 사용자가 응시하고 있는 위치를 컴퓨터 시각 인식 방법에 의해 파악하는 연구이다. 이러한 시선 위치 추적 기술은 많은 응용 분야를 가지고 있는데, 그 대표적인 예로는 양 손을 사용하지 못하는 심신 장애자를 위한 컴퓨터 인터페이스 및 3차원 시뮬레이터 프로그램에서 사용자의 시선 위치에 따른 화면 제어 등이 있다. 이 논문에서는 적외선 조명이 부착된 단일 카메라를 이용한 컴퓨터 비전 시스템으로 시선 위치 추적 연구를 수행하였다. 사용자의 시선 위치를 파악하기 위해서는 얼굴 특징점의 위치를 추적해야하는데, 이를 위하여 이 논문에서는 적외선 기반 카메라와 SVM(Support Vector Machine) 알고리즘을 사용하였다. 사용자가 모니터상의 임의의 지점을 쳐다볼 때 얼굴 특징점의 3차원 위치는 3차원 움식임량 추정(3D motion estimation) 및 아핀 변환(affine transformation)에 의해 계산되어 질 수 있다. 얼굴 특징점의 변화된 3차원 위치가 계산되면, 이로부터 3개 이상의 얼굴 특징점으로부터 생성되는 얼굴 평면 및 얼굴 평면의 법선 벡터가 구해지게 되며, 이러한 법선 벡터가 모니터 스크린과 만나는 위치가 사용자의 시선위치가 된다. 또한, 이 논문에서는 보다 정확한 시선 위치를 파악하기 위하여 사용자의 눈동자 움직임을 추적하였으면 이를 위하여 신경망(다층 퍼셉트론)을 사용하였다. 실험 결과, 얼굴 및 눈동자 움직임에 의한 모니터상의 시선 위치 정확도는 약 4.8㎝의 최소 자승 에러성능을 나타냈다.

Gaze detection is to locate the position on a monitor screen where a user is looking by computer vision. Gaze detection systems have numerous fields of application. They are applicable to the man-machine interface for helping the handicapped to use computers and the view control in three dimensional simulation programs. In our work, we implement it with a computer vision system setting a IR-LED based single camera. To detect the gaze position, we locate facial features, which is effectively performed with IR-LED based camera and SVM(Support Vector Machine). When a user gazes at a position of monitor, we can compute the 3D positions of those features based on 3D rotation and translation estimation and affine transform. Finally, the gaze position by the facial movements is computed from the normal vector of the plane determined by those computed 3D positions of features. In addition, we use a trained neural network to detect the gaze position by eye's movement. As experimental results, we can obtain the facial and eye gaze position on a monitor and the gaze position accuracy between the computed positions and the real ones is about 4.8 cm of RMS error.

키워드

참고문헌

  1. A. Azarbayejani., 'Visually Controlled Graphics'. IEEE Trans. PAMI, vol. 15, no. 6, pp. 602-605, 1993 https://doi.org/10.1109/34.216730
  2. K. R. Park et al., 'Gaze Point Detection by Computing the 3D Positions and 3D Motions of Face', IEICE Trans. Information and Systems. vol. E83-D, no. 4, pp.884-894, Apr 2000
  3. K. R. Park et al., 'Gaze Detection by Estimating the Depth and 3D Motions of Facial Features in Monocular Images', IEICE Trans. Fundamentals, vol. E.82-A, no. 10, pp. 2274-2284, Oct. 1999
  4. K. OHMURA et al., 'Pointing Operation Using Detection of Face Direction from a Single View'. IEICE Trans. on Information and Systems, D-Ⅱ, vol. J72-D-II, no.9, pp. 1441-1447, 1989
  5. P. Ballard et al., 'Controlling a Computer via Facial Aspect'. IEEE Trans. on SMC, vol. 25, no. 4, pp. 669-677, 1995 https://doi.org/10.1109/21.370199
  6. A. Gee et al., 'Fast Visual Tracking by Temporal Consensus', Image and Vision Computing, vol. 14, pp. 105-114, 1996 https://doi.org/10.1016/0262-8856(95)01044-0
  7. J. Heinzmann et al., '3D Facial Pose and Gaze Point Estimation using a Robust Real-Time Tracking Paradigm', in Proceedings of ICAFGR, pp. 142-147, 1998 https://doi.org/10.1109/AFGR.1998.670939
  8. T. Rikert et al., 'Gaze Estimation using Morphable Models'. in Proc. of ICAFGR, pp. 436-441, 1998 https://doi.org/10.1109/AFGR.1998.670987
  9. A. Ali-A-L et al., 'Man-Machine Interface through Eyeball Direction of Gaze'. in Proc. of the Southeastern Symposium on System Theory, pp. 478-82, 1997 https://doi.org/10.1109/SSST.1997.581712
  10. A. TOMONO et al., 'Eye Tracking Method Using an Image Pickup Apparatus,' European Patent Specification-94101635, 1994
  11. Seika-Tenkai-Tokushuu-Go, ATR Journal, 1996
  12. Eyemark Recorder Model EMR-NC, NAC Image Technology Cooperation
  13. Porrill-J et al., 'Robust and Optimal Use of Information in Stereo Vision'. Nature. vol. 397, no. 6714, pp. 63-6, Jan. 1999 https://doi.org/10.1038/16244
  14. Varchmin-AC. et al., 'Image Based Recognition of Gaze Direction Using Adaptive Methods. Gesture and Sign Language in Human-Computer Interaction'. in Proc. of Int. Gesture Workshop. pp. 245-57. Berlin, Germany, 1998
  15. J. Heinzmann et al., 'Robust Real-Time Face Tracking and Gesture Recognition'. in Proc. of the IJCAI, vol. 2, pp. 1525-1530, 1997
  16. Matsumoto-Y. et al., 'An Algorithm for Real-Time Stereo Vision Implementation of Head Pose and Gaze Direction measurement'. in Proc. the ICAFGR, pp. 499-504, 2000 https://doi.org/10.1109/AFGR.2000.840680
  17. Newman-R. et al., Real-Time Stereo Tracking for Head Pose and Gaze Estimation. in Proceedings of the 4th ICAFGR, pp. 122-8, 2000 https://doi.org/10.1109/AFGR.2000.840622
  18. Betke-M et al., 'Gaze Detection via Self-Organizing Gray-Scale Units'. in Proc. of Int. Workshop on Recognition, Analysis, and Tracking of Faces and Gestures in Real-Time System, pp. 70-6, 1999 https://doi.org/10.1109/RATFG.1999.799226
  19. Jaihie Kim et al., 'Intelligent Process Control via Gaze Detection Technology'. The journal of Engineering Applications of Artificial Intelligence, vol. 13, no. 5, pp. 577-587, 2000 https://doi.org/10.1016/S0952-1976(00)00037-3
  20. T. BROIDA et al., 'Recursive 3-D Motion Estimation from a Monocular Image Sequence'. IEEE Trans. Aerospace and Electronic Systems, vol. 26, no. 4, pp. 639-656, 1990 https://doi.org/10.1109/7.55557
  21. T. Fukuhara et al., '3D-Motion Estimation of Human Head for Model-Based Image Coding'. IEE Proc., vol. 140, no. 1, pp. 26-35, 1993
  22. www.polhemus.com
  23. John G. Daugman, 'High Confidence Visual Recognition of Personals by a Test of Statistical Independence'. IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 15, no. 11, pp. 1148-1160, 1993 https://doi.org/10.1109/34.244676