The Journal of Korean Institute of Communications and Information Sciences (한국통신학회논문지)

The Korean Institute of Commucations and Information Sciences (한국통신학회)
권호 표지

Gaze Detection System by IR-LED based Camera

적외선 조명 카메라를 이용한 시선 위치 추적 시스템

  • 박강령 (상명대학교 소프트웨어대학 미디어학부)
  • Published : 2004.04.01
Download PDF
⟨ Previous Next ⟩

Abstract

The researches about gaze detection have been much developed with many applications. Most previous researches only rely on image processing algorithm, so they take much processing time and have many constraints. In our work, we implement it with a computer vision system setting a IR-LED based single camera. To detect the gaze position, we locate facial features, which is effectively performed with IR-LED based camera and SVM(Support Vector Machine). When a user gazes at a position of monitor, we can compute the 3D positions of those features based on 3D rotation and translation estimation and affine transform. Finally, the gaze position by the facial movements is computed from the normal vector of the plane determined by those computed 3D positions of features. In addition, we use a trained neural network to detect the gaze position by eye's movement. As experimental results, we can obtain the facial and eye gaze position on a monitor and the gaze position accuracy between the computed positions and the real ones is about 4.2 cm of RMS error.

사용자의 시선 위치를 파악하는 연구는 많은 응용분야를 가지고 지난 몇년간 눈부시게 발전되어 왔다. 기존의 대부분 연구에서는 영상 처리 방법만에 의존하여 시선 위치 추적 연구를 수행하였기 때문에 처리 속도도 늦고 많은 사용 제약을 가지는 문제점이 있었다. 이 논문에서는 적외선 조명이 부착된 단일 카메라를 이용한 컴퓨터 비전 시스템으로 시선 위치 추적 연구를 수행하였다. 사용자의 시선 위치를 파악하기 위해서는 얼굴 특징점의 위치를 추적해야하는데, 이를 위하여 이 논문에서는 적의선 기반 카메라와 SVM(Support Vector Machine) 알고리즘을 사용하였다. 사용자가 모니터상의 임의의 지점을 쳐다볼 때 얼굴 특징점의 3차원 위치는 3차원 움직임량 추정(3D motion estimation) 및 아핀 변환(affine transformation)에 의해 계산되어 질 수 있다. 얼굴 특징점의 변화된 3차원 위치가 계산되면. 이로부터 3개 이상의 얼굴 특징점으로부터 생성되는 얼굴 평면 및 얼굴 평면의 법선 벡터가 구해지게 되며, 이러한 법선 백터가 모니터 스크린과 만나는 위치가 사용자의 시선위치가 된다. 또한. 이 논문에서는 보다 정확한 시선 위치를 파악하기 위하여 사용자의 눈동자 움직임을 추적하였으며 이를 위하여 신경망(다층 퍼셉트론)을 사용하였다. 실험 결과, 얼굴 및 눈동자 움직임에 의한 모니터상의 시선 위치 정확도는 약 4.2cm의 최소 자승 에러성능을 나타냈다.

Keywords

References

  1. IEEE Trans. PAMI v.15 no.6 Visuall Controlled Graphics A.Azarbayejani https://doi.org/10.1109/34.216730
  2. IEICE Trans. Information and Systems v.E.83-D no.4 Gaze Point Detection by Computing the 3D Positions and 3D Motions of Face K.R.Park(et al.)
  3. IEICE Trans. Fundamentals v.E.82-A no.10 Gaze Detection by Estimating the Depth and 3D Motions of Facial Features in Monocular Image K.R.Park(et al.)
  4. IEICE Trans. on Information and Systems v.J72-D-II no.9 Pointing Operation Using Detection of Face Direction from a Single View K.OHMURA(et al.)
  5. IEEE Trans. on SMC v.25 no.4 Controlling a Computer via Facial Aspect P.Ballard(et al.)
  6. Image and Vision Computing v.14 Fast Visual Tracking by Temporal Consensus A.Gee(et al.) https://doi.org/10.1016/0262-8856(95)01044-0
  7. Proc. of ICAFGR 3D Facial Pose and Gaze Point Estimation using a Robust Real-Time Tracking Paradigm J.Heinzmann(et al.)
  8. Proc. of ICAFGR Gaze Estimation using Morphable Models T.Rikert(et al.)
  9. Proc. of Southeastern System Theory Man-machine Interface through Eyeball Direction of Gaze A.Ali-A-L(et al.)
  10. European Patent Specification-94101635 Eye Tracking Method Using an Image Pickup Apparatus A.TOMONO(et al.)
  11. ATR Journal Seika-Tenkai-Tokushuu-Go
  12. Technical Report, NAC Image Technology Cooperation Eyemark Recorder Model EMR-NC
  13. Nature v.397 no.6714 Robust and Optimal Use of Information in Stereo Vision Porrill-J(et al.) https://doi.org/10.1038/16244
  14. Proc. of Int. Gesture Workshop Image Based Recognition of Gaze Direction Using Adaptive Methods. Gesture and Sign Language in Human-Computer Interaction Varchmin-AC(et al.)
  15. Proc. of IJCAI v.2 Robust Real-Time Face Tracking and Gesture Recognition J.Heinzmann(et al.)
  16. Proc. of ICAFGR An Algorithm for Real-Time Stereo Vision Implementation of Head Pose and Gaze Direction measurement Matsumoto-Y(et al.)
  17. Proc. of ICAFGR Real-Time Stereo Tracking for Head Pose and Gaze Estimation Newman-R(et al.)
  18. Proc. of Int. Workshop on Recognition, Analysis, and Tracking of Faces and Gestures in Real-Time System Gaze Detection via Self-Organizing Gray-Scale Units Betke-M(et al.)
  19. The Journal of Engineering Applications of Artificial Intelligence v.13 no.5 Intelligent Process Control via Gaze Detection Technology Jaihie Kim(et al.) https://doi.org/10.1016/S0952-1976(00)00037-3
  20. IEEE Trans. Aerospace and Electronic Systems v.26 no.4 Recursive 3-D Motion Estimation from a Monocular Image Sequence T.BROIDA(et al.) https://doi.org/10.1109/7.55557
  21. IEE Proc. v.140 no.1 3D-Motion Estimation of Human Head for Model-Based Image Coding T.Fukuhara(et al.)
  24. Introduction To Random Signals and Applied Kalman Filtering (3rd Edition) R.Brown;P.Hwang
  25. Dgital Image Processing R.C.Gonzalez