Mutual Gaze Correction for Videoconferencing using View Morphing

모핑을 이용한 화상회의의 시선 맞춤 보정 방법

  • 백으뜸 (광주과학기술원 정보통신공학부) ;
  • 호요성 (광주과학기술원 정보통신공학부)
  • Received : 2014.09.15
  • Accepted : 2015.03.27
  • Published : 2015.03.31

Abstract

Nonverbal communications such as eye gazing, posture, and gestures send forceful messages. In regard to nonverbal communication, eye gazing is one of the most strong forms that an individual can use. However, lack of mutual gazing occurs when we use video conferencing system. The displacement between locations of the eyes and a camera gets in the way of eye contact. The lack of eye gazing can give unapproachable and unpleasant feeling. In this paper, we propose an eye gazing correction for video conferencing. We use two cameras installed at the top and the bottom of the television. The captured two images are rendered with 2D warping at virtual position. We implement view morphing to the detected face, and synthesize the face and the warped image. The result shows that eye gazing is corrected and correctly preserved and the image was synthesized seamlessly.

언어를 사용하지 않고 몸짓이나 손짓, 표정 등 신체의 동작으로 의사나 감정을 표현하고 전달하는 비언어적 전달 방법은 중요한 의사전달 방법 중 하나이다. 이러한 몸짓이나, 손짓, 시선 맞춤 그리고 손동작은 때론 말보다 더 강력한 의사전달의 방법으로 작용한다. 비언어적 의사전달 방법에서 시선 맞춤은 그중에서도 가장 중요한 의사전달 방법이다. 하지만 화상회의를 할 때 디스플레이 상에서의 눈과 카메라의 차이 때문에 상호간에 시선 맞춤이 되지 않는다. 만약 상호간에 시선 맞춤을 하지 않고 대화를 하면 정확한 의사전달이 힘들고 서로의 이야기에 집중하기 어려워진다. 본 논문에서는 화상회의 상황에서 시선 맞춤을 개선하는 방법을 제안한다. 시선 맞춤을 개선하기 위해 두 대의 카메라를 텔레비전의 위, 아래에 설치하였다. 동시에 두 영상을 촬영하여 2D 워핑을 하여 가상의 중간시점으로 옮기고, 뷰 모핑을 한다. 모핑된 얼굴과 배경영상을 합성하여 화상회의를 위해 개선된 시선 맞춤 영상을 만든다. 실험 결과를 통하여 제안한 알고리즘이 시선 맞춤을 개선하고 자연스러운 중간 시점 영상을 합성하는 것을 확인 할 수 있다.

Keywords

References

  1. J. Cemmell, C.L. Zitnick, T. Kang, K. Toyama, and S. Seitz, "Gaze-awareness for Videoconferencing: A Software Approach," IEEE Multimedia, pp. 26-35, Oct. 2000.
  2. M. Ott, J. Lewis, and I. Cox, "Teleconferencing Eye Contact Using a Virtual Camera," In INTERCHI'93, pp. 119-110, 1993.
  3. R. Yang and Z. Zhang, "Eye gaze correction with stereovision for video tele-conferencing," In Proc. Europ. Conf. Computer Vision, volume 2, pp. 479-494, Copenhagen, Denmark, May 2002.
  4. X. Ma and Z. Deng. "Natural eye motion synthesis by modeling gaze-head coupling," In IEEE VR 2009, pp. 143-150, 2009.
  5. C. Kuster, T. Popa, J.-C. Bazin, C. Gotsman, and M. Gross, "Gaze correction for home video conferencing," ACM TOG (SIGGRAPH Asia), 2012.
  6. J. Zhu, R. Yang, and X. Xiang, "Eye contact in video conference via fusion of time-of-flight depth sensor and stereo," 3D Research, vol. 2, no. 3, pp. 1-10, 2011.
  7. R. Stokes. "Human Factors and Appearance Design Considerations of the Mod II PicturePhone Station Set," IEEE Transactions on Communication Technology, pages 319-323, 1969.
  8. Z. Zhang, "A flexible new technoque for camera calibration.," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, pp. 1330-1334, 2000. https://doi.org/10.1109/34.888718
  9. R. Hartley and A. Zisserman, "Multiple View Geometry in Computer Vision," Cambridge University Press, 2003.
  10. I. W. Phillip and F. John, "Facial Feature Detection Using Haar Classifiers," Journal of Computing Sciences in Colleges, vol. 21, pp. 127-133, 2006.
  11. S. M. Seitz and C. R. Dyer, "View morphing," In Proc. SIGGRAPH 96. 1996.
  12. J. Canny, "A Computatiional Approach to Edge Detection," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. PAMI-8, Issue 6, pp. 679-698, Nov. 1986. https://doi.org/10.1109/TPAMI.1986.4767851