Gaze Matching Based on Multi-microphone for Remote Tele-conference

멀티 마이크로폰 기반 원격지 간 화상회의 시선 일치 기법

Recently, as an alternative to replace face-to-face meetings, video conferencing systems between remote locations has increased. However, video conferencing systems have limitations in terms of mismatch of the eyes of remote users. Therefore, it is necessary to apply a technology that can increase the level of immersion in video conferences by matching the gaze information of participants between different remote locations. In this paper, we propose a novel technique to realize video conferencing with the same gaze by estimating the speaker's location based on a multi-microphone. Using our method, it can be applied to various fields such as robot interaction and virtual human interface as well as video conferencing between remote locations.

최근, 대면 회의를 대체할 수 있는 수단으로 원격지 간 화상 회의 시스템의 활용도가 높아졌다. 기존 화상회의 시스템은 원격지 사용자의 시선 불일치로 인해 몰입감 있는 화상회의 환경을 제공하기에는 한계를 가지고 있다. 따라서, 서로 다른 원격지 간 참여자의 시선 정보를 일치하여 화상 회의의 몰입도를 높일 수 있는 기술 적용이 필요하다. 본 논문에서는 원격지 간 화상회의 참여자의 시선을 일치하기 위해 로컬에 설치된 멀티 마이크로폰 기반으로 화자의 위치를 추정하여 시선이 일치된 화상회의 영상을 구현하는 기술을 제안한다. 본 연구논문의 방법을 이용하면 원격지 간 화상회의 뿐 아니라 로봇 상호작용, 가상 휴먼 인터페이스 등 다양한 분야에 확대 적용될 수 있을 것으로 본다.