Abstract
In this paper, we proposed a face tracking algorithm for a viewpoint adaptive multi-view synthesis system. The original scene captured by a depth camera contains a texture image and 8 bit gray-scale depth map. From this original image, multi-view images can be synthesized which correspond to viewer's position by using geometrical transformation such as a rotation and a translation. The proposed face tracking technique gives a motion parallax cue by different viewpoints and view angles. In the proposed algorithm, tracking of viewer's dominant face initially established from camera by using statistical characteristics of face colors and deformable templates is done. As a result, we can provide motion parallax cue by detecting viewer's dominant face area and tracking it even under a heterogeneous background and can successfully display the synthesized sequences.
본 논문에서는 관찰자의 시점에 적응적인 다시점 영상 합성 시스템을 위한 얼굴 추적 기법을 제안한다. depth 카메라를 이용하여 텍스쳐 영상과 깊이 정보를 획득한 후, 회전(rotation)과 이동(translation) 등 기하학적인 변환을 이용하여 관찰자의 위치를 고려한 다시점 영상을 생성할 수 있다. 관찰 시점의 위치와 각도에 의한 입체감(motion parallex cue)을 제공하기 위하여 주 관찰자의 얼굴을 추적하는 기법을 제안한다. 제안된 기법에서는 모니터에 설치된 얼굴 획득용 카메라로부터 얻은 영상에서 얼굴 색상의 통계학적 특성과 변형적 형판(template)을 이용하여, 실시간으로 초기에 설정된 주요 관찰자(dominant face)의 얼굴영역을 추적하게 된다. 실험 결과 복잡한 배경 하에서도 얼굴 영역의 위치를 성공적으로 검출 및 추적하여 관찰자 시점에 해당하는 3차원 입체 영상을 디스플레이 할 수 있었다.
