MPEG-I의 6DoF를 위한 360 비디오 가상시점 합성 성능 분석

Performance Analysis on View Synthesis of 360 Videos for Omnidirectional 6DoF in MPEG-I

Abstract

360 비디오는 VR 응용의 확산과 함께 몰입형 미디어로 주목받고 있으며, MPEG-I Visual 그룹은 6 자유도(6DoF)까지의 몰입형 미디어를 제공하기 위한 표준화를 진행하고 있다. 제한된 공간내에서 전방위 6DoF를 제공하는 Omnidirectional 6DoF는 제공되는 제한된 수의 360 비디오로부터 임의의 위치에서의 뷰(view)를 제공하기 위한 가상시점 합성이 필요하다. 본 논문에서는 MPEG-I Visual 그룹에서 진행된 전방위 6DoF를 위한 합성에 대한 탐색실험의 성능 및 분석 결과를 기술한다. 즉, 합성하려는 가상시점과 합성을 위한 360 비디오의 입력시점 사이의 거리 및 입력시점의 개수 등의 다양한 실험조건에 따른 합성 성능 결과 및 분석을 제시한다.

360 video is attracting attention as immersive media with the spread of VR applications, and MPEG-I (Immersive) Visual group is actively working on standardization to support immersive media experiences with up to six degree of freedom (6DoF). In virtual space of omnidirectional 6DoF, which is defined as a case of degree of freedom providing 6DoF in a restricted area, looking at the scene at any viewpoint of any position in the space requires rendering the view by synthesizing additional viewpoints called virtual omnidirectional viewpoints. This paper presents the performance results on view synthesis and their analysis, which have been done as exploration experiments (EEs) of omnidirectional 6DoF in MPEG-I. In other words, experiment results on view synthesis in various aspects of synthesis conditions such as the distances between input views and virtual view to be synthesized and the number of input views to be selected from the given set of 360 videos providing omnidirectional 6DoF are presented.

그림 1. ClassroomImage의 첫 번째 프레임의 중앙 뷰(좌: 텍스처 영상, 우: 깊이 영상) Fig. 1. The first frame of the center view of ClassroomImage (texture image (left) and depth map (right)) [5]

그림 2. ClassroomImage의 뷰 포인트 배치 [5] Fig. 2. Viewpoint arrangement in ClassroomImage sequence [5]

그림 3. v0 또는 g0를 합성하기 위한 60, 120, 240, 480mm 거리의 입력 뷰 포인트 예Fig. 3. An example of input viewpoints to synthesize v0 or g0 at the distance of 60, 120, 240, 480mm [4]

그림 4. g0 원영상 Fig. 4. Original g0 image

그림 5. g3와 g4 입력 뷰를 이용한 g0 위치에서의 합성 영상 Fig. 5. Synthesized image of g0 position by using g3 and g4 input views

그림 6. 다수의 입력 뷰를 이용한 뷰 합성 예 Fig. 6. Example of view synthesis using multiple input views [4]

그림 7. 처리 시간과 WS-PSNR 관계 실험 결과(X-축: 처리 시간(sec), Y-축: WS-PSNR (dB)) [4] Fig. 7. Experiment results on the relation of processing time and WS-PSNR (X-axis: processing time (sec), Y-axis: WS-PSNR (dB)) [4]

그림 8. 다수의 입력 뷰를 이용한 다양한 합성 방법 [4] Fig. 8. Various synthesis method using multiple input views [4]

표 1. 각 합성 뷰에 대한 60, 120, 240, 480mm 거리의 입력 뷰 Table 1. Input views for view synthesis at the distances of 60, 120, 240, 480mm from each synthesized view [4]

표 2. 다양한 거리의 입력 뷰로부터 합성한 합성 뷰의 WS-PSNR [4] Table 2. WS-PSNR of the synthesized views at various distances from input views [4]

표 3. 합성 뷰의 WS-PSNR 및 처리 시간 [4] Table 3. WS-PSNR and processing time of the synthesized view [4]

표 4. 합성 뷰의 WS-PSNR 및 처리 시간 [4] Table 4. WS-PSNR and processing time of the synthesized view [4]