• Journal of Broadcast Engineering
• /
• v.24 no.6
• /
• pp.1035-1052
• /
• 2019

Recently, as the demand for immersive videos increases, efficient video processing techniques for omnidirectional immersive video is actively developed by MPEG-I. While the omnidirectional video provides a larger degree of freedom for a free viewpoint, the size of the video increases significantly. Furthermore, in order to compress 6 degree-of-freedom (6 DoF) videos that support motion parallax, it is required to develop a codec to yield better coding efficiency. In this paper, we develop a 6 DoF codec using Versatile Video Coding (VVC) as the next generation video coding standard. To the authors' best knowledge, this is the first VVC-based 6 DoF video codec toward the future ISO/IEC 23090 Part 7 (Metadata for Immersive Media (Video)) MPEG-I standardization. The experiments were conducted on the seven test video sequences specified in Common Test Condition (CTC) in two operation modes of TMIV (Test Model for Immersive Media) software. It is demonstrated that the proposed codec improves coding performance around 33.8% BD-rate reduction in the MIV (Metadata for Immersive Video) mode and 30.2% BD-rate reduction in the MIV view mode as compared to the state-of-the-art TMIV reference software. We also show the performance comparisons using Immersive Video PSNR (IV-PSNR) and Mean Structural Similarity (MSSIM).

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.189-192
• /
• 2021

three degree of freedom (3DoF), three degree of freedom plus (3DoF+), six degree of freedom(6DoF) 등 몰입형 비디오의 높은 몰입감을 제공하기 위해 다중 비디오 영상을 효율적으로 처리하는 기법이 활발히 연구되고 있다. 이를 위해 원본의 몰입형 비디오가 입력되면 기본 시점 영상과 추가 시점 영상에서의 중복을 제거하고 기본 시점(basic view)에서는 보이지 않지만 추가 시점(additional view)에서는 보이는 영역을 추출하는 프루닝 과정이 이뤄지는 부호기에서의 부호화 모드 결정은 매우 중요하다. 본 논문은 test model for immersive video (TMIV)의 모드 중 하나인 MPEG immersive video (MIV) view mode 를 통해 만들어진 프루닝 (pruning) 그래프에서 선택된 시점들을 활용하여 뷰 간 중복성을 제거할 수 있는 효율적인 부호화 구조로 클러스터를 기반으로 병렬적으로 부호화하는 클러스터 기반 정렬 기법을 제안한다. 선택된 시점들을 인덱스 순서에 따라 부호화하는 기존 방법에 비해 제안하는 방법은 peak signal-to-noise ratio (Y-PSNR)에서 평균 3.9%의 BD-rate 절감을 보여주었다. 본 연구는 또한 더 객관적인 품질 측정을 위해 immersive video peak signal-to-noise ratio (IV-PSNR)에 의한 비교 결과도 함께 제공하며, 참조 순서에 맞게 정렬한 프루닝 기반 정렬 기법과의 비교도 함께 제공한다.

• Journal of Broadcast Engineering
• /
• v.25 no.2
• /
• pp.185-191
• /
• 2020

MPEG-I is actively working on standardization on the immersive video coding which provides up to 6 degree of freedom (6DoF) in terms of viewpoint. In a virtual space of 3DoF+, which is defined as an extension of 360 with motion parallax, looking at the scene from another viewpoint (another position in space) requires rendering an additional viewpoint using multiple videos included in the 3DoF+ video. In the MPEG-I Visual workgroup, efficient coding methods for 3DoF+ video are being studied, and they released Test Model for Immersive Video (TMIV) recently. This paper presents a patch packing method which packs the patches into atlases efficiently for improving coding efficiency of 3DoF+ video in TMIV. The proposed method improves the reconstructed view quality with reduced coding artifacts by introducing guardbands between patches in the atlas.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.126-128
• /
• 2021

MPEG(Moving Picture Experts Group) 비디오 그룹은 사용자에게 움직임 시차(motion parallax)를 제공하면서 3D 공간 내에서 임의의 위치와 방향의 시점(view)을 렌더링(rendering) 가능하게 하는 6DoF(Degree of Freedom)의 몰입형 비디오 부호화 표준인 MIV(MPEG Immersive Video) 표준화를 진행하고 있다. MIV 표준화 과정에서 참조 SW 인 TMIV(Test Model for Immersive Video)도 함께 개발하고 있으며 점진적으로 부호화 성능을 개선하고 있다. TMIV 는 여러 뷰로 구성된 방대한 크기의 6DoF 비디오를 압축하기 위하여 입력되는 뷰 비디오들 간의 중복성을 제거하고 남은 영역들은 각각 개별적인 패치(patch)로 만든 후 아틀라스에 패킹(packing)하여 부호화되는 화소수를 줄인다. 이때 아틀라스 비디오에 패킹된 패치들의 위치 정보를 메타데이터로 압축 비트열과 함께 전송하게 되며, 본 논문에서는 이러한 패킹 정보를 보다 효율적으로 표현하기 위한 방법을 제안한다. 제안방법은 기존 TMIV10.0 에 비해 약 10%의 메타데이터를 감소시키고 종단간 BD-rate 성능을 0.1% 향상시킨다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.75-77
• /
• 2021

MPEG 비디오 그룹은 제한된 3D 공간 내에서 움직임 시차(motion parallax)를 제공하면서 원하는 시점(view)을 렌더링(rendering)하기 위한 표준으로 TMIV(Test Model for Immersive Video)라는 테스트 모델과 함께 효율적인 몰입형 비디오의 부호화를 위한 MIV(MPEG Immersive Video) 표준을 개발하고 있다. 몰입감 있는 시각적 경험을 제공하기 위해서는 많은 수의 시점 비디오가 필요하기 때문에 방대한 양의 비디오를 고효율로 압축하는 것이 불가피하다. TMIV 는 여러 개의 입력 시점 비디오를 소수의 아틀라스(atlas) 비디오로 변환하여 부호화되는 화소수를 줄이게 된다. 아틀라스는 선택된 소수의 기본 시점(basic view) 비디오와 기본 시점으로부터 합성할 수 없는 나머지 추가 시점(additional view) 비디오의 영역들을 패치(patch)로 만들어 패킹(packing)한 비디오이다. 본 논문에서는 아틀라스 비디오의 보다 효율적인 부호화를 위해서 패치 내에 생기는 작은 홀(hole)들을 채우는 기법을 제안한다. 제안기법은 기존 TMIV8.0 에 비해 1.2%의 BD-rate 이 향상된 성능을 보인다.

• Broadcasting and Media Magazine
• /
• v.23 no.1
• /
• pp.33-45
• /
• 2018

최근 차세대 미디어 중 하나로 가상의 환경 내에서 극대화된 현실감 및 몰입감을 사용자에게 제공해 줄 수 있는 몰입형 미디어(Immersive Media)가 각광받고 있다. 이를 반영하듯 360도 전방위 영상을 이용한 VR미디어에 사용자의 움직임에 따라 자연스러운 사실감 및 입체감을 제공하는 Light Field 미디어 기술을 접목하려는 시도가 가속화되고 있으며, MPEG에서도 6DoF(Degrees of Freedom)기반의 LF 미디어를 서비스하기 위한 MPEG-I(Immersive) 표준화가 진행 중에 있다. 본 고에서는 LF 미디어 특성 및 이를 획득하고 재생하기 위한 요소기술 개발 현황을 살펴보고, LF 기술이 적용된 MPEG 표준화 동향을 소개한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.166-168
• /
• 2020

MPEG 비디오 그룹은 MPEG-I 표준의 일부로 포인트 클라우드(Point Cloud) 압축을 위한 비디오 기반 포인트 클라우드 부호화(V-PCC)와 몰입형(immersive) 비디오 압축을 위한 MPEG Immersive Video(MIV) 표준을 개발하고 있다. 최근에는 포인트 클라우드 및 몰입형 비디오와 같은 체적형(volumetric) 비디오를 모두 압축할 수 있도록 V-PCC 와 MIV 를 통합한 V3C(Visual Volumetric Video-based Coding) 표준화를 진행하고 있다. 본 논문에서는 V3C 코덱을 사용한 3DoF+(3 Degree of Freedom plus) 비디오 부호화 방안을 분석한다. 또한 V3C 코덱의 2D 코덱으로 기존 HEVC 대신 VVC 를 사용할 경우의 부호화 성능 향상을 분석한다.

• Journal of Broadcast Engineering
• /
• v.25 no.5
• /
• pp.665-671
• /
• 2020

MPEG-I is actively working on standardization on the coding of immersive video which provides up to 6 degree of freedom (6DoF) in terms of viewpoint. 3DoF+ video, which provides motion parallax to omnidirectional view of 360 video, renders a view at any desired viewpoint using multiple view videos acquisitioned in a limited 3D space covered with upper body motion at a fixed position. The MPEG-I visual group is developing a test model called TMIV (Test Model for Immersive Video) in the process of development of the standard for 3DoF+ video coding. In the TMIV, the redundancy between a set of input view videos is removed, and several atlases are generated by packing patches including the remaining texture and depth regions into frames as compact as possible, and coded. This paper presents an atlas generation method that removes small-sized blocks in the atlas for more efficient 3DoF+ video coding. The proposed method shows a performance improvement of BD-rate bit savings of 0.7% and 1.4%, respectively, in natural and graphic sequences compared to TMIV.

• ETRI Journal
• /
• v.44 no.1
• /
• pp.73-84
• /
• 2022

The moving picture experts group (MPEG) immersive video (MIV) technology has been actively developed and standardized to efficiently deliver immersive video to viewers in order for them to experience immersion and realism in various realistic and virtual environments. Such services are provided by MIV technology, which uses multiview videos as input. The pruning process, which is an important component of MIV technology, reduces interview redundancy in multiviews videos. The primary aim of the pruning process is to reduce the amount of data that available video codec must handle. In this study, two approaches are presented to improve the existing pruning algorithm. The first method determines the order in which images are pruned. The amount of overlapping region between the source views is then used to determine the pruning order. The second method considers global region-wise color similarity to minimize matching ambiguity when determining the pruning area. The proposed methods are evaluated under common test condition of MIV, and the results show that incorporating the proposed methods can improve both objective and subjective quality.

• ETRI Journal
• /
• v.38 no.5
• /
• pp.829-837
• /
• 2016

In this paper, we introduce extension tools for MPEG Surround, which were recently adopted as MPEG-H 3D Audio tools by the ISO/MPEG standardization group. MPEG-H 3D Audio is a next-generation technology for representing spatial audio in an immersive manner. However, considerably large numbers of input signals can degrade the compression performance during a low bitrate operation. The proposed extension of MPEG Surround was basically designed based on the original MPEG Surround technology, where the limitations of MPEG Surround were revised by adopting a new coding structure. The proposed MPEG-H 3D Audio technologies will play a pivotal role in dramatically improving the sound quality during a lower bitrate operation.