Journal of Broadcast Engineering (방송공학회논문지)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지
DOI QR코드

DOI QR Code

A Patch Packing Method Using Guardband for Efficient 3DoF+ Video Coding

3DoF+ 비디오의 효율적인 부호화를 위한 보호대역을 사용한 패치 패킹 기법

  • Kim, Hyun-Ho (School of Electronics and Information Engineering, Korea Aerospace University) ;
  • Kim, Yong-Ju (School of Electronics and Information Engineering, Korea Aerospace University) ;
  • Kim, Jae-Gon (School of Electronics and Information Engineering, Korea Aerospace University)
  • 김현호 (한국항공대학교 항공전자정보공학부) ;
  • 김용주 (한국항공대학교 항공전자정보공학부) ;
  • 김재곤 (한국항공대학교 항공전자정보공학부)
  • Received : 2020.01.13
  • Accepted : 2020.02.24
  • Published : 2020.03.30
Download PDF
⟨ Previous Next ⟩

Abstract

MPEG-I is actively working on standardization on the immersive video coding which provides up to 6 degree of freedom (6DoF) in terms of viewpoint. In a virtual space of 3DoF+, which is defined as an extension of 360 with motion parallax, looking at the scene from another viewpoint (another position in space) requires rendering an additional viewpoint using multiple videos included in the 3DoF+ video. In the MPEG-I Visual workgroup, efficient coding methods for 3DoF+ video are being studied, and they released Test Model for Immersive Video (TMIV) recently. This paper presents a patch packing method which packs the patches into atlases efficiently for improving coding efficiency of 3DoF+ video in TMIV. The proposed method improves the reconstructed view quality with reduced coding artifacts by introducing guardbands between patches in the atlas.

MPEG-I에서는 최대 6자유도(6DoF)를 가지는 몰입형 비디오의 압축 표준화를 진행하고 있다. 360 비디오에 움직임 시차(parallax)를 추가한 것으로 정의되는 3DoF+ 비디오의 가상 공간에서, 원하는 위치와 시점의 장면을 제공하려면 3DoF+ 비디오를 구성하는 여러 뷰(view) 비디오를 사용하여 임의의 원하는 시점의 뷰를 렌더링해야 한다. MPEG-I 비쥬얼 그룹에서는 이러한 3DoF+ 비디오의 효율적인 부호화를 위한 표준화가 진행되고 있으며, TMIV(Test Model for Immersive Video)라는 시험모델을 개발하고 있다. 본 논문은 TMIV에서 패치(patch)를 아틀라스(atlas)에 효율적으로 패킹하여 부호화 성능을 향상시킬 수 있는 패치 패킹 방법을 제안한다. 제안기법은 패킹되는 패치들 간에 보호대역(guardband)을 적용하여 패치 간의 거리를 둠으로써 부호화로 인해 발생할 수 있는 아티팩트(artifact)를 줄여 최종 복원 뷰의 화질을 향상시킨다.

Keywords

References

  1. "MPEG-I Use Cases for omnidirectional 6DoF, windowed 6DoF, and 6DoF," ISO/IEC JTC1/SC29/WG11, N16768, Apr. 2017.
  2. M. Wien, J. M. Boyce, T. Stockhammer, and W.-H. Peng, “Standardization Status of Immersive Video Coding,” IEEE Jour. Emerg. Select. Topics Circuits Syst., Vol. 9, No. 1, pp. 5-17, Mar. 2019. https://doi.org/10.1109/jetcas.2019.2898948
  3. B. Salahieh, B. Kroon, J. Jung, M. Domański (Eds.), "Test model 2 for Immersive Video," ISO/IEC JTC1/SC29/WG11, N18577, July 2019.
  4. J. Boyce, R. Dore, V. Vadakital, "Working Draft 2 of Immersive Video," ISO/IEC JTC1/SC29/WG11, N18576, July 2018.
  5. J. Jung, B. Kroon, J. Boyce, "Common Test Conditions for Immersive Video," ISO/IEC JTC1/SC29/WG11, N18443, Mar. 2019.
  6. HM reference software, [Online]. Available at: https://hevc.hhi.fraunhofer.de/svn/svn_HEVCSoftware/.
  7. Y. Kim, H. Kim and J. Kim, "An Efficient Method of Patch Packing for 3DoF+ Video Coding," In. Proc. The Korean Institute of Broadcast and Media Engineers Fall Conference, Nov. 2019.
  8. H. Kim, J. Kim and G. Lee, "MPEG-I 3DoF+ Video Coding Standardization," Telecommunication Technology Association, Vol 185, pp.17-25, Sept. 2019.