• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.33-36
• /
• 2021

In this paper, we propose a new method for improving compression efficiency of immersive video using reinforcement learning. Immersive video means a video that a user can directly experience, such as 3DOF+ videos and Point Cloud videos. It has a vast amount of information due to their characteristics. Therefore, lots of compression methods for immersive video are being studied, and generally, a method, which projects an 3D image into 2D image, is used. However, in this process, a region where information does not exist is created, and it can decrease the compression efficiency. To solve this problem, we propose the reinforcement learning-based filling method with considering the characteristics of images. Experimental results show that the performance is better than the conventional padding method.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.1-5
• /
• 2020

최근 MPEG-I 그룹에서는 표준화가 진행중인 몰입형 미디어(Immersive Media)에 대한 압축 성능 탐색이 이루어지고 있다. 몰입형 비디오는 다수의 시점 영상과 깊이 맵을 통한 깊이 맵 기반 이미지 렌더링(DIBR)을 바탕으로 제한적 6DoF 을 제공하고자 하는 기술이다. 현재 MIV(Model for Immersive Video) 기술에서는 바탕 시점(Basic View)과 각 시점의 고유한 영상 정보를 패치 단위로 모아둔 추가 시점(Additional View)으로 처리하는 모델을 채택하고 있다. 그 중에서 추가 시점은 일반적인 영상과는 달리 시간적/공간적 상관성이 떨어지는 분절적인 형태로 이루어져 있어 비디오 인코더에 대해 최적화가 되어 있지 않으며, 처리 방법의 특성에 따라 자기 유사적인 형태를 지니게 된다. 따라서 MIV 에서 스크린 콘텐츠 코딩 성능과 함께 화면 내 블록 카피(IBC: intra block copy) 기술에 대한 성능을 분석 결과를 제시한다. IBC 미적용 대비 최대 7.56%의 Y-PSNR BD-rate 감소가 가능함을 확인하였으며, 영상의 특성에 따라 IBC 의 선택 비율을 확인하여 추가 시점의 효율적인 압축 형태를 고찰한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.189-192
• /
• 2021

three degree of freedom (3DoF), three degree of freedom plus (3DoF+), six degree of freedom(6DoF) 등 몰입형 비디오의 높은 몰입감을 제공하기 위해 다중 비디오 영상을 효율적으로 처리하는 기법이 활발히 연구되고 있다. 이를 위해 원본의 몰입형 비디오가 입력되면 기본 시점 영상과 추가 시점 영상에서의 중복을 제거하고 기본 시점(basic view)에서는 보이지 않지만 추가 시점(additional view)에서는 보이는 영역을 추출하는 프루닝 과정이 이뤄지는 부호기에서의 부호화 모드 결정은 매우 중요하다. 본 논문은 test model for immersive video (TMIV)의 모드 중 하나인 MPEG immersive video (MIV) view mode 를 통해 만들어진 프루닝 (pruning) 그래프에서 선택된 시점들을 활용하여 뷰 간 중복성을 제거할 수 있는 효율적인 부호화 구조로 클러스터를 기반으로 병렬적으로 부호화하는 클러스터 기반 정렬 기법을 제안한다. 선택된 시점들을 인덱스 순서에 따라 부호화하는 기존 방법에 비해 제안하는 방법은 peak signal-to-noise ratio (Y-PSNR)에서 평균 3.9%의 BD-rate 절감을 보여주었다. 본 연구는 또한 더 객관적인 품질 측정을 위해 immersive video peak signal-to-noise ratio (IV-PSNR)에 의한 비교 결과도 함께 제공하며, 참조 순서에 맞게 정렬한 프루닝 기반 정렬 기법과의 비교도 함께 제공한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.166-168
• /
• 2020

MPEG 비디오 그룹은 MPEG-I 표준의 일부로 포인트 클라우드(Point Cloud) 압축을 위한 비디오 기반 포인트 클라우드 부호화(V-PCC)와 몰입형(immersive) 비디오 압축을 위한 MPEG Immersive Video(MIV) 표준을 개발하고 있다. 최근에는 포인트 클라우드 및 몰입형 비디오와 같은 체적형(volumetric) 비디오를 모두 압축할 수 있도록 V-PCC 와 MIV 를 통합한 V3C(Visual Volumetric Video-based Coding) 표준화를 진행하고 있다. 본 논문에서는 V3C 코덱을 사용한 3DoF+(3 Degree of Freedom plus) 비디오 부호화 방안을 분석한다. 또한 V3C 코덱의 2D 코덱으로 기존 HEVC 대신 VVC 를 사용할 경우의 부호화 성능 향상을 분석한다.

• TTA Journal
• /
• s.172
• /
• pp.92-98
• /
• 2017

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.75-77
• /
• 2021

MPEG 비디오 그룹은 제한된 3D 공간 내에서 움직임 시차(motion parallax)를 제공하면서 원하는 시점(view)을 렌더링(rendering)하기 위한 표준으로 TMIV(Test Model for Immersive Video)라는 테스트 모델과 함께 효율적인 몰입형 비디오의 부호화를 위한 MIV(MPEG Immersive Video) 표준을 개발하고 있다. 몰입감 있는 시각적 경험을 제공하기 위해서는 많은 수의 시점 비디오가 필요하기 때문에 방대한 양의 비디오를 고효율로 압축하는 것이 불가피하다. TMIV 는 여러 개의 입력 시점 비디오를 소수의 아틀라스(atlas) 비디오로 변환하여 부호화되는 화소수를 줄이게 된다. 아틀라스는 선택된 소수의 기본 시점(basic view) 비디오와 기본 시점으로부터 합성할 수 없는 나머지 추가 시점(additional view) 비디오의 영역들을 패치(patch)로 만들어 패킹(packing)한 비디오이다. 본 논문에서는 아틀라스 비디오의 보다 효율적인 부호화를 위해서 패치 내에 생기는 작은 홀(hole)들을 채우는 기법을 제안한다. 제안기법은 기존 TMIV8.0 에 비해 1.2%의 BD-rate 이 향상된 성능을 보인다.

• Broadcasting and Media Magazine
• /
• v.23 no.1
• /
• pp.33-45
• /
• 2018

최근 차세대 미디어 중 하나로 가상의 환경 내에서 극대화된 현실감 및 몰입감을 사용자에게 제공해 줄 수 있는 몰입형 미디어(Immersive Media)가 각광받고 있다. 이를 반영하듯 360도 전방위 영상을 이용한 VR미디어에 사용자의 움직임에 따라 자연스러운 사실감 및 입체감을 제공하는 Light Field 미디어 기술을 접목하려는 시도가 가속화되고 있으며, MPEG에서도 6DoF(Degrees of Freedom)기반의 LF 미디어를 서비스하기 위한 MPEG-I(Immersive) 표준화가 진행 중에 있다. 본 고에서는 LF 미디어 특성 및 이를 획득하고 재생하기 위한 요소기술 개발 현황을 살펴보고, LF 기술이 적용된 MPEG 표준화 동향을 소개한다.

• Journal of the Korea Computer Graphics Society
• /
• v.30 no.3
• /
• pp.23-41
• /
• 2024

Recently, various virtual avatar music content that showcases singing and dancing have been produced, and as virtual artists gain popularity, offline virtual avatar concerts have also emerged. However, there are few examples of virtual avatar band content where avatars play instruments. In addition, offline virtual avatar concerts using large screens at the front are limited in their ability to utilize the fantastical effects and high degree of freedom unique to virtual reality. In this paper, inspired by these limitations of virtual avatar music content, we introduce the production case of virtual avatar band content and immersive interactive concert of virtual band idol Verse'day. Firstly, we present a case study on creating band performance animations and music videos using motion capture systems and real-time engines. Then, we introduce a production case of an immersive interactive concert using projection mapping technology and a light stick that allows real-time interaction in an offline concert. Finally, based on these production cases, we discussed the future research directions of developing virtual avatar music content creation. We expect that our production cases will inspire the creation of diverse virtual avatar music content and the development of immersive interactive offline virtual avatar concerts in the future.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.151-153
• /
• 2022

최근 Moving Picture Experts Group(MPEG)에서는 2차원 비디오 압축 표준인 Versatile Video Coding(VVC)에 이어서 다양한 영상 포맷들에 대한 압축 방식을 표준화하고 있다. 특히, 가상현실, 증강현실, 혼합현실 등의 지원을 위한 Six Degrees of Freedom(6DoF) 입체영상 콘텐츠들이 최근 다양한 분야들에서 활용되고 있는데, 6DoF 입체영상은 일반적으로 복수 시점의 고해상도 칼라영상과 깊이영상으로 구성된다. 이러한 고해상도의 6DoF 몰입형 입체영상을 제한된 네트워크 환경에서 완벽한 서비스를 목표로 MPEG에서는 몰입형 입체영상 압축 기술인 MPEG Immersive Video(MIV) 표준화를 활발하게 진행 중에 있다. MIV에서는 기본 뷰(Basic View)로 이루어진 영상과 추가 뷰(Addtional View)에서 중복성 높은 픽셀들이 제거된 아틀라스 패치로 이루어진 영상을 각각 VVC로 압축한다. 하지만 아틀라스 패치로 이루어진 영상의 경우에는 일반적인 2차원 칼라영상과 다른 특성을 가지기 때문에, VVC 인루프 필터 기술이 비효율적일 수 있다. 따라서, 본 논문에서는 MIV 표준에서의 VVC 인루프 필터들의 성능을 분석한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.62-64
• /
• 2021

최근 코로나 19의 확산으로 인하여 코로나 감염으로 인한 외부 방송 촬영에 제약이 생기면서, 제작환경은 실외에서 실내의 가상 환경 제작 수요가 크게 증가하고 있다. 이에 확장현실 제작 기술이 방송 제작에 적극 활용되고 있다. 확장현실은 외부의 제작 환경을 몰입형 LED월 시스템 기반으로 가상의 그래픽으로 내부 스튜디오 제작환경에서 제작 할 수 있어 방송에서는 확장현실 관련 시스템 및 그래픽 콘텐츠, 운영기술 개발이 요구되고 있다. 이에 본 논문은 확장현실 콘텐츠를 제작 할 수 있는 '몰입형 혼합현실 시스템'을 제안한다. 특히, 확장현실 환경에서 원격으로 AR과 VR 콘텐츠의 동기를 맞추어 운영할 수 있도록 개발된 '원격제어 타임라인 디렉터'를 통해 AR/VR 콘텐츠를 재생 및 입출력을 제어할 수 있다. 본 시스템을 통하여 그래픽 기반의 AR/VR 시험 그래픽 콘텐츠 및 실사 기반의 360 콘텐츠 기반 확장현실 시험 콘텐츠를 개발하였으며, 상용카메라 추적시스템과 연개하어 자연스러운 추적 및 합성 그리고 타임라인 디렉터의 사용자 인터페이스를 이용하여 확장현실 콘텐츠를 제작 및 운영 할 수 있음을 확인하였다.