• 전자통신동향분석
• /
• 제37권3호
• /
• pp.52-63
• /
• 2022

Immersive media, also known as spatial media, has become essential with the decrease in face-to-face activities in the COVID-19 pandemic era. Teleconference, metaverse, and digital twin have been developed with high expectations as immersive media services, and the demand for hyper-realistic media is increasing. Under these circumstances, MPEG-I Immersive Media is being standardized as a technologies of navigable virtual reality, which is expected to be launched in the first half of 2024, and the Audio Group is working to standardize the immersive audio technology. Following this trend, this article introduces the trend in MPEG-I immersive audio standardization. Further, it describes the features of the immersive audio rendering technology, focusing on the structure and function of the RM0 base technology, which was chosen after evaluating all the technologies proposed in the January 2022 "MPEG Audio Meeting."

• 방송공학회논문지
• /
• 제27권6호
• /
• pp.861-871
• /
• 2022

실사 및 컴퓨터 그래픽을 표현하는 다수의 몰입형 영상을 효율적으로 부호화하는 표준으로 moving picture experts group (MPEG)에서는 MPEG immersive video (MIV) 표준을 개발하였다. MIV 표준은 다수의 몰입형 영상을 압축하여 다수의 출력 영상인 아틀라스를 생성하나, 다수의 아틀라스를 부호화 후 복호화 시 저사양 장비에서 복호기 간 동기화 문제가 발생할 수 있다. 본 논문은 저사양 및 고사양 장비에 모두 대응하여 적응적 복호기 개수 조절을 위한 geometry packing 기법을 제안하고 구현한다. 제안하는 방법은 MIV의 최신 참조 소프트웨어에서 문제없이 동작함을 확인하였다.

• 방송공학회논문지
• /
• 제25권5호
• /
• pp.723-733
• /
• 2020

본 고에서는 현재 탐색단계의 표준화가 진행 중인 MPEG-I Immersive Audio 표준화 동향을 소개한다. 이 표준은 5G/6G와 같은 초연결 환경에서 킬러 어플리케이션으로 기대되는 가상현실(Virtual Reality; VR) 및 증강현실(Augmemted Reality; AR)에서, 이용자가 가상환경과 상호작용을 통해 6 자유도(Degrees of freedom; DoF)로 소리를 실감나게 느끼고 실제 환경에서 경험하는 것과 같은 공간음향 체험을 제공하는 것을 목표로 한다. 이를 위하여, MPEG Audio Working Group에서는 가상현실 및 증강현실에서 공간음향 체험을 위한 시스템 구조 및 요구사항을 정의하였다. 이를 기반으로 요구사항에 대한 제안 기술 선정을 위한 오디오 평가 플랫폼(Audio evaluation platform; AEP), 인코더 입력 포맷(Encoder input format; EIF) 및 평가 절차 등에 대한 논의를 진행하고 있으며, 본 고에서는 그 주요 내용을 요약 기술한다.

• 방송공학회논문지
• /
• 제27권5호
• /
• pp.773-793
• /
• 2022

다수의 고품질 몰입형 영상 전송을 통해 가상 현실에서 six degrees of freedom(6DoF)를 지원하기 위해 the moving picture experts group (MPEG) immersive video (MIV) 압축 표준이 설립되었다. MIV는 비트율과 연산 복잡도 간 상충관계를 고려하여 1) 시점 간 연관성 제거 또는 2) 대표 시점을 선택하여 전송하는 2가지 압축 방식을 제공한다. 본 논문은 전술한 두 가지 방식에 대해 high-efficiency video coding (HEVC), versatile video coding (VVC) 기반 성능 분석 결과를 입력 영상 위치에 합성한 가상 영상 및 사용자 시점 영상 중심으로 제시한다.

• 방송공학회논문지
• /
• 제27권2호
• /
• pp.216-227
• /
• 2022

MPEG-I (Immersive) 그룹에서는 6자유도(DoF: degrees of freedom)를 제공하는 몰입형 비디오의 표준화 프로젝트를 진행 중에 있다. MPEG Immersive Video (MIV) 표준화 기술에서는 사용자에게 움직임 시차(parallax)를 제공하기 위해 취득한 다수의 영상을 깊이 맵 기반 이미지 렌더링(depth map-based image rendering, DIBR)을 바탕으로 임의의 사용자 시점의 뷰를 렌더링하게 된다. 현재 MIV에서는 효율적인 부호화를 위한 기술들이 많이 논의된 바 있지만, 전송 측면에 대해서는 여전히 논의가 필요하다. 본 논문은 사용자 시점에 적응적인 몰입형 비디오 스트리밍을 위한 품질 할당 기법을 제안한다. 현재 MIV에서 지원하고 있는 그룹 분할 기법을 통하여 독립적으로 전송, 복원이 가능한 시점 그룹 단위를 생성하여 이를 사용자 시점에 기반한 품질 할당 기법을 통해 효율적인 전송이 가능하도록 한다. 제안하는 적응적 전송 기법은 Test Model for Immersive Video (TMIV) 시험모델을 통해 구현되었으며, 주어진 합성 시점 위치에 따라 렌더링 과정에서의 기여도를 그룹별로 계산하고 우선 시점 그룹을 판단하여 고품질로 전송한다. 사용자 시점에 대한 렌더링 비교 결과를 통해 제안하는 기법이 기존 TMIV 대비 PSNR 지표에서 평균 17.0%, IV-PSNR 지표에서 14.6%의 BD-rate 감소율을 보여 효율적인 전송이 가능함을 보였다.

• 방송공학회논문지
• /
• 제25권6호
• /
• pp.911-921
• /
• 2020

최근 MPEG-I (Immersive) 그룹에서는 몰입형 비디오(Immersive Video)에 대한 표준화 프로젝트를 통해 압축 성능 탐색을 진행하고 있다. MIV(MPEG Immersive Video) 표준 기술은 다수의 시점 영상과 깊이 맵을 통한 깊이 맵 기반 이미지 렌더링(DIBR)을 바탕으로 제한적인 6DoF을 제공하고자 하는 기술이다. 현재 MIV에서는 바탕 시점(Basic View)과 각 시점의 고유한 영상 정보를 패치 단위로 모아둔 추가 시점(Additional View)으로 처리하는 모델을 채택하고 있다. MIV에서 생성된 아틀라스는 포함되는 시점의 성격에 따라 다른 영상의 특성을 나타내어 비디오 코덱의 압축 효율에 대한 고찰이 필요하다. 따라서 본 논문에서는 다양한 시점과 패치들이 반복되는 패턴에 착안하여 화면 내 블록 카피(IBC: intra block copy) 등의 압축 기법이 포함된 스크린 콘텐츠 코딩 툴에 대한 성능 비교 분석을 진행하여 복원 영상에서 최대 -15.74% Peak Signal-to-Noise Ratio (PSNR) 관점에서의 부호화 성능 향상을 제공하였다.

• 방송공학회논문지
• /
• 제24권2호
• /
• pp.273-280
• /
• 2019

360 비디오는 VR 응용의 확산과 함께 몰입형 미디어로 주목받고 있으며, MPEG-I Visual 그룹은 6 자유도(6DoF)까지의 몰입형 미디어를 제공하기 위한 표준화를 진행하고 있다. 제한된 공간내에서 전방위 6DoF를 제공하는 Omnidirectional 6DoF는 제공되는 제한된 수의 360 비디오로부터 임의의 위치에서의 뷰(view)를 제공하기 위한 가상시점 합성이 필요하다. 본 논문에서는 MPEG-I Visual 그룹에서 진행된 전방위 6DoF를 위한 합성에 대한 탐색실험의 성능 및 분석 결과를 기술한다. 즉, 합성하려는 가상시점과 합성을 위한 360 비디오의 입력시점 사이의 거리 및 입력시점의 개수 등의 다양한 실험조건에 따른 합성 성능 결과 및 분석을 제시한다.

• 방송공학회논문지
• /
• 제28권2호
• /
• pp.194-212
• /
• 2023

다수의 색상 및 거리 순서쌍으로 구성된 몰입형 영상 압축을 위한 MPEG immersive video (MIV) 표준은 시점 간 중복 영역 제거 후 잔여 영상을 병합하여 높은 압축률을 확보하였다. 비슷한 영역을 표현하는 시점 간 그룹화를 통해 품질 향상 및 선택적 스트리밍 구현이 가능하나, 최근 그룹 기반 MIV 부호화 기술은 활발히 논의되고 있지 않다. 본 논문은 최신 MIV 참조 소프트웨어에서 그룹 기반 부호화 기술을 이식하고, 최적의 그룹 별 시점 및 영상 개수 산출을 위한 실험을 진행하였으며, 출력 영상 내 잔여 영상의 비율을 기반으로 전역적 영상 표현을 위한 최적의 출력 영상 수를 결정하는 기법을 제안한다.

• 방송공학회논문지
• /
• 제27권7호
• /
• pp.974-984
• /
• 2022

In this paper, we introduce the minimum and maximum distance setting methods used in geometric distance attenuation processing, which is one of spatial sound reproduction methods. In general, sound attenuation by distance is inversely proportional to distance, that is 1/r law, but when the relative distance between the user and the audio object is very short or long, exceptional processing might be performed by setting the minimum distance or the maximum distance. While MPEG-I Immersive Audio's RM0 uses fixed values for the minimum and maximum distances, this study proposes effective methods for setting the distances considering the signal gain of an audio object. Proposed methods were verified through simulation of the proposed methods and experiments using RM0 renderer.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 추계학술대회
• /
• pp.54-57
• /
• 2022

다수의 색상 및 거리 정보로 구성된 몰입형 영상 부호화를 위한 MPEG immersive video (MIV) 표준은 각 시점의 영상 간 중복성 제거 및 잔여 영상 병합을 통한 압축률 향상을 목표로 한다. 시점에 따른 카메라 그룹핑을 통해 압축률 향상이 가능하나, 그룹 기반 MIV 부호화 기술은 최근 활발히 논의되고 있지 않다. 따라서 본 논문은 최신 버전의 MIV 참조 소프트웨어에 그룹 기반 부호화 기술을 이식하고 적응적 스트리밍을 위한 그룹 기반 부호화 기술의 효율을 검증하였다.