• Electronics and Telecommunications Trends
• /
• v.34 no.3
• /
• pp.13-22
• /
• 2019

Although virtual reality technology may not be deemed as having a satisfactory quality for all users, it tends to incite interest because of the expectation that the technology can allow one to experience something that they may never experience in real life. The most important aspect of this indirect experience is the provision of immersive 3D audio and video, which interacts naturally with every action of the user. The immersive audio faithfully reproduces an acoustic scene in a space corresponding to the position and movement of the listener, and this technology is also called spatial audio. In this paper, we briefly introduce the trend of spatial audio technology in view of acquisition, analysis, reproduction, and the concept of MPEG-I audio standard technology, which is being promoted for spatial audio services.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.239-241
• /
• 2022

MIV(MPEG Immersive Video) 표준은 제한된 3D 공간의 다양한 위치의 뷰(view)들을 효율적으로 압축하여 사용자에게 임의의 위치 및 방향에 대한 6 자유도(6DoF)의 몰입감을 제공한다. MIV 의 참조 소프트웨어인 TMIV(Test Model for Immersive Video)에서는 몰입감을 제공하기 위한 여러 시점의 입력 뷰들 간의 중복 영역을 제거하고 남은 영역들을 패치(patch)로 만들어 패킹(packing)한 아틀라스(atlas)를 생성하고 이를 압축 전송한다. 아틀라스 영상은 일반적인 영상 달리 많은 불연속성을 포함하고 있으며 이는 부호화 효율을 크게 저하시키다 본 논문에서는 아틀라스 영상의 부호화 손실을 줄이기 위한 신경망 기반의 후처리 필터링 기법을 제시한다. 제안기법은 기존의 TMIV 와 비교하여 아틀라스의 복원 화질 향상을 보여준다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.250-252
• /
• 2022

As immersive video contents have started to emerge in the commercial market, research on it is required. For this, efficient coding methods for immersive video are being studied in the MPEG-I Visual workgroup, and they released Test Model for Immersive Video (TMIV). In current TMIV, the patches are packed into atlas in order of patch size. However, this simple patch packing method can reduce the coding efficiency in terms of 2D encoder. In this paper, we propose patch packing method which pack the patches into atlases by using the similarity of each patch for improving coding efficiency of 3DoF+ video. Experimental result shows that there is a 0.3% BD-rate savings on average over the anchor of TMIV.

• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.47 no.5
• /
• pp.45-55
• /
• 2010

Object-based audio coding technology has been interested with its expectation to apply in wide areas. Recently, ISO/IEC MPEG has standardized a parametric object audio coding method, the SAOC (Spatial Audio Object Coding). This paper introduces parametric object audio coding techniques with special focus on the MPEG SAOC and also describes several issues and solutions that should be considered for a success in its application.

• ETRI Journal
• /
• v.44 no.1
• /
• pp.24-37
• /
• 2022

Virtual view synthesis, which generates novel views similar to the characteristics of actually acquired images, is an essential technical component for delivering an immersive video with realistic binocular disparity and smooth motion parallax. This is typically achieved in sequence by warping the given images to the designated viewing position, blending warped images, and filling the remaining holes. When considering 6DoF use cases with huge motion, the warping method in patch unit is more preferable than other conventional methods running in pixel unit. Regarding the prior case, the quality of synthesized image is highly relevant to the means of blending. Based on such aspect, we proposed a novel blending architecture that exploits the similarity of the directions of rays and the distribution of depth values. By further employing the proposed method, results showed that more enhanced view was synthesized compared with the well-designed synthesizers used within moving picture expert group (MPEG-I). Moreover, we explained the GPU-based implementation synthesizing and rendering views in the level of real time by considering the applicability for immersive video service.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.06a
• /
• pp.182-184
• /
• 2019

최근 사용자에게 더욱 몰입감 있는 콘텐츠를 제공하기 위한 기술에 대한 관심이 증가하고 있으며 그 중 가장 대표적인 것이 360 VR 영상이라고 할 수 있다. 미디어 표준화 단체인 MPEG(Moving Picture Experts Group)에서는 MPEG-I(Immersive) 차세대 프로젝트 그룹을 이용하여 이러한 움직임에 대응하고 있다. MPEG-I는 2021년 말 6DoF VR 영상을 목표로 8개의 파트가 표준화를 진행중이다. 360 VR 영상의 경우 획득시 영상의 픽셀들이 3D 공간 상에 존재하게 되는데, 이를 처리 및 출력 하귀 위해서는 2D 영상으로 전환이 필요하며 이 때 사용되는 것이 Projection format이다. 현재 JVET(Joint Video Exploration Team)에서는 3D에서 2D로 전환이 이루어 질 때 손실을 최소화 하기 위한 Projection format들에 대한 연구가 이루어 지고 있다. 본 논문에서는 현재까지 제안된 다양한 Projection format들에 대하여 소개하고 이에 대한 성능 측정 방식에 대하여 소개한다.

• Broadcasting and Media Magazine
• /
• v.26 no.2
• /
• pp.46-55
• /
• 2021

최근 디바이스와 5G 통신의 비약적인 발전을 통해 가상/증강 현실 분야, 자율 주행 등 3차원 그래픽스 기술에 대한 연구가 활발하게 진행되고 있으며, 3차원 정보를 면밀하게 표현할 수 있는 포인트 클라우드와 다시점 초실감 콘텐츠가 주목받고 있다. 이와 같은 콘텐츠는 전통적인 2D 비디오 대비 많은 데이터를 사용하고 있기에, 효율적 사용을 위해서는 압축이 필수적으로 요구된다. 이에 따라 국제표준화기구인 ISO/IEC 산하 Moving Picture Expert Group(MPEG)에서는 고밀도 포인트 클라우드 및 초다시점 실감형 콘텐츠에 대한 압축 방안으로 V-PCC(Video based Point Cloud Compression) 및 MIV(MPEG Immersive Video) 기술을 표준화 중에 있으며, 또한, 압축된 데이터를 효율적으로 저장, 전송하기 위한 방안으로 Carriage of Visual Volumetric Video Coding(V3C) 표준화가 진행중에 있다. 본 고에서는 MPEG에서 진행중인 V3C 표준 기술에 대하여 살펴보고자 한다.

• Journal of Sensor Science and Technology
• /
• v.30 no.4
• /
• pp.204-209
• /
• 2021

Immersive multimedia comprising metadata for five senses can provide user experience by stimulating memory and sensation. In the case of olfactory-enhanced multimedia, a computer-generated smell is combined with additional media content to create a richer and/or more realistic experience for the user. Although several studies have been conducted on olfactory-enhanced multimedia using e-nose and olfactory display, their practical applications have been severely restricted owing to the absence of a related standard. This paper proposes a method to standardize odor metadata obtained from an e-nose system, which has been particularly used to acquire data from different coffee aromas. Subsequently, the data were transferred to an odor display applicable for olfactory-enhanced multimedia using the ISO/IEC 23005 (MPEG-V) data template.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.154-156
• /
• 2021

최근 3차원 영상이 다양한 분야에서 활용되고 있으며, 이에 따라 3차원 영상에 대한 압축과 전송 방안에 대한 연구가 활발히 진행되고 있다. 국제 표준화 기구인 ISO/IEC 산하 Moving Picture Expert Group(MPEG)에서는 기존의 2차원 비디오 코덱을 이용하여 고밀도 포인트 클라우드 압축하는 방안인 V-PCC와 3DoF+ 영상을 압축하기 위한 방안인 MPEG Immersive Video(MIV)를 표준화 중에 있다. V-PCC와 MIV는 압축 방법의 유사성으로 인해 동일한 Volumetric Visual Video-based Coding(V3C) 형식으로 저장된다. 압축된 V3C 데이터를 효과적으로 저장하여 이용하기 위해서는 ISO based Media File Format(ISOBMFF) 캡슐화 과정이 필수적이다. 본 논문에서는 MPEG의 Carriage of V3C data 표준에 따라 V3C 데이터를 ISOBMFF로 캡슐화 실험을 진행하였으며, 실험에 대한 검증을 위하여 생성된 ISOBMFF 데이터를 V3C 데이터로 복원한 뒤, 디코딩 하여 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.67-69
• /
• 2021

인공 지능, 사물 인터넷, 클라우드 컴퓨팅, 빅데이터, 모바일을 중심으로 시작된 4차 산업혁명은 최근 메타버스(Metaverse)시대로 자연스럽게 확장되어 가고 있다. 메타버스 시대의 핵심 기술인 VR(Virtual Reality)/AR(Augmented Reality)/MR(Mixed Reality)과 이를 디스플레이 하기 위한 HMD(Head Mounted Display)나 글래스(glass) 장치들은 사용자에게 고품질 영상뿐만 아니라 3차원 공간에 대한 6DoF(Degrees of Freedom)급의 자유도를 제공해야 한다. 이에 발맞춰 MPEG에서는 최근 실사 및 CG(Computer Graphics)로 제작된 다시점 텍스쳐 및 깊이 영상에 대한 효과적인 압축 방법을 찾기 위한 MIV(MPEG Immersive Video) 표준화를 진행중이다. 본 논문은 최신 2차원 압축 표준인 VVC(Verstitle Video Coding)를 기반으로 MPEG MIV 1.0 표준 프레임워크를 검증해본다. 특히 높은 압축율에 비해 복잡도가 높은 VVC 표준의 특성을 고려하여 HHI에서 개발한 최적화 코덱인 VVenC를 이용하여 압축 효율과 복잡도 관점에서 MIV 표준 활용을 위한 최적의 솔루션을 찾고자 한다.