• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.49-52
• /
• 2020

MPEG-I(Immersive) 그룹에서는 몰입형 미디어 영상처리 표준화의 일환으로 마이크로렌즈를 통한 다시점 영상 처리 기술인 Dense Light Field에 대한 성능 탐색을 진행하고 있다. 본 논문에서는 MPEG-I에서 정의된 라이트 필드 시퀀스에 대해 versatile video codec(VVC)에 대한 압축 성능 분석을 시행하였으며, 또한 렌즈렛(Lenslet) 형태의 특정적인 이미지 정보를 효율적으로 압축하기 위한 스크린 콘텐츠 코딩 툴의 효율 비교를 진행하였다. 또한 렌즈렛 영상에서의 화면 내 블록 카피(intra block copy) 기법이 선택되는 비율을 확인하고, 화면 내 블록 카피 기법을 통해 렌즈렛 영상이 효율적으로 압축될 수 있음을 보였다.

• Journal of Broadcast Engineering
• /
• v.24 no.7
• /
• pp.1209-1220
• /
• 2019

The demand for virtual reality (VR) is rapidly increasing. Providing the immersive experience requires much operation and many data to transmit. For example, a 360-degree video (360 video) with at least 4K resolution is needed to offer an immersive experience to users. Moreover, the MPEG-I group defined three degrees of freedom plus (3DoF+), and it requires the transmission of multiview 360 videos simultaneoulsy. This could be a burden for the VR streaming system. Accordingly, in this work, a bitrate-saving method using projection conversion is introduced, along with experimental results for streaming 3DoF+ 360 video. The results show that projection conversion of 360 video with 360lib shows a Bjontegaard delta bitrate gain of as much as 11.4%.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.305-307
• /
• 2020

이머시브 비디오 서비스를 위해 MPEG-I Visual 그룹에서는 3DoF+ 기술과 관련하여 MIV(Metadata for Immersive video)의 표준화를 진행하고 있으며, 이를 위해 다시점 영상 및 전방위 장면을 촬영한 ERP 규격의 영상들이 주어진 경우에 운동시차를 제공할 수 있는 영상 합성 레퍼런스 소프트웨어인 TMIV SW를 제공한다. TMIV는 기본적으로 송신부인 인코더와 수신부인 디코더로 구성이 되어있으며, 인코더에서 가장 중요한 기능은 다수의 입력 시점영상 간의 중복된 데이터를 찾아내서 제거하는 프루닝 과정이다. 프루닝 방법에 따라 데이터 전송량과 디코더에서의 합성 품질이 달라지기 때문에 인코더에서 핵심이라고 할 수 있다. 본 논문은 인코더의 프루닝의 효율을 높이기 위해 전체 흐름도에서 프루닝 순서 변경 과정을 추가하고 그 과정에서 시점 영상간 중첩 영역을 계산하여 이를 토대로 프루닝 순서를 결정하는 방법을 제안하였고 이를 통해 데이터 압축률이 향상됨을 확인할 수 있었고, 또한 수신부에서 영상 합성의 품질이 달라짐을 확인할 수 있었다.

• Journal of Broadcast Engineering
• /
• v.27 no.3
• /
• pp.273-282
• /
• 2022

MPEG-VCM(Video Coding for Machine) aims to standardize video codec for machines. VCM provides data sets and anchors, which provide reference data for comparison, for several machine vision tasks including object detection, object segmentation, and object tracking. The evaluation template can be used to compare compression and machine vision task performance between anchor data and various proposed video codecs. However, performance comparison is carried out separately for each machine vision task, and information related to performance evaluation of multiple machine vision tasks on a single bitstream is not provided currently. In this paper, we propose a performance evaluation method of a video codec for AI-based multi-tasks. Based on bits per pixel (BPP), which is the measure of a single bitstream size, and mean average precision(mAP), which is the accuracy measure of each task, we define three criteria for multi-task performance evaluation such as arithmetic average, weighted average, and harmonic average, and to calculate the multi-tasks performance results based on the mAP values. In addition, as the dynamic range of mAP may very different from task to task, performance results for multi-tasks are calculated and evaluated based on the normalized mAP in order to prevent a problem that would be happened because of the dynamic range.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.42 no.2
• /
• pp.432-443
• /
• 2017

The primary goal of the MPEG-H 3D Audio standard is to provide immersive audio environments for high-resolution broadcasting services such as UHDTV. This standard incorporates a wide range of technologies such as encoding/decoding technology for multi-channel/object/scene-based signal, rendering technology for providing 3D audio in various playback environments, and post-processing technology. The reference software decoder of this standard is a structure combining several modules and can operate in various modes. Each module is composed of independent executable files and executed sequentially, real time decoding is impossible. In this paper, we make DLL library of the core decoder, format converter, object renderer, and binaural renderer of the standard and integrate them to enable frame-based decoding. In addition, by measuring the computation complexity of each mode of the MPEG-H 3D-Audio decoder, this paper also provides a reference for selecting the appropriate decoding mode for various hardware platforms. As a result of the computational complexity measurement, the low complexity profiles included in Korean broadcasting standard has a computation complexity of 2.8 times to 12.4 times that of the QMF synthesis operation in case of rendering as a channel signals, and it has a computation complexity of 4.1 times to 15.3 times of the QMF synthesis operation in case of rendering as a binaural signals.

• ETRI Journal
• /
• v.38 no.5
• /
• pp.838-846
• /
• 2016

The objective of digital broadcasting has evolved from providing a plain video service to offering a realistic visual experience. Technologies such as 3DTV and UHDTV have been suggested to achieve this new objective by providing an immersive and stereoscopic visual experience. However, owing to the high bandwidth requirements of such services, the broadcasting industry has faced a challenge to find a new transport mechanism for overcoming the bandwidth limitation. The standardization organizations, the Advanced Television Systems Committee, Digital Video Broadcasting, and Telecommunications Technology Association, have been working on the integration of broadcasting and a broadband network (IP) to resolve the bandwidth issue of realistic video services. This paper introduces a frame-level timeline synchronization and transport system target decoder model for providing a stable 3DTV service over a hybrid network. The experimental results indicate that the proposed technologies can be successfully adopted as a reference model in a broadcast-broadband hybrid 3DTV service and other IP-associated hybrid broadcasting services.

• Journal of Digital Contents Society
• /
• v.15 no.5
• /
• pp.587-594
• /
• 2014

Owing to supply of smart phones and the diffusion of SNS, the number of peoples who are living, linked with us, is incomparably more than in the past. The continuous communication is essential in maintaining good relationship, so peoples have no choice but to seek for most efficient communication method in order to maintain good relationship. This thesis intended to advise how to construct next generation immersive multi-media system, using augmented reality and MPEG-V that have come to the fore recently. In addition, the SNS platform service of new type was suggested in this thesis, in connection with the pairing service. Now, we can create a town in a specific space like the real world, if we utilize the augmented reality that became possible by SNS service and we can talk and exchange informations in that space. This system would provide various services peoples wish to have, interlocking experiences through five senses like sense of vision, sense of hearing, sense of touch and etc..

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.11a
• /
• pp.256-258
• /
• 2019

최근 MPEG-Immersive 표준화 그룹에서는 여러 위치에 존재하는 다수의 360 영상을 취득하고 처리하여 사용자에게 제한적인 화면 전환 이동에 따른 운동 시차(motion parallex)를 제공하는 3 degrees of freedom plus (3DoF+) 기술에 관한 표준화가 진행되고 있다. 이러한 3DoF+ 표준화 기술에서의 압축은 기존의 HEVC 코덱을 사용하나, 현재 존재하는 360 영상 사용자 시점 기반 스트리밍 기법을 3DoF+ 스트리밍에 적용하기 위해서는 기존의 360 영상과 다르게 영상 서로 간의 참조과정으로 인한 의존성으로 문제가 존재한다. 본 논문에서는 해당 문제점을 서술하고, MCTS(Motion-Constrained Tile Set)를 사용하여 보다 적은 디코더와 사용자 시점에 맞게 효율적으로 영상을 전송할 수 있는 MCTS 기반 타일 그룹 분할 방법을 제안한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.22-25
• /
• 2022

본 논문에서는 인공적인 가상 환경에서 사실적인 충격응답을 제공할 수 있는 방법을 모색하기 위한 첫 단계로서 실제 청취 공간에서 충격응답을 획득하고 장애물이 존재할 때 그 충격응답이 어떻게 변화하는지 살펴보기 위하여 충격응답 변화 실측에 대한 실험 결과를 제시한다. 실험은 일상적인 공간으로서 한국전자통신연구원의 회의실과 휴게실에서 수행하였으며, 실험 결과 장애물의 존재에 따라 그리고 청취 위치에 따라 주파수 영역에서 차이점이 발생하는 것을 확인할 수 있었다. 향후 흡음률 등 장애물에 대한 물리적 정보를 조사, 분석하고 보다 더 다양한 공간과 위치에서 장애물에 대한 충격응답의 변화로부터, MPEG-I Immersive Audio 등의 애플리케이션에서 사실적인 공간감을 제공하기 위한 인공적인 충격응답을 가공 방법을 제안할 수 있을 것으로 기대한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.46-48
• /
• 2020

HEVC (High Efficiency Video Coding)의 In-Loop 필터 중 하나인 디블로킹 필터는 예측과 변환 블록 주변의 균일하지 않은 잡음을 제거하기 위해 사용된다. 영상을 복원할 때 텍스쳐 정보의 경우, 디블로킹 필터로 눈에 보이는 잡음을 제거하는 데 유리하지만 깊이 정보는 깊이를 예측하여 합성하는 데 사용되므로 디블로킹 필터를 적용하면 합성에 방해가 될 수 있다. 이에 본 논문은 TMIV (Test Model 6 for MPEG Immersive Video) 인코더를 거쳐 나온 기본 시점과 추가 시점의 텍스쳐와 깊이 영상에 디블로킹 필터를 적용하여 BD-Rate의 향상 정도와 인지 화질적 관점에서의 화질 개선 여부를 실험을 통해 검증한다.