• ETRI Journal
• /
• 제44권1호
• /
• pp.73-84
• /
• 2022

The moving picture experts group (MPEG) immersive video (MIV) technology has been actively developed and standardized to efficiently deliver immersive video to viewers in order for them to experience immersion and realism in various realistic and virtual environments. Such services are provided by MIV technology, which uses multiview videos as input. The pruning process, which is an important component of MIV technology, reduces interview redundancy in multiviews videos. The primary aim of the pruning process is to reduce the amount of data that available video codec must handle. In this study, two approaches are presented to improve the existing pruning algorithm. The first method determines the order in which images are pruned. The amount of overlapping region between the source views is then used to determine the pruning order. The second method considers global region-wise color similarity to minimize matching ambiguity when determining the pruning area. The proposed methods are evaluated under common test condition of MIV, and the results show that incorporating the proposed methods can improve both objective and subjective quality.

• 전자통신동향분석
• /
• 제37권3호
• /
• pp.52-63
• /
• 2022

Immersive media, also known as spatial media, has become essential with the decrease in face-to-face activities in the COVID-19 pandemic era. Teleconference, metaverse, and digital twin have been developed with high expectations as immersive media services, and the demand for hyper-realistic media is increasing. Under these circumstances, MPEG-I Immersive Media is being standardized as a technologies of navigable virtual reality, which is expected to be launched in the first half of 2024, and the Audio Group is working to standardize the immersive audio technology. Following this trend, this article introduces the trend in MPEG-I immersive audio standardization. Further, it describes the features of the immersive audio rendering technology, focusing on the structure and function of the RM0 base technology, which was chosen after evaluating all the technologies proposed in the January 2022 "MPEG Audio Meeting."

• Journal of Multimedia Information System
• /
• 제8권4호
• /
• pp.277-284
• /
• 2021

Despite skepticism about commercial potential, the stereoscopic 3D cinema is still a form that any filmmaker can choose to employ for its aesthetics and its immersive potential. Based on a haptic illusion, the stereoscopic media content requires a new perspective different from the principle of 2D media content in terms of creation and acceptance. This paper examines the technical and aesthetic issues of stereoscopic 3D film production from the perspective of today's emerging realistic and immersive media through a case study. One of the key factors for successful content creation and research and development in stereoscopic 3D cinema is the combination of artistic principles together with technical mastering of the new image technology. The purpose of this paper is to outline the principal challenges and research topics in stereoscopic 3D cinema through a case study of stereoscopic 3D pilot film production for the 'User-Selective UHD Stereoscopic Media Service Platform' of the ETRI (Electronics and Telecommunications Research Institute). This paper intends to examine stereoscopic 3D filmmaking workflow and production methodologies, as well as technical elements and aesthetic issues.

• Journal of the Optical Society of Korea
• /
• 제18권1호
• /
• pp.32-36
• /
• 2014

A tangible floating display that can provide different perspective views without special glasses being introduced. The proposed system can display perspective floating images in the space in front of the system with the help of concave mirrors. In order to avoid wearing special equipment to interact and deliver the sense of touch, the proposed system adopted an ultrasound focusing technology. For providing an immersive experience to the viewers, the proposed system consists of a tangible floating display system and a multiple-view imaging system for generating three lenticular displays in front of the users.

• 디지털융복합연구
• /
• 제19권12호
• /
• pp.435-441
• /
• 2021

최근 디지털미디어 기술의 발전으로 관객에게 실감 나고 사실적인 전시 체험을 제공하는 몰입형 체험전시들이 늘어나고 있다. 본 연구에서는 이러한 몰입형 체험전시들의 대표사례들을 전시연출 요소를 중심으로 분석하고, 몰입형 체험전시 연출 및 기획에 게임기획 요소를 적용하여 개최 및 운영한 '히어로의 모험' (이하 히어로의 모험) 전시 사례를 소개하였다. 본 전시는 도전, 목표, 갈등, 규칙, 승패와 같은 게임기획 요소를 적용하여, 캐릭터의 갈등구조 설정 및 악당 캐릭터를 물리치는 도전과 목표를 제시하고, 승패를 가루는 전시 게임들을 제공하여, 최종 보스까지 물리치도록 전시를 디자인했다. 연구를 통해 관객의 전시 만족을 위해 게임 요소 적용이 더 효과적이다 보기는 어렵지만, 관객의 콘텐츠 소비 시간을 늘리고 재방문을 높이기 위해서는 게임기획 요소 적용을 고려하는 것을 제언하는 바이다.

• 방송공학회논문지
• /
• 제25권5호
• /
• pp.723-733
• /
• 2020

본 고에서는 현재 탐색단계의 표준화가 진행 중인 MPEG-I Immersive Audio 표준화 동향을 소개한다. 이 표준은 5G/6G와 같은 초연결 환경에서 킬러 어플리케이션으로 기대되는 가상현실(Virtual Reality; VR) 및 증강현실(Augmemted Reality; AR)에서, 이용자가 가상환경과 상호작용을 통해 6 자유도(Degrees of freedom; DoF)로 소리를 실감나게 느끼고 실제 환경에서 경험하는 것과 같은 공간음향 체험을 제공하는 것을 목표로 한다. 이를 위하여, MPEG Audio Working Group에서는 가상현실 및 증강현실에서 공간음향 체험을 위한 시스템 구조 및 요구사항을 정의하였다. 이를 기반으로 요구사항에 대한 제안 기술 선정을 위한 오디오 평가 플랫폼(Audio evaluation platform; AEP), 인코더 입력 포맷(Encoder input format; EIF) 및 평가 절차 등에 대한 논의를 진행하고 있으며, 본 고에서는 그 주요 내용을 요약 기술한다.

• ETRI Journal
• /
• 제44권1호
• /
• pp.24-37
• /
• 2022

Virtual view synthesis, which generates novel views similar to the characteristics of actually acquired images, is an essential technical component for delivering an immersive video with realistic binocular disparity and smooth motion parallax. This is typically achieved in sequence by warping the given images to the designated viewing position, blending warped images, and filling the remaining holes. When considering 6DoF use cases with huge motion, the warping method in patch unit is more preferable than other conventional methods running in pixel unit. Regarding the prior case, the quality of synthesized image is highly relevant to the means of blending. Based on such aspect, we proposed a novel blending architecture that exploits the similarity of the directions of rays and the distribution of depth values. By further employing the proposed method, results showed that more enhanced view was synthesized compared with the well-designed synthesizers used within moving picture expert group (MPEG-I). Moreover, we explained the GPU-based implementation synthesizing and rendering views in the level of real time by considering the applicability for immersive video service.

• 전자통신동향분석
• /
• 제32권5호
• /
• pp.1-9
• /
• 2017

This study focuses on the ongoing immersive Giga Media service platform technology developed by the Electronics and Telecommunications Research Institute(ETRI) for various projects of the Giga KOREA Foundation[1] to achieve a smart ICT environment including wireless-based Giga service by 2020. This technology enables an immersive realistic Tele-Experience service that supports immersive real-world interaction as if sharing one's surroundings in a particular location through a high-speed network among remote users. It is expected to contribute greatly to the activation of smart ICT.

• ETRI Journal
• /
• 제44권1호
• /
• pp.7-9
• /
• 2022

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제9권3호
• /
• pp.109-122
• /
• 2020

최근 실감 미디어 콘텐츠에서 높은 관심을 모으고 있는 프로젝션 맵핑은 사용자의 몰입감을 높이는 기술로 손꼽히고 있다. 최근 관객의 참여를 유도하기 위하여 제스처 인식 기술과 결합된 프로젝션 맵핑 콘텐츠들이 선보이고 있다. 그러나 대부분의 기존 방법들은 정적인 물체를 대상으로 프로젝션 맵핑을 수행하고 있다. 이에 본 논문에서는 사용자의 움직임을 추적하여 사용자의 신체상에 미디어 콘텐츠를 동적으로 프로젝션 맵핑시키는 기술을 개발하였다. 프로젝션 되는 미디어 콘텐츠는 미리 정의된 사용자의 제스처를 인식하여 사용자가 맨손으로 제작할 수 있도록 하였다. 이러한 동적 프로젝션 맵핑 기술과 제스처 기반 드로잉 기술을 통합하여 인터랙티브한 실감미디어 시스템을 구현하였다. 제안된 실감 미디어 시스템에서는 사용자의 양손의 움직임과 개폐 상태를 인식하여 그림을 그리는데 필요한 기능을 선택하고, 임의의 물체 색상을 붓의 색으로 설정하는 등의 기능을 통해 자유롭게 그림을 그릴 수 있게 해준다. 또한 사용자가 그린 그림을 사용자의 몸에 동적으로 투사해 사용자가 실시간으로 자신의 티셔츠를 디자인하고 이를 착용해 보는 효과를 가질 수 있도록 하였다.