• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.239-241
• /
• 2022

MIV(MPEG Immersive Video) 표준은 제한된 3D 공간의 다양한 위치의 뷰(view)들을 효율적으로 압축하여 사용자에게 임의의 위치 및 방향에 대한 6 자유도(6DoF)의 몰입감을 제공한다. MIV 의 참조 소프트웨어인 TMIV(Test Model for Immersive Video)에서는 몰입감을 제공하기 위한 여러 시점의 입력 뷰들 간의 중복 영역을 제거하고 남은 영역들을 패치(patch)로 만들어 패킹(packing)한 아틀라스(atlas)를 생성하고 이를 압축 전송한다. 아틀라스 영상은 일반적인 영상 달리 많은 불연속성을 포함하고 있으며 이는 부호화 효율을 크게 저하시키다 본 논문에서는 아틀라스 영상의 부호화 손실을 줄이기 위한 신경망 기반의 후처리 필터링 기법을 제시한다. 제안기법은 기존의 TMIV 와 비교하여 아틀라스의 복원 화질 향상을 보여준다.

• Electronics and Telecommunications Trends
• /
• v.37 no.3
• /
• pp.52-63
• /
• 2022

Immersive media, also known as spatial media, has become essential with the decrease in face-to-face activities in the COVID-19 pandemic era. Teleconference, metaverse, and digital twin have been developed with high expectations as immersive media services, and the demand for hyper-realistic media is increasing. Under these circumstances, MPEG-I Immersive Media is being standardized as a technologies of navigable virtual reality, which is expected to be launched in the first half of 2024, and the Audio Group is working to standardize the immersive audio technology. Following this trend, this article introduces the trend in MPEG-I immersive audio standardization. Further, it describes the features of the immersive audio rendering technology, focusing on the structure and function of the RM0 base technology, which was chosen after evaluating all the technologies proposed in the January 2022 "MPEG Audio Meeting."

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.253-256
• /
• 2022

실사 영상 기반의 메타버스 환경을 구축하기 위한 다수의 카메라를 통한 영상 취득 및 부호화, 전송 기술이 활발히 연구되고 있고, 이를 위해 영상 압축 표준화 단체인 moving picture experts group (MPEG) 에서는 MPEG immersive video (MIV) 표준을 개발하였다. 하지만, 현재 널리 사용되는 가상 현실 영상을 스트리밍 가능한 장비의 연산 능력으로는 MIV 기반 몰입형 영상을 스트리밍 시 복호기 동기화 문제가 발생할 수 있다. 따라서 본 논문은 저사양 및 고사양 장비에서 적응적으로 복호기 개수를 조절 가능한 geometry packing 기법을 MIV 의 참조 소프트웨어인 test model for immersive video (TMIV)에서 구현한다. 제안하는 패킹 기법은 지오메트리 영상을 패킹하여 텍스쳐 영상과 같은 높이를 가지도록 한 후 각각 단일 서브픽쳐 (subpicture) 로 부호화한다. 이후 부호화된 서브픽쳐들에 적응적으로 비트스트림 병합이 적용되어 장비의 복호기 사양에 대응한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.197-200
• /
• 2021

몰입형 고품질 가상 현실 영상 스트리밍을 위한 360도 영상 부호화 및 전송 기술 중 하나로 사용자 시점 기반 타일 스트리밍 기법이 활발히 연구되고 있다. 360도 영상은 용량이 크기 때문에 개별 타일 기반 스트리밍 방법을 사용해 사용자 시점만 보내는 것이 효율적이다. 본 논문은 시점 기반 가상 현실 영상 복호화 시스템을 위한 복호기 적응적 타일 클러스터링 알고리즘을 제안한다. 제안하는 방법은 클라이언트의 복호기가 최대로 복호화 가능한 해상도를 탐색한 후, 사용자 시점 데이터와 복호기 적응적 타일 클러스터링 알고리즘을 이용해 클러스터화할 복수 개의 사용자 시점 타일들의 목록을 생성한 후, 타일 병합기를 이용해 타일들을 병합하여 클러스터 비트스트림을 생성한다. 이후 클라이언트는 병합된 클러스터 비트스트림들을 복호화한 후 사용자 시점을 생성한다. 제안하는 방법을 이용하면 클라이언트의 복호기 환경에 제약받지 않는 복호화가 가능하며, 제안하는 방법 중 하나인 4K_clustering 방법의 경우 8%의 복호화 속도 개선 효과를 얻을 수 있어 몰입형 고품질 가상 현실 영상을 위한 실시간 타일 스트리밍이 가능하다.

• Journal of Broadcast Engineering
• /
• v.27 no.6
• /
• pp.861-871
• /
• 2022

The moving picture experts group (MPEG) developed the MPEG immersive video (MIV) standard for efficient compression of multiple immersive videos representing natural contents and computer graphics. The MIV compresses multiple immersive videos and generates multiple output videos which are defined as atlases. However, there is a synchronization issue of multiple decoders in a legacy device when decoding multiple encoded atlases. This paper proposes and implements the geometry packing method for adaptive control of decoder instances for low-end and high-end devices. The proposed method on the recent version of the MIV reference software worked correctly.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2019.07a
• /
• pp.445-446
• /
• 2019

본 논문에서는 단순히 필요한 정보를 얻기 위한 수준에 그쳤던 현대의 인공지능을 SER (Speech Emotion Recognition) 기술을 이용하여 사용자와 직접적으로 대화하는 형식으로 발전시키고자 한다. 사용자의 음성 언어에서 감정을 추출하여 인공지능 분야 및 챗봇과 대화함에 있어 좀더 효과적으로 해석할 수 있도록 도움을 준다. 이것을 대화형 시뮬레이션 게임에 접목시켜 단순한 선택형 대화 방식이 아닌 구어체로 대화하며 사용자에게 높은 몰입도를 줄 수 있다.

• The Journal of the Korea Contents Association
• /
• v.21 no.2
• /
• pp.474-488
• /
• 2021

The application of Augmented Reality(AR) technology is visible in medical procedures, education, marketing, and journalism. By experimenting, this study examines how the evaluation of the three elements of augmented reality news contents(visual image, storytelling, interactivity) affects immersion and information acquisition. Specifically, a 2 (video technology: AR vs. general) × 2 (news type: disaster vs. sports) between-subject design was examined. Results showed that the evaluation of all three elements was higher when viewing AR news than when viewing general news. The level of immersion was higher when viewing AR news, and the evaluation of storytelling and interactivity had positive effect on the level of immersion regardless of the news types. However, the evaluation of visual images did not affect the level of immersion. Information acquisition was higher after viewing AR news, yet the effect of the evaluation of the three elements on information acquisition had not been found. Implication and discussion of the study were added in the end.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2011.05a
• /
• pp.369-371
• /
• 2011

Since users can experience new type of experiment system using augmentation technology and its data visibility, it is a media that is suited to educational purpose application. This paper developed an augmentation-based experimentation that excludes risks and ehnances immersion in chemical experiment. This virtual chemistry experiment system utilizes users' hands to control 3D objects in experiment through interface that interacts virtual objects without markers that are the cause of losing immersion in existing augmentation system. To maximize immersion effect, we propose a virtual chemistry experiment system that enables collaborative work.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.11a
• /
• pp.141-142
• /
• 2018

360 비디오는 VR 미디어의 확산과 함께 몰입형 미디어로 주목 받고 있으며, JVET(Joint Video Experts Team)에서는 post-HEVC 로 진행중인 VVC(Versatile Video Coding) 표준화에 360 비디오 부호화도 함께 포함하고 있다. 현재 JVET 에서는 360 비디오를 부호화 하기 위한 다양한 구(sphere) 영상의 2D 투영기법이 고려되고 있다. 이러한 2D 투영에서는 구 영상의 화소 샘플이 2D 영상에 비 균일하게 매핑되는 변환 왜곡이 발생하며, 이는 360 비디오의 부호화 효율을 저하시키는 원인이 된다. 본 논문에서는 CMP 의 개선된 투영기법인 기존의 EAC(Equi-Angular Cubemap)와 HEC(Hybrid Equiangular Cubemap)를 소개하고, 이를 바탕으로 HEC 의 확장 변환 기법을 제시하여 객관적/주관적 부호화 성능을 확인한다.

• Electronics and Telecommunications Trends
• /
• v.28 no.6
• /
• pp.180-191
• /
• 2013

사용자에게 현장감, 사실감 및 몰입감을 극대화하기 위해 이미 저작된 실감미디어를 기존 인터넷 기반방송서비스 플랫폼을 활용하여 쉽게 체험형 서비스를 제공할 수 있는 다중미디어를 위한 실감 전송시스템에 대해 기술하고자 한다. 관련 기술로는 실감미디어 전송 미들웨어 기반 미디어게이트웨이 플랫폼. MPEG-V 국제 표준 규격을 준수하는 실감효과 재현 시스템 및 4D 극장, 체험관, 실감게임, 교육, 홈엔터테인먼트, 홈시어터, 스마트홈 등 다양한 분야에 활용 가능하다.