• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.166-168
• /
• 2020

MPEG 비디오 그룹은 MPEG-I 표준의 일부로 포인트 클라우드(Point Cloud) 압축을 위한 비디오 기반 포인트 클라우드 부호화(V-PCC)와 몰입형(immersive) 비디오 압축을 위한 MPEG Immersive Video(MIV) 표준을 개발하고 있다. 최근에는 포인트 클라우드 및 몰입형 비디오와 같은 체적형(volumetric) 비디오를 모두 압축할 수 있도록 V-PCC 와 MIV 를 통합한 V3C(Visual Volumetric Video-based Coding) 표준화를 진행하고 있다. 본 논문에서는 V3C 코덱을 사용한 3DoF+(3 Degree of Freedom plus) 비디오 부호화 방안을 분석한다. 또한 V3C 코덱의 2D 코덱으로 기존 HEVC 대신 VVC 를 사용할 경우의 부호화 성능 향상을 분석한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.101-104
• /
• 2022

MPEG Immersive Video (MIV) 표준화 기술은 다시점 영상 부호화 시 비디오 코덱의 부담을 최소화하기 위해 각 시점 영상의 차분 정보만을 표현하는 처리 기술을 바탕으로 하고 있다. 본 논문에서는 시점 간 중복성 제거를 진행하는 과정인 프루닝(pruning) 과정에서 복잡도 절감을 위해 병렬처리에 용이하도록 구성되는 프루닝 클러스터 그래프에 대해 서술하고, 각 클러스터 그래프 별 구성 전략에 따른 성능 분석을 진행한다. 클러스터 그래프 내에서 중복성 제거를 진행하지 않고 완전한 정보를 보존하는 바탕 시점(basic view)의 개수가 적게 포함될수록 처리할 전체 픽셀 화소율(pixel rate)은 감소하지만, 복원 화질 역시 감소하며 프루닝 복잡도는 증가하는 경향을 보인다. 실험 결과를 통해 프루닝 클러스터 그래프 구성에 따른 트레이드오프를 탐색하고, 최적화된 그래프 구성 전략에 따라 몰입형 비디오의 효율적인 전송이 가능함을 보인다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.01a
• /
• pp.493-494
• /
• 2023

해상에서 운항되는 선박에서 인명사고가 발생하면 육상과 달리 적시에 의료지원을 받기 구조적으로 어렵다. 특히 연안선박의 경우 원양선에 비해 상대적으로 고령의 선원들이 승무하고 있기 때문에 인명사고가 빈번하며 인명사고에 취약하다. 본 연구는 AR과 VR과 같은 실감기술을 기반으로하는 연박선박의 원격의료지원 모델 개발하기 위한 방향성을 제시하고자 한다.

• Journal of Broadcast Engineering
• /
• v.25 no.2
• /
• pp.185-191
• /
• 2020

MPEG-I is actively working on standardization on the immersive video coding which provides up to 6 degree of freedom (6DoF) in terms of viewpoint. In a virtual space of 3DoF+, which is defined as an extension of 360 with motion parallax, looking at the scene from another viewpoint (another position in space) requires rendering an additional viewpoint using multiple videos included in the 3DoF+ video. In the MPEG-I Visual workgroup, efficient coding methods for 3DoF+ video are being studied, and they released Test Model for Immersive Video (TMIV) recently. This paper presents a patch packing method which packs the patches into atlases efficiently for improving coding efficiency of 3DoF+ video in TMIV. The proposed method improves the reconstructed view quality with reduced coding artifacts by introducing guardbands between patches in the atlas.

• Journal of Internet Computing and Services
• /
• v.22 no.2
• /
• pp.51-58
• /
• 2021

Three degrees of freedom plus(3DoF+) and six degrees of freedom(6DoF) system, which supports a user's movements in graphical and natural scene-based virtual reality, requires multiple high-quality and high-resolution videos to provide immersive media. Previous video quality assessment methods are not appropriate for the 3DoF+ and 6DoF system assessment because different types of artifacts occur in these systems which are not shown in the traditional video compression. This paper provides the performance assessments of several quality assessment methods in 3DoF+ system. Furthermore, this paper presents a super metric, which combines multiple quality assessment methods, thereby it showed a higher correlation coefficient with the subjective quality assessment than the previous methods. Experimental results on 3DoF+ immersive video showed 0.4513 gain on correlation coefficient with subjective quality assessment compared to that of peak signal-to-noise ratio(PSNR).

• Journal of Broadcast Engineering
• /
• v.27 no.3
• /
• pp.273-282
• /
• 2022

MPEG-VCM(Video Coding for Machine) aims to standardize video codec for machines. VCM provides data sets and anchors, which provide reference data for comparison, for several machine vision tasks including object detection, object segmentation, and object tracking. The evaluation template can be used to compare compression and machine vision task performance between anchor data and various proposed video codecs. However, performance comparison is carried out separately for each machine vision task, and information related to performance evaluation of multiple machine vision tasks on a single bitstream is not provided currently. In this paper, we propose a performance evaluation method of a video codec for AI-based multi-tasks. Based on bits per pixel (BPP), which is the measure of a single bitstream size, and mean average precision(mAP), which is the accuracy measure of each task, we define three criteria for multi-task performance evaluation such as arithmetic average, weighted average, and harmonic average, and to calculate the multi-tasks performance results based on the mAP values. In addition, as the dynamic range of mAP may very different from task to task, performance results for multi-tasks are calculated and evaluated based on the normalized mAP in order to prevent a problem that would be happened because of the dynamic range.

• Broadcasting and Media Magazine
• /
• v.22 no.4
• /
• pp.34-40
• /
• 2017

현재 멀티미디어는 사용자의 감성을 자극하며 몰입감과 현장감을 자아내고 극대화할 수 있는 실감 미디어(Immersive media)로 발전하고 있다. 이러한 실감 미디어 내 시청각 정보의 저장과 표현을 위한 데이터 템플릿과 인터페이스들은 상당히 많은 부분에서 표준화되어 왔지만, 이와 달리 후각, 미각, 촉각 등의 실감 정보들은 관련 표준들의 부재로 인해 많은 연구 개발에도 불구하고 해당 서비스들의 상용화가 지연되고 있는 중이다. 이 문제를 해결하기 위해 이 논문에서는 후각 미디어에 초점을 맞추어 MPEG-V 표준과 현재 진행 중인 MPEG-IoMT(Internet of Media Thing) 표준을 사용하여 미디어 사물 인터넷 내 후각 인터렉션을 위해 필요한 표준 데이터 템플릿과 인터페이스를 기술하였다.

• Journal of Broadcast Engineering
• /
• v.25 no.6
• /
• pp.954-964
• /
• 2020

In immersive media, the most important factor that provides immersion is depth information. Therefore, it is essential to obtain high quality depth information in order to produce high quality immersive media. In this paper we propose an algorithm to improve depth map, considering the segmentation of images and the relationship between multiple views in multi-view systems. The proposed algorithm uses a super-pixel segmentation technique to divide the depth map of the reference view into several segments, and project each segment into adjacent view. Subsequently, the depth map of the adjacent view is improved using plane estimation using the information of the projected segment, and then reversed to the reference view. This process is repeated for several adjacent views to improve the reference depth map by updating the values of the improved adjacent views and the initial depth map of the reference view. Through simulation, the proposed algorithm is shown to surpass the conventional algorithm subjectively and objectively.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.954-959
• /
• 2006

Virtual Reality simulation enables immersive 3D experience of a Virtual Environment. A simulation-based VE can be used to map real world phenomena into virtual experience. This research studies on the use of Newton's physics law to demonstrate the effects of forces upon object's falling movement, and their effects towards other fallible objects. A reconfigurable simulation enables users to reconfigure the parameters of the objects involved in the simulation, so that they can see different effects from the different configurations, such as force magnitude and distance between objects. This concept is suitable for a classroom learning of physics law. Preliminary implementation is done on a PC with a joystick for 4DOF movement. The graphics is implemented by SGI OpenGL Performer. A middleware called NAVERLib that consists of Performer's modules for easy XML-based configuration is used for management of visualization, network and devices connection, and where the engine of this domino simulation is attached.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2018.10a
• /
• pp.892-895
• /
• 2018

본 논문에서는 키넥트(kinect)의 인체 추적 기능을 사용하여 다중 레이어 기능을 제공하는 제스처 인식 기반 드로잉 시스템을 설계 구현하였다. 제안된 드로잉 시스템은 제스처를 통해 자유롭게 그림을 그릴 수 있는 시스템으로 그림을 그리는 붓의 굵기 선택, 지우개를 이용한 그림 지우기, 사물을 이용한 물감색 선택, 템플릿을 이용한 그림그리기 등을 수행하는 다양한 제스처가 정의 되어 있고, 제스처를 이용하여 화면에 자유롭게 그림을 그릴 수 있도록 함으로써 사용자의 몰입감과 흥미를 높일 수 있도록 설계 구현되었다. 제안 시스템은 원하는 템플릿을 이용하여 색칠하기를 수행하는 템플릿 기반 드로잉 레이어와 템플릿 없이 자유롭게 그림을 그리는 프리 드로잉 레이어를 지원함으로써 다양한 그림 그리기가 가능하도록 구현되었다.