• Journal of Distribution Science
• /
• v.20 no.11
• /
• pp.121-129
• /
• 2022

Purpose: Artificial intelligence is widely used, particularly in the popular neural network theory called Deep learning. The improvement of computing speed and capability expedited the progress of Deep learning applications. The application of Deep learning in education has various effects and possibilities in creating and managing educational content and services that can replace human cognitive activity. Among Deep learning, Deep fake technology is used to combine and synchronize human faces with voices. This paper will show how to develop e-Learning content videos using those technologies and open-source tools. Research design, data, and methodology: This paper proposes 4 step development process, which is presented step by step on the Google Collab environment with source codes. This technology can produce various video styles. The advantage of this technology is that the characters of the video can be extended to any historical figures, celebrities, or even movie heroes producing immersive videos. Results: Prototypes for each case are also designed, developed, presented, and shared on YouTube for each specific case development. Conclusions: The method and process of creating e-learning video contents from the image, video, and audio files using Deep fake open-source technology was successfully implemented.

• Journal of Broadcast Engineering
• /
• v.24 no.5
• /
• pp.743-754
• /
• 2019

System for three degrees of freedom plus (3DoF+) and 6DoF requires multi-view high resolution 360 video transmission to provide user viewport adaptive 360 video streaming. In this paper, we implement 3DoF+ 360 video compression system which removes the redundancy between multi-view videos and merges the residual into one video to provide high quality 360 video corresponding to an user's head movement efficiently. Implementations about 3D warping based redundancy removal method between 3DoF+ 360 videos and residual extraction and merger are explained in this paper. With the proposed system, 20.14% of BD-rate reduction in maximum is shown compared to traditional high-efficiency video coding (HEVC) based system.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.40 no.7
• /
• pp.1405-1412
• /
• 2015

Recently, Due to the rapid growth of broadcasting communication and video coding technologies, the demands for immersive media contents based on 3D stereoscopic video will increase steadily. And the demands must ultimately provide the contents for users which are in wireless channel such as vehicle, train, and ship. Thus, in this paper, we transmit the 3D stereoscopic video over the maritime Rician channel that direct wave is more dominant than reflective wave. Besides, we present unequel error protection (UEP) by applying hierarchical 4/16-QAM to V+D(Video plus Depth) format which can represent 3D stereoscopic video. We expect our system to provide seamless broadcasting service for users with poor reception condition.

• Journal of Broadcast Engineering
• /
• v.23 no.6
• /
• pp.876-885
• /
• 2018

Although e-sports broadcasting market based on VR(Virtual Reality) is growing in these days, technology development for securing market competitiveness is quite inadequate in Korea. Global companies such as SLIVER and Facebook already developed and are trying to commercialize 360 VR broadcasting technology which is able to broadcast e-sports in 4K 30FPS VR video. However, 2D video is too poor to use for 360 VR video in that it brings less immersive experience and dizziness and has low resolution in the scene. this paper, we not only proposed and implemented virtual camera technology which is able to capture in-game space as 360 video with 4K 3D by 60FPS for e-sports VR broadcasting but also verified feasibleness of obtaining stereo 360 video up to 4K/60FPS by conducting experiment after setting up virtual camera in sample games from game engine and commercial games.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• v.5 no.2
• /
• pp.390-407
• /
• 2011

Three-dimensional (3D) video technologies are becoming increasingly popular, as it can provide users with high quality and immersive experiences. However, color inconsistency between the camera views is an urgent problem to be solved in multi-view imaging. In this paper, a perception-based color correction method for multi-view images is proposed. In the proposed method, human visual sensitivity (VS) and visual attention (VA) models are incorporated into the correction process. Firstly, the VS property is used to reduce the computational complexity by removing these visual insensitive regions. Secondly, the VA property is used to improve the perceptual quality of local VA regions by performing VA-dependent color correction. Experimental results show that compared with other color correction methods, the proposed method can greatly promote the perceptual quality of local VA regions greatly and reduce the computational complexity, and obtain higher coding performance.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.06a
• /
• pp.182-184
• /
• 2019

최근 사용자에게 더욱 몰입감 있는 콘텐츠를 제공하기 위한 기술에 대한 관심이 증가하고 있으며 그 중 가장 대표적인 것이 360 VR 영상이라고 할 수 있다. 미디어 표준화 단체인 MPEG(Moving Picture Experts Group)에서는 MPEG-I(Immersive) 차세대 프로젝트 그룹을 이용하여 이러한 움직임에 대응하고 있다. MPEG-I는 2021년 말 6DoF VR 영상을 목표로 8개의 파트가 표준화를 진행중이다. 360 VR 영상의 경우 획득시 영상의 픽셀들이 3D 공간 상에 존재하게 되는데, 이를 처리 및 출력 하귀 위해서는 2D 영상으로 전환이 필요하며 이 때 사용되는 것이 Projection format이다. 현재 JVET(Joint Video Exploration Team)에서는 3D에서 2D로 전환이 이루어 질 때 손실을 최소화 하기 위한 Projection format들에 대한 연구가 이루어 지고 있다. 본 논문에서는 현재까지 제안된 다양한 Projection format들에 대하여 소개하고 이에 대한 성능 측정 방식에 대하여 소개한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.06a
• /
• pp.140-143
• /
• 2019

본 논문에서는 사용자 시점에 대응하는 고화질 360 비디오 제공을 위해 다시점 360 비디오 중복성 제거기법을 적용하고 잔여 비디오를 하나의 영상으로 병합하여 압축 후 전송하는 시스템을 구현한다. 사용자 움직임 적응적 360 비디오 스트리밍을 지원하는 three degrees of freedom plus (3DoF+)를 위한 시스템은 다시점에서 촬영된 다수의 고화질 360 비디오 전송을 요구한다. 이에 대한 방안으로 다시점 비디오 간 중복성 제거를 위한 3D warping 을 기반으로 하는 뷰 간 중복성 제거 기술과 비디오 복원에 필요한 타일들만 추출 및 병합해주는 잔여 뷰 병합 기술에 대한 구현 내용을 설명한다. 제안된 시스템을 기반으로 다시점 360 비디오 전송을 수행하면, 기존 high-efficiency video coding (HEVC)을 사용하여 전송했을 때 대비 최대 20.14%의 BD-rate 감소가 가능함을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.46-48
• /
• 2020

HEVC (High Efficiency Video Coding)의 In-Loop 필터 중 하나인 디블로킹 필터는 예측과 변환 블록 주변의 균일하지 않은 잡음을 제거하기 위해 사용된다. 영상을 복원할 때 텍스쳐 정보의 경우, 디블로킹 필터로 눈에 보이는 잡음을 제거하는 데 유리하지만 깊이 정보는 깊이를 예측하여 합성하는 데 사용되므로 디블로킹 필터를 적용하면 합성에 방해가 될 수 있다. 이에 본 논문은 TMIV (Test Model 6 for MPEG Immersive Video) 인코더를 거쳐 나온 기본 시점과 추가 시점의 텍스쳐와 깊이 영상에 디블로킹 필터를 적용하여 BD-Rate의 향상 정도와 인지 화질적 관점에서의 화질 개선 여부를 실험을 통해 검증한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.49-52
• /
• 2020

MPEG-I(Immersive) 그룹에서는 몰입형 미디어 영상처리 표준화의 일환으로 마이크로렌즈를 통한 다시점 영상 처리 기술인 Dense Light Field에 대한 성능 탐색을 진행하고 있다. 본 논문에서는 MPEG-I에서 정의된 라이트 필드 시퀀스에 대해 versatile video codec(VVC)에 대한 압축 성능 분석을 시행하였으며, 또한 렌즈렛(Lenslet) 형태의 특정적인 이미지 정보를 효율적으로 압축하기 위한 스크린 콘텐츠 코딩 툴의 효율 비교를 진행하였다. 또한 렌즈렛 영상에서의 화면 내 블록 카피(intra block copy) 기법이 선택되는 비율을 확인하고, 화면 내 블록 카피 기법을 통해 렌즈렛 영상이 효율적으로 압축될 수 있음을 보였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.154-156
• /
• 2021

최근 3차원 영상이 다양한 분야에서 활용되고 있으며, 이에 따라 3차원 영상에 대한 압축과 전송 방안에 대한 연구가 활발히 진행되고 있다. 국제 표준화 기구인 ISO/IEC 산하 Moving Picture Expert Group(MPEG)에서는 기존의 2차원 비디오 코덱을 이용하여 고밀도 포인트 클라우드 압축하는 방안인 V-PCC와 3DoF+ 영상을 압축하기 위한 방안인 MPEG Immersive Video(MIV)를 표준화 중에 있다. V-PCC와 MIV는 압축 방법의 유사성으로 인해 동일한 Volumetric Visual Video-based Coding(V3C) 형식으로 저장된다. 압축된 V3C 데이터를 효과적으로 저장하여 이용하기 위해서는 ISO based Media File Format(ISOBMFF) 캡슐화 과정이 필수적이다. 본 논문에서는 MPEG의 Carriage of V3C data 표준에 따라 V3C 데이터를 ISOBMFF로 캡슐화 실험을 진행하였으며, 실험에 대한 검증을 위하여 생성된 ISOBMFF 데이터를 V3C 데이터로 복원한 뒤, 디코딩 하여 확인하였다.