• Journal of Broadcast Engineering
• /
• v.22 no.5
• /
• pp.600-607
• /
• 2017

Virtual Reality (VR) has lately gained significant attention primarily driven by the recent market availability of consumer devices, such as mobile phone-based Head Mounted Displays (HMDs). Apart from classic gaming use cases, the delivery of $360^{\circ}$ video is considered as another major application and is expected to be ubiquitous in the near future. However, the delivery and decoding of high-resolution $360^{\circ}$ videos in desirable quality is a challenging task due to network limitations and constraints on available end device decoding and processing. In this paper, we focus on aspects of $360^{\circ}$ video streaming and provide an overview and discussion of possible solutions as well as considerations for future VR video streaming applications. This paper mainly focuses on the status of the standardization activities, Omnidirectional MediA Format (OMAF), to support interoperable $360^{\circ}$ video streaming services. More concretely, MPEG's ongoing work for OMA aims at harmonization of VR video platforms and applications. The paper also discusses the integration in MPEG Dynamic Adaptive Streaming over HTTP (MPEG-DASH), which is considered as $360^{\circ}$ video streaming services with OMAF content. In context of the general OMAF service architecture.

• Broadcasting and Media Magazine
• /
• v.23 no.4
• /
• pp.31-40
• /
• 2018

VR(Virtual Reality), AR(Augmented Reality) 컨텐츠의 획득과 소비가 가능한 사용자 디바이스들이 널리 보급되고 있는 가운데, MPEG(Moving Picture Experts Group)에서는 몰입형(immersive) 미디어의 압축과 포맷, 전송에 대한 표준 제정 작업이 활발히 진행 중이다. 본 논문에서는 몰입형 미디어 표준 프로젝트인 MPEG-I와 그 부속 표준의 하나이며 전 방향 미디어 포맷에 대한 표준인 OMAF 표준의 기술 전반과 표준 동향에 대해 소개하고자 한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2018.07a
• /
• pp.385-386
• /
• 2018

최근 실감형 미디어에 대한 관심이 증폭되고 있으며 제조, 교육, 의료, 국방 등에 분야에서 기존 산업과 융합하여 많은 연구가 진행되고 있으며 MPEG에서도 이러한 실감형 미디어 기술에 대한 자체적인 표준화가 진행 중에 있다. 하지만 실감형 미디어에 대한 제작기술과 디스플레이기술에 대한 이슈는 있으나 콘텐츠 보호에 대한 기술 연구는 활발하게 진행되지 않고 있다. 더구나 실감형 미디어가 최근 웹하드, 토렌트 등에서 불법 유출 되고 있어 이에 대응한 저작권기술연구가 필요하다. 본 논문은 MPEG 산하에서 표준화가 진행되는 실감형 미디어 지원 포맷인 OMAF 구조를 설명하고 이에 대한 기술적 특징을 활용하여 특징점으로 활용될 수 있는 이미지 영역에 대한 선택 방안을 제안한다.

• Journal of the Korea Society of Computer and Information
• /
• v.24 no.1
• /
• pp.85-92
• /
• 2019

In this paper, we propose a efficient feature point extraction method that can solve the problem of performance degradation by introducing a preprocessing process when extracting feature points by utilizing the characteristics of 360-degree realistic media. 360-degree realistic media is composed of images produced by two or more cameras and this image combining process is accomplished by extracting feature points at the edges of each image and combining them into one image if they cover the same area. In this production process, however, the stitching process where images are combined into one piece can lead to the distortion of non-seamlessness. Since the realistic media of 4K-class image has higher resolution than that of a general image, the feature point extraction and matching process takes much more time than general media cases.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2020.07a
• /
• pp.433-435
• /
• 2020

본 논문에서 저작권 보호 기술 적용을 위해 실감형 360도 영상의 강인성 정보를 이용하여 UCI 운영을 위한 응용 메타데이터 요소를 제안한다. 오늘날 멀티미디어 콘텐츠의 산업의 규모가 비약적으로 커지고 있음에 따라 이를 효과적으로 관리 및 유통할 수 있는 콘텐츠 고유의 식별체계가 요구되고 있다. 현재 국내에서 운용 중인 대표 식별자는 정통부가 개발한 UCI가 활용되고 있다. UCI는 다양한 멀티미디어 콘텐츠를 효과적으로 관리 및 유통할 수 있으나 저작권 보호 기술에 직접적으로 연관이 되어 있지 않아 이를 보완할 수 있는 기술이 요구된다. 본 논문에서는 UCI와 직접으로 연동할 수 있는 실감형 360도 동영상 응용 메타데이터 요소 및 운영 방법을 제안하여 저작권 보호 기술을 적용할 수 있도록 한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2020.07a
• /
• pp.437-438
• /
• 2020

국내 실감형 콘텐츠 시장은 전년도비 42.9%의 연평균 성장률을 보이며 2020년에는 약 5조 7,271억원의 규모에 이를 것으로 전망된다. 특히 2018년 기점으로 하드웨어보다는 콘텐츠 시장이 확대되었다. 최근 실감형 콘텐츠의 유통이 본격적으로 시작됨에 따라 저작권 침해 사례들이 나타나고 있으나 시장의 저변확대 측면에서 그렇게 주목받지 못하고 있다. 실감형 저작물을 제작하는 업체가 주로 소기업이고, 제작하는 비용이 고비용인 점을 고려할 때 저작권 보호 기술인 필터링 기술이 절대적으로 요구되고 있다. 필터링 기술의 성능 평가할 기준인 강인성 지표가 미정립 된 상태이다. 따라서 본 논문에서는 특정 기술에 종속되지 않는 실감형 360도 영상 콘텐츠 강인성 지표를 제안한다.

• Journal of IKEEE
• /
• v.24 no.2
• /
• pp.419-425
• /
• 2020

The market size of immersive 360-degree video contents, which are noted as one of the main technology of the fourth industry, increases every year. However, since most of the images are distributed through illegal distribution networks such as Torrent after the DRM gets lifted, the damage caused by illegal copying is also increasing. Although filtering technology is used as a technology to respond to these issues in 2D videos, most of those filtering technology has issues in that it has to overcome the technical limitation such as huge feature-point data volume and the related processing capacity due to ultra high resolution such as 4K UHD or higher in order to apply the existing technology to immersive 360° videos. To solve these problems, this paper proposes a feature-point recognition ratio improvement method for immersive 360-degree videos using deep learning technology.

• Journal of IKEEE
• /
• v.24 no.2
• /
• pp.529-535
• /
• 2020

As the main technology of the 4th industrial revolution, immersive 360-degree video contents are drawing attention. The market size of immersive 360-degree video contents worldwide is projected to increase from $6.7 billion in 2018 to approximately $70 billion in 2020. However, most of the immersive 360-degree video contents are distributed through illegal distribution networks such as Webhard and Torrent, and the damage caused by illegal reproduction is increasing. Existing 2D video industry uses copyright filtering technology to prevent such illegal distribution. The technical difficulties dealing with immersive 360-degree videos arise in that they require ultra-high quality pictures and have the characteristics containing images captured by two or more cameras merged in one image, which results in the creation of distortion regions. There are also technical limitations such as an increase in the amount of feature point data due to the ultra-high definition and the processing speed requirement. These consideration makes it difficult to use the same 2D filtering technology for 360-degree videos. To solve this problem, this paper suggests a feature point extraction and identification technique that select object identification areas excluding regions with severe distortion, recognize objects using deep learning technology in the identification areas, extract feature points using the identified object information. Compared with the previously proposed method of extracting feature points using stitching area for immersive contents, the proposed technique shows excellent performance gain.