• Title/Summary/Keyword: immersive video

Search Result 130, Processing Time 0.023 seconds

Reinforcement Learning based Inactive Region Padding Method (강화학습 기반 비활성 영역 패딩 기술)

  • Kim, Dongsin;Uddin, Kutub;Oh, Byung Tae
    • Journal of Broadcast Engineering
    • /
    • v.26 no.5
    • /
    • pp.599-607
    • /
    • 2021
  • Inactive region means a region filled with invalid pixel values to represent a specific image. Generally, inactive regions are occurred when the non-rectangular formatted images are converted to the rectangular shaped image, especially when 3D images are represented in 2D format. Because these inactive regions highly degrade the compression efficiency, filtering approaches are often applied to the boundaries between active and inactive regions. However, the image characteristics are not carefully considered during filtering. In the proposed method, inactive regions are padded through reinforcement learning that can consider the compression process and the image characteristics. Experimental results show that the proposed method performs an average of 3.4% better than the conventional padding method.

A Study on Immersive 360-degree Video Application Metadata and Operating System for Interworking with UCI Standard Identification System (UCI 표준식별체계 연동을 위한 실감형 360도 영상 응용 메타데이터 및 운영 시스템에 관한 연구)

  • Park, Byeongchan;Jang, Seyoung;Ruziev, Ulugbek;Kim, Youngmo;Kim, Seok-Yoon
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2020.07a
    • /
    • pp.433-435
    • /
    • 2020
  • 본 논문에서 저작권 보호 기술 적용을 위해 실감형 360도 영상의 강인성 정보를 이용하여 UCI 운영을 위한 응용 메타데이터 요소를 제안한다. 오늘날 멀티미디어 콘텐츠의 산업의 규모가 비약적으로 커지고 있음에 따라 이를 효과적으로 관리 및 유통할 수 있는 콘텐츠 고유의 식별체계가 요구되고 있다. 현재 국내에서 운용 중인 대표 식별자는 정통부가 개발한 UCI가 활용되고 있다. UCI는 다양한 멀티미디어 콘텐츠를 효과적으로 관리 및 유통할 수 있으나 저작권 보호 기술에 직접적으로 연관이 되어 있지 않아 이를 보완할 수 있는 기술이 요구된다. 본 논문에서는 UCI와 직접으로 연동할 수 있는 실감형 360도 동영상 응용 메타데이터 요소 및 운영 방법을 제안하여 저작권 보호 기술을 적용할 수 있도록 한다.

  • PDF

Development of PCC data transmission and reception using MMT (MMT를 이용한 PCC 데이터 송수신 기술 개발)

  • Park, Seong-Hwan;Kim, Kyu-Heon
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2020.07a
    • /
    • pp.576-578
    • /
    • 2020
  • 최근 사용자에게 더욱 몰입감 있는 콘텐츠를 제공하기 위한 기술에 대한 관심이 증가하고 있으며 기존의 2D 콘텐츠와는 다른 새로운 방식인 3D 콘텐츠에 대한 연구가 활발히 진행되고 있으며 그 중 가장 대표적인 것이 Point Cloud 영상이라고 할 수 있다. Point Cloud의 경우 수많은 3차원 좌표를 가진 점들로 구성되어 있으며 각 점들마다 Attribute 값을 이용하여 색상 등의 표현이 가능한 구조로 이루어져 있다. 이러한 특성 때문에 Point Cloud 데이터는 방대한 용량을 가지고 있으며 기존의 2D 방식과 데이터 구조가 상이하기 때문에 새로운 압축 표준이 요구되었다. 이에 미디어 표준화 단체인 MPEG(Moving Picture Experts Group)에서는 MPEG-I(Immersive) 차세대 프로젝트 그룹을 이용하여 이러한 움직임에 대응하고 있다. MPEG-I의 part 5(Video-based Point Cloud Compression, V-PCC)에서는 객체를 대상으로 하여 기존의 비디오 코덱을 활용한 Point Cloud 압축 표준화를 진행중이다. V-PCC 데이터의 경우 기존의 2D 영상 데이터와 같이 전송을 통해 소비될 가능성이 아주 높기 때문에 이에 대한 고려가 필요하다. 현재 MPEG에서 표준화를 완료한 MMT(MPEG Media Transport)라는 전송 표준이 존재하기 때문에 이 기술을 활용 가능할 것으로 보인다. 따라서 본 논문에서는 Point Cloud 데이터를 압축한 V-PCC 데이터를 전송 표준 방식인 MMT를 이용하여 전송하는 방안에 대하여 제안한다.

  • PDF

Implementing 360-degree VR Video Streaming System Prototype for Large-scale Immersive Displays (대형 가상현실 공연장을 위한 360 도 비디오 스트리밍 시스템 프로토타입 구현)

  • Ryu, Yeongil;Choi, YiHyun;Ryu, Eun-Seok
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2022.06a
    • /
    • pp.1241-1244
    • /
    • 2022
  • 최근 K-Pop 을 위시한 예술공연 콘텐츠에 몰입형 미디어를 접목한 온택트 (Ontact) 미디어 스트리밍 서비스가 주목받고 있는 가운데, 본 논문은 일반적으로 사용되는 2D 디스플레이 또는 HMD (Head-Mounted Display) 기반 VR (Virtual Reality, VR) 서비스에서 탈피하여, 대형 가상현실 공연장을 위한 360 도 VR 비디오 스트리밍 시스템을 제안한다. 제안된 시스템은 Phase 1, 2, 3 의 연구개발 단계를 밟아 6DoF (Degrees of Freedom) 시점 자유도를 지원하는 360 도 VR 비디오 스트리밍 시스템을 개발하는 것을 최종목표로 하고 있으며, 현재는 Phase 1: 대형 가상현실 공연장을 위한 3DoF 360 도 VR 비디오 스트리밍 시스템 프로토타입의 개발까지 완료되었다. 구현된 스트리밍 시스템 프로토타입은 서브픽처 기반 Viewport-dependent 스트리밍 기술이 적용되어 있으며, 기존 방식과 비교하였을 때 약 80%의 비트율 감소, 약 543%의 영상 디코딩 속도 향상을 확인하였다. 또한, 단순 구현 및 성능평가에서 그치지 않고, 실제 미국 UCSB 에 위치한 대형 가상현실 공연장 AlloSphere 에서의 시범방송을 수행하여, 향후 Phase 2, 3 연구단계를 위한 연구적 기반을 마련하였다.

  • PDF

Performance Evaluation of Lossy Compression to Occupancy Map in V-PCC (V-PCC의 점유 맵 손실 압축 성능 평가)

  • Park, Jong-Geun;Kim, Yura;Kim, Hyun-Ho;Kim, Yong-Hwan
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2022.06a
    • /
    • pp.257-260
    • /
    • 2022
  • 국제표준 3차원 포인트 클라우드 압축 기술인 MPEG(Moving Picture Experts Group)-I(Immersive) V-PCC(Video-based Point Cloud Compression)에는 점유 맵(Occupancy Map) 손실/무손실 압축 기술이 포함되어 있다. V-PCC는 기존에 보급되어 있는 2차원 비디오 코덱(H.264/AVC, HEVC, AV1 등)을 그대로 활용할 수 있는 장점이 있는데, 대부분의 소비자 영상 기기에 포함되어 있는 2차원 비디오 복호화기 HW는 무손실을 지원하지 않는다. 따라서 V-PCC 복호화기의 폭넓은 상용화를 위해서는 부호화기에서 점유 맵의 손실 압축이 필수적이다. 본 논문은 V-PCC 부호화기의 점유 맵을 최소한의 압축 효율 저하로 손실 압축하기 위해 다양한 파라미터 실험을 통한 최적의 파라미터 값을 제시한다.

  • PDF

Implementation of Integrated Player System based on Free-Viewpoint Video Service according to User Selection (사용자 선택에 따른 자유 시점 비디오 서비스 기반의 통합 플레이어 시스템 구현)

  • Yang, Ji-hee;Song, Min-ki;Park, Gooman
    • Journal of Broadcast Engineering
    • /
    • v.25 no.2
    • /
    • pp.265-274
    • /
    • 2020
  • Free-viewpoint video service is a technology that allows users to watch at any angle, location and distance through interaction. In this paper, the free-viewpoint video services are defined in four viewing modes: Inward view, outward view, 3D object view and first person view. And we developed and implemented a new integrated program that plays all the suggested views. In the contents of girl band performances and basketball games, multi-view cameras suitable for each viewing mode are installed to acquire media, and data stored on the server is streamed over the network, making it available for viewing. Users can freely choose four viewing modes, space location, angle and so on, and the media data such as images and sounds are provided to them by rendering appropriately for the selected the viewpoint. Our system is expected to be a scalable free-viewpoint video service player as well as provide users with immersion and presence by combining various viewing modes.

Stereoscopic Free-viewpoint Tour-Into-Picture Generation from a Single Image (단안 영상의 입체 자유시점 Tour-Into-Picture)

  • Kim, Je-Dong;Lee, Kwang-Hoon;Kim, Man-Bae
    • Journal of Broadcast Engineering
    • /
    • v.15 no.2
    • /
    • pp.163-172
    • /
    • 2010
  • The free viewpoint video delivers an active contents where users can see the images rendered from the viewpoints chosen by them. Its applications are found in broad areas, especially museum tour, entertainment and so forth. As a new free-viewpoint application, this paper presents a stereoscopic free-viewpoint TIP (Tour Into Picture) where users can navigate the inside of a single image controlling a virtual camera and utilizing depth data. Unlike conventional TIP methods providing 2D image or video, our proposed method can provide users with 3D stereoscopic and free-viewpoint contents. Navigating a picture with stereoscopic viewing can deliver more realistic and immersive perception. The method uses semi-automatic processing to make foreground mask, background image, and depth map. The second step is to navigate the single picture and to obtain rendered images by perspective projection. For the free-viewpoint viewing, a virtual camera whose operations include translation, rotation, look-around, and zooming is operated. In experiments, the proposed method was tested eth 'Danopungjun' that is one of famous paintings made in Chosun Dynasty. The free-viewpoint software is developed based on MFC Visual C++ and OpenGL libraries.

A Study on Methods for Activating Libraries' YouTube Channel (도서관 유튜브(YouTube) 채널의 활성화 방안에 관한 연구)

  • Ro, Ji-Yoon;Noh, Younghee
    • Journal of the Korean Society for information Management
    • /
    • v.37 no.3
    • /
    • pp.1-24
    • /
    • 2020
  • The social media paradigm centered on videos continues to deepen due to the diversification of 5G devices, high-definition and immersive SNS. The purpose of this study is to propose various utilization strategies and measures through the analysis of the current status of YouTube channel operation and provided contents operated in public libraries. In this study, 44 libraries in Korea that have opened and operated Library YouTube Channel and 12 libraries that actively utilize library YouTube channels with more than 1,000 subscribers were surveyed for the current status of subscribers, views, video count data, and contents and delivery methods of Library YouTube Channel. Based on the analysis results, the library's YouTube channel was proposed to utilize the library's YouTube channel, 1) to secure the specificity and purpose of the library's YouTube channel, 2) to promote and enhance access to the YouTube channel, 3) to improve the YouTube channel to user-friendly interface, 5) to plan and provide library expertise and educational contents, 6) to operate the integrated YouTube channel, and 7) to provide user-based content.

A Trend Analysis of Contemporary Dance (컨템포러리 댄스 트렌드 분석에 관한 연구)

  • CHUNG, Euisook
    • Trans-
    • /
    • v.1
    • /
    • pp.67-89
    • /
    • 2016
  • This study aims to examine the present (Western) modern dance by analyzing the works of three choreographers who are currently at the forefront of the dance scene to identify and understand the current choreographic trend. The three selected choreographers for this study are Justin Peck (USA), Sidi Larbi Cherkaoui (Belgium) and Zach Morris (USA). These choreographers were chosen on the basis of their significant identity within the current dance scene. For analysis, one noteworthy works of each choreographer were selected for video analysis. The result of the analysis illustrates that in the current era of promoting technology convergence in the performing arts industry, the three choreographers approach convergence differently by integrating dance and other mediums in their choreography. Peck converges between ballet and the ordinary, Cherkaoui converges between dance and other cultures and Morris converges between dance and venue.

  • PDF

Image Stitching focused on Priority Object using Deep Learning based Object Detection (딥러닝 기반 사물 검출을 활용한 우선순위 사물 중심의 영상 스티칭)

  • Rhee, Seongbae;Kang, Jeonho;Kim, Kyuheon
    • Journal of Broadcast Engineering
    • /
    • v.25 no.6
    • /
    • pp.882-897
    • /
    • 2020
  • Recently, the use of immersive media contents representing Panorama and 360° video is increasing. Since the viewing angle is limited to generate the content through a general camera, image stitching is mainly used to combine images taken with multiple cameras into one image having a wide field of view. However, if the parallax between the cameras is large, parallax distortion may occur in the stitched image, which disturbs the user's content immersion, thus an image stitching overcoming parallax distortion is required. The existing Seam Optimization based image stitching method to overcome parallax distortion uses energy function or object segment information to reflect the location information of objects, but the initial seam generation location, background information, performance of the object detector, and placement of objects may limit application. Therefore, in this paper, we propose an image stitching method that can overcome the limitations of the existing method by adding a weight value set differently according to the type of object to the energy value using object detection based on deep learning.