• 방송공학회논문지
• /
• 제22권1호
• /
• pp.136-139
• /
• 2017

최근 VR(virtual reality)의 관심이 급격하게 늘어감에 따라 HMD(Head Mounted Display), 360도 VR 카메라 등 많은 VR기기들이 출시되고 있다. 그럼에도 불구하고 현재 360도 VR 비디오의 경우 기존의 일반 2D 비디오의 코덱을 그대로 사용하고 있다. 기존의 코덱은 360도 VR 비디오의 특징을 고려하지 않고 비디오를 부/복호화하기 때문에 압축효율이 떨어지게 된다. 본 논문에서는 360도 VR 비디오의 특성 중 시점이 달라 생기는 왜곡을 보정한 참조프레임으로 사용함으로써 압축효율을 높이는 방법을 제안한다. 제안한 방법을 적용할 경우 시간적 예측 효율이 높아져 압축효율이 높아진다.

• 디지털융복합연구
• /
• 제17권4호
• /
• pp.255-260
• /
• 2019

연구는 $360^{\circ}$ 동영상과 3D 그래픽의 효율적인 합성 방법에 관한 연구이다. 먼저, 이안식 일체형 $360^{\circ}$ 카메라로 촬영한 영상을 스티칭하고, 영상에서 카메라 및 사물의 위치값을 추출하였다. 그리고 추출한 위치값의 데이터를 3D 프로그램으로 불러와 3D 오브젝트를 생성하고, 자연스러운 합성을 위한 방법에 관하여 연구하였다. 그 결과 $360^{\circ}$ 동영상과 3D 그래픽의 자연스러운 합성을 위한 방법으로 렌더링 요소와 렌더링 기법을 도출할 수 있었다. 첫째, 렌더링 요소로는 3D 오브젝트의 위치와 재질, 조명과 그림자가 있었고, 둘째, 렌더링 기법으로는 실사 기반 렌더링 기법의 필요성을 찾을 수 있었다. 본 연구 과정 및 결과를 통해 $360^{\circ}$ 동영상과 3D 그래픽의 자연스러운 합성에 관한 방법을 제시함으로써, $360^{\circ}$ 동영상 및 VR 영상 콘텐츠의 연구와 제작 분야에 도움이 될 것으로 기대한다.

• 방송공학회논문지
• /
• 제24권5호
• /
• pp.743-754
• /
• 2019

사용자 움직임 적응적 360 비디오 스트리밍을 지원하는 three degrees of freedom plus (3DoF+), 6DoF를 위한 시스템은 여러 위치에서 촬영된 다수의 고화질 360 비디오 전송을 요구한다. 이를 위해 본 논문에서는 사용자 시점에 대응하는 고화질 360 비디오 제공을 위해 3DoF+ 360 비디오 중복성 제거 기법을 적용하고 잔여 비디오를 하나의 영상으로 병합하여 압축 후 전송하는 시스템을 구현한다. 3DoF+ 360 비디오 간 중복성 제거를 위한 3D warping을 기반으로 하는 뷰 간 중복성 제거 기술과 비디오 복원에 필요한 타일들만 추출 및 병합해주는 잔여 뷰 병합 기술에 대한 구현 내용을 설명한다. 제안된 시스템을 기반으로 3DoF+ 360 비디오 전송을 수행하면, 기존 high-efficiency video coding (HEVC)을 사용하여 전송했을 때 대비 최대 20.14%의 BD-rate 감소가 가능함을 확인하였다.

• 한국멀티미디어학회논문지
• /
• 제24권4호
• /
• pp.538-549
• /
• 2021

In this paper, we introduce a technique for 360-degree panoramic video streaming with multiple virtual cameras in real-time. The proposed technique consists of generating 360-degree panoramic video data by ORB feature point detection, texture transformation, panoramic video data compression, and RTSP-based video streaming transmission. Especially, the generating process of 360-degree panoramic video data and texture transformation are accelerated by CUDA for complex processing such as camera calibration, stitching, blending, encoding. Our experiment evaluated the frames per second (fps) of the transmitted 360-degree panoramic video. Experimental results verified that our technique takes at least 30fps at 4K output resolution, which indicates that it can both generates and transmits 360-degree panoramic video data in real time.

• 방송공학회논문지
• /
• 제23권6호
• /
• pp.876-885
• /
• 2018

최근 VR(Virtual Reality) 기반의 e-sports 중계 시장이 자리를 잡고 있다. 하지만 국내의 경우 시장경쟁력 확보를 위한 기술 개발이 미비한 실정이다. 이미 해외의 SLIVER TV, Facebook에서는 e-sports를 4K 30FPS급의 360 VR으로 중계할 수 있는 기술을 개발하고 사업화까지 진행하고 있다. 하지만 360 VR 영상으로 활용하기에는 2D영상으로 몰입감이 저하되고, 해상도가 낮고, 멀미현상이 있다. 이에 본 논문에서는 e스포츠 VR 중계방송을 위해 게임 내 공간을 4K 3D 60FPS으로 360영상으로 획득 할 수 있는 가상카메라 기술을 제안하고, 구현하였다. 그리고 게임엔진 샘플게임과, 상용게임에 가상카메라를 설치하고, 실험을 통해 최대 4K/60FPS Stereo 360 영상 획득이 가능함을 검증하였다.

• 방송공학회논문지
• /
• 제25권5호
• /
• pp.770-775
• /
• 2020

360도 영상은 일반 화각 영상과 다른 프레임 구조를 갖기 때문에 기존 영상 보안 이벤트 검출 알고리즘들을 360도 영상에 바로 적용 시 왜곡에 의한 성능 저하가 발생할 수 있다. 본 논문에서는 360도 영상 공간에서 활성 뷰포트 기반 이벤트 검출 기법을 제안한다. 다중 객체 영역들을 포함하는 활성 뷰포트들을 생성하고, 뷰포트 내 객체 검출과 360도 영상 공간에서 객체 추적을 수행하며, 영역 기반의 보안 이벤트를 검출한다. 제안 방법은 360도 ERP 시퀀스들에 대해 성능이 평가되었고, 활성 뷰포트를 사용하지 않은 이벤트 검출 방법보다 30% 이상의 recall, 30% 이상의 false negative rate 성능 향상을 보였다.

• 방송공학회논문지
• /
• 제24권6호
• /
• pp.1053-1063
• /
• 2019

최근 360 영상에 대한 관심이 증대됨에 따라, 이러한 360 영상을 보다 효율적으로 전송하기 위해 하나의 360 영상을 여러 개의 타일로 나누어 전송하는 타일 기반 스트리밍이 활발히 연구되고 있다. 본 논문에서는 타일 기반 스트리밍 시나리오에서 사용자 시점에 대응하는 고화질 360 영상 전송을 위해, 기존 네트워크 모델로 생성된 중요도 맵(Saliency map)을 타일 기반 스트리밍에 적용하여 각 위치의 타일의 품질을 할당하는 시스템을 제안한다. 각 타일들을 독립적으로 부호화하기 위해 motion constrained tile set (MCTS) 기법을 적용함과 동시에 Salient360! 데이터셋으로 사용자 시선 시나리오를 토대로 사용자 시점 영상으로 복원하여 검증한 결과, 제안된 시스템을 기반으로 360 비디오 영상을 전송하면 기존 high-efficiency video coding (HEVC)을 사용하여 전송했을 때보다 사용자 시점의 영상은 큰 손실 없이 최대 23%의 BD-rate 효율을 보임을 확인하였다.

• 디지털콘텐츠학회 논문지
• /
• 제19권9호
• /
• pp.1631-1639
• /
• 2018

VR 360 영상 콘텐츠는 이전 영상 콘텐츠와는 달리 필연적으로 관객이 부분적인 감상을 하게 되므로, 이에 대한 새로운 영상 언어 연구가 필요하다. 본 연구에서는 특히 VR 360 영상 콘텐츠가 360도로 배경이 확장되므로, 그 안에서 사건 요소와 배경 요소의 적절한 배치가 관객들의 시선을 유도하는데 주요한 역할을 하게 될 것이라는 점에 주목하였다. 따라서 본 연구에서는 서사적 관점에서 사건 요소 및 배경 요소의 배치에 초점을 맞춰, 선정 사례들의 양상을 분석하였다.

• 인터넷정보학회논문지
• /
• 제22권3호
• /
• pp.1-8
• /
• 2021

가상 현실 공간에서 head-mounted display(HMD)를 통한 실감형 미디어를 제공하기 위해서는 초고화질 및 초고해상도의 전방위 360도 영상 전송이 필요하고, 이는 높은 대역폭 및 연산량을 요구한다. 이를 극복하기 위해 360도 영상에 대한 타일 기반 분할 기법을 사용하여 사용자 시점 기반 선택적 스트리밍 기법이 사용될 수 있다. 본 논문은 16K 초고화질 360도 영상 및 종래에 널리 쓰이는 4K 360도 영상에서의 사용자 시점 기반 타일 스트리밍 기법의 성능 평가를 소개한다. 16K 초고화질 360도 영상에 타일 스트리밍 기법을 적용하였을 때, 영상 전체 부호화 및 전송 방법 대비 42.47%의 bjotegaard delta rate(BD-rate) 절감을 확인하였고, 4K 360도 영상 타일 스트리밍 시 26.41%의 BD-rate 절감이 이루어지는 것을 확인하였다. 따라서, 타일 스트리밍이 초고해상도 영상에 더 효율적임을 확인하였다.

• 방송공학회논문지
• /
• 제22권5호
• /
• pp.600-607
• /
• 2017

VR (Virtual Reality)은 최근 스마트 폰 기반 HMD (Head Mounted Displays)에 대한 개발 및 관심이 급증 함에 따라 360 비디오에 대한 표준화에 대한 요구가 급증하고 있다. 본 논문에서는 MPEG 산하에서 진행되는 360 미디어를 지원하기 위한 미디어 포맷인 Omnidirectional Media Format 에서 다루는 핵심 표준 기술에 대하여 자세히 소개한다. 360 미디어를 위한 OMAF 아키텍처를 소개하고 OMAF 에서 다루는 360 비디오 처리 및 메타데이터에 대해 자세히 설명한다. 그리고 360 미디어를 파일 혹은 세그먼트 내에 저장하기 위한 미디어 포멧 및 MPEG DASH(Dynamic Adaptive Streaming over HTTP)기반 360 미디어에 대한 스트리밍 기법에 대해 자세히 언급한다.