• 한국멀티미디어학회논문지
• /
• 제24권4호
• /
• pp.538-549
• /
• 2021

In this paper, we introduce a technique for 360-degree panoramic video streaming with multiple virtual cameras in real-time. The proposed technique consists of generating 360-degree panoramic video data by ORB feature point detection, texture transformation, panoramic video data compression, and RTSP-based video streaming transmission. Especially, the generating process of 360-degree panoramic video data and texture transformation are accelerated by CUDA for complex processing such as camera calibration, stitching, blending, encoding. Our experiment evaluated the frames per second (fps) of the transmitted 360-degree panoramic video. Experimental results verified that our technique takes at least 30fps at 4K output resolution, which indicates that it can both generates and transmits 360-degree panoramic video data in real time.

• 방송공학회논문지
• /
• 제22권1호
• /
• pp.136-139
• /
• 2017

최근 VR(virtual reality)의 관심이 급격하게 늘어감에 따라 HMD(Head Mounted Display), 360도 VR 카메라 등 많은 VR기기들이 출시되고 있다. 그럼에도 불구하고 현재 360도 VR 비디오의 경우 기존의 일반 2D 비디오의 코덱을 그대로 사용하고 있다. 기존의 코덱은 360도 VR 비디오의 특징을 고려하지 않고 비디오를 부/복호화하기 때문에 압축효율이 떨어지게 된다. 본 논문에서는 360도 VR 비디오의 특성 중 시점이 달라 생기는 왜곡을 보정한 참조프레임으로 사용함으로써 압축효율을 높이는 방법을 제안한다. 제안한 방법을 적용할 경우 시간적 예측 효율이 높아져 압축효율이 높아진다.

• 방송공학회논문지
• /
• 제25권5호
• /
• pp.770-775
• /
• 2020

360도 영상은 일반 화각 영상과 다른 프레임 구조를 갖기 때문에 기존 영상 보안 이벤트 검출 알고리즘들을 360도 영상에 바로 적용 시 왜곡에 의한 성능 저하가 발생할 수 있다. 본 논문에서는 360도 영상 공간에서 활성 뷰포트 기반 이벤트 검출 기법을 제안한다. 다중 객체 영역들을 포함하는 활성 뷰포트들을 생성하고, 뷰포트 내 객체 검출과 360도 영상 공간에서 객체 추적을 수행하며, 영역 기반의 보안 이벤트를 검출한다. 제안 방법은 360도 ERP 시퀀스들에 대해 성능이 평가되었고, 활성 뷰포트를 사용하지 않은 이벤트 검출 방법보다 30% 이상의 recall, 30% 이상의 false negative rate 성능 향상을 보였다.

• 방송공학회논문지
• /
• 제25권7호
• /
• pp.1063-1072
• /
• 2020

This paper proposes an experimental method for measuring the quality of experience to measure the influence of the participants' immersion, satisfaction, and presence according to the application of sensory effects to 360-degree video. Participants of the experiment watch 360-degree videos using HMD and receive sensory effects using scent diffusing devices and wind devices. Subsequently, a questionnaire was conducted on the degree of immersion, satisfaction, and present feelings for the video you watched. By analyzing the correlation of the survey results, we found that the provision of sensory effects satisfies the 360-degree video viewing, and the experimental method was appropriate. In addition, using the P.910 method, a result was derived that was not suitable for measuring the quality of the immersion and presence of 360-degree video according to the provision of sensory effects.

• 인터넷정보학회논문지
• /
• 제22권3호
• /
• pp.1-8
• /
• 2021

가상 현실 공간에서 head-mounted display(HMD)를 통한 실감형 미디어를 제공하기 위해서는 초고화질 및 초고해상도의 전방위 360도 영상 전송이 필요하고, 이는 높은 대역폭 및 연산량을 요구한다. 이를 극복하기 위해 360도 영상에 대한 타일 기반 분할 기법을 사용하여 사용자 시점 기반 선택적 스트리밍 기법이 사용될 수 있다. 본 논문은 16K 초고화질 360도 영상 및 종래에 널리 쓰이는 4K 360도 영상에서의 사용자 시점 기반 타일 스트리밍 기법의 성능 평가를 소개한다. 16K 초고화질 360도 영상에 타일 스트리밍 기법을 적용하였을 때, 영상 전체 부호화 및 전송 방법 대비 42.47%의 bjotegaard delta rate(BD-rate) 절감을 확인하였고, 4K 360도 영상 타일 스트리밍 시 26.41%의 BD-rate 절감이 이루어지는 것을 확인하였다. 따라서, 타일 스트리밍이 초고해상도 영상에 더 효율적임을 확인하였다.

• 방송공학회논문지
• /
• 제25권1호
• /
• pp.113-116
• /
• 2020

본 논문은 360도 동영상과 감각효과(Sensorial Effects)가 피실험자의 몰입도, 만족도, 실재감에 미치는 영향을 측정하기 위한 사용자 경험(Quality of Experience: QoE) 평가 실험 방법을 제안한다. 피실험자는 발향장치가 부착된 헤드 마운티드 디스플레이(Head Mounted Display: HMD)를 착용한 상태에서 감각효과가 동반된 360도 동영상을 경험한 후, 몰입도, 만족도, 실재감에 대한 설문에 응답한다. 응답 분석 결과 제안된 실험방법이 360도 VR 동영상과 감각효과에 대한 피실험자의 몰입도, 만족도, 실재감 등을 측정하기에 적합한 실험 방법임을 확인하였다. 반면, 360도 동영상을 시청하는 도중 비교 실험을 위한 회색 화면을 삽입하게 되면 몰입도와 실재감에 상당한 저하를 일으키는 것으로 파악되었다.

• 문화기술의 융합
• /
• 제8권1호
• /
• pp.499-505
• /
• 2022

최근 메타버스가 많은 관심을 받고 있다. 메타버스는 가상공간을 의미하며 이 공간에서 다양한 이벤트가 펼쳐질 수 있을 것이다. 특히 메타버스 공간에 최적화된 포맷인 360° 영상이 주목을 받고 있다. 360도 영상 이미지는 여러 대의 카메라 또는 렌즈로 촬영한 이미지를 360도 모든 방향으로 스티칭하여 생성된다. 360도 영상 촬영 시에는 카메라 전면에서 피사체를 촬영하기 위한 촬영 스태프를 비롯한 다양한 촬영 장비들이 영상에 표시된다. 따라서 360° 영상을 촬영할 때는 카메라 주변의 피사체를 제외한 모든 것을 숨겨야 한다. 이러한 촬영 방식에는 여러 가지 문제점이 있다. 그 중 조명에 관한 부분이 가장 큰 문제이다. 기존의 이미지 촬영처럼 카메라 뒤에서 피사체에 초점을 맞추는 고정된 조명기를 설치하기가 매우 어렵기 때문이다. 본 연구는 실내조명의 각도를 조절하여 360° 영상에 최적화된 각도를 찾기 위한 실험적 연구이다. 추가 조명을 설치하지 않고 360도 영상을 촬영할 수 있는 방법을 제안한다. 본 연구의 결과를 바탕으로 앞으로 더욱 다양한 촬영 앵글을 통해 실험이 이루어지고 나아가 메타버스 공간에서 360도영상 활용 시 도움이 될 것으로 기대한다.

• 방송공학회논문지
• /
• 제24권7호
• /
• pp.1209-1220
• /
• 2019

The demand for virtual reality (VR) is rapidly increasing. Providing the immersive experience requires much operation and many data to transmit. For example, a 360-degree video (360 video) with at least 4K resolution is needed to offer an immersive experience to users. Moreover, the MPEG-I group defined three degrees of freedom plus (3DoF+), and it requires the transmission of multiview 360 videos simultaneoulsy. This could be a burden for the VR streaming system. Accordingly, in this work, a bitrate-saving method using projection conversion is introduced, along with experimental results for streaming 3DoF+ 360 video. The results show that projection conversion of 360 video with 360lib shows a Bjontegaard delta bitrate gain of as much as 11.4%.

• 방송공학회논문지
• /
• 제25권7호
• /
• pp.1073-1080
• /
• 2020

360-degree video streaming technologies have been widely developed to provide immersive virtual reality (VR) experiences. However, high computational power and bandwidth are required to transmit and render high-quality 360-degree video through a head-mounted display (HMD). One way to overcome this problem is by transmitting high-quality viewport areas. This paper therefore proposes a motion-constrained tile set (MCTS)-based tile extractor for versatile video coding (VVC). The proposed extractor extracts high-quality viewport tiles, which are simulcasted with low-quality whole video to respond to unexpected movements by the user. The experimental results demonstrate a savings of 24.81% in the bjøntegaard delta rate (BD-rate) saving for the luma peak signal-to-noise ratio (PSNR) compared to the rate obtained using a VVC anchor without tiled streaming.

• 디지털산업정보학회논문지
• /
• 제12권3호
• /
• pp.157-166
• /
• 2016

This paper presents the interior space information using 6D-360 degree immersive media video information. And we implement the augmented reality, which includes a variety of information such as position information, movement information of the specific location in the interior space GPS signal does not reach the position information. Augmented reality containing the 6D-360 degree immersive media video information provides the position information and the three dimensional space image information to identify the exact location of a user in an interior space of a moving object as well as a fixed interior space. This paper constitutes a three dimensional image database based on the 6D-360 degree immersive media video information and provides augmented reality service. Therefore, to map the various information to 6D-360 degree immersive media video information, the user can check the plant in the same environment as the actual. It suggests the augmented reality service for the emergency escape and repair to the passengers and employees.