• 한국멀티미디어학회논문지
• /
• 제24권4호
• /
• pp.538-549
• /
• 2021

In this paper, we introduce a technique for 360-degree panoramic video streaming with multiple virtual cameras in real-time. The proposed technique consists of generating 360-degree panoramic video data by ORB feature point detection, texture transformation, panoramic video data compression, and RTSP-based video streaming transmission. Especially, the generating process of 360-degree panoramic video data and texture transformation are accelerated by CUDA for complex processing such as camera calibration, stitching, blending, encoding. Our experiment evaluated the frames per second (fps) of the transmitted 360-degree panoramic video. Experimental results verified that our technique takes at least 30fps at 4K output resolution, which indicates that it can both generates and transmits 360-degree panoramic video data in real time.

• 방송공학회논문지
• /
• 제16권5호
• /
• pp.811-823
• /
• 2011

본 논문에서는 파노라마 영상으로 구성된 멀티미디어 콘텐츠를 효율적으로 전송하는 방법을 제안한다. 파노라마 영상은 넓은 시야와 다양한 시점을 사용자에게 제공한다. 하지만 현재의 파노라마식 멀티미디어 콘텐츠 전송 서비스에는 몇 가지 제한조건이 존재한다. 먼저 파노라마 영상이 갖는 데이터양이 기존의 멀티미디어 영상보다 크기 때문에, 제한적인 전송 대역폭을 갖고 있는 통신환경에서는 초기 지연 시간이 길어지는 문제점이 있다. 또한 사용자가 제한된 디스플레이 장치(모바일 폰, PC 모니터 등)에서 전송된 영상 중 일부 시점의 영상만을 재생하게 되어, 콘텐츠의 사용효율이 떨어지는 문제점을 가지고 있다. 따라서 본 논문에서는 이러한 문제점을 해결하기 위한 방안으로 MPEG-4 시스템의 장면 구성 기술을 활용한 파노라마식 멀티미디어 콘텐츠 전송을 제안한다. 또한 본 논문에서는 장면 구성 기술을 활용하여, 단일 파노라마식 멀티미디어 콘텐츠 전송과 분할 파노라마식 멀티미디어 콘텐츠 전송을 비교함으로써 전송의 효율성을 증명하였다.

• 한국통신학회논문지
• /
• 제39B권9호
• /
• pp.590-597
• /
• 2014

본 논문은 고품질 파노라마 영상 획득을 위하여 대상 공간을 여러 대의 카메라로 촬영 시, 촬영 정보를 제공하는 모니터링 시스템과 클라우드 컴퓨팅을 이용한 생성 과정 분산 처리에 관한 것이다. 파노라믹 비디오의 특성상 이웃 카메라 간 일정한 중복영역을 가져야 하지만 이로 인하여 동일한 촬영 대상에 대해 촬영 화각이 다르고, 카메라의 물리적인 크기로 인하여 촬영 중심점을 동일하게 맞추기 어려운 상황에서 2D 입력 영상기반으로 모니터링 하여 카메라를 보정하는 경우 시차원인으로 오보정이 발생하는 문제가 있다. 이를 해결하기 위하여 카메라별 촬영 화각에 따라 3차원으로 투영하여 모니터링 함으로써 카메라 오보정 문제를 최소화하고 획득 영상의 품질을 높이는 3차원 기반 모니터링 시스템을 제안한다. 또한 여러 영상을 하나의 영상으로 합성하는 파노라믹 비디오 생성알고리즘은 합성 정보추출과 합성, 두 부분으로 나눌 수 있는데 이를 클라우드와 클라이언트에 적절히 분산하여 고화질의 파노라믹 비디오를 효율적으로 서비스 하는 방법에 대해 제안한다.

• 한국항행학회논문지
• /
• 제17권6호
• /
• pp.757-764
• /
• 2013

사람의 시야각 이상으로 넓게 영상을 채워줌으로써 현장감을 제공하는 파노라마 영상은 넓은 해상도로 인하여 제한된 재생환경과 대역폭의 한계로 파노라마 영상의 넓은 시점을 한 번에 보기 어렵기 때문에 사용자가 시점을 선택하여 시청하는 방법이 필요로 한다. 그러나 시청시점을 선택하기 위해 빈번하게 사용하는 시점탐색 시에 재생하지 않는 시점의 영상데이터까지 전송함에 따라 발생하는 자원낭비를 최소화하기 위하여 본 논문에서는 시점탐색 시 필요한 영상데이터만 전송할 수 있도록 시점탐색 방향과 속도에 기반한 시공간예측 필터방법을 제안한다. 본 제안방법으로 높은 대역폭 사용이 불가피한 인터랙티브 파노라마 영상 스트리밍 서비스에 있어 기존 대비 6%에서 37% 정도의 대역폭 사용을 줄일 수 있다.

• 방송공학회논문지
• /
• 제23권2호
• /
• pp.197-205
• /
• 2018

파노라마 이미지는 현재 흔하게 사용되는 기술 중 하나이다. 하지만, 아직까지 파노라마 비디오 제작은 기술적 어려움이 존재한다. 360도 카메라와 같은 특수 카메라가 없을 경우, 파노라마 비디오 제작은 더욱 어려워진다. 파노라마 비디오를 제작하기 위해서는 여러 지점에서 촬영한 다수의 동영상의 시간축을 동기화할 필요가 있다. 하지만 카메라 내부 시계를 통한 시간축 동기화 기법은 내부 하드웨어 차이로 인해 오차가 발생할 수 있다. 이러한 문제를 해결하기 위해 영상 정보 또는 소리 정보를 이용한 다수 비디오 간 시간축 동기화 연구가 진행되었다. 하지만 영상 정보를 이용하는 경우 정확도와 프로세싱 시간에 문제가 있으며 소리 정보를 이용하는 경우 노이즈에 민감하거나 멜로디가 없으면 동기화가 없다는 문제점이 있다. 따라서 본 논문에서는 소리 파형을 이용한 다수 비디오 간 시간축 동기화 기법을 제안한다. 영상 정보 기반 시간축 동기화 기법보다 높은 동기화 정확도를 보여주며 시간적 효율성을 보여준다.

• ETRI Journal
• /
• 제36권2호
• /
• pp.253-263
• /
• 2014

In the near future, traditional narrow and fixed viewpoint video services will be replaced by high-quality panorama video services. This paper proposes a visual-attention-aware progressive region of interest (RoI) trick mode streaming service (VA-PRTS) that prioritizes video data to transmit according to the visual attention and transmits prioritized video data progressively. VA-PRTS enables the receiver to speed up the time to display without degrading the perceptual quality. For the proposed VA-PRTS, this paper defines a cutoff visual attention metric algorithm to determine the quality of the encoded video slice based on the capability of visual attention and the progressive streaming method based on the priority of RoI video data. Compared to conventional methods, VA-PRTS increases the bitrate saving by over 57% and decreases the interactive delay by over 66%, while maintaining a level of perceptual video quality. The experiment results show that the proposed VA-PRTS improves the quality of the viewer experience for interactive panoramic video streaming services. The development results show that the VA-PRTS has highly practical real-field feasibility.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2016년도 추계학술대회
• /
• pp.39-42
• /
• 2016

Since a display device such as TV or signage is getting larger, the types of media is getting changed into wider view one such as UHD, panoramic and jigsaw-like media. Especially, panoramic and jigsaw-like media is realized by stitching video clips, which are captured by different camera or devices. In order to stich those video clips, it is required to find out 2D Adjacency Matrix, which tells spatial relationships among those video clips. Discrete Cosine Transform (DCT), which is used as a compression transform method, can convert the each frame of video source from the spatial domain (2D) into frequency domain. Based on the aforementioned compressed features, 2D adjacency Matrix of images could be found that we can efficiently make the spatial map of the images by using DCT. This paper proposes a new method of generating 2D adjacency matrix by using DCT for producing a panoramic and jigsaw-like media through various individual video clips.

• 정보과학회 논문지
• /
• 제42권8호
• /
• pp.990-997
• /
• 2015

파노라마 영상 생성관련 분야는 다양하게 연구되어 왔다. 기존의 방식들은 특수목적 하드웨어를 이용하거나, 후처리 소프트웨어를 이용하여 파노라마 영상을 생성한다. 하지만 이 방식들은 비용적인 문제와 조작의 번거로움의 문제가 있다. 또한 영상 내 특징 점의 존재 유무에 따라 정합이 가능한 범위도 제한된다. 본 논문에서는 저비용의 조작이 용이한 실시간 파노라마 동영상 생성 방법을 제안한다. 제안한 시스템에서는 저비용의 범용 하드웨어를 이용하여 영상을 촬영하고, 동영상 압축 스트리밍 방법을 통해 서버로 영상을 전송한 뒤 파노라마 영상을 정합한다. 구현된 시스템의 성능 분석을 통해 파노라마 영상의 생성 시간을 측정하였고 동영상이 생성됨을 확인하였다.

• 전기학회논문지
• /
• 제60권2호
• /
• pp.441-445
• /
• 2011

In this paper, we propose an algorithm for generating panoramic videos using fixed multiple cameras. We estimate a background image from each camera. Then we calculate perspective relationships between images using extracted feature points. To eliminate stitching errors due to different image depths, we process background images and foreground images separately in the overlap regions between adjacent cameras by projecting regions of foreground images selectively. The proposed algorithm can be used to enhance the efficiency and convenience of wide-area surveillance systems.

• 인터넷정보학회논문지
• /
• 제11권2호
• /
• pp.143-153
• /
• 2010

인터넷, 이동통신 및 방송분야에 걸쳐 고화질 파노라마 비디오를 제공할 경우 고압축률과 임의 접근 기능 모두를 만족하는 적절한 비디오 코덱이 요구된다. 사용자 측면에서 고압축률은 대용량 파노라마 데이터의 비디오 스트리밍을 하기 위해 반드시 필요하다. 임의 접근 기능은 시점과 방향을 사용자가 자유롭게 이동할 수 있게 해 준다. 본 논문에서는 압축 효율이 높은 H.264/AVC를 기반으로 셀 단위 병렬 처리 기법을 통해 10Mbps 대역폭에서 대화면 파노라마 영상의 스트리밍 서비스를 위한 성능 개선 방안을 제안한다. 제안된 방안은 전체 화면을 $256{\times}256$ 이하 크기의 셀로 나누어 인코딩하고 현재 뷰(view)에 포함된 셀들만 디코딩한다. 이때 인코딩/디코딩은 셀 단위로 병렬 처리한다. 또한 현재 뷰에 포함된 셀들만 전송함으로써 블록 추출 없이 임의 접근 기능이 가능함을 실험을 통해 보여준다.