• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권9호
• /
• pp.4527-4548
• /
• 2017

This paper proposes a method to generate panoramic images by combining conventional feature extraction algorithms (e.g., SIFT, SURF, MPEG-7 CDVS) with sensed data from inertia sensors to enhance the stitching results. The challenge of image stitching increases when the images are taken from two different mobile phones with no posture calibration. Using inertia sensor data obtained by the mobile phone, images with different yaw, pitch, and roll angles are preprocessed and adjusted before performing stitching process. Performance of stitching (e.g., feature extraction time, inlier point numbers, stitching accuracy) between conventional feature extraction algorithms is reported along with the stitching performance with/without using the inertia sensor data. In addition, the stitching accuracy of video data was improved using the same sensed data, with discrete calculation of homograph matrix. The experimental results for stitching accuracies and speed using sensed data are presented in this paper.

• 방송공학회논문지
• /
• 제24권6호
• /
• pp.965-973
• /
• 2019

본 논문에서는 Stereo 4K@60fps 360 VR 실시간 영상 획득 시스템을 영상 스트림 획득과 영상 인코딩(encoding), 영상 스티칭(stitching) 모듈로 나누어 설계하였다. 시스템은 6대의 카메라로부터 HDMI Interface를 통해 획득된 6개의 2K@60fps의 영상 스트림을 스티칭을 통하여 실시간으로 Stereo 4K@60fps 360 VR 영상을 획득한다. 영상 획득 단계에서는 멀티 스레드(Multi-Thread)를 이용하여 각 카메라로부터 실시간으로 영상 스트림을 획득하였다. 영상 인코딩 단계에서는 영상 획득과 영상 스티칭 모듈 간의 전송 리소스를 줄이기 위하여 멀티 스레드를 이용한 Raw Frame 메모리 전송과 병렬 인코딩을 하였다. 영상 스티칭 단계에서는 스티칭 Calibration 전처리작업을 통하여 스티칭 실시간성을 확보하였다.

• 한국통신학회논문지
• /
• 제39C권10호
• /
• pp.957-966
• /
• 2014

Video Stabilization For Vehicular Applications Is An Important Method Of Removing Unwanted Shaky Motions From Unstable Videos. In This Paper, An Improved Video Stabilization Method With Image Stitching Has Been Proposed. Scale Invariant Feature Transform (Sift) Matching Is Used To Calculate The New Position Of The Points In Next Frame. Image Stitching Is Done In Every Frame To Get Stabilized Frames To Provide Stable Video As Well As A Better Understanding Of The Previous Frame'S Position And Show The Surrounding Objects Together. The Computational Complexity Of Sift (Scale-Invariant Feature Transform) Is Reduced By Reducing The Sift Descriptors Size And Resticting The Number Of Keypints To Be Extracted. Also, A Modified Matching Procedure Is Proposed To Improve The Accuracy Of The Stabilization.

• 디지털융복합연구
• /
• 제16권2호
• /
• pp.335-341
• /
• 2018

본 연구는 두 개의 어안렌즈로 구성된 이안식 일체형 $360^{\circ}$ 카메라로 촬영한 영상의 효율적인 스티칭 기법에 관한 연구이다. 먼저, 기본적으로 제공되는 번들 프로그램의 스티칭 결과물의 문제점을 찾아보고, 전문 스티칭 프로그램인 Autopano Video Pro와 Autopano Giga를 사용한 스티칭 결과를 비교 분석하여, 보다 효율적이고 완성도 높은 스티칭 기법을 찾아내는 것에 중점을 두고 연구하였다. 그 결과 번들 프로그램의 문제점으로는 수평과 수직의 왜곡, 노출과 컬러의 불일치, 그리고 매끄럽지 못한 스티칭 라인 등이 나타났으며, Autopano Video Pro와 Autopano Giga의 Automatic Horizon과 Verticals Tool로 수평과 수직을, Levels와 Color 및 Edit Color Anchors로 노출과 컬러를, 그리고 Mask 기능으로 스티칭 라인의 문제를 해결할 수 있었다. 본 연구를 바탕으로 향후 이안식 일체형 $360^{\circ}$ 카메라 촬영 영상의 효율적인 스티칭 기법으로 더욱 완성도 높은 $360^{\circ}$ VR 영상 콘텐츠를 제작할 수 있을 것으로 기대한다.

• 방송공학회논문지
• /
• 제25권5호
• /
• pp.685-697
• /
• 2020

파노라마(Panorama) 및 360도 영상과 같은 몰입형(Immersive) 미디어 영상은 영상 내 공간을 사용자가 직접 방문한 것 같은 현장감을 제공해야하므로 실제 세계의 모습을 사실 그대로 나타낼 수 있어야 한다. 그러나 파노라마 및 360도 영상에서는 촬영 카메라들간의 시차(Parallax)로 인해 사물이 사라지거나 중복해서 나타나는 현상이 나타나며, 이와 같은 시차 왜곡은 사용자의 콘텐츠 몰입을 방해할 수 있다. 이에 따라서, 시차 왜곡을 극복하기 위한 많은 동영상 스티칭 알고리즘이 제안되고 있지만, Object detection 모듈의 낮은 성능과 Seam 생성 방식 등의 제한으로 여전히 시차 왜곡이 발생하고 있다. 이에 본 논문에서는 기존 동영상 스티칭 기술의 제한 사항을 분석하고, 해당 동영상 스티칭 기술의 제한을 극복하기 위하여 LDPM(Local Differential Pixel Mean) 영상 평가를 활용한 동영상 스티칭의 시차 왜곡 검출 및 정정 방법을 제안한다.

• 방송공학회논문지
• /
• 제22권1호
• /
• pp.51-61
• /
• 2017

본 논문은 수평을 유지하여 촬영해야 한다는 기존 이미지 스티칭을 이용한 영상 정합 과정의 단점을 극복하기 위하여, 스마트폰의 가속도 센서와 자기장 센서 데이터를 사용하여 3가지 자유도(3 DoF)에 강인한 이미지 스티칭 방법을 제안한다. 이미지를 붙이는 작업인 이미지 스티칭은 크게 이미지 특징점 추출, 추출된 특징점에서 매칭에 필요한 참인 점(inlier)을 선별, 참인 점을 호모그래피(homography) 행렬로 변환, 호모그래피 행렬을 사용하여 이미지를 왜곡(warping), 왜곡된 이미지와 다른 이미지를 합하는 과정으로 이루어져 있다. 본 논문에서는 일반적으로 사용하는 SIFT, SURF 등의 알고리즘뿐만 아니라 MPEG에서 표준화한 MPEG-7 CDVS(Compact Descriptor for Visual Search) 표준의 특징점 추출 알고리즘을 사용하여 이미지의 특징점을 추출한다. 또한 각 알고리즘의 특징점 추출시간, 추출된 특징점 개수, 선별된 참인 점의 개수를 비교하고, 스티칭 정확도를 판단하여 본 연구에서 활용한 데이터에 어느 알고리즘이 효율적인지 살펴본다.

• 한국통신학회논문지
• /
• 제39C권6호
• /
• pp.503-511
• /
• 2014

본 논문에서는 사용자가 하나의 화면을 가진 장치에서 원하는 여러 비디오 콘텐츠를 동시에 볼 수 있도록 하는 새로운 실시간 H.264/AVC 압축 영역에서의 영상 합성 알고리즘을 제안한다. 본 논문에서 제안하는 알고리즘은 사용자의 요청에 따른 다수 비트스트림들을 압축 영역에서의 하나의 비트열으로 합성한다. 즉, 압축 영역에 있는 다수 영상들의 경계면에 있는 매크로블록들에 대해서 화면 내 예측 모드와 화면 간 예측 MVD를 다시 계산하고 변환 오차 계수 테이블을 수정 하여 경계 매크로블록 확정하는 방법, 영상의 나머지 부분에서 매크로블록 데이터를 단순히 복사하는 방법으로 이뤄진다. 실험 결과, 제안 알고리즘은 480p 크기의 4개 영상을 1초에 103장 이상 합성할 수 있어, 실시간 적용의 가능함을 보여주고 있다.

• 방송공학회논문지
• /
• 제24권1호
• /
• pp.142-152
• /
• 2019

기존 방송 콘텐츠 대비 더욱 생생한 현장감을 주는 초고해상도 콘텐츠에 대한 관심이 증가하고 있다. 하지만 기존의 방송 서비스에서 초고해상도 콘텐츠를 제공하기 위해서는 영상 획득 장치의 화각 및 개별 해상도 한계가 있다. 이러한 문제를 해결하기 위해 여러대의 입력 장치를 통한 영상합성 방법인 스티칭에 대한 연구가 다수 진행되고 있다. 본 논문에서는 기존 스티칭 연구에서의 단점 중 하나인 수평방향으로 촬영된 영상들 정합과정에서 이동하는 물체의 시불변성 훼손을 극복하기 위해, 최소 오류 경계를 활용한 동적 물체 기반 동영상 정합 방안을 제안한다.

• ETRI Journal
• /
• 제44권1호
• /
• pp.62-72
• /
• 2022

In this study, we propose a multi-GPU-based 8KVR stitching system that operates in real time on both local and cloud machine environments. The proposed system first obtains multiple 4 K video inputs, decodes them, and generates a stitched 8KVR video stream in real time. The generated 8KVR video stream can be downloaded and rendered omnidirectionally in player apps on smartphones, tablets, and head-mounted displays. To speed up processing, we adopt group-of-pictures-based distributed decoding/encoding and buffering with the NV12 format, along with multi-GPU-based parallel processing. Furthermore, we develop several algorithms such as equirectangular projection-based color correction, real-time CG overlay, and object motion-based seam estimation and correction, to improve the stitching quality. From experiments in both local and cloud machine environments, we confirm the feasibility of the proposed 8KVR stitching system with stitching speed of up to 83.7 fps for six-channel and 62.7 fps for eight-channel inputs. In addition, in an 8KVR live streaming test on the 5G MEC/cloud, the proposed system achieves stable performances with 8 K@30 fps in both indoor and outdoor environments, even during motion.

• 한국통신학회논문지
• /
• 제40권7호
• /
• pp.1387-1394
• /
• 2015

네트워크 전송 기술의 발달에 따라 IPTV 시장이 급격히 성장하고 있다. 또한 더 좋은 서비스를 사용자에게 제공하는 UHD급 방송 및 UX가 주목 받고 있다. 반면에 기존 UX와 차별화 된 사용자 경험을 극대화 할 수 있는 기술에 대한 연구는 많이 진행되지 않고 있다. 따라서 본 논문에서는 사용자가 한 화면에서 여러 채널 및 비디오 콘텐츠를 동시에 시청할 수 있는 멀티뷰 서비스와 이를 수행하는 저복잡도 구문 수준 영상합성 기술을 제안한다. 실험 결과, 제안 알고리즘은 Full-HD 해상도를 가진 4개 영상, UHD급 영상을 1초에 80장 이상 합성할 수 있어, 실시간 적용이 가능함을 보여준다.