• 방송공학회논문지
• /
• 제22권6호
• /
• pp.850-853
• /
• 2017

본 논문에서는 초광각 카메라를 활용한 전방위 영상 및 객체 추적 결과 영상 표출을 통한 영상 분석 시스템을 제안한다. 구형 전방위 영상 생성을 위해 광각 영상 두 개에서 equirectangular 파노라마 영상으로의 projection 과정을 거쳤고, 구면 좌표계 변환식을 사용하여 구형 영상으로 표출하였다. 객체 추적은 원하는 객체를 초기에 선택하는 방식으로 수행되었으며, equirectangular 영상 내 왜곡으로 인한 객체 형태 변화에도 강인한 객체 추적이 이루어질 수 있도록 KCF(Kernelized Correlation Filter) 알고리즘을 사용하였다. 초기 다이얼로그에서는 파일 및 모드를 선택하고, 이후 새 다이얼로그에서 구형 영상 매핑 수행 결과 영상이 표출되도록 하였으며, 객체 추적 모드를 선택한 경우 새로운 창에서 원하는 영역을 드래그하여 ROI를 설정한 뒤, 이를 매 프레임마다 추적할 수 있도록 하였다.

• IEIE Transactions on Smart Processing and Computing
• /
• 제6권2호
• /
• pp.102-108
• /
• 2017

Videos for 360-degree virtual reality (VR) systems have a large amount of data because they are made with several different videos from multiple cameras. To store the VR data in limited space or to transmit it through a channel with limited bandwidth, the data need to be compressed at a high ratio. This paper focuses on the compression efficiency of VR videos for good visual quality. Generally, 360-degree VR videos should be projected into the planer format to cope with modern video coding standards. Among various projection schemes, three typical schemes (equirectangular, line-cubic, and cross-cubic) are selected and compared in terms of compression efficiency and quality using various videos.

• 방송공학회논문지
• /
• 제25권3호
• /
• pp.374-385
• /
• 2020

본 논문에서 Equirectangular Projection(ERP) 영상으로 행동 인식을 할 때의 문제점들을 해결할 수 있는 전처리 기법을 제안한다. 본 논문에서 제안하는 전처리 기법은 사람 객체를 행동의 주체 즉, Object of Interest(OOI)로 가정하고, OOI의 주변 영역을 ROI로 가정한다. 전처리 기법은 3개의 모듈로 이루어져 있다. I) 객체 인식 모델로 영상 내 사람 객체를 인식한다. II) 입력 영상에서 saliency map을 생성한다. III) 인식된 사람 객체와 saliency map을 이용하여 행동의 주체를 선정한다. 이후 행동 인식 모델에 선정된 행동의 주체 boundary box를 입력하여 행동 인식 성능을 높인다. 제안하는 전처리기법을 사용한 데이터를 행동 인식 모델에 입력한 방법의 성능과 원본 ERP 영상을 입력한 방법의 성능을 비교하였을 때 최대 99.6%의 성능 향상을 보이며, OOI가 감지되는 프레임만을 추출하였을 때 행동 관련 영상 요약의 효과도 볼 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 추계학술대회
• /
• pp.252-255
• /
• 2019

본 논문에서 Equirectangular projection(ERP) 영상을 행동 인식 모델에 입력하기전 제안하는 전처리를 통하여 성능을 향상시키는 것을 보인다. ERP 영상의 특성상 행동 인식을 하는데 불필요한 영역이 일반적인 2D 카메라로 촬영한 영상보다 많다. 또한 행동 인식은 사람이 Object of Interest(OOI)이다. 따라서 객체 인식모델로 인간 객체를 인식한 후 Region of Interest(ROI)를 추출하여 불필요한 영역을 없애고, 왜곡 또한 줄어든다. 본 논문에서 제안하는 기법으로 전처리 후 CNN-LSTM 모델로 성능을 테스트했다. 제안하는 방법으로 전처리를 한 데이터와 하지 않은 데이터로 행동 인식을 한 정확도로 비교하였으며 제안하는 기법으로 전처리 한 데이터로 행동 인식을 한 경우 데이터의 특성에 따라 다르지만, 최대 61%까지 성능향상을 보였다.

• ETRI Journal
• /
• 제44권1호
• /
• pp.62-72
• /
• 2022

In this study, we propose a multi-GPU-based 8KVR stitching system that operates in real time on both local and cloud machine environments. The proposed system first obtains multiple 4 K video inputs, decodes them, and generates a stitched 8KVR video stream in real time. The generated 8KVR video stream can be downloaded and rendered omnidirectionally in player apps on smartphones, tablets, and head-mounted displays. To speed up processing, we adopt group-of-pictures-based distributed decoding/encoding and buffering with the NV12 format, along with multi-GPU-based parallel processing. Furthermore, we develop several algorithms such as equirectangular projection-based color correction, real-time CG overlay, and object motion-based seam estimation and correction, to improve the stitching quality. From experiments in both local and cloud machine environments, we confirm the feasibility of the proposed 8KVR stitching system with stitching speed of up to 83.7 fps for six-channel and 62.7 fps for eight-channel inputs. In addition, in an 8KVR live streaming test on the 5G MEC/cloud, the proposed system achieves stable performances with 8 K@30 fps in both indoor and outdoor environments, even during motion.