• Journal of the Institute of Electronics Engineers of Korea CI
• /
• v.49 no.3
• /
• pp.27-33
• /
• 2012

Tele-presence and tele-operation techniques are used to build up an immersive scene and control environment for the distant user. This paper presents a novel tele-presence system using the camera tracking based on planar homography. In the first step, the user wears the HMD(head mounted display) with the camera and his/her head motion is estimated. From the panoramic image by the omni-directional camera mounted on the mobile robot, a viewing image by the user is generated and displayed through HMD. The homography of 3D plane with markers is used to obtain the head motion of the user. For the performance evaluation, the camera tracking results by ARToolkit and the homography based method are compared with the really measured positions of the camera.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.417-419
• /
• 2011

근래 다양한 형태의 멀티미디어 콘텐츠가 광범위하게 소비됨에 따라 단방향의 평면적 콘텐츠가 제공하는 시점의 한계에서 벗어나 사용자에게 보다 다양한 시점의 영상을 제공함으로써 사용자가 원하는 시점을 선택할 수 있는 실감형 콘텐츠에 대한 욕구가 증가하고 있다. 이러한 실감형 콘텐츠 중 하나인 파노라마 영상은 다수의 카메라를 통해 획득된 영상들을 하나의 영상으로 이어 붙여 넓은 시야의 영상을 제공함으로써 증대된 현장감과 몰입감을 제공하며 사용자 시점의 자유도를 증가시킬 수 있다. 본 고에서는 다수 영상의 스티칭 시 발생하는 고스팅 영향(ghosting effect)를 최소화 하기 위한 칼럼 시차 최소화 (Column Disparity Minimaization)기반의 멀티밴드 블랜딩(Multiband blending)을 소개 하고자 한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 1998.10c
• /
• pp.550-552
• /
• 1998

스포츠 비디오는 역동적인 특성과 비정형적인 구조를 가지고 있으므로 뉴스와 같은 정형적인 비디오와는 달리 분석이 쉽지 않다. 본 논문에서는 이러한 어려움을 극복하기 위하여 축구 경기에서 하이라이트를 추출하여 색인하고 이에 대하여 선수 위치 추적, 파노라마 영상 구성, 경기장 모델 상에서의 선수 이동 궤적 도시 등을 수행하는 방법을 제안한다. 이를 위하여 제한된 색상의 HSV 영상을 구성하여 골대와 선수 위치를 추적하고, 움직임 벡터를 추출하여 카메라 동작을 분석하였으며 경기장 모델 구성을 위해 경기장 내의 특징점을 추출하여 투영 변환을 수행하였다. 실험 결과를 통해서 제안된 방법이 축구 경기 비디오 분석에 효율적으로 이용될 수 있음을 확인할 수 있다.

• Journal of Digital Contents Society
• /
• v.8 no.3
• /
• pp.365-370
• /
• 2007

This paper proposes a new algorithm that generates a panorama image for reconstruction of image-based virtual environment. Proposed algorithm can generate panorama image from input images using the projective transform based on the feature model and a fully immersive image-based virtual environment according to the user's view point by the sphere mapping. Especially, proposed algorithm supports robust methods of camera rotation and is applied to various images to estimate ist performance.

• The KIPS Transactions:PartB
• /
• v.8B no.4
• /
• pp.411-418
• /
• 2001

비디오 하이라이트(highlights)는 원래의 비디오 보다 짧고 많은 양의 의미를 갖는다. 기존의 파노라마 형태의 추상화 기법은 여러 프레임을 하나의 프레임으로 모자이크하는 형태이었고, TV 드라마 하이라이트 방법은 카메라의 이동이나 특수효과에 의존하기 때문에 스포츠 비디오에 적용은 부적합하다. 이 논문에서는 축구 비디오를 대상으로 시각정보와 자막을 이용하는 새로운 비디오 하이라이트 생성 방법과 이벤트 기반 비디오 인덱싱 방법을 제안한다. 하이라이트 생성은 하이라이트 생성 규칙에 따라 자막에 의해 추출된 TIT을 중심으로 시각정보에 의해 추출된 샷을 합성하여 생성하였고, 인덱싱은 자막으로 추출된 샷은 주요소로, 시각정보에 의해 추출된 샷은 부가적 요소로 구성하였다. 실험에서는 샷 추출기법 중 대표적인 컬러히스토그램과 $\chi$$^2$히스토그램과의 성능을 비교하여 제안한 하이라이트 기법이 다른 방식보다 우수함을 증명하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2018.10a
• /
• pp.504-508
• /
• 2018

최근 ICT 산업게는 가상현실에 주목하고 있다. 시공간의 제약을 극복하고 실제 체험하는것과 비슷한 효과를 제공하는 VR 콘텐츠는 향후 유통 분야에도 폭넓은 활용이 예상된다. 대부분의 O2O 서비스에서 사용하고 있는 VR 기술은 단순히 360도 파노라마 형식의 사진을 보여주거나 VR 카메라로 중계 방송을 하는 콘텐츠가 대부분이었다. 따라서 본 논문에서는 3차원 VR 영상 스트리밍 서비스를 이용한 콘텐츠를 O2O 부동산 중개 서비스에 접목하여 360VR 컨텐츠 확장 가능성을 제시하고자 한다.

• Journal of Korea Multimedia Society
• /
• v.24 no.4
• /
• pp.538-549
• /
• 2021

In this paper, we introduce a technique for 360-degree panoramic video streaming with multiple virtual cameras in real-time. The proposed technique consists of generating 360-degree panoramic video data by ORB feature point detection, texture transformation, panoramic video data compression, and RTSP-based video streaming transmission. Especially, the generating process of 360-degree panoramic video data and texture transformation are accelerated by CUDA for complex processing such as camera calibration, stitching, blending, encoding. Our experiment evaluated the frames per second (fps) of the transmitted 360-degree panoramic video. Experimental results verified that our technique takes at least 30fps at 4K output resolution, which indicates that it can both generates and transmits 360-degree panoramic video data in real time.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.847-850
• /
• 2022

최근 가상 현실(Virtual Reality), 파노라마(Panorama) 영상 등에 관한 관심과 수요가 증가함에 따라 고해상도 영상을 얻기 위한 영상 스티칭(Image Stitching)에 관한 연구가 활발하게 진행되고 있다. 영상 스티칭은 다수의 영상을 하나의 영상으로 합성해 카메라의 좁은 시야각 문제를 해결함으로써 사용자에게 몰입감과 현장감을 제공할 수 있는 기술이다. 영상 스티칭에 있어 특징점 추출 및 매칭 과정의 정확도는 스티칭 영상의 품질을 결정짓는 핵심적인 요소이지만, 기존의 특징점 추출 및 매칭 방법은 밝기가 어둡고 선명도가 낮은 영상의 스티칭에서 정확도가 저하될 수 있고 생성된 스티칭 영상의 품질 또한 저하될 수 있다는 제한 사항이 있다. 이에 본 논문에서는 앞선 제한적 영상에 대하여 특징점 추출 및 매칭의 정확도를 높여 스티칭 영상의 품질을 높이기 위하여 SuperPoint와 SuperGLUE를 활용한 입력 영상의 밝기 적응형 영상 스티칭 방법을 제안하고자 한다.

• Journal of Broadcast Engineering
• /
• v.25 no.5
• /
• pp.685-697
• /
• 2020

Immersive media videos, such as panorama and 360-degree videos, must provide a sense of realism as if the user visited the space in the video, so they should be able to represent the reality of the real world. However, in panorama and 360-degree videos, objects appear to overlap or disappear due to parallax between cameras, and such parallax distortion may interfere with immersion of the user's content. Accordingly, although many video stitching algorithms have been proposed to overcome parallax distortion, parallax distortion still occurs due to the low performance of the Object detection module and limitations of the Seam generation method. Therefore, this paper analyzes the limitations of the existing video stitching technology and proposes a method for detecting and correcting parallax distortion of video stitching using the LDPM (Local Differential Pixel Mean) image evaluation method that overcomes the limitations of the video stitching technique.

• Journal of the Korea Computer Graphics Society
• /
• v.23 no.5
• /
• pp.9-17
• /
• 2017

Filming using multiple cameras is required for the production of the multi-screen content. It can fill the viewer's field of view (FOV) entirely to provide an increased sense of immersion. In such a filming scenario, it is very important to monitor how images captured by multiple cameras are displayed as a single content or how the content will be displayed in an actual theatre. Most recent studies on creating the content of special format have been focused on their own purposes, such as stereoscopic and panoramic images. There is no research on content creation optimized for theatres that use three screens that are spreading recently. In this paper, we propose a novel content production system with a rig that can control three cameras and monitoring software specialized for multi-screen content. The proposed rig can precisely control the angles between the cameras and capture wide angle of view with three cameras. It works with monitoring software via remote communication. The monitoring software automatically aligned the content in real time, and the alignment of the content is updated according to the angle of camera rig. Futher, the producion efficiency is greatly improved by making the alignment information available for post-production.