• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 추계학술대회
• /
• pp.71-73
• /
• 2015

본 논문에서는 여러 대의 Microsoft Kinect 와 NVidia 사의 GPGPU 라이브러리 CUDA 를 사용하여 실시간 Free Viewpoint TV System 을 제안한다. Kinect 로부터 얻어진 컬러 및 깊이 영상을 통하여 두 카메라 사이의 가상시점에서 영상을 실시간으로 출력하는 시스템을 설계한다. 이 과정에서 많은 연산량을 요구하는 좌표계 변환 과정과 IR 패턴의 간섭문제를 해결하기 위해 사용되는 Nearest Neighbor 홀 채움 방식을 CUDA 를 이용해 병렬화시켰다. 실험 결과 CUDA 를 이용해 구성한 시스템이 기존의 CPU 만을 이용해 구성한 시스템보다 같은 시간 동안 더 많은 합성영상을 만들 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 하계학술대회
• /
• pp.122-124
• /
• 2015

본 논문에서는 Microsoft 에서 나온 여러 대의 Kinect 를 이용하여 Free Viewpoint TV System 을 구현해 보고자 한다. Kinect 로부터 얻어진 색상 영상과 깊이 영상을 통하여, 실시간으로 두 대의 카메라 사이에서의 가상시점에서 영상이 출력되는 시스템을 설계한다. 또한, 여러 대의 Kinect 를 이용할 때, 간섭현상으로 인해 IR 패턴을 제대로 인식하지 못하여 홀이 생성되는 문제점을 확인하고, Nearest Neighbor 방식과 Inpainting 기법을 사용하여 홀을 제거하는 방식을 소개한다. 실험 결과, 홀의 주변과 비슷한 값으로 홀을 채울 수 있었지만, 홀의 크기에 따라 Edge 경계가 부정확해 지는 현상을 확인할 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2006년도 학술대회
• /
• pp.41-43
• /
• 2006

FTV (Free Viewpoint TV, 자유시점 TV)는 사용자들이 원하는 시점을 자유자재로 결정할 수 있는 차세대 TV이다. 또한 영상 획득 시 카메라가 위치하지 않은 새로운 시점을 만들 수 있다. 따라서 FTV는 개인, 산업, 사회, 의학. 사회 분야의 유망한 응용이 될 수 있다. Ray-space에 의한 데이터 표현은 FTV를 위한 데이터 포맷의 한 후보가 될 수 있으며, 실시간으로 임의시점의 영상을 구성하는 데에 있어서 우수한 장점을 가지고 있다. Ray-space에서 사용하는 기법은 컴퓨터 그래픽스가 아니라 순수한 신호 처리 방식이다. 스케일러블 구조, 계층적 구조가 Ray-space로 표현 가능하므로, Ray-space는 비디오 처리의 새로운 플랫폼을 구성할 수 있고 비디오의 개념을 확장할 수 있다. 본 논문에서는 Ray-space 데이터를 이용하여 임의 시점 영상을 생성하기 위해 기존의 보간(interpolation) 기법을 보완한 새로운 기법을 제안함으로써, 보다 자연스러운 영상을 얻고자 하는데 목적이 있다.

• 디지털산업정보학회논문지
• /
• 제7권2호
• /
• pp.91-100
• /
• 2011

Free viewpoint TV can provide multi-angle view point images for viewer needs. In the real world, But all angle view point images can not be captured by camera. Only a few any angle view point images are captured by each camera. Group of the captured images is called multi-view image. Therefore free viewpoint TV wants to production of virtual sub angle view point images form captured any angle view point images. Interpolation methods are known of this problem general solution. To product interpolated view point image of correct angle need to depth image of multi-view image. Unfortunately, multi-view video including depth image is necessary to develop a new compression encoding technique for storage and transmission because of a huge amount of data. Layered depth image is an efficient representation method of multi-view video data. This method makes a data structure that is synthesis of multi-view color and depth image. This paper proposed enhanced compression method using layered depth image representation and H.264/AVC video coding technology. In experimental results, confirmed high compression performance and good quality reconstructed image.

• 한국전자통신학회논문지
• /
• 제10권2호
• /
• pp.233-238
• /
• 2015

본 논문에서는 FTV(Free-viewpoint TV) 서비스에서, 몰입도를 향상시킬 수 있는 유효 잡음 이용 입체 음향효과 방법을 제안한다. 농구장에서 초지향성 마이크 및 무선 마이크를 사용하여 선수와 심판의 연속적인 음향 정보를 획득함으로써 주파수 스펙트럼을 관찰하였으며, 스펙트럼을 분석하여 시청자가 Zoom-in을 할 경우, 유효 주파수 여부를 판단하였다. 따라서 FTV 서비스에서 시청자가 피사체를 향해 Zoom-in 시, 제거대상이었던 잡음을 활용할 필요가 있음을 제시하였다. 본 연구는 향후 FTV의 입체 음향 연구에 활용될 것으로 기대된다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 IWAIT
• /
• pp.583-587
• /
• 2009

In this paper we propose a new method of Depth-Image-Based Rendering (DIBR) for Free-viewpoint TV (FTV). In the proposed method, virtual viewpoint images are rendered with 3D warping instead of estimating the view-dependent depth since depth estimation is usually costly and it is desirable to eliminate it from the rendering process. However, 3D warping causes some problems that do not occur in the method with view-dependent depth estimation; for example, the appearance of holes on the rendered image, and the occurrence of depth discontinuity on the surface of the object at virtual image plane. Depth discontinuity causes artifacts on the rendered image. In this paper, these problems are solved by reconstructing disparity information at virtual camera position from neighboring two real cameras. In the experiments, high quality arbitrary viewpoint images were obtained.

• 전기전자학회논문지
• /
• 제20권1호
• /
• pp.31-44
• /
• 2016

본 논문에서는 자유 시점 텔레비전에서 시점 합성 영상 획득을 위해 시공간적 배경 정보 추정 기반 홀 채움 방식을 제안한다. 신뢰할 수 있는 시간적 배경 정보를 획득하기 위해 새로운 배경 코드북의 구성 및 갱신하는 과정을 수행한다. 더불어, 공간적인 국부 배경 정보 추정을 위해 홀 영역의 배경 및 전경 영역의 구별 및 갱신 과정을 수행한다. 추정된 시공간 배경 정보를 조합하여 홀 채움 과정을 수행하고, 잔여 홀 채움을 수행하기 위해 깊이 배경 정보를 이용한 우선순위 함수를 결정하여 표본 기반 인페인팅 기법을 적용한다. 실험 결과를 통해 제안 방식은 기존방식들과 비교하여 평균 0.3~0.6dB의 성능 향상이 있음을 확인하였으며, 동영상 특성 및 홀 형태에 관계없이 제안된 방식이 새로운 시점 영상을 효과적으로 합성할 수 있음을 확인할 수 있었다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2005년도 추계종합학술대회
• /
• pp.375-378
• /
• 2005

The multi-view video is a collection of multiple videos capturing the same scene at different viewpoints. The multi-view video can be used in various applications, including free viewpoint TV and three-dimensional TV. Since the data size of the multi-view video linearly increases as the number of cameras, it is necessary to compress multi-view video data for efficient storage and transmission. The multi-view video can be coded using the concept of the layered depth image (LDI). In this paper, we describe a procedure to generate LDI from the natural multi-view video and present a method to encode multi-view video using the concept of LDI.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2010년도 하계학술대회
• /
• pp.248-249
• /
• 2010

본 논문에서는 최근 국내 및 국제 표준화 작업이 활발히 진행되고 있는 3DV/FTV(Free viewpoint TV)를 위한 코딩에 대하여 알아본다. 먼저 기존의 2D 영상 코딩 방법을 사용하여 Texture와 Depth를 코딩하고, 복원한 영상을 사용하여 가상시점 영상을 합성하여, 코딩된 영상의 품질과 합성된 영상의 품질 사이의 관계에 대해서 알아본 후, 고품질 3DV/FTV 서비스를 위해 고려해야 할 사항들에 대하여 살펴본다.

• Journal of Multimedia Information System
• /
• 제1권1호
• /
• pp.1-10
• /
• 2014

In this paper, we propose a new view synthesis technique for coding of multi-view color and depth data in arbitrary camera arrangements. We treat each camera position as a 3-D point in world coordinates and build clusters of those vertices. Color and depth data within a cluster are gathered into one camera position using a hierarchical representation based on the concept of layered depth image (LDI). Since one camera can cover only a limited viewing range, we set multiple reference cameras so that multiple LDIs are generated to cover the whole viewing range. Therefore, we can enhance the visual quality of the reconstructed views from multiple LDIs comparing with that from a single LDI. From experimental results, the proposed scheme shows better coding performance under arbitrary camera configurations in terms of PSNR and subjective visual quality.