• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권11호
• /
• pp.5506-5521
• /
• 2017

Three-dimensional video (3DV), as the new generation of video format standard, can provide the viewers with a vivid screen sense and a realistic stereo impression. Meanwhile the view synthesis has become an important issue for 3DV application. Differently from the conventional methods based on depth, in this paper we propose a new view synthesis algorithm, which can employ the correlation among views and warp in the image domain only. There are mainly two contributions. One is the incorporation of sobel edge points into feature extraction and matching, which can obtain a better stable homography and then a visual comfortable synthesis view compared to SIFT points only. The other is a novel image blending method proposed to obtain a better synthesis image. Experimental results demonstrate that the proposed method can improve the synthesis quality both in subjectivity and objectivity.

• ETRI Journal
• /
• 제44권1호
• /
• pp.51-61
• /
• 2022

In this paper, we introduced a novel voxel-wise UV parameterization and view-dependent texture synthesis for the immersive rendering of a truncated signed distance field (TSDF) scene model. The proposed UV parameterization delegates a precomputed UV map to each voxel using the UV map lookup table and consequently, enabling efficient and high-quality texture mapping without a complex process. By leveraging the convenient UV parameterization, our view-dependent texture synthesis method extracts a set of local texture maps for each voxel from the multiview color images and separates them into a single view-independent diffuse map and a set of weight coefficients for an orthogonal specular map basis. Furthermore, the view-dependent specular maps for an arbitrary view are estimated by combining the specular weights of each source view using the location of the arbitrary and source viewpoints to generate the view-dependent textures for arbitrary views. The experimental results demonstrate that the proposed method effectively synthesizes texture for an arbitrary view, thereby enabling the visualization of view-dependent effects, such as specularity and mirror reflection.

• Journal of information and communication convergence engineering
• /
• 제9권2호
• /
• pp.197-200
• /
• 2011

In this paper, we propose a multi-view stereoscopic image synthesis algorithm for 3DTV system using depth information with an RGB texture from a depth camera. The proposed algorithm synthesizes multi-view images which a virtual convergence camera model could generate. Experimental results showed that the performance of the proposed algorithm is better than those of conventional methods.

• 방송공학회논문지
• /
• 제13권6호
• /
• pp.859-874
• /
• 2008

본 논문은 3차원 디스플레이 시스템에서 카메라의 기하 정보 및 참조 영상들의 깊이 맵 정보가 주어졌을 때, 다수의 중간 시점 영상을 실시간으로 생성하는 고속 영상 합성 기법을 제안한다. 기본적으로 본 논문에서는 영상 합성 기법의 모든 과정을 GPU에 서 병렬 처리함으로써 고속화 할 수 있었다. 병렬처리를 이용한 고속화 효율을 높이기 위해 최근 NVIDIA사에서 발표한 $CUDA^{TM}$를 이용하였다. 영상 합성을 위한 모든 중간 과정을 CUDA로 처리하기 위해 병렬구조로 변환하고, GPU 상의 고속메모리의 사용을 극대화하고, 알고리즘 구현을 최적화함으로써 고속화 효율을 높일 수 있었다. 결과적으로 본 논문에서는 양안 영상과 깊이 지도를 이용하여 가로 720, 세로 480 크기의 9개의 시점 영상을 0.128초 이내에 생성할 수 있었다.

• Journal of Multimedia Information System
• /
• 제1권1호
• /
• pp.1-10
• /
• 2014

In this paper, we propose a new view synthesis technique for coding of multi-view color and depth data in arbitrary camera arrangements. We treat each camera position as a 3-D point in world coordinates and build clusters of those vertices. Color and depth data within a cluster are gathered into one camera position using a hierarchical representation based on the concept of layered depth image (LDI). Since one camera can cover only a limited viewing range, we set multiple reference cameras so that multiple LDIs are generated to cover the whole viewing range. Therefore, we can enhance the visual quality of the reconstructed views from multiple LDIs comparing with that from a single LDI. From experimental results, the proposed scheme shows better coding performance under arbitrary camera configurations in terms of PSNR and subjective visual quality.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2006년도 하계종합학술대회
• /
• pp.437-438
• /
• 2006

Virtual view synthesis is essential for 3DTV systems, which utilizes the motion parallax cue. In this paper, we propose a multi-step view synthesis algorithm to efficiently reconstruct an arbitrary view from limited number of known views of a 3D scene. We describe an efficient image rectification procedure which guarantees that an interpolation process produce valid views. This rectification method can deal with all possible camera motions. The idea consists of using a polar parameterization of the image around the epipole. Then, to generate intermediate views, we use an efficient dense disparity estimation algorithm considering features of stereo image pairs. Main concepts of the algorithm are based on the region dividing bidirectional pixel matching. The estimated disparities are used to synthesize intermediate view of stereo images. We use computer simulation to show the result of the proposed algorithm.

• 방송공학회논문지
• /
• 제24권2호
• /
• pp.273-280
• /
• 2019

360 비디오는 VR 응용의 확산과 함께 몰입형 미디어로 주목받고 있으며, MPEG-I Visual 그룹은 6 자유도(6DoF)까지의 몰입형 미디어를 제공하기 위한 표준화를 진행하고 있다. 제한된 공간내에서 전방위 6DoF를 제공하는 Omnidirectional 6DoF는 제공되는 제한된 수의 360 비디오로부터 임의의 위치에서의 뷰(view)를 제공하기 위한 가상시점 합성이 필요하다. 본 논문에서는 MPEG-I Visual 그룹에서 진행된 전방위 6DoF를 위한 합성에 대한 탐색실험의 성능 및 분석 결과를 기술한다. 즉, 합성하려는 가상시점과 합성을 위한 360 비디오의 입력시점 사이의 거리 및 입력시점의 개수 등의 다양한 실험조건에 따른 합성 성능 결과 및 분석을 제시한다.

• 한국통신학회논문지
• /
• 제34권11B호
• /
• pp.1303-1310
• /
• 2009

3차원 입체 영상을 디스플레이에 출력하려면, 여러 시점에서의 영상 정보가 필요하다. 여러 시점의 영상을 얻을 수 있는 가장 기본적인 방법은, 필요로 하는 시점의 개수와 동일 한 수의 카메라를 사용하는 것이다. 하지만 이를 위해서는 카메라간의 동기화 와 방대한 데이터 처리 및 전송 등의 현실적인 문제가 해결되어야 한다. 이러한 현실적인 문제를 해결하기 위해서 연구되고 있는 방법이 한정된 시점 영상을 이용하여 여러 중간 시점 영상을 생성하는 영상 기반의 임의 시점 합성 방법이다. 본 논문에서는 두 개의 기준 시점 영상과 각각의 깊이 정보가 주어줬음을 가정하고 주어진 정보를 바탕으로 이중의 순차적인 전방 사상을 통하여 목표로 하는 여러 다중 시점의 영상을 동시에 합성하는 방법을 제시한다. 제안된 방법은 좌우 기준 시점 영상의 평행 이동으로 가상 시점 영상을 생성 할 수 있으며, 평행 이동은 시점의 거리에 비례한 행렬간의 관계로 나타난다. 따라서 이중의 순차적인 전방 사상이라 함은 좌우 시점에서 가상 시점 거리에 따른 관계식을 통한 순차적인 양안 시점의 평행 이동을 의미한다. 이 때 전방 사상을 통해 생성되는 가상 시점 영상과 기준 시점 영상간의 기하관계가 시점간 거리에 비례하여 반복적이므로 이를 GPU 프로그래밍을 통해 병렬 처리를 통해 고속화 하는데 초점을 맞추었다.

• 방송공학회논문지
• /
• 제11권4호
• /
• pp.507-520
• /
• 2006

본 논문은 다중 카메라에서 얻은 영상과 그 영상으로부터 얻은 깊이영상(depth map)을 사용하여 중간시점에서의 영상을 생성하기 위하여 OpenGL 함수를 적용하는 방법을 소개한다. 기본적으로 영상기반 렌더링 방법은 카메라로 직접 얻은 영상을 그래픽 엔진에 적용하여 결과 영상을 생성하는 것을 의미하지만 주어진 영상 및 깊이정보를 어떻게 그래픽 엔진에 적용시키고 영상을 렌더링 하는지에 관한 방법은 잘 알려져 있지 않다. 본 논문에서는 카메라 정보로 물체가 생성될 공간을 구축하고, 구축된 공간 안에 색상영상과 깊이영상 데이터로 3차원 물체를 형성하여 이를 기반으로 실시간으로 중간영상 결과를 생성하는 방법을 제안하고자 한다. 또한, 중간영상에서의 깊이영상도 추출하는 방법을 소개하도록 하겠다.

• 한국통신학회논문지
• /
• 제34권10B호
• /
• pp.1070-1075
• /
• 2009

본 논문에서는 3차원 영상 생성을 위한 깊이맵 추정 및 중간시점 영상합성 방법을 제안한다. 제안하는 방법은 깊이맵의 시간적 상관도를 향상시키기 위해 깊이값을 추정하는 과정에서 기존의 정합 함수에 이전 프레임에서 추정한 깊이값을 고려하는 가중치 함수를 추가한다. 또한, 중간시점 영상을 합성하는 과정에서 발생하는 경계 잡음을 제거하는 방법을 제안한다. 중간시점 영상을 합성할 때, 비폐색 영역을 합성한 후 경계 잡음이 발생할 수 있는 영역을 비폐색 (disocclusion) 영역을 따라 구별한 다음, 잡음이 없는 참조 영상을 이용하여 경계 잡음을 처리한다. 컴퓨터 모의실험 결과를 통해 깊이맵의 시간적 상관도를 향상시켜서 사용자의 시각적 피로감을 줄일 수 있었고, 배경 잡음이 사라진 자연스러운 중간시점 영상을 생성할 수 있었다.