• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 IWAIT
• /
• pp.727-731
• /
• 2009

In this paper, we propose a method to generate a free viewpoint image using multi-viewpoint images which are taken by cameras arranged circularly. In past times, we have proposed the method to generate a free viewpoint image based on Ray-Space method. However, with that method, we can not generate a walk-through view seen from a virtual viewpoint among objects. The method we propose in this paper realizes the generation of such view. Our method gets information of the positions of objects using shape from silhouette method at first, and selects appropriate cameras which acquired rays needed for generating a virtual image. A free viewpoint image can be generated by collecting rays which pass over the focal point of a virtual camera. However, when the requested ray is not available, it is necessary to interpolate it from neighboring rays. Therefore, we estimate the depth of the objects from a virtual camera and interpolate ray information to generate the image. In the experiments with the virtual sequences which were captured at every 6 degrees, we set the virtual camera at user's choice and generated the image from that viewpoint successfully.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 IWAIT
• /
• pp.583-587
• /
• 2009

In this paper we propose a new method of Depth-Image-Based Rendering (DIBR) for Free-viewpoint TV (FTV). In the proposed method, virtual viewpoint images are rendered with 3D warping instead of estimating the view-dependent depth since depth estimation is usually costly and it is desirable to eliminate it from the rendering process. However, 3D warping causes some problems that do not occur in the method with view-dependent depth estimation; for example, the appearance of holes on the rendered image, and the occurrence of depth discontinuity on the surface of the object at virtual image plane. Depth discontinuity causes artifacts on the rendered image. In this paper, these problems are solved by reconstructing disparity information at virtual camera position from neighboring two real cameras. In the experiments, high quality arbitrary viewpoint images were obtained.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 1부
• /
• pp.772-774
• /
• 2008

저 사양 HMD(Head Mounted Display)를 사용하는 가상 환경 네비게이션 시스템은 true-color 이미지를 제한 된 색으로 표현 할 때 이미지를 양자화 해야 한다. 그러한 시스템은 고정된 팔래트를 이용하여 전체적으로 이미지를 양자화하고 사용자에게 주로 이미지의 일부분(시선영역)을 보여준다. 인간의 눈은 시선영역의 색변화에 민감하고 HMD를 통해 이미지의 일부분만을 보기 때문에 시선영역의 색 만을 고려하여 동적으로 팔래트를 생성하고 이을 이용하여 이미지를 양자화 한다면 사용자는 가상 환경을 보다 생동감 있게 느낄 수 있다. 본 논문에서는 사용자가 가상환경을 보다 생동감 있게 느끼게 하기 위한 동적 팔래트의 생성속도 개서 방안을 제안하고 제안 방법을 이용하여 가상환경 네비게이션 시스템을 구성하였다. 네비게이션 시스템은 사용자의 시선영역이 변할 때 마다 팔래트를 생성하고 이미지를 양자화 하여 HMD를 통해 사용자에게 양자화된 이미지를 보여준다. 본 논문에서는 제안 방법을 이용한 시스템의 선호도를 조사 하였으며 대부분의 사용자가 제안 방법을 이용한 시스템을 선호 하였다.

• 한국컴퓨터정보학회논문지
• /
• 제12권4호
• /
• pp.53-59
• /
• 2007

저 사양 HMD(Head Mounted Display)를 사용하는 가상 환경 네비게이션 시스템은 true-color 이미지를 제한 된 색으로 표현 할 때 이미지를 양자화 해야 한다. 그러한 시스템은 고정된 팔래트를 이용하여 이미지를 양자화 한다. 인간의 눈은 시선부분의 색변화에 민감하기 때문에 시선부분의 색을 고려하여 동적으로 팔래트를 생성하고 이를 이용하여 이미지를 양자화 한다면 사용자는 가상 환경을 보다 생동감 있게 느낄 수 있다. 본 논문에서는 사용자가 가상환경을 보다 생동감 있게 느끼게 하기 위한 컬러 양자화 방법을 제안하고 제안 방법을 이용하여 가상환경 네비게이션 시스템을 구성하였다. 네비게이션 시스템은 사용자의 시선이 변할 때 마다 이미지를 양자화 하여 HMD를 통해 사용자에게 양자화된 이미지를 보여준다. 본 논문에서는 제안 방법을 이용한 시스템의 선호도를 조사 하였으며 대부분의 사용자가 제안 방법을 이용한 시스템을 선호 하였다.

• Journal of Electrical Engineering and Technology
• /
• 제11권4호
• /
• pp.1003-1011
• /
• 2016

In this paper, a new algorithm by using 3D warping technique to effectively fill holes that are produced when creating a virtual-viewpoint image is proposed. A hole is defined as the region that cannot be seen in the reference view when a virtual view is created. In the proposed algorithm, to reduce the blurring effect that occurs on the hole region filled by conventional algorithms and to enhance the texture quality of the generated virtual view, Exemplar Based In-painting algorithm is used. The boundary noise which occurs in the initial virtual view obtained by 3D warping is also removed. After 3D warping, we estimate the relative location of the background to the holes and then pixels adjacent to the background are filled in priority to get better result by not using only adjacent object's information. Also, the temporal inconsistency between frames can be reduced by expanding the search region up to the previous frame when searching for most similar patch. The superiority of the proposed algorithm compared to the existing algorithms can be shown through the experimental results.

• 한국컴퓨터정보학회논문지
• /
• 제13권1호
• /
• pp.169-173
• /
• 2008

저 사양 HMD(Head Mounted Display)를 사용하는 가강 환경 네비게이션 시스템은 true-color 이미지를 제한 된 색으로 표현 할 때 이미지를 양자화 해야 한다. 그러한 시스템은 고정된 팔래트를 이용하여 전체적으로 이미지를 양자화하고 사용자에게 주로 이미지의 일부분(시선영역)을 보여준다. 인간의 눈은 시선영역의 색변화에 민감하고 HMD를 통해 이미지의 일부분만을 보기 때문에 시선영역의 색만을 고려하여 동적으로 팔래트를 생성하고 이를 이용하여 이미지를 양자화 한다면 사용자는 가상 환경을 보다 생동감 있게 느낄 수 있다. 본 논문에서는 사용자가 가상환경을 보다 생동감 있게 느끼게 하기 위한 동적 팔래트 생성 방법을 제안한다.

• 한국통신학회논문지
• /
• 제34권12C호
• /
• pp.1154-1166
• /
• 2009

본 논문에서는 다시점 동영상을 이용한 기저선(baseline)상의 가상시점 영상 생성과 기저선상 외의 가상시점 영상 생성을 위한 기법을 제안한다. 제안한 기법에서는 가상 시점을 생성하기 위하여 영상의 깊이(depth)정보와 고정된 카메라의 기하학적 특성을 이용한 3차원 워핑(warping) 방법을 적용한다. 영상의 실제 3차원 좌표는 영상의 깊이 정보와 카메라의 기하학적 특성을 이용하여 산출되고, 산출된 3차원 좌표는 임의 위치의 가상 카메라에 투영(projection)되어 2차원의 가상 시점 영상이 생성된다. 제안한 방법에 의해 생성된 기저선상의 중간시점 영상은 기존의 방법으로 생성된 중간시점 영상보다 PSNR이 0.5dB 이상 향상된 결과를 나타내었고, 기저선상 외의 가상 시점 영상에서 나타나는 많은 미처리 영역을 보다 효과적으로 처리하여 가상시점 영상을 생성할 수 있었다.

• 한국통신학회논문지
• /
• 제37권1A호
• /
• pp.57-63
• /
• 2012

본 논문에서는 양안식 3차원 디스플레이 장치에 사용가능한 실시간 가상시점 영상을 생성방법을 제안한다. 제안하는 방법은 변이 탐색 (disparity estimation) 과정에서 중복되거나 불필요한 계산을 제거하기 위해, 변이맵 탐색 위치를 가상시점과 동일한 위치로 설정한다. 또한, 전역 방법을 사용한 변이맵 탐색 과정은 정확도는 높지만 복잡한 계산량이 문제이기 때문에 최적화 과정에서 변이값이 수렴하는 위치를 탐색하고 정보 갱신을 멈추는 방법을 사용하였다. 이렇게 얻어진 가상시점의 변이맵은 실제 참조가 가능한 영역인지 판단하는 수렴 조건 판단 (convergence check) 절차를 거쳐 영상을 합성한다. 영상 합성을 위한 모든 과정은 실시간 처리를 위하여 단일 명령 복수 쓰레드 (Single Instruction Multiple Threads) 구조인 그래픽 처리장치(GPU)를 활용한 프로그래밍을 통해 고속화를 이루었다. 실험 결과를 통해 제안하는 방법이 합성 영상의 화질을 유지하면서도 실시간으로 가상시점 영상을 합성한 것을 확인할 수 있었다.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2001년도 ICCAS
• /
• pp.167.6-167
• /
• 2001

The cylindrical environment maps of image-based representation methods make high-quality, simple and low-price real-time navigation possible. In this paper, we propose a method to navigate from one viewpoint to the next in the virtual inside space, composed of several cylindrical environment maps. Our system is classified into the two modules. first of all, the panoramic image viewer that employs the rotation and zoom-in/out methods to navigate the virtual inside space, such as the Quicklime VR. The other is smooth real-time navigation using cubic mesh interpolation when the viewpoint moves from one environment map to another in the virtual space.

• 스마트미디어저널
• /
• 제1권3호
• /
• pp.29-35
• /
• 2012

깊이영상기반 렌더링(depth image-based rendering, DIBR)이란 색상 영상과 각 화소에 대응하는 거리 정보로 이루어진 깊이 영상(depth map)을 이용하여 가상 시점에서의 영상을 합성하는 기술을 말한다. DIBR을 이용하면 3차원 TV에 적합한 컨텐츠를 생성할 수 있지만, 가상 시점에서의 영상을 합성하는 과정에서 원영상에 존재하지 않는 영역, 즉, 비폐색(disocclusion) 영역이 드러나는 등 여러 가지 문제가 발생한다. 본 논문에서는 구조광으로 깊이 정보를 획득하는 Kinect 깊이 카메라를 이용한 가상시점 영상생성 기술을 제안한다. 깊이 카메라로부터 색상 영상과 그에 대응하는 깊이 영상을 획득한 다음, 깊이 영상에 대한 전처리 기술을 수행한다. 전처리가 끝난 깊이 영상은 중간 시점으로 워핑되고, 워핑 과정에서 발생하는 절삭 오차를 제거하기 위해 Median 필터링을 적용한다. 그런 다음, 색상 영상은 워핑된 깊이 영상의 깊이 값을 사용해서 중간 시점으로 워핑된다. 비폐색(disocclusion) 영역을 채우기 위해 배경 기반의 인페인팅 기술을 적용한다. 실험 결과를 통해, 본 논문에서 제안한 방법이 자연스러운 스테레오 영상을 생성한 것을 확인할 수 있었다.