• 한국콘텐츠학회논문지
• /
• 제13권10호
• /
• pp.62-70
• /
• 2013

DIBR(Depth Image Based Rendering)은 참조 영상 및 그와 관련된 깊이지도로부터 자유 시점의 영상을 생성하는 영상 합성 알고리즘이다. DIBR을 통한 영상 합성의 주요 난제 중 하나는 참조영상에서 가려져 있던 영역이 합성 시점에서 드러나게 되어 발생하는 홀의 처리 문제이다. 이를 위해 깊이지도 또는 시차지도의 전처리를 통해 홀의 크기 자체를 줄이기 위한 방안 및 발생된 홀 영역을 주위 신호를 이용하여 채우는 홀 채우기 알고리즘에 대한 연구가 활발히 진행되어 왔다. 일반적으로 홀의 크기를 줄이기 위한 방안으로는 깊이지도에 평활화를 적용하는 전처리 방식들이 주를 이룬다. 깊이지도를 평활화하면 큰 홀의 발생을 막을 수 있다는 장점을 갖게 되지만, 깊이 정보의 손실과 기하학적 왜곡이 발생한다는 단점 또한 동시에 나타난다. 본 논문에서는 이러한 단점을 극복하여 장면 합성 과정에서 발생하는 홀 채우기의 성능을 효과적으로 개선할 수 있는 시차지도 기반의 전처리 알고리즘을 제안한다.

• ETRI Journal
• /
• 제44권1호
• /
• pp.24-37
• /
• 2022

Virtual view synthesis, which generates novel views similar to the characteristics of actually acquired images, is an essential technical component for delivering an immersive video with realistic binocular disparity and smooth motion parallax. This is typically achieved in sequence by warping the given images to the designated viewing position, blending warped images, and filling the remaining holes. When considering 6DoF use cases with huge motion, the warping method in patch unit is more preferable than other conventional methods running in pixel unit. Regarding the prior case, the quality of synthesized image is highly relevant to the means of blending. Based on such aspect, we proposed a novel blending architecture that exploits the similarity of the directions of rays and the distribution of depth values. By further employing the proposed method, results showed that more enhanced view was synthesized compared with the well-designed synthesizers used within moving picture expert group (MPEG-I). Moreover, we explained the GPU-based implementation synthesizing and rendering views in the level of real time by considering the applicability for immersive video service.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2008년도 하계종합학술대회
• /
• pp.815-816
• /
• 2008

In this paper, we evaluate depth image preprocessing for 3D data service based on DIBR over T-DMB. We evaluate two preprocessing methods of depth images. These are gaussian smoothing and adaptive smoothing. The results show that adaptive smoothing is more suitable for images with sharp transition of depth.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2001년도 하계학술대회 논문집 D
• /
• pp.2818-2820
• /
• 2001

This paper presents the method of 3D reconstruction of the depth information from the endoscopic stereo scopic images. After camera modeling to find camera parameters, we performed feature-point based stereo matching to find depth information. Acquired some depth information is finally 3D reconstructed using the NURBS(Non Uniform Rational B-Spline) algorithm. The final result image is helpful for the understanding of depth information visually.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2001년도 ICCAS
• /
• pp.181.5-181
• /
• 2001

This paper presents the method of 3D reconstruction of the depth information from the endoscopic stereo scopic images. After camera modeling to find camera parameters, we performed feature-point based stereo matching to find depth information. Acquired some depth information is finally 3D reconstructed using the NURBS(Non Uniform Rational B-Spline) algorithm. The final result image is helpful for the understanding of depth information visually.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2002년도 ITC-CSCC -3
• /
• pp.1666-1669
• /
• 2002

In the process of creating architectural scenes from photographs using Model-based Stereo 〔1〕, the geometric model is used as prior information to solve correspondence problems and recover the depth or disparity of real scenes. This paper presents an Image Subregioning algorithm that divides left and right images into several rectangular sub-images. The division is done according to the estimated depth of real scenes using a Heuristic Approach. The depth difference between the reality and the model can be partitioned into each depth level. This reduces disparity search range in the Similarity Function. For architectural scenes with complex depth, experiments using the above approach show that accurate disparity maps and better results when rendering scenes can be achieved by the proposed algorithm.

• 한국컴퓨터정보학회논문지
• /
• 제26권3호
• /
• pp.51-57
• /
• 2021

본 논문에서는 카메라의 포커싱과 아웃포커싱에 의해 이미지에서 뿌옇게 표현되는 피사계 심도(Depth of field, DoF) 영역을 효율적인 합성곱 신경망을 통해 찾는 방법을 제안한다. 우리의 접근 방식은 RGB채널기반의 상호-상관 필터를 이용하여 DoF영역을 이미지로부터 효율적으로 분류하고, 합성곱 신경망 네트워크에 학습하기 위한 데이터를 구축하며, 이렇게 얻어진 데이터를 이용하여 이미지-DoF가중치 맵 데이터 쌍을 설정한다. 학습할 때 사용되는 데이터는 이미지와 상호-상관 필터 기반으로 추출된 DoF 가중치 맵을 이용하며, 네트워크 학습 단계에서 수렴률을 높이기 위해 스무딩을 과정을 한번 더 적용한 결과를 사용한다. 테스트 결과로 얻은 DoF 가중치 이미지는 입력 이미지에서 DoF영역을 안정적으로 찾아내며, 제안하는 방법은 DoF영역을 사용자의 ROI(Region of interest)로 활용하여 NPR렌더링, 객체 검출 등 다양한 곳에 활용이 가능하다.

• ETRI Journal
• /
• 제31권4호
• /
• pp.429-437
• /
• 2009

This paper proposes a novel technique for 3D scene relighting with interactive viewpoint changes. The proposed technique is based on a deep framebuffer framework for fast relighting computation which adopts image-based techniques to provide arbitrary view-changing. In the preprocessing stage, the shading parameters required for the surface shaders, such as surface color, normal, depth, ambient/diffuse/specular coefficients, and roughness, are cached into multiple deep framebuffers generated by several caching cameras which are created in an automatic manner. When the user designs the lighting setup, the relighting renderer builds a map to connect a screen pixel for the current rendering camera to the corresponding deep framebuffer pixel and then computes illumination at each pixel with the cache values taken from the deep framebuffers. All the relighting computations except the deep framebuffer pre-computation are carried out at interactive rates by the GPU.

• 한국정보통신학회논문지
• /
• 제12권12호
• /
• pp.2146-2152
• /
• 2008

본 논문에서는 3차원 디지털 시네마 영상의 압축을 위하여 다해상도 기반 렌더링(MultiResolution-based Rendering, MRBR) 기법을 이용한 JPEG2000 압축코덱 구조에 대하여 제안하였다. 스테레오 영상에 이산 웨이블릿 변환(discrete wavelet transform, DWT)과 다해상도의 웨이블릿 영역에서 스테레오 정합(stereo matching)기법을 적용하여 변이정보를 추출하고 기준영상과 같이 전송한다. 또한 추출된 다른 시점의 영상은 비폐색영역으로 인한 화질열화가 발생하므로 이를 보상하기 위하여 비폐색영역이 포함된 원 주파수정보와 대상 시점에서 주파수정보의 차이를 같이 전송한다. 변이정보는 변이공간에서의 동적계획법(dynamic programming)을 이용하여 추출하였다. DWT의 특성상 상위 부대역은 하위 부대역과 높은 상관성을 갖는다. 따라서 coarse-to-fine 방법을 이용하여 상위 부대역에서 얻어진 변이정보를 하위 부대역에 적용하여 탐색영역을 제한함으로써 일반적인 동적계획법에 비하여 연산량을 단축시켰으며 정확도를 향상시켰다.

• 한국통신학회논문지
• /
• 제37A권11호
• /
• pp.918-926
• /
• 2012

3차원 비디오 전송에 있어서, 렌더링에 사용되는 깊이 맵은 압축 효율을 위하여 일반적으로 낮은 해상도로 다운샘플링 되어 전송된다. 이때, 다운샘플링 과정에서 발생하는 오류는 디코딩 후의 적절한 업샘플링 기법을 통하여 효과적으로 복구할 수 있다. 하지만 기존의 연구들은 이러한 오류를 줄이기 위하여 여러 업샘플링 기법에 대해서만 초점이 맞춰져 있었다. 본 논문에서는 사람의 인지적인 화질을 보다 제고시키기 위하여 동적인 객체와 정적인 배경에 서로 다른 다운샘플링 비율을 적용시키는 새로운 하이브리드 깊이 맵 다운샘플링 기법을 제안한다. 실험적인 결과는 제안하는 방법이 시각적인 품질과 PSNR 측면에서의 이득이 있음을 보여준다. 또한 제안하는 방법은 여러 업샘플링 기법들과 호환이 가능하다.