• Title/Summary/Keyword: 깊이 영상 기반 렌더링

Search Result 18, Processing Time 0.271 seconds

Hole-Filling Method for Depth-Image-Based Rendering for which Modified-Patch Matching is Used (개선된 패치 매칭을 이용한 깊이 영상 기반 렌더링의 홀 채움 방법)

  • Cho, Jea-Hyung;Song, Wonseok;Choi, Hyuk
    • Journal of KIISE
    • /
    • v.44 no.2
    • /
    • pp.186-194
    • /
    • 2017
  • Depth-image-based rendering is a technique that can be applied in a variety of 3D-display systems. It generates the images that have been captured from virtual viewpoints by using a depth map. However, disoccluded hole-filling problems remain a challenging issue, as a newly exposed area appears in the virtual view. Image inpainting is a popular approach for the filling of the hole region. This paper presents a robust hole-filling method that reduces the error and generates a high quality-virtual view. First, the adaptive-patch size is decided using the color and depth information. Also, a partial filling method for which the patch similarity is used is proposed. These efforts reduce the error occurrence and the propagation. The experiment results show that the proposed method synthesizes the virtual view with a higher visual comfort compared with the existing methods.

Accelerating Depth Image-Based Rendering Using GPU (GPU를 이용한 깊이 영상기반 렌더링의 가속)

  • Lee, Man-Hee;Park, In-Kyu
    • Journal of KIISE:Computer Systems and Theory
    • /
    • v.33 no.11
    • /
    • pp.853-858
    • /
    • 2006
  • In this paper, we propose a practical method for hardware-accelerated rendering of the depth image-based representation(DIBR) of 3D graphic object using graphic processing unit(GPU). The proposed method overcomes the drawbacks of the conventional rendering, i.e. it is slow since it is hardly assisted by graphics hardware and surface lighting is static. Utilizing the new features of modem GPU and programmable shader support, we develop an efficient hardware-accelerating rendering algorithm of depth image-based 3D object. Surface rendering in response of varying illumination is performed inside the vertex shader while adaptive point splatting is performed inside the fragment shader. Experimental results show that the rendering speed increases considerably compared with the software-based rendering and the conventional OpenGL-based rendering method.

Semi-auto Calibration Method Using Circular Sample Pixel and Homography Estimation (원형 샘플 화소와 호모그래피 예측을 이용한 반자동 카메라 캘리브레이션 방법)

  • Shin, Dong-Won;Ho, Yo-Sung
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2015.11a
    • /
    • pp.67-70
    • /
    • 2015
  • 최근 깊이 영상 기반 렌더링 방법을 이용하여 제작된 3차원 컨텐츠가 우리의 눈을 즐겁게 해주고 있다. 이러한 깊이 영상 기반 렌더링에서는 필연적으로 색상 카메라와 깊이 카메라 간의 시점 차이가 발생한다. 따라서 두 시점을 일치시키는 전처리 과정으로서 카메라 파라미터가 중요한 역할을 수행한다. 카메라 파라미터를 획득하는 과정으로 카메라 캘리브레이션이 수행된다. 널리 사용되는 기존의 카메라 캘리브레이션 방법은 평면의 체스보드 패턴을 여러 자세로 촬영한 다음 패턴 특징점을 손으로 직접 선택해야하는 불편함이 따른다. 따라서 본 논문에서는 이 문제를 해결하기 위해 원형 샘플 화소 검사와 호모그래피 예측을 이용한 반자동 카메라 캘리브레이션을 제안한다. 제안하는 방법은 먼저 FAST 코너 검출 알고리즘을 이용하여 패턴 특징점의 후보를 영상으로부터 추출한다. 다음으로 원형 샘플 화소를 검사하여 후보군의 크기를 줄인다. 그리고 호모그래피 예측을 통해 손실된 패턴 특징점을 보완하는 완전한 패턴 특징점군을 획득한다. 마지막으로 화소 정확성 향상을 통해 실수 단위의 정확성을 가지는 패턴 특징점의 위치를 획득한다. 실험을 통해 제안하는 방법이 기존의 방법과 비교하여 카메라 파라미터의 정확성은 유지하고 수작업의 불편함을 해소할 수 있음을 확인했다.

  • PDF

A Study on Delta Image Composition Methods of the Depth-Image-Based Rendering for the Generation of Stereoscopic Images on Mobile Devices (모바일 장치에서 입체 영상 생성을 위한 깊이 영상 기반 렌더링의 부가 정보 영상 구성 방법에 관한 연구)

  • Kim, Min-Young;Park, Kyoung-Shin;Choo, Hyon-Gon;Kim, Jin-Woong;Cho, Yong-Joo
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.16 no.7
    • /
    • pp.1428-1436
    • /
    • 2012
  • This paper presents the delta image composition methods using Depth-Image-Based Rendering (DIBR) for 3D stereoscopic broadcasting for the low bandwidth mobile DMB broadcasting system. With DIBR, a left and depth images are transmitted to a mobile device, which restores the right view, whose quality may be poor. This paper describes delta image composition methods for the restoration while minimizing the amount of the transmitted data.

Intermediate View Synthesis Method using Kinect Depth Camera (Kinect 깊이 카메라를 이용한 가상시점 영상생성 기술)

  • Lee, Sang-Beom;Ho, Yo-Sung
    • Smart Media Journal
    • /
    • v.1 no.3
    • /
    • pp.29-35
    • /
    • 2012
  • A depth image-based rendering (DIBR) technique is one of the rendering processes of virtual views with a color image and the corresponding depth map. The most important issue of DIBR is that the virtual view has no information at newly exposed areas, so called dis-occlusion. In this paper, we propose an intermediate view generation algorithm using the Kinect depth camera that utilizes the infrared structured light. After we capture a color image and its corresponding depth map, we pre-process the depth map. The pre-processed depth map is warped to the virtual viewpoint and filtered by median filtering to reduce the truncation error. Then, the color image is back-projected to the virtual viewpoint using the warped depth map. In order to fill out the remaining holes caused by dis-occlusion, we perform a background-based image in-painting operation. Finally, we obtain the synthesized image without any dis-occlusion. From experimental results, we have shown that the proposed algorithm generated very natural images in real-time.

  • PDF

Frame Rate Up Conversion for Multi-View Video (다시점 영상의 프레임율 변환 기법)

  • Yang, YoonMo;Lee, Dohoon;Oh, Byung Tae
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2016.06a
    • /
    • pp.228-230
    • /
    • 2016
  • In this paper, we introduce new FRUC method for Multi-View Video based on DIBR (Depth Image based Rendering, DIBR). In the proposed method, we divide each block to sub-regions using depth map. Then, we reconstruct occlusion region information at each sub-regions by using other views. With reconstructed occlusion region information, we estimate and compensate each sub-regions' motion. The proposed method estimates more accurate motion compared to the conventional methods in occlusion region.

  • PDF

Improved CABAC Design for Near Lossless Depth Coding in HEVC (HEVC 근접 무손실 깊이 영상 부호화를 위한 향상된 CABAC 설계)

  • Choi, Jung-Ah;Ho, Yo-Sung
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2011.11a
    • /
    • pp.36-37
    • /
    • 2011
  • 깊이 영상은 가상 시점 영상을 합성할 때 사용되는 3차원 거리 정보로 깊이 영상 기반 렌더링에서 가상 시점을 합성할 때 사용한다. 따라서, 깊이 영상 부호화에서는 부호화 효율 못지않게 합성 영상의 화질이 중요하다. 깊이 영상의 화질은 합성된 가상 시점 영상의 화질에 큰 영향을 미친다. 따라서 고화질 깊이 영상이 필요한 경우, 부호화 손실이 적은 무손실 부호화를 사용한다. 하지만, 이와 같은 무손실 부호화 방법은 복호를 통해 원래의 깊이 영상을 그대로 복원할 수 있지만, 압축률이 낮다는 단점이 있다. 본 논문에서는 복호된 영상의 화질과 부호화 비트의 균형을 모두 고려하기 위해 근접 무손실 HEVC(high efficiency video coding)와 향상된 CABAC(context-based adaptive bnary arithmetic coding)을 이용한 새로운 깊이 영상 부호화 방법을 제안한다. 실험을 통해 제안한 방법이 합성된 가상 시점 영상의 화질 손실 없이, 기존의 무손실 및 근접 무손실 방법보다 더 나은 부호화 성능을 제공함을 알 수 있었다.

  • PDF

An Adaptive depth assignment for generating stereo images (스테레오 영상 생성을 위한 적응적 깊이 할당)

  • Kim, Hyemoon;Park, Dong Kwon;Won, Chee Sun
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2011.07a
    • /
    • pp.31-34
    • /
    • 2011
  • 본 논문에서는 2D-3D 변환 후, 입체감 수정에 관련한 피드백 시스템과 그에 맞게 적용되는 적응적 관계식을 제안한다. 2D-3D 변환을 통해 우선 깊이 영상을 생성하고 이를 이용하여 깊이 영상 기반 렌더링(DIBR)을 통해 수평방향의 이동을 계산하여 좌영상과 우영상을 생성한다. 그러나 깊이 정보 기반 렌더링 후 사용자 선호에 따라 입체감을 수정할 필요가 있을 때 깊이 영상을 재생성 해야 하는 문제점이 발생하며 이를 극복하고자 피드백 시스템을 통한 두 개의 조절 파라메터를 소개 한다. 즉, 'Pull-in'혹은 'Push-away'의 입체감을 조절 할 수 있는 시차 이동식을 제안한다.

  • PDF

Simultaneous Method for Depth Image Based Rendering Technique (깊이 영상 기반 렌더링을 위한 동시 처리 방법)

  • Jung, Kwang-Hee;Park, Young-Kyung;Kim, Joong-Kyu;Lee, Gwang-Soon;Lee, Hyun;Hur, Nam-Ho;Kim, Jin-Woong
    • Proceedings of the IEEK Conference
    • /
    • 2008.06a
    • /
    • pp.859-860
    • /
    • 2008
  • In this paper, we present a simultaneous method for depth image based rendering. Simultaneous method can reduce high computational complexity and waste of memory required for DIBR. Experimental results show that the proposed method is suitable for generating auto-stereoscopic images.

  • PDF

A comparative study of Depth Preprocessing Method for 3D Data Service Based on Depth Image Based Rendering over T-DMB (지상파 DMB에서의 깊이 영상 기반 렌더링 기반의 3차원 서비스를 위한 깊이 영상 전처리 기술의 비교 연구)

  • Oh, Young-Jin;Jung, Kwang-Hee;Kim, Joong-Kyu;Lee, Gwang-Soon;Lee, Hyun;Hur, Nam-Ho;Kim, Jin-Woong
    • Proceedings of the IEEK Conference
    • /
    • 2008.06a
    • /
    • pp.815-816
    • /
    • 2008
  • In this paper, we evaluate depth image preprocessing for 3D data service based on DIBR over T-DMB. We evaluate two preprocessing methods of depth images. These are gaussian smoothing and adaptive smoothing. The results show that adaptive smoothing is more suitable for images with sharp transition of depth.

  • PDF