• Journal of Broadcast Engineering
• /
• v.15 no.2
• /
• pp.232-235
• /
• 2010

This paper proposes an efficient depth-map coding method. The adaptive block-based depth-map coding method decides the number of bit planes to be encoded according to the quantization parameters to obtain the desired bit rates. So, the depth-map coding using the block-based decision of the bit-plane to be encoded proposes to free from the constraint of the quantization parameters. Simulation results show that the proposed method, in comparison with the adaptive block-based depth-map coding method, improves the average BD-rate savings by 3.5% and the average BD-PSNR gains by 0.25dB.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.07a
• /
• pp.286-289
• /
• 2012

본 논문은 3차원 깊이 정보를 이용하여 감시카메라에서 움직이는 사람을 검출하고 추적하는 방법을 제안한다. 제안하는 방법은 GMM(Gaussian mixture model)을 이용하여 배경과 움직이는 사람을 분리한 후, 분리된 영역을 CCL(connected-component labeling)을 통하여 각각 블랍(blob) 단위로 나누고 그 블랍을 추적한다. 그 중 블랍 단위로 나누는 데 있어 두 블랍이 합쳐진 경우, 3차원 깊이 정보를 이용하여 두 블랍을 분리하는 방법을 제안한다. 실험을 통하여 제안하는 방법의 결과를 보인다.

• Journal of KIISE
• /
• v.44 no.2
• /
• pp.186-194
• /
• 2017

Depth-image-based rendering is a technique that can be applied in a variety of 3D-display systems. It generates the images that have been captured from virtual viewpoints by using a depth map. However, disoccluded hole-filling problems remain a challenging issue, as a newly exposed area appears in the virtual view. Image inpainting is a popular approach for the filling of the hole region. This paper presents a robust hole-filling method that reduces the error and generates a high quality-virtual view. First, the adaptive-patch size is decided using the color and depth information. Also, a partial filling method for which the patch similarity is used is proposed. These efforts reduce the error occurrence and the propagation. The experiment results show that the proposed method synthesizes the virtual view with a higher visual comfort compared with the existing methods.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.15 no.8
• /
• pp.1704-1713
• /
• 2011

This paper proposes a method to generate multiview images which use a synthesized image consisting of layered objects. The camera system which consists of a depth camera and a RGB camera is used in capturing objects and extracts 3-dimensional information. Considering the position and distance of the synthesizing image, the objects are synthesized into a layered image. The synthesized image is spaned to multiview images by using multiview generation tools. In this paper, we synthesized two images which consist of objects and human and the multiview images which have 37 view points were generated by using the synthesized images.

• Smart Media Journal
• /
• v.2 no.4
• /
• pp.60-65
• /
• 2013

In this paper, we propose a high-resolution disparity map generation method using a low-resolution time-of-flight (TOF) depth camera and color camera. The TOF depth camera is efficient since it measures the range information of objects using the infra-red (IR) signal in real-time. It also quantizes the range information and provides the depth image. However, there are some problems of the TOF depth camera, such as noise and lens distortion. Moreover, the output resolution of the TOF depth camera is too small for 3D applications. Therefore, it is essential to not only reduce the noise and distortion but also enlarge the output resolution of the TOF depth image. Our proposed method generates a depth map for a color image using the TOF camera and the color camera simultaneously. We warp the depth value at each pixel to the color image position. The color image is segmented using the mean-shift segmentation method. We define a cost function that consists of color values and segmented color values. We apply a weighted average filter whose weighting factor is defined by the random walk probability using the defined cost function of the block. Experimental results show that the proposed method generates the depth map efficiently and we can reconstruct good virtual view images.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.373-375
• /
• 2011

최근 들어, Time-of-Flight (TOF) 방식의 깊이 센서가 컴퓨터 비전이나 영상처리분야 등의 연구에서 다양하게 활용되고 있다. TOF 방식의 깊이 센서는 실시간으로 정확한 깊이 정보를 획득할 수 있는 장점이 있는 반면, 해상도가 낮고 센서의 광학적 특성으로 인해 노이즈가 발생한다는 단점이 있다. 본 논문에서는 이러한 깊이 센서의 단점을 극복하고 고품질의 다시점 영상 합성을 위해 기존 깊이 센서에 여러 대의 Charge-coupled Device (CCD) 카메라를 결합하여 시점 간 일관성 있는 고해상도의 깊이 영상을 획득하는 기술을 제안한다. 한정되어 있는 시점의 영상을 이용하여 다시점 영상을 합성할 때, 각 시점에 해당하는 깊이 영상의 정확도에 따라 합성되는 영상의 품질이 결정된다. 따라서 보유 시점에 해당하는 깊이 영상 간의 일관성이 유지되고 객체의 경계가 정확히 보존되어야만 생성되는 임의 시점 영상의 품질이 보장될 수 있다. 이에, 본 논문에서는 Joint Bilateral Upsampling (JBU)을 기반으로 시점 간 일관성을 고려한 깊이 영상의 해상도 개선 기술을 제안하고 이를 통해 다시점 영상 합성 결과의 품질을 향상시킨다.

• Broadcasting and Media Magazine
• /
• v.2 no.1
• /
• pp.45-56
• /
• 1997

이 논문에서는 여러대의 카메라를 이용하여, 화면내의 모든 화소에 대해 정확한 깊이정보를 추출하는 알고리듬을 제안한다. 제안방법은 스테레오정합에 기반하고 있다. 스트레오정압에 의해 깊이정보를 추정하는데 있어서는 , 오클루전(occlusion)이 추정에 미치는 악영향을 어떻게 극복하는가가매우 중요한 문제이다. 오클루전문제는 2대의 카메라로는 근본적으로 해결이 불가능하다. 따라서 이논문에서는 5대의 카메라를 사용하여, 각 카메라로부터의 정보를 선택적으로 사용함으로써, 이 문제를 상당히 개선한다. 한편, 스테레오 정합법에서는 정합창의 크기가 추정성능에 영향을 미치는데, 큰 창을 이요하면 잡음내성은 우수하나 깊이가 불연속인 곳에서 오차가 발생하고, 작은창을 이용하면 잡음성능은 저하되나 불연속부에서의 창크기에 의한 오차가 줄어드는, 대차관계가 존재한다. 이 논문에서는 처음에 큰 창으로 추정하고 차츰 창의 크기를 줄여나가는 계층적 방법을 제안하여, 잡음내성을 강화하고 불연속부의 오차를 줄이고 있다. 실험경과를 통하여 제안방법의 성능을 제시하고 타당성을 확인한다.

• Proceedings of the Korea Contents Association Conference
• /
• 2012.05a
• /
• pp.53-54
• /
• 2012

본 논문에서는 Depth Camera를 통해 생성되는 깊이영상과 컬러영상을 통해 깊이정보와 영상정보를 추출하고, 추출된 깊이정보와 영상정보를 이용하여 집적영상을 OpenCL을 이용하여 실시간으로 생성하는 기법을 소개한다.

• Journal of the Institute of Electronics and Information Engineers
• /
• v.54 no.2
• /
• pp.99-105
• /
• 2017

Generally, stereo matching methods are used to estimate depth information based on color and spatial similarity. However, most depth estimation methods suffer from the occlusion region because occlusion regions cause inaccurate depth information. Moreover, they do not consider the temporal dimension when estimating the disparity. In this paper, we propose a temporal stereo matching method, considering occlusion and disregarding inaccurate temporal depth information. First, we apply a global stereo matching algorithm to estimate the depth information, we segment the image to occlusion and non-occlusion regions. After occlusion detection, we fill the occluded region with a reasonable disparity value that are obtained from neighboring pixels of the current pixel. Then, we apply a temporal disparity estimation method using the reliable information. Experimental results show that our method detects more accurate occlusion regions, compared to a conventional method. The proposed method increases the temporal consistency of estimated disparity maps and outperforms per-frame methods in noisy images.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.19 no.1
• /
• pp.127-135
• /
• 2015

In this research, we conducted an experiment on evaluating the extending depth information method and surface reconstruction method and the interaction of these two methods in order to enhance the final intermediate view images, which are acquired using DIBR (Depth-Image-Based Rendering) method. We evaluated the experimental control groups using the Microsoft's "Ballet" and "Break Dancer" data sets with three different hole-filling algorithms. The result revealed that the quality was improved the most by applying both extending depth information and surface reconstruction method as compared to the previous point clouds only. In addition, it found that the quality of the intermediate images was improved vastly by only applying extending depth information when using no hole-filling algorithm.