• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.51-53
• /
• 2022

MIV(MPEG Immersive Video)의 시험모델 TMIV 는 다시점의 비디오와 깊이(depth) 비디오를 입력 받아 시점 사이의 중복성을 제거한 후 남은 텍스처(texture)와 깊이로 텍스처 아틀라스(atlas)와 깊이 아틀라스를 각각 생성하고 이를 압축한다. 각 화소별 점유(occupancy) 정보는 깊이 아틀라스에 포함되어 압축되는데 압축 손실로 인한 점유맵 오류를 방지하기 위하여 임계값 T = 64 로 설정한 보호대역을 사용한다. 기존에 설정된 임계값을 낮추어 깊이 동적범위를 확대하면 보다 정확한 깊이값 표현으로 부호화 효율을 개선할 수 있지만 보호대역 축소로 점유맵 오류가 증가한다. 본 논문에서는 TMIV 의 부호화기와 보호화기에 비대칭 임계값을 사용하여 보호대역 축소로 인한 점유맵 오류를 보정하면서 보다 정확한 깊이 값 표현을 통하여 부호화 효율을 개선하는 기법을 제안한다. 제안기법은 깊이 동적범위 확대와 비대칭 임계값 기반의 점유맵 오류 보정을 통하여 CG 시퀀스에서 2.2% BD-rate 이득과 주관적 화질 개선을 보인다.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.40 no.12
• /
• pp.2530-2538
• /
• 2015

The pixel value of depth image is depth value so that different objects which are placed on nearby position have similar pixel value. Moreover, the pixels of depth image have distinct pixel values compared to adjacent pixels while those of color image has very similar values. Accordingly distorted depth image of multiview video plus depth (MVD) needs proper error concealment methods considering the characteristics of depth image when transmission errors are happened. In this paper, classifying regions of depth image to consider edge directions and then applying adaptive error concealment methods to each region are proposed. Recovered depth images utilize with multiview video data to synthesize intermediate-view point video. The synthesized view is evaluated by objective quality metrics to demonstrate proposed method performance.

• Journal of Broadcast Engineering
• /
• v.17 no.3
• /
• pp.459-470
• /
• 2012

In this paper, we propose a method to upsample a low-resolution depth map to a high-resolution version. While conventional camera sensors produce high-resolution color images, the sizes of the depth maps of range/depth sensors are usually low. In this paper, we consider the utilization of high-frequency components to the conventional depth map interpolation methods such as bilinear, bicubic, and bilateral. The proposed method is composed of the three steps: high-frequency component extraction, high-frequency component application, and interpolation. Two objective evaluation measures such as sharpness degree and blur metric are used to examine the performance. Experimental results show that the proposed method significantly outperforms other conventional methods by a factor of 2 in terms of sharpness degree. As well, a blur metric is reduced by a factor of 14 %.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.07a
• /
• pp.116-118
• /
• 2010

본 논문에서는 영역 분할과 영상의 움직임 정보를 이용한 깊이맵 생성에 관한 기법을 제안하였다. 2D/3D 변환 알고리즘에서 2차원 영상에서 얻은 깊이 정보는 2차원 영상을 3차원 영상으로 변환 가능하게 하는 핵심 기술이 된다. 영역을 분할하고 계산되어진 움직임 값 (intensity)을 분할된 각 영역에 부여함으로서 깊이맵을 얻을 수 있다. 본 논문에서는 초기 단계에서 영역을 분할한 뒤, 입력 영상을 그룹화 하여 양방향 탐색을 통한 움직임 추정 연산을 수행토록 하여 보다 정확한 깊이 정보를 획득하고, 최종적으로 얻은 결과에 각 화소에 해당 되는 확률적 통계에 의한 후처리 기법을 사용하였다. 보다 정확한 깊이정보를 영역별로 지정하고, 후처리 기법을 사용함에 따라 보다 신뢰도 높은 깊이맵 영상을 생성할 수 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.301-302
• /
• 2011

최근 3D 디스플레이가 3DTV는 물론 스마트폰이나 태블릿PC와 같이 작은 디스플레이 사이즈와 해상도를 가지는 휴대용 기기들에도 적용되어 다양한 형태로 사용자들에게 보급되어 보다 많은 관심을 받고 있다. 2D+Depth 형태의 입체영상에서 사용자에게 입체감을 주는 데는 깊이맵이 큰 영향을 준다. 또한 깊이맵이 복잡하게 구성되어 있을수록 사용자에게 보다 다양한 입체감을 제공할 수 있지만 실제로 사용자가 느끼는 입체감의 지각은 그렇지 못한 경우가 많기 때문에 사용자가 느끼는 임체감의 개선이 필요하다. 이에 본 논문에서는 깊이맵의 히스토그램을 기반으로 하여 깊이 평면과 깊이 편차를 이용하여 입체감을 개선하는 방법을 제안하고 주관적 실험을 통해 입체감의 변화를 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.11a
• /
• pp.29-30
• /
• 2012

본 논문은 고해상도의 깊이맵을 얻기 위해서 대응되는 색상 영상의 최대 변화도를 이용한 깊이맵 업샘플링 기술을 제안한다. 기존 알고리즘들이 인접한 화소의 깊이 값을 참조할 때 거리에 따른 가중치를 부여하는 것과 달리, 제안한 방법은 현재 화소와 참조 화소 사이의 최대 색차 변화도를 이용하여 가중치를 부여한다. 이런 접근 방법은 비슷한 색상의 물체가 서로 붙어 있거나 큰 크기의 객체가 존재할 경우에도 모두 올바른 가중치를 부여할 수 있다는 장점을 갖는다. 먼저, 색상 영상의 색차 성분에 대한 변화도 영상을 계산하고, 업샘플링하고자 하는 화소와 참조 화소 사이의 최단 경로 위에서 가장 큰 변화도를 취한다. 변화도가 클수록 다른 객체에 존재할 확률이 높기 때문에 변화도가 큰 참조 화소에는 작은 가중치를 부여하고, 이들의 가중합을 통해 최종 깊이 값을 계산한다. 제안한 방법을 이용하여 깊이맵을 업샘플링한 결과가 기존 알고리즘들에 비해 우수한 결과를 보였다.

• Science of Emotion and Sensibility
• /
• v.16 no.1
• /
• pp.29-42
• /
• 2013

In this paper, we analyze the effect of the depth perception, volume perception and visual discomfort according to the change of the quality of the depth image and the depth of the major object. For the analysis, a 2D image was converted to eighteen 3D images using depth images generated based on the different depth position of a major object and background, which were represented in three detail levels. The subjective test was carried out using eighteen 3D images so that the degrees of the depth perception, volume perception and visual discomfort recognized by the subjects were investigated according to the change in the depth position of the major object and the quality of depth map. The absolute depth position of a major object and the relative depth difference between background and the major object were adjusted in three levels, respectively. The details of the depth map was also represented in three levels. Experimental results showed that the quality of the depth image differently affected the depth perception, volume perception and visual discomfort according to the absolute and relative depth position of the major object. In the case of the cardboard depth image, it severely damaged the volume perception regardless of the depth position of the major object. Especially, the depth perception was also more severely deteriorated by the cardboard depth image as the major object was located inside the screen than outside the screen. Furthermore, the subjects did not felt the difference of the depth perception, volume perception and visual comport from the 3D images generated by the detail depth map and by the rough depth map. As a result, it was analyzed that the excessively detail depth map was not necessary for enhancement of the stereoscopic perception in the 2D-to-3D conversion.

• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.48 no.6
• /
• pp.8-17
• /
• 2011

Recently, fusion camera systems that consist of depth sensors and color cameras have been widely developed with the advent of a new type of sensor, time-of-flight (TOF) depth sensor. The physical limitation of depth sensors usually generates low resolution images compared to corresponding color images. Therefore, the pre-processing module, such as camera calibration, three dimensional warping, and hole filling, is necessary to generate the high resolution depth map that is placed in the image plane of the color image. However, the result of the pre-processing step is usually inaccurate due to errors from the camera calibration and the depth measurement. Therefore, in this paper, we present a depth map upsampling method robust these errors. First, the confidence of the measured depth value is estimated by the interrelation between the color image and the pre-upsampled depth map. Then, the detailed depth map can be generated by the modified kernel regression method which exclude depth values having low confidence. Our proposed algorithm guarantees the high quality result in the presence of the camera calibration errors. Experimental comparison with other data fusion techniques shows the superiority of our proposed method.

• Journal of Broadcast Engineering
• /
• v.17 no.4
• /
• pp.565-571
• /
• 2012

During depth data acquisition and transmission, the quality of depth maps is usually degraded by physical noise and coding error. In this paper, a new joint bilateral filter based on the common distance transform is presented to enhance the low-quality depth map. The proposed method determines the amount of exploitable color data according to distance transform values of depth and color pixels. Consequently, the proposed filter minimizes noise in the depth map while suppressing visual artifacts of joint bilateral filtering. Experimental results show that our method outperforms other conventional methods in terms of noise reduction and visual artifact suppression.

• Information and Communications Magazine
• /
• v.31 no.3
• /
• pp.54-61
• /
• 2014

본 논문에서는 깊이 영상의 해상도를 확장하기 위한 필터링 기술과 고속화 방법을 소개한다. 일반적으로 깊이 카메라를 통해 획득한 깊이 맵은 색상 카메라에 비해 낮은 해상도를 가진다. 다시점 카메라 시스템에서는 시점의 수가 제한되어 있기 때문에 가상 시점의 영상을 합성하기 위해서는 참조 시점의 색상영상과 깊이 맵이 필요하다. 본 논문에서는 깊이 맵의 해상도를 색상 영상의 해상도와 동일하게 확장하는 기술과 이를 실시간에 가깝게 효율적으로 수행하는 고속화 기술을 설명한다.