• Journal of Broadcast Engineering
• /
• v.16 no.4
• /
• pp.584-595
• /
• 2011

Recently, RGB images and depth maps have been supplied to academic fields. The depth maps are utilized to the generation of stereoscopic images in the diverse formats according to the users' preference. A variety of methods that use depth maps have been introduced so far. One of applications is a medical field. In this area, the improvement of the perceptual quality of 2D medical images has gained much interest. In this paper, we propose a novel scheme that expands the conventional method to 3D stereoscopic image, thereby achieving the perceptual depth quality improvement as well as 3D stereoscopic perception enhancement at the same time. For this, contrast transformation as well as depth darkening are proposed and their performance is validated through the subjective test. Subjective experiments peformed for stereoscopic enhancement as well as visual fatigue validate that the proposed method achieves better 3D perception than the usage of the original stereoscopic image and suggests the limitation in terms of the visual fatigue.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.16 no.8
• /
• pp.1642-1652
• /
• 2012

Generally, a camera isn't located at the center of display in a tele-presence system and it causes an incorrect eye contact between speakers which reduce the realistic feeling during the conversation. To solve this incorrect eye contact problem, we newly propose an intermediate view reconstruction algorithm using both a color camera and a depth camera and applying for the depth image based rendering (DIBR) algorithm. In the proposed algorithm, an efficient hole filling method using the arithmetic mean value of neighbor pixels and an efficient boundary noise removal method by expanding the edge region of depth image are included. We show that the generated eye-contacted image has good quality through experiments.

• Information and Communications Magazine
• /
• v.31 no.3
• /
• pp.46-53
• /
• 2014

사용자-객체 상호작용을 위해서는 영상 내 객체의 종류와 위치를 정확하게 파악하여 사용자가 객체에 관련된 행동을 취할 경우, 그에 맞는 상호작용을 수행해야 한다. 이러한 객체인식에 널리 사용되는 지역 불변 특징량 기반의 방법론은 복잡한 배경이나 균일 물체에 대하여 잘못된 매칭으로 인식률이 저하된다. 본고에서는 이를 해결하기 위해, 컬러와 깊이 근접도 기반 깊이 계층을 나누고, 복잡 배경으로부터 생기는 잘못된 특징점 대응을 최소화 하기 위해 각 깊이 계층과 인식 물체 영상간의 특징점 대응을 수행한다. 또한, 각 깊이 계층영역에서 색상 히스토그램 재투영으로 객체의 위치를 추정하고 추정 영역과 인식 물체 영상간의 생상 및 깊이 유사도를 판단한다. 최종적으로, 복잡 배경 효과를 최소화한 특징점 대응의 수, 색상 및 컬러 유사도를 고려하여 신뢰도를 측정하여 객체를 인식하게 되며, 이를 통해 복잡한 배경에서도 사용자와 객체간의 유연한 상호작용이 가능해진다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.230-232
• /
• 2011

Viola와 Jine가 제안한 AdaBoost를 이용한 얼굴 검출 알고리즘은 빠른 얼굴 검출 속도와 뛰어난 성능으로 인해 최근 여러분야에서 널리 사용되고 있는 알고리즘 중 하나이다. 하지만 AdaBoost를 이용하여 얼굴을 검출함에 있어 오검출이 존재하며, 이를 줄이기 위해서는 많은 연산이 요구되며, 실시간 얼굴 검출이 필요한 분야에 적용되기에는 속도 면에서 단점으로 작용한다. 기존의 Adaboost의 얼굴 검출기는 그레이스케일 영상만을 사용하므로, 영상의 컬러 정보와 부가적인 정보를 사용하면 더 적은 연산으로 오검출률을 감소시킬 수 있고, 올바른 얼굴을 검출이 된 다음 추적 알고리즘에 적용을 시키면 동영상으로 입력되는 영상에 대해 실시간으로 얼굴을 검출 할 수 있게 된다. 본 논문에서는 얼굴 추적을 위한 사전단계로 컬러 정보와 부가적인 정보로 깊이 정보를 사용하여 얼굴을 효율적으로 검출하는 알고리즘을 제안한다.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.9 no.1
• /
• pp.53-59
• /
• 2009

Multi-view video is necessary to develop a new compression encoding technique for storage and transmission, because of a huge amount of data. Layered depth image is an efficient representation method of multi-view video data. This method makes a data structure that is synthesis of multi-view color and depth image. This paper proposed enhanced compression method by presentation of efficient layered depth image using real distance comparison, solution of overlap problem, and interpolation. In experimental results, confirmed high compression performance.

• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.48 no.6
• /
• pp.8-17
• /
• 2011

Recently, fusion camera systems that consist of depth sensors and color cameras have been widely developed with the advent of a new type of sensor, time-of-flight (TOF) depth sensor. The physical limitation of depth sensors usually generates low resolution images compared to corresponding color images. Therefore, the pre-processing module, such as camera calibration, three dimensional warping, and hole filling, is necessary to generate the high resolution depth map that is placed in the image plane of the color image. However, the result of the pre-processing step is usually inaccurate due to errors from the camera calibration and the depth measurement. Therefore, in this paper, we present a depth map upsampling method robust these errors. First, the confidence of the measured depth value is estimated by the interrelation between the color image and the pre-upsampled depth map. Then, the detailed depth map can be generated by the modified kernel regression method which exclude depth values having low confidence. Our proposed algorithm guarantees the high quality result in the presence of the camera calibration errors. Experimental comparison with other data fusion techniques shows the superiority of our proposed method.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.07a
• /
• pp.68-70
• /
• 2012

본 논문에서는 컬러영상과 깊이영상을 이용하여 여러 명의 얼굴을 검출하고 추적하는 알고리즘을 제안한다. 제안하는 알고리즘은 얼굴 검출부와 추적부로 나뉘어져 있으며, 얼굴 검출 방법은 기존의 Adaboost를 이용하지만, 속도 개선을 위해 깊이정보와 컬러정보를 이용하여 탐색영역을 얼굴이 존재하는 영역으로 제한하여 얼굴은 검출한다. 얼굴 추적 방법은 템플릿 매칭 방법과 나선형 탐색방법을 사용하며, 그리고 조기 종료 기법을 사용하여 수행시간을 줄였다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.24-32
• /
• 2006

본 논문에서는 다시점 카메라부터 획득된 부분적인 3D 점군을 사용하여 실내환경의 3D 복원을 위한 새로운 방법을 제안한다. 지금까지 다양한 양안차 추정 알고리즘이 제안되었으며, 이는 활용 가능한 깊이 영상이 다양함을 의미한다. 따라서, 본 논문에서는 일반화된 다시점 카메라를 이용하여 실내환경을 복원하는 방법을 다룬다. 첫 번째, 3D 점군들의 시간적 특성을 기반으로 변화량이 큰 3D 점들을 제거하고, 공간적 특성을 기반으로 주변의 3D 점을 참조하여 빈 영역을 채움으로써 깊이 영상 정제 과정을 수행한다. 두 번째, 연속된 두 시점에서의 3D 점군을 동일한 영상 평면으로 투영하고, 수정된 KLT (Kanade-Lucas-Tomasi) 특징 추적기를 사용하여 대응점을 찾는다. 그리고 대응점 간의 거리 오차를 최소화함으로써 정밀한 정합을 수행한다. 마지막으로, 여러 시점에서 획득된 3D 점군과 한 쌍의 2D 영상을 동시에 이용하여 3D 점들의 위치를 세밀하게 조절함으로써 최종적인 3D 모델을 생성한다. 제안된 방법은 대응점을 2D 영상 평면에서 찾음으로써 계산의 복잡도를 줄였으며, 3D 데이터의 정밀도가 낮은 경우에도 효과적으로 동작한다. 또한, 다시점 카메라를 이용함으로써 수 시점에서의 깊이 영상과 컬러 영상만으로도 실내환경 3D 복원이 가능하다. 제안된 방법은 네비게이션 뿐만 아니라 상호작용을 위한 3D 모델 생성에 활용될 수 있다.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.34 no.12C
• /
• pp.1147-1153
• /
• 2009

We propose a novel image segmentation and segment-based stereo matching technique using color, depth, and motion information. Proposed technique firstly splits reference images into foreground region or background region using depth information from depth camera. Then each region is segmented into small segments with color information. Moreover, extracted segments in current frame are tracked in the next frame in order to maintain depth consistency between frames. The initial depth from the depth camera is also used to set the depth search range for stereo matching. Proposed segment-based stereo matching technique was compared with conventional one without foreground and background separation and other conventional one without motion tracking of segments. Simulation results showed that the improvement of segment extraction and depth estimation consistencies by proposed technique compared to conventional ones especially at the static background region.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.05a
• /
• pp.637-640
• /
• 2022

3차원 물체의 탐지와 자세 추정은 실내외 환경에서 장면 이해, 로봇의 물체 조작 작업, 자율 주행, 증강 현실 등과 같은 다양한 응용 분야들에서 공통적으로 요구되는 매우 중요한 시각 인식 기술이다. 깊이 지도를 요구하는 기존 연구들과는 달리, 본 논문에서는 RGB 컬러 영상만을 이용해 미지의 물체들, 즉 3차원 CAD 모델을 가지고 있지 않은 새로운 물체들을 탐지해내고, 이들의 자세를 추정해낼 수 있는 새로운 신경망 모델을 제안한다. 제안 모델에서는 최근 빠른 속도로 발전하고 있는 깊이 추정 기술을 이용함으로써, 깊이 측정 센서 없이도 물체 자세 추정에 필요한 깊이 지도를 컬러 영상에서 구해낼 수 있다. 본 논문에서는 벤치마크 데이터 집합을 이용한 실험을 통해, 제안 모델의 유용성을 평가한다.