• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.06a
• /
• pp.12-15
• /
• 2016

요즘 들어, 3차원 콘텐츠의 수요는 지속적으로 증가하고 있다. 3차원 콘텐츠의 품질은 해당 장면의 깊이 정보에 큰 영향을 받기 때문에 정확한 깊이 정보를 얻는 방법이 매우 중요하다. 깊이 정보를 얻는 방법은 크게 수동형 방식과 능동형 방식으로 나뉘는데, 수동형 방식은 계산 과정이 복잡하고 깊이맵의 품질이 보장되지 않는 단점을 갖기 때문에 능동형 방식이 많이 사용되고 있다. 능동형 방식은 깊이 카메라를 이용하여 직접적인 깊이 정보를 얻는 방식으로, 대게 ToF(Time-of-flight) 기술이 사용된다. 이 논문에서는 ToF 깊이 카메라로 촬영된 실제 깊이맵의 특성을 분석하기 위해 여러 가지 촬영 환경과 객체에 대해서 SR4000 깊이 카메라와 키넥트 v2 센서를 이용하여 깊이맵 품질을 비교했다. 실험 결과, 적외선이 제대로 반사되기 어려운 방사성 물질이나 표면, 경계 영역, 어두운 영역, 머리 영역 등에서 정확한 깊이 정보를 얻기 어려웠으며, 실외 환경에서 정확한 깊이 정보가 획득되지 않는 것을 확인할 수 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.11a
• /
• pp.108-109
• /
• 2012

멀티미디어 콘텐츠이 사용이 급증함에 따라 유료 및 비밀유지를 필요로 하는 영상 데이터에 대한 보안문제가 중요시 되고 있다. 본 논문에서는 깊이정보(depth-map) 데이트를 숨기기 위한 깊이정보 영상 암호화 방식을 제안하였다. 이 기법은 깊이정보를 대상으로 웨이블릿 변환을 수행하여 깊이정보의 전체 데이터가 아닌 부분데이터를 암호화하는 방식을 사용하였다. 실험 결과 제안한 방식으로 깊이정보를 암호화 할 경우 전체 데이터량의 0.048%만을 암호화하여 깊이정보를 효과적으로 은닉할 수 있음을 확인하였다.

• Journal of Broadcast Engineering
• /
• v.9 no.3
• /
• pp.185-195
• /
• 2004

This paper presents a multi-depth map fusion method for the 3D scene reconstruction. It fuses depth maps obtained from the stereo matching technique and the depth camera. Traditional stereo matching techniques that estimate disparities between two images often produce inaccurate depth map because of occlusion and homogeneous area. Depth map obtained from the depth camera is globally accurate but noisy and provide a limited depth range. In order to get better depth estimates than these two conventional techniques, we propose a depth map fusion method that fuses the multi-depth maps from stereo matching and the depth camera. We first obtain two depth maps generated from the stereo matching of 3-view images. Moreover, a depth map is obtained from the depth camera for the center-view image. After preprocessing each depth map, we select a depth value for each pixel among them. Simulation results showed a few improvements in some background legions by proposed fusion technique.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.481-486
• /
• 2007

본 논문에서는 깊이 영상을 개선하는 방법으로 깊이 영상 획득 시 손실된 영역을 복원하는 기법을 제안한다. 대상 객체의 동적인 3차원 정보는 적외선 깊이 센서가 장착된 깊이 비디오 카메라를 통하여 실시간으로 획득한다. 이때, 깊이 비디오뿐만 아니라 각 프레임마다 컬러영상이 동시에 획득된다. 그러나 대상 객체의 일부 또는 전체가 반짝이는 검은 재질로 되어있을 경우, 획득된 깊이 영상에 손실이 발생한다. 특히 방송용 콘텐츠로서 연기자의 3차원 정보를 획득할 때 머리카락 영역이 손실되는 심각한 문제가 발생한다. 이를 해결하기 위해 먼저 컬러 영상을 이용하여 손실된 영역의 위치 정보를 알아낸다. 손실된 영역 내 경계부분의 깊이 정보를 복원한 후 2차 베지어 커브로 보간하여 내부의 깊이 정보를 복원한다. 개선된 깊이 영상을 기반으로 일련의 모델링 과정을 수행하면 보다 자연스러운 3차원 모델을 생성할 수 있다. 생성된 3차원 모델은 실감방송용 콘텐츠로 사용될 수 있으며, 시청자에게 시각상호작용과 촉각상호작용 등 다차원 감각의 상호작용을 제공할 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2013.06a
• /
• pp.289-292
• /
• 2013

최근 많은 영상처리 연구자들 사이에서 마이크로소프트사의 실시간 깊이센서 '키넥트'가 상당한 관심을 받고 있다. '키넥트'는 실시간으로 깊이정보를 제공함과 동시에 별도의 센서를 부착하지 않고도 컴퓨터와의 인터렉션할 수 있는 가능성을 제공한다. 하지만 '키넥트'의 깊이영상은 홀 영역, 부정확한 경계, 낮은 해상도등의 많은 문제점을 지니고 있다. 이러한 부정확한 깊이 정보는 3차원 렌더링, 가상시점 영상 합성, 모션 인식 등에서 성능 저하를 야기한다. 따라서 본 논문에서는 깊이 정보 품질 향상기법에 관하여 깊이영상 신뢰도를 이용한 도메인 변환기반 해상도 상향 알고리듬을 제안한다. 정확하고 빠르게 홀 영역정보를 추정하기 위해 도메인 변환 기반의 경계 보존 필터링이 사용된다. 또한 다양한 깊이 영상의 노이즈를 효율적으로 제거하기 깊이 영상의 신뢰도를 이용한다. 실험결과를 통하여 제안하는 방법이 효율적으로 홀 영역을 채우고, 부정확한 경계를 제거하여 깊이 영상의 품질을 향상시키는 것을 확인할 수 있다.

• Proceedings of the KAIS Fall Conference
• /
• 2011.12b
• /
• pp.445-448
• /
• 2011

본 논문은 그룹화된 객체별 깊이정보를 차등 적용한 2D/3D 동영상 변환 기법에 관한 연구이다. 기존의 연구에서는 프레임의 움직임 정보와 기하학적 깊이 단서를 이용해 깊이정보를 추출하여 2D/3D 동영상 변환을 한다. 그러나 영상의 움직임 정보를 획득할 수 없는 영역의 경우 정확한 깊이정보를 얻을 수 없어 해당 영역의 3D 효과를 얻을 수 없는 문제점이 있다. 제안하는 기법에서는 객체 및 배경을 추출하고 움직임 정보와 기하학적 단서를 이용한 깊이정보를 그룹화된 객체별 차등 적용하여 움직임 정보가 없는 영역에서도 3D 효과를 얻을 수 있는 방법을 제안한다. 최종적으로 원본 영상과 생성된 깊이맵을 DIBR(Depth Image Based Rendering) 과정을 통해 3D 동영상을 생성한 결과 움직임 정보가 없는 영역에서도 3D 효과를 얻을 수 있었다.

• Journal of Broadcast Engineering
• /
• v.27 no.6
• /
• pp.906-913
• /
• 2022

In this paper, we propose a new deep network architecture using nearest neighbor kernel for the estimation of dense depth map from its sparse map and corresponding color information. First, we propose to decompose the depth map signal into the structure and details for easier prediction. We then propose two separate subnetworks for prediction of both structure and details using classification and regression approaches, respectively. Moreover, the nearest neighboring kernel method has been newly proposed for accurate prediction of structure signal. As a result, the proposed method showed better results than other methods quantitatively and qualitatively.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.11a
• /
• pp.236-239
• /
• 2014

3차원 영상을 제작하기 위해서는 여러 시점의 색상 영상과 함께 깊이 정보를 필요로 한다. 하지만 깊이 정보를 얻을 때 사용하는 ToF 카메라는 해상도가 낮으며 적외선 신호의 주파수 문제 때문에 최대 3대까지 사용할 수 있다. 따라서 깊이 정보를 색상 영상과 함께 사용하기 위해서 깊이 정보의 업샘플링이 필수적이다. 업샘플링은 깊이 정보를 색상 카메라 위치로 3차원 워핑하고 결합형 양방향 필터(joint bilateral filter, JBF)를 사용하여 빈 영역을 채우는 방법으로 진행된다. 업샘플링은 오랜 시간이 소요되지만 그래픽스 프로세싱 유닛(graphics processing units, GPU)를 이용하여 빠르게 수행될 수 있다. 본 논문에서는 다중 GPU의 병렬 수행을 통하여 빠르게 다시점 깊이맵을 생성할 수 있는 방법을 제안한다. 다중 GPU 병렬 수행은 범용 목적 GPU(general purpose computing on GPU, GPGPU) 중의 하나인 CUDA를 이용하였으며, 본 논문에서 제안된 방법을 이용하여 3개의 GPU 사용한 실험 결과 초당 35 프레임의 다시점 깊이맵을 생성했다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.06b
• /
• pp.367-369
• /
• 2006

사람은 일반적으로 깊이를 지각하는데 두 눈으로 들어오는 영상의 시차(binocular disparity)를 이용하며 6-15m 정도의 범위 내에서는 매우 뛰어난 깊이 판별 능력을 보인다. 그러나 사람은 하나의 눈만으로도 깊이를 지각하는데 별 어려움을 느끼지 못한다. 이것은 공간의 깊이 지각 단서로 양안단서안이 아니라 다양한 단안단서(monocular Cue)들이 함께 사용되기 때문이다. 본 논문에서는 사람이 공간 깊이정보 파악에 사용하는 것으로 알려진 여러 단안 단서들 중 영상의 채도(saturation) 정보와 디포커스(defocus) 정보, 기하학적 깊이(geometric depth) 정보에 기반을 둔 단안 영상에서의 상대적 깊이지도의 생성방법을 제안한다.

• Broadcasting and Media Magazine
• /
• v.27 no.2
• /
• pp.35-42
• /
• 2022

3차원 깊이 영상은 시점으로부터 객체까지의 거리와 관련된 정보를 제공하는 영상으로 최근 자율주행 자동차, 스마트 드론, 로보틱스, 증강 현실, 의료 영상 등에 핵심 정보로 활용되는 매우 중요한 정보이다. 이에 따라 컴퓨터 비전 분야에서는 2차원 영상으로부터 3차원 깊이 정보를 획득하는 연구가 계속되어 왔고, 최근 인공지능 기술의 발달에 힘입어 그 성능도 나날이 향상되고 있다. 그 중에서도 스테레오 영상 간의 매칭을 통하여 깊이 정보를 획득하는 스테레오 매칭 기술은 데이터베이스 구축이 비교적 용이하고 획득 환경이 제한적이지 않다는 장점으로 인해 널리 활용되고 있다. 하지만 텍스쳐가 없는 영역, 패턴이 반복되는 영역, 가림 영역 등에서 성능에 한계를 보이기 때문에, 깊이 영상의 신뢰도를 추정하는 스테레오 깊이 영상의 신뢰도 추정 기술을 이용하여 깊이 정보를 효과적으로 복원할 수 있다. 본 고에서는 스테레오 매칭을 통하여 획득한 깊이 영상의 신뢰도 추정 기술의 발전 동향을 살펴보고 현재 기술의 한계점과 향후 나아갈 방향에 대해서 토의한다.