• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.11a
• /
• pp.25-28
• /
• 2012

본 논문에서는 키넥트(Kinect)에서 획득한 깊이 영상의 품질을 향상시키는 기법을 제안한다. 키넥트는 마이크로소프트사에서 출시한 카메라로 깊이 영상과 컬러 영상을 획득 할 수 있다. 하지만 적외선 패턴을 이용한 깊이 영상의 획득 방법의 한계로 인해 객체의 경계 주변으로 홀 및 잡음이 생긴다. 따라서 정확한 깊이 영상을 얻기 위해서는 깊이 영상의 품질 향상이 필수적이다. 일반적으로 깊이 영상의 홀을 채울 때, 인페인팅(inpainting) 또는 결합형 양방향 필터(joint bilateral filter) 등의 기법을 사용한다. 그러나 이러한 기법들의 경우 한 장의 영상만을 이용하기 때문에 객체 경계 주변의 흔들림 현상을 보정할 수 없다. 제안하는 기법에서는 먼저 수행속도가 빠른 가우시안 필터를 이용하여 경계 주변의 홀을 채운다. 이전 프레임의 컬러 영상을 그레이 영상으로 변환한 다음에 그레이 영상과 깊이 영상의 값의 변화를 분석하여 흔들림 화소를 찾아 이전 깊이 영상들 중 최대 화소 값으로 변환함으로써 깊이 영상의 경계 흔들림 현상을 줄일 수 있다. 실험을 통해 제안하는 기법이 기존의 방법들 보다 우수하다는 것을 확인하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2008.06c
• /
• pp.555-560
• /
• 2008

두 장의 2차원 영상을 가지고 3차원을 재구성하기 위해서는 스테레오 정합을 이용한다. 이러한 이유로 그 동안에 많은 스테레오 정합에 대한 연구가 진행되었다. 스테레오 정합은 컴퓨터 기술의 발전과 더불어 좀 더 빠르고 높은 정확성을 보이고 있다. 하지만 속도와 정확성을 동시에 만족시키면서 대형영상에서도 동작할 수 있게 메모리을 적게 사용하는 방법은 많지가 않다. 본 논문에서는 이런 요구 조건을 만족시키기 위하여 새로운 스테레오 정합방법을 제시한다. 우리가 제시하는 새로운 방법은 다중 방향성 Greedy 알고리즘과 RANSAC을 반복적으로 사용하여 영상전체에 대한 스테레오 정합을 시도하는 방법이다. 우선 Greedy 알고리즘을 이용하여 여러 방향의 scan-line을 따라 깊이값 영상을 구한다. 그리고 이 여러 장의 깊이값 영상들의 분포를 RANSAC을 이용하여 신뢰영역을 찾아낸다. 구해진 신뢰영역을 바탕으로 Greedy 알고리즘과 RANSAC을 수 차례 반복하여 신뢰영역을 확장해 나가면 최종 깊이값 영상을 얻는다. 우리가 제안하는 알고리즘은 적은 메모리로도 큰 영상의 정합이 가능하고, 속도와 정확도 측면에서도 우수한 결과를 보인다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.11a
• /
• pp.94-95
• /
• 2016

스테레오 정합은 서로 다른 두 시점을 갖는 스테레오 영상으로부터 객체의 깊이값을 예측한다. 이 방법은 객체가 카메라로 부터 멀리 떨어질수록 두 시점 사이에 큰 변위차를 갖는 양안시차 특성을 이용해 깊이값을 구한다. 일반적으로 스테레오 정합은 촬영한 두 영상의 조명 변화 및 노출 정도가 같다는 조건으로 수행된다. 하지만 실내 또는 실외에서 실제로 영상을 촬영하면 조명 및 햇빛의 위치 그리고 카메라의 특성에 따라 촬영된 스테레오 영상의 밝기가 서로 달라지는 경우가 발생하게 된다. 이처럼 두 영상의 밝기차를 고려하지 않고 스테레오 정합을 하게 되면 정확한 깊이값을 예측하기 어렵다. 이러한 문제를 개선하기 위해 조명 변화에 강인한 ANCC (Adaptive Normalized Cross Correlation)가 제안되었다. 이 방법은 영상 속 화소들의 색상 모델을 이용해 조명변화의 영향을 받는 요소들을 제거함으로써 다양한 밝기변화 속에서도 안정적으로 스테레오 정합을 수행할 수 있도록 한다. 하지만 ANCC는 수행과정에서 각 화소마다 양방향 필터 (Bilateral Filter)가 적용되는 등 높은 복잡도를 갖는다는 단점이 있다. 본 논문에서는 기존의 ANCC 보다 복잡도가 낮으면서 밝기변화에도 안정적인 정합 결과를 갖기 위해 Census 변환의 이진 정보를 이용한 스테레오 정합 방법을 제안한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.1350-1352
• /
• 2022

본 논문에서는 희소깊이영상과 컬러영상을 이용해 조밀한 깊이영상을 추정하는 깊이 완성(depth completion)을 수행하기위해 최근접 이웃 커널을 추정하는 방식의 네트워크를 제안한다. 회귀방식의 딥러닝 네트워크는 일반적으로 값을 직접 예측하는 것보다 기본 값에 더해질 잔차를 추정하는 방식이 더욱 효율적이다. 본 논문에서는 최근접 이웃 커널을 입력영상에 적용하여 추정하고자 하는 픽셀의 인근 픽셀에서 값을 가져와 기본 값으로 사용하고, 해당 값의 잔차를 회귀방식으로 추정하는 네트워크를 설계했다. 이러한 방식으로 여러 SOTA 알고리즘 대비 좋은 성능을 나타냈고, 특히 이와 유사한 방식인 Plane-residual net 보다 높은 성능을 보여준다.

• Proceedings of the Korea Institutes of Information Security and Cryptology Conference
• /
• 2006.06a
• /
• pp.246-250
• /
• 2006

얼굴의 중요한 특징부분을 잘 나타내는 깊이 에지 정보를 사용하면 표정과 조명변화로 인한 얼굴 픽셀의 밝기 값 변화에 대해 강인한 특징벡터를 생성할 수 있다. 본 논문에서는 깊이 에지(depth edge)를 이용한 새로운 특징벡터를 제안하고 그 유용성에 대하여 실험하였다. 새롭게 제안한 특징벡터는 얼굴의 깊이 에지 영상을 수평과 수직 방향으로 투영하여 얻어지는 에지 강도 히스토그램을 이용하기 때문에 얼굴의 움직임으로 인한 변형에 영향을 받지 않는다. 또한, 실시간 검출과 인식이 매우 용이하다. 제안한 깊이 에지 기반 특징벡터와 백색광 영상의 픽셀 값 기반 특징벡터에 대해 부공간 투영기반의 얼굴인식 알고리즘을 적용하여 성능을 비교 평가하였다. 실험 결과, 얼굴의 깊이 에지에 기반한 얼굴인식이 기존의 백색광만을 이용한 방법에 비해 높은 인식성능을 보였다

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.11a
• /
• pp.29-30
• /
• 2012

본 논문은 고해상도의 깊이맵을 얻기 위해서 대응되는 색상 영상의 최대 변화도를 이용한 깊이맵 업샘플링 기술을 제안한다. 기존 알고리즘들이 인접한 화소의 깊이 값을 참조할 때 거리에 따른 가중치를 부여하는 것과 달리, 제안한 방법은 현재 화소와 참조 화소 사이의 최대 색차 변화도를 이용하여 가중치를 부여한다. 이런 접근 방법은 비슷한 색상의 물체가 서로 붙어 있거나 큰 크기의 객체가 존재할 경우에도 모두 올바른 가중치를 부여할 수 있다는 장점을 갖는다. 먼저, 색상 영상의 색차 성분에 대한 변화도 영상을 계산하고, 업샘플링하고자 하는 화소와 참조 화소 사이의 최단 경로 위에서 가장 큰 변화도를 취한다. 변화도가 클수록 다른 객체에 존재할 확률이 높기 때문에 변화도가 큰 참조 화소에는 작은 가중치를 부여하고, 이들의 가중합을 통해 최종 깊이 값을 계산한다. 제안한 방법을 이용하여 깊이맵을 업샘플링한 결과가 기존 알고리즘들에 비해 우수한 결과를 보였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.11a
• /
• pp.260-263
• /
• 2011

이 논문에서 제안한 방법은 간단하게 중간 시점 깊이 영상을 생성하는 방법이다. 왼쪽 시점과 오른쪽 시점 두 가지 깊이 영상을 가지고 깊이 값을 계산 한 후 깊이 값과 시점의 이동에 따라 물체의 위치가 변화하는 상관관계를 간단한 식으로 계산해 중간 시점을 만든다. 중간 시점을 생성 한 후, 픽셀 이동에 따른 노이즈 감소 방법을 사용하는 기존 알고리즘 (1)과 이를 수정한 노이즈 감소 방법과 Occlusion영역을 채운 후, 중간 시점을 생성하는 알고리즘 (2)를 사용한다. 우리가 생성한 중간 시점의 PSNR은 알고리즘 (1)는 30.38dB이고, 알고리즘 (2)는 30.52dB이다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2016.04a
• /
• pp.693-695
• /
• 2016

축산 농가에서 돈사의 효율적인 관리를 위해 카메라를 이용한 자동 모니터링 기법이 중요한 이슈로 떠오르고 있다. 그러나 컬러 영상에서 돈사의 보온등 조명에 직접 노출된 돼지들이 노출 과다 현상에 의해 탐지되지 않는 문제가 발생한다. 본 논문에서는 컬러 영상에서 돼지가 탐지되지 않는 문제를 해결하기 위해 Kinect 2 카메라로부터 획득한 깊이 영상을 이용하여 돼지를 탐지하는 방법을 제안한다. 즉, 깊이 영상을 이용하여 깊이 정보 값을 보정한 후 바닥과 돼지의 깊이 정보 값의 차이를 통해 돼지들의 영역을 탐지한다. 실험 결과, 깊이 영상을 이용하여 보온등 조명에 과다 노출된 돼지의 영역을 탐지하고 히스토그램 평활화를 적용함으로써, 컬러 영상에서 돼지들이 탐지되지 않는 문제를 해결하였다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.21 no.7
• /
• pp.1371-1378
• /
• 2017

In this paper, we present an upsampling technique for depth map image using selective bilateral weights and a color weight using laplacian function. These techniques prevent color texture copy problem, which problem appears in existing upsamplers uses bilateral weight. First, we construct a high-resolution image using the bicubic interpolation technique. Next, we detect a color texture region using pixel value differences of depth and color image. If an interpolated pixel belongs to the color texture edge region, we calculate weighting values of spatial and depth in $3{\times}3$ neighboring pixels and compute the cost value to determine the boundary pixel value. Otherwise we use color weight instead of depth weight. Finally, the pixel value having minimum cost is determined as the pixel value of the high-resolution depth image. Simulation results show that the proposed algorithm achieves good performance in terns of PSNR comparison and subjective visual quality.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2009.11a
• /
• pp.77-80
• /
• 2009

3차원 영상 처리 기술과 3차원 디스플레이의 발전은 3차원 영상 시장의 빠른 발전을 가져왔고 차세대 방송 기술로 큰 관심을 받고 있다. 하지만 3차원 영상은 시청할 때 눈의 피로, 어지럼증과 같은 현상이 일어날 수 있으며, 왜곡된 3차원 영상이 인체에 해로운 영향을 미칠 수도 있다. 이는 3차원 영상 산업의 활성화를 위해서 가장 시급히 해결되어야 할 문제이다. 현재 3차원 디스플레이는 스테레오 방식과 함께 1view 1depth 다시점 방식이 개발되었다. 특히 1view 1depth 다시점 디스플레이에서 깊이 영상의 공간적/시간적으로 복잡한 정도는 피로감을 일으키는 주요 요소이며 이는 1view 1depth 영상을 통해 직접 연구할 수 있다. 본 논문에서는 1view 1depth 디스플레이에서 주관적인 피로도와 큰 상관도를 가지는 깊이 영상의 특성 측정 방법을 제안한다. 1view 1depth 디스플레이에서 view 영상은 양호한 화질을 가정하였으며 피로감에 큰 영향을 미치는 깊이 영상 정보만 사용하여 공간적, 시간적인 특성을 분석한다. 공간적 복잡도는 각 프레임에 대하여 깊이 영상 내 화소 값의 분산 값을 취하여 공간적으로 깊이 값의 분포와 구조의 복잡한 정도를 측정하고, 시간적 복잡도는 연속적인 프레임에 대하여 동일한 화소위치에서 화소 값 차이의 분산 값을 사용한다. 또한 공간적/시간적 평균값의 측정하여 피로감에 영향을 주는 요인으로 사용하였다. 결과적으로 측정한 값들을 바탕으로 주관적인 피로도 평가와 유사성을 가지도록 모델링하여 3차원 영상의 피로도를 예측한다.