• 한국통신학회논문지
• /
• 제38C권10호
• /
• pp.875-880
• /
• 2013

시청자에게 입체감과 몰입감을 줄 수 있는 3차원 영상의 제작을 위해서는 장면의 색상 영상과 함께 깊이 정보가 필요하다. 일반적으로 장면의 깊이를 측정하는 깊이 센서에서 획득된 깊이 영상은 매우 작은 해상도를 가진다. 따라서 색상 영상과 함께 3차원 영상 제작에 이러한 깊이 영상을 사용하기 위해서는 저해상도 깊이 영상의 업샘플링 기술이 필요하다. 본 논문에서는 깊이 불연속 정보를 이용하여 저해상도 깊이 영상을 업샘플링하는 방법을 설명한다. 깊이 영상을 업샘플링할 때 가장 민감하게 다루어야 할 깊이 불연속 부분을 고해상도 색상과 저해상도 깊이 영상으로부터 찾아낸다. 그리고 깊이 불연속 부분을 고려하여 깊이 영상 업샘플링을 위한 에너지 함수를 모델링하고, 신뢰 확산(belief propagation) 방법을 이용하여 해상도가 확대된 깊이 영상을 획득한다. 제안하는 방법은 필터 기반이나 에너지 함수 기반의 다른 방법들보다 우수한 성능을 나타내었다.

• 방송공학회논문지
• /
• 제17권6호
• /
• pp.933-944
• /
• 2012

본 논문은 저해상도의 깊이맵을 고해상도의 깊이맵으로 변환하는 새로운 방법인 거리 변환 기반의 양측 업샘플링 기법을 제안한다. 제안하는 방법은 깊이맵의 거리변환 값에 따라 공간 도메인 가중치 함수를 조절하기 때문에 에지의 선명도를 유지하면서 깊이맵의 해상도를 증가시킨다. 이를 위해, 제안하는 방법은 거리 변환 단계, 공간 가중치 조절 단계, 영상 보간 단계를 거친다. 다양한 실험 깊이 맵을 통한 실험에서 제안하는 방법이 기존의 양측 업샘플링 방법보다 출력 깊이맵의 화질 관점에서 성능이 좋아짐을 확인했다.

• 방송공학회논문지
• /
• 제19권1호
• /
• pp.31-43
• /
• 2014

깊이맵은 3D 입체영상의 생성을 위해 중요한 요소이다. 하지만 깊이 카메라를 이용하여 획득한 깊이맵들은 낮은 해상도를 갖는 단점이 있기 때문에 이를 고해상도로 변환하는 연구들이 활발하게 진행되고 있다. 이러한 연구들은 일반적으로 PSNR, Sharpness Degree, Blur Metric 등과 같은 객관적인 평가방법으로 성능을 검증해왔다. 이러한 평가방법 이외에 DIBR로 가상시점(virtual view)을 생성하여 주관적으로 평가하는 연구도 있으나, 입체영상을 생성하여 깊이맵 업샘플링의 성능을 분석하는 것은 많지 않다. 본 논문에서는 다양한 깊이맵 업샘플링 방법들을 이용하여 생성된 입체영상의 주관적 평가와 업샘플링 방법의 객관적 평가 결과의 상관관계 및 선형회귀법을 이용하여 관련성을 분석한다. 실험결과에서는 에지 PSNR이 시각적 피로도와의 상관관계가 가장 높고, Blur Metric은 가장 낮다는 것을 보여준다. 또한 선형회귀에서는 최적의 입체영상을 얻을 수 있는 객관적 평가의 가중치를 구하고, 기존 또는 새로운 업샘플링 알고리즘의 3D성능을 예측할 수 있는 공식을 보여준다.

• 방송공학회논문지
• /
• 제26권3호
• /
• pp.283-295
• /
• 2021

본 논문은 자기 조직화 지도 기법을 기반으로 라이다 기반으로 생성된 깊이 맵과 컬러 이미지의 정보를 기반으로 고밀도 깊이 맵을 생성하는 방법을 제안한다. 제안하는 깊이 맵 업샘플링 방법은 라이다에서 취득되지 않은 공간에 대한 초기 깊이 예측 단계와 초기 깊이 필터링 단계로 구성된다. 초기 깊이 예측 단계에서는 두 장의 컬러 이미지에 대해 스테레오 매칭을 수행하여 초기 깊이 값을 예측한다. 깊이 맵 필터링 단계에서는 예측된 초기 깊이 값의 오차를 감소시키고자 예측 깊이 픽셀에 대하여 주변의 실측 깊이 값을 이용하여 자기 조직화 지도 기법을 수행한다. 자기 조직화 기법 수행 시 예측 깊이 픽셀과 실측 깊이 픽셀의 거리와, 각 픽셀에 대응되는 컬러 값의 차이에 따라 가중치를 결정한다. 본 논문에서는 성능 비교를 위하여 깊이 맵 업샘플링 방법으로 널리 사용되고 있는 양방향 필터 및 k-최근접 이웃 알고리즘과 비교를 진행하였다. 제안하는 방법은 양방향 필터 방법 및 k-최근접 이웃 알고리즘 대비 MAE 관점에서 각각 약 6.4%, 8.6%이 감소하였고 RMSE 관점에서 각각 약 10.8%, 14.3%이 감소하였다.

• 방송공학회논문지
• /
• 제21권6호
• /
• pp.957-964
• /
• 2016

요즘 들어, 3차원 콘텐츠의 수요는 지속적으로 증가하고 있다. 3차원 콘텐츠의 품질은 해당 장면의 깊이 정보에 큰 영향을 받기 때문에 정확한 깊이 정보를 얻는 것이 매우 중요하다. 카메라와 객체 사이의 깊이 정보는 적외선 센서를 이용한 계산을 통해 직접 얻을 수 있다. 최근 들어, KINECT 카메라와 같이 카메라와 물체 사이의 거리를 적외선이나 광신호를 이용하여 직접 측정하는 Time-of-flight (ToF) 기술을 사용하는 깊이 측정 방법이 널리 사용되고 있다. 이러한 방법은 카메라와 객체 사이의 깊이 정보를 실시간으로 획득할 수 있다는 장점을 갖지만, 획득된 깊이맵에 잡음이 발생하고, 깊이맵의 해상도가 낮다는 단점을 갖는다. 최근 들어, 이런 문제를 해결하기 위해서 양방향 결합 업샘플링 방법 (JBU) 이나 잡음 제거 업샘플링 방법 (NAFDU) 과 같은 필터 기반의 방법이 제안되었다. 그러나 이러한 필터 기반의 업샘플링 방법은 업샘플링된 깊이맵에 색상영상의 질감이 복사되는 문제가 발생한다. 이 논문에서는 이러한 문제점을 해결하기 위해 고차 정규화항을 이용하여 에너지 함수를 만들고, 이를 최적화하여 깊이맵을 업샘플링 한다. 또한, 색상과 깊이맵의 경계 정보를 고려한 경계 가중치항을 추가하여 질감 복사 문제를 해결한다. 실험 결과, 제안하는 깊이맵 업샘플링 방법이 기존의 방법에 비해 깊이 정보의 품질은 유지하면서, 질감 복사 문제를 효과적으로 해결할 수 있음을 확인했다.

• 대한전자공학회논문지SP
• /
• 제48권6호
• /
• pp.8-17
• /
• 2011

최근 비행시간 (Time-of-Flight, TOF) 원리에 기반한 깊이 카메라의 등장과 함께 저해상도 깊이 카메라와 고해상도 컬러 카메라로 이루어진 복합형 카메라 시스템 (Fusion Camera System) 이 각광을 받고 있다. 복합형 카메라 시스템에서 취득한 저해상도 깊이맵을 컬러 영상과 같은 영상 평면 (Image Plane) 에 위치시키고 같은 해상도를 가질 수 있게 하려면 카메라 보정 및 3차원 투영, 홀 (Hole) 채우기와 같은 일련의 전처리 과정이 필요하다. 그러나 전처리 과정을 거친 깊이맵은 깊이 카메라의 내부 특성, 카메라 보정의 부정확성 등에 의해 많은 오차를 가진다. 그러므로 본 논문에서는 오차가 많은 상황에서도 강건하게 동작하는 깊이맵 업샘플링 방법을 제안한다. 먼저, 전처리 과정을 통해 얻은 깊이 정보의 신뢰도를 컬러 영상과의 상관관계에 기반하여 측정한다. 그리고 낮은 신뢰도의 깊이 정보를 참조하지 않는 수정된 커널 회기법 (Kernel Regression)을 통해 깊이맵과 컬러 영상의 경계 정합을 수행하여 세밀한 깊이 표현이 가능한 고해상도 깊이맵을 형성한다. 제안하는 알고리즘은 깊이 정보의 신뢰도 정의와 그에 따른 참조를 통해 카메라 보정 결과가 부정확하더라도 높은 성능의 깊이맵 생성을 보장한다. 실험결과를 통해 기존의 깊이맵 업샘플링 기술보다 제안하는 방법이 더 정확한 깊이 정보를 제공하는 것을 확인할 수 있다.

• 방송공학회논문지
• /
• 제25권6호
• /
• pp.965-972
• /
• 2020

깊이 영상은 물체와의 거리 정보를 가지고 있다. 이는 3D 정보를 구성하는데 중요한 역할을 한다. 보통 같은 시점에서 얻은 컬러 영상과 깊이 영상을 함께 사용한다. 그런데 하드웨어 기술의 한계로 인해 깊이 영상은 쌍을 이루는 컬러 영상에 비해 낮은 해상도를 갖는다. 따라서 일반적으로 깊이 영상을 사용할 때 영상의 해상도를 컬러 영상의 해상도에 맞게 업샘플링을 진행한 후 사용한다. 본 논문에서는 깊이 영상의 해상도를 높이기 위해 화소 값을 개선시키는 일반적인 방법이 아닌 화소의 위치를 이동시키는 방법을 제안한다. 제안하는 기법에서는 화소의 위치를 경계 주변에서 경계 중앙으로 이동시키며 이 과정을 여러 단계에 걸쳐 진행하여 블러된 영상을 복원한다. 실험 결과를 통해 제안하는 방법이 기존 방법들에 비해 정량적, 시각적 품질을 모두 개선시켰음을 알 수 있다.

• 한국정보통신학회논문지
• /
• 제21권7호
• /
• pp.1371-1378
• /
• 2017

본 논문은 양방향 가중치를 이용하는 기존의 업샘플링 방법들에서 나타난 색상 텍스쳐 복사(color texture copy) 문제를 방지하기 위해 선택적 양방향 가중치와 라플라시안 함수를 이용한 색상 가중치를 제안한다. 제안하는 알고리즘은 먼저 3차 회선 보간법(bicubic interpolation)을 통해 높은 해상도의 깊이영상을 생성한다. 그 후 색상영상과 깊이영상의 주변 화소값 차이를 이용하여 색상 텍스쳐 영역을 추정한다. 만일 보간 된 화소가 색상 텍스쳐 영역에 속한다면 해당화소를 포함하는 $3{\times}3$ 영역의 화소들에 대한 거리정보와 깊이정보의 가중치를 구하고 경계 화소값 결정을 위한 비용계산을 수행한다. 반면에 색상 텍스쳐 영역에 포함되지 않는 화소는 깊이정보 가중치 대신 색상정보 가중치를 구하여 비용계산을 수행한다. 아홉 개의 화소에 대한 비용계산이 끝나면 가장 작은 경계 화소값 결정 비용을 가지는 화소 값을 결과영상의 화소값으로 정한다. 제안하는 알고리즘은 PSNR 및 주관적 화질 비교에서 우수한 성능을 보였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권7호
• /
• pp.3217-3238
• /
• 2018

In this paper, a depth image up-sampling method is put forward by using pixel classifying and jointed bilateral filtering. By analyzing the edge maps originated from the high-resolution color image and low-resolution depth map respectively, pixels in up-sampled depth maps can be classified into four categories: edge points, edge-neighbor points, texture points and smooth points. First, joint bilateral up-sampling (JBU) method is used to generate an initial up-sampling depth image. Then, for each pixel category, different refinement methods are employed to modify the initial up-sampling depth image. Experimental results show that the proposed algorithm can reduce the blurring artifact with lower bad pixel rate (BPR).

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.205-207
• /
• 2020

본 논문에서는 딥러닝 기반의 깊이 영상 초해상도 기술에 대해서 제안한다. 기존 깊이 영상의 초해상도 기술은 고해상도의 컬러 영상과 저해상도 깊이 영상을 이용하여 화소 값을 개선시켜 고해상도의 깊이 영상을 예측하였다. 하지만 이라한 방법들은 단순히 화소 값을 증가 또는 혹은 감소시키는 방법으로 언더슈팅 또는 오버슈팅과 문제를 발생시켜 성능 향상을 제한한다. 제안하는 기법에서는 이러한 한계를 극복하기 위해 화소의 위치를 이동하여 영상을 복원하는 격자 워핑 방식을 반복적으로 적용하여 고해상도 깊이 영상을 예측하였다. 실험 결과, 제안한 방식이 기존 방법들에 비해 정량적, 시각적 품질을 개선시켰음을 확인하였다.