• 방송공학회논문지
• /
• 제20권2호
• /
• pp.204-214
• /
• 2015

업샘플링 깊이맵은 깊이 카메라로부터 획득된 깊이맵의 공간 해상도를 증가시키는 방법이다. 깊이맵의 성능은 입체영상, 멀티뷰의 3D 입체감과 밀접한 관계가 있다. PSNR 등의 객관적 메트릭으로 깊이맵의 업샘플링 성능을 평가하고, 생성된 입체영상은 주관적 평가를 통해서 입체감 및 시각적 피로도를 조사한다. 후자의 주관적 평가는 인적 물적 자원을 필요로 하는 반면에, 전자의 객관적 메트릭은 수학적 표현으로 정량적 수치값을 알려준다. 따라서 주관적 평가와 높은 상관관계를 가지는 객관적 메트릭이 주관적 평가를 대체할 수 있다면 많이 시간을 필요로 하는 주관적 평가가 불필요하다. 이를 위해 본 논문에서는 다양한 객관적 메트릭과 3D 주관적 평가 사이의 관계를 조사한 후에, 이용한 메트릭에 기반한 주관평가와 상관관계가 높은 객관적 메트릭을 제안한다. 업샘플링된 깊이맵의 성능을 측정하기 위해 다양한 참조영상 및 무참조영상 평가 메트릭들을 이용하였다. 주관적 평가는 DSCQS 입체영상 테스트로 수행되었다. 세 종류의 상관관계의 활용 및 분석을 통해서, SSIM과 Edge-PSNR이 주관적 평가를 대체할 수 있는 적합한 객관적 메트릭임을 실험을 통해서 검증하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권8호
• /
• pp.2068-2082
• /
• 2023

With the rapid development of deep learning, Depth Map Super-Resolution (DMSR) method has achieved more advanced performances. However, when the upsampling rate is very large, it is difficult to capture the structural consistency between color features and depth features by these DMSR methods. Therefore, we propose a color-image guided DMSR method based on iterative depth feature enhancement. Considering the feature difference between high-quality color features and low-quality depth features, we propose to decompose the depth features into High-Frequency (HF) and Low-Frequency (LF) components. Due to structural homogeneity of depth HF components and HF color features, only HF color features are used to enhance the depth HF features without using the LF color features. Before the HF and LF depth feature decomposition, the LF component of the previous depth decomposition and the updated HF component are combined together. After decomposing and reorganizing recursively-updated features, we combine all the depth LF features with the final updated depth HF features to obtain the enhanced-depth features. Next, the enhanced-depth features are input into the multistage depth map fusion reconstruction block, in which the cross enhancement module is introduced into the reconstruction block to fully mine the spatial correlation of depth map by interleaving various features between different convolution groups. Experimental results can show that the two objective assessments of root mean square error and mean absolute deviation of the proposed method are superior to those of many latest DMSR methods.

• 한국콘텐츠학회논문지
• /
• 제16권7호
• /
• pp.431-438
• /
• 2016

본 논문은 색상정보와 깊이정보 가중치를 이용한 깊이영상 업샘플링 방법을 제안한다. 제안하는 알고리즘은 먼저 양선형 보간법을 통해 높은 해상도의 깊이영상을 생성한다. 그 후 RGB 색상영상, HSV 색상영상, 깊이영상 등을 이용하여 공통경계 영역을 추정한다. 만일 보간 된 화소가 공통경계 영역에 속한다면 해당화소를 포함하는 $3{\times}3$ 영역의 화소들에 대한 색상정보와 깊이정보의 가중치를 구하고 경계 화소값 결정을 위한 비용계산을 수행한다. 그 후 가장 작은 경계 화소값 결정 비용을 가지는 화소 값을 결과영상의 화소값으로 정한다. 제안하는 알고리즘은 PSNR 및 주관적 화질 비교에서 우수한 성능을 보였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2014년도 하계학술대회
• /
• pp.101-104
• /
• 2014

3차원 영상 제작을 위해서는 장면의 색상 영상과 함께 깊이 정보가 필요하다. 일반적으로 깊이를 측정하는 TOF 카메라에 의해 획득된 깊이 영상은 컬러 영상에 비해 매우 작은 해상도의 영상을 갖게 되는 문제가 있다. 따라서 색상 영상과 함께 3차원 영상 제작에 깊이 영상을 사용하기 위해서는 저해상도 깊이 영상의 업샘플링 방법이 필요하다. 특히 컬러 영상에서 사물 간의 경계에 해당하는 부분에서 색상 차이를 인지하지 못하여 깊이 맵을 부적절하게 처리하게 되는 경우가 발생한다. 본 논문에서는 색상 영상에서 경계부분에 해당하는 영역을 이용하여 저해상도 깊이 영상을 업샘플링 하는 방법을 제안한다. 깊이 영상을 업샘플링 할 때 중요하게 다루어야 할 경계 부분을, 고해상도 색상 영상과 저해상도 깊이 영상을 이용하여 찾아낸다. 색상 경계 부분을 고려하여 깊이 영상 업샘플링을 위한 에너지 함수를 MRF를 이용하여 모델링하고, 신뢰 확산(belief propagation)방법을 이용하여 에너지 함수 최적화를 수행한다. 제안한 방법은 기존의 다른 에너지 함수나 필터 기반 업샘플링 방법보다 우수한 성능을 나타내었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 하계학술대회
• /
• pp.39-41
• /
• 2011

본 논문에서는 깊이 영상의 해상도와 품질을 향상시키는 방법을 제안한다. 일반적으로 2D-plus-Depth 구조의 3D 콘텐츠에서는 깊이 영상의 품질이 매우 중요하다. 최근 들어 Time-of-Flight (TOF) 방식의 깊이 센서가 깊이 영상 획득에 많이 사용되고 있는데 TOF 깊이 센서가 제공하는 깊이 영상은 저해상도이기 때문에 고해상도 3D 콘텐츠를 제작하기 위해서는 깊이 영상의 해상도를 상향 변환하는 것이 필수적이다. 또한 고품질의 깊이 영상을 얻기 위해서는 물체 간의 경계를 정교하게 보존하는 것이 중요하다. 최근에는 깊이 영상의 해상도 상향 변환을 위해서 Joint Bilateral Upsampling(JBU) 방식이 많이 사용되고 있다. 본 논문은 깊이 영상의 해상도를 높임에 있어서 우선 보간법을 수행하여 영상의 상향 변환 시에 생긴 빈 홀들의 값을 채워준 후 Bilateral Filtering을 수행함으로써 성능을 높인다. 일반적으로 영상을 상향 변환을 할 때 다양한 방법들이 있는데 본 논문에서는 Nearest Neighborhood(NN), Gaussian과 경계 보존 보간법, 경계 보존 보간법과 Fast Curvature Based Interpolation(FCBI)를 결합한 보간법을 사용하였다. 실험 결과 제안 방법이 기존 방법보다 우수한 성능을 가짐을 보여준다. 또한 경계 보존 보간법과 FCBI를 결합한 보간법을 이용해서 상향 변환을 수행한 결과가 다른 보간법들에 의한 결과보다 우수하다는 점을 알 수 있다.