DOI QR코드

DOI QR Code

Depth Upsampler Using Color and Depth Weight

색상정보와 깊이정보 가중치를 이용한 깊이영상 업샘플러

  • Received : 2016.02.25
  • Accepted : 2016.05.02
  • Published : 2016.07.28

Abstract

In this paper, we present an upsampling technique for depth map image using color and depth weights. First, we construct a high-resolution image using the bilinear interpolation technique. Next, we detect a common edge region using RGB color space, HSV color space, and depth image. If an interpolated pixel belongs to the common edge region, we calculate weighting values of color and depth in $3{\times}3$ neighboring pixels and compute the cost value to determine the boundary pixel value. Finally, the pixel value having minimum cost is determined as the pixel value of the high-resolution depth image. Simulation results show that the proposed algorithm achieves good performance in terns of PSNR comparison and subjective visual quality.

본 논문은 색상정보와 깊이정보 가중치를 이용한 깊이영상 업샘플링 방법을 제안한다. 제안하는 알고리즘은 먼저 양선형 보간법을 통해 높은 해상도의 깊이영상을 생성한다. 그 후 RGB 색상영상, HSV 색상영상, 깊이영상 등을 이용하여 공통경계 영역을 추정한다. 만일 보간 된 화소가 공통경계 영역에 속한다면 해당화소를 포함하는 $3{\times}3$ 영역의 화소들에 대한 색상정보와 깊이정보의 가중치를 구하고 경계 화소값 결정을 위한 비용계산을 수행한다. 그 후 가장 작은 경계 화소값 결정 비용을 가지는 화소 값을 결과영상의 화소값으로 정한다. 제안하는 알고리즘은 PSNR 및 주관적 화질 비교에서 우수한 성능을 보였다.

Keywords

References

  1. S. B. Gokturk, H. Yalcin, and C. Bamji, "A Time-of-Flight Depth Sensor, System Description, Issues and Solutions," Proc. IEEE Conf. Computer Vision Pattern Recognition Workshops, p.35, 2004.
  2. R. C. Gonzalez and R. E. Woods, Digital Image Processing, Prentice Hall, 2002.
  3. J. Kopf, M. F. Cohen, D. Lischinski, and M. Uyttendaele, "Joint Bilateral Upsampling," ACM Trans. on Graphics, Vol.26, No.3, pp.1-6, 2010. https://doi.org/10.1145/1276377.1276379
  4. L. Yagguang, L. Zhang, and Y. Zhang, "Depth Map Super-resolution Via Iterative Joint-Trilateral-Upsampling," Proc. IEEE Conf. Visual Communications and Image Processing, pp.386-389, 2014.
  5. Q. Yang, R. Yang, and James Davis, "Spatial-Depth Super Resolution for Rang Images," Proc. IEEE Conf. Computer Vision and Pattern Recognition, pp.1-8, 2007.
  6. S. Y. Kim and Y. Ho, "Fast Edge-preserving Depth Image Upsampler," IEEE Trans. Consumer Electronics, Vol.21, No.32, pp.1176-1190, 2012.
  7. J. T. Tou and R. C. Gonazalez, Pattern Recognition Principles, Addison-Wesley Publishing Company, 1974.
  8. J. F. Canny, "A Computational Approach to Edge Detection," IEEE Trans. Pattern Analysis and Machine Intelligence, Vol.8, No.6, pp.679-698, 1986.
  9. D. Scharstein and R. Szeliski, "A Taxonomy and Evaluation of Dense Two-Frame stereo Correspondence Algorithms," Proc. IEEE Conf. Stereo and Multi-Baseline Vision. Workshops, Vol.7, No.1, pp.7-42, 2002.