DOI QR코드

DOI QR Code

랜덤워크 확률 모델을 이용한 깊이 영상 보간 방법

Depth Interpolation Method using Random Walk Probability Model

  • 이교윤 (광주과학기술원 실감방송연구센터) ;
  • 호요성 (광주과학기술원 실감방송연구센터)
  • 투고 : 2011.08.30
  • 심사 : 2011.12.05
  • 발행 : 2011.12.30

초록

고해상도 3차원 깊이 영상은 고품질의 3차원 방송을 위해 필요한 중요한 정보이다. 깊이 카메라는 정확한 깊이 정보를 실시간으로 얻을 수 있지만, 카메라 물리적 한계로 인해 저해상도의 깊이 영상만 이용한다. 본 논문에서는 저해상도의 깊이 영상과 색상 영상을 이용하여 색상 영상을 보간 하는 방법을 제안한다. 제안하는 방법은 랜덤워크 확률 모델을 이용하여 각 화소들이 초기 깊이값과 같을 확률값을 정의하여 가장 높은 확률을 가지는 초기 깊이값을 나머지 화소들에 복사한다. 제안한 방법은 인접한 화소들만을 이용하는 것이 아니라 경로를 따라 비용을 계산함으로써, 여러 화소에 걸친 색상의 변화율이 고려되어 물체의 경계 주변에서 색상 영역과 깊이 영상간의 경계가 일치하는 향상된 깊이 영상을 얻을 수 있다.

For the high quality 3-D broadcasting, depth maps are important data. Although commercially available depth cameras capture high-accuracy depth maps in real time, their resolutions are much smaller than those of the corresponding color images due to technical limitations. In this paper, we propose the depth map up-sampling method using a high-resolution color image and a low-resolution depth map. We define a random walk probability model in an operation unit which has nearest seed pixels. The proposed method is appropriate to match boundaries between the color image and the depth map. Experimental results show that our method enhances the depth map resolution successfully.

키워드

참고문헌

  1. O. Schreer, P. Kauff, and T.Sikora, 3D Videocommunication, John Wiley&Sons, 2005.
  2. ISO/IEC JTC1/SC29/WG11 N9784, "Introduction to 3D Video," May, 2008.
  3. C. Zitnick, S. Kang, M. Uyttendaele, S. Winder and R. Szeliski, "High-quality video view interpolation using a layered representation," Proceedings of ACM SIGGRAPHS 23(3), pp.600-608, 2004. https://doi.org/10.1145/1015706.1015766
  4. G. Iddan and G. Yahav, "3D Imaging in the studio (and elsewhere)," in: Proceedings of SPIE Videometrics and Optical Methods for 3D Shape Measurements, Vol.4298, pp.48-55, 2001.
  5. E. -K. Lee and Y. -S. Ho, "Generation of Multi-View Video Using a Fusion Camera System for 3D Displays," IEEE Transactions on Consumer Electronics, Vol.56, paper 4, pp.2797-2805, 2010. https://doi.org/10.1109/TCE.2010.5681171
  6. E. K. Lee, Y. S. Ho, "Generation of High-quality Depth Maps using Hybrid Camera System for 3-D Video," Journal of Visual Communication and Image Representation (JVCI), Vol. 22, paper Issue 1, pp. 73-84, 2011. https://doi.org/10.1016/j.jvcir.2010.10.006
  7. J. Diebel and S Thrun, "An application of markov random fields to range sensing," Advances in Neural Information Processing Systems, Vol.18, pp.291-298, Dec., 2005.
  8. Q. Yang, R. Yang, J. Davis, and D. Nister, "Spatial-depth super resolution for range images," International Conference on Computer Vision and Pattern Recognition, Jun., 2007.
  9. J. l. Jung, Y. S. Ho, "MRF-based Depth Map Interpolation using Color Segmentation," Asia-Pacific Signal and Information Processing Association (APSIPA) 2010, pp. 19-22, 2010.
  10. Leo Gardy, Random Walks for Image Segmentation, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.28, No.11, 2006.
  11. N. Biggs, "Algebraic potential theory on graphs," Bulletin of London Mathematics Society, Vol.29, pp.641-682, 1997. https://doi.org/10.1112/S0024609397003305
  12. http://vision.middlebury.edu/stereo/