Information and Communications Magazine (정보와 통신)

The Korean Institute of Commucations and Information Sciences (한국통신학회)
권호 표지

저해상도 깊이 맵의 해상도 확장을 위한 필터링 및 고속화 기술

  • Published : 2014.02.28
Download PDF
⟨ Previous Next ⟩

Abstract

본 논문에서는 깊이 영상의 해상도를 확장하기 위한 필터링 기술과 고속화 방법을 소개한다. 일반적으로 깊이 카메라를 통해 획득한 깊이 맵은 색상 카메라에 비해 낮은 해상도를 가진다. 다시점 카메라 시스템에서는 시점의 수가 제한되어 있기 때문에 가상 시점의 영상을 합성하기 위해서는 참조 시점의 색상영상과 깊이 맵이 필요하다. 본 논문에서는 깊이 맵의 해상도를 색상 영상의 해상도와 동일하게 확장하는 기술과 이를 실시간에 가깝게 효율적으로 수행하는 고속화 기술을 설명한다.

Keywords

Acknowledgement

Supported by : 미래창조과학부

References

  1. 호요성, 김성열, "3차원 입체 영상 정보처리," 두양사, 2010.
  2. 호요성, "다시점 3차원 영상의 획득 및 처리 기술," 전자공학회지, 제40권, 제3호, pp. 18-27, 2013.
  3. A. Smolic, K. Mueller, P. Merkle, C. Fehn, P. Kauff, P. Eisert, and T. Wiegand, "3D video and free viewpoint video - Technologies, applications and MPEG standards," IEEE International Conference on Multimedia and Expo, pp. 2161-2164, July 2006.
  4. C. Fehn, "Depth-image-based rendering (DIBR), compression and transmission for a new approach on 3-D TV," SPIE Conference Stereoscopic Displays and Virtual Reality Systems, vol. 5291, pp. 93-104, Jan. 2004.
  5. C. Fehn, K. Hopf, and Q. Quante, "Key technologies for an advanced 3D-TV system," SPIE Three- Dimensional TV, Video and Display, pp. 66-80, Oct. 2004.
  6. W.R. Mark, L. McMillan, and G. Bishop, "Postrendering 3D warping," Symposium on interactive 3D graphnics, pp. 7-16, April 1997.
  7. 호요성, 이은경, 강윤석, "다시점 깊이 카메라를 이용한 3 차원 입체영상의 정보 획득 방법," 방송공학회지, 제15권, 제2호, pp. 88-100, 2010.
  8. 이상범, 이천, 호요성, "3차원 영상 생성을 위한 깊이맵 추정 및 중간시점 영상합성 방법,"한국통신학회 논문지, 제 34권, 제10호, pp. 1070-1075, 2009.
  9. ISO/IEC JTC1/SC29/WG11,"Test sequences with different camera arrangements for call for proposals on multi-view video coding," MPEG document M15419, July 2005.
  10. ISO/IEC JTC1/SC29/WG11,"Moving multiview camera test sequences for MPEG-FTV," MPEG document M16922, Oct. 2009.
  11. ZCam Product data sheet, StudioGE, 2009.
  12. S.A. Gudmundsson, H. Aanaes, and R. Larsen, "Fusion of stereo vision and time-of-flight imaging for improved 3D estimation," International Journal of Intelligent Systems Technologies and Applications, vol. 5, no. 3, pp. 425-433, Nov. 2008. https://doi.org/10.1504/IJISTA.2008.021305
  13. E.K. Lee and Y.S. Ho, "Generation of high-quality depth maps using hybrid camera system for 3-D video," Journal of Visual Communications and Image Representation, vol. 21, no. 8, pp. 501-512, Dec. 2010.
  14. 호요성, "깊이 영상 화질 개선 및 업샘플링 기술,"방송과 기술, 제215권, pp. 158-163, 2013.
  15. K. Oh, A. Vetro, and Y.S. Ho, "Depth coding using a boundary reconstruction filter for 3D video systems," IEEE Transactions on Circuits and Systems for Video Technology, vol. 21, no. 3, pp. 350-359, March 2011. https://doi.org/10.1109/TCSVT.2011.2116590
  16. 소용석, 이대현, 심재영, 이상욱, "평면 맞춤을 이용한 깊 이 초 해상도," 영상처리 및 이해에 관한 워크샵, P-084, 2012년 2월. Three-Dimensional TV, Video and Display, pp. 66-80, Oct. 2004.
  17. J. Kopf, M.F. Cohen, D. Lischinski, and M. Uyttendaele, "Joint bilateral upsampling," ACM Transactions on Graphics, vol. 26, no. 3, pp. 1-5, July 2007.
  18. D. Chan, H. Buisman, C. Theobalt, and S. Thrun, "A noise-aware filter for real-time depth upsampling," ECCV Workshop on Multi-camera and Multi-modal Sensor Fusion Algorithms and Applications, pp. 1-12, Oct. 2008.
  19. J. Diebel and S. Thrun, "An application of Markov random field to range sensing," Advances in Neural Information Processing Systems, vol. 18, pp. 291- 298, Dec. 2006.
  20. Y. Qingxiong, Y. Ruigang, J. Davis, and D. Nister, "Spatial-depth super resolution for range images," IEEE Conference on Computer Vision and Pattern Recognition, pp. 1-8, June 2007.
  21. G. Lee and Y.S. Ho, "Depth map boundary enhancement using random walk," International Workshop on Advanced Image Technology, pp. 118- 121, Jan. 2012.
  22. 신동원, 이상범, 호요성, "결합형 양방향 필터를 이용한 실시간 깊이 영상 보정 방법," 한국방송공학회 추계학술대회, A3-2, pp. 3-6, 2013년 11월.
  23. NVIDIA, "CUDA C Programming Guide," document PG-02829-001_v5.0, Oct. 2012.
  24. J. Sanders and E. Kandrot, "CUDA by example," 2010.