The Journal of the Korea Contents Association (한국콘텐츠학회논문지)

The Korea Contents Association (한국콘텐츠학회)
권호 표지
DOI QR코드

DOI QR Code

Parallax Map Preprocessing Algorithm for Performance Improvement of Hole-Filling

홀 채우기의 성능 개선을 위한 시차지도의 전처리 알고리즘

  • 김준호 (한밭대학교 정보통신전문대학원) ;
  • 이시웅 (한밭대학교 정보통신전문대학원)
  • Received : 2013.07.05
  • Accepted : 2013.10.16
  • Published : 2013.10.28
Download PDF
⟨ Previous Next ⟩

Abstract

DIBR(Depth Image Based Rendering) is a kind of view synthesis algorithm to generate images at free view points from the reference color image and its depth map. One of the main challenges of DIBR is the occurrence of holes that correspond to uncovered backgrounds at the synthesized view. In order to cover holes efficiently, two main approaches have been actively investigated. One is to develop preprocessing algorithms for depth maps or parallax maps to reduce the size of possible holes, and the other is to develop hole filling methods to fill the generated holes using adjacent pixels in non-hole areas. Most conventional preprocessing algorithms for reducing the size of holes are based on the smoothing process of depth map. Filtering of depth map, however, attenuates the resolution of depth map and generates geometric distortions. In this paper, we proposes a novel preprocessing algorithm for parallax map to improve the performance of hole-filling by avoiding the drawbacks of conventional methods.

DIBR(Depth Image Based Rendering)은 참조 영상 및 그와 관련된 깊이지도로부터 자유 시점의 영상을 생성하는 영상 합성 알고리즘이다. DIBR을 통한 영상 합성의 주요 난제 중 하나는 참조영상에서 가려져 있던 영역이 합성 시점에서 드러나게 되어 발생하는 홀의 처리 문제이다. 이를 위해 깊이지도 또는 시차지도의 전처리를 통해 홀의 크기 자체를 줄이기 위한 방안 및 발생된 홀 영역을 주위 신호를 이용하여 채우는 홀 채우기 알고리즘에 대한 연구가 활발히 진행되어 왔다. 일반적으로 홀의 크기를 줄이기 위한 방안으로는 깊이지도에 평활화를 적용하는 전처리 방식들이 주를 이룬다. 깊이지도를 평활화하면 큰 홀의 발생을 막을 수 있다는 장점을 갖게 되지만, 깊이 정보의 손실과 기하학적 왜곡이 발생한다는 단점 또한 동시에 나타난다. 본 논문에서는 이러한 단점을 극복하여 장면 합성 과정에서 발생하는 홀 채우기의 성능을 효과적으로 개선할 수 있는 시차지도 기반의 전처리 알고리즘을 제안한다.

Keywords

References

  1. A. Redert, M. Op de Beeck, C. Fehn, W. IJsselsteijn, M. Pollefeys, L. Van Gool, E. Ofek, I. Sexton, and P. Surman, "ATTEST-advanced three-dimensional television system techniques," in Proc. 3DPVT' 02, Padova, Italy, pp.313-319, 2002(1).
  2. 전영일, 이시웅, "다시점 영상 부호화를 위한 모형 기반 시점간 비정합 보상 알고리즘", 한국콘텐츠학회논문지, 제8권, 제7호, pp.1-8, 2008. https://doi.org/10.5392/JKCA.2008.8.7.001
  3. 한찬희, 최해철, 이시웅, "2차원 동영상의 3차원 변환을 위한 깊이 단서의 신뢰성 기반 적응적 깊이 융합", 한국콘텐츠학회논문지, 제12권, 제12호, pp.1-13, 2012. https://doi.org/10.5392/JKCA.2012.12.12.001
  4. C. Fehn, "Depth-Image-Based Rendering (DIBR), Compression and transmission for a New Approach on 3D-TV," Proceedings of the SPIE, Vol.5291, pp.93-104, 2004.
  5. T. C. Lin, Hsien-Chao Huang and Yueh-Min Huang, "Preserving depth resolution of synthesized images using parallax-map-based DIBR for 3D-TV," Consumer Electronics, IEEE Transactions on 56.2(2010), pp.720-727, 2010. https://doi.org/10.1109/TCE.2010.5505993
  6. X. H. Lu, Fang Wei, and F. M. Chen, "Foreground-Object-Protected Depth Map Smoothing for DIBR," Multimedia and Expo (ICME), 2012 IEEE International Conference on, pp.339-343, 2012.
  7. X. Y. Xu, L. M. Po, K. W. Cheung, K. H. Ng, K. M. Wong, and C. W. Ting, "A Foreground Biased Depth Map Refinement Method for DIBR View Synthesis," Acoustics, Speech and Signal Processing (ICASSP), 2012 IEEE International Conference on, pp.805-808, 2012.
  8. G. Alain, W. J. Tam, and L. Zhang, "Improve stereoscopic Image Quality of Pictures Generated From Depth Maps," Communications Research Centre Canada, Ottawa, Internal CRC report, 2003(4).
  9. L. Zhang and W. J. Tam, "Stereoscopic Image Generation Based on Depth Images for 3D-TV," Broadcasting, IEEE Transactions on, pp.191-199, 2005.
  10. 안양근, 홍지만, "반전된 Depth 영상을 이용한 실시간 Gaussian Hole-Filling Algorithm", 한국컴퓨터정보학회논문지, 제17권, 제7호, pp.53-65, 2012. https://doi.org/10.9708/jksci.2012.17.7.053
  11. W. Y. Chen, Y. L. Chang, S. F. Lin, L. F. Ding, and L. G. Chen, "Efficient Depth Image Based Rendering with Edge Dependent Depth Filter and Interpolation," Multimedia and Expo, 2005, ICME 2005, IEEE International Conference on, pp.1314-1317, 2005.
  12. I. Daribo, C. Tillier, and B. Pesquet-Popescu, "Distance dependent depth filtering in 3D warping for 3DTV," in IEEE International Workshop on Multimedia Signal Processing (MMSP), Crete, Greece, pp.312-315, 2007(10).
  13. I. Daribo and H. Saito, "Bilateral Depth- Discontinuity Filter For Novel View Synthesis," Proc. 2010 IEEE International Workshop on, 2010.
  14. H. W. Cho, S. W. Chung, M. K. Song, and W. J. Song, "Depth- image-based 3D rendering with edge dependent preprocessing," In Circuits and Systems (MWSCAS), 2011 IEEE 54th International Midwest Symposium on, pp.1-4, 2011.