The Journal of Korean Institute of Communications and Information Sciences (한국통신학회논문지)

The Korean Institute of Commucations and Information Sciences (한국통신학회)
권호 표지

Depth Map Based Distributed Multi-view Video Coding Scheme through an Efficient Side Information Generation

효율적인 보조 정보 생성을 통한 깊이지도 기반의 분산 다시점 비디오 코딩 기법

  • 유지환 (광운대학교 전자공학과 디지털 미디어 연구실) ;
  • 이동석 (광운대학교 전자공학과 디지털 미디어 연구실) ;
  • 김태준 (광운대학교 전자공학과 디지털 미디어 연구실) ;
  • 유지상 (광운대학교 전자공학과 디지털 미디어 연구실)
  • Published : 2009.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we propose a new depth map based distributed multi-view video coding algorithm through an efficient side information generation. A distributed video coding scheme corrects errors between an original image and side information generated at a decoder by using channel coding techniques. Therefore, the more accurate side information is generated, the better performance of distributed video coding scheme is achieved. In the proposed algorithm, a distributed video coding scheme is applied to multi-view video coding based on depth map. Side information is also generated from images of adjacent views through 3D warping by using a depth map and is also combined with MCTI(motion compensated temporal interpolation) which uses images on a temporal axis, and 3D warping. Experimental results show that side information generated by using the proposed algorithm has 0.97dB better average PSNR compared with using MCTI and 3D warping separated. In addition, 8.01% of average bit-rate has been decreased while the same PSNR in R-D curves is kept.

본 논문에서는 효율적인 보조 정보 생성을 통한 새로운 분산 다시점 비디오 코딩 기법을 제안한다. 분산 비디오 코딩은 원영상과 디코더에서 생성한 보조 정보 간의 오차를 채널 코딩 기법으로 정정한다. 따라서 보조 정보를 정확히 만들수록 분산 비디오 코딩의 성능은 좋아지게 된다. 제안한 기법에서는 깊이지도를 기반으로 하는 다시점 비디오 코딩에 분산 비디오 코딩 기법을 적용한다. 또한 깊이지도를 이용한 3차원 워핑을 통해 인접한 시점의 영상으로부터 보조 정보를 생성하고, 3차원 워핑과 시간 축 상의 인접한 영상을 이용하는 MCTI(motion compensated temporal interpolation)를 효율적으로 혼합하여 사용한다. 실험 결과 제안한 기법으로 생성한 보조 정보는 MCTI와 3차원 위핑을 따로 사용한 방법보다 평균 0.97dB의 PSNR이 향상되었음을 알 수 있었다. 또한 R-D 곡선 상에서 동일 PSNR 대비 평균 8.01%의 비트율이 감소되었다.

Keywords

References

  1. ISO/IEC JTC1/SC29/WG11, 'Requirements for Standardization of 3D Video,' m8107, Jeju Island, Korea, March 2002
  2. ISO/IEC JTC1/SC29/WG11, 'Text of ISO/IEC 14496-10:200X/FDAM 1 Multi-view Video Coding,' N9978, Hannover, Germany, July 2008
  3. C. Guillemot, F. Pereira, L. Torres, T. Ebrahimi, R. Leonardi, and J. Ostermann, 'Distributed monoview and multiview video coding,' IEEE Signal Processing Magazine, vol.24, no.5, pp.67-76, September 2007 https://doi.org/10.1109/MSP.2007.904808
  4. F. Dufaux, M. Ouaret, and T. Ebrahimi, 'Recent Advances in Multi-view Distributed Video Coding,' SPIE Mobile Multimedia/Image Processing for Military and Security Applications, Orlando, FL, April 2007
  5. H.-S. Koo, Y.-J. Jeon, B.-M. Jeon, 'MVC Motion Skip Mode,' ITU-T and ISO/IEC JTC1, JVT-W081, San Jose, California, USA, April 2007
  6. D. Slepian and J. Wolf, 'Noiseless coding of correlated information sources,' IEEE Trans. Inform. Theory 19 (1973) 471-480 https://doi.org/10.1109/TIT.1973.1055037
  7. A. Wyner and J. Ziv, 'The rate-distortion function for source coding with side information at the receiver,' IEEE Trans. Inform. Theory 22 (1976) 1-11 https://doi.org/10.1109/TIT.1976.1055508
  8. B. Girod, A. Aaron, S. Rane and D. Rebollo Monedero, 'Distributed video coding,' in Proc. IEEE, vol. 93, pp.447-460, January. 2005
  9. J. Garcia-Frias, 'Compression of correlated binary sources using Turbo codes,' Communications Letters, IEEE Vol.5, Issue 10, October, 2001
  10. A. Liveris, Z. Xiong, and C. Georghiades, 'Compression of binary sources with side information at the decoder using LDPC codes,' IEEE Commun. Lett., vol.6, no.10, pp.440-442, October. 2002 https://doi.org/10.1109/LCOMM.2002.804244
  11. A. Aaron, S. Rane, E. Setton and B. Girod, 'Transform-domain Wyner-Ziv codec for video,' in: SPIE Visual Communications and Image Processing Conference, vol.5308, pp.520-528, San Jose, CA, 2004
  12. A. Aaron, R. Zhang and B. Girod, 'Wyner-Ziv coding of motion video,' in: Proceedings of Asilomar Conference on Signals and Systems, Pacific Grove, CA, November 2002
  13. R. Puri and K. Ramchandran, 'PRISM: A new robust video coding architecture based on distributed compression principles,' in Proc. Allerton Conference on Communication, Control, and Computing, Allerton, IL, October 2002
  14. http://www.discoverdvc.org
  15. 박세환, 송혁, 장은영, 허남호, 김진웅, 김진수, 이상훈, 유지상, '다시점 동영상에서 임의시점영상생성을 위한 가려진 영역 보상기법,' 한국통신학회논문지 제 33권, 제 12호, pp.1029-1038, 12월 2008
  16. ITU-T, I. JTC1, 'Digital compression and coding of continuous-tone still images,' ISO/IEC 10918-1 - ITU-T Recommendation T.81(JPEG)
  17. D. Varodayan, A. Aaron, B. Girod, 'Rate-adaptive distributed source coding using low-density parity-check codes,' Signals Systems and Computers Conference Record of the Thirty-Ninth Asilomar Conference, November 2005