Multi-view Video Codec for 3DTV

3DTV를 위한 다시점 동영상 부호화 기법

  • Published : 2006.03.01

Abstract

In this paper, we propose a multi-view video codec for 3DTV system. The proposed algorithm is not only to reduce the temporal and spatial redundancy but also to reduce the redundancy among each view. With these results, we can improve the coding efficiency for multi-view video sequences. In order to reduce the redundancy of each view more efficiently, we define the assembled image(AI) that is generated by the global disparity compensation of each view. In addition, the proposed algorithm is based on MPEG-2 structure so that we can easily implement 3DTV system without changing the conventional 2D digital TV system. Experimental results show that the proposed algorithm performs very well. It also performs better than MPEG-2 simulcast coding method. The newly proposed codec also supports the view scalability, accurate temporal synchronization among multiple views and random access capability in view dimension.

본 논문에서는 3DTV를 위한 다시점 동영상 부호화 기법을 제안한다. 제안하는 기법에서는 다수의 카메라 입력에 대하여 기존의 MPEG 기반의 부호화 기법에서 사용된 시 공간적 중복성 제거 뿐 아니라 각 시점에 해당하는 영상간의 공간적 중복성을 제거하여 부호화 효율을 재선할 수 있다. 각 시점 영상간의 공간적 중복성을 효율적으로 제거하기 위하여 전역 시차 보상(global disparity compensation)된 집적영상(assembled image)을 사용하였다. 또한 기존의 디지털 TV 전송 표준인 MPEG-2를 기반으로 하였기 때문에 기존의 디지털 TV 표준을 크게 수정하지 않고 3DTV를 구현할 수 있을 뿐만 아니라 각 시점간의 동기화 문제도 해결할 수 있다. 제안하는 기법은 MPEG-2 기법으로 각 시점에 해당하는 영상을 독립적으로 부호화(simulcast 기법)한 결과와 비교하여 객관적 화질 면에서 우수한 결과를 보였으며, 평행식 카메라 구조로 획득된 영상과 유사한 디지털 홀로그램 부호화에도 적용하여 우수한 성능을 얻을 수 있었다.

Keywords

References

  1. A. Redert, E. Jendriks, J. Biemond '3-D scene reconstruction with viewpoint adaptation on stereo displays', IEEE Trans. Circuits and systems for video tech., vol.10, pp.550-562, 2000 https://doi.org/10.1109/76.845000
  2. Purl, R.V. Kollarits, B.G. Haskell, 'Basics of stereoscopic video, new compression results with MPEG-2 and a proposal for MPEG-4', signal processing: Image comm., vol.10, pp.201-234, 1997
  3. O. Veksler, 'Semi-dense stereo correspondence with dense features', Stereo and Multi-Baseline Vision, 2001. (SMBV 2001). Proceedings. IEEE Workshop on , 9-10 Dec. 2001 Pages:149-157
  4. A. Redert, M. O. Beeck, C. Fehn, W Ijsselsteijn, 'ATTEST : Advanced ThreeDimensional Television System Technologies,' 3D Data Processing Visualization and Transmission, 2002. First International Symposium, pp. 313-319, Jun, 2002
  5. ATTEST: Advanced Three-Dimensional Television System Technologies, http://eigg.res.cse.dmu.ac.uk/attest/ 2002-2004
  6. 'Applications and Requirements for 3DAV,' MPEG N5539, March 2003
  7. 'Description of Exploration Experiments in 3DAV,' MPEG N5557, March 2003
  8. 'Report on Status of 3DAV Work Exploration,' MPEG N5558, March 2003
  9. MPEG/ISO/IEC JTCl/SC29/WG11 'Call for Proposals on Multi-view Video Coding,' N7327, Poznan, Poland, July 2005
  10. MPEG/ISO/IEC JTCl/SC29/WGll 'Description of Core Experiments in MVC,' N7798, Bangkok, Thailand, Jan. 2006
  11. MPEG/ISO/IEC JTCl/SC29/WG11 'Subjective test results for the Ctp on Multi-view Video Coding,' N7779, Bangkok, Thailand, Jan. 2006
  12. K. Sasakim E. Tanji and H. Yoshikawa, 'Data compression for holographic 3D image,' The journal of the Institute of Television Engineers of Japan, Vol. 48, No. 10, pp. 1238-1244, Oct. 1994 https://doi.org/10.3169/itej1978.48.1238
  13. 서영호, 최현준, 강훈종, 이승현, 김동욱, '하이브리드 비디오 코딩에 의한 디지털 홀로그램 압축기술,' 전자공학회 제 42권 제 5호 pp. 29-40, 2005년 9월
  14. Young-Ho Seo, Jin-Woo Bae, Hun-jun Choi, Ji-Sang Yoo, Dong-Wook Kim, 'Digital Hologram. Compression based on Multi-view Coding using Accumulated Image,' IWAIT 2006, Vol. 9, pp. 80-84, Jan. 2006