Journal of the Institute of Electronics Engineers of Korea SP (대한전자공학회논문지SP)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지

Intensity Compensation for Efficient Stereo Image Compression

효율적인 스테레오 영상 압축을 위한 밝기차 보상

  • Published : 2005.03.01
Download PDF
⟨ Previous Next ⟩

Abstract

As we perceive the world as 3-dimensional through our two eyes, we can extract 3-dimensional information from stereo images obtained from two or more cameras. Since stereo images have a large amount of data, with recent advances in digital video coding technology, efficient compression algorithms have been developed for stereo images. In order to compress stereo images and to obtain 3-D information such as depth, we find disparity vectors by using disparity estimation algorithm generally utilizing pixel differences between stereo pairs. However, it is not unusual to have stereo images having different intensity values for several reasons, such as incorrect control of the iris of each camera, disagreement of the foci of two cameras, orientation, position, and different characteristics of CCD (charge-coupled device) cameras, and so on. The intensity differences of stereo pairs often cause undesirable problems such as incorrect disparity vectors and consequent low coding efficiency. By compensating intensity differences between left and right images, we can obtain higher coding efficiency and hopefully reduce the perceptual burden of brain to combine different information incoming from two eyes. We propose several methods of intensity compensation such as local intensity compensation, global intensity compensation, and hierarchical intensity compensation as very simple and efficient preprocessing tool. Experimental results show that the proposed algerian provides significant improvement in coding efficiency.

사람이 두 눈을 통하여 3차원 공간을 지각하는 것과 같이 두 대의 카메라로부터 얻어진 스테레오 영상을 이용하여 3차원 정보를 얻을 수 있다. 스테레오 영상은 많은 데이터량을 가지기 때문에 최근 수년간 디지털 비디오 압축 기술의 발전과 함께 스테레오 영상을 효율적으로 압축하기 위한 기술이 개발되고 있다. 스테레오 영상을 압축하고 3차원 정보를 추출하는데 이용되는 양안차 추정은 일반적으로 두 스테레오 영상의 화소 간의 밝기 차이를 이용한다. 하지만 두 카메라의 초점거리, 방향, 상대적 위치, 조리개에 의해 입사되는 빛의 양 등의 미세한 차이에도 스테레오 영상 간의 밝기차가 발생한다. 밝기차가 있는 스테레오 영상은 부정확한 양안차 벡터와 이에 따른 낮은 압축 효율과 같은 문제점을 발생시킬 수 있다. 따라서 이런 스테레오 영상 간의 밝기차를 사전에 보상한 후 압축함으로써 압축의 효율을 높이고, 또한 재생 시 두 눈을 통하여 들어오는 서로 다른 시각 정보로 인한 눈과 두뇌의 피로를 덜어 줄 수 있다. 본 논문에서는 간단하면서도 효율적인 전처리 방법으로 전역 밝기 보상과 국부지역 밝기 보상 및 계층적 밝기 보상을 제안한다 실험결과는 제안된 보상 방법이 효율적으로 스테레오 영상을 압축하는 것을 보여준다.

Keywords

References

  1. L. McMillan and G. Bishop, 'Head-Tracked stereoscopic display using image warping,' SPIE Proc. 2409, pp.21-30, Feb. 1995
  2. O. Faugeras, 'Three-Dimensional Computer Vision,' the MIT Press, pp. 165-169, 1993
  3. B. K. Horn. 'Robot Vision,' the MIT Press, pp. 299-301, 1986
  4. Ping An, Zhaoyang Zhang, and Li Shi, 'Theory and Experiment Analysis of Disparity for Stereoscopic image,' Proc. Of 2001 International Symposium on Intelligent Multimedia, Video and Speech Processing, pp. 68-71, May 2001 https://doi.org/10.1109/ISIMP.2001.925333
  5. ISO/IEC JTCl/SC29WG11, 'Generic Coding of Moving Pictures and Associated Audio : Recommendation H.262,'Doc. N0702, March 1994
  6. ISO/IEC JTCl/SC29WG11, 'Proposed Draft Amendment No. 3 to 13818-2(Multi-view Profile),' Doc. N1088, Nov. 1995
  7. Jens-Rainer Ohm, 'Stereo/Multiview Video Encoding Using the MPEG Family of Standards,' Invited Paper, Electronic Imaging'99, San Diego, Jan. 1999
  8. Eric Chan, Sethuraman Panchanathan, 'Review of Block Matching Based Motion Estimation Algorithms for Video Compression,' IEEE Electrical and Computer Engineering, 1993. Canadian Conference on, pp. 151-154, Vol.1, Sept. 1993 https://doi.org/10.1109/CCECE.1993.332213
  9. Won-Ho Kim, Jae-Young Ahn, Sung-Woong Ra, 'An Efficient Disparity Estimation Algorithm for Stereoscopic Image Compression,'IEEE Transactions on Consumer Electronics, Vol. 43, pp. 165-172, May 1997 https://doi.org/10.1109/30.585535
  10. Chia-Wen Lin, Er-Yin Fei, Yung-Chang Chen, 'Hierarchical disparity estimation using spatial correlation,' IEEE Transactions on Consumer Electronics, Vol. 44, No.3, August 1998 https://doi.org/10.1109/30.713174
  11. C. J. Tasi and A. K. Katsaggelos, ' Dense Disparity Estimation with a Divide-and-Conquer Disparity Space Image Technique,' IEEE, Trans. Multimedia, Vol.1, No.1, pp.18-29, March, 1999 https://doi.org/10.1109/6046.748168
  12. K. Kamikura, H. Watanabe, H. Jozawa, H. Kotera and S. Ichinose, 'Global Brightness-Variation Compensation for Video Coding,' IEEE Transactions on Circuits and Systems for Video Technology, Vol. CSVT-8, No.8, pp. 988-1000, Dec. 1998 https://doi.org/10.1109/76.736731
  13. Zhengyou Zhang, 'Modeling geometric structure and illumination variation of a scene from real images,' IEEE 6th International Conference on Computer Vision, pp. 1041-1046, Jan. 1998 https://doi.org/10.1109/ICCV.1998.710845
  14. Mohamaed Ben Slima, Janusz Konrad, and Andrzej Barwicz, 'Improvement of Stereo Disparity Estimaiton Through Balanced Filtering: The Sliding-Block Approach,' IEEE Transactions on Circuits and Systems for Video Technology, Vol. 7, No.6, Dec. 1997 https://doi.org/10.1109/76.644071
  15. Ho-Keun Lee and Yeong-Ho Ha, '변이 정보의 칼라채널별 은닉을 통한 스테레오 동영상 전송 기법,' 전자공학회논문지, 제40권 SP편 제2호, pp.29-36, Mar. 2003