Stereoscopic Video Display System Based on H.264/AVC

H.264/AVC 기반의 스테레오 영상 디스플레이 시스템

  • 김태준 (광운대학교 전자공학과 디지털 미디어 연구실) ;
  • 김지홍 (광운대학교 전자공학과 디지털 미디어 연구실) ;
  • 윤정환 (광운대학교 전자공학과 디지털 미디어 연구실) ;
  • 배병규 (광운대학교 전자공학과 디지털 미디어 연구실) ;
  • 김동욱 (광운대학교 전자재료공학과 Digital Design & Test Lab.) ;
  • 유지상 (광운대학교 전자공학과 디지털 미디어 연구실)
  • Published : 2008.06.30

Abstract

In this paper, we propose a real-time stereoscopic display system based on H.264/AVC. We initially acquire stereo-view images from stereo web-cam using OpenCV library. The captured images are converted to YUV 4:2:0 format as a preprocess. The input files are encoded by stereo-encoder, which has a proposed estimation structure, with more than 30 fps. The encoded bitstream are decoded by stereo-decoder reconstructing left and right images. The reconstructed stereo images are postprocessed by stereoscopic image synthesis technique to offer users more realistic images with 3D effect. Experimental results show that the proposed system has better encoding efficiency compared with using a conventional stereo CODEC(coder and decoder) and operates with real-time processing and low complexity suitable for an application with a mobile environment.

본 논문에서는 양안시차를 이용한 스테레오 영상의 부호화 기법을 H.264/AVC 기반으로 스테레오 영상을 실시간으로 전송하기 위한 효과적인 시스템을 제안한다. OpenCV를 이용하여 스테레오 웹캠으로부터 영상을 획득하고, 전처리 과정으로 입력 시스템을 통해 획득한 스테레오 영상을 YUV 4:2:0 파일 포맷으로 변환한다. 변환된 파일은 스테레오 부호화기로 입력되고 제안된 예측구조에 의해 부호화기의 복잡도를 감소시킴으로써 초당 30프레임 이상의 부호화 속도로 부호화 된다. 부호화된 비트스트림 파일은 복호화기에 입력되어 좌, 우 스테레오 영상으로 재 생성된다. 재 생성된 스테레오 영상은 입체영상으로 합성되어 3D 디스플레이 장치를 통해 사용자에게 보여지게 된다. 제안된 시스템은 기존의 스테레오 코덱을 사용했을 때 보다 최소 1.5dB에서 최대 3dB의 압축효율이 뛰어남을 본 실험을 통하여 검증 및 확인하였다. 본 연구는 저 대역폭, 저 전력의 실시간 전송을 위한 모바일환경에 응용이 가능할 것으로 기대된다.

Keywords

References

  1. Shabnam Sodagari, Eric Dubois, "Variable-blocksize disparity estimation in stereoscopic imagery", Electrical and Computer Engineering, 2003. IEEE CCECE 2003. Canadian Conference on Volume 3, 4-7 May 2003 Page(s):2047 - 2049 vol.3
  2. Chien, Shao-Yi; Yu, Shu-Han; Ding, Li-Fu; Huang, Yun-Nien; Chen, Liang-Gee, "Fast disparity estimation algorithm for mesh-based stereo image/video compression with two-stage hybrid approach", Visual Communications and Image Processing 2003. Edited by Ebrahimi, Touradj; Sikora, Thomas. Proceedings of the SPIE, Volume 5150, pp. 1521-1530
  3. Shiping LI, Mei YU, Gangyi JIANG, Tae-Young CHOI, Yong-Deak KIM, "Approaches To H.264-Based Stereoscopic Video Coding", Image and Graphics, 2004. Proceedings. Third International Conference on 18-20 Dec. 2004 Page(s):365-368
  4. W.Yang, K.N.Ngan, J.Cai, "An MPEG-4 -Compatimble Stereoscopic/Multiview Video Coding Scheme", Circuits and Systems for Video Technology, IEEE Transactions on Volume 16, Issue 2, Feb. 2006 Page(s):286-290 https://doi.org/10.1109/TCSVT.2005.862496
  5. P.Y.Yip, J.A.Malcolm, W.A.C.Fernando, K.K.Loo, H.Kodikara Arachchi, "JOINT SOURCE AND CHANNEL CODING FOR H.264 COMPLIANT STEREOSCOPIC VIDEO TRANSMISSION", Electrical and Computer Engineering, 2005. Canadian Conference on 1-4 May 2005 Page(s):188-191
  6. Cagdas Bilen, Anil Aksay, Gozde Bozdagi Akar, "A MULTI-VIEW VIDEO CODEC BASED ON H.264", Image Processing, IEEE 2006 International Conference on 8-11 Oct. 2006 Page(s):541-544
  7. Balasubramaniyam, B, Edirisiughe, E.A., Bez, H.E, "A parallel encoding approach to H.264 stereo video", Visual Information Engineering, 2006. VIE 2006. IET International Conference on 26-28 Sept. 2006 Page(s):195-200
  8. Buddika Adikari, W.A.C. Fernando, H. Kodikara Arachchi, "A New Motion and Disparity Vector Prediction Technique for H.264 Based Stereoscopic Video Coding", Circuits and Systems, 2006. ISCAS 2006. Proceedings. 2006 IEEE International Symposium on 21-24 May 2006 Page(s):4
  9. A.B.B.Adikari, W.A.C. Fernando, H.Kodikara Arachchi, K.K.Loo, "A H.264 COMPLIANT STEREOSCOPIC VIDEO CODEC", Electrical and Computer Engineering, 2005. Canadian Conference on 1-4 May 2005 Page(s):1614- 1617
  10. S. Thanapirom, W.A.C. Fernando, E.A. Edirisinghe, " A ZEROTREE STEREO VIDEO ENCODER", Circuits and Systems, 2003. ISCAS '03. Proceedings of the 2003 International Symposium on Volume 2, 25-28 May 2003 Page(s):II-608-II-611 vol.2
  11. 안충현, 안치득, "3DTV 및 실감 TV 방송 기술", 전자공학회지, 제29권 제7호, 2002. 7, pp.90-99
  12. 이학찬, 박장한, 남궁연, 남궁재찬, "스테레오 영 상을 이용한 물체 추적 방법", 전자공학회논문지, 제39권 SP편 제5호, 2002, pp.46-58
  13. 호요성, 김승환, "H.264/AVC 표준의 소스 코드 분석", 2007 두양사