DOI QR코드

DOI QR Code

Fast Stereoscopic 3D Broadcasting System using x264 and GPU

x264와 GPU를 이용한 고속 양안식 3차원 방송 시스템

  • 최정아 (광주과학기술원 정보통신공학과) ;
  • 신인용 (광주과학기술원 정보통신공학과) ;
  • 호요성 (광주과학기술원 정보통신공학과)
  • Received : 2010.03.26
  • Accepted : 2010.07.13
  • Published : 2010.07.30

Abstract

Since the stereoscopic 3-dimensional (3D) video that provides users with a realistic multimedia service requires twice as much data as 2-dimensional (2D) video, it is difficult to construct the fast system. In this paper, we propose a fast stereoscopic 3D broadcasting system based on the depth information. Before the transmission, we encode the input 2D+depth video using x264, an open source H.264/AVC fast encoder to reduce the size of the data. At the receiver, we decode the transmitted bitstream in real time using a compute unified device architecture (CUDA) video decoder API on NVIDIA graphics processing unit (GPU). Then, we apply a fast view synthesis method that generates the virtual view using GPU. The proposed system can display the output video in both 2DTV and 3DTV. From the experiment, we verified that the proposed system can service the stereoscopic 3D contents in 24 frames per second at most.

사용자에게 보다 실감나는 입체감을 제공하는 양안식 3차원 영상을 위해서는 기존 2차원 영상의 두 배에 해당하는 데이터가 필요하므로 이를 고속으로 처리하는데 어려움이 따른다. 본 논문에서는 2차원 영상과 깊이 영상을 입력 영상으로 한 고속 양안식 3차원 방송 시스템을 제안한다. 제안하는 시스템은 전송해야 할 데이터의 양을 줄이기 위해 전송 전에 H.264/AVC 오픈 소스 고속 부호화기인 x264를 이용하여 부호화를 수행한다. 수신단에서는 수신한 비트스트림을GPU(Graphics Processing Unit)에 내장된 CUDA 비디오 복호기 API를 이용해 설계된 복호기로 고속으로 복호하고, GPU를 이용해 고속으로 가상시점의 영상을 생성하여 양안식 3차원 영상을 재현한다. 제안한 시스템을 이용하면 수신단의 환경에 따라 2차원 디스플레이와 3차원 디스플레이에서 모두 영상을 출력할 수 있다. 컴퓨터 모의 실험을 통해 제안한 시스템이 3차원 양안식 콘텐츠를 초당 최대 24 프레임까지 서비스할 수 있음을 확인했다.

Keywords

References

  1. 이천, 오관정, 호요성, "영상 보간을 이용한 다시점 비디오 부호화 방법," 방송공학회 논문지, 제12권 제2호, pp. 128-136, 2007. https://doi.org/10.5909/JBE.2007.12.2.128
  2. L. McMillan, An image-based approach to three-dimensional computer graphics, Technical Report, Ph.D. Dissertation, UNC Computer Science TR97-013, April 1997.
  3. x264 software. Available from: http://www.videolan.org/developers/ x264.html
  4. Reference software JM15.1. Available from: http://iphome.hhi.de/suehring/tml/download/
  5. F. Jargstorff and E. Young, CUDA video decoder API, 2008.
  6. NVIDIA corporation, CUDA 2.3 Programming Guide, 2009.
  7. Contribution for 3D video test material of outdoor scene, document m15371.doc, ISO/IEC JTC1/SC29/WG11, April 2008.