2D H.264 동영상의 3D 입체 변환

3D Conversion of 2D H.264 Video

  • 홍호기 (광운대학교 한국과학재단 디지털 미디어연구실) ;
  • 백윤기 (광운대학교 한국과학재단 디지털 미디어연구실) ;
  • 이승현 (광운대학교 전자재료공학과) ;
  • 김동욱 (광운대학교 교양학부) ;
  • 유지상 (광운대학교 한국과학재단 디지털 미디어연구실)
  • 발행 : 2006.12.30

초록

본 논문에서는 스테레오 카메라로 입체 동영상을 얻는 방법이 아닌 H.264로 압축된 2D 동영상으로부터 복호화 과정에서 얻게 되는 움직임 정보를 이용하여 효과적인 3D 입체 동영상을 생성하는 기법을 제안한다. MPEG 기반의 동영상에서 각 프레임의 움직임 정보는 복호화단에서 얻게 되는 움직임 벡터로 분석이 가능하며 H.264에서는 움직임 예측을 위하여 다양한 크기의 블록을 이용하기 때문에 더 정확한 움직임 벡터와 정보를 얻을 수 있다. 본 논문에서 제안한 2D/3D 변환기법에서는 장면 전환점 검출, delay factor, 운동 방향, 운동 형태 등을 이용하여 좌영상과 우영상을 생성한다. 이때 동일한 컷(cut)내의 프레임들 간의 운동 형태와 운동 방향은 높은 상관도를 가지게 된다. 실험 결과를 통해서 제안된 기법을 이용할 경우 안정된 동영상 입체 변환이 가능함을 알 수 있다.

In this paper, we propose an algorithm that creates three-dimensional (3D) stereoscopic video from two-dimensional (2D) video encoded by H.264 instead of using the conventional stereo-camera process. Motion information of each frame can be obtained by the given motion vectors in most of videos encoded by MPEG standards. Especially, we have accurate motion vectors for H.264 streams because of the availability of a variety of block sizes. 2D/3D video conversion algorithm proposed in this paper can create the left and right images that correspond to the original image by using cut detection method, delay factors, motion types, and image types. We usually have consistent motion type na direction in a given cut because each frame in the same cut has high correlation. We show the improved performance of the proposed algorithm through experimental results.

키워드

참고문헌

  1. R. Franich, R. Lagendijk and R. Horst, Reference model for hardware demonstrator implementation, RACE DISTIMA deliverable 45/TUD/IT/DS/B/003/b1, October, 1992
  2. S. Malassiotis and M. G. Strintzis, Coding of video-conference stereo image sequences using 3D models, Signal Processing: Image Communications vol. 9, no. 1, pp 125-135, January, 1997
  3. Ross, J., 'Stereopsis by binocular delay', In Nature, Vol.248, pp.354-364, 1974 https://doi.org/10.1038/248354a0
  4. Y. Matsumoto, H. Terasaki, K.Sugimoto and T. Arakawa, 'Conversion system of monocular image conversion technologies', SPIE Vol. 3012, Photonic West, 1997
  5. T. Okino, Garuhiko Murata, Kenji Taima, Toshiya Iinuma, Kazunobu Oketani, 'New tele.vision with 2D/3D image conversion techniques' SPIE Vol. 2653, Photonic West, 1995
  6. 김만배, 박상훈, '키 프레임을 이용하는 2차원 동영상의 3차원 입체 변환', HCI 학회, 2002.2
  7. D. F. McAllister, 'Stereo computer graphics and other true 3D technologies', Princeton, NJ: Princeton University Press, 1993
  8. Ross, J. and Hogben, J. H., 'Short-term memory in stereopsis', In Vision Research, Vol.14, pp.1195-1201, 1974 https://doi.org/10.1016/0042-6989(74)90216-8
  9. 노정진, 문영호, 유지상, '자기상관과 에지 히스토그램을 이용한 동영상 전환점 검출', 한국통신학회, 2004. 3