A Real-Time Stereoscopic Image Conversion Method Based on A Single Frame

단일 프레임 기반의 실시간 입체 영상 변환 방법

  • 정재성 (한양대학교 전자전기제어계측공학과) ;
  • 조화현 (한양대학교 전자전기제어계측공학과) ;
  • 최명렬 (한양대학교 전자전기제어계측공학과)
  • Published : 2006.01.01

Abstract

In this paper, a real-time stereoscopic image conversion method using a single frame from a 2-D image is proposed. The Stereoscopic image is generated by creating depth map using vortical position information and parallax processing. For a real-time processing of stereoscopic conversion and reduction of hardware complexity, it uses image sampling, object segmentation by standardizing luminance and depth map generation by boundary scan. The proposed method offers realistic 3-D effect regardless of the direction, velocity and scene conversion of the 2-D image. It offers effective stereoscopic conversion using images suitable conditions assumed in this paper such as recorded image at long distance, landscape and panorama photo because it creates different depth sense using vertical position information from a single frame. The proposed method can be applied to still image because it uses a single frame from a 2-D image. The proposed method has been evaluated using visual test and APD for comparing the stereoscopic image of the proposed method with that of MTD. It is confirmed that stereoscopic images conversed by the proposed method offers 3-D effect regardless of the direction and velocity of the 2-D image.

본 논문에서는 2차원 영상의 단일 프레임을 이용한 실시간 입체 영상 변환 방법을 제안하였다. 2차원 영상의 단일 프레임에서 객체의 수직 위치 정보에 기반하여 깊이 지도를 생성하고, 시차 처리를 통해 입체 영상으로 변환한다. 입체 영상 변환의 실시간 처리와 하드웨어 구현에 따른 복잡도 감소를 위해 영상 샘플링과 표준 휘도화를 통한 객체 분할, 그리고 경계 스캔을 통한 깊이 지도 생성을 수행한다. 제안한 방법은 단일 프레임만을 이용하므로 운동 방향과 속도, 장면 전환에 상관없이 3차원 효과를 제공하며, 동영상뿐만 아니라 정지 영상에도 적용 가능하다. 단일 프레임만을 이용하여 영상 내 객체들의 수직 위치 정보에 의한 차등 깊이감을 제시하기 때문에 본 논문에서 가정한 영상의 구도 조건에 적합한 원거리 촬영 영상이나 풍경, 파노라마 사진과 같은 영상에서 효과적인 입체 영상 변환 효과를 제시한다. 제안한 방법의 성능 평가를 위해 시각적 검증과 APD(Absolute Parallax Difference)를 도입하여 기존의 MTD 방식과의 비교를 수행하였다. 제안한 방법에 의한 입체 변환 영상이 영상의 운동 방향이나 속도에 상관없이 입체 변환 효과를 나타냄을 확인하였다.

Keywords

References

  1. H. Murata, et al., 'Conversion of Two-Dimensional Image to Three Dimension,' SID95 DIGEST, pp. 859-862, 1995
  2. T. Okino, et al., 'New Television with 2D/3D Image Conversion Technologies,' SPIE Photonic West, vol. 2653, pp, 96-103, 1995 https://doi.org/10.1117/12.237421
  3. Chul-Ho Choi, et al., 'A Real-Time Field-Sequential Stereoscopic Image Converter,' IEEE Trans. On Consumer Electronics, Vol. 50, pp. 903-910, Aug. 2004 https://doi.org/10.1109/TCE.2004.1341698
  4. Chul-Ho Choi, et al., 'A Real-Time 2-D to 3-D Image Conversion Method Using Motion Parallax,' SID 2003, Baltimore, USA, pp. 386-389, May. 2003
  5. B. J. Garcia, 'Approaches to Stereoscopic Video Based on Spatio-Temporal Interpolation,' SPIE Photonic West, vol. 2635, pp. 85-95, San Jose, 1990 https://doi.org/10.1117/12.237420
  6. Lipton, et al., Stereoscopic Television System with Filed Storage for Sequential Display of Right and Left Images, U.S. Patent No. 4,562,463, 1985
  7. Y. Matsumoto, et al., 'Conversion System of Monocular Image Sequence to Stereo using Motion Parallax,' SPIE Photonic West, vol. 3012, pp. 108-115, 1997 https://doi.org/10.1117/12.274446
  8. S. Nagada, How to Reinforce Perception of Depth in Single Two-Dimensional Pictures, Tyler & Francis, 1991
  9. Y. Matsumoto, et al., 'Three Dimensional Scene Reconstruction System from Monocular Image Sequences,' Proc. International Conference Virtual Systems and Multimedia, pp. 353-358, 1996
  10. M. B. Kim, 'Conversion of 2D Video to Stereoscopic Video,' Proc. 11th Korea Signal Processing Conference, pp. 923-926, 1998
  11. A. Travis, 'The Display of Three Dimensional Video Images', Proc. IEEE, Vol. 85, No. 11, pp. 1817-1832, 1997 https://doi.org/10.1109/5.649659