The Journal of Korean Institute of Communications and Information Sciences (한국통신학회논문지)

The Korean Institute of Commucations and Information Sciences (한국통신학회)
권호 표지

Stereoscopic Conversion of Monoscopic Video using Edge Direction Histogram

에지 방향성 히스토그램을 이용한 2차원 동영상의 3차원 입체변환기법

  • 김지홍 (광운대학교 전자공학과 디지털 미디어 연구실) ;
  • 유지상 (광운대학교 전자공학과 디지털 미디어 연구실)
  • Published : 2009.08.31
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we propose an algorithm for creating stereoscopic video from a monoscopic video. Parallel straight lines in a 3D space get narrower as they are farther from the perspective images on a 2D plane and finally meet at one point that is called a vanishing point. A viewer uses depth perception clues called a vanishing point which is the farthest from a viewer's viewpoint in order to perceive depth information from objects and surroundings thereof to the viewer. The viewer estimates the vanishing point with geometrical features in monoscopic images, and can perceive the depth information with the relationship between the position of the vanishing point and the viewer's viewpoint. In this paper, we propose a method to estimate a vanishing point with edge direction histogram in a general monoscopic image and to create a depth map depending on the position of the vanishing point. With the conversion method proposed through the experimental results, it is seen that stable stereoscopic conversion of a given monoscopic video is achieved.

본 논문에서는 2차원 단안 동영상으로부터 3차원 입체 동영상을 생성하는 기법을 제안한다. 3차원 공간에서 평행한 직선은 2차원 평면의 투시영상에서 먼 거리일수록 간격이 좁아져서 마지막에 한 점에서 만나게 되며, 이 점을 소실점(vanishing point)이라고 정의한다. 관찰자는 관찰자의 시점으로부터 가장 먼 지점인 소실점이라는 깊이 지도 지각 단서를 활용하여 객체와 배경으로부터 관찰자까지의 깊이 정보를 인지한다. 일반적으로 2차원 단안 영상에서의 기하학적 특성을 이용해서 소실점을 추정하고, 소실점의 위치와 관찰자의 시점과의 관계를 이용하여 깊이 정보를 인지할 수 있다. 본 논문에서는 일반적인 2차원 단안 영상에서 에지 방향성 히스토그램을 이용하여 소실점의 위치를 추정하고, 소실점의 위치에 따른 깊이지도(depth map)를 생성하는 방법은 제안한다. 실험 결과를 통해서 생성된 깊이지도를 이용하여 안정된 3차원 입체 동영상을 만들 수 있다.

Keywords

References

  1. T. Okino, H. Murata, K. Taima, T. Iinuma and K. Oketani, 'New television with 2D/3D image conversion techniques,' proc. SPIE, vol. 2653, Stereoscopic Displays and Virtual Reality Systems Ⅲ, 1996
  2. Y. Matsumoto, H. Terasaki, K Sugimoto and T. Arakawa, 'Conversion system of monocular image sequence to stereo using motion parallax', SPIE Photonic West, Vol. 3012, 1997
  3. J. Ross, 'Stereopsis by binocular delay', In nature, vol. 248, PP.354-364, 1974 https://doi.org/10.1038/248354a0
  4. Feng PAN, Xiao LIN, Rahardja SUSANTO, Keng Pang LIM, Zheng Guo LI, Ge Nan FENG, Da Jun WU, and Si WU 'Fast Mode Decision for Intra Prediction', JVT-G013, 7th meeting, Pattaya II, Thailand, 7-14, March, 2003
  5. S. Battiato, S. Curti, M. La Cascia, E. Scordato, and M. Tortora, 'Depth-Map Generation by Image Classification', In Proceedings of SPIE Electronic Imaging 2004, Three-Dimensional Image Capture and Applications VI, vol. 5302- 13, San Jose, California, USA, January 2004
  6. 한종원, 조진수, 이일병, '유효한 소실점을 이용한 단안영상의 상대적 깊이지도 생성', 한국정보과학회 가을 학술발표논문집, vol.33, No.2(B), October 2006
  7. 정재성, 조화현, 최명렬, '단일프레임 기반의 실시간 입체 영상 변환 방법', 전자공학회 논문지, vol. 43, CI, no. 1, January 2006
  8. 홍호기, 백윤기, 이승현, 김동욱, 유지상, '2DH.264 동영상의 3D 입체 변환', 한국통신학회논문지, vol. 31, No.12C, December 2006
  9. B. J. Garcia, 'Approaches to stereoscopic video based on spatio-temporal interpolation', SPIE Photonic West, vol. 2635, pp. 85-95, San Jose, 1990.
  10. R. C. Gonzalez, R. E. Woods, Digital Image Processing Second Edtion, Prentice Hall, 2002
  11. S. Battiato, A. Capra, S. Curti, and M. La Cascia, '3D Stereoscopic Image Pairs by Depth- Map Generation', in Proc. Of 2nd International Symposium on 3D Data Processing Visualization and Transmission(3DPVT), September 2004 https://doi.org/10.1109/3DPVT.2004.10
  12. 김만배, '2차원 동영상의 3차원 입체 변환 방법', 방송공학회지, vol. 6, No. 1, March 2001
  13. W. J. Tam, and L. Zhang, '3D-TV Content Generation: 2D-to-3D Conversion', IEEE Int'l conf. Multimedia and expo(ICME'2006), Toronto, Canada, pp. 1869-1872, July 2006
  14. S. Curti, D. Sirtori, F. Vella, '3D Effect Generation form Monocular View', In IEEE proc. Of 3DPVT'02 International Symposium on 3D Data Processing Visualization and Transmission, pp. 550-553, 2002