3D Depth Information Extraction Algorithm Based on Motion Estimation in Monocular Video Sequence

단안 영상 시퀸스에서 움직임 추정 기반의 3차원 깊이 정보 추출 알고리즘

  • 박준호 (경운대학교 컴퓨터공학과) ;
  • 전대성 (대구미래대학 멀티미디어정보과학과) ;
  • 윤영우 (영남대학교 전자정보공학부)
  • Published : 2001.10.01

Abstract

The general problems of recovering 3D for 2D imagery require the depth information for each picture element form focus. The manual creation of those 3D models is consuming time and cost expensive. The goal in this paper is to simplify the depth estimation algorithm that extracts the depth information of every region from monocular image sequence with camera translation to implement 3D video in realtime. The paper is based on the property that the motion of every point within image which taken from camera translation depends on the depth information. Full-search motion estimation based on block matching algorithm is exploited at first step and ten, motion vectors are compensated for the effect by camera rotation and zooming. We have introduced the algorithm that estimates motion of object by analysis of monocular motion picture and also calculates the averages of frame depth and relative depth of region to the average depth. Simulation results show that the depth of region belongs to a near object or a distant object is in accord with relative depth that human visual system recognizes.

2차원 영상으로 부터 3차원 영상으로 복원하는 일은 일반적으로 카메라의 초점에서 영상 프레임의 각 픽셀까지의 깊이 정보가 필요하고, 3차원 모델의 복원에 관한 일반적인 수작업은 많은 식나과 비용이 소모된다. 본 논문에서는 카메라의 움직임이 포함되어 있는 단안 영상 시퀸스로부터 3차원 영상 제작에 필요한 상대적인 깊이 정보를 실시간으로 추출하는 알고리즘을 제안하고, 하드웨어를 구현하기 위한여 알고리즘을 단순화하였다. 이 알고리즘은 카메라 이동에 의한 영상의 모든 점들의 움직임은 깊이 정보의 종속적이라는 사실에 기반을 두고 있다. 불록매칭 알고리즘에 기반을 둔 전역 움직임 탐색에 의한 움직임 벡터를 추출한 후, 카메라 회전과 확대/축소에 관한 카메라 움직임 보상을 실행하고 깉이 정보 추출 과정이 전개된다. 깊이 정보 추출 과정은 단안 영상에서 객체의 이동처리를 분석하여 움직임 벡터를 구하고 프레임내의 모든 픽셀에 대한 평균 깊이를 계산한 후, 평균 깊이에 대한 각 블록의 상대적 깊이를 산출하였다. 모의 실험 결과 전경과 배경에 속하는 영역의 깊이는 인간 시각 체계가 인식하는 상대적인 깊이와 일치한다는 것을 보였다.

Keywords

References

  1. R. Koch, 'Model Based 3D Scene Analysis from Stereoscopic Image Sequences,' ISPRS '92, Vol.29, Part B5, Washington, pp.427-437, Oct. 1992
  2. Niem, W. Buschmann, 'Automatic Modeling of 3D Natural Objects from Multiple Views,' European Workshop on Combined Real And Synthetic Image Processing For Broadcast And Video Productions, pp.23-24. Nov. 1994, Hanburg, Germany
  3. Tony Jebara, Ali Azarbayejani, Alex Pentland, '3D Structure from 2D Motion', MIT Media Lab., Cambridge MA 02139, 1999
  4. A. Murat Tekalp, 'Digital Video Processing', Prentice Hall PTR Upper Saddle River, NJ07458, pp.19-34, 1995
  5. J. D. Foley and A. Van Dam, 'Fundamentals of Interactive Computer Graphics, Reading', MA : Addison-Wesley, 1983
  6. Dae-Seong Jeoune, Zi-Yeon Song, Joon-Ho Park, Young-Min Park and Young-Woo Yoon, 'Global Motion Estimation by Analyzing the Panning/Tilting Angles of Camera,' CISST2000, Vol.I, pp.163-170, Jun. 2000
  7. Milan Sonka, Vaclav Hlavac, Roger Boyle, 'Image Processing, Analysis, and Machine Vision', PWS Publishing, 1999
  8. D. Marr and T. Poggio, 'Cooperative Computation Of Stereo Disparity,' Science, 194 : pp.282-287, Oct. 1976 https://doi.org/10.1126/science.968482
  9. E. Thoompson, 'The Projective Theory Of Relative Orientation,' Photogrammetria, 23(1) : pp.67-75, 1968
  10. O. Faugeras. 'What Can Be Seen In Three Dimensions From An Uncalibrated Stereo Rig?.' In Proceedings of the 2nd European Conference on Computer Vision, Santa Margherita Ligure, Italy, Springer Verlag, pp.563 578, 1992 https://doi.org/10.1007/3-540-55426-2_61
  11. R. Hartley, R. Gupta, and T. Chang, 'Stereo From Uncalibrated Cameras,' In Proceedings of the Conference on Computer Vision and Pattern Recognition, Urbana-Champaign, Illinois, pp.761 764, 1992 https://doi.org/10.1109/CVPR.1992.223179
  12. Borko Furht, Joshua Greenberg, Raymond Wet-water, 'Motion Estimation Algorithms For Video Compression', KAP, 1997
  13. J. H. Park, M. C. Ryoo, J. H. Kim, S. H. Kim, 'Motion Estimation Method Using Hierarchical Search Point Displacement,' ITRC, Kyung Woon University, Vol.1, No.1, pp.60 70, Feb. 1999
  14. Jae Woong Yi, Jun Ho Oh, 'Estimation Of Depth And 3D Motion Parameter Of Moving Object With Multiple Stereo Images,' Image and Vision Computing 14, pp.501-516, Oct. 1996 https://doi.org/10.1016/0262-8856(95)01073-4
  15. 이재도, 박준호, 전대성, 윤영우, 김상곤, '동영상의 시간적 블록기반 영상분할 알고리즘',한국정보처리학회논문지, 제7권 제5호, pp.1587-1598, 2000
  16. 전대성, 박준호, '전역 움직임 추정을 위한 카메라 회전각과 확대율 분석', 경운대학교 산업기술연구소논문지, 제3권 제1호(B), pp.329-338, 2000