The Journal of Korean Institute of Communications and Information Sciences (한국통신학회논문지)

The Korean Institute of Commucations and Information Sciences (한국통신학회)
권호 표지

Virtual Viewpoint Image Synthesis Algorithm using Multi-view Geometry

다시점 카메라 모델의 기하학적 특성을 이용한 가상시점 영상 생성 기법

  • 김태준 (광운대학교 전자공학과 디지털 미디어 연구실) ;
  • 장은영 (한국전자통신연구원) ;
  • 허남호 (한국전자통신연구원) ;
  • 김진웅 (한국전자통신연구원) ;
  • 유지상 (광운대학교 전자공학과 디지털 미디어 연구실)
  • Published : 2009.12.31
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we propose algorithms for generating high quality virtual intermediate views on the baseline or out of baseline. In this proposed algorithm, depth information as well as 3D warping technique is used to generate the virtual views. The coordinate of real 3D image is calculated from the depth information and geometrical characteristics of camera and the calculated 3D coordinate is projected to the 2D plane at arbitrary camera position and results in 2D virtual view image. Through the experiments, we could show that the generated virtual view image on the baseline by the proposed algorithm has better PSNR at least by 0.5dB and we also could cover the occluded regions more efficiently for the generated virtual view image out of baseline by the proposed algorithm.

본 논문에서는 다시점 동영상을 이용한 기저선(baseline)상의 가상시점 영상 생성과 기저선상 외의 가상시점 영상 생성을 위한 기법을 제안한다. 제안한 기법에서는 가상 시점을 생성하기 위하여 영상의 깊이(depth)정보와 고정된 카메라의 기하학적 특성을 이용한 3차원 워핑(warping) 방법을 적용한다. 영상의 실제 3차원 좌표는 영상의 깊이 정보와 카메라의 기하학적 특성을 이용하여 산출되고, 산출된 3차원 좌표는 임의 위치의 가상 카메라에 투영(projection)되어 2차원의 가상 시점 영상이 생성된다. 제안한 방법에 의해 생성된 기저선상의 중간시점 영상은 기존의 방법으로 생성된 중간시점 영상보다 PSNR이 0.5dB 이상 향상된 결과를 나타내었고, 기저선상 외의 가상 시점 영상에서 나타나는 많은 미처리 영역을 보다 효과적으로 처리하여 가상시점 영상을 생성할 수 있었다.

Keywords

References

  1. K. H. Bae, J. J Kim, E. S. Kim, 'New disparity estimation scheme based on adaptive matching window for intermediate view reconstruction,' Optical Engineering, Vol.42, No.6, pp.1778-1786, 2003 https://doi.org/10.1117/1.1571828
  2. C. L. Zitnick, S. B. Kang, M. Uyttendaele, S. Winder, and R. Szeliski, 'High-Quality Video View Interpolation Using a Layered Representation,' ACM SIGGRAPH and ACM Trans. On Graphics, Los Angeles, CA, USA, Volume 23, Issue 3, Aug., 2004 Page(s):600-608 https://doi.org/10.1145/1015706.1015766
  3. 박세환, 송혁, 장은영, 허남호, 김진웅, 김진수, 이상훈, 유지상, '다시점 동영상에서 임의시점영상생성을 위한 가려진 영역 보상기법,' 한국통신학회논문지, 제33권 제12호 통신이론 및 시스템), 2008, 12, pp.1029-1038
  4. ISO/IEC JTC1/SC29/WG11 'International Organisation for Standardisation Organisation Internationale de Normalisation ISO/IEC JTC1/SC29/WG11CODING of Moving Pictures and Audio,' M15597, July, 2008
  5. A. Smolic, K. Muller, K. Dix, P. Merkle, P. Kauff, T. Wiegand, 'Intermediate view interpolation based on multiview video plus depth for advanced 3D video systems,' Image Processing, 2008. ICIP 2008. 15th IEEE International al Conference on 12-15 Oct., 2008 Page(s):2448-2451
  6. Y. Mori, N. Fukushima, T. Fujii, M. Tanimoto, 'View Generation with 3D Warping Using Depth Information for FTV,' 3DTV Conference: The True Vision-Capture, Transmission and Display of 3D Video, 28-30 May, 2008 Page(s):229-232
  7. Richard Hartley and Andrew Zisserman, 'Multiple View Geometry,' Cambridge University, pp.152-247, Second Edition 2003
  8. YC Chung, JM Wang, SW Chen, 'Progressive background images generation,' 15th IPPR Conference on Computer Vision, Graphics and Image Processing, Hsin-Chu, Taiwan, August 2002, pp 654-659
  9. J. Yao, W. Cham,'3D modeling and rendering from multiple wide-baseline images by match propagation,' Signal Processing: Image Communication, Elsevier, Volume 21, Issue 6, July 2006 Page(s): 451-530 https://doi.org/10.1016/j.image.2006.03.010
  10. M. Z. Brown, D. Burschka, G. D. Hager, 'Advances in computational stereo,' Pattern Analysis and Machine Intelligence, IEEE Transactions on Volume 25, Issue 8, Aug., 2003 Page(s):993-1008 https://doi.org/10.1109/TPAMI.2003.1217603
  11. D. Scharstein, R. Szeliski, R. Zabih, 'A taxonomy and evaluation of dense two-frame stereo correspondence algorithms,' Stereo and Multi-Baseline Vision, 2001. (SMBV 2001). Proceedings. IEEE Workshop on 9-10 Dec., 2001 Page(s):131-140
  12. S. Eric, C. L. Williams, 'View interpolation for image synthesis,' Proceedings of the 20th annual conference on Computer graphics and interactive techniques, Anaheim, CA, USA, 02-06 Aug., 1993 Page(s):279-288
  13. Liang Zhang, Demin Wang, and Andre Vincent, 'Adaptive Reconstruction of Intermediate Views from Stereoscopic Images,' IEEE Transaction on circuits and Systems for Video Tech., Vol.16, No.1, 2006