Journal of the Korea Computer Graphics Society (한국컴퓨터그래픽스학회논문지)

Korea Computer Graphics Society (한국컴퓨터그래픽스학회)
권호 표지

Feature-Based Light and Shadow Estimation for Video Compositing and Editing

동영상 합성 및 편집을 위한 특징점 기반 조명 및 그림자 추정

  • 황규현 (동국대학교 멀티미디어학과) ;
  • 박상훈 (동국대학교 멀티미디어학과)
  • Received : 2011.09.19
  • Accepted : 2012.01.27
  • Published : 2012.03.01
Download PDF
⟨ Previous Next ⟩

Abstract

Video-based modeling / rendering developed to produce photo-realistic video contents have been one of the important research topics in computer graphics and computer visions. To smoothly combine original input video clips and 3D graphic models, geometrical information of light sources and cameras used to capture a scene in the real world is essentially required. In this paper, we present a simple technique to estimate the position and orientation of an optimal light source from the topology of objects and the silhouettes of shadows appeared in the original video clips. The technique supports functions to generate well matched shadows as well as to render the inserted models by applying the estimated light sources. Shadows are known as an important visual cue that empirically indicates the relative location of objects in the 3D space. Thus our method can enhance realism in the final composed videos through the proposed shadow generation and rendering algorithms in real-time.

사실적 동영상 콘텐츠를 제작하기 위해 개발된 동영상 기반 모델링 / 렌더링은 컴퓨터 그래픽스와 컴퓨터 비전 분야에서 중요한 연구주제 중 하나이다. 원본 입력 동영상 클립과 3차원 그래픽 모델을 부드럽게 합성하기 위해, 실세계 장면 촬영에 사용된 광원과 카메라의 기하학적인 정보가 필수적으로 요구된다. 본 논문에서는 원본 동영상 클립에서 나타나는 물체들의 위상과 그림자들의 윤곽 정보로부터 최적의 광원에 대한 위치와 방향을 추정하는 간단한 기법에 대해 설명한다. 본 기법은 추정된 광원을 이용함으로써 삽입된 모델에 대한 렌더링뿐만 아니라 잘 어울리는 그림자의 생성을 하는 기능을 제공한다. 그림자는 경험적으로 3차원 공간에 존재하는 물체들 사이의 상대적인 위치를 보여주는 중요한 시각적 요소로 알려져 있다. 따라서 본 기법은 제안된 실시간 그림자 생성과 렌더링 알고리즘을 통해 최종적 합성된 동영상의 사실성을 높일 수 있다.

Keywords

References

  1. A. van den Hengel, A. Dick, T. Thormahlen, B. Ward, and P. H. S. Torr, "Videotrace: rapid interactive scene modelling from video," in Proceedings of SIGGRAPH '07, 2007, p. 86.
  2. P. Debevec, "Rendering synthetic objects into real scenes: bridging traditional and image-based graphics with global illumination and high dynamic range photography," in Proceedings of SIGGRAPH '98, 1998, pp. 189-198.
  3. Y. Zhang and Y.-H. Yang, "Multiple Illuminant Direction Detection with Application to Image Synthesis," IEEE Trans. Pattern Anal. Mach. Intell., vol. 23, pp. 915-920, August 2001. https://doi.org/10.1109/34.946995
  4. M. Kanbara and N. Yokoya, "Real-time Estimation of Light Source Environment for Photorealistic Augmented Reality," in Proceedings of International Conference on Pattern Recognition 2004, 2004, pp. 911-914.
  5. C. B. Madsen and M. Nielsen, "Towards Probe-Less Augmented Reality - A Position Paper," in Proceedings of GRAPP, 2008, pp. 255-261.
  6. R. I. Hartley and A. Zisserman, Multiple View Geometry in Computer Vision. Cambridge University Press, 2000.
  7. J.-A. Beraldin, F. Blais, L. Cournoyer, G. Godin, and M. Rioux, "Active 3D sensing," Scuola Normale Superiore Pisa, vol. 10, no. Lc, pp. 1-21, 2000.
  8. 추창우, 박지영, 김호원, 박정철, 임성재, and 구본기, "3차원 복원 기술 동향," 전자통신동향분석, vol. 22, no. 4, pp. 1-11, 2007.
  9. M. Pollefeys, M. Vergauwen, K. Cornelis, J. Tops, F. Verbiest, and L. V. Gool, "Structure and motion from image sequences," in Proceedings of Conference on Optical 3D Measurement Techniques, 2001, pp. 251-258.
  10. P. Beardsley, P. Torr, and A. Zisserman, "3D Model Acquisition from Extended Image Sequences," in Proceedings of the 4th European Conference on Computer Vision, 1996, pp. 683-695.
  11. N. Jiang, P. Tan, and L.-F. Cheong, "Symmetric architecture modeling with a single image," in Proceedings of SIGGRAPH Asia 2009, 2009, pp. 113:1-113:8.
  12. R. Zhang, P.-S. Tsai, J. E. Cryer, and M. Shah, "Shape from Shading: A survey," IEEE Trans. Pattern Anal. Mach. Intell., vol. 21, pp. 690-706, August 1999. https://doi.org/10.1109/34.784284
  13. E. Prados and O. Faugeras, "Shape From Shading," in Handbook of Mathematical Models in Computer Vision, Y. C. N. Paragios and O. Faugeras, Eds. Springer, 2006, ch. 23, pp. 375-388.
  14. N. D. F. Campbell, G. Vogiatzis, C. Hernandez, and R. Cipolla, "Automatic 3D object segmentation in multiple views using volumetric graph-cuts," Image Vision Comput., vol. 28, pp. 14-25, January 2010. https://doi.org/10.1016/j.imavis.2008.09.005
  15. M. Aittala, "Inverse lighting and photorealistic rendering for augmented reality," Vis. Comput., vol. 26, pp. 669-678, June 2010. https://doi.org/10.1007/s00371-010-0501-7
  16. 이석준 and 정순기, "증강현실에서의 반사구를 활용한 사실적 조명 생성," 한국컴퓨터그래픽스학회논문지, vol. 17, no. 3, pp. 21-31, 2011.
  17. A. Shesh, A. Criminisi, C. Rother, and G. Smyth, "3D-aware image editing for out of bounds photography," in Proceedings of Graphics Interface 2009, 2009, pp. 47-54.
  18. VoodooTracker, "www.digilab.uni hannover.de," 2009.
  19. W. Donnelly and A. Lauritzen, "Variance shadow maps," in Proceedings of the 2006 Symposium on Interactive 3D Graphics and Games, 2006, pp. 161-165.