DOI QR코드

DOI QR Code

Normalized Cross Correlation-based Multiview background Subtraction for 3D Object Reconstruction

3차원 객체 복원을 위한 정규 상관도 기반 다중 시점 배경 차분 기법

  • 팽경현 (한국과학기술원 전기 및 전자공학과) ;
  • 황성수 (한국과학기술원 전기 및 전자공학과) ;
  • 김희동 (한국과학기술원 전기 및 전자공학과) ;
  • 김수정 (한국과학기술원 전기 및 전자공학과) ;
  • 유지성 (한국과학기술원 전기 및 전자공학과) ;
  • 김성대 (한국과학기술원 전기 및 전자공학과)
  • Received : 2013.02.23
  • Published : 2013.06.25

Abstract

In this paper, we propose a normalized cross correlation(NCC)-based multiview background subtraction method which is robust when an object and background have similar color. When the background of the capturing environment is not artificially composed, the regions in the background images which would be occluded by an object tends to have difference colors. The colors of those regions, however, becomes similar when an object enters the capturing environment. Based on this assumption, this paper proposes a concept of GoNCC(Graph of Normalized Cross Correlation). GoNCC is the distribution of NCC between a pixel in an image and pixels related by epipolar constraints with the pixel. The proposed multiview background subtraction method is performed by comparing GoNCC of the current images with the background images. To reduce computational complexity, we perform multiview background subtraction only to the pixels undetermined by single view background subtraction. Experimental results show that the proposed method is more robust to color similarity between an object and background than a single-view background subtraction method and a previous multiview background subtraction method.

본 논문에서는 배경과 객체의 색상이 유사한 상황에서 강인한 정규 상관도(Normalized Cross Correlation) 기반 다중 시점 배경 차분 기법을 제안한다. 인위적으로 배경을 구성한 경우가 아닐 경우, 다중 시점 영상의 배경 영상에서 객체로 인해 가려지게 되는 영역들은 서로 다른 색상을 가지고 있을 확률이 높다. 그러나 객체의 등장으로 인해 이러한 영역들은 서로 유사한 색상을 가지게 된다. 이에 기반하여 본 논문은 GoNCC(Graph of Normalized Cross Correlation)을 제안한다. GoNCC는 임의 시점 영상의 한 화소와 에피폴라 제약조건 관계에 있는 인접 영상 내 화소와 해당 화소와의 정규 상관도 값의 분포를 의미한다. 제안하는 다중 시점 배경 차분 기법은 현재 영상의 GoNCC와 배경 영상의 GoNCC를 비교함으로써 이루어진다. 계산량을 줄이기 위해 다중 시점 배경 차분 기법을 모든 화소에 적용하지 않고 간단한 단일 시점 배경 차분 기법으로 판단하기 어려운 영역에 대해서만 제안 방법을 수행한다. 실험 결과 단순한 단일 시점 배경 차분 기법에 비하여 매우 우수한 성능을 보였고, 기존의 다중 시점 배경 차분 기법에 비해서도 보다 정확하게 객체 영역을 검출하는 것을 확인하였다.

Keywords

References

  1. E. Stoykova, A. A. Alatan, P. Benzie, N. Grammalidis, S. Malassiotis, J. Ostermann, S. Piekh, V. Sainov, C. Theobalt, T. Thevar, and X. Zabulis, "3-D Time-Varying Scene Capture Technologies-A Survey," IEEE Trans. Circuits Syst. Video Tech., Vol.17, No.11, pp.1568-1586, November, 2007. https://doi.org/10.1109/TCSVT.2007.909975
  2. 김한성, 손광훈, "다중 스테레오 카메라를 이용한 3차원 모델링 시스템," 대한전자공학회 논문지 제 44권 SP편 제 1호, 1-9쪽, 2007년
  3. A. Laurentini, "The Visual hull Concept for Silhouette-based Image Understanding," IEEE Trans. Pattern Anal. and Machine Intell., Vol. 16, No.2, pp.150-162, Feb., 1994. https://doi.org/10.1109/34.273735
  4. Y.Furukawa and J.Ponce, "Carved Visual Hulls for Image-based Modeling," in Proc. European Conf. Computer Vision, pp.564-577, 2006.
  5. M.Piccardi, "Background Subtraction Techniques: A Review," in Proc. IEEE Int. Systems, Man and Cybernetics, Oct. 2004.
  6. K.M. Cheung, T. Kanade, "A Real Time System for Robust 3D Voxel Reconstruction of Human Motions," in Proc. Computer Vis. Pattern Recognition, 2000.
  7. T. Matsuyama, X. Wu, T. Takai and S. Nobuhara, "Real-time 3D Shape Reconstruction, Dynamic 3D Mesh Deformation, and High Fidelity Visualization for 3D Video," Computer Vision and Image Understanding Vol.96 pp.393-434, 2004. https://doi.org/10.1016/j.cviu.2004.03.012
  8. O. Grau, T. Pullen and G.A. Thomas, "A Combined Studio Production System for 3-D Capturing of Live Action and Immersive Actor Feedback," IEEE Trans. Circuits Syst. Video Tech., Vol.14, No.3, pp.370-380, March, 2004. https://doi.org/10.1109/TCSVT.2004.823397
  9. J. starck, A. Maki, S. Nobuhara, A.Hilton and T. Matsuyama, "The Multiple-Camera 3-D Production Studio," IEEE Trans. Circuits. Syst. Video Tech., Vol.19, No.6, pp.856-869, June, 2009. https://doi.org/10.1109/TCSVT.2009.2017406
  10. G. Zeng and L. Quan, "Silhouette Extraction from Multiple Images of an Unknown Background," in Proc. Asian Conf. Computer Vision, Jan. 2004.
  11. T. Feldmann, B. Scheuemann, B. Rosenhahn, A. Worner,"N-View Human Silhouette Segmentation in Cluttered, Partially Changing Environments," Lecture Notes in Computer Science, Volume 6376, Pattern Recognition, pp.363-372, 2010.
  12. Wonwoo Lee, Woontack Woo and E. Boyer, "Silhouette Segmentation in Multiple Views," IEEE Trans. Pattern Anal. and Machine Intell., Vol. 33, No. 7, pp.1429-1441, July, 2011. https://doi.org/10.1109/TPAMI.2010.196
  13. M. Toyoura, M. Iiyama, K. Kakusho, and M. Minoh, "Silhouette Extraction with Random Pattern Backgrounds for the Volume Intersection Method," in Proc. 3-D Digital Imaging and Modeling, pp.225-232, Aug. 2007.
  14. R. Hartley and A. Zisserman, "Multiple View Geometry in Computer Vision," Cambridge University Press, 2000.
  15. "Kung-Fu Girl data set", http://www.mpi-inf.mpg.de/departments/irg3/kungfu/
  16. S. Kim, H.D. Kim, W.J. Kim, S.D. Kim, "Fast Computation of a Visual Hull," in Proc. Asian Conf. Computer Vision, 2010, pp. 2075-2084.

Cited by

  1. High-resolution 3D Object Reconstruction using Multiple Cameras vol.50, pp.10, 2013, https://doi.org/10.5573/ieek.2013.50.10.150