Video Object Segmentation using Kernel Density Estimation and Spatio-temporal Coherence

커널 밀도 추정과 시공간 일치성을 이용한 동영상 객체 분할

  • 안재균 (고려대학교 전자전기공학부) ;
  • 김창수 (고려대학교 전자전기공학부)
  • Received : 2009.12.15
  • Published : 2009.12.30

Abstract

A video segmentation algorithm, which can extract objects even with non-stationary backgrounds, is proposed in this work. The proposed algorithm is composed of three steps. First, we perform an initial segmentation interactively to build the probability density functions of colors per each macro block via kernel density estimation. Then, for each subsequent frame, we construct a coherence strip, which is likely to contain the object contour, by exploiting spatio-temporal correlations. Finally, we perform the segmentation by minimizing an energy function composed of color, coherence, and smoothness terms. Experimental results on various test sequences show that the proposed algorithm provides accurate segmentation results.

본 논문에서는 고정되지 않은 배경의 동영상에서 객체를 추출하는 방법을 제안한다. 제안하는 알고리즘은 추적에 기반을 둔 기법으로 크게 세 단계의 과정으로 이루어져 있다. 첫 번째 단계는 초기 분할로서, 사용자의 반응을 이용하여 첫 프레임의 분할 결과를 획득하는 과정이다. 초기 분할을 통해 획득된 결과 샘플은 커널 밀도 추정을 이용하여 각 매크로 블록별 컬러 확률 밀도 함수를 생성하는데 사용된다. 두 번째 단계에서는 각 프레임에 대해 이전 프레임의 경계 정보와 움직임 벡터를 이용하여 일치성 띠를 생성하고, 생성된 띠에 대한 시공간 확률을 추정한다. 마지막 단계에서는 각 픽셀별 컬러, 시공간, 스무드항의 합으로 구성된 에너지 함수를 최소화하여 최종 결과를 획득한다. 실험 결과를 통해서 본 논문에서 제안하는 기법이 정확한 분할 결과를 추출하는 지 다양한 테스트 영상을 통해 확인한다.

Keywords

References

  1. H. Greenspan, J. Goldberger, A. Mayer, "Probabilistic space-time video modeling via piecewise GMM," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 26, no. 3, pp. 384-396, March, 2004. https://doi.org/10.1109/TPAMI.2004.1262334
  2. L. Liu, G. Fan, "Combiend key-frame extraction and object video segmentation," IEEE Trans. Circuits Syst. Video Technol., vol. 15, no. 7, pp. 869-884, July, 2005. https://doi.org/10.1109/TCSVT.2005.848347
  3. A. Criminisi, G. Cross, A. Blake, and V. Kolmogorov, "Bilayer segmentation of live video," in Proc. IEEE CVPR, pp. 53-60, Dec. 2006.
  4. J. Sun, W. Zhang, X. Tang, and H. Shum, "Background cut," in Proc. ECCV, pp. 628-641, 2006.
  5. V. Kolmogorov, A. Criminisi, A. Blake, G. Cross, and C. Rother, "Bi-layer segmentation of binocular stereo video," in Proc. IEEE CVPR, pp. 407-414, 2005.
  6. J. Sun, S. Kang, Z. Xu, X. Tang, and H. Shum, "Flash cut: Foreground extraction with flash and no-flash image pairs," in Proc. IEEE CVPR, 2007.
  7. F. Moreno-Noguer, P. Belhumeur, and S. Nayar, "Active refocusing of images and videos," ACM Trans. Graphics. 2007.
  8. Z. Liu and L. Shen, "A novel video object tracking approach based on kernel density estimation and Markov random field," in Proc. IEEE ICIP, pp. 373-376, 2007.
  9. J. Ahn and C. Kim, "Real-time segmentation of objects from video sequences with non-stationary backgrounds using spatio-temporal coherence," in Proc. IEEE ICIP, pp. 1544–1547, 2008.
  10. C. Rother, V. Kolmogorov, and A. Blake, "Grab Cut: Interactive foreground extraction using iterated graph cuts," in ACM Trans. Graphics, vol. 23, no. 3, pp. 309-314, 2004. https://doi.org/10.1145/1015706.1015720
  11. B. W. Silverman, "Density estimation for statistics and data analysis," Champman and Hall, 1986.
  12. Y. Boykov, O. Veksler, and R Zabih, "Fast approximate energy minimization via graph cuts," IEEE Trans. Pattern Analysis and Machine Intelligence, vol.23 no.11, p.1222-1239, Nov. 2001. https://doi.org/10.1109/34.969114
  13. Y. Boykov and V. Kolmogorov, "An experimental comparison of min-cut/max-_ow algorithms for energy minimization in vision," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 26, no. 9, pp. 1124-1137, Sept. 2004. https://doi.org/10.1109/TPAMI.2004.60