The Journal of Korean Institute of Communications and Information Sciences (한국통신학회논문지)

The Korean Institute of Commucations and Information Sciences (한국통신학회)
권호 표지

Real-Time Foreground Segmentation and Background Substitution for Protecting Privacy on Visual Communication

화상 통신에서의 사생활 보호를 위한 실시간 전경 분리 및 배경 대체

  • 배건태 (연세대학교 컴퓨터과학과) ;
  • 곽수영 (연세대학교 컴퓨터과학과) ;
  • 변혜란 (연세대학교 컴퓨터과학과)
  • Published : 2009.05.31
Download PDF
⟨ Previous Next ⟩

Abstract

This paper proposes a real-time foreground segmentation and background substitution method for protecting the privacy on visual communication. Previous works on this topic have some problems with the color and shape of foreground and the capture device such as stereo camera. we provide a solution which can segment the foreground in real-time using fixed mono camera. For improving the performance of a foreground extraction, we propose the Temporal Foreground Probability Model (TFPM) by modeling temporal information of a video. Also we provide an boundary processing method for natural and smooth synthesizing that using alpha matte and simple post-processing method.

본 논문은 모노 카메라로 입력받은 영상에서 실시간으로 전경과 배경을 분리하여 배경을 자연스럽게 대체 하는 방법을 제안한다. 기존 연구는 대부분 단일 색상의 배경을 이용하여 전경 색에 대한 제약이 있거나, 깊이 정보를 추출을 위한 스테레오 카메라와 같은 장치에 대한 제약이 있거나, 제한적인 전경의 모양 모델을 이용하여 분리할 수 있는 전경의 모양에 대한 제약이 있었다. 이에 본 논문에서는 일반적으로 사용되는 웹캠과 같은 고정된 모노 카메라를 이용하여 실시간으로 전경 분리가 가능한 전경 분리 방법을 제안한다. 또한, 전경 분리의 성능 향상을 위하여 통영상의 시간적인 특징 정보를 이용한 시간적 전경 확률 모델을 제안한다. 또한 분리된 전경과 새로운 배경의 자연스러운 합성을 위한 알파 매트를 이용한 경계선 영역 처리방법과 간단한 후 처리 방법을 제안한다. 제안된 방법은 실제의 화상통신에서 개인의 사적인 정보가 포함된 배경을 자연스럽게 대체시켜 개인의 사생활을 보호할 수 있다.

Keywords

References

  1. A. R. Smith and J. F. Blinn, 'Blue Screen Matting', in SIGGRAPH '96: Proceeding of the 23rd annual conference on Computer graphics, pp. 259-268, 1996 https://doi.org/10.1145/237170.237263
  2. C. Stauffer, W. Grimson, 'Adaptive background mixture models for real-time tracking', in Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition, pp. 246-252, 1999 https://doi.org/10.1109/CVPR.1999.784637
  3. P. Kumar, S. Ranganath, W. Huang, 'Queue based fast background modelling and fast hysteresis thresholding for better foreground segmentation', The 2003 Joint Conference of the Fourth ICICS and PCM, Vol. 2, pp. 15-18, 2003
  4. J. Badenas, J. M. Sanchiz, F. Pla, 'Motion-based segmentation and region tracking in image sequences', Pattern Recognition, Vol. 34, No. 3, pp. 661-670, 2001 https://doi.org/10.1016/S0031-3203(00)00014-5
  5. H. Luo, Eleftheriadis, A., 'Model-based segmentation and tracking of head-and-shoulder video objects for real time multimedia services', IEEE Transactions on Multimedia, Vol. 5, No. 3, pp. 379-389, 2003 https://doi.org/10.1109/TMM.2003.813285
  6. L. Zhao, L.S. Davis, 'Closely coupled object detection and segmentation', in Proceedings of the 10th IEEE International Conference on Computer Vision(ICCV'05), Vol. 1, pp. 454-461, 2005 https://doi.org/10.1109/ICCV.2005.55
  7. V. Kolmogorov, A. Criminisi, A. Blake, G. Cross and C. Rother, 'Bi-layer segmentation of binocular stereo video', in Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), Vol. 2, No. 2, pp. 1186-1193, 2005
  8. V. Kolmogorov, A. Criminisi, A. Blake, G. Cross and C. Rother, 'Probabilistic fusion of stereo with color and contrast for bi-layer segmentation', IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), Vol. 76, No. 2, pp. 1480-1492, 2006 https://doi.org/10.1109/TPAMI.2006.193
  9. Y. Chuang, B. Curless, D. Salesin, and R. Szeliski, 'A bayesian approach to digital matting', in Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR 2001), Vol. 2, pp. 264-271, 2001
  10. J. Wang and M. Cohen, 'Optimized color sampling for robust matting', in Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2007), pp. 1-8, 2007
  11. T. Horprasert, D. Harwood and L.S. Davis 'A Statistical Approach for Real-time Robust Background Subtraction and Shadow Detection', in Proceedings of the 7th IEEE International Conference on Computer Vision, Frame Rate Workshop(ICCV'99), pp. 1-19, 1999
  12. J.H. Ahn and H, Byun, 'Human Silhouette Extraction Method using Region Based Background Subtraction', Mirage 2007: Computer Vision/Computer Graphics Collaboration Techniques and Applications, Lecture Notes in Computer Science, Vol. 4418, pp.412-420, 2007 https://doi.org/10.1007/978-3-540-71457-6_37
  13. Blinn, J.F, 'Compositing. 1. Theory', IEEE Computer Graphics and Applications, Vol. 14, pp. 83-87, 1994 https://doi.org/10.1109/38.310740
  14. G. Y. Tian, D. Gledhill, D. Taylor, D. Clarke, 'Colour Correction for Panoramic imaging', in Proceedings of the Sixth International Conference on Information Visualization(IV'02), pp. 483-488, 2002 https://doi.org/10.1109/IV.2002.1028817