Effective Detection Techniques for Gradual Scene Changes on MPEG Video

MPEG 영상에서의 점진적 장면전환에 대한 효과적인 검출 기법

  • 윤석중 (삼성전자 반도체총괄 시스템 LSI media팀 정회원) ;
  • 지은석 (고려대학교 전자공학과 정회원) ;
  • 김영로 (고려대학교 전자공학과 정회원) ;
  • 고성제 (고려대학교 전자공학과 정회원)
  • Published : 1999.08.01

Abstract

In this paper, we propose detection methods for gradual scene changes such as dissolve, pan, and zoom. The proposal method to detect a dissolve region uses scene features based on spatial statistics of the image. The spatial statistics to define shot boundaries are derived from squared means within each local area. We also propose a method of the camera motion detection using four representative motion vectors in the background. Representative motion vectors are derived from macroblock motion vectors which are directly extracted from MPEG streams. To reduce the implementation time, we use DC sequences rather than fully decoded MPEG video. In addition, to detect the gradual scene change region precisely, we use all types of the MPEG frames(I, P, B frame). Simulation results show that the proposed detection methods perform better than existing methods.

점진적인 장면전환 종류로는 비디오 편집 과정에서 삽입되는 디졸브(dissolve), 페이드인/아웃(fade-in/out), 와이프(wipe) 등과, 카메라 움직임에 의한 팬(pan), 줌(zoom), 스크롤(scroll) 등이 있다. 본 논문에서는 점진적 장면전환 종류 중 편집과정에서 사용되는 디졸브, 그리고 카메라 움직임에 의한 팬과 줌의 검출을 위한 효과적인 방법을 제안하였다. 디졸브 구간의 검출을 위하여 각 프레임에 대한 공간적 영역 분할을 하고, 영역별 화소값의 평균치를 제곱하여 전환 프레임의 특징 요소로 사용하였다. 팬과 줌의 검출을 위하여 배경화면을 대표할 수 있는 4개의 국부 영역으로 선정하여 각 국부 영역의 움직임 벡터로부터 대표 움직임 벡터를 결정하고, 이들의 방향 성분을 사용하였다. 제안된 방식들은 검출의 정확도를 향상시키기 위해 모든 프레임(I, P, B)을 사용하였으며 아울러 검출 속도를 높이기 위해 완전 복원된 영상을 사용하는 대신 DCT DC 계수와 움직임 벡터를 이용한 축소영상을 사용하였다. 실제 MPEG 비디오에 적용하여 기존의 방법들에 비해 우수한 검출 결과를 확인하였다.

Keywords

References

  1. IEEE Multimedia v.1 Content-based video indexing and retrieval S. Smoliar;H. Zhang
  2. Proc. Conf. Machine Intelligence and Vision Scene retrieval method for video database applications using temporal condition changes S. Abe;Y. Tonomura;H. Kasahara
  3. SPIE v.3312 Multi-resolution video segmentation using wavelet transform H. H. Yu;W. Wolf
  4. Proc. 2nd Working Conf. Visual Database Systems Automatic video indexing and full-video search for object appearances N. Nagasaka;Y. Tanaka
  5. Proc. of ACM /Multimedia '93 Image Processing on Compressed Data for Large Video Databases F. Armam;A. Hsu;M. Y. Chu
  6. SPIE: Digital Video Compression: Algorithms and Technologies v.2419 Scene Change Detection in a MPEG Compressed Video Sequence J. Meng;Y. Juan;S. F. Chang
  7. IEEE Trans. on Circuits and Systems for Video Technology v.5 no.6 Rapid scene analysis on compressed video B. Yeo;B. Liu
  8. Multimedia Systems v.1 Automatic partitioning of full-motion video H. Zhang;A. Kankanhalli;S. Smoliar
  9. Proc. ACM Multimedia 95 A Feature-Based Algorithm for Detecting and Classifying Scene Breaks R. Zabih;J. Miller;K. Mai
  10. Journal of the Optical Society of America Spatiotemporal energy models for the perception of motion E. H. Adelson;J. R. Bergen
  11. in Visual Communications and Image Processing '92, SPIE Video indexing using motion vectors A. Akutsu(et al.)
  12. SPIE v.3024 Key Frame Selection from MPEG Video Data O. N. Gerek;Y. Altunbasak
  13. in Proc. SPIE Conf. Image and Video Processing II v.2182 Video parsing using compressed data H. Zhang;C. Y. Low;Y. Gong;S. Smoliar
  14. IEEE International Conference on Image Processing On the extraction of DC sequence from MPEG compressed video B. L. Yeo;B. Liu