Journal of KIISE:Software and Applications (한국정보과학회논문지:소프트웨어및응용)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

Content-based Shot Boundary Detection from MPEG Data using Region Flow and Color Information

영역 흐름 및 칼라 정보를 이용한 MPEG 데이타의 내용 기반 셧 경계 검출

  • 강행봉 (카톨릭대학교 컴퓨터전자공학부)
  • Published : 2000.04.15
Download PDF
⟨ Previous Next ⟩

Abstract

It is an important step in video indexing and retrieval to detect shot boundaries on video data. Some approaches are proposed to detect shot changes by computing color histogram differences or the variances of DCT coefficients. However, these approaches do not consider the content or meaningful features in the image data which are useful in high level video processing. In particular, it is desirable to detect these features from compressed video data because this requires less processing overhead. In this paper, we propose a new method to detect shot boundaries from MPEG data using region flow and color information. First, we reconstruct DC images and compute region flow information and color histogram differences from HSV quantized images. Then, we compute the points at which region flow has discontinuities or color histogram differences are high. Finally, we decide those points as shot boundaries according to our proposed algorithm.

비디오 데이타에서 셧 경계 검출은 비디오 인덱싱 및 검색에 있어서 매우 중요한 단계이다. 셧 경계 검출 방법은 현재 많은 연구가 진행되어 왔으나 아직까지 셧에 존재하는 내용을 기반으로 한 일반적인 방법이 제시되지 못하고 있다. 주로 연속된 비디오 프레임 사이의 칼라 히스토그램 변화나 DCT 계수의 편차에 의해 검출하는 방식이 주로 사용되고 있다. 하지만, 이러한 방식들은 비디오 데이타의 내용이나 의미있는 특징들을 사용하고 있지 않아서 사용자가 원하는 고도의 정보를 처리하는데는 어려운 점이 많다. 더욱이, 이러한 내용 기반의 처리가 압축 데이타에서 직접 수행할 수 있다면, 시간 및 오버헤드를 줄일 수 있어 바람직하다. 본 논문에서는 중요한 특징인 영역 정보 및 칼라 정보를 이용하여 MPEG 데이타를 원 영상으로 복호화하지 않고, 셧 경계를 검출하는 방법을 제안한다. 먼저, 압축비디오 데이타로 부터 DC영상들을 복원하여 이 영상들에 존재하는 영역 정보 흐름 및 양자화 된 HSV 칼라 정보의 중요한 특징들을 추출하여, 영역 흐름의 불연속점이나 칼라 히스토그램의 값이 급격히 변화하는 프레임을 찾아 이를 제안된 알고리즘에 따라 비디오 데이타의 셧 경계로 검출한다.

Keywords

References

  1. W. Grosky, R. Jain and R. Mehrotra, 'The Handbook of Multimedia Information Management,' Prentice Hall PTR, 1997
  2. H. Zhang, A. Kankanhali, S. Smoliar and S. Tan, 'Automatic Partitioning of Full Motion Video,' ACM Multimedia Systems, Vol. 1., No. 1, pp 10-28, 1993 https://doi.org/10.1007/BF01210504
  3. K. Otsuji and Y. Tonomura, 'Projection Detecting Filter for Video Cut Detection,' In Proc. 1st ACM Conf. Multimedia, 1993 https://doi.org/10.1145/166266.166295
  4. A. Nagasaka and Y. Tanaka, 'Automatic Video Indexing and Full-video Search for Object Appearances,' In 2nd Working Conf. Visual Database System, Oct. , pp. 119-133, 1991
  5. R. Zabih, J. Miller and K. Mai, 'Video Browsing Using Edges and Motion,' IEEE Conf. CVPR '96, Sanfranciso, Jun., pp.439-446, 1996 https://doi.org/10.1109/CVPR.1996.517109
  6. M. Naphade et. al,'A High Performance Shot Boundary Detection Algorithm Using Multiple Cues,' IEEE Int. Conf. Image Processing, Chicago, 1998 https://doi.org/10.1109/ICIP.1998.723662
  7. F. Arman, A. Hsu and M. -Y. Chiu, 'Feature Management for Large Video Databases,' in Storage and Retrieval for Image and Video Databases, Vol. SPIE 1908, pp. 2-12, 1993 https://doi.org/10.1117/12.143638
  8. F. Arman, A. Hsu and M. -Y. Chiu, 'Image processing on Compressed Data fro Large Video Databases,' Proc. ACM Multimedia'93, Jun., pp. 267-272, 1993 https://doi.org/10.1145/166266.166297
  9. H. J. Zhang, C. Y. Low and S. W. Smolia, 'Video Parsing and browsing using compressed data,' Multimedia Tools and Applications, Vol. 1, No.1, Mar., pp. 89-111, 1995 https://doi.org/10.1007/BF01261227
  10. J. Meng, Y. Juan, and S.-F Chang, 'Scene change detection in a MPEG compressed video sequence,' Proc. IS&T/SPIE Symposium in Electronic Imaging: Science and Technology, San Jose, CA, Feb. 1995 https://doi.org/10.1117/12.206359
  11. J. Meng and S. -F. Chang, 'CVEPS- A Compressed Video Editing and Parsing System,' ACM Multimedia'96, Nov., pp.43-53, 1996 https://doi.org/10.1145/244130.244145
  12. B. Yeo and B. Liu, 'On the Extraction of DC sequence from MPEG compressed video,' Proc. Int. Conf. on Image Processing, Oct, pp.260-263, 1995 https://doi.org/10.1109/ICIP.1995.537464
  13. V. Kobla and D. Doermann, 'Compressed domain video indexing techniques using DCT and Motion Vector information in MPEG video,' SPIE Vol. 3022, pp.200-212, 1997 https://doi.org/10.1117/12.263408
  14. M. Pardas and P. Salembier, ' 3D Morphological Segmentation and Motion Estimation for Image Sequences,' Signal Processing, Vol. 38, pp. 31-43, 1994 https://doi.org/10.1016/0165-1684(94)90055-8
  15. L. Vincent and P. Sollie, 'Watersheds in Digital Spaces: An Efficient Algorithms based on Immersion Simulation,' IEEE Trans. Pattern and Mach. Intell., Vol. 13, No. 6, pp. 583-598, June 1991 https://doi.org/10.1109/34.87344
  16. M.D. Fairchild, Color Appearance Models, Addison Wesley, 1998
  17. S. Ishibashi and F. Kishino, 'Color/Texture Analysis and Synthesis for Model-based Human Image Coding,' SPIE VCIP'91: Visual Communication, Vol. 1605, pp. 242-249,1991 https://doi.org/10.1117/12.50245
  18. J. Smith and S. Chang, 'Tools and techniques for color image retrieval,' In sym. Electronic Imaging: Storage & Retrieval for image and Video Databases IV, Vol. 2670, pp. 426-437, 1996 https://doi.org/10.1117/12.234781