Shot Boundary Detection of Video Sequence Using Hierarchical Hidden Markov Models

계층적 은닉 마코프 모델을 이용한 비디오 시퀀스의 셧 경계 검출

  • 박종현 (목포대학교 공과대학 전자공학과 영상 및 비디오 처리 연구실) ;
  • 조완현 (전남대학교 자연과학대학 통계학과) ;
  • 박순영 (목포대학교 공과대학 전자공학과 영상 및 비디오 처리 연구실)
  • Published : 2002.08.01

Abstract

In this paper, we present a histogram and moment-based vidoe scencd change detection technique using hierarchical Hidden Markov Models(HMMs). The proposed method extracts histograms from a low-frequency subband and moments of edge components from high-frequency subbands of wavelet transformed images. Then each HMM is trained by using histogram difference and directional moment difference, respectively, extracted from manually labeled video. The video segmentation process consists of two steps. A histogram-based HMM is first used to segment the input video sequence into three categories: shot, cut, gradual scene changes. In the second stage, a moment-based HMM is used to further segment the gradual changes into a fade and a dissolve. The experimental results show that the proposed technique is more effective in partitioning video frames than the previous threshold-based methods.

본 논문에서는 계층적 은닉 마코프 모델을 이용한 히스토그램과 모우멘트 기반의 동영상 장면전환 검출 방법을 제안한다. 제안된 방법은 웨이블릿 변환된 영상의 저주파 부 밴드로부터 히스토그램을 추출하며, 고주파 부 밴드로부터는 방향성 모우멘트를 추출한다. 그리고 수동적으로 분할된 비디오로부터 추출한 히스토그램 차와 모우멘트 차를 관측값으로 사용하여 은닉 마코프 모델을 학습한다. 비디오 분할 과정은 두 단계로 구성되는데, 먼저 히스토그램 기반의 은닉 마코프 모델은 입력된 비디오에 대하여 셧, 컷, 그리고 점진적인 장면전환의 3개의 범주로 분할한다. 그리고 두 번째 단계에서는 모우멘트 기반의 은닉 마코프 모델을 사용하여 점진적인 장면 전환을 더 세밀하게 페이드와 디졸브로 분할한다. 실험결과 제안된 방법은 기존의 경계값 기반의 방법보다 더 효율적으로 동영상의 셧 경계를 분할하였음을 볼 수 있었다.

Keywords

References

  1. N. V. Patel, I. K. Sethi, 'Video Shot Detectionand Characterization for Video Databases,'Pattem Recognition, pp. 583-592, 1997
  2. A. Hampapur, R. Jain, and T. Weymouth,'Digital Video Indexing in Multimedia Systems,' In Proc. of the Workshop on Indexingand Reuse in Muttimedia Sy stems. AAAI, Aug.1994
  3. Hong Heather Yu, Wayne Wolf, 'A Hierarchicalultiresolution Video Shot Tiansition DetectionScheme,' Computer Vision and Image Under-standing, vol. 75, pp. 196-213, 1999 https://doi.org/10.1006/cviu.1999.0773
  4. 곽영경, 최윤석, 고성제, 'MPEG 비디오의 특성추출을 이용한 효과적인 장면전환 검출,' 한국통신학회논문지, Vol. 24, No. 8B, pp. 1567-1576,1999
  5. Y. Tonomura, K. Oisuji, A. Atsu, and Y.Ohba, 'Stored Video Handling Techniques,' MTT Rev. 5, pp. 60-82, 1993
  6. J. Boreczky, L. Rowe, 'Comparison of VideoShot Boundary Detection Techniques,' InProceedings, SPIE '96, 1996
  7. Phillips. M., Wolf, W. 'Video SegmentationTechniques for New,' In MuItimedia Storageand Archiving Systems, SPIE, pp. 243-251,1996
  8. Shahraray, B., 'Scene Change Detection andContent-Based Sampling Compression: AIgori-thins and Technologies,' In Proceedings, SPIE,pp. 2-13, Feb. 1995
  9. Changliang Wang, Kap Luk Chan, and Stan Z.Li, 'Spatial-Frequency Analysis for Color ImageIndexing and Retrieval,' ICARCV '98, pp.1461-1465, 1998
  10. Ferdinand van der Heijden, Image BasedMeasurement Systems, John Wiley & Son
  11. L. R. Rabiner, B. H. Juang, 'An Introductionto Hidden Markov Models,' IEEE ASSP Mag.,vol. 3, no. 1, pp. 4-16, 1986 https://doi.org/10.1109/MASSP.1986.1165342
  12. L. R. Rabiner, 'A Tutorial on Hidden MarkovModels and Selected Applications in SpeechRecognition,' Proc. IEEE, vol. 77, pp. 257-285, Feb. 1989 https://doi.org/10.1109/5.18626
  13. Ingrid Daubechies, Ten Lectures on Wavelets,CBMS-NSF Regional Conference Series inApplied Mathematics, 1992