The Journal of Korean Institute of Communications and Information Sciences (한국통신학회논문지)

The Korean Institute of Commucations and Information Sciences (한국통신학회)
권호 표지

Automatic Video Genre Classification Method in MPEG compressed domain

MPEG 부호화 영역에서 Video Genre 자동 분류 방법

  • Published : 2002.08.01
Download PDF
⟨ Previous Next ⟩

Abstract

Video summary is one of the tools which can provide the fast and effective browsing for a lengthy video. Video summary consists of many key-frames that could be defined differently depending on the video genre it belongs to. Consequently, the video summary constructed by the uniform manner might lead into inadequate result. Therefore, identifying the video genre is the important first step in generating the meaningful video summary. We propose a new method that can classify the genre of the video data in MPEC compressed bit-stream domain. Since the proposed method operates directly on the compressed bit-stream without decoding the frame, it has merits such as simple calculation and short processing time. In the proposed method, only the visual information is utilized through the spatial-temporal analysis to classify the video genre. Experiments are done for 6 genres of video: Cartoon, commercial, Music Video, News, Sports, and Talk Show. Experimental result shows more than 90% of accuracy in genre classification for the well -structured video data such as Talk Show and Sports.

Video Summary는 길이가 긴 Video를 고속으로 효율적으로 열람할 수 있도록 하는 도구의 하나이다. Video Summary는 대표 프레임(Key-frame)들의 집합으로 볼 수 있는데 대표 프레임은 Video의 Genre에 따라서 달리 정의 및 생성될 수 있다. 즉 모든 Genre의 Video에 대해서 획일적인 방법으로 Summary를 만드는 것은 적절하지 못한 결과를 초래할 수 있다. Video의 Genre를 구별해내는 기술은 위와 같이 효율적인 Video Summary 생성에 유용한 처리 과정이라 할 수 있다. 본 논문에서는 이와 같이 효율적 Video 관리를 위해 MPEG 부호화 영역에서 MPEG Video의 Genre를 분류하는 방법을 제안한다. 제안된 방법은 프레임을 복호하지 않고 비트스트림을 직접 처리하여 기존 방법들에 비해 계산이 비교적 단순하고 처리시간을 단축시키는 장점을 가지고 있다. 또한 제안된 방법은 대부분의 작업을 시각 정보만을 이용하여 수행하며 이 정보들의 시, 공간적 해석을 통해 Genre를 확인하게 된다. 실험은 만화(Cartoon), 광고(Commercial), Music Video, 뉴스, Sports, Talk Show의 6개 Genre Video에 대하여 실행하였다. 실험 결과, 구조가 명확한 Talk Show와 Sports의 경우 90% 이상의 결과를 얻었다.

Keywords

References

  1. Liu Z. Huang, J. Wang, Y. 'Classification TVprograms based on audio infonnation usinghidden Markov model,' IEEE Second Workshop on MuttimedIa Signal Processing, pp. 27-32,1998
  2. Jasinschi, R. S., Louie, J. 'Automadc TVprogram genre classification based on audiopatterns' Proceediings of 27th EuromicroConference, pp. 370-375, 2001
  3. Wei. G, Agnihotri, L, Dimitrova. N. 'TVprogram classification based on face and textprocessing,' IEEE International Conference onMuttimedia and Expo, Vol. 3, pp. 1345-1348,2000 https://doi.org/10.1109/ICME.2000.871015
  4. Roach, M.J., Mason, J.D.; Pawlewski, M. Videogenre classification using dynamics,' Proceedings of IEEE International Conference on Acoustics, Speech, and Signat Processing, Vol.3, pp. 1557-1560, 2001
  5. Ba Tu Truong; Dorai, C. 'Automatic genreidentification for content-based video Categoriza-tion,' Proceedings of 15th International Confer-ence on Pattem Recognition, Vol. 4, pp. 230-233, 2000
  6. Divakaran et al, 'Video Browsing System basedon Compressed Domain Feature Extraction,'IEEE Transactions on Consumer EIectromcs, Vol. 46, No. 3, pp. 637-644, AUG. 2000 https://doi.org/10.1109/30.883424
  7. Boon-Lock Yeo and Bede Liu, 'Rapid Scene Analysis on Compressed Video,' IEEE Trans-action on Circuit and systems for VideoTechnohgy, Vol. 5, No. 6, DEC. 1995
  8. W. H. Press, B. P. Flannery, S. A. Teukolsky,W.T. Vetterling, Numerical Recipes in C, TheArt of Scientific Computing, Cambridge Univ.Press, 1988
  9. ISO/IEC 11172-2, 'Information technology -generic coding of moving pictures andassociated audio for digital storage media at upto aboutl.5mbit/s - part - 2: Video,' 1993
  10. Yu. Zhong, Hongjiang. Zhang, et al, 'Automa-tic Caption Localization in Compressed Video,'IEEE Transaction on Pattern Analysis andMachine Intelligence, Vol. 22, No. 4, pp.385-392, APR. 2000 https://doi.org/10.1109/34.845381