MPEG 시스템 스트림상에서 오디오 정보를 이용한 장면 경계 검출 방법

A Scene Boundary Detection Scheme using Audio Information in MPEG System Stream

  • 발행 : 2000.08.15

초록

본 논문에서는 일반적인 영화를 인코딩한 MPEG 형식의 비디오 데이타에 대해 장면과 장면 사이의 경계점에서 나타나는 여러 오디오 특성을 이용하는 새로운 장면 경계 검출 방법을 제안하고 실험을 통해서 그 유용성을 보인다. 일반적인 영상에서 장면 경계 지점에서는 영상의 내용이 크게 바뀜에 따라 오디오 정보도 같이 변화한다는 특성이 있으며, 본 논문에서는 이러한 장면경계에서의 오디오 정보 변화를 각각 급진변화(Radical Change), 점진변화(Gradual Change), 미세변화(Micro Change)로 분류하였으며, 각 변화의 특성을 분석하고 이를 검출하는 알고리즘을 제안하였다. 급진변화는 장면과 장면의 경계점에서 오디오가 음량의 급격한 증감이 발생하고 음색 또한 급격히 달라지는 형태를 취하고 있으며, 점진변화는 긴 시간에 걸쳐서 음량 및 음색이 달라지는 형태를, 미세변화는 음량의 변화없이 일부 음색과 주파수 분포가 달라지는 특성을 가지고 있다. 본 논문에서는 이러한 특성을 토대로 시간축을 따라 진행하는 윈도우를 설정하여 이 윈도우 내에서의 오디오 변화를 추적함으로써 위의 세 가지 형태의 장면 경계를 추출하는 방법을 제안한다. 다양한 영화를 통한 실험에서 실제 샘플로 사용된 영화들에서 가장 많은 부분을 차지하는 급진변화에 대하여 본 논문에서 제안한 방법이 높은 검출율을 얻을 수 있음을 알 수 있었다. 본 논문에서 제안한 오디오 정보를 이용한 장면 경계 검출 방법은 비디오 정보를 이용한 장면 경계 검출과 같이 병행하여 사용함으로써 MPEG 형식의 영상정보에 대한 데이타 베이스 구축에 유용하게 사용될수 있을 것이다.관 주위에 많았다.findings suggest that compounds 6 and 11 are modulating various elements of the host immune response.%로서, carbofuran 단독투여와 carbofuran과 PB 또는 3-MC 투여사이에 대사산물의 종류는 같았으나 생성율에는 큰 차이가 있었다. 이와 같은 결과는 쥐에 carbofuran 투여 후 PB나 3-MC를 투여함으로써 carbofuran의 대사가 빠르게 이루어지고, 주 대사산물 중3-hydroxycarbofuran보다 독성 이 낮은 3-ketocarbofuran으로의 대사가 빠르게 이루어지기 때문에 carbofuran의 독성이 경감되어 쥐가 생존할 수 있는 것으로 판단된다.시장젓갈${\lrcorner}$에는 글루타민산, leucine, alanine, lysine의 4종류, ${\ulcorner}$반찬젓갈${\lrcorner}$에는 글루타민산, leucine, alanine의 3종류, ${\ulcorner}$일본병조림젓갈${\lrcorner}$은 글루타민산이 현저하게 많다.회하였다.ollowed fro all Sullungtang samples from Hanwoo. The results showed that the overall quality of Sullungtang significantly decreased as the parity increased for Hanwoo cows. The Sullungtang

This paper proposes a new scene boundary detection scheme for the MPEG System stream using MPEG Audio information and proves its usefulness by extensive experiments. A scene boundary has a characteristic that the audio as well as video information are changed rapidly. This paper first classifies this scene boundary into three cases ; Radical, Gradual, Micro Changes, with respect to the audio changes. The Radical change has a large-scale changing of decibel value and pitch value at a scene boundary, the Gradual change shows the long-time transition of decibel and pitch values from max to min or vice versa, and the Micro change displays a some change of pitch or frequency distribution without decibel changes. Upon this analysis, a new scene change detection algorithm detecting these three cases is proposed in which a progressive window with a time line is used to trace the changes in the audio information. Some experiments with various movies show that proposed algorithm could produce a high detection ratio for Radical change that is the most popular scene change in the movies, while producing a moderate detection ratio for Gradual and Micro changes. The proposed scene boundary detection scheme could be used to build a database for visual information like MPEG System stream.

키워드

참고문헌

  1. O. Essa, 'Using Prosody in Automatic Segmentation of Speech,' Proceedings of the 36th Annual Conference on Southeast Conference, 1998 https://doi.org/10.1145/275295.275303
  2. R. Gonzalez, and K. Melih, 'Content Based Retrieval of Audio,' Proceedings of the Australian Telecommunication Networks & Applications Conference (ATNAC'96), 1996
  3. B.S. Atal, and L.R. Rabiner, 'A Pattern Recognition Approach to Voiced-Unvoiced-Silence Classification with Applications to Speech Recognition,' IEEE Transactions on ASSP, Vol.24, No.3, 1976
  4. P. Aigrain, P.J.V. Longueville, and P. Lepain, 'Representation - based user Interfaces for the Audio Visual Library of Year 2000,' Proceedings of SPIE Multimedia Computing and Networks 1995, Vol.2417, 1995 https://doi.org/10.1117/12.206061
  5. A. Ghias, J. Logan, D. Chamberlin, and B.C. Smith, 'Query by Humming : Musical Information Retrieval in an Audio Database,' Proceedings of ACM Multimedia'95, 1995
  6. S. Pfeiffer, S. Fischer, and W. Effelsberg, 'Automatic Audio Content Analysis,' Proceedings of the fourth ACM International Multimedia Conference, 1996 https://doi.org/10.1145/244130.244139
  7. S. Fischer, R. Lienhart, and W. Effelsberg, 'Automatic Recognition of Film Genre,' Proceedings of the third International Conference on Multimedia '95 , 1995 https://doi.org/10.1145/217279.215295
  8. ISO/IEC/JTC1/SC29/WG11, Coding of Moving Pictures and associated Audio for Ddigital Storage Media at up to about 1.5Mbit/s - Part3 : Audio, ISO/IEC International Standard 11172-3, Aug. 1993
  9. 정제창, 그림으로 보는 최신 MPEG, 교보문고, Dec. 1995
  10. K.R. Rao, and J.J. Hwang, Techniques & Standards for Image, Video & Audio Coding, Prentice Hall Press, 1996
  11. http://www.mpeg.org/, MPEG Simulation Group
  12. H.C. Zhang, and G.L. Zick, 'Scene Decomposition of MPEG Compressed Video,' Digital Video Compression : Algorithm and Technologies, SPIE Vol.2419, 1995 https://doi.org/10.1117/12.206370
  13. J. Meng, Y. Juan and S.F. Chang, 'Scene Change Detection in a MPEG Compressed Video Sequence, Digital Video Compression : Algorithm and Technologies, SPIE Vol.2419, 1995
  14. J.R. Kender and B.L. Yeo, 'Video Scene Segmentation via Continuous Video Coherence,' Proceedings of Computer Vision and Pattern Recognition, 1998 https://doi.org/10.1109/CVPR.1998.698632
  15. 이숙경, MPEG 비디오 스트림에서 줄거리 특성에 기초한 신 경계 검출 방법, 서강대학교 석사 학위 논문, 1998
  16. H.J. Zhang, Y. Gong, and S.W. Smoliar, 'Automatic Parsing of News Video,' Proceedings of IEEE Conference on Multimedia Computing and Systems, 1994 https://doi.org/10.1109/MMCS.1994.292432
  17. M. Yeung, B.L. Yeo, and B. Lui, 'Extracting Story Units from Long Programs for Video Browsing and Navigation,' Proceedings of International Conference on Multimedia Computing and Systems, 1996 https://doi.org/10.1109/MMCS.1996.534991
  18. A.G. Haupmann, and M.J. Witbrock, 'Story Segmentation and Detection of Commercials in Broadcast News Video, Proceedings of the Advances in Digital Libraries Conference, 1998 https://doi.org/10.1109/ADL.1998.670392
  19. J.S. Boreczky and L.D. Wilcox, 'A Hidden Markov Model Framework for Video Segmentation Using Audio and Image Features,' Proceedings of ICASSP, 1998 https://doi.org/10.1109/ICASSP.1998.679697