Representative Melodies Retrieval using Waveform and FFT Analysis of Audio

오디오의 파형과 FFT 분석을 이용한 대표 선율 검색

  • Published : 2007.12.15

Abstract

Recently, we extract the representative melody of the music and index the music to reduce searching time at the content-based music retrieval system. The existing study has used MIDI data to extract a representative melody but it has a weak point that can use only MIDI data. Therefore, this paper proposes a representative melody retrieval method that can be use at all audio file format and uses digital signal processing. First, we use Fast Fourier Transform (FFT) and find the tempo and node for the representative melody retrieval. And we measure the frequency of high value that appears from PCM Data of each node. The point which the high value is gathering most is the starting point of a representative melody and an eight node from the starting point is a representative melody section of the audio data. To verity the performance of the method, we chose a thousand of the song and did the experiment to extract a representative melody from the song. In result, the accuracy of the extractive representative melody was 79.5% among the 737 songs which was found tempo.

최근 내용 기반 음악 검색 시스템에서는 사용자의 응답 시간을 단축시키기 위해 음악의 대표성을 갖는 선율을 추출하여 색인하고, 검색 시 이를 사용한다. 기존 연구에서는 미디(midi) 데이타를 이용하여 대표 선율을 추출하는 방법이 제안되었으나, 미디 데이타에 한정되는 단점이 있었다. 따라서 본 논문에서는 디지털 신호처리를 이용하여 모든 오디오 파일 포맷에 적용 가능한 대표 선율 검색을 제안한다. 대표 선율 검색을 위해 FFT(Fast Fourier Transform)을 이용하여 박자와 마디를 찾고 각 마디들의 PCM 데이타로부터 높은 수치가 나타나는 빈도를 측정한다. 이때 높은 수치들이 가장 많이 뭉쳐 있는 영역에서 여덟 마디 간격이 오디오 데이타의 대표 선율 영역이다. 제안 방법의 유효성을 검증하기 위한 실험으로 총 1000곡을 선택하여 대표 선율을 추출하였고, 그 결과 템포를 찾아낸 737곡 중 79.5%의 정확성을 보였다.

Keywords

References

  1. 윤원중, 이강규, 박규식, '내용기반 오디오 장르 분류를 위한 신호 처리 연구', 전자공학회논문지, pp. 271-278, 2004
  2. 김성탁, 김상호, 김회린, 최지훈, 이한규, 홍진우, '음악 요약 생성에 관한 연구', 방송공학회논문지, pp. 3-14, 2006
  3. 윤원중, 이강규, 박규식, 'Multi-feature Clustering을 이용한 강인한 내용 기반 음악 장르 분류 시스템에 관한 연구', 전자공학회논문지, pp. 115-120, 2005
  4. 구경이, 임상혁, 이재헌, 김유성, '내용 기반 음악 정보 검색을 위한 음악 구성 형식을 고려한 대표 선율의 추출 및 색인', 정보처리학회논문지, 제11-D권, 제3호, 2004
  5. 김정양, 이종록, 김유성, '누구나 작곡할 수 있는 작곡법', 엘맨출판사, 2000
  6. 박상준, '기계 학습을 이용한 내용 기반의 음악 장르 분류', 공학석사학위논문, 서울대학교, 2002
  7. E. Wold, T. Blum, D. Keislar, and J. Wheaton, 'Content-based classification, search and retrieval of audio,' IEEE Multimedia, 3(2), 1996
  8. George Tzanetakis and Perry Cook, 'Musical genre classification of audio signals,' IEEE Transaction on Speech and Audio Processing 10, no.5, 293-302, 2002 https://doi.org/10.1109/TSA.2002.800560
  9. A. Ghias, J. Logan, D. Chamberlin, and B. Smith, 'Query by Humming: Musical Information Retrieval in and Audio Database,' ACM Multimedia, pp. 213-236, 1995
  10. 구경이, 신창환, 김유성, '내용 기반 음악 정보 검색에서 주제 선율의 변화 패턴을 이용한 색인 및 검색 기법', 정보과학회논문지, pp. 507-520, 2003
  11. C.Liu, J, Hsu, and A.L.P.chen, 'Efficient Theme and Non-trivial Repeating Pattern Discovering in Music Databases,' The Proceedings of the 15th International Conference on Data Engineering, pp. 14-21, 1999
  12. Yong-Kyoon Kang, Kyong-I Ku, and Yoo-Sung Kim, 'Extracting Theme Melodies by Using a Graphical Clustering Algorithm for Content-based Music Information Retrieval,' Lecture Notes in Computer Science, Springer-Verlag, pp. 84-97, 2001 https://doi.org/10.1007/3-540-44803-9_8
  13. 이재원, 조찬윤, 김상균, '시간 지연 신경망을 이용한 음악 장르 분류', 멀티미디어학회논문지, 제4권, 제5호, pp. 414-422, 2001