An Efficient Frequent Melody Indexing Method to Improve Performance of Query-By-Humming System

허밍 질의 처리 시스템의 성능 향상을 위한 효율적인 빈번 멜로디 인덱싱 방법

  • 유진희 (연세대학교 컴퓨터과학과) ;
  • 박상현 (연세대학교 컴퓨터과학과)
  • Published : 2007.08.15

Abstract

Recently, the study of efficient way to store and retrieve enormous music data is becoming the one of important issues in the multimedia database. Most general method of MIR (Music Information Retrieval) includes a text-based approach using text information to search a desired music. However, if users did not remember the keyword about the music, it can not give them correct answers. Moreover, since these types of systems are implemented only for exact matching between the query and music data, it can not mine any information on similar music data. Thus, these systems are inappropriate to achieve similarity matching of music data. In order to solve the problem, we propose an Efficient Query-By-Humming System (EQBHS) with a content-based indexing method that efficiently retrieve and store music when a user inquires with his incorrect humming. For the purpose of accelerating query processing in EQBHS, we design indices for significant melodies, which are 1) frequent melodies occurring many times in a single music, on the assumption that users are to hum what they can easily remember and 2) melodies partitioned by rests. In addition, we propose an error tolerated mapping method from a note to a character to make searching efficient, and the frequent melody extraction algorithm. We verified the assumption for frequent melodies by making up questions and compared the performance of the proposed EQBHS with N-gram by executing various experiments with a number of music data.

최근 방대한 양의 음악데이타를 효율적으로 저장하고 검색하기 위한 방법의 필요성이 증대되고 있다. 현재 음악 데이타 검색에서 가장 일반적으로 쓰이는 방법은 텍스트 기반의 검색 방법이다. 그러나 이러한 방법은 사용자가 키워드를 기억하지 못할 경우 검색이 어려울 뿐만 아니라 키워드와 정확하게 일치하는 정보만 검색해 주기 때문에 유사한 내용을 가진 정보를 검색하기에 부적절하다. 이러한 문제점을 해결하기 위해 본 논문에서는 내용 기반 인덱싱 방법(Content-Based Indexing Method)을 사용하여 사용자가 부정확한 멜로디(Humming)로 질의하였을 경우라도 원하는 음악을 효율적으로 찾아주는 허밍 질의처리 시스템(Query-By-Humming System)을 설계한다. 이를 위해 방대한 음악 데이타베이스에서 한 음악을 대표하는 의미 있는 멜로디를 추출하여 인덱싱하는 방법을 제안한다. 본 논문에서는 이러한 의미 있는 멜로디를 사용자가 자주 질의할 가능성이 높은 멜로디로서 하나의 음악에서 여러 번 나타나는 반면 멜로디와 긴 쉼표 후에 시작되는 쉼표 단위 멜로디로 정의한다. 실험을 통해 사용자들이 이들 멜로디를 자주 질의한다는 가정을 증명하였다. 본 논문은 성능 향상을 위한 3가지 방법을 제안한다. 첫 번째는 검색속도를 높이기 위해 인덱스에 저장할 멜로디를 문자열 형태로 변환한다. 이때 사용되는 문자 변환 방법은 허밍에 포함된 에러를 허용한 방법으로써 검색 결과의 정확도를 높일 수 있다. 두 번째는 사용자가 자주 질의할 가능성이 높은 의미 있는 멜로디를 인덱싱 하여 검색 속도를 높이고자 한다. 이를 위해 신뢰도가 높은 의미 있는 멜로디를 생성하는 빈번 멜로디 추출 알고리즘과 쉼표 단위 멜로디 추출 방법을 제안한다. 세 번째로는 정확도를 향상시키기 위한 3단계 검색 방법을 제안한다. 이는 데이타베이스 접근을 최소화하여 정확한 검색 결과를 얻기 위하여 제안되었다. 또한 기존 허밍 질의 처리 시스템의 대표적인 인덱싱 방법으로 제안되었던 N-gram 방법과의 성능 비교를 통해 본 논문이 제안하는 방법의 성능이 보다 더 향상되었음을 검증하였다.

Keywords

References

  1. A. Uitdenbogard, J. Zobel, 'Melodic Matching techniques for Large Music Databases,' In Proc. ACM Multimedia, pp. 57-66, 1999
  2. P. Rolland, G. Raskinis, and J. Ganascia, 'Musical Content-Based Retrieval: An Overview of the Melodiscov Approach and System,' In Proc. ACM Multimedia, pp. 81-84, 1999
  3. A. Ghias, J. Logan, and D. Chamberlin, 'Query By Humming,' In Proc. ACM Multimedia, pp. 231-236, 1995
  4. S. Pauws, 'CubyHum: A Fully Operational Query by Humming System,' In Proc. 3rd International Symposium on Music Information Retrieval (ISMIR), pp. 187-196, 2002
  5. S. Doraisamy, S. Ruger, 'Robust polyphonic music retrieval with n-grams,' Journal of Intelligent Information Systems, 21:1, pp. 53-70, 2002 https://doi.org/10.1023/A:1023553801115
  6. R. L. Kline, E. P. Glinert, 'Approximate matching algorithms for music information retrieval using vocal input,' In Proc. ACM Multimedia, pp. 130-139, 2003
  7. R. B. Dannenberg, W. P. Birmingham, G. Tzanetakis, C. Meek, N. Hu, and B. Pardo, 'The Musart Testbed or Query-By-Humming Evaluation,' In Proc. 4th International Symposium on Music Information Retrieval (ISMIR), pp. 41-50, 2003
  8. N. Kosugi, Y. Nishihara, T. Sakata, M. Yamamuro, and K. Kushima, 'A Practical Query-By-Humming System for a Large Music Database,' In Proc. ACM Multimedia, pp. 333-342, 2000
  9. E. Scheirer, 'Tempo and Beat Analysis of Acoustic Musical Signals,' Acoustic Society of America, 103:1 January, pp. 588-601, 1998 https://doi.org/10.1121/1.421129
  10. A. Pienimaki, 'Indexing Music Databases Using Automatic Extraction of Frequent Phrases,' In Proc. 3rd International Symposium on Music Information Retrieval (ISMIR), pp. 25-30, 2002
  11. J. Downie. 'Evaluating a Simple Approach to Music Information Retrieval: Conceiving Melodic N-Grams as Text,' Thesis, University of Western Ontario, 1999
  12. J. Reiss, J. Aucouturier and M. Sandler, 'Efficient multidimensional searching routines for music information retrieval,' In Proc. 2nd International Symposium on Music Information Retrieval (ISMIR), pp. 163-171, 2001
  13. K. Ioannis, N. Alexandros, Apostolos N. Papadopoulos, M. Yannis, 'Audio Indexing for Efficient Music Information Retrieval,' International Multimedia Modelling Conference, pp. 22-29, 2005
  14. K. Andreas, 'Themefinder: A Web-based Melodic Search Tool, Melodic Similarity: Concepts, Procedures and Applications,' Computing in Musicology, pp. 231-236, 1998
  15. C. Liu, J. Hsu and A. L. P. Chen, 'Efficient Theme and Non-trivial Repeating Pattern Discovering in Music Databases,' In Proc. 15th International Conference on Data Engineering (ICDE '99), pp. 14-21, 1999
  16. 노승민, 박동문, 황인준, '사용자 질의 패턴을 이용한 효율적인 오디오 색인 기법', 한국 정보과학회 논문지, 제31권, 제1호, pp. 143-153, 2004
  17. R. B. Dannenberg, N. Hu, 'Understanding Search Performance in Query-by-humming Systems,' In ISMIR, 2004