Error-Tolerant Music Information Retrieval Method Using Query-by-Humming

허밍 질의를 이용한 오류에 강한 악곡 정보 검색 기법

  • Published : 2004.08.01

Abstract

This paper describes a music information retrieval system which uses humming as the key for retrieval Humming is an easy way for the user to input a melody. However, there are several problems with humming that degrade the retrieval of information. One problem is a human factor. Sometimes people do not sing accurately, especially if they are inexperienced or unaccompanied. Another problem arises from signal processing. Therefore, a music information retrieval method should be sufficiently robust to surmount various humming errors and signal processing problems. A retrieval system has to extract pitch from the user's humming. However pitch extraction is not perfect. It often captures half or double pitches. even if the extraction algorithms take the continuity of the pitch into account. Considering these problems. we propose a system that takes multiple pitch candidates into account. In addition to the frequencies of the pitch candidates. the confidence measures obtained from their powers are taken into consideration as well. We also propose the use of an algorithm with three dimensions that is an extension of the conventional DP algorithm, so that multiple pitch candidates can be treated. Moreover in the proposed algorithm. DP paths are changed dynamically to take deltaPitches and IOIratios of input and reference notes into account in order to treat notes being split or unified. We carried out an evaluation experiment to compare the proposed system with a conventional system. From the experiment. the proposed method gave better retrieval performance than the conventional system.

본고에서는 악곡정보 검색을 위한 검색키로써 허밍을 이용한 검색 방법에 관한 내용을 기술하였다. 고정도의 악곡 검색 시스템은 사용자의 불안정한 음정 및 템포 그리고 애매한 기억에 의한 음표의 삽입 및 탈락에 대응이 가능해야 한다. 또한 입력된 음향신호로부터 검색에 필요한 정확한 특징량의 추출과 효과적인 멜로디 표현 기법이 요구된다. 일반적으로 사용자의 허밍으로부터 음고 정보를 얻기 위해 입력된 음향신호로부터 피치정보를 추출하지만, 피치 추출 알고리즘은 이러한 입력 허밍으로부터 때때로 하모닉 피치를 추출한다. 이러한 문제점을 고려하여, 본 논문에서는 음고 정보의 특징량으로 복수 피치 후보를 고려한 방법을 제안한다. 게다가 복수 피치 후보에 신뢰도라는 파라미터를 도입하여 신뢰도가 높은 피치후보의 선택 가능성을 높였다. 검색엔진에서는 제안하는 복수 피치 후보의 수용을 위해 DP알고리즘을 3차원으로 확장하였다. 또한 제안하는 알고리즘은 DP패스에 따라 음표의 삽입/탈락에 다이내믹하게 대응이 가능하도록 멜로디 표현 방법을 변경하였다. 성능 평가를 위해 종래 기법과의 비교 실험 결과 보다 높은 검색 결과를 얻었다.

Keywords

References

  1. Multimedia Information Retrieval and Management: Technological Fundamentals and Applications D. Feng;W.C.Siu;H. Zhang
  2. Information retrieval Techniques for Speech Applications (LNCS 2273) Anni R.Coden;Eric W. brown;Savitha Srinivasan
  3. Proc. Int. Computer Music Conference Melody Retrieval with Humming T. Kageyama;K. Mochizuki;Y. Takashima
  4. Proc. ACM Multimedia Query By Humming: Musical Information Retrieval in an Audio Database A. Ghias;J. Logan;D. Chamberlin;B. C. Smith
  5. Proc. ICME'98 WWW-based Music Retrieval System Tomonari Sonoda;Makataka Goto;Yoichi Muraoka
  6. IEEE Workshop on Applications of Signal Processing to Audio and Acoustics Pitch Estimation Using Multiple Independent Time-Frequency Windows A. Klapuri
  7. Proc. International Symposium on Music Information Retrieval Folk Music Classification Using Hidden Markov Models Chai Wei;Vercoe Barry
  8. Proc. ISMIR 2002 CubyHum: A Fully Operational Query by Humming System S. Pauws
  9. 대한 음성학회 학회지, 말소리 v.44 허밍 운율정보를 이용한 곡목 검색 기술 이지연;한민수
  10. 데이타베이스 연구회지 v.19 no.3 대용량 오디오 데이터베이스에서의 효율적인 오디오 검색 기법 노승민;이수철;황인준
  11. In the ninth ACM Multimedia Conference (Demo paper) Super MBox: An Efficient/Effective Content-based Music Retrieval System J. S. Roger Jang;H. Lee;J. Chen
  12. ACM Multimedia 2000 A Practical Query-By-Humming System for a Large Music Database Naoko Kosugi;Yuichi Nishihara;Tetsuo Sakata;Masashi Yamamuro;Kazuhiko Kushima
  13. MiDiLiB University of Bonn
  14. Proc. ACM Digital Libraries Toward the digital music library: tune retrieval from acoustic input R. J. McNab;L. A. Smith;I. H. Witten;C. L. Henderson;S. J. Sunningham
  15. Proc. of the 19th Australasian Computer Science Conference Signal Processing for Melody Transcription Rodger J. McNab;Lloyd A. Smith;lan H. Witten
  16. LNCS v.3094 Error Tolerant Melody Matching Method in Music Information Retrieval Sung-Phil Heo;Motoyuki Suzuki;Akinori Ito;Shozo Makino;Hyun-Yeol Chung
  17. Fundamentals of Speech Recognition L. R. Rabiner;B. H. Juang
  18. Trans. IEICE v.73-A no.9 Extraction of Fundamental Frequency Using Temporal Continuity over an Input Speech Toshihiko Shirokaze;Shozo Makino;Ken'iti Kido
  19. Proc. ISMIR 2003 Three Dimensional Continous DP Algorithm for Multiple Pitch Candidates in Music Information Retrieval System Sung-Phil Heo;Motoyuki Suzuki;Akinori Ito;Shozo Makino
  20. Proc. ISMIR 2002 Measuring the Similarity of Rhythmic Patterns J. Paulus;A. Klapuri