• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제15권8호
• /
• pp.534-546
• /
• 2009

허밍 질의는 사용자가 가사를 모를 때, 유용하고 직관적으로 사용할 수 있는 질의 방법이다. 허영 질의 시스템은 사용자 멜로디를 입력으로 받고, 이 멜로디를 음악 데이터베이스의 모든 멜로디와 비교하며, 가장 유사한 k개의 멜로디를 반환한다. 본 논문에서는 허영 질의 시스템을 위한 허밍 대수를 제안하고, 허밍 대수를 이용하여 실제 허밍 질의처리 시스템인 HummingBase를 설계하고 구현하였다. 기존 유사 검색 방법들을 분석함으로써 10개의 기본 연산자로 구성된 대수를 유도하였다. 제안한 허밍 대수는 허밍 질의 시스템이 확장이 가능하고 모듈화가 되게끔 구현하는데 사용 될 수 있다. 본 논문에서는 두 가지 사례 연구를 통해, 제안한 허밍 대수를 이용하면 기존의 허밍 질의처리 시스템을 쉽고 편리하게 표현할 수 있음을 보인다.

• 대한음성학회지:말소리
• /
• 제44호
• /
• pp.131-143
• /
• 2002

Music query by humming is a challenging problem since the humming signal inevitably contains much variation and inaccuracy. In this paper, we suggest an algorithm for querying a wanted song from music database by humming its melody. In order to suit or adapt the inaccurate peoples humming, a new melody representation technique is proposed. Our algorithm is basically a pitch and duration information-based one and performs fairly well. 85% of correct query rate of the song is achieved for the top 3 matches when tested with 20 songs.

• Journal of Multimedia Information System
• /
• 제4권3호
• /
• pp.99-106
• /
• 2017

This study does a qualitative and quantitative analysis of how music by humming is being used by music educators in the classroom. Music by humming is part division of music information retrieval. In order to define what a music information retrieval system is first I need to define what it is. Berger and Lafferty (1999) define information retrieval as "someone doing a query to a retrieval system, a user begins with an information need. This need is an ideal document- perfect fit for the user, but almost certainly not present in the retrieval system's collection of documents. From this ideal document, the user selects a group of identifying terms. In the context of traditional IR, one could view this group of terms as akin to expanded query." Music Information Retrieval has its background in information systems, data mining, intelligent systems, library science, music history and music theory. Three rounds of surveys using question pro where completed. The study found that there were variances in knowledge, training and level of awareness of query by humming, music information retrieval systems. Those variance relationships where based on music specialty, level that they teach, and age of the respondents.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제8권2호
• /
• pp.723-736
• /
• 2014

This paper proposes a matching engine for a query-by-singing/humming (QbSH) system with polyphonic music files like MP3 files. The pitch sequences extracted from polyphonic recordings may be distorted. So we use chroma-scale representation, pre-processing, compensation, and asymmetric dynamic time warping to reduce the influence of the distortions. From the experiment with 28 hour music DB, the performance of our QbSH system based on polyphonic database is very promising in comparison with the published QbSH system based on monophonic database. It shows 0.725 in MRR(Mean Reciprocal Rank). Our matching engine can be used for the QbSH system based on MIDI DB also and that performance was verified by MIREX 2011.

• 한국컴퓨터정보학회논문지
• /
• 제11권4호
• /
• pp.137-145
• /
• 2006

사람은 음악에서의 선율을 악보의 기보법과 같이 음표의 높이와 음표의 길이가 조합된 형태로서 기억하는 것이 아니라, 전반적인 음표간의 높낮이의 흐름과 음표 사이의 상대적인 지속시간으로 구성된 음조 곡선 형태로 기억한다. 이와 같은 선율의 기억 방식으로 인해 기존 음악 검색 시스템과 같이 건반을 이용한 주선율 입력이나 악보에 기보된 형태로 음악 검색의 질의를 이용하는 방법을 그대로 적용하기 어려운 점이 있다. 이에 본 논문에서는 사용자의 허밍을 질의로 사용하는 음악 검색 시스템에서의 고려 대상들과 기존에 연구된 허밍 질의 기반의 음악 검색 시스템을 살펴본다. 또한 사람이 선율을 기억하는 방식인 상대적인 음표 간 높낮이와 음표 지속 시간을 이용하여 음악 내에 특징 정보를 추출하고 이를 기반으로 허밍 질의와 단음과의 유사도 계산 알고리즘을 제안한다. 제안된 유사도 계산 알고리즘은 선율내의 음높이 차만 가지고 선율의 유사도를 비교하는 경우 발생할 수 있는 문제를 연속된 음간에 길이 차이를 이용하여 해결하였다.

• 한국정보과학회논문지:데이타베이스
• /
• 제34권4호
• /
• pp.283-303
• /
• 2007

최근 방대한 양의 음악데이타를 효율적으로 저장하고 검색하기 위한 방법의 필요성이 증대되고 있다. 현재 음악 데이타 검색에서 가장 일반적으로 쓰이는 방법은 텍스트 기반의 검색 방법이다. 그러나 이러한 방법은 사용자가 키워드를 기억하지 못할 경우 검색이 어려울 뿐만 아니라 키워드와 정확하게 일치하는 정보만 검색해 주기 때문에 유사한 내용을 가진 정보를 검색하기에 부적절하다. 이러한 문제점을 해결하기 위해 본 논문에서는 내용 기반 인덱싱 방법(Content-Based Indexing Method)을 사용하여 사용자가 부정확한 멜로디(Humming)로 질의하였을 경우라도 원하는 음악을 효율적으로 찾아주는 허밍 질의처리 시스템(Query-By-Humming System)을 설계한다. 이를 위해 방대한 음악 데이타베이스에서 한 음악을 대표하는 의미 있는 멜로디를 추출하여 인덱싱하는 방법을 제안한다. 본 논문에서는 이러한 의미 있는 멜로디를 사용자가 자주 질의할 가능성이 높은 멜로디로서 하나의 음악에서 여러 번 나타나는 반면 멜로디와 긴 쉼표 후에 시작되는 쉼표 단위 멜로디로 정의한다. 실험을 통해 사용자들이 이들 멜로디를 자주 질의한다는 가정을 증명하였다. 본 논문은 성능 향상을 위한 3가지 방법을 제안한다. 첫 번째는 검색속도를 높이기 위해 인덱스에 저장할 멜로디를 문자열 형태로 변환한다. 이때 사용되는 문자 변환 방법은 허밍에 포함된 에러를 허용한 방법으로써 검색 결과의 정확도를 높일 수 있다. 두 번째는 사용자가 자주 질의할 가능성이 높은 의미 있는 멜로디를 인덱싱 하여 검색 속도를 높이고자 한다. 이를 위해 신뢰도가 높은 의미 있는 멜로디를 생성하는 빈번 멜로디 추출 알고리즘과 쉼표 단위 멜로디 추출 방법을 제안한다. 세 번째로는 정확도를 향상시키기 위한 3단계 검색 방법을 제안한다. 이는 데이타베이스 접근을 최소화하여 정확한 검색 결과를 얻기 위하여 제안되었다. 또한 기존 허밍 질의 처리 시스템의 대표적인 인덱싱 방법으로 제안되었던 N-gram 방법과의 성능 비교를 통해 본 논문이 제안하는 방법의 성능이 보다 더 향상되었음을 검증하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2007년도 추계학술발표대회
• /
• pp.139-141
• /
• 2007

최근 멀티미디어를 검색하기 위해 메타데이터 기반의 검색 방법에서 컨텐츠 자체를 검색 하려는 연구들이 활발히 진행되고 있다. 특히 음악 검색의 경우 허밍 입력으로 검색을 하려는 QBH(Query By Humming)가 많은 관심을 끌고 있다. 하지만 허밍 데이터는 개인마다 음높이나 박자 정보들이 모두 다르고 숨소리 등의 내재된 오류 정보들이 많아 정확한 검색 결과를 얻기가 쉽지 않다. 허밍 검색의 정확도 향상을 위해서는 음 데이터 추출이나 허밍의 오류 보정, 유사도 측정과 관련된 연구들이 선행되어야 한다. 본 논문에서는 효과적인 멜로디 표현방법에 대해 다양한 실험을 통해 최적의 모델을 제시하려 한다. 방법으로 UDR을 다양한 범위로 나누고 가중치를 달리하는 방법으로 실험을 한 결과 허밍을 그룹으로 분류하는 방법이 정확도를 향상 시키는 것을 확인 하였다.

• 한국멀티미디어학회논문지
• /
• 제10권11호
• /
• pp.1398-1406
• /
• 2007

최근 급격히 증대되고 있는 멀티미디어 데이터를 사용자에게 편하고 효과적으로 제공하는 것은 내용 기반 정보 시스템의 핵심적인 요소이다. 허밍을 이용한 음악 검색 시스템은 사용자가 찾고자 하는 음악의 선율 중 일부분을 직접 허밍으로 입력하여 데이터베이스로부터 음악을 검색할 수 있는 편리한 방법이다. 일반적인 음악 정보 검색 시스템은 고정도의 피치 검출 방법을 필요로 하고 있으나 허밍의 입력으로부터 정확한 피치 정보를 검출하기에는 어려움이 있다. 본 논문에서는 시스템의 성능 향상을 위해 기본적인 고정도 피치 정보 추출을 위해 신뢰도가 적용된 YIN 파라미터의 이용을 제안하고, 이를 적응하여 개발한 허밍을 이용한 음악 정보 검색 시스템에 대해 소개한다. 개발된 시스템은 음고, 음장 정보 및 에너지에 가중치를 두어 연속 DP 매칭을 수행하여 시스템의 성능을 향상시켰다. 성능평가를 위해 실시한 검색 실험결과 기존의 음고 정보 추출방법 중 캡스트럼 기반 다중 피치 검출 방법에 비해 본 논문에서 제안한 신뢰도를 적용한 YIN 피치 검출방법이 1위 결과에서 9.1%, 10위 결과에서는 7.2% 성능 향상을 나타내어 제안한 방법의 유효성을 확인할 수 있었다. 또한 전체 시스템의 성능은 155곡을 대상으로 10위까지의 결과에서 92.8%의 성능을 나타내었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 하계학술대회
• /
• pp.261-263
• /
• 2011

이 논문에서는 쿼리-바이-싱잉/허밍 (Query-by-singing/humming, QbSH) 시스템에서의 거리 함수를 다양화하면서 그 성능 변화를 살펴본다. QbSH는 디지털 음악의 사용이 보편화되면서 음악 검색의 방법으로 많은 연구가 진행되어 왔으며, 많은 경우, dynamic time warping (DTW) 방법으로 사용해서 정합하고 있다. 그러나, DTW에서 사용하는 거리에 대해서는 특별한 관심을 가지지 않았으며, 일반적으로 절대적 차이값이나 그것의 제곱값을 많이 사용해 왔다. 이 논문에서는 여러 가지 거리에 대해서 성능을 측정하였다. 성능측정은 특정한 시스템에서 이루어진 것이기 때문에 일반성을 가지지 않을 수 있으나, DTW에서 사용하는 거리를 기존의 것과 다른 것으로 변화시켜서 성능을 향상시킬 가능성이 있음을 이 논문에서는 밝힌다. 본 논문에서는 10-12초 길이의 1000번의 쿼리 (Query)에 대해서 28시간 정도의 데이터베이스에서 실험한 결과, 논문에서 제안하는 거리가 기존의 절대적 차이값을 사용한 것보다 제1후보 검출 정확도가 10% 가량 상승함을 확인할 수 있었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제7권7호
• /
• pp.1657-1670
• /
• 2013

The increase in the number of music files in smart phone and MP3 player makes it difficult to find the music files which people want. So, Query-by-Singing/Humming (QbSH) systems have been developed to retrieve music from a user's humming or singing without having to know detailed information about the title or singer of song. Most previous researches on QbSH have been conducted using musical instrument digital interface (MIDI) files as reference songs. However, the production of MIDI files is a time-consuming process. In addition, more and more music files are newly published with the development of music market. Consequently, the method of using the more common MPEG-1 audio layer 3 (MP3) files for reference songs is considered as an alternative. However, there is little previous research on QbSH with MP3 files because an MP3 file has a different waveform due to background music and multiple (polyphonic) melodies compared to the humming/singing query. To overcome these problems, we propose a new QbSH method using MP3 files on mobile device. This research is novel in four ways. First, this is the first research on QbSH using MP3 files as reference songs. Second, the start and end positions on the MP3 file to be matched are estimated by using multi-layered perceptron (MLP) prior to performing the matching with humming/singing query file. Third, for more accurate results, four MLPs are used, which produce the start and end positions for dynamic time warping (DTW) matching algorithm, and those for chroma-based DTW algorithm, respectively. Fourth, two matching scores by the DTW and chroma-based DTW algorithms are combined by using PRODUCT rule, through which a higher matching accuracy is obtained. Experimental results with AFA MP3 database show that the accuracy (Top 1 accuracy of 98%, with an MRR of 0.989) of the proposed method is much higher than that of other methods. We also showed the effectiveness of the proposed system on consumer mobile device.