• Journal of KIISE:Computing Practices and Letters
• /
• v.15 no.8
• /
• pp.534-546
• /
• 2009

Query by humming is an effective and intuitive querying mechanism when a user wants to find a song without knowing lyrics. The query by humming system takes a user-hummed melody as input, compares it with melodies in a music database, and returns top-k similar melodies to the input. In this paper, we propose a novel algebra for query by humming, and design and implement a real query by humming system called HummingBase by exploiting the algebra. By analyzing existing similarity search techniques, we derive 10 core operators for the algebra. By using the well-defined algebra, we can easily implement such a system in a extensible and modular way. With two case studies, we show that the proposed algebra can easily represent the query processing processes of existing query-by-humming systems.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.10c
• /
• pp.183-188
• /
• 2006

허밍을 통한 유사 검색 질의가 주어질 때 효과적으로 음악 데이터베이스를 검색하는 시스템에 대한 연구는 다양한 방향으로 진행되어 왔다. 최근에는 음악 데이터와 허밍 질의를 시계열 데이터로 보고 시계열 데이터 유사 검색과 관련하여 제안되어 왔던 여러 가지 거리 척도(distance measure)나 인덱싱 기법등을 적용하여 효과적으로 질의를 처리하려는 시도가 계속 되고 있다. 허밍 질의의 특성을 고려한 균일 스케일링(Uniform Scaling)을 사용하여 효과적인 유사 검색을 하는 방법은 가장 최근 제시된 방법 중 하나이다. 본 논문에서는 허밍을 통한 유사 검색 시스템인 Humming BIRD(Humming Based similaR miDi music retrieval system)를 제안하고 구현하였다. 슬라이딩 윈도우를 사용하여 음악의 임의의 부분에 대한 허밍 질의를 처리할 수 있도록 하였으며 효율적인 검색을 위해 중심을 일치시킨(center-aligned) 균일 스케일링을 제안하고 이 거리의 하한을 계산하는 하계 함수를 사용하여 탐색 공간(search space)을 효과적으로 줄여 더 빠르고 효과적인 유사 검색을 가능하도록 하였으며 실험을 통해 중심을 일치시킨된 균일 스케일링이 이전과 같은 검색 결과를 얻으면서도 효과적으로 검색함을 탐색 공간을 줄이는 가지치기 성능을 비교함으로써 보였다.

• Journal of the Korea Society of Computer and Information
• /
• v.11 no.4 s.42
• /
• pp.137-145
• /
• 2006

A user remembers a melody as not the combination of pitch and duration which is written in score but the contour which is composed of the relative pitch and duration. Because of the way of remembering a melody the previous Music Information Retrieval Systems which uses keyboard Playing or score as the main input melody are not easily acceptable in Query By Humming Systems. In this paper, we mention about the considerable checkpoints for Query By Humming System and previous researches. And we propose the feature extraction which is similar with the way of remembering a melody and similarity computation algorithms between melody in humming and melody in music. The proposed similarity computation algorithms solves the problem which can be happened when only uses the relative pitches by using relative durations.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2008.11a
• /
• pp.157-160
• /
• 2008

이 논문은 허밍질의의 정확도 향상에 마이크와 같은 장비에 특성, 허밍을 하는 사용자의 숙련도가 어느 정도 반영되는지 알아본다. 연구의 결과 검색의 정확도는 마이크 성능에 독립적임을 보였고, 사용자가 노래를 아는 정도와 노래를 부른 만족도가 검색 순위를 상승시키는데 미치는 영향이 없거나 미미함을 실험결과를 통해 보다 이와 같은 실험 결과들은 허밍질의 검색의 정확도 향상을 위한 연구에서 참고자료로 사용될 것이다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2007.11a
• /
• pp.139-141
• /
• 2007

최근 멀티미디어를 검색하기 위해 메타데이터 기반의 검색 방법에서 컨텐츠 자체를 검색 하려는 연구들이 활발히 진행되고 있다. 특히 음악 검색의 경우 허밍 입력으로 검색을 하려는 QBH(Query By Humming)가 많은 관심을 끌고 있다. 하지만 허밍 데이터는 개인마다 음높이나 박자 정보들이 모두 다르고 숨소리 등의 내재된 오류 정보들이 많아 정확한 검색 결과를 얻기가 쉽지 않다. 허밍 검색의 정확도 향상을 위해서는 음 데이터 추출이나 허밍의 오류 보정, 유사도 측정과 관련된 연구들이 선행되어야 한다. 본 논문에서는 효과적인 멜로디 표현방법에 대해 다양한 실험을 통해 최적의 모델을 제시하려 한다. 방법으로 UDR을 다양한 범위로 나누고 가중치를 달리하는 방법으로 실험을 한 결과 허밍을 그룹으로 분류하는 방법이 정확도를 향상 시키는 것을 확인 하였다.

• Proceedings of the Acoustical Society of Korea Conference
• /
• autumn
• /
• pp.147-150
• /
• 2004

허밍에 의한 고정도의 오디오 정보 검색 시스템을 구현하기 위해서는 시스템 측에서 발생 가능한 문제점과 유저 측에서 발생 가능한 문제점을 함께 고려한 해결 기법이 요구된다. 유저 측에서는 허밍시 자신의 애매한 기억에 기인한 음표의 삽입이나 탈락과 같은 가창실수, 허밍 도중에 음정 및 박자의 불안정한 변화, 같은 곡을 노래 부를지라도 개인차에 의해 상이한 음정과 템포 등이 발생한다. 또한 시스템 측에서 발생 가능한 사항으로써, 비록 허밍질의가 완벽하더라도 입력 허밍 신호를 멜로디 매칭에 이용되는 정확한 특징량의 추출 및 음악 표기로의 변환이 어렵다는 점이다. 종래의 오디오 정보 검색 시스템에서는 이러한 문제점을 해결하기 위해 다양한 멜로디 표현법과 매칭 방법이 제안되고 있으나, 성능 면에서는 아직 만족할 만한 결과를 얻지 못하고 있다. 따라서 이러한 문제점들을 해결하기 위해서 본 논문에서는 허밍 멜로디의 효과적인 표현방법과 시스템 및 유저 측에서 발생 가능한 오류에 강건한 멜로디 매칭 방법을 제안한다.

• Journal of KIISE:Databases
• /
• v.34 no.5
• /
• pp.409-419
• /
• 2007

Database community focuses on the similar music retrieval systems for music database when a humming query is given. One of the approaches is converting the midi data to time series, building their indices and performing the similarity search on them. Queries based on humming can be transformed to time series by using the known pitch detection algorithms. The recently suggested algorithm, scaled and warped matching, is based on dynamic time warping and uniform scaling. This paper proposes Humming BIRD(Humming Based sImilaR mini music retrieval system) using sliding window and center-aligned scaled and warped matching. Center-aligned scaled and warped matching is a mixed distance measure of center-aligned uniform scaling and time warping. The newly proposed measure gives tighter lower bound than previous ones which results in reduced search space. The empirical results show the superiority of this algorithm comparing the pruning power while it returns the same results.

• Journal of KIISE:Databases
• /
• v.34 no.4
• /
• pp.283-303
• /
• 2007

Recently, the study of efficient way to store and retrieve enormous music data is becoming the one of important issues in the multimedia database. Most general method of MIR (Music Information Retrieval) includes a text-based approach using text information to search a desired music. However, if users did not remember the keyword about the music, it can not give them correct answers. Moreover, since these types of systems are implemented only for exact matching between the query and music data, it can not mine any information on similar music data. Thus, these systems are inappropriate to achieve similarity matching of music data. In order to solve the problem, we propose an Efficient Query-By-Humming System (EQBHS) with a content-based indexing method that efficiently retrieve and store music when a user inquires with his incorrect humming. For the purpose of accelerating query processing in EQBHS, we design indices for significant melodies, which are 1) frequent melodies occurring many times in a single music, on the assumption that users are to hum what they can easily remember and 2) melodies partitioned by rests. In addition, we propose an error tolerated mapping method from a note to a character to make searching efficient, and the frequent melody extraction algorithm. We verified the assumption for frequent melodies by making up questions and compared the performance of the proposed EQBHS with N-gram by executing various experiments with a number of music data.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.07a
• /
• pp.215-218
• /
• 2012

반도체 기술 및 방송통신기술의 발달에 따라 소비자는 복잡하고 다양한 서비스 환경을 접하고 있으며, 개인당 소비되는 콘텐츠의 양은 기하급수적으로 증가 되고 있다. 스마트폰과 같은 멀티미디어기기의 발전으로 기존의 단순 시청에서 벗어나 멀티미디어 검색과 추천과 같은 다양한 서비스들이 제공되고 있으며, 웹과 인터넷을 기반으로 하는 정보기술은 모바일 전자 기술의 발달에 따라 데스크톱이라는 공간적인 한계를 벗어나 유기적인 유비쿼터스 환경으로 변화하고 있다. 이와 같이 소비자들이 접하는 멀티미디어의 양이 증가됨에 따라, 멀티미디어를 검색하기 위한 다양 서비스들이 사업자들을 통해 제공되고 있다. 그러나 사업자들이 구축한 서버들은 공유되어지지 못하며, 공유되더라도 공유하기 위한 방법이 제각각이다. 이에 MPEG에서는 멀티미디어 콘텐츠를 검색하기 위한 질의 구조를 표준화 하여, 서비스 제공자 및 소비자들에게 유용한 검색 인터페이스를 제공하였다. 이에 본 논문에서는 MPEG Query Format에 기반 하여 임베디드 환경에서 광대한 양의 음악 콘텐츠에서 사용자가 원하는 허밍 질의를 편리하게 검색하기 위한 방법을 성계 및 구현한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.04a
• /
• pp.647-649
• /
• 2003

최근 들어 디지털 음악 컨텐츠의 사용량이 증가하면서 데이터베이스로부터 다양한 포맷의 음악 컨텐츠를 효과적으로 찾을 수 있는 음악 검색 시스템의 필요성이 증가했다. 본 논문에서는 사용자들이 자주 질의하는 멜로디를 이용하여 효율적인 검색을 하기 위한 기법을 제안한다. 사용자의 허밍이나 오선지를 통한 질의로부터 추출된 음높이와 음의 길이를 분석하여 UDR과 LSR 스트링으로 변환하고 자주 검색되는 멜로디의 관리를 통해 검색의 성능을 향상시켰다. 또한 XLM을 사용하여 음악 정보를 구조화하는 새로운 데이터 모델을 제안하고 음높이. 음의 길이 , 리듬 등의 음악 특징 정보를 이용한 복합 질의를 통하여 제안한 시스템의 성능 평가를 하였다.