• 한국멀티미디어학회논문지
• /
• 제12권11호
• /
• pp.1581-1592
• /
• 2009

현재 우리는 언제 어디에서나 다양한 음악을 들을 수 있다. 길거리나 카페 등에서 음악을 듣고 그 노래를 다시 듣고 싶어 찾으려 할 때 해당 음악의 가수나 노래 제목을 모른다면 그 음악을 찾을 수 없는 것이 현재 음악 검색 방식의 단점이다. 이러한 문제를 해결하기 위하여 본 연구에서는 음원의 음 정보를 추출하여 데이터베이스를 구축하고 찾고자 하는 음악의 허밍을 녹음하거나 듣고 있는 음악을 직접 녹음하여 검색하는 방법 및 전자 악기를 연주하여 검색하는 내용 기반의 검색 방법을 연구하였다. 본 연구에서는 기존의 많은 내용 기반 음원 검색 논문, 특허 및 시스템을 분석하였으며, 이를 기반으로 내용 기반 검색 방법을 연구하였다. 즉, 허밍과 음악을 직접 녹음하여 검색하는 경우 음과 음원을 고속 푸리에 변환하여 주파수 정보를 추출하였으며, 악기를 연주하여 검색하는 경우 미디 파일을 사용하였다. 그리고 동적 정합 매칭방식을 사용하여, 매칭 시 음원과 입력 음간의 길이차를 극복하였다.

• 한국정보과학회논문지:데이타베이스
• /
• 제34권5호
• /
• pp.409-419
• /
• 2007

허밍을 통한 유사 검색 질의가 주어질 때 효과적으로 음악 데이타베이스를 검색하는 시스템에 대한 연구는 다양한 방향으로 진행되어 왔다. 최근에는 음악 데이타베이스와 허밍 질의를 시계열 데이터로 변환하여 시계열 데이타의 유사 검색과 관련하여 제안되어 왔던 여러 가지 거리 척도(distance measure)나 인덱싱 기법등을 적용하여 효과적으로 질의를 처리하려는 시도가 계속 되고 있다. 허밍 질의의 특성을 고려하여 균일 스케일링(Uniform Scaling)과 동적 프로그래밍을 사용한 타임 워핑(Dynamic Time Warping)을 함께 고려한 스케일드 앤 워프트 매칭(Scaled and Warped Matching) 거리를 사용하여 효과적인 유사 검색을 하는 방법은 가장 최근 제시된 방법 중 하나이다. 본 논문에서는 허밍을 통한 유사 검색 시스템인 Humming BIRD(Humming Based sImilaR miDimusic retrieval system)를 제안하고 구현하였다. 슬라이딩 윈도우를 사용하여 음악의 임의의 부분에 대한 허밍 질의를 처리할 수 있도록 하였으며 더 효율적으로 검색하기 위해 이전의 균일 스케일링을 변형하여 중심을 일치시킨(center-aligned) 균일 스케일링을 제안하고 이와 타임 워핑을 결합한 형태의 스케일드 앤워프트 매칭을 제안하였다. 이 거리의 좀 더 타이트한 하한을 계산하는 하계 함수를 사용하여 탐색 공간(search space)을 효과적으로 줄여 더 빠르고 효과적인 유사 검색을 가능하도록 하였다. 마지막으로 실험을 통해 개선된 스케일드 앤 워프트 매칭이 이전에 비해 같은 검객 결과를 얻으면서도 효과적으로 검색함을 탐색 공간을 줄이는 가지치기 성능을 비교함으로써 보였다.

• 한국음향학회지
• /
• 제23권6호
• /
• pp.488-496
• /
• 2004

본고에서는 악곡정보 검색을 위한 검색키로써 허밍을 이용한 검색 방법에 관한 내용을 기술하였다. 고정도의 악곡 검색 시스템은 사용자의 불안정한 음정 및 템포 그리고 애매한 기억에 의한 음표의 삽입 및 탈락에 대응이 가능해야 한다. 또한 입력된 음향신호로부터 검색에 필요한 정확한 특징량의 추출과 효과적인 멜로디 표현 기법이 요구된다. 일반적으로 사용자의 허밍으로부터 음고 정보를 얻기 위해 입력된 음향신호로부터 피치정보를 추출하지만, 피치 추출 알고리즘은 이러한 입력 허밍으로부터 때때로 하모닉 피치를 추출한다. 이러한 문제점을 고려하여, 본 논문에서는 음고 정보의 특징량으로 복수 피치 후보를 고려한 방법을 제안한다. 게다가 복수 피치 후보에 신뢰도라는 파라미터를 도입하여 신뢰도가 높은 피치후보의 선택 가능성을 높였다. 검색엔진에서는 제안하는 복수 피치 후보의 수용을 위해 DP알고리즘을 3차원으로 확장하였다. 또한 제안하는 알고리즘은 DP패스에 따라 음표의 삽입/탈락에 다이내믹하게 대응이 가능하도록 멜로디 표현 방법을 변경하였다. 성능 평가를 위해 종래 기법과의 비교 실험 결과 보다 높은 검색 결과를 얻었다.

• 전기학회논문지
• /
• 제59권2호
• /
• pp.445-451
• /
• 2010

This paper presents a threshold adaptation based voice query transcription scheme for music information retrieval. The proposed scheme analyzes monophonic voice signal and generates its transcription for diverse music retrieval applications. For accurate transcription, we propose several advanced features including (i) Energetic Feature eXtractor (EFX) for onset, peak, and transient area detection; (ii) Modified Windowed Average Energy (MWAE) for defining multiple small but coherent windows with local threshold values as offset detector; and finally (iii) Circular Average Magnitude Difference Function (CAMDF) for accurate acquisition of fundamental frequency (F0) of each frame. In order to evaluate the performance of our proposed scheme, we implemented a prototype music transcription system called AMT2 (Automatic Music Transcriber version 2) and carried out various experiments. In the experiment, we used QBSH corpus [1], adapted in MIREX 2006 contest data set. Experimental result shows that our proposed scheme can improve the transcription performance.

• 방송공학회논문지
• /
• 제9권1호
• /
• pp.2-7
• /
• 2004

본 논문에서는 내용 기반 음악 정보 검색에 MPEG-7에 정의된 오디오 서술자를 적용하는 방법을 제안한다. 특히 Pitch 정보와 timbral 특징들은 음색 구분을 용이하게 할 수 있어 음악 검색뿐만 아니라 음악 장르 분류 또는 QBH(Query By Humming)에 이용 될 수 있다. 이러한 방법을 통하여 오디오 신호의 대표적인 특성을 표현 할 수 있는 특징벡터를 구성 할 수 있다면 추후에 멀티모달 시스템을 이용한 검색 알고리즘에도 오디오 특징으로 이용 될 수 있을 것이다. 본 논문에서는 방송 시스템에 적용하기 위해 영화나 드라마의 배경음악에 해당하는 O.S.T 앨범으로 검색 범위를 제한하였다. 즉, 사용자가 임의로 검색을 요청한 시점에서 비디오 컨텐츠로부터 추출한 임의의 오디오 클립만을 이용하여 그 컨텐츠 전체의 O.S.T 앨범 내에서 음악을 검색할 수 있도록 하였다. 오디오 특징 백터를 구성하기 위해 필요한 MPEG-7 오디오 서술자의 조합 방법을 제안하고 distance 또는 ratio 계산 방식을 통해 성능 향상을 추구하였다. 또한 reference 음악의 템플릿 구성 방식의 변화를 통해 성능 향상을 추구하였다. Classifier로 k-NN 방식을 사용하여 성능평가를 수행한 결과 timbral spectral feature 보다는 pitch 정보를 이용한 특징이 우수한 성능을 보였고 vector distance 방식으로는 특징들의 비율을 이용한 IFCR(Intra-Feature Component Ratio) 방식이 ED(Euclidean Distance) 방식보다 우수한 성능을 보였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 하계학술대회
• /
• pp.215-218
• /
• 2012

반도체 기술 및 방송통신기술의 발달에 따라 소비자는 복잡하고 다양한 서비스 환경을 접하고 있으며, 개인당 소비되는 콘텐츠의 양은 기하급수적으로 증가 되고 있다. 스마트폰과 같은 멀티미디어기기의 발전으로 기존의 단순 시청에서 벗어나 멀티미디어 검색과 추천과 같은 다양한 서비스들이 제공되고 있으며, 웹과 인터넷을 기반으로 하는 정보기술은 모바일 전자 기술의 발달에 따라 데스크톱이라는 공간적인 한계를 벗어나 유기적인 유비쿼터스 환경으로 변화하고 있다. 이와 같이 소비자들이 접하는 멀티미디어의 양이 증가됨에 따라, 멀티미디어를 검색하기 위한 다양 서비스들이 사업자들을 통해 제공되고 있다. 그러나 사업자들이 구축한 서버들은 공유되어지지 못하며, 공유되더라도 공유하기 위한 방법이 제각각이다. 이에 MPEG에서는 멀티미디어 콘텐츠를 검색하기 위한 질의 구조를 표준화 하여, 서비스 제공자 및 소비자들에게 유용한 검색 인터페이스를 제공하였다. 이에 본 논문에서는 MPEG Query Format에 기반 하여 임베디드 환경에서 광대한 양의 음악 콘텐츠에서 사용자가 원하는 허밍 질의를 편리하게 검색하기 위한 방법을 성계 및 구현한다.

• 정보관리학회지
• /
• 제23권2호
• /
• pp.5-19
• /
• 2006

본 연구에서는 기존의 시스템 중심의 방식에서 벗어나 각 이용자 집단에게 효율적이고 만족스러운 내용기반 음악 정보검색(Music Information Retrieval : MIR)의 질의인터페이스를 설계하고자 각 집단의 음악정보탐색행위를 연구하였다. 연구대상 집단은 음악분야의 전문 지식 여부에 따라 2개의 전공자 집단(작곡전공, 성악/기악전공)과 2개의 비전문가 집단(아마추어 비전문가, 순수 비전문가)으로 구분하여 모집하였다. 모집방법은 연구대상자 선정과정을 포함한 누증표집(snowball sampling) 기법과 이론적 샘플링(theoretical sampling) 기법을 이용하였고 최종적으로 전공자 집단 7명, 비전문가 집단 7명 모두 14명이 실험에 참가하였다. 탐색실험, think-aloud, 참여관찰, 탐색후 질문지법과 심층 인터뷰를 통해 얻은 자료를 분석 및 통합하여 결과를 도출하였다. 작곡 전공의 전문가 집단은 정확한 음렬로 질의를 입력할 수 있는 인터페이스(건반, 텍스트, 악보 입력)를 선호하였고, 비작곡 전공의 전문가 집단과 비전문가 집단은 허밍 질의 인터페이스를 선호하였다. 각 질의 방법의 입력오류를 최소화시키기 위한 연구가 더 필요하다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2012년도 추계학술발표대회
• /
• pp.637-640
• /
• 2012

본 논문에서는 다성 음원 기반의 다양한 응용 분야에서 적용이 가능한 실용 Query by Singing/Humming (QbSH) 시스템을 구현한다. 이를 위해서 검색 서버을 위한 소프트웨어 스택을 개발하고 다양한 형태의 클라이언트와 함께 임베디드 시스템과 같은 저성능 클라이언트를 위한 허밍검색 에이전트를 개발하여 기존의 클라이언트 시스템에 플러그인 할 수 있는 모듈을 개발한다. 실용 QbSH 시스템을 개발하기 위하여 각각의 핵심 알고리즘들의 최적의 조합을 이루어 통합된 전체시스템의 성능을 평가한다. 학술적인 연구에만 그쳤던 허밍기반 오디오 검색 서비스를 상업적으로 이용하기 위해 다양한 응용분야의 프로토타입을 구현한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 하계학술대회
• /
• pp.164-166
• /
• 2012

In this paper, we proposed a method for extracting predominant melody of polyphonic music based on harmonic structure. Harmonic structure is an important feature parameter of monophonic signal that has spectral peaks at the integer multiples of its fundamental frequency. We extract all fundamental frequency candidates contained in the polyphonic signal by verifying the required condition of harmonic structure. Then, we combine those harmonic peaks corresponding to each extracted fundamental frequency and assign a rank to each after calculating its harmonic average energy. We run pitch tracking based on the rank of extracted fundamental frequency and continuity of fundamental frequency, and determine the predominant melody. For the query by singing/humming (QbSH) task, we proposed Dynamic Time Warping (DTW) based matching engine. Our system reduces false alarm by combining the distances of multiple DTW processes. To improve the performance, we introduced the asymmetric sense, pitch level compensation, and distance intransitiveness to DTW algorithm.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2003년도 정기총회 및 학술대회
• /
• pp.215-218
• /
• 2003

본 논문에서는 MPEG-7에 정의된 오디오 서술자를 이용한 오디오 특징을 기반으로 한 음악 검색 알고리즘을 제안한다. 특히 timbral 특징들은 음색 구분을 용이하게 할 수 있어 음악 검색뿐만 아니라 음악 장르 분류 또는 Query by humming에 이용 될 수 있다. 이러한 연구를 통하여 오디오 신호의 대표적인 특성을 표현 할 수 있는 특징벡터를 구성 할 수 있다면 추후에 멀티모달 시스템을 이용한 검색 알고리즘에도 오디오 특징으로 이용 될 수 있을 것이다 본 논문에서는 방송 시스템에 적용 할 수 있도록 검색 범위를 특정 컨텐츠의 O.S.T 앨범으로 제한하였다. 즉, 사용자가 임의로 선택한 부분적인 오디오 클립만을 이용하여 그 컨텐츠 전체의 O.S.T 앨범 내에서 음악을 검색할 수 있도록 하였다. 오디오 특징벡터를 구성하기 위한 MPEG-7 오디오 서술자의 조합 방법을 제안하고 distance 또는 ratio 계산 방식을 통해 성능 향상을 추구하였다. 또한 reference 음악의 템플릿 구성 방식의 변화를 통해 성능 향상을 추구하였다. Classifier로 k-NN 방식을 사용하여 성능 평가를 수행한 결과 timbral spectral feature들의 비율을 이용한 IFCR(Intra-Feature Component Ratio) 방식이 Euclidean distance 방식보다 우수한 성능을 보였다.