• The Journal of the Acoustical Society of Korea
• /
• 제22권4E호
• /
• pp.141-149
• /
• 2003

As music of digital form has been widely used, many people have been interested in the automatic extraction of natural information of music itself, such as key of a music, chord progression, melody progression, tempo, etc. Although some studies have been tried, consistent and reliable results of musical information extraction had not been achieved. In this paper, we propose a method to extract chord and tempo information from general polyphonic music signals. Chord can be expressed by combination of some musical notes and those notes also consist of some frequency components individually. Thus, it is necessary to analyze the frequency components included in musical signal for the extraction of chord information. In this study, we utilize a sinusoidal modeling, which uses sinusoids corresponding to frequencies of musical tones, and show reliable chord extraction results of sinusoidal modeling. We could also find that the tempo of music, which is the one of remarkable feature of music signal, interactively supports the chord extraction idea, if used together. The proposed scheme of musical feature extraction is able to be used in many application fields, such as digital music services using queries of musical features, the operation of music database, and music players mounting chord displaying function, etc.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권12호
• /
• pp.6038-6053
• /
• 2017

In this study, we propose an automatic melody extraction algorithm using deep learning. In this algorithm, feature images, generated using the energy of frequency band, are extracted from polyphonic audio files and a deep learning technique, a convolutional neural network (CNN), is applied on the feature images. In the training data, a short frame of polyphonic music is labeled as a musical note and a classifier based on CNN is learned in order to determine a pitch value of a short frame of audio signal. We want to build a novel structure of melody extraction, thus the proposed algorithm has a simple structure and instead of using various signal processing techniques for melody extraction, we use only a CNN to find a melody from a polyphonic audio. Despite of simple structure, the promising results are obtained in the experiments. Compared with state-of-the-art algorithms, the proposed algorithm did not give the best result, but comparable results were obtained and we believe they could be improved with the appropriate training data. In this paper, melody extraction and the proposed algorithm are introduced first, and the proposed algorithm is then further explained in detail. Finally, we present our experiment and the comparison of results follows.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제35권11호
• /
• pp.692-700
• /
• 2008

일부 음악 장르 분류에 관한 기존 연구에서는 특징 추출을 위한 구간 선택 시 사람이 직접 곡의 주요 구간을 지정하는 방법을 사용하였다. 이러한 방법은 분류 성능이 좋은 반면 수작업으로 인한 부담으로 새롭게 등록되는 음악들에 대해 지속적으로 적용하기가 곤란하다. 수작업 없이 음악 특징을 추출하기 위해 최근 음악 장르 분류와 관련된 연구에서는 자동으로 추출구간을 선정하는 방법을 사용하고 있지만 이러한 연구의 대부분이 고정된 구간 (예, 30초 이후의 30초 구간)에서 특징을 추출하는 관계로 분류의 정확도가 떨어지는 문제점을 갖고 있다. 본 논문에서는 이러한 문제점을 해결하기 위해 곡 전체 구간에 대하여 반복구간들을 파악하고 이들의 위치와 에너지를 고려하여 곡을 대표할 수 있는 단일 대표구간을 선정한 후, 대표구간으로 부터 특징을 추출하여 장르 분류시스템에 적용하는 방법을 제안하였다. 실험 결과, 기존 고정구간을 사용한 방법에 비해 괄목할 만한 성능 향상을 얻을 수 있었다.

• 전기전자학회논문지
• /
• 제13권2호
• /
• pp.167-174
• /
• 2009

음악은 다양한 하위 레벨 음악 특징을 통하여 인간의 감정을 유발시키거나 음악적 무드를 만들어낸다. 보통 음악은 하나 이상의 무드로 구성되며 이것은 음악간 유사도를 결정하는 데 주요한 단서로 사용된다. 본 논문에서는 음악의 무드 변화 패턴을 기반으로 하는 새로운 음악 검색 기법을 제안한다. 이를 위해서, 우선 모든 음악에 대해 유사한 하위 레벨 특징을 가지는 세그먼트로 나누고, K-means 군집화 알고리즘을 적용하여 유사한 특징을 가지는 클러스터로 그룹화한다. 각 클러스터에 대해 유일한 무드 심볼을 정의하고 나면, 각 음악의 무드 변화 패턴은 일련의 무드 심볼 시퀀스로 표현이 가능하다. 마지막으로 음악간 유사도를 측정하기 위해서 longest common subsequence (LCS)알고리즘을 적용한다. 제안된 검색 기법의 성능을 측정하기 위해 다양한 실험과 사용자 만족도 조사를 수행하고 결과를 분석한다.

• 정보처리학회논문지B
• /
• 제17B권4호
• /
• pp.263-274
• /
• 2010

상황인지 음악추천 서비스를 제공하기 위해서는 무엇보다 상황 또는 문맥에 따라 사용자가 선호하는 음악의 분위기를 파악할 필요가 있다. 음악 분위기 검출에 대한 기존 연구의 대부분은 수작업으로 대표구간을 선정하고, 그 구간의 특징을 이용하여 분위기를 판별한다. 이러한 접근 방법은 분류 성능이 좋은 반면 전문가의 간섭을 요구하기 때문에 새로운 음악에 대해서는 적용하기 어렵다. 더욱이, 곡의 진행에 따라 음악 분위기가 달라지기 때문에 음악의 대표 분위기를 검출하는 것이 더욱 어려워진다. 본 논문에서는 이러한 문제점들을 보완하기 위해 음악 분위기를 자동으로 판별하는 새로운 방법을 제안하였다. 먼저 곡 전체를 구조적 분석 방법을 통하여 비슷한 특성을 갖는 세그먼트들로 분리한 후 각각에 대해 분위기를 판별한다. 그리고 세그먼트별 분위기 파악 시 Thayer 의 2차원 분위기 모델에 기초한 회귀분석 방법으로 개인별 주관적 분위기 성향을 모델링하였다. 실험결과, 제안된 방법이 80% 이상의 정확도를 보였다.

• 한국음향학회지
• /
• 제24권1호
• /
• pp.29-37
• /
• 2005

본 논문은 한국의 전통 음악, 즉 국악 장르를 자동으로 분류하는 시스템을 제안한다. 제안된 시스템은 입력 음악의 내용기반 분석을 통하여 궁중음악, 풍류방음악, 민속성악, 민속기악, 불교음악, 무속음악 등 6가지 장르중 하나로 자동분류하여 해당 음악의 장르 결과를 보여준다. 국악 장르 분류에 사용된 내용기반 알고리즘은 크게 음악의 특징 벡터 추출 그리고 장르 분류를 위한 패턴인식 과정 2가지로 구성된다. 음악의 특징 벡터 추출은 디지탈 신호 처리기술을 이용하여 해당 음악의 spectral centroid, rolloff, flux 등 STFT (Short Time Fourier Transform) 기반의 특징 계수들과 MFCC (Mel frequency cepstral coefficient), LPC (Linear predictive coding) 등의 계수들을 구한 후 SFS (Sequential Forward Selection) 최적 특징 벡터 열을 선별하여 사용하였으며 패틴 분류 알고리즘으로는 k-NN (k -Nearest Neighbor), Gaussian, GMM (Gaussian Mixture Model), SVM (Support Vector Machine) 분류기를 사용하였다. 특히 본 연구에서는 입력 질의의 패턴 (혹은 구간) 변화에 따른 시스템의 불확실성을 개선하기 위하여 MFC (Multi Feature Clustring) 방법을 이용하여 DB를 구축하였다. 모의실험 결과 k-NN 과 SVM 분류기 모두 $97{\%}$ 이상의 장르 분류 성공률을 보였으나, SVM 이 k-NN에 비해 약 3배 이상의 빠른 분류 성능을 가지고 있음을 확인하였다.

• The Journal of the Acoustical Society of Korea
• /
• 제24권2E호
• /
• pp.67-70
• /
• 2005

To realize a traditional music recognition system, some characteristics pertinent to Far East Asian music should be found. Using Spectrogram, some distinct attributes of Korean traditional music are surveyed. Frequency distribution, beat cycle and frequency energy intensity within samples have distinct characteristics of their own. Experiment is done for pre-experimentation to realize Korean traditional music recognition system. Using characteristics of Korean traditional music, $94.5\%$ of classification accuracy is acquired. As Korea, Japan and China have the same musical roots, both in instruments and playing style, analyzing Korean traditional music can be helpful in the understanding of Far East Asian traditional music.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권2호
• /
• pp.729-748
• /
• 2021

Vocal detection is one of the fundamental steps in musical information retrieval. Typically, the detection process consists of feature extraction and classification steps. Recently, neural networks are shown to outperform traditional classifiers. In this paper, we report our study on how to improve detection accuracy further by carefully choosing the parameters of the deep network model. Through experiments, we conclude that a feature-classifier model is still better than an end-to-end model. The recommended model uses a spectrogram as the input plane and the classifier is an 18-layer convolutional neural network (CNN). With this arrangement, when compared with existing literature, the proposed model improves the accuracy from 91.8% to 94.1% in Jamendo dataset. As the dataset has an accuracy of more than 90%, the improvement of 2.3% is difficult and valuable. If even higher accuracy is required, the ensemble learning may be used. The recommend setting is a majority vote with seven proposed models. Doing so, the accuracy increases by about 1.1% in Jamendo dataset.

• 전기전자학회논문지
• /
• 제13권2호
• /
• pp.159-166
• /
• 2009

최근까지 장르나 무드 등의 정적 분류 기술자를 이용한 음악 정보 검색에 관한 다양한 연구가 진행되어 왔다. 정적 분류 기술자는 주로 음악의 다양한 내용적 특징에 기반하기 때문에 그러한 특징에 유사한 음악을 검색하는 데 효과적이다. 하지만 음악을 들었을 때 느끼게 되는 감정 내지 기분 전이를 이용하면 정적 분류 기술자보다 더 효과적이고 정교한 검색이 가능하다. 사람이 음악을 들었을 때 발생하는 감정 전이의 효과에 관한 연구는 현재까지 미비한 실정이다. 감정 전이의 효과를 체계적으로 표현할 수 있다면 기존의 음악 분류에 의한 검색에 비해 음악 추천 등의 새로운 응용에서 더 효과적인 개인화 서비스를 제공할 수 있다. 본 논문에서는 음악에 의한 인간 감정 전이를 표현하기 위한 감정 상태 전이 모델을 제안하고 이를 기반으로 새로운 음악 분류 및 추천 기법을 제안한다. 제안하는 모델의 개발을 위하여 다양한 내용 기반의 특징을 추출하였으며, 고차원 특징 벡터의 차원 감쇄를 위하여 NMF (Non-negative Matrix Factorization)를 사용하였다. 성능 분석을 위한 실험에서 SVM (Support Vector Machine)을 분류기로 사용한 실험에서 평균 67.54%, 최대 87.78%의 분류 정확도를 달성하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권4호
• /
• pp.1869-1886
• /
• 2018

This paper proposes a MIDI- and audio-based music genre classification method for Korean traditional music. There are many traditional instruments in Korea, and most of the traditional songs played using the instruments have similar patterns and rhythms. Although music information processing such as music genre classification and audio melody extraction have been studied, most studies have focused on pop, jazz, rock, and other universal genres. There are few studies on Korean traditional music because of the lack of datasets. This paper analyzes raw audio and MIDI phrases in Korean traditional music, performed using Korean traditional musical instruments. The classified samples and MIDI, based on our classification system, will be used to construct a database or to implement our Kontakt-based instrument library. Thus, we can construct a management system for a Korean traditional music library using this classification system. Appropriate feature sets for raw audio and MIDI phrases are proposed and the classification results-based on machine learning algorithms such as support vector machine, multi-layer perception, decision tree, and random forest-are outlined in this paper.