• 정보처리학회논문지D
• /
• 제10D권3호
• /
• pp.547-558
• /
• 2003

음악은 서로 다른 높이와 길이를 갖는 음표들을 주어진 박자 안에서 리듬성을 갖도록 나열한 패턴이기 때문에 음악의 선율정보는 시간의 흐름에 따라 정보 값을 갖는 시계열 데이터로 변환할 수 있다 따라서 본 연구에서는 음악의 특성을 유지하도록 선율정보를 정규화와 보정과정을 거쳐 시계열 데이터로 변환하고 유클리드 거리함수를 이용하여 선율정보간의 유사도를 계산하며, 유사성을 갖는 선율들을 클러스터링하여 각 클러스터의 대표성을 갖는 선율을 주제선율로서 추출한다. 그리고 추출된 주제선율로 다차원색인 기법인 M-tree를 이용하여 주제선율색인을 구성한다. 사용자 질의에 대한 검색과정에서도 색인 구성단계와 같은 과정으로 사용자 질의를 시계열 데이터로 변환하여 검색을 한다. 또한, 본 연구에서는 주제선율색인을 이용하여 내용기반 음악 검색을 실시하는 프로토타입 시스템을 개발하여 제안된 주제선율색인 구성기법의 실효성을 시험하였다. 실험결과에 따르면, 주제선율색인을 이용하면 원하는 음악 정보를 적은 공간을 사용하여 빠르고 정확하게 검색할 수 있음을 알 수 있다.

• 한국멀티미디어학회논문지
• /
• 제18권11호
• /
• pp.1358-1366
• /
• 2015

This paper proposes an automatic composition method using the training capability of artificial neural networks and chord progression rules that are widely used by human composers. After training a given song, the new melody is generated by the trained artificial neural networks through applying a different initial melody to the neural networks. The generated melody should be modified to fit the rhythm and chord progression rules for generating natural melody. In order to achieve this object, we devised a post-processing method such as chord candidate generation, chord progression, and melody correction. From some tests we could find that the melody after the post-processing was very improved from the melody generated by artificial neural networks. This enables our composition system to generate a melody which is similar to those generated by human composers.

• 한국정보전자통신기술학회논문지
• /
• 제1권3호
• /
• pp.77-82
• /
• 2008

본 논문에서는 대중음악 코드진행 과정에 있어서 패턴 분석을 이용하여 멜로디를 추가하는 방법을 소개한다. 먼저, 멜로디를 신경망의 입력으로 사용되는 비트패턴으로 변환하는 방법을 기술한다. 멜로디 추가 방법은 역전파 신경망 학습을 통해 멜로디 작곡 패턴을 학습시키고 학습 된 데이터를 바탕으로 멜로디를 생성하도록 설계하였다. 실험결과 신경망 학습을 이용한 컴퓨터의 작곡 가능성을 확인하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권12호
• /
• pp.6038-6053
• /
• 2017

In this study, we propose an automatic melody extraction algorithm using deep learning. In this algorithm, feature images, generated using the energy of frequency band, are extracted from polyphonic audio files and a deep learning technique, a convolutional neural network (CNN), is applied on the feature images. In the training data, a short frame of polyphonic music is labeled as a musical note and a classifier based on CNN is learned in order to determine a pitch value of a short frame of audio signal. We want to build a novel structure of melody extraction, thus the proposed algorithm has a simple structure and instead of using various signal processing techniques for melody extraction, we use only a CNN to find a melody from a polyphonic audio. Despite of simple structure, the promising results are obtained in the experiments. Compared with state-of-the-art algorithms, the proposed algorithm did not give the best result, but comparable results were obtained and we believe they could be improved with the appropriate training data. In this paper, melody extraction and the proposed algorithm are introduced first, and the proposed algorithm is then further explained in detail. Finally, we present our experiment and the comparison of results follows.

• 정보처리학회논문지D
• /
• 제11D권3호
• /
• pp.495-508
• /
• 2004

최근 내용 기반 음악 정보 검색 시스템에서는 사용자의 응답 시간을 단축시키기 위해 음악의 대표성을 갖는 선율을 추출하여 색인하고, 검색시 이를 이용한다 음악에서 대표성을 갖는 선율은 해당 음악을 대표하여 사용자가 기억하고 있으며, 사용자가 질의 선율로 사용할 가능성이 높아야 한다. 그러나, 기존의 내용 기반 음악 정보 검색 시스템에서는 음악 구성 형식을 고려하지 않기 때문에 음악 구성 형식에 따라 반복, 대조되는 선율들을 해당 음악을 대표하는 선율로 추출하지 못한다. 본 논문에서는 해당 음악을 대표하는 선율을 추출하기 위하여 한 음악에서 음악 구성 형식을 반영하여 일정한 유사도내에서 반복되는 선율들을 해당 음악의 반복 주제 선율로 추출한다. 또한, 사용자가 일반적으로 인지하는 첫 동기 선율과 절정 선율에 해당되는 선율들을 인식하여 대표 선율에 추가한다. 본 논문에서 제안된 시스템의 성능을 평가하기 위해 프로토타입을 구현하고, 다른 선을 색인과 비교 실험하였다. 실험 결과, 대표 선율 색인은 전체 동기를 색인한 경우에 비해 34％의 적은 저장 공간으로 색인을 구성하여 사용자의 응답 시간을 단축시켰다. 또한, 반복 주제 선율만으로 색인한 경우에 비해 사용자가 질의 가능성이 높은 첫 동기 선율, 절정 선율 등을 대표 선율로 색인하기 때문에 추가적으로 20의 색인 공간이 필요하였으나, 다양한 사용자의 질의 선율에 대해 검색의 정확성을 증진할 수 있음을 보였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제34권12호
• /
• pp.1037-1044
• /
• 2007

최근 내용 기반 음악 검색 시스템에서는 사용자의 응답 시간을 단축시키기 위해 음악의 대표성을 갖는 선율을 추출하여 색인하고, 검색 시 이를 사용한다. 기존 연구에서는 미디(midi) 데이타를 이용하여 대표 선율을 추출하는 방법이 제안되었으나, 미디 데이타에 한정되는 단점이 있었다. 따라서 본 논문에서는 디지털 신호처리를 이용하여 모든 오디오 파일 포맷에 적용 가능한 대표 선율 검색을 제안한다. 대표 선율 검색을 위해 FFT(Fast Fourier Transform)을 이용하여 박자와 마디를 찾고 각 마디들의 PCM 데이타로부터 높은 수치가 나타나는 빈도를 측정한다. 이때 높은 수치들이 가장 많이 뭉쳐 있는 영역에서 여덟 마디 간격이 오디오 데이타의 대표 선율 영역이다. 제안 방법의 유효성을 검증하기 위한 실험으로 총 1000곡을 선택하여 대표 선율을 추출하였고, 그 결과 템포를 찾아낸 737곡 중 79.5%의 정확성을 보였다.

• 대한의용생체공학회:의공학회지
• /
• 제31권6호
• /
• pp.417-426
• /
• 2010

We present a speech processing strategy incorporating instantaneous frequency (IF) encoding for the enhancement of melody recognition performance of cochlear implants. For the IF extraction from incoming sound, we propose the use of a Teager energy operator (TEO), which is advantageous for its lower computational load. From time-frequency analysis, we verified that the TEO-based method provides proper IF encoding of input sound, which is crucial for melody recognition. Similar benefit could be obtained also from the use of a Hilbert transform (HT), but much higher computational cost was required. The melody recognition performance of the proposed speech processing strategy was compared with those of a conventional strategy using envelope extraction, and the HT-based IF encoding. Hearing tests on normal subjects were performed using acoustic simulation and a musical contour identification task. Insignificant difference in melody recognition performance was observed between the TEO-based and HT-based IF encodings, and both were superior to the conventional strategy. However, the TEO-based strategy was advantageous considering that it was approximately 35% faster than the HT-based strategy.

• 한국멀티미디어학회논문지
• /
• 제8권1호
• /
• pp.1-8
• /
• 2005

유사 멜로디 검색은 질의 멜로디와 유사한 멜로디들을 음악 데이터베이스로부터 찾는 연산이다. 본 논문에서는 유사 멜로디 검색을 기반으로 하는 표절 감지 시스템 개발에 관하여 논의한다. 먼저, 정합 및 이동 변환을 지원하는 새로운 유사 모델을 제안한다. 또한, 각 멜로디 의 특징들을 인덱싱 하는 방법과 인덱스를 기반으로 표절 감지를 처리하는 방법을 제시한다 제안된 표절 감지 시스템을 이용하여 작곡가는 자신의 멜로디와 유사한 멜로디를 가지 는 곡들을 음악 데이터베이스에서 효과적으로 검색할 수 있다. 실험 을 통한 성능평가를 통하여 제안된 기법의 우수성을 규명한다. 실험 결과에 의하면, 제안된 기법은 순차 검색을 기반으로 하는 방법과 비교하여 약 31배까지의 성능 개선 효과를 보였다.

• 음성과학
• /
• 제4권2호
• /
• pp.91-102
• /
• 1998

The present study attempted to modify the conventional Melodic Intonation Therapy (MIT) in three aspects: number of syllables of adjacent target utterances (ATU), melody patterns of ATU, and initial listening of melody and intoned speech with the eyes closed. The modified Melodic Intonation Therapy (MMIT) was applied to two severe Korean aphasics. The patients exhibited a severely nonfluent aphasia resulting from a left CVA(Cerebrovascular Accident). The purpose of the modification was to avoid perseveration and improve reflective listening skills. First, the treatment program avoided ATU with the same number of syllables. Second, four different patterns of melody were developed: rising type, falling type, V-type, and inverted V-type. One type of prosodic pattern was preceded and followed by another type of melody. These two variations were to decrease perseverative behaviors. Finally, the patients kept their eyes closed when the clinician played and hummed a target melody at the initial stage of the program in order to improve reflective listening skills. A single-subject alternating treatment design was used. The effects of MMIT were compared to the conventional MIT. Differing the number of syllables and the type of melodic patterns decreased perseverative behaviors and produced more correct names. The initial listening of the target melody with the patients' eyes closed seemed to increase their attentiveness and result in a more fluent production of target utterances. Probable reasons for the effectiveness of MMIT were discussed.

• 컴퓨터교육학회논문지
• /
• 제8권5호
• /
• pp.109-118
• /
• 2005

본 논문에서는 음악 데이터베이스의 멜로디와 사용자가 기술한 멜로디의 기하학적 구조를 비교하는 음악 검색 시스템을 제안하고 있다. 시스템은 멜로디의 구조적이고 상황적인 특징들을 분석하여 쿼리 멜로디와 데이터베이스의 멜로디가 일치성을 찾고자 한다. 검색 방법은 사전 처리 단계와 인식 단계로 이루어진 기하하적 해싱 알고리즘에 기반을 두고 있다. 사전 처리 단계 동안 구조적 특징을 찾기 위해서 음악의 멜로디를 여러 개의 프래그먼트(fragment)들로 분할하고 그 프래그먼트의 각 음의 높이 및 길이를 분석한다. 상황적 특징을 찾기 위해서 각 프래그먼트의 중심 화음을 찾는다. 인식 단계 동안 사용자가 입력한 쿼리 멜로디를 여러 개의 프래그먼트들로 분할하고 구조적이고 상황적 특성이 유사한 모든 프래그먼트들을 데이터베이스에서 검색한다. 투표는 각 프래그먼트에 대해 이루어지고 총 득표수가 최대인 음악이 쿼리 멜로디와 일치하는 멜로디를 갖는 음악이 된다. 이러한 접근 방법을 이용하여, 음악 데이터베이스에서 유사한 멜로디를 빠르게 찾을 수 있다. 또한 이 방법은 표절 음악을 감지하는데 적용될 수 있다.