• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2017.05a
• /
• pp.536-539
• /
• 2017

본 논문에서는 스캔된 악보 영상을 ART2 알고리즘을 이용하여 음자리표를 인식하고 자동으로 연주하는 방법을 제안한다. 제안된 자동 악보 인식 방법은 스캔된 영상에서 이진 영상으로 변환하기 위해서 평균 이진화 기법을 적용한다. 평균 이진화 기법이 적용된 영상에서 수평 히스토그램을 이용하여 악보 영상의 오선을 제거한다. 제거된 악보 영상에서 8방향 윤곽선 추적 알고리즘을 이용하여 음표를 탐색하여 추출하고 추출된 음표를 ART2 알고리즘에 적용하여 쉼표와 음표를 분류한다. 분류된 음표를 이용하여 악보를 인식하고 인식된 악보를 이용하여 연주한다. 실제 악보를 스캐너로 획득한 악보 영상을 대상으로 실험한 결과, 단순한 악보 영상에서 효과적으로 악보가 인식되고 연주할 수 있는 것을 확인하였다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2008.05a
• /
• pp.369-374
• /
• 2008

음악 연구에 따른 컴퓨터의 역할이 점자 중요한 비중을 차지함에 따라 보다 효과적인 악보 인식과 효율적인 악보의 편집 및 수정 방법이 요구된다. 기존의 수동 입력 방식에서는 악보를 부정확하게 입력하여 수정하는 경우에는 작업 시간이 많이 소요되며, 각 수정 프로그램에서 만든 악보는 특정 프로그램에서만 재수정이 가능하다는 단점이 있다. 본 논문에서는 이러한 단점을 보완하기 위하여 이미 작성 되어있는 악보들을 자동으로 인식하는 방법을 제안한다. 제안된 악보 인식 방법은 수평 히스토그램을 이용하여 악보 이미지의 오선을 제거한 후, 4방향 윤곽선 추적 알고리즘을 적용하여 잡음을 제거하고 Grassfire 알고리즘을 적용하여 악보 구성 기호들을 추출한다. 추출된 악보 구성 기호들은 Hierarchical ART2 알고리즘을 적용하여 인식한다. 인식된 악보구성 기초들을 이용하여 악보 구성 기호들이 속하는 마디의 위치 정보를 각각 저장하고 향후에 악보 구성 기호의 편집과 수정이 용이하게 한다. 제안된 악보 인식 방법의 성능을 평가하기 위해 100장의 악보 영상을 대상으로 실험한 결과, 제시된 Hierarchical ART2 알고리즘을 이용한 악보 영상의 인식 방법이 실험을 통해서 효율적인 것을 확인하였다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2008.10a
• /
• pp.410-414
• /
• 2008

음악 연구에 따른 컴퓨터의 역할이 점차 중요한 비중을 차지함에 따라 보다 효과적인 악보 인식 방법이 요구된다. 기존의 악보 인식 방법에서는 특정 수정 프로그램에서 만든 악보만 그 프로그램에서 재수정과 재생이 가능하다는 단점이 있다. 본 논문에서는 이러한 단점을 보완하기 위하여 이미 작성 되어있는 악보들을 자동으로 인식하고 재생을 할 수 있는 방법을 제안한다. 제안된 악보 인식 방법은 수평 히스토그램을 이용하여 악보 이미지의 오선을 제거한 후, Grassfire 알고리즘을 적용하여 잡음을 제거하고 악보 구성 기호들을 추출한다. 추출된 악보 구성 기호들은 악보 구성 기호의 특징을 이용하여 음표와 쉼표, 그 외의 기호들로 분리한다. 분리된 음표 기호들은 박자마다 다른 음표 형태의 특징을 이용하여 다시 세밀하게 분리하고 쉼표와 그 외의 기호들은 퍼지 ART 알고리즘을 적용하여 인식한다. 인식된 악보 구성 기호들을 이용하여 각각 정보를 저장하고 향후에 악보 구성 기호에 해당하는 음의 재생을 용이하게 한다. 제안된 악보 인식 방법의 성능을 평가하기 위해 50장의 악보 영상을 대상으로 실험한 결과, 본 논문에서 제시한 악보 영상의 인식 방법이 실험을 통해서 효율적인 것을 확인하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2007.11a
• /
• pp.50-54
• /
• 2007

우리 삶에서 빼놓을 수 없는 기기인 휴대폰의 다양한 컨텐츠 기술 개발의 필요하다. 이러한 필요성을 충족하기 위하여 휴대폰에서 얻은 저 품질 악보 영상을 인식하는 기능을 구현하고 MIDI화일로 저장된 악보를 연주하는 시스템을 제안한다. 휴대폰 카메라를 통하여 얻은 영상을 인식한 결과 평균 93.4%의 악보 인식률을 얻을 수 있었다.

• The Journal of the Korea institute of electronic communication sciences
• /
• v.6 no.1
• /
• pp.84-89
• /
• 2011

Musical sheet recognition is an emerging area as the role of computers in music increases. Although there are several well-known programs for composition, they have a limitation in that they cannot edit or play music generated from other programs. In this paper, we propose an algorithm that can read, recognize, and play music using printed sheets. The proposed algorithm first removes lines using horizontal histogram and extracts symbols. The symbols belong to one of the three categories; notes, rests, and other signs. Notes are recognized using the context information and rests and signs are recognized using a fuzzy ART algorithm. The proposed algorithm were applied to 50 pages of musical sheets and the experimental results showed that it is effective in automatic recognition of musical sheets.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.13 no.10
• /
• pp.1997-2003
• /
• 2009

Methods for effective musical score recognition and efficient editing of musical scores are demanded because functions of computers for researches on musical activities become more and more important parts in recent days. In the conventional methods for handling musical scores manually, there are weak points such as incorrect score symbols in input process and requirement of much time to adjust the incorrect symbols. And also there is another weak point that the scores edited by each application program can be remodified by a specific application program only. In this paper, we proposed a method for automatic musical score recognition of printed musical scores in order to make up for the weak points. In the proposed method, staffs in a scanned score image are eliminated by horizontal histogram, noises are removed by 4 directional edge tracking algorithm, and then musical score symbols are extracted by using Grassfire algorithm. The extracted symbols are recognized by hierarchical ART2 algorithm. In order to evaluate the performance of the proposed method, we used 100 musical scores for experiment. In the experiment, we verified that the proposed method using hierarchical ART2 algorithm is efficient.

• The Journal of the Korea Contents Association
• /
• v.8 no.6
• /
• pp.16-25
• /
• 2008

Today, mobile phone is a necessity of modern life. For that reason, we suggest a particular system of a mobile phone which take a picture of music score image and automatically play it without any technical knowledges about the music score information. This experiment makes midi, acknowleging separate symbols via preprocessing to music score image taken. This paper utilizes 11 sorts of the score image taken by a mobile phone camera for this experiment. Through this method we suggest, as much as 98% on average takes place, which is very high recognizing ratio. Also, as we introduce this system in a mobile phone by porting, it takes 8.63 seconds on average to create midi following input of images.

• Proceedings of the Korean Information Science Society Conference
• /
• 2007.06c
• /
• pp.417-421
• /
• 2007

본 논문에서는 악보 영상을 인식하고 이를 연주할 수 있는 시스템을 제안한다. 이 시스템은 스캐너 또는 카메라로 악보 영상을 입력 받는다. 먼저 입력 영상을 전처리하여 영상 분석에 알맞은 형태로 변환시키고 선 추적으로 오선을 추출한 후, 템플릿 매칭을 이용해 음표, 쉼표, 보표, 조표 등을 추출하여 인식한다. 그리고 인식한 결과를 MIDI로 출력한다. 이 악보 인식 시스템을 통해 여러 실험 데이터를 검토해 본 바, 본 시스템이 실용적임을 보였다.

• The Journal of the Korea Contents Association
• /
• v.7 no.11
• /
• pp.34-42
• /
• 2007

In this paper, we propose a staff-line detection and removal algorithm from a music score image obtained by a mobile phone camera. As a preprocessing technique to recognize a music score image, staff-line detection and removal should be efficiently applied to the skewed or curved images. The proposed method detects a staff-line by dividing a staff according to the degree of distortion. The number of division is calculated by dividing a staff repletely until an average of differences of y coordinates in every divided position is smaller than a threshold. Therefore, the number of division can be adaptively estimated according to the degree of the distortion. For an experiment, we make various kinds of images by rotating one from $1^{\circ}\;to\;3^{\circ}$ or curving slightly upward. The results show that the proposed method performed well on the experiment images.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.21 no.1
• /
• pp.69-77
• /
• 2021

This paper deals with the development of an application that converts the PDF music score entered by the user into a MIDI file of the chord the user wants. This application converts the PDF file into a PNG file for chord conversion when the user enters the PDF music score file and the chord which the user wants to change. After recognizing the melody of sheet music through image processing algorithm and recognizing the tempo of sheet music notes through deep learning, then the MIDI file of chord for existing sheet music is produced. The OpenCV algorithm and deep learning can recognize minim note, quarter note, eighth note, semi-quaver note, half rest, eighth rest, quarter rest, semi-quaver rest, successive notes and chord notes. The experiment shows that the note recognition rate of the music score was 100% and the tempo recognition rate was 90% or more.