A Robust Staff Line Height and Staff Line Space Estimation for the Preprocessing of Music Score Recognition

악보인식 전처리를 위한 강건한 오선 두께와 간격 추정 방법

In this paper, we propose a robust pre-processing module for camera-based Optical Music Score Recognition (OMR) on mobile device. The captured images likely suffer for recognition from many distortions such as illumination, blur, low resolution, etc. Especially, the complex background music sheets recognition are difficult. Through any symbol recognition system, the staff line height and staff line space are used many times and have a big impact on recognition module. A robust and accurate staff line height and staff line space are essential. Some staff line height and staff line space are proposed for binary image. But in case of complex background music sheet image, the binarization results from common binarization algorithm are not satisfactory. It can cause incorrect staff line height and staff line space estimation. We propose a robust staff line height and staff line space estimation by using run-length encoding technique on edge image. Proposed method is composed of two steps, first step, we conducted the staff line height and staff line space estimation based on edge image using by Sobel operator on image blocks. Each column of edge image is encoded by run-length encoding algorithm Second step, we detect the staff line using by Stable Path algorithm and removal the staff line using by adaptive Line Track Height algorithm which is to track the staff lines positions. The result has shown that robust and accurate estimation is possible even in complex background cases.

이 논문에서는 모바일 기기상에서 카메라기반 악보인식을 위한 오선 두께와 오선 간격을 추정하는 전처리 기술을 제안한다. 캡쳐된 영상은 조명이나, 흐려짐, 저해상도 등의 많은 왜곡으로 인해 인식에 어려움이 있다. 특히 복잡한 배경을 가지고 있는 악보 영상인식의 경우 더욱 그렇다. 악보 기호 인식에서 오선 두께와 오선 간격은 인식에 큰 영향을 끼친다. 이들 정보는 이진화에도 사용되는데, 복잡한 배경을 가지고 있는 경우 일반적인 이진 영상은 오선 두께와 간격을 추정하는데 만족스럽지 못하다. 따라서 우리는 에지영상에서 런-길이 엔코딩 기술을 이용해 오선 두께와 간격 추정하는 강건한 알고리즘을 제안한다. 제안된 방법은 2단계로 구성되어 있다. 첫 번째 단계는 소벨 연산자에 의해 영역별로 에지 영상을 기반으로 오선 두께와 간격을 추정한다. 각 에지 영상의 열은 런-길이 엔코딩 알고리즘에 의해 기술된다. 두 번째 단계는 안정한 경로 알고리즘을 이용한 오선 검출과 오선 위치를 추적하는 적응적 LTH알고리즘을 이용한 오선 제거이다. 실험결과 복잡한 영상의 경우에도 강건함과 높은 인식률을 보였다.