Automatic Extraction of Hangul Stroke Element Using Faster R-CNN for Font Similarity

글꼴 유사도 판단을 위한 Faster R-CNN 기반 한글 글꼴 획 요소 자동 추출

Abstract

Ever since media contents took over the world, the importance of typography has increased, and the influence of fonts has be n recognized. Nevertheless, the current Hangul font system is very poor and is provided passively, so it is practically impossible to understand and utilize all the shape characteristics of more than six thousand Hangul fonts. In this paper, the characteristics of Hangul font shapes were selected based on the Hangul structure of similar fonts. The stroke element detection training was performed by fine tuning Faster R-CNN Inception v2, one of the deep learning object detection models. We also propose a system that automatically extracts the stroke element characteristics from characters by introducing an automatic extraction algorithm. In comparison to the previous research which showed poor accuracy while using SVM(Support Vector Machine) and Sliding Window Algorithm, the proposed system in this paper has shown the result of 10 % accuracy to properly detect and extract stroke elements from various fonts. In conclusion, if the stroke element characteristics based on the Hangul structural information extracted through the system are used for similar classification, problems such as copyright will be solved in an era when typography's competitiveness becomes stronger, and an automated process will be provided to users for more convenience.

1. 서론

최근 모바일 기기의 보급과 SNS의 일반화된 활용 등으로 인해 미디어 콘텐츠의 시대가 도래하고 있다. 특히 콘텐츠의 경쟁력과 효율성을 높이기 위해서 타이포그래피의 중요성이 강조되고 있어 글꼴이 주는 영향력이 상당히 증가되고 있다. 그럼에도 불구하고 현재 한글 글꼴 시스템은 매우 미비한 상태로 단순하게 글꼴명 혹은 글꼴 제작사명으로만 글꼴 정보를 저장하여 수동적으로 제공된다[1,2]. 육천 종이 넘는 한글 글꼴의 모든 모양 특성을 이해하고 사용하기에는 시간과 비용적 측면에서 현실적으로 많은 어려움이 있다[3]. 특히 원하는 글꼴이나 어떤 글꼴인지 찾고 싶을 때와 같이 글꼴과 관련한 질문들은 모두 사용자 간 직접 응답을 주고받는 지식 교류 서비스 등 만을 이용해야 할 뿐 명확한 정보를 얻을 수 있는 시스템이 존재하지 않는다. 이외에도 글꼴의 저작권을 회피하기 위하여 유사한 글꼴을 찾고 싶어 하는 사용자, 시스템 내 보유하고 있는 대체 글꼴을 찾는 사용자 등에게 글꼴 시스템의 미비로 인한 문제가 발생하고 있다.

따라서 이러한 문제를 해결하고자 최근 딥러닝 기술을 이용한 관련 연구가 영문을 중심으로 활발히 진행되고 있다. 대표적으로 DeepFont[4]에서는 CNN (Convolution Neural Network) 모델을 이용하여 가장 유사한 글꼴을 식별하는 연구가 진행되고 있으며, kNN 알고리즘을 이용하여 유사한 글꼴끼리 그룹핑을 해주는 연구도 진행되고 있다[5]. 또한 RNN (Recurrent Neural Networks) 모델을 기반으로 글꼴을 분석하여 원하는 글꼴을 검색해주는 연구[6] 등이 있다. 하지만 기존 연구들은 글자의 전체 이미지를 대상으로 하므로 글자의 특성 분석을 시도하는데 한계가 존재한다. 한글 글자 구조는 획요소(Stroke Element)와 골격(Skeleton), 공간 정보(Spacing)로 이루어져 있다. 따라서 글자 전체의 이미지가 아닌 글꼴을 구성하는 특징 요소를 기준으로 분석한다면 더 나은 결과를 얻을 수 있을 것이다.

본 논문에서는 글자의 구조 정보를 기반으로 유사 분류를 하기 위해 글꼴을 구성하는 특징 요소 중 획요소를 글자에서 자동으로 추출하고자 한다. 먼저 선행 연구[7]를 기반으로 유사 분류에 사용될 대표적인 글꼴 특징 요소를 선정한다. 그리고 딥러닝 모델 Faster R-CNN Inception 모듈을[8,9] 사용하여 글자 이미지에서 획요소 특성을 검출하는 학습(Object Detection)을 진행하고자 한다. 최종적으로 제안하는 추출 알고리즘을 파인 튜닝(Fine-Tuning) 학습을 통해 검출된 글꼴 획요소에 적용함으로써 글꼴 유사 분류를 위한 한글 글꼴 획요소 특성 자동 추출 시스템을 제안하고자 한다.

본 논문의 구성은 다음과 같다. 2장에서 본 논문의 기본 이론이 되는 Faster R-CNN 모델과 Inception 모듈에 대하여 정의한 다음, 3장에서 한글 유사 글꼴 분류를 위해 선정한 한글 구조 기반의 글꼴 모양 대표적인 특성을 설명한다. 그리고 4장에서는 선정한 특성을 글자에서 자동으로 추출하는 시스템을 설명한다. 여기에서는 제안한 시스템의 설계 및 전체적인 구성을 기반으로 획요소를 검출하는 학습 과정과 추출 알고리즘으로 시스템에 대해 서술하고 5장에서 제안된 시스템에 대해 평가한 다음 6장에서 결론을 맺는다.

2. 관련 연구

2.1 Faster R-CNN

Faster R-CNN[8]은 CNN(Convolution Neural Network) 기반의 딥러닝 객체 검출(Object Detection) 네트워크 중 하나로 2014년 R-CNN 모델[10], 2015년 Fast R-CNN 모델[11] 이후 개선되어 발표되었다. Faster R-CNN의 가장 큰 특징은 RPN(Region Proposal Networks)으로 이전 방식인 Selective Search 과정을 대신하여 추가되어 매우 큰 시간 절감의 효과를 보인다는 것이다. 따라서 Faster R-CNN 은 객체 후보 영역을 검출하는 RPN 네트워크와 객체 후보의 특징을 추출하고 분류하는 Fast R-CNN 네트워크가 공유하여 이전 모델들에 비해 정확도와 속도가 눈에 띄게 향상되었다.

RPN 네트워크는 Sliding Window 방식으로 동작하며 객체들의 후보 영역을 돌아다니며 계산하고 검출한다. 개별의 Sliding Window마다 다양한 크기와 종횡비를 갖는 앵커 박스를 가지고 있어 후보 영역크기와 변형에 관해서도 유연하게 정확도 높은 후보 영역을 검출한다.

2.2 Inception 모듈

GoogLeNet[12]은 구글에서 발표한 22개의 레이어 층으로 구성된 CNN(Convolution Neural Network) 구조의 심층 신경망으로 ILSVRC2014(Image Net Large-Scale Visual Recognition Challenge 2014)에서 우승한 모델이다. GoogLeNet의 특징은 Inception 모듈을 통해 신경망을 더 깊고 넓게 구성하였음에도 모델의 연산량은 추가적으로 늘지 않고 정확도는 향상되었다는 것으로 Inception v1이라고도 칭한다.

Inception 모듈은 다수의 필터를 통해 입력 값에 대해 컨볼루션(Convolution)과 풀링(Pooling)을 수행한 후 생성된 특징 맵을 연결(Concatenation)한다. 특히 1×1 컨볼루션을 통해 차원을 축소시켜 파라미터 개수와 리소스의 손실을 줄였다. 또한 관련성을 가진 노드만 연결하면서(Sparse Connectivity), 행렬 연산 자체는 전결합층(Dense)으로 구성하여 성능 향상을 도모하였다.

이후 VGGNet의 인수분해(Factorization) 개념을 반영하여 5×5 컨볼루션을 2번의 3×3 컨볼루션으로 개선한 Inception v2[9], 배치 정규화(Batch normalization) 및 필터 사이즈 감소 등을 적용한 Inception v3, 그리고 Inception 모듈에 ResNet의 스킵 연결 (Skip Connection)을 더한 Inception-ResNet[13]등이 있다.

3. 대표 한글 글꼴 모양 특성 선정

3.1 한글 글꼴의 모양 특성 연구

선행 연구[7]에서는 글꼴 분류 및 검색, 추천 등의 다양한 한글 글꼴 서비스를 위해 국내외 글꼴 표준체계와 글꼴 디자인 전문가들의 연구 자료 등을 바탕으로 한글 글꼴 모양에 대한 속성을 추려 75개의 한글 글꼴 모양 특성 리스트를 정리하였다. 또한 한국정보통신기술협회(Telecommunication Technology Association)의 한글 글꼴 모양 분류체계와 ISO/IEC 국제표준단체의 영문 중심의 글꼴 모양 분류체계를 고려하였으며, 한글 글꼴의 모양에 대한 대표적인 연구들은 디자인 측면과 글꼴의 시대적 디자인 변화, 글꼴 디자인의 재산권 등 여러 방면에서 다양하게 다뤄진 논문들로 선정하였다.

75개의 특성들은 ‘굵기 관련’, ‘기울기’, ‘홑자, 닿자’, ‘간격, 공간’, ‘돌기/부리’, ‘굴림, 접축’, ‘맺음’, ‘윤곽’, ‘재질’의 모양 카테고리로 구분되어 정리되었다. 정리한 75개의 특성 리스트를 대상으로 K-means 군집 분석과 PCA(Principal Component Analysis) 분석을 수행하여 통계적으로 분석한 뒤, WWW 문서의 표준 이자 영문 글꼴 모양 특성의 대표 연구인 PANOSE[14]와 비교하여 Table 1과 같은 한글 고유의 특성을 지닌 한글 글꼴 모양을 구분 짓는 대표 특성을 선정하였다.

Table 1. Font design features from prior research[7]

3.2 한글 구조 정보 기반 글꼴 모양 특성

한글은 낱소리 글자로 자음을 뜻하는 닿소리 글자와 모음을 뜻하는 홑소리 글자로 구성된다. 낱자의 구조 정보로는 글자의 모양을 나타내는 획의 골격 (Skeleton), 획모양의 특징을 나타내는 획요소(Stroke Element) 그리고 공간(Spacing) 정보가 있다. 특히 획요소를 통해서 글자가 어떻게 짜여 졌는지 이해하고 익힐 수 있으며, 글자의 시각적 조화와 복합성에 대해서 깊이 이해할 수 있어 이는 디자인 분야인 글꼴 타이포그래피에서 주로 사용된다[15,16].

획요소는 ‘꺾임’, ‘맺음’, ‘내림’, ‘삐침’ 등으로 붓의 움직임에서 기인한 명칭으로 구성되어 있다. 선행 연구에서는 글꼴 윤곽선 중심으로 구성된 PANOSE[14]를 기반으로 모양 특성을 선정하였지만, 본 연구에서는 이와 달리 한글 구조 정보를 기반으로 하여 획요소(Stroke Element) 특성을 위주로 더 세밀하고 시각적 요소를 포함한 체계적 글꼴 유사 분류를 하고자 한다. 따라서 획요소를 기준으로 글꼴 유사를 위한 한글 글꼴 모양 특성을 선정하고자 하며, 선정된 획요소 특성이 글자에서 자동으로 추출되어 유사 분류 시에 사용될 것이다.

3.3 대표 한글 획 요소 특성 선정

3.1절에서 정리한 75개의 특성 리스트는 디자이너 관점에서 선별 되어온 한글 글꼴 모양 특성이므로 이 중 컴퓨터 시스템 기반에서 측정할 수 있는 특성이면서 한글 글꼴 유사 분류로 사용될 수 있는 유의미한 특성을 선정하고자 한다. 따라서 폰트에 대해 전문적 지식을 보유하고 있는 폰트 업계 종사자 5명을 대상으로 하여 ‘컴퓨터 시스템 기반에서 이미지 및 파라미터를 통해서 측정할 수 있는 특성인가’와 ‘한글 글꼴 유사 분류를 할 때 중요하고 유의미한 특성인가’ 라는 두 평가 척도를 세워 한글 글꼴의 획요소 특성 평가를 실시하였다.

먼저 ‘컴퓨터 시스템 기반에서 자동으로 측정할 수 있는 특성인가’라는 첫 번째 척도를 기준으로 시행한 1차 평가에서는 Table. 2와 같이 75개의 특성에서 25개의 특성이 제외되어 총 50가지의 항목이 도출되었다.

Table 2. Font characteristics of the first evaluation

1차 평가를 통해 도출된 50개의 특성을 대상으로 두 번째 척도를 기준으로 2차 평가를 시행하였으며, 5점 리커트 척도를 사용하여 각 항목당 중요도 점수를 평가하여 측정하였다. 평가 결과, 4점 이상의 항목은 9개, 3점 이상의 항목은 20개, 2점 이상의 항목은 17개, 1점 이상의 항목은 4개로 도출되었다.

4점 이상의 점수를 받은 특성 중 획요소의 범위가 아닌 항목은 제외하였으며 3점대의 특성 중 중요하다고 판단되는 항목은 추가하였다. 따라서 Table 3과 같이 1차 및 2차 평가를 통해 도출된 결과를 획요소 특성 위주로 구분하였으며 각 특성마다 측정할 획요소 명칭을 붙였다. 또한 해당 획요소를 추출할 글자도 정하였다. 따라서 최종적으로 선정된 유사 분류를 위한 대표 한글 글꼴의 획요소 특성은 Fig. 5와 같다.

Table 3. Font characteristics of the 2nd evaluation

Fig. 5. Characteristics of stroke elements in representative Hangul fonts for similarity.​​​​​​​

4. 한글 글꼴 모양 특성 자동 추출

4.1 시스템 설계 및 구성

정확하고 세밀한 판단을 위해 글자 전체 이미지가 아닌 한글 구조 정보를 기반으로 글꼴 유사 분류를 하는 시스템을 구축하고자 한다. 따라서 본 논문에서는 글자의 획요소 특성을 기준으로 대표적인 한글 글꼴 모양 특성을 선정하고 이를 유사 분류에 사용할 수 있도록 글자에서 한글 글꼴 모양 특성을 자동으로 추출하는 시스템을 제안한다.

글자에서 글꼴 모양 특성을 자동으로 검출하고 추출하는 방법은 여러 가지 방법이 존재한다. 선행 연구[17,18]로 SVM(Support Vector Machine)으로 획요소 특성을 분류하고, Sliding Window 알고리즘을 통해 글자 내에서 획요소를 찾아보았지만 검출 과정에서 정확도가 현저히 떨어졌다. 따라서 더 깊은 신경망인 딥러닝 객체 검출 모델을 이용해서 글자 내에서 획요소 특성을 검출해야 한다.

본 논문에서는 딥러닝 객체 검출 모델 중 Faster R-CNN Inception v2 모델을 파인 튜닝(Fine-Tuning) 하여 한글 글꼴 획요소를 검출하고 추출 알고리즘을 도입해 한글 글꼴 획요소 특성을 자동으로 추출한다. Faster R-CNN은 YOLO(You Look Only Once)[19], SSD(Single Shot Detector)[20] 등의 다른 객체 검출 모델(Object Detection) 중에서 가장 높은 정확도를 가지며 특히 작은 객체를 검출하는 데 있어 강하다는 특징을 지닌다. 본 연구에서는 속도보다는 정확도가 매우 중요하며 글자 내에서 작은 객체인 획요소를 검출해야하므로 Faster R-CNN 모델을 사용하여 학습을 진행하였다.

제안된 시스템은 리눅스 운영체제 상에서 딥러닝 프레임워크 Tensorflow Object Detection API를 이용하여 구현하였다. 버전 등의 더 자세한 개발환경은 Table 4에 표시한다.

Table 4. Development environment​​​​​​​

해당 시스템은 학습하기 위해서 데이터를 가공하고 처리하는 획요소 데이터 생성 과정(Generation Stroke Element Data)과 글자 속에서 획요소 데이터를 검출 할 수 있도록 학습하는 과정(Stroke Element Training), 마지막으로 글자 속에서 검출된 획요소 데이터를 추출하는 과정(Stroke Element Execution)으로 구분된다. Fig. 7에 제안하는 한글 글꼴 획요소 특성 자동 추출 시스템의 전체적인 흐름도를 나타내었다.

Fig. 7. System flow diagram.​​​​​​​

4.2 획요소 특성 검출을 위한 학습

3.3절에서 정한 대표 획요소 특성을 한글 글꼴에서 자동으로 추출하기 위해 딥러닝 객체 모델을 적용하기 위해서는 학습할 획요소 특성을 검출할 데이터를 수집해야 한다. 첫 번째로 획요소 특성을 검출할 한글 글꼴들을 선정해야한다. 한글 글꼴은 계층적 레이어[22]로 구성되어 있다. 첫 번째 계층에는 글리프로 이루어진 자형 구조가 속하며, 이를 기본으로 하여 올라갈수록 특성이 추가된다. 두 번째 층은 명조체 계열 및 고딕체 계열의 정형화된 모양으로 이루어져 있는 정형 글꼴이며, 마지막 층은 감각적이고 예술적인 모양을 포함한 비정형 글꼴이다. 이 중 정형 글꼴 계층 수준에서 획요소 특성을 검출할 한글 글꼴을 선정하였으며 정형 글꼴에 가깝다고 판단되는 글꼴을 총 292종 수집하였다.

정형 글꼴에 대한 기준은 주관적이므로 상대적으로 글꼴을 자주 사용하는 20대 중 글꼴 디자인에 관심 있는 15명을 대상으로 수집한 글꼴에 대하여 정형 글꼴인지 비정형글꼴인지에 대한 평가를 5점 리커트 척도로 시행하였다. 평가결과, 점수 척도에 따라 세 그룹으로 나누었고, 정형에 가깝다고 생각되는 첫 번째 그룹에는 86종의 글꼴, 디자인에 가깝다고 생각되는 세 번째 그룹에는 123종의 글꼴, 그 중간 값인 두 번째 그룹에는 84종의 글꼴로 구분되었다. 처음에 임의로 수집할 때 정형 글꼴이라 생각되는 글꼴을 수집하였기 때문에 첫 번째 그룹과 두 번째 그룹을 합하여 총 170종의 글꼴을 대상으로 획요소를 추출할 글자를 선정하였다.

파이썬 이미징 라이브러리 Pillow를 이용하여 선정한 글꼴에서 획요소 특성을 추출할 글자들을 jpg 형식의 이미지 데이터로 변환하였으며, 글자 이미지를 대상으로 LabelImg 툴[23]을 사용하여 Fig. 8과 같이 획요소 영역을 지정하여 xml 형식의 파일로 저장하였다. 이 작업을 통해 학습하고자 하는 획요소 특성 데이터를 생성하였다. 데이터는 8가지의 획요소 당 170장으로 학습 데이터와 테스트 데이터는 80%와 20%로 비율을 나누어 구성하였다. 따라서 총 1,360장의 이미지 데이터 중 학습 데이터 1,088장, 테스트 데이터 272장이다.

Fig. 8. Using the LabelImg to generate stroke element data to be training.​​​​​​​

이미 학습되어있는 Faster R-CNN inception v2 모델을 사용하였으므로 해당 모델을 로드하여 가공한 획요소 데이터를 넣어 학습을 진행하는 파인 튜닝 (Fine-Tuning) 과정을 진행한다. 이는 딥러닝 프레임워크 Tensorflow Object Detection API를 이용하여 진행되었다. 각 획요소별로 검출 학습을 진행하였으며 글자 이미지의 크기는 256×256으로 지정하였다. 그래픽카드 Titan XP 기준으로 로스율이 0.05 아래로 확연히 감소될 때까지 1시간동안 40,000여번의 학습을 진행하였으며 평균 학습 횟수는 43,109번이다. 더 자세한 사항은 Table 5에서 확인할 수 있으며 전체 획요소 학습의 로스율 그래프는 Fig. 9에서 확인할 수 있다.

Table 5. Step and loss for each stroke element detection​​​​​​​

Fig. 9. Average loss graph of stroke element detection learning.​​​​​​​

4.3 획요소 특성 추출 알고리즘

딥러닝 객체 검출 모델을 통해 검출된 획요소를 글꼴 유사 분류 과정에서 사용하기 위해서는 검출된 객체가 글자 이미지에서 추출되어야 하는 과정이 필요하다. 따라서 검출된 획요소 영역에서 xmin, ymin, xmax, ymax의 좌표 값을 추출하고 해당 좌표 값의 영역 박스를 글자 이미지에서 잘라내는(Crop) 획요소 자동 추출 알고리즘을 고안하였다. 검출된 획요소를 추출할 때의 기준은 99% 이상의 정확도를 가진 영역으로 정하였으며 99% 이상의 영역이 다수일 경우 넘버링을 통해 모든 획요소가 추출될 수 있도록 알고리즘을 설계하였다.

획요소 검출 과정에서 추출 알고리즘을 적용하면 Fig. 10과 같은 결과가 도출된다. Fig. 10은 획요소 ‘가지’의 추출 과정이며 왼쪽의 그림은 4.2절의 객체 검출 학습을 통해 글자 이미지에서 획요소를 검출한 결과이며 오른쪽 그림은 자동 추출 알고리즘을 적용하여 검출된 획요소 중 99%이상의 정확도를 가진 영역들이 추출되어 저장된 것이다.

Fig. 10. Result of automatic extraction of stroke ele- ments.​​​​​​​

5. 획요소 특성 추출 시스템 실행 결과

4절에서 딥러닝 객체 검출 모델을 기반으로 한글 획요소 특성을 자동으로 추출하는 시스템을 구현하였다. 시스템이 제대로 획요소를 추출하는 지 실행하고 평가하기 위해서 Faster R-CNN Inception v2를 파인 튜닝하여 학습한 모델을 기반으로 여러 글꼴에 대해 검출 과정을 시행하였다. 글꼴은 한국정보통신기술협회 한글 글꼴 모양 분류체계 표준과 3.1절의 선행연구를 바탕으로 Serif 계열 6종과 Sans-Serif 계열 7종 총 13종을 선별하였다. 또한 굵기별로도 Light, Medium, Bold로 구분하여 다양한 실행 데이터 세트를 구축하였다. 검출된 획 요소 영역은 박스 모양으로 표시하였고, 해당 영역이 획요소일 확률인 점수 값은 99%로 하여 그 이상의 정확도를 가진 획요소만 검출되게 하였으며 검출 영역에 해당 획요소 이름과 점수 값이 표시되도록 객체 검출 프로그램을 구현하였다.

학습 과정에서는 170개의 글꼴마다 8개의 획요소를 선별하여 총 1,360장의 데이터를 학습시켰으며, 실행 데이터 세트는 Fig. 11의 다양한 계열로 선정한 글꼴 13종에서 8개의 모든 획요소를 검출하도록 104장의 글자 이미지로 구성하였다. 학습결과, 구성한 104장의 글자 이미지에서 모두 정의한 영역대로 104개의 획요소가 정확히 검출되어 100%의 성공률을 보였다. 따라서 글꼴 유사 분류에 사용될 획요소 영역은 제안된 시스템을 통해 글자에서 자동으로 추출되어 사용할 수 있음을 확인하였다.

Fig. 11. Execution data set consisting of various fonts.​​​​​​​

6. 결론

본 논문에서는 글꼴 유사 분류를 위해서 한글 구조 정보를 기반으로 대표적인 한글 글꼴 모양의 특성을 선정하고 딥러닝 객체 검출 모델 중 하나인 Faster R-CNN inception v2를 파인 튜닝하여 획요소 객체 검출 학습을 진행한 후 자동 추출 알고리즘을 도입하여 글자에서 획요소 특성을 자동으로 추출하는 시스템을 제안하였다.

시스템 평가 결과, Serif, Sans-Serif의 계열 및 Light, Medium, Bold의 굵기 등 다양한 글꼴에서 모두 획요소를 제대로 검출하고 추출하는 정확도 100%의 결과를 보였다. 해당 시스템을 더 보완하고 발전시키기 위해서는 추출된 데이터를 바탕으로 학습할 xml 형식의 획요소 데이터로 재생성하여 데이터 수를 늘려가 모델을 강화시키는 일종의 능동 학습 과정을 도입해도 큰 효과를 볼 것이라 생각한다.

따라서 본 논문에서 제안된 시스템을 통해 추출된 획요소 특성을 글꼴 유사 분류에 이용한다면 육 천종이 넘는 모든 한글 글꼴의 모양을 분석할 수 있게 될 것이다. 이를 통해 한글의 글꼴 모양을 분석하는 자동화 과정이 도입됨으로써 타이포그래피가 경쟁력인 시대에서 저작권 등의 문제가 해결될 것이며 사용자에게 매우 편리함을 선사할 것이다. 더 나아가 유사 분류 외에도 한글 글꼴 추천, 분류, 검색 등 여러 분야에서의 자동화된 서비스가 가능해져 한글 글꼴을 효율적으로 활용할 수 있게 될 것이다.