A Robust Real-Time License Plate Recognition System Using Anchor-Free Method and Convolutional Neural Network

Abstract

With the recent development of intelligent transportation systems, car license plate recognition systems are being used in various fields. Such systems need to guarantee real-time performance to recognize the license plate of a driving car. Also, they should keep a high recognition rate even in problematic situations such as small license plates in low-resolution and unclear image due to distortion. In this paper, we propose a real-time car license plate recognition system that improved processing speed using object detection algorithm based on anchor-free method and text recognition algorithm based on Convolutional Neural Network(CNN). In addition, we used Spatial Transformer Network to increase the recognition rate on the low resolution or distorted images. We confirm that the proposed system is faster than previously existing car license plate recognition systems and maintains a high recognition rate in a variety of environment and quality images because the proposed system's recognition rate is 93.769% and the processing speed per image is about 0.006 seconds.

최근 지능형 교통 체계의 발전에 따라 자동차 번호판 인식 시스템이 다양한 분야에서 활용되고 있다. 주행 중인 자동차의 번호판을 인식하기 위해서는 실시간성이 보장되어야 하며, 영상이 왜곡되어 뚜렷하지 않거나 번호판의 크기가 작은 저해상도 영상에서도 높은 인식률이 유지되어야 한다. 본 논문에서는 자유 앵커 방식 기반의 객체 탐지 알고리즘과 합성곱 신경망(CNN) 기반의 문자 인식 알고리즘을 이용하여 처리 속도를 향상한 실시간 자동차 번호판 인식 시스템을 제안한다. 더불어 공간 변형 네트워크를 이용하여 저해상도 및 왜곡된 영상에서의 인식률을 높였다. 제안하는 시스템의 인식률은 93.769%, 이미지 당 처리 속도는 약 0.006초로 기존 자동차 번호판 인식 시스템보다 빠른 속도로 자동차 번호판을 인식하며, 다양한 환경 및 품질의 영상에 대해 높은 인식률을 유지하는 것을 확인할 수 있다.

I. Introduction

지능형 교통 체계에 관한 중요성이 나날이 커지고 있는 가운데 자동차 고유의 식별 정보인 번호판 인식과 관련된 연구가 지속해서 관심을 끌고 있다. 자동차 번호판인식은 출입 제어, 도로 교통 관리, 주차 관제, 선별 관제 등 다양한 분야에서 사용된다. 이러한 출입 제어 및 도로 교통 관리 시스템에서의 지연 시간은 도로 교통 혼잡 및 사고를 유발할 수 있으며, 선별 관제 시스템에서 실시간성은 중요한 요소로 실시간성을 보장하기 위해서는 빠른 처리 속도가 중요하다. 따라서 현재 상용화된 자동차 번호판 인식 시스템은 높은 인식률을 가지는 동시에 빠른 처리 속도를 최우선으로 한다.

최근 딥러닝 기술이 발전함에 따라 자동차 번호판 인식 시스템의 인식률과 처리 속도가 향상되고 있다. 하지만 기존 자동차 번호판 인식 알고리즘들은 인식률 측면에서는 높은 성능을 보이지만 처리 속도 측면에서는 여전히 지연 시간이 존재하며, 저해상도 혹은 왜곡이 심한 영상에서는 인식률이 현저히 낮다는 문제가 있다[1, 2]. 본 논문은 기존 자동차 번호판 인식 알고리즘의 처리 속도 지연을 개선하고 다양한 환경 및 품질의 입력 영상에서 높은 인식률을 유지하는 자동차 번호판 인식 시스템을 제안한다. 제안하는 자동차 번호판 인식 시스템은 세 단계로 진행된다. 첫 번째 단계는 입력 영상 내에서 번호판에 해당하는 영역들을 검출하는 번호판 검출 단계이다. 기존번호판 검출에 사용되는 실시간 객체 탐지 알고리즘들은 주로 앵커 기반 방식[3, 4]으로 동작한다. 하지만 앵커 기반 방식은 모델의 복잡성과 연산량을 증가시키며, 다양한 입력 영상에 대한 일반화가 저하된다는 단점이 있다.

이를 보완하기 위해 제안하는 시스템에서는 앵커 기반방식 대신에 자유 앵커 방식의 실시간 객체 탐지 알고리즘을 이용하여 번호판을 검출한다. 두 번째 단계는 검출단계에서 검출된 번호판을 일반적인 형태의 영상으로 변환하는 단계이다. 기존 자동차 번호판 인식 시스템에서는 입력 영상이 저해상도 혹은 왜곡이 심한 경우에 인식률이 떨어진다는 문제가 있다. 이러한 문제를 극복하기 위해 제안하는 시스템에서는 공간 변환 네트워크[5]를 이용하여 번호판을 변환한다. 마지막 단계는 번호판 내의 문자를 인식하는 번호판 문자 인식 단계이다. 기존 번호판 문자 인식 단계에서 사용되는 객체 분류 알고리즘 혹은 Recurrent Neural Network(RNN) 기반의 알고리즘[6] 은 연산량이 많고 처리 속도가 지연된다는 단점이 있다. 제안하는 시스템에서는 번호판 문자 인식 단계에서 연산량을 줄이고 처리 속도 지연을 개선하기 위해 CTC(Connectionist Temporal Classification) 기법[7] 을 사용하는 CNN(Convolutional Neural Network) 기반의 알고리즘을 이용하여 번호판 문자를 인식한다. 본 논문에서는 지역명을 포함하지 않는 2006년 개정된 국내 번호판 및 2019년 추가된 신형 번호판으로 범위를 한정하여 실험을 진행하였다. 실험 결과를 통하여 제안하는 자동차 번호판 인식 시스템의 알고리즘이 높은 인식률을 유지하면서 기존 자동차 번호판 인식 알고리즘보다 빠른 처리 속도로 자동차 번호판 인식이 가능함을 확인하였다. 특히 번호판의 규격이 변해도 제안하는 방식이 기존의 방식보다 높은 인식률을 보이며, 저해상도 및 왜곡된 영상의 자동차 번호판 인식에서도 높은 인식률을 보여준다.

본 논문의 구성은 다음과 같다. 2장에서 기존 자동차 번호판 인식 알고리즘을 분석하고, 3장에서는 제안하는 자동차 번호판 인식 시스템에 관해 설명한다. 4장에서는 기존 자동차 번호판 인식 알고리즘과 제안하는 알고리즘의 성능을 비교하고, 5장에서는 결론과 향후 연구 과제를 기술한다.

II. Preliminaries

1. Related works

기존 딥러닝 기반의 자동차 번호판 인식 시스템은 번호판 검출 단계와 번호판 문자 인식 단계로 구성된다. 번호판 검출 단계에서는 입력 영상에서 번호판 영역들을 검출하고 번호판 문자 인식 단계에서는 검출된 번호판 내의 문자를 인식하여 최종 인식 결과를 도출한다. Fig 1은 기존 자동차 번호판 인식 시스템의 구조를 보여준다.

Fig. 1. Structure of Existing Car License Plate Recognition System

1.1 License Plate Detection

번호판 검출 단계에서는 객체 탐지 알고리즘을 이용하여 영상 내에서 번호판에 해당하는 영역들을 검출한다 [8, 9]. 딥러닝 기반의 객체 탐지 알고리즘은 크게 CNN 계열의 이중 단계 알고리즘과 YOLO(You Only Look Once) 등의 단일 단계 알고리즘으로 구분된다. 이중 단계 알고리즘은 높은 정확도를 보이지만 처리 속도가 비교적 느리고, 단일 단계 알고리즘은 비교적 낮은 정확도를 보이지만 처리 속도가 빠르다는 특징이 있다. 딥러닝 기술의 발전에 따라 빠른 처리 속도를 보이는 단일 단계 알고리즘의 정확도가 향상되면서, 특히 단일 단계로 동작하는 실시간 객체 탐지 알고리즘인 YOLO 계열 알고리즘이 높은 성능을 보인다. 기존 YOLO 계열 알고리즘은 입력 영상 내에서 검출하고자 하는 객체의 초기 추정 너비와 높이로 주어지는 앵커를 기반으로 실제 객체를 검출하는 앵커 기반 방식을 주로 사용한다. 앵커 기반 방식은 영상 내의 객체들에 대한 재현율은 높지만, 모델의 복잡성과 연산량을 증가시킨다는 단점이 있다. 또한, 검출하고자 하는 객체의 크기와 형태에 적합한 앵커를 필요로 하며, 특정 데이터셋에 적합한 앵커가 다른 데이터셋에서는 비 적합하여 일반화 성능이 저하되는 문제도 존재한다. 이러한 앵커 기반 방식의 단점을 보완하기 위해 최근 앵커 기반 방식을 사용하지 않는 객체 탐지 알고리즘과 관련된 연구가 활발하게 이루어지고 있다[10, 11].

1.2 License Plate Text Recognition

번호판 문자 인식 단계에서는 객체 분류 알고리즘 혹은 RNN 기반의 알고리즘을 이용하여 번호판 내의 문자를 인식한다. 첫 번째로 객체 분류 알고리즘을 이용하는 방법[12, 13, 14]은 Fig 2와 같이 검출된 번호판 영역 내에서 각 한글 및 숫자에 해당하는 영역을 추출하는 전처리과정이 필요하다. 문자 영역 분할 방법으로는 번호판의 규격이 일정하다는 특징을 이용하는 방법과 히스토그램, 윤곽선 검출을 이용하는 방법 등이 있다[15].

Fig. 2. Text Area Segmentation

문자 영역 분할 과정이 끝나면 각 문자 영역을 객체 분류 알고리즘을 통해 인식하고 번호판 내의 모든 문자 영역에 대한 인식 결과를 합쳐서 최종 번호판 인식 결과를 도출한다. 하지만 해당 방법은 문자 영역 분할 과정에서 추가적인 시간이 소요되므로 처리 속도가 지연되고 번호판의 왜곡이 심하거나 다른 규격의 번호판 영상에서는 문자 영역 분할이 올바르게 이루어지지 못한다는 단점이 있다.

두 번째는 RNN 기반의 알고리즘을 이용하는 방법 [16, 17]으로 광학 문자 인식과 장면 텍스트 인식 분야에서 주로 사용되는 RNN을 기반으로 하는 알고리즘을 이용하여 번호판 내의 문자를 인식한다. 이 방법은 이전 문자에 대한 정보를 기억하여 현재 문자를 예측하기 위해 사용하는 RNN의 순환적인 특징으로 인하여 많은 연산량이 필요하고 처리 속도가 지연된다는 단점이 있다. 또한, 국내 자동차 번호판 내의 문자들은 무작위적인 일련의 한글 및 숫자들의 조합이며 각 문자는 서로 어떠한 관계도 갖지 않으므로 RNN 기반의 알고리즘은 자동차 번호판 인식 알고리즘으로 사용하기에는 적합하다고 보기 어렵다.

III. The Proposed Scheme

1. License Plate Detection

번호판 검출 단계에서는 영상 내에 존재하는 번호판 영역의 경계 상자(Bounding Box)를 검출한다. 기존 실시간 객체 탐지 분야에서 높은 성능을 보인 YOLO 계열 알고리즘은 주로 앵커 기반 방식으로 동작하며, 모델 복잡성 및 연산량 증가, 일반화 저하 등의 단점이 있다. 이를 보완하기 위해 제안하는 시스템은 번호판 검출 단계에서 앵커 기반 방식을 사용하지 않는 YOLOX[18]를 이용한다. 일반적으로 자동차 번호판 인식 시스템의 입력 영상 내 번호판 영역의 크기가 작음을 고려하여 본 논문에서는 기존 YOLOX 모델의 입력 크기를 축소하고 모델 파라미터 수를 줄여 처리 속도를 높였다.

본 논문에서 사용하는 번호판 검출 모델은 Table 1과 같이 YOLOX 모델의 입력 크기를 256으로 축소하였으며, 5.03(M)개의 모델 파라미터 수를 가지고 초당 2.42(G)의 부동 소수점 연산을 가진다. 연산량을 더 줄이기 위해 기존의 32-bit 부동 소수점 방식이 아닌 16-bit 의 부동 소수점을 사용하는 Half-precision 기법을 사용하였으며, 검출 정확도를 높이기 위해 모델을 통해 검출된 번호판 영역 중 0.6 이상의 신뢰도를 가지는 번호판 영역들만 추출하고 비 최대 억제 기법을 이용한 후처리를 진행하였다.

Table 1. License Plate Detection Model

2. License Plate Transform

번호판 변환 단계에서는 공간 변형 네트워크를 이용하여 번호판 검출 단계에서 검출된 번호판을 왜곡이 적은 일반적인 형태의 영상으로 변환한다. 공간 변형 네트워크는 영상의 위치-공간상 변화에 대응하기 위해 입력 영상 내에서 필요로 하는 부분을 추출하거나 입력 영상을 왜곡이 적은 일반적인 형태로 변환하는 네트워크이다. 본 논문에서 이용하는 번호판 문자 인식 모델의 기반이 되는 CNN은 위치-공간상 변화에 적절히 대응하지 못한다는 특징이 있다. 하지만 자동차 번호판 인식 시스템의 입력 영상은 일반적으로 왜곡, 회전 등의 위치-공간상 변화가 있는 경우가 많다. 따라서 본 논문에서는 이러한 CNN의 한계점을 극복하고 다양한 환경 및 품질의 입력 영상에서 높은 인식률을 유지하기 위해 공간 변형 네트워크를 이용한다. 공간 변형 네트워크는 입력 특징 맵에서 추출할 위치를 얻기 위한 Sampling grid T_θ(G)를 계산하며, 식 (1)과 같이 표현된다. T_θ는 2차원 어파인 변환을 사용하였다.

\(\left(\begin{array}{l} x_{i}^{s} \\ y_{i}^{s} \end{array}\right)=T_{\theta}\left(G_{i}\right)=A_{\theta}\left(\begin{array}{c} x_{i}^{t} \\ y_{i}^{t} \\ 1 \end{array}\right)=\left[\begin{array}{ccc} \theta_{11} & \theta_{12} & \theta_{13} \\ \theta_{21} & \theta_{22} & \theta_{23} \end{array}\right]\left(\begin{array}{c} x_{i}^{t} \\ y_{i}^{t} \\ 1 \end{array}\right)\)\(\left(\begin{array}{c} x_{i}^{s} \\ y_{i}^{s} \end{array}\right)=T_{\theta}\left(G_{i}\right)=A_{\theta}\left(\begin{array}{c} x_{i}^{t} \\ y_{i}^{t} \\ 1 \end{array}\right)=\left[\begin{array}{ccc} \theta_{11} & \theta_{12} & \theta_{13} \\ \theta_{21} & \theta_{22} & \theta_{23} \end{array}\right]\left(\begin{array}{c} x_{i}^{t} \\ y_{i}^{t} \\ 1 \end{array}\right)\)       (1)

Sampling grid T_θ(G)는 입력 특징 맵에 적용되어 일반적인 형태로 변환된 출력 특징 맵을 만든다. Fig 3은 공간 변형 네트워크의 번호판 영상 변환 예시를 보여준다.

Fig. 3. License Plate Transform

3. License Plate Text Recognition

번호판 문자 인식 단계에서는 번호판 내의 문자를 인식한다. LPRNet[19]은 오롯이 CNN으로만 동작하며 문자 영역 분할 과정 없이 실시간으로 문자를 인식하는 모델이다. 기존 문자 인식에 이용되는 RNN 기반의 알고리즘은 순차적으로 계산되어야 한다는 특징으로 인해 연산량이 많고 처리 시간이 지연된다. 이를 개선하기 위해 본 논문에서는 LSTM(Long-Short Term Memory) 방식의 RNN 구조 대신에 1 × 13의 넓은 컨볼루션 커널을 사용하여 지역적인 문자 컨텍스트를 이용하는 LPRNet으로번호판 내의 문자를 인식한다. 더불어 기존 문자 인식에 이용되는 객체 분류 알고리즘들이 문자 영역 분할 과정에서 처리 속도를 지연시키며, 저해상도 및 왜곡된 영상에서 인식률이 저하된다는 문제점을 개선하기 위해 본 논문에서는 CTC 기법을 사용한다. CTC 기법은 일련의 문자 내에서 입력 프레임별 예측 결과를 디코딩(Decoding)하고 해당 결과 중에서 반복된 문자와 공백을 제거하는 후처리를 통해서 최종 결과를 예측하는 방식이다. 따라서 길이가 정해져 있지 않은 일련의 문자에 대해서 문자 영역 분할 과정 없이 전체 문자를 예측한다.

본 논문에서 이용하는 번호판 문자 인식 모델의 백본 네트워크 구조는 Table 2와 같다. 입력 크기는 94 × 24(Width × Height) 픽셀이며, 3개의 Small basic block이 존재한다. 백본 네트워크의 마지막 계층은 LSTM 방식의 RNN 구조 대신에 사용되는 1 × 13의 컨볼루션 커널로 구성된다. 백본 네트워크에 포함되는 Small basic block은 Table 3과 같다.

Table 2. LPRNet Back-bone Network Architecture

Table 3. LPRNet Small Basic Block

4. Dataset

번호판 검출 및 문자 인식을 위한 학습 데이터셋은 지역명을 포함하지 않는 2006년 개정된 국내 번호판 및 2019년 추가된 신형 번호판으로 구성되어 있다. Fig 4는 학습에 사용한 번호판의 형태를 보여주며, 백색 바탕에 검은색 글씨로 차종 기호, 용도 기호, 일련번호 순으로 표기된다.

Fig. 4. Korean Car License Plate

4.1 License Plate Detection Model

번호판 검출 모델의 학습 데이터셋은 웹 크롤링을 통해 자동차 전면 혹은 후면의 번호판이 포함된 영상들을 확보하였다. 전체 936장의 영상 중 90%에 해당하는 842 장을 훈련 데이터셋으로 사용하였고, 회전, 밝기, 채도, 대비 등의 변환을 주어 훈련 데이터셋을 2, 526장으로 증강하였다. 전체 936장의 영상 중 10%에 해당하는 94장은 검증 데이터셋으로 사용하였다.

4.2 License Plate Text Recognition Model

번호판 문자 인식 모델의 학습 데이터셋은 과학기술정보통신부의 재원으로 한국지능정보사회진흥원의 지원을 받아 구축된 ‘자동차 차종/연식/번호판 인식용 영상’[20] 의 국내 자동차 번호판 데이터를 활용하였다. 본 논문에서는 해당 데이터셋을 특징 추출 알고리즘을 이용하여 영상 내에 번호판 영역만 존재하도록 전처리를 진행하여 사용하였다. 학습 데이터셋으로 사용된 번호판의 형태는 Fig 5와 같다. 전체 44, 540장의 영상 중 70%에 해당하는 31, 178장을 훈련 데이터셋으로 사용하였고, 20%에 해당하는 8, 908장을 검증 데이터셋으로 사용하였으며, 10%에 해당하는 4, 454장은 테스트 데이터셋으로 사용하였다. 학습 과정에서는 밝기 및 대조 변환, 노이즈(Noise), 블러 (Blur) 등의 데이터 첨가 기법을 적용하였다.

번호판 변환 단계에서 이용하는 공간 변형 네트워크는 번호판 문자 인식 모델과 동시에 학습이 진행된다.

IV. Experiments

실험은 고해상도 자동차 번호판 인식과 저해상도 및 왜곡된 자동차 번호판 인식으로 구분하여 진행하였다. 성능 비교를 위한 알고리즘은 제안하는 알고리즘과 같은 환경 및 데이터셋으로 학습을 진행하였으며, 평가지표로 각 알고리즘의 인식률과 처리 속도를 측정하였다. 인식률은 실제 번호판 내의 모든 문자와 예측한 모든 문자가 전부 일치하는 확률을 측정하였고, 처리 속도는 각 알고리즘의 추론 시간을 측정하였다. 실험 환경은 Table 4와 같다.

Table 4. Experiment Environment

1. High-Resolution License Plate

고해상도 자동차 번호판 인식 실험에서는 기존 자동차 번호판 문자 인식에 사용되는 RNN 기반의 알고리즘인 CRNN(Convolutional Recurrent Neural Network)[21] 알고리즘과 본 논문에서 제안하는 알고리즘의 성능을 비교하였다. 해당 실험은 AIHub에 개방된 국내 자동차 번호판 데이터셋 2, 000장을 이용하여 각 번호판 문자 인식알고리즘의 인식률과 처리 속도를 측정하였다. 실험에 사용된 영상은 Fig 5의 우측 이미지와 같다.

Fig. 5. Dataset Pre-processing

Table 5는 고해상도 자동차 번호판 인식의 실험 결과이다. 고해상도 자동차 번호판 인식에서는 기존 자동차 번호판 인식에 이용되는 CRNN 알고리즘과 제안하는 LPRNet 알고리즘, 공간 변형 네트워크(STN)를 추가한 알고리즘 모두 높은 인식률을 보였다. 하지만, 처리 속도의 경우에는 LPRNet 알고리즘이 CRNN 알고리즘에 비해 빠른 번호판 문자 인식 속도를 보이는 것을 확인하였다.

Table 5. High-Resolution Car License Plate Recognition Experiment Results

2. Low-Resolution or Distorted License Plate

저해상도 및 왜곡된 자동차 번호판 인식 실험에서는 CRNN 알고리즘과 기존 실시간 객체 탐지 분야에서 높은 성능을 보인 앵커 기반의 방식으로 동작하는 YOLOR[22] 알고리즘을 이용하여 제안하는 알고리즘과 성능을 비교하였다. 해당 실험은 웹 크롤링을 통해 확보한 319장의 저해상도 및 왜곡된 영상을 이용하여 각 알고리즘의 인식률과 처리 속도를 측정하였다. 실험에 사용된 영상은 Fig 6과 같다.

Fig. 6. Low-Resolution or Distorted Image

2.1 License Plate Text Recognition Model

Table 6은 번호판 검출 알고리즘으로 YOLOX를 이용하여 저해상도 및 왜곡된 자동차 번호판 인식에서 각 번호판 문자 인식 알고리즘에 따른 인식률과 처리 속도를 실험한 결과이다. 저해상도 및 왜곡된 자동차 번호판 인식에서 CRNN 알고리즘과 LPRNet 알고리즘은 고해상도자동차 번호판 인식에 비해 낮은 인식률을 보였다. 반면, 본 논문에서 제안하는 공간 변형 네트워크를 포함하는 알고리즘은 저해상도 및 왜곡된 자동차 번호판 인식에서도 높은 인식률을 유지하는 것을 확인하였다.

Table 6. Low-Resolution or Distorted Car License Plate Recognition Experiment Results

2.2 License Plate Detection Model

Table 7은 번호판 문자 인식 알고리즘으로 LPRNet과공간 변형 네트워크를 이용하여 저해상도 및 왜곡된 자동차 번호판 인식에서 각 번호판 검출 알고리즘에 따른 인식률과 처리 속도를 실험한 결과이다. 인식률의 경우에는 YOLOR 알고리즘과 YOLOX 알고리즘 모두 높은 인식률을 보였지만, 처리 속도의 경우에는 YOLOX 알고리즘이 YOLOR 알고리즘에 비해 빠른 번호판 검출 속도를 보이는 것을 확인하였다.

Table 7. Low-Resolution or Distorted Car License Plate Detection Experiment Results

Ⅴ. Conclusions

본 논문에서는 자유 앵커 방식의 실시간 객체 탐지 알고리즘인 YOLOX와 CNN으로 동작하며 CTC 기법을 사용하는 LPRNet 및 공간 변형 네트워크를 이용하는 자동차 번호판 인식 시스템을 제안하였다. 제안하는 시스템은 기존 자동차 번호판 인식 시스템보다 빠른 속도로 번호판인식이 가능하며, 저해상도 및 왜곡된 자동차 번호판 인식에서도 높은 인식률을 유지하는 것을 확인하였다. 특히 제안하는 시스템은 번호판의 규격이 변해도 올바르게 인식할 수 있으며, 다양한 환경 및 품질의 영상으로부터 높은 번호판 인식률을 보인다.

추후 과제로는 2006년 개정 전 국내 자동차 번호판과 지역명을 포함하는 국내 자동차 번호판도 인식할 수 있도록 하고자 한다. 추가로 개인 정보 보호법으로 인해 개방된 국내 자동차 번호판 데이터셋을 확보하기 어려우므로, 이를 보완하기 위해 실제 영상과 유사한 영상을 만드는 생성 모델인 Generative Adversarial Network[23]를 이용하여 실제 자동차 번호판에 가까운 인조 자동차 번호판을 생성하고 학습에 활용한다면 인식률이 더 높아질 것으로 예상된다.