Detecting Numeric and Character Areas of Low-quality License Plate Images using YOLOv4 Algorithm

YOLOv4 알고리즘을 이용한 저품질 자동차 번호판 영상의 숫자 및 문자영역 검출

Abstract

Recently, research on license plate recognition, which is a core technology of an intelligent transportation system(ITS), is being actively conducted. In this paper, we propose a method to extract numbers and characters from low-quality license plate images by applying the YOLOv4 algorithm. YOLOv4 is a one-stage object detection method using convolution neural network including BACKBONE, NECK, and HEAD parts. It is a method of detecting objects in real time rather than the previous two-stage object detection method such as the faster R-CNN. In this paper, we studied a method to directly extract number and character regions from low-quality license plate images without additional edge detection and image segmentation processes. In order to evaluate the performance of the proposed method we experimented with 500 license plate images. In this experiment, 350 images were used for training and the remaining 150 images were used for the testing process. Computer simulations show that the mean average precision of detecting number and character regions on vehicle license plates was about 93.8%.

Ⅰ. 서론

최근 자동차의 자율주행 기술 발전에 따라 지능형 차량 관제 시스템 개발이 매우 중요해지고 있다. 지능형 차량 관제 시스템은 과속 단속 및 주차정산 시스템, 고속도로 톨게이트의 요금징수, 범죄 차량 검거 시스템 등 일상생활에서 매우 광범위하게 사용되고 있으며 차량 이용자의 증가에 따라 수요가 점차 증가하고 있다. 따라서 지능형 차량 관제 시스템의 핵심 요소기술인 차량 번호판 인식 기술개발은 매우 중요하며 많은 연구가 진행되고 있다[1,2].

일반적인 차량 번호판 인식 과정은 차량 영상획득, 번호판 영역 추출, 영상개선 및 복원, 숫자 및 문자 분리, 특징추출 및 번호판 인식 모듈로 나눌 수 있다. 그리고 이런 일련의 과정을 통해 차량 번호판을 인식하는 방법은 영상분할 및 에지기반 방법과 최근 객체 검출을 위해 활발한 연구가 진행되고 있는 합성곱 신경망(CNN: Convolution Neural Network)을 이용하는 방법으로 크게 나눌 수 있다[3-5,8,9].

영상분할 및 에지기반 방법은 자동차 번호판 영상으로부터 캐니, 소밸 등의 에지 검출 연산자를 사용하여 자동차 번호판에 있는 숫자 및 문자를 구별할 수 있는 에지를 검출하고, 상하좌우 투영을 통해 숫자 및 문자 위치를 추출한 후 다양한 기하학적 특징을 구하여 자동차 번호판을 인식하는 방식으로 자동차 번호판 영상의 화질이 고해상도인 경우 양호한 결과를 얻을 수 있다. 그러나 실제 도로 환경은 카메라 렌즈 상태. 빛의 산란, 그림자 영향, 야간촬영, 눈·비 및 안개 등의 날씨 조건, 움직이는 차량으로 인한 모션블러 등으로 영상 화질이 열악한 경우가 대부분으로 영상분할 및 에지기반 인식방법은 사용하는 특징과 환경변화에 민감하여 성능의 일관성이 떨어진다[2,7].

이런 문제를 해결하기 위해 합성곱 신경망을 이용한 딥러닝 기반의 차량 번호판 검출방법이 최근 활발하게 연구되고 있다[8,9]. 합성곱 신경망을 이용하는 방법은 입력 영상으로부터 자동차 번호판의 숫자 및 문자라고 판단되는 후보영역과 기준영역(ground-truth)과의 오차가 최소가 되도록 미리 준비된 학습데이터를 이용하여 신경망의 필터 계수가 최적화되게 변경하는 방법이다. 합성곱 신경망을 이용한 방법은 다양한 형태의 학습데이터가 많이 확보된 경우 일관성 있는 성능을 보이며 조명, 잡음, 날씨 등 환경변화에도 상대적으로 강인한 특성을 갖는다[10]. 합성곱 신경망으로 객체를 검출하는 방법은 YOLO(You Only Look Once)와 같은 1단계(one stage) 방법과 faster R-CNN과 같은 2단계(two stage) 방법으로 나눌 수 있다[10,11,13]. 기술의 발전 순서로는 faster R-CNN이 먼저 제안되었으나, faster R-CNN은 영역제안 신경망(RPN: region proposal network)과 검출기(detector) 두 단계를 거쳐 객체를 검출하기 때문에 처리시간이 많이 소요되어 실시간 처리가 어렵다. 반면에 YOLO는 처리과정이 비교적 단순하여 검출속도가 빠르고, 이미지 전체를 한꺼번에 바라보는 특성으로 인해 객체에 대한 일반화된 특성을 학습할 수 있다. 즉 사진 속의 고양이(객체)를 학습하였을 경우 정물화와 같은 그림 혹은 아웃도어 영상과 같이 학습환경이 전혀 다른 경우의 데이터에서도 고양이를 검출하는 성능이 우수하다[10,12].

차량 번호판의 숫자 및 문자인식을 위해 YOLO에 기반하여 k-NN과 템플릿정합(template matching)을 사용하는 방법이 제안되었다[14]. 또한 SVM(support vector machine)을 이용해 번호판을 검출하고, 합성곱 신경망을 사용하여 번호판의 글자와 숫자를 추출하고, 광학문자 인식방법을 사용하여 번호판을 인식하는 방법도 있다[2,4,6]. 또한 인공적으로 합성한 번호판 영상을 딥러닝에 적용하여 차량 번호판을 인식하는 방법이 연구되었다[15].

본 연구에서는 최근 다중객체 인식 알고리즘으로 활발한 연구가 진행되고 있는 YOLOv4(version 4) 신경망을 이용하여 실제 도로에 고정된 CCTV로부터 획득한 저품질의 자동차 번호판 영상에서 영상분할 및 에지검출과 같은 별도의 추가적인 영상처리 과정 없이 바로 숫자 및 문자영역을 검출하는 방법을 연구한다.

Ⅱ. 자동차 번호판 숫자 및 문자영역 검출을 위한 제안방법

YOLOv4 알고리즘을 이용하여 자동차 번호판 영상의 숫자 및 글자영역을 검출하기 위해 먼저 현재 우리나라에서 사용되고 있는 자동차 번호판 규격을 살펴보고, YOLOv4 신경망의 동작 원리를 분석한다. 그리고 본 논문에서 저품질의 자동차 번호판 영상을 개선하기 위한 영상개선 방법과 합성곱 신경망에서 필요한 데이터 증강에 대하여 설명한다.

2.1 자동차 번호판 규격[16,17]

자동차에 번호판을 부착한 것은 1893년 프랑스에서 처음 시작되었으며, 독일, 네덜란드를 거쳐 1901년 미국 뉴욕에서 의무적으로 자동차에 번호판을 부착하게 하여 현재 대부분 나라에서 제도적으로 모든 차량에 일정한 규격을 갖춘 번호판을 부착하고 있다. 차량 번호판은 차량 종류, 사용 용도, 등록관청 표시 등에 따라 표시하는 방법이 서로 다르다.

우리나라는 1921년부터 사각형 모양의 번호판을 도입하였는데 좌측에는 차량 등록 도시 이름이 한자로 위에서 아래로 기재되어 있고 우측에는 등록번호가 쓰여 있었다. 이후 여러 차례 차량 번호판 규격이 개정되었으며 2003년까지 녹색 바탕에 지역명과 등록 번호가 두 줄로 함께 기재된 2열식 번호판을 사용하였다. 그리고 용도에 따라 바탕색을 다르게 표시하였는데, 즉 자가용은 녹색 바탕에 흰색 숫자 및 글자, 사업용은 주황색 바탕에 흰색 숫자 및 글자, 관용차는 흰색 바탕에 검은색 숫자 및 글자로 표시하였다. 2004년 규격개정에서 지역명을 제외하였으며, 2006년에는 <그림 1(a)>와 같이 흰색 바탕에 7자리 검은색 숫자 및 문자가 한줄에 기재된 1열식으로 규격을 변경하였다.

<그림 1> 자동차 번호판 샘플 (a) 7자리 (b) 8자리

<그림 1(a)>와 같은 7자리 번호판은 순서대로 앞 2자리 숫자는 차량 종류, 중간 1자리 한글은 차량용도, 마지막 4자리 숫자는 차량 고유번호를 의미한다. 차량 종류는 일반 자가용의 경우 01~69는 승용차, 70~79는 승합차를 표시하고, 80~97은 화물차, 98~99는 특수차량을 의미한다. 그리고 차량 용도를 표시하는 문자는 인식을 쉽게 하도록 받침이 없는 한글을 사용하는데 ‘허’,’하’,‘호’는 렌트용 차량을 의미하고 나머지는 일반 자가용 차량을 나타낸다. 그리고 상업용 차량의 경우 택시는 맨 앞 두 자리 숫자는 11~69 사이이고 택시 및 버스에 사용하는 한글은 ‘바’,’사’,’ 아’,’자’ 중 하나이고 배달 차량은 ‘배’자를 사용한다. 또한 상업용 차량은 지역을 표시하기 위해 17개의 도 및 특별시 명칭을 사용하고, 마지막 4자리 숫자는 차량 종류 및 용도와 무관하게 0100~9999까지의 고유번호를 부여하여 차량을 구별한다.

등록되는 차량이 많아짐에 따라 번호판 생성 가능수를 증가하기 위해 2020년 개편된 자동차 번호판은 <그림 1(b)>와 같이 8자리 규격을 사용하는데 차량 종류를 나타내는 숫자가 3자리로 증가하였다. 최근에는 전기자동차용으로 푸른색 바탕에 검은색 숫자와 글자를 쓰고 있다. 이와 같이 수차례 개정으로 현재 우리나라에는 <그림 2>와 같이 다양한 규격의 자동차 번호판이 함께 사용되고 있다.

<그림 2> 현재 사용되고 있는 다양한 차량 번호판

따라서 여러 가지 종류의 자동차 번호판 영상을 통합적으로 인식할 수 있는 알고리즘 개발이 필요하다. 즉 자동차 번호판 종류에 따라 서로 다른 알고리즘을 적용하는 것이 아니라 하나의 알고리즘으로 통합적으로 번호판 영상을 인식하는 방법을 연구할 필요가 있다.

2.2 YOLOv4 신경망

본 논문에서 제안한 방법의 전체적인 블록도는 <그림 3>과 같다. 즉 도로 위에 설치된 고정 카메라로부터 차량이 포함된 영상을 입력받아서 자동차 영역이 포함된 부분을 먼저 분리하고, 이로부터 저품질의 차량 번호판 영역을 추출하고 영상의 품질 개선을 위한 전처리과정을 수행한다. 그리고 여기에 YOLOv4 알고리즘을 적용하여 숫자 및 글자영역을 검출하는 방법을 연구하였다.

<그림 3> 제안방법의 블록도

YOLO는 합성곱 신경망을 이용하여 객체를 검출하는 대표적인 방법으로 2015년에 발표되었으며 검출 속도가 고속인 장점이 있다. 또한 인간시각 시스템과 유사하게 이미지 전체에 대한 맥락적(context) 이해도가 높아 객체가 아닌 것을 객체라고 검출하는 거짓양성(false positive) 오류, 즉 배경을 객체로 인식하는 오류가 상대적으로 낮다. 그러나 크기가 작은 객체를 검출하지 못하는 단점이 있다[12,18-20,22].

본 논문에서 사용한 YOLOv4는 기존 YOLO버전의 단점을 보완한 것으로 영상의 확대 및 축소에 따른 작은 객체의 인식 성능도 높으면서 실시간 구현이 가능할 정도로 개선된 알고리즘이다. <그림 4>에 본 논문에서 사용한 YOLOv4 알고리즘의 전체 블록도를 표시하였다[18,19]. YOLOv4는 크게 BACKBONE, NECK, HEAD 부분으로 나눌 수 있다. BACKBONE은 영상을 입력받아 특징맵(feature map)을 추출하는 과정으로 Vgg16, CSPDarkNet53과 같은 사전학습된 합성곱 신경망, 풀링(pooling), ReLU(rectified linear unit)과정으로 구성되는데, 학습용 데이터셋은 MS-COCO 혹은 ImageNet 등을 사용한다[10,19]. HEAD 부분은 NECK으로부터 넘어온 특징맵과 YOLOv3를 사용하여 검출할 객체를 둘러싸는 최외각 상자(bounding box)를 예측하고, 객체지수(object score)와 클래스확률을 계산한다. NECK 부분은 BACKBONE과 HEAD를 연결하는 과정으로 SPP(Spatial Pyramid Pooling)와 PAN(Path Aggregation Network)으로 나눌 수 있다. NECK 부분은 BACKBONE의 합성곱 신경망의 특징추출 층을 up/down sampling, 최대풀링(max pooling) 등의 과정을 거쳐서 HEAD 부분으로 특징을 전달한다. HEAD 부분은 자동차 번호판 영상에서 각 숫자 및 문자영역을 검출하는 역할을 담당한다.

<그림 4> YOLOv4 알고리즘의 블록도[19]

NECK 부분의 SPP 모듈은 객체를 가장 잘 표현할 수 있는 대표적인 특징을 추출하기 위해 BACKBONE 단의 가장 낮은 해상도의 특징맵에 최대풀링 과정을 적용한다. 최대풀링을 위한 커널 크기는 1x1, 5x5, 9x9, 13x13이며 이동구간(stride)은 1이다. 즉 한 화소씩 이동하면서 최대풀링을 수행한다. 이는 특징맵으로부터 작은 객체의 검출성능을 높이기 위한 것이다. SPP의 출력은 다시 BACKBONE의 고해상도 특징들과 연결되는 PAN 모듈을 거치는데 이는 저해상도 특징과 고해상도 특징을 서로 결합하여 높은 검출성능을 얻기 위한 것이다.

2.3 지주상자(Anchor Box)

YOLOv4 신경망을 이용하여 특징맵을 추출하고 적절한 지주상자를 사용하여 검출할 객체 위치와 크기를 예측할 수 있다. 구체적인 방법은 먼저 입력영상을 SxS 격자(grid)로 나누고 하나의 격자를 셀(cell)이라고 하는데, 각 셀은 가로 및 세로 크기정보와 중심점 좌표를 갖는다. 지주상자는 미리 정의된 크기가 서로 다른 상자의 집합으로 가로 및 세로 비율은 1:1, 1:2, 2:1 등 응용분야에 따라 다르게 설정할 수 있는데 학습데이터의 기준영역(ground-truth) 크기를 고려하여 결정한다. 그리고 각 셀에 이 지주상자를 투영해서 원하는 객체가 있는지 예측한다. <그림 5>에 첫번째 셀에 두 개의 지주상자 및 변수를 설정한 예를 표시하였으며, 변수의 의미는 아래와 같다.

<그림 5> 두 개의 지주상자 및 해당변수 예

P_o : 해당 셀에 검출할 객체가 존재할 확률

x, y : 해당 셀의 중심좌표

w, h : 해당 셀의 지주상자의 가로 및 세로 크기

C₁, C₂ : 해당 셀의 각 객체가 존재할 확률

<그림 5>는 입력 영상을 3x3(S=3) 격자로 나누고 지주상자와 객체(클래스) 수를 각각 2개로 설정한 예제이다. 각 지주상자의 변수는 7개이며 모두 [0,1] 사이로 정규화된다. 한 격자당 지주상자가 2개로 가정하였으므로 모두 126개의 변수를 갖는 텐서(tensor)가 생성된다. 생성되는 변수의 수는 아래 식 (1)로 구할 수 있다.

N_p = S × S × (B × (5 + C))       (1)

여기서 S는 격자, B는 지주상자 수, C는 검출할 객체(클래스) 수이다. 숫자 5는 각 지주상자의 변수인 P_o, x, y, w, h의 개수이다. 각각의 격자는 B개의 지주 상자를 갖고 각 지주상자 별로 검출할 객체가 존재할 확률을 계산할 수 있으며, 격자별로 검출할 객체의 존재 여부를 알 수 있다. 따라서 객체가 존재할 확률이 높은 격자에 대해서만 비최대억제(non-maximum suppression) 알고리즘을 적용하면 최대 확률값을 갖는 지주상자만 출력되고 이를 이용하여 객체가 존재하는 위치와 크기를 사각형으로 표시할 수 있다.

2.4 영상개선

도로 위 CCTV에서 획득한 영상은 비·안개 등의 날씨상황, 야간촬영, 그림자 등으로 블러링이 발생하거나 해상도가 낮은 경우가 대부분이다. 따라서 번호판 인식과정을 수행하기 전에 영상개선이 필요하다. YOLOv4 알고리즘은 입력 영상 크기를 설정해야 하는데 번호판 영상을 확대하면 영상에 블러링 현상이 발생한다. 본 논문에서는 Super Resolution과 칼라영상 평활화를 적용하여 영상을 개선하였다[21]. <그림 6>은 본 논문에서 사용한 영상개선 결과를 표시한 것인데 (a)는 크기가 확대된 영상이고, (b)는 Super Resolution 방법을 적용한 결과, (c)는 (b)를 칼라 평활화한 것이다. 우측은 시인성을 위해 각 번호판 앞부분 일부를 확대한 것이다.

<그림 6> 영상개선결과 (a)원영상 (b)Super resolution결과 (c)칼라 평활화 결과

Ⅲ. 실험결과 및 고찰

제안방법의 성능을 평가하기 위해 실험에 사용된 영상은 낮과 밤을 포함하여 며칠 동안 촬영된 비디오 영상에서 추출하였으며, 비와 안개가 있는 날씨에 촬영된 영상도 포함하였다. <그림 7>은 실험에 사용된 영상 일부를 표시한 것이다. 영상은 카메라 렌즈의 노화, 빛의 산란, 야간촬영, 비 및 안개 등의 날씨 조건, 움직이는 차량으로 인한 모션블러링 등으로 영상의 화질이 열악함을 알 수 있다. <그림 8>은 <그림 7>의 자동차 번호판 영상을 Super Resolution 및 평활화 방법으로 영상 개선된 것이다.

<그림 7> 실험에 사용된 자동차 번호판 영상 일부

<그림 8> 영상 개선된 결과

YOLOv4와 같은 객체검출 알고리즘에서 지주상자의 개수와 크기를 설정하는 것은 중요하다. <그림 9>는 숫자 10개와 문자 1개로 구성된 11개의 기준영역의 정규화 면적에 따른 가로 및 세로 종횡비를 나타낸 것이다. 자동차 번호판 영상에서 숫자 및 문자의 크기는 일정한 크기로 규격화되어 있으므로 기준영역의 크기는 비슷하다. <그림 9>에서 알 수 있듯이 가로 및 세로 종횡비는 약 0.4~1.0 사이에 집중되어 있고, 정규화 면적은 0.1과 0.4를 중심으로 분포한다. 이는 1열식 자동차 번호판 영상의 경우 10개 숫자 기준영역과 1개 문자 기준영역의 종횡비는 거의 유사하고, 2열식 자동차 번호판 영상의 경우 지역과 차종은 상대적으로 작은 크기로 표시되기 때문이다. YOLOv4 알고리즘은 학습데이터 증강(data augmentation)을 수행한다. 본 논문에서는 원본 영상의 크기를 10% 증가하고 칼라 지터링(jittering)을 통해 칼라 색상을 변경하였다.

<그림 9> 11개 기준영역의 정규화 면적과 가로 및 세로 종횡비

<그림 10>은 지주상자의 수에 따른 평균 IoU(Intersection over Union)을 나타낸 것이다. IoU는 자카드 유사도(Jaccard similarity)라고도 하는데 두 집합 사이의 유사도를 측정하는 지표로 아래 식(2)와 같이 기준영역 및 지주상자의 면적으로 계산한다.

<그림 10> 지주상자 수에 따른 평균 IoU(intersection over union)

\(\begin{aligned}IoU= \frac{기준영역\; 및 \;지주상자의 \;교집합면적}{기준영역\; 및\; 지수상자의\; 합집합면적}\end{aligned}\)       (2)

<그림 10>에 따르면 지주상자를 6개로 했을 경우 평균 IoU는 82%이상이 된다. 지주상자 수를 많이 설정하면 평균 IoU가 증가하고 따라서 정확하게 객체를 검출할 수 있지만 지주상자가 기준영역에 가깝게 위치할 때까지 반복해서 예측해야 하므로 계산시간이 증가한다. 따라서 검출기의 성능을 고려하여 응용 분야에 따라 지주상자의 수를 적절하게 설정할 필요가 있다.

본 논문에서는 1열식 및 2열식 자동차 번호판 규격을 고려하여 6개로 설정하였다. <그림 11>은 제안방법의 PR(Precision-Recall)곡선을 나타낸 것이다. 정밀도(precision)와 재현율(recall)은 성능평가 지표로 사용되는데 정밀도는 TP/(TP+FP)로, 재현율은 TP/(TP+FN)로 계산된다. 여기서 TP는 참양성, FP는 거짓양성, FN은 거짓음성이다. 이상적인 경우 모든 재현율 값에 대해 정밀도가 1이 되지만, 정밀도와 재현율은 상충관계(trade-off) 이므로 정밀도를 증가(감소)시키면 재현율이 감소(증가)하게 된다.

<그림 11> 제안방법의 정밀도 및 재현율 곡선

<그림 12>는 자동차 번호판 영상에 대하여 제안방법을 적용하여 얻은 결과를 표시한 것이다. 1열식 및 2열식 자동차 번호판에서 큰 숫자 및 글자뿐만 아니라 작은 숫자 및 글자도 검출함을 알 수 있다. 다만 2열식 번호판의 경우 위쪽에 지역을 표시하기 위한 작은 문자 및 숫자의 인식율은 상대적으로 낮은데 이는 지주상자의 크기 및 개수에 따른 영향으로 보인다. 앞으로 이 문제를 해결하기 위한 후속 연구가 필요하다.

<그림 12> 제안방법을 적용하여 숫자 및 문자영역 검출결과 (a) 1열식 번호판 (b) 2열식 번호판

<그림 13>은 faster R-CNN, YOLOv2와 제안방법(YOLOv4)과의 성능을 비교하기 위해 각 객체별 평균 정밀도를 시인성을 위해 0.5~1.0범위로 표시하였다. 숫자와 문자 객체 대부분이 검출됨을 알 수 있다. <표 1>은 실험환경 및 mAP(mean Average Precision), TPI(Time Per Image)를 나타낸 것이다. faster R-CNN과 YOLOv4의 경우 mAP는 YOLOv2에 비해 우수하다. 그리고 TPI는 테스트영상 하나를 처리하는데 소요되는 평균 시간으로 YOLOv2 및 YOLOv4가 faster R-CNN보다 고속이며, 또한 YOLOv4의 mAP가 YOLOv2보다 우수함을 알 수 있다.

<그림 13> 검출방법에 따른 각 객체별 평균 정밀도 비교

<표 1> 실험환경 및 mAP, TPI

Ⅳ. 결론

본 논문에서는 품질이 낮은 자동차 번호판 영상에 영상분할 및 에지검출과 같은 별도의 추가적인 영상처리 과정 없이 YOLOv4 알고리즘을 이용하여 바로 문자 및 숫자 영역을 검출하는 연구를 하였다. YOLOv4는 1단계 알고리즘으로 2단계 알고리즘인 faster R-CNN과 달리 상대적으로 객체검출 속도가 빨라서 실시간 처리가 가능하다. 또한 영상 콘텐츠의 맥락적인 내용을 파악하여 객체를 인식하는 방법으로 인간시각 시스템과 유사하게 객체를 검출한다. 본 연구에서는 도로 위에 설치된 카메라로부터 획득한 영상을 사용하여 실험하였는데 기후변화, 밤과 낮의 조명변화가 모두 포함된 영상에서 숫자 및 문자영역을 검출할 수 있음을 보였다. 향후 후속 연구로는 2열식 번호판에서 크기가 상대적으로 작은 객체를 효과적으로 검출하기 위해 지주상자의 크기 및 개수에 따른 영향 분석과 추출된 문자영역을 각 개별문자로 인식하는 연구가 필요하다.