A Vehicle License Plate Detection Scheme Using Spatial Attentions for Improving Detection Accuracy in Real-Road Situations

Abstract

본 논문에서는 실제 도로의 다양한 상황에서도 차량 번호판을 정확하게 탐지하기 위해 차량 번호판의 후보 지역을 공간 집중 영역으로 사용하는 차량 번호판 탐지 모델을 제안하였다. 먼저, 기존의 WPOD-NET이 전처리 과정에서 검출된 차량 영역을 이용하기 때문에 넓은 탐지 후보 영역으로 인해 불필요한 노이즈가 포함되어 탐지 정확도가 낮아짐을 확인하였다. 이를 개선하기 위해 차량 번호판의 후보 지역을 공간 집중 영역으로 사용하는 차량 번호판 탐지 모델을 제안하였고, 제안한 방법이 기존 WPOD-NET보다 탐지 정확도를 어느 정도 개선하는지 분석하기 위해 GT 데이터를 기반으로 최적의 공간 집중 영역을 설정한 경우와 함께 탐지 정확도를 비교하였다. 실험에 따르면 제안된 모델이 기존 WPOD-NET에 비해 타이트한 탐지 후보 영역을 갖기 때문에 약 20% 더 높은 탐지 정확도를 보임을 확인하였다.

In this paper, a vehicle license plate detection scheme is proposed that uses the spatial attention areas to detect accurately the license plates in various real-road situations. First, the previous WPOD-NET was analyzed, and its detection accuracy is evaluated as lower due to the unnecessary noises in the wide detection candidate areas. To resolve this problem, a vehicle license plate detection model is proposed that uses the candidate area of the license plate as a spatial attention areas. And we compared its performance to that of the WPOD-NET, together with the case of using the optimal spatial attention areas using the ground truth data. The experimental results show that the proposed model has about 20% higher detection accuracy than the original WPOD-NET since the proposed scheme uses tight detection candidate areas.

I. Introduction

차량 번호판 인식(vehicle license plate recognition) 기능은 주차 관리, 고속도로 요금 정산, 범죄 차량 추적, 지능형 운송체계(intelligent transportation system) 등의 많은 응용에서 차량 식별(identification)을 위한 목적으로 중요하게 사용되고 있다[1-9]. 일반적으로 차량 번호판 인식은 영상으로부터 차량의 번호판을 탐지(detection) 하고 탐지된 번호판의 정보를 인식(recognition)하는 두 단계로 구성된다[1-9]. 따라서 정확한 차량 식별을 위해서는 차량 번호판의 인식 정확도를 증진해야 하고, 차량 번호판의 인식 정확도를 증진하기 위해서는 차량 번호판 탐지가 정확하게 이뤄져야 한다[2].

컴퓨터 영상처리 분야에서 차량 번호판 탐지(vehicle license plate detection)를 위한 관련 연구로는 이미지처리 기술을 활용한 전처리 과정을 통해 번호판의 색상, 질감(texture), 에지(edge) 정보 등과 같은 특성(feature) 을 이용하는 초기 연구[1-3]를 시작으로, 최근에는 딥러닝으로 차량 번호판을 탐지하는 연구[4-9]에 이르기까지 많은 시도가 이뤄지고 있으며 기술 수준도 발전하고 있다. 특히, 빠른 인식 속도와 높은 인식 정확도를 갖는 것으로 알려진 실시간 객체 탐지(realtime object detection) 모델인 Yolo[10]의 등장과 함께 Yolo를 이용하는 차량 번호판 탐지 연구[4,5]가 활발히 이루어지고 있다. 하지만, Yolo는 직사각형 형태의 RoI(Region of Interest)로만 차량 번호판을 탐지하기 때문에 실제 도로에서 다양한 촬영 각도로 인해 임의의 사각형 형태를 갖는 차량 번호판을 정확하게 탐지하여 위치 정보를 추출하는데 문제가 있다[9]. 따라서 최근의 연구 [9]에서는 아핀 변환(affine transformation)을 위한 계수를 예측하여 임의의 사각형 형태를 갖는 차량 번호판에 대해서도 탐지가 가능한 차량 번호판 탐지 모델인 WPOD-NET(Warped Planar Object Detection Network)을 제안하였다. 하지만, WPOD-NET 을 이용하여 실제 도로상에서 취득한 다양한 상황들에 대해 정확한 자동차 번호판 탐지의 정확도 평가가 이루어지지 않았기에 국내 실제 도로 상황에서 WPOD-NET을 직접 적용할 수 있는지 판단하기 어려웠다.

따라서 본 연구팀의 이전 연구[11]에서는 국내의 실제 도로 환경에서 취득한 실제 원본 이미지뿐만 아니라 여러 열악한 도로 상황까지 묘사한 이미지까지 추가한 데이터세트를 이용하여 실제 도로 환경에서의 다양한 상황에 대한 WPOD-NET의 차량 번호판 탐지 정확도를 평가하였다. [11]의 실험 결과에 따르면 WPOD-NET은 제안 목적에 맞게 실제 도로에서 기울어진 촬영 각도로 인해 회전된 형태로 촬영된 차량 번호판을 원본 이미지보다 더 높은 정확도로 인식할 수 있음을 확인하였다. 그러나 국내의 실제 도로 환경의 다양한 상황에 대한 실험에서 [9]에서 제시한 목표 성능보다 상대적으로 낮은 탐지 정확도 81.53%를 갖는 것으로 분석되었고 특히 원본 이미지에 대해서는 76.47%를 보였기에 국내의 실제 도로 환경에 적용하여 사용하기에는 아직 많은 개선이 필요함을 확인하였다.

따라서 본 연구에서는 [11] 연구를 바탕으로, 실제 도로 환경에서 취득한 원본 이미지 세트와 기울어진 촬영 각도를 묘사한 회전 이미지 세트에 대한 WPOD-NET의 차량 번호판 탐지 정확도와 입력 이미지에서 차량 번호판의 GT(Ground-Truth) 데이터를 기준으로 차량 번호판 탐지를 위한 공간 집중 영역을 지정하여 인식한 차량 번호판탐지 정확도를 비교, 분석하였다. 그 결과에 따르면, 기존 WPOD-NET이 입력 이미지의 전체 영역에 대해서 차량 번호판 탐지를 시도하기 때문에 GT 데이터를 기반으로 지정한 공간 집중 영역에 대해서만 탐지를 시도하는 것보다 낮은 정확도를 갖는 것으로 분석되었다. 이에, 차량 번호판 탐지시 입력 이미지에서 불필요한 영역을 배제하고 차량 번호판이 존재할 것 같은 영역에 초점을 맞추기 위해 차량 번호판 후보 지역을 공간 집중 영역으로 사용하는 모델을 제안하였으며, 이를 통해 기존의 WPOD-NET의 차량 번호판 탐지 정확도를 증진하고자 한다.

본 논문의 이후 구성은 다음과 같다. 2절에서는 실제 도로 환경에서 기울어진 차량 번호판까지도 정확하게 탐지할 수 있도록 제안된 WPOD-NET을 간단하게 소개하고 이에 대한 성능 분석 결과를 기술한다. 3절에서는 차량 번호판 탐지의 정확도 증진을 위해 차량 번호판의 후보 지역을 공간 집중 영역으로 사용하는 개선된 차량 번호판 탐지 모델을 소개한다. 4절에서는 제안된 개선 모델의 성능을 분석하기 위해서 입력 이미지를 대상으로 최대로 얻을 수 있는 차량 번호판 탐지 성능의 기준으로 삼기 위해 차량 번호판의 GT 데이터를 기준으로 수작업을 통해 설정한 공간 집중 영역에 대해서만 차량 번호판을 탐지한 결과와 이와 반대로 입력 이미지 전체로부터 차량 번호판을 탐지하는 자동화된 방법으로서 기존 WPOD-NET과 새롭게 개선 제안된 모델의 탐지 정확도를 비교한다. 5절에서는 마지막으로 본 연구의 결론과 향후 연구를 기술한다.

II. Related Works

딥러닝 기반의 차량 번호판 탐지기 중 Yolo[10]를 기반으로 한 차량 번호판 탐지기[4,5]는 직사각형 형태로 차량 번호판을 탐지하므로, 직사각형 형태의 차량 번호판 이미지를 많이 포함하고 있는 데이터 세트[6-8]에 대해서는 좋은 성능을 보일 수 있다. 하지만, 실제 도로 환경에 설치되어 운용중인 카메라로부터 취득된 영상들에는 카메라의 촬영 각도에 따라 직사각형 형태의 차량 번호판 이외에도 임의의 기울어진 사각형 형태의 차량 번호판이 많이 존재한다. 따라서 Yolo와 같이 직사각형 형태로만 차량 번호판을 탐지하는 탐지기로 실제 도로에서 임의의 사각형 형태를 갖는 차량 번호판을 정확하게 추출하는 것은 문제가 있을 수 있다.

이러한 문제를 극복하기 위하여, [9]에서 제안한 WPOD-NET은 [그림 1]과 같은 번호판 탐지 과정을 거침으로써 임의의 형태로 기울어진 차량 번호판을 탐지할 수 있도록 하였다. 먼저 W, H 크기를 갖는 입력 이미지로부터 Yolo_v2[13] 기반의 차량 탐지 모듈을 이용하여 자동차를 검출한 결과 이미지를 WPOD-NET에 입력한다. 여기서 차량 탐지 모듈이 성공적으로 검출하면 탐지된 차량의 RoI 영역만을 잘라내어 사용하고 만일 검출에 실패하면 입력 이미지 전체를 사용한다. 그 후, WPOD-NET은 입력 이미지로부터 (M, N) 크기의 8채널 특징 맵(feature map)을 생성한다. 3차원 특징 맵의 8채널은 각 (M, N) 셀의 객체 확률, 비 객체 확률, 그리고 6개의 아핀 변환 계수로 구성된다. 이를 바탕으로 (M, N) 셀 중 기준 값 이 상의객체 확률을 갖는 각 셀 (m, n)을 중심으로 고정된 크기의 주변 영역을 가상 번호판 영역의 후보로 간주하고, 해당 영역의 아핀 변환 계수들로부터 회귀시킨(regressed) 값으로 아핀 변환 행렬을 구성하여 해당 후보 가상 영역을 차량 번호판 영역으로 변환한다. 이렇게 아핀 변환 행렬로 변환하여 추출한 차량 번호판 영역은 수평적 수직적으로 보정된 직사각형 형태이기 때문에 WPOD-NET은 차량 번호판이 기울어진 경우에도 탐지할 수 있는 장점을 갖게 된다. 하지만, [9]에서는 실제 도로에서 발생할 수 있는 다양한 상황들에 대해 탐지 정확도에 대한 정확한 평가가 이루어지지 않았기 때문에 WPOD-NET을 국내 실제 도로 상황에 직접 적용하여 사용할 수 있는지 판단이 어려웠다.

Fig. 1. Vehicle license plate detection process using WPOD-NET[9]

본 연구팀의 이전 연구 [11]에서는 국내 설치 및 운용 중인 CCTV로부터 취득한 원본 이미지들로부터 실제 도로 환경에서 발생할 수 있는 다른 관심 있는 상황까지 포함하는 데이터 세트를 구성하였다. 새롭게 구성된 데이터 세트에는 실제 도로에서 취득한 원본 이미지뿐만 아니라 실제 도로 환경에서의 관심 상황으로 조도 변화, 안개 상황, 저해상도 카메라 영상, 차량의 빠른 속도로 인한 잔상, 회전촬영에 의한 기울어짐, 그리고 이미지의 블러링 등을 설정하고 OpenCV[12]를 이용하여 원본 이미지를 적절하게 변형한 묘사 이미지들까지 포함하여 구성하였다. 이 데이터 세트를 이용하여 국내 상황에 WPOD-NET을 적용한 경우에 실제 도로 환경에서 발생할 수 있는 다양한 상황들에 대한 탐지 정확도를 평가하였다. [그림 2]의 결과 그래프에서와 같이 원본 이미지를 포함한 다양한 열화 상황의 이미지들을 입력으로 하였을 때, WPOD-NET의 탐지 정확도를 확인할 수 있었다.

Fig. 2. Analysis of detection accuracy of WPOD-NET in various situations

정확도 분석 그래프를 살펴보면, WPOD-NET이 [9] 에서 제안된 목적에 맞게 회전된 형태로 촬영된 차량 번호판을 원본 이미지보다 더 높은 정확도로 인식한 것을 확인할 수 있다. 하지만, [9]에서 제시한 목표 성능보다 상대적으로 낮은 탐지 정확도인 81.53%를 갖는 것으로 분석되었고 특히 원본 이미지에 대해서는 76.47%의 정확도를 보였기 때문에 국내의 실제 도로 환경에 적용하여 사용하기에는 아직 많은 개선이 필요함을 확인하였다. 이를 통해, WPOD-NET의 정확도 증진을 위해서는 원본 이미지와 기울어진 촬영 각도로 인해 회전된 이미지를 대상으로 WPOD-NET의 탐지 정확도에 대해 분석하고 이를 개선하기 위한 추가 연구가 필요함을 확인하였다.

III. The Proposed Scheme

3.1 Detailed analysis of vehicle license plate detector WPOD-NET

최근에 제안된 WPOD-NET이 국내의 실제 도로 환경에 적용하여 사용하기에 부족하다는 기존 연구 결과에 따라 개선 방안을 마련하기 위해서 우선 WPOD-NET의 차량 번호판 탐지 과정을 분석하였다. WPOD-NET을 이용하는 차량 번호판 탐지 과정을 살펴보면, [그림 1]에 표시된 것과 같이 실시간 객체 인식 기법인 Yolo_v2[13]를 이용하여 입력 이미지내의 차량을 검출하는 전처리 과정을 먼저 실시한다. 이는 전처리 과정에서 차량 검출을 실패한 경우에만 WPOD-NET이 전체 입력 이미지를 대상으로 차량 번호판 탐지를 시도하고 차량 검출을 성공한 경우에는 WPOD-NET이 검출된 차량의 이미지 영역에만 공간적으로 집중하여 차량 번호판을 탐지하도록 하기 위함이다. WPOD-NET이 출력하는 특징 맵의 크기가 (M, N)으로 같은 경우에, 특징 맵의 한 셀이 커버하는 영역의 크기가 입력 이미지의 크기에 비례하기 때문에 입력 이미지의 크기가 커지면 번호판 이외의 정보가 잡음으로 포함되어 정확한 차량 번호판 탐지를 방해할 수도 있게 된다. 따라서 차량 번호판을 정확하게 포함하고 있는 영역을 공간적으로 집중해서 WPOD-NET이 기울어진 번호판까지 탐지할 수 있도록 하는 것이 중요하다.

차량 번호판 탐지를 위한 공간적 집중을 최적으로 설정하는 경우에 탐지 정확도가 어떻게 개선되는지 확인하기 위해 차량 번호판 GT 데이터를 기준으로 수작업을 통해 최적의 공간 집중 영역을 설정하여 WPOD-NET으로 차량 번호판 탐지를 하는 경우의 탐지 정확도를 분석하였다. 여기서 차량 번호판 GT 데이터를 기준으로 수작업을 통해 설정한 최적의 공간 집중 영역은 해당 차량 번호판을 포함하고 있는 208x208 크기의 이미지 영역을 의미하며, 이 크기는 WPOD-NET을 학습시키는 과정에서 학습 데이터 세트에 추가된(augmented) 이미지의 기본 크기이다. 이렇게 차량 번호판 GT 데이터를 기준으로 설정한 최적의 공간 집중 영역만을 대상으로 차량 번호판을 탐지하는 경우와 기존 Yolo_v2로 검출한 차량 영역을 대상으로 차량 번호판 탐지를 하는 경우의 탐지 정확도를 비교 분석하였다. 본 실험에서 회전 각도에 따른 차량 번호판 탐지의 정확성을 분석하기 위해서 원본 이미지를 시계방향과 반 시계 방향으로 각각 10도, 20도 회전시킨 경우로 구분하여 비교하였으며, 탐지 여부를 판단하는 기준으로는 [11] 에서와 마찬가지로 IoU(Intersection of Union)가 0.5 이상인 경우에만 탐지된 경우로 분류하였다.

[그림 3]은 GT 데이터 기준으로 최적의 공간 집중 영역을 수작업으로 설정하여 차량 번호판을 탐지한 경우의 탐지 정확도와 기존 WPOD-NET에 따라 차량 번호판을 탐지한 탐지 정확도를 비교한 그래프이다. 결과 그래프를 보면 이론적으로 예상한 바와 같이 차량 번호판의 GT 데이터를 기준으로 최적의 공간 집중 영역을 수작업으로 설정한 경우가 [9]에서 제시한 대로 실시간 객체 인식 기법인 Yolo_v2만을 이용하여 검출한 차량 영역을 대상으로 한 경우보다 차량 번호판 탐지 정확도가 최소 11%에서부터 최대로 23%까지 우수한 결과를 얻은 것을 확인할 수 있다. 이는 [9]에서 제시한 기존 WPOD-NET이 차량 번호판탐지를 위해 불필요한 영역을 많이 포함하기 때문에 탐지정확도가 많이 희생된다는 것을 확인한 것이다. 따라서 기존 WPOD-NET이 탐지하는 이미지 영역을 최적으로 줄일 수 있도록 공간 집중 영역을 결정하는 과정을 추가할 필요가 있음을 확인하였다.

Fig. 3. Accuracy comparison according to vehicle license plate detection process

3.2 Vehicle license plate detection model using spatial attentions

3.2.1. Vehicle license plate detection based on spatial attention regions

앞 절에서 설명한 대로 기존 WPOD-NET 처리 과정에서 최적에 가까운 공간적 집중 영역을 결정하여 차량 번호판을 탐지하기 위해 [그림 4]와 같이 차량 번호판의 후보 지역을 공간 집중 영역으로 이용하는 차량 번호판 탐지 모델을 제안하였다. 이 모델은 차량 번호판 탐지 과정에서 입력 이미지에서 불필요한 영역을 배제하고 차량 번호판이 존재할 것 같은 후보 영역에 초점을 맞추기 위한 기법으로, 차량을 탐지하는 전처리과정 이 후에 차량 번호판 후보 영역을 파악하고 공간 집중 영역으로 삼는 과정을 추가하여 탐지 정확도를 개선하고자 하였다. 이 과정에서는 정확도가 높은 객체탐지기를 이용함으로써 차량 번호판이 존재하는 후보 영역을 찾아내고, 해당 영역을 중심으로 208x208 크기로 잘라내어 공간적 집중 영역으로 삼는 과정을 진행하였다. 이 후, 잘라낸 영역에 대해서 임의의 사각형 형태의 차량 번호판 탐지가 가능한 WPOD-NET을 이용하여 차량 번호판 탐지를 진행하는 과정을 갖는다. 반면, 차량 번호판이 존재하는 후보 영역을 탐지하지 못한 경우에는 이전 단계의 차량 이미지 영역 또는 전체 이미지를 대상으로 WPOD-NET에서 제시한 방법과 동일하게 차량 번호판 탐지를 진행한다.

Fig. 4. Vehicle license plate detection scheme using spatial attention regions

3.2.2. Method for determining spatial attention regions

본 논문에서 제안하는 개선된 차량 번호판 탐지 기법을 성공적으로 실현하기 위해서는 차량 번호판 후보 영역을 파악하고 공간적 집중 영역을 삼는 두 번째 단계가 중요하다. 이러한 두 번째 단계에서는 전체 입력 이미지 또는 차량 이미지 영역에서 차량 번호판이 포함될 것 같은 영역에 공간적 집중하기 위해 직사각형 형태로 차량 번호판 후보를 정확하게 검출할 방법이 필요하다. 따라서 최근 딥러닝 구조를 이용하는 실시간 객체 추출 분야에 자주 사용되는 모델인 Yolo_v3[14], Faster R-CNN[15], Yolo_v4[16]를 후보로 하여 정확도 비교 실험을 진행함으로써 차량 번호판 후보 영역을 찾기 위한 모델을 선정하였다.

각 모델에 대해 동일한 이미지 세트를 이용하여 모델 학습을 진행하기 위해 국내 CCTV에서 촬영된 932장의 흑백 이미지와 2, 018장의 컬러 이미지로부터 Yolo_v2를 이용해 차량을 탐지하고, 탐지된 1, 575장의 이미지에 대해 차량 번호판 영역을 수작업으로 태깅함으로써 학습데이터를 구축하였다. 이 후, [11]에서 사용한 국내 실제 도로 환경에서 취득한 원본 이미지와 기울어진 촬영 각도로 인해 회전된 형태로 촬영된 차량의 번호판을 묘사한 회전 이미지를 대상으로 각 모델의 정확도를 평가하였다. [표 1]은 각 모델에 대한 열화 상황별 정확도 평가 결과를 보여준다.

Table 1. Accuracy comparison of candidate models for determining spatial attention regions

[표 1]의 결과에 따르면 Yolo_v3의 정확도가 가장 높은 것을 확인할 수 있다. 이는, Yolo_v3이 최근에 성능을 개선하여 등장한 Yolo_v4보다 성능이 우수하게 분석된 경우이므로 원인 분석을 하기 위해 Yolo_v4보다 정확도가 높은 시계 방향과 반시계 방향으로 10도 회전한 이미지에 대해 탐지 판단 기준을 IoU≥0.5에서 0.4로 낮추어서 추가분석을 진행하였다. IoU가 0에 가깝다는 것은 두 영역이 겹치는 부분이 없다는 의미이고 반대로 1에 가깝다는 것은 두 영역이 겹치는 부분이 많음을 의미한다. 따라서 기준을 0.5에서 0.4로 변경하면 두 방법에서 모두 정확도가 증가하지만 [표 2]에 보이는 바와 같이 두 경우의 정확도 차이가 Yolo_v3이 더 작기 때문에 이는 Yolo_v3이 Yolo_v4 보다 차량 번호판 후보 영역을 좀 더 타이트하게 검출할 수 있음을 의미한다.

Table 2. Accuracy comparison of Yolo_v3 and Yolo_v4 according to IoU

최종적으로, 자동차 번호판 후보 영역을 좀 더 타이트하게 탐지하는 Yolo_v3이 불필요한 영역을 더 적게 포함시킬뿐만 아니라 객체 탐지 모델 간 정확도 비교 실험에서도 가장 우수한 성능을 보여주었기 때문에 차량 번호판 후보영역을 찾기 위한 모델로써, Yolo_v3을 선정하였다.

3.2.3. Improved vehicle license plate detection pipeline model

차량 번호판 후보 영역을 찾기 위한 모델로써 선정된 Yolo_v3을 이용하여 [그림 5]와 같은 구조를 갖는 개선된 차량 번호판 탐지 파이프라인 모델을 구성하였다.

Fig. 5. Structure of an improved vehicle license plate detection pipeline model

각 과정을 살펴보면, 먼저 첫 번째 단계로써 기존 WPOD-NET 과정과 마찬가지로 빠른 속도와 높은 정밀도 및 재현율을 기준으로 선정한 Yolo_v2 기반의 차량 탐지 모듈을 이용하여 입력 이미지로부터 차량을 탐지하는 과정을 진행한다. 이 과정에서 차량을 찾은 경우 발견된 차량의 RoI를 토대로 이미지를 잘라내어 사용하고, 반대로 차량을 찾지 못한 경우에는 입력으로 받은 전체 이미지를 그대로 사용한다. 두 번째 단계에서는 차량 이미지 혹은 전체 이미지에 대해 번호판 탐지시 불필요한 영역을 배제하고 공간적 집중 영역을 삼기 위하여 Yolo_v3를 이용해 번호판이 존재할 것 같은 후보 영역을 찾는다. 여기서 번호판이 존재할 것 같은 후보 영역을 찾은 경우 해당 영역을 중심으로 208x208 크기의 공간적 집중 영역을 설정하여 사용하고, 반대로 번호판의 후보 영역을 찾지 못한 경우에는 이전 단계에서 입력 이미지로 건네준 차량 이미지 혹은 전체 이미지를 사용한다. 그 후, 마지막 단계로는 이전 단계를 통해 입력으로 받은 208x208 크기의 공간적 집중 영역 이미지 혹은 차량 이미지 혹은 전체 이미지에 대해 임의의 사각형 형태의 차량 번호판 탐지가 가능한 WPOD-NET을 이용하여 차량 번호판 탐지를 진행한다. 위의 과정 중 Yolo_v3을 이용해 차량 번호판 후보 영역을 파악하고 공간적 집중 영역으로 삼기위해 잘라내는 과정에서, 원본 이미지의 크기를 벗어나는 부분은 검은색 바탕으로 표시하였고, 차량 번호판 영역의 가로 혹은 세로의 길이가 208을 넘어가게 되는 경우, 해당 길이만큼 정사각형 형태로 공간적 집중 영역을 잘라낸 뒤, 208x208 크기로 변경하여 공간적 집중 영역을 사용하였다.

IV. Experiments

본 절에서는 Yolo_v3을 이용하여 자동차 번호판 후보 지역을 검출하고 공간 집중 영역으로 삼아 번호판을 탐지하는 제안 기법과 기존 WPOD-NET 이용 방법에서처럼 검출된 차량 영역을 집중 영역으로 삼는 방법, 그리고 최적의 공간 집중 영역을 설정하기 위해 자동차 번호판의 GT 데이터를 기준으로 수작업을 통해 설정한 영역만을 입력으로 한 경우에 대해 차량 번호판 탐지 정확도를 함께 비교하였다. 다음 [표 3]에서는 실험에 사용된 환경을 보여준다.

Table 3. Experiment environments

이를 이용하여 WPOD-NET이 넓은 영역에서 차량 번호판을 탐지하기 때문에 희생했던 탐지 정확도를 개선된 차량 번호판 탐지 파이프라인 모델이 어느 정도 만회하는지를 GT 데이터로 설정한 최적의 공간 집중 영역만을 이용하는 경우를 비교의 기준으로 삼아서 분석하였다.

먼저, 개선된 차량 번호판 탐지 파이프라인 모델의 탐지정확도 분석을 위해 앞의 실험에서와 같이, [11]에서 사용한 국내 실제 도로에서 취득한 원본 이미지 세트와 기울어진 촬영 각도를 묘사한 회전 이미지 세트를 이용하여 정확도 평가를 진행하였으며 탐지 여부의 판정도 [11] 에서와같이 IoU가 0.5 이상인 탐지 결과에 대해서 차량 번호판을 탐지한 것으로 분류하였다.

[그림 6]의 그래프는 공간 집중의 효과를 평가하기 위한 차량 번호판 탐지 과정별 정확도를 비교한 결과로써, 결과를 살펴보면, 실시간 객체 인식 모델인 Yolo_v3을 이용하여 차량 번호판 후보를 검출하고 공간 집중 영역으로 삼는 제안된 방법이 차량 번호판 GT 데이터를 기준으로 수작업을 통해 최적의 공간 집중 영역을 설정한 방법보다 탐지 정확도가 낮지만, 차량 검출 영역을 공간 집중 영역으로 사용하는 기존 WPOD-NET의 탐지 정확도보다는 더 높은 것을 확인할 수 있다. 특히, 원본 이미지 세트에 대해서는 제안한 방법이 기존 WPOD-NET의 탐지 정확도보다 약 20%로 많은 성능개선을 이루어졌음을 확인할 수 있다. 이는 GT 데이터를 기반으로 탐지한 과정의 정확도와 2% 차이로써 정확도가 희생되는 문제점을 많이 보완한 것을 알 수 있다.

Fig. 6. Accuracy analysis graph of vehicle license plate detection schemes to evaluate the effect of spatial attentions

반대로, 원본 이미지 세트와는 다르게 기울어진 촬영 각도를 묘사한 회전 이미지 세트에 대해서는 회전이 심한 데이터일수록 개선이 많이 이루어지지 못한 것을 확인할 수 있다. 특히, 시계방향 20도, 반시계방향 20도로 회전한 이미지 세트에 대해 성능을 보게 되면, 기존 WPOD-NET와 비슷한 성능을 보임으로써 개선이 많이 이루어지지 않았음을 확인할 수 있다. 이는, Yolo_v3이 회전 이미지에서 차량 번호판 후보를 잘 탐지하지 못하기 때문에 Yolo_v3이 탐지하지 못한 이미지에 대해서는 기존 WPOD-NET의 차량 번호판 탐지과정과 동일하므로 개선이 이루어지지 않음을 확인하였다.

따라서 더 많은 정확도 개선을 위해서는 회전 정도에 구애받지 않고 공간적 집중 영역 파악이 가능하도록 공간적 집중 영역을 선정하는 모델에 대한 개선이 필요하다.

V. Conclusions

본 논문에서는 실제 도로 환경의 다양한 상황에서도 차량 번호판을 정확하게 탐지하는 딥러닝 모델을 제안하기 위해 차량 번호판의 후보 지역을 공간 집중 영역으로 사용하는 차량 번호판 탐지 파이프라인 모델을 제안하였다. 제안된 파이프라인 모델은 기존 WPOD-NET의 전처리 과정에서 검출된 차량 영역을 공간 집중 영역으로 삼기 때문에 불필요한 영역이 많이 포함되어 탐지를 방해하는 경우를 줄이기 위해서 실시간 객체 탐지 모델로 자동차 번호판 후보 지역을 검출하고 공간 집중 영역으로 이용함으로써 탐지 정확도를 개선하였다. 본 논문에서 제안한 차량 번호판 후보 영역을 공간 집중 영역으로 이용하는 차량 번호판 탐지 방법이 기존 WPOD-NET으로 인해 넓은 영역에서 차량 번호판을 탐지하기 때문에 희생했던 탐지 정확도를 어느 정도 만회하는지를 분석하기 위해서 차량 번호판의 GT 데이터를 기준으로 수작업을 통해 설정한 최적의 공간 집중 영역만을 이용하는 경우와 함께 탐지 정확도를 분석하였다. 실험 결과에 의하면 제안된 차량 번호판 탐지 파이프라인 모델이 실시간 객체 인식 모델인 Yolo_v3을 이용하여 차량 번호판 후보를 검출하고 공간 집중 영역으로 삼기 때문에 차량 번호판 GT 데이터를 기준으로 수작업을 통해 최적의 공간 집중 영역을 설정한 방법보다 탐지 정확도가 낮지만, 차량 검출 영역을 공간 집중 영역으로 사용하는 기존 WPOD-NET의 탐지 정확도보다는 약 20% 더 높은 것을 확인하였다. 이를 통해, 정확도가 희생되었던 기존 WPOD-NET의 문제점을 보완하고 탐지 정확도를 증진시킨 것을 확인할 수 있었다. 하지만, 최적의 공간 집중영역을 사용하는 경우를 기준으로 판단하였을 때 촬영 각도의 회전 정도가 심해질수록 탐지 정확도의 개선 정도가 낮아지므로 더 많은 정확도 개선을 위해서는 회전 정도에 구애받지 않고 공간적 집중 영역을 파악할 수 있는 방법으로의 개선이 필요함을 확인하였다.

향후 계획으로는 현재 구상한 차량 번호판 탐지 모델을 더 개선하고, End-to-End 학습이 가능하도록 구축한 뒤, 실제 도로 환경에서 제한 없이 차량 번호판을 탐지할 수 있도록 구축한 모델을 개발할 예정이다.