Journal of IKEEE (전기전자학회논문지)

Institute of Korean Electrical and Electronics Engineers (한국전기전자학회)
권호 표지
DOI QR코드

DOI QR Code

License Plate Detection and Recognition Algorithm using Deep Learning

딥러닝을 이용한 번호판 검출과 인식 알고리즘

  • Kim, Jung-Hwan (Dept. of Electronic Engineering, Hanyang University) ;
  • Lim, Joonhong (Dept. of Electronic Engineering, Hanyang University)
  • Received : 2019.06.04
  • Accepted : 2019.06.26
  • Published : 2019.06.30
Download PDF
⟨ Previous Next ⟩

Abstract

One of the most important research topics on intelligent transportation systems in recent years is detecting and recognizing a license plate. The license plate has a unique identification data on vehicle information. The existing vehicle traffic control system is based on a stop and uses a loop coil as a method of vehicle entrance/exit recognition. The method has the disadvantage of causing traffic jams and rising maintenance costs. We propose to exploit differential image of camera background instead of loop coil as an entrance/exit recognition method of vehicles. After entrance/exit recognition, we detect the candidate images of license plate using the morphological characteristics. The license plate can finally be detected using SVM(Support Vector Machine). Letter and numbers of the detected license plate are recognized using CNN(Convolutional Neural Network). The experimental results show that the proposed algorithm has a higher recognition rate than the existing license plate recognition algorithm.

최근 지능형 교통관제 시스템에 관한 다양한 연구가 진행되고 있는 가운데 번호판 검출과 인식 알고리즘은 가장 중요한 요소 중에 하나로 대두되고 있다. 번호판은 차량의 고유 식별값을 가지고 있기 때문이다. 기존의 차량 통행 관제 시스템은 정차를 기반으로 하고 있으며 차량의 입출입 인식 방법으로 루프 코일을 사용하고 있다. 이러한 방법은 교통 정체를 유발하고 유지보수 비용이 상승하는 단점을 가지고 있다. 본 논문에서는 이러한 문제점을 해결하기 위해서 차량의 입출입 인식 방법으로 카메라 영상을 사용한다. 차량 통행 관제 시스템의 특성상 카메라가 고정되어 있다. 이에 차량이 접근하면 카메라의 배경화면이 달라진다. 이 특징을 이용하여 배경화면의 차분영상을 구하면 차량의 입출입을 인식할 수 있다. 입출입 인식 후 한국 번호판의 형태학적 특성을 이용하여 후보 이미지를 추정한다. 그리고 선형 SVM(Support Vector Machine)을 이용해서 최종 번호판을 검출한다. 검출한 번호판의 글자와 숫자 인식 방법으로는 CNN(Convolutional Neural Network) 알고리즘을 사용한다. 제안한 알고리즘은 기존의 시스템과 달리 검출 위치를 기준으로 글자와 숫자를 인식하기 때문에 번호판의 규격이 변해도 인식할 수 있다. 실험한 결과 기존의 번호판 인식 알고리즘들 보다 제안한 알고리즘이 더 높은 인식률을 가진다.

Keywords

JGGJB@_2019_v23n2_642_f0001.png 이미지

Fig. 1. The traffic control system based on vehicle stop. 그림 1. 차량 정차 기반의 통행 관제 시스템

JGGJB@_2019_v23n2_642_f0002.png 이미지

Fig. 2. License plate detection and recognition algorithm. 그림 2. 차량 번호판 검출 및 인식 알고리즘

JGGJB@_2019_v23n2_642_f0003.png 이미지

Fig. 3. Korean License plate specification. 그림 3. 한국 차량 번호판 규격

JGGJB@_2019_v23n2_642_f0004.png 이미지

Fig. 4. Affine transformation of License plate. 그림 4. 차량 번호판의 Affine 변환

JGGJB@_2019_v23n2_642_f0005.png 이미지

Fig. 5. Non-optimal linear classifier and SVM classifier. 그림 5. 비최적 선형 분류기 및 선형 SVM 분류기

JGGJB@_2019_v23n2_642_f0006.png 이미지

Fig. 6. Otsu and adaptive threshold. 그림 6. 외부 환경에 강인한 적응형 이진화 알고리즘

JGGJB@_2019_v23n2_642_f0007.png 이미지

Fig. 7. Individual division of number and letter.그림 7. 숫자와 문자의 개별 영역분할

JGGJB@_2019_v23n2_642_f0008.png 이미지

Fig. 8. Skeletonization processing result. 그림 8. 골격화 처리 결과

JGGJB@_2019_v23n2_642_f0009.png 이미지

Fig. 9. CNN structure designed for license plate recognition. 그림 9. 번호판 인식을 위해 설계한 CNN 구조

JGGJB@_2019_v23n2_642_f0010.png 이미지

Fig. 10. Activation function comparison graph. 그림 10. 활성화 함수 비교 그래프

JGGJB@_2019_v23n2_642_f0011.png 이미지

Fig. 11. Pooling method comparison. 그림 11. 풀링 기법 비교

JGGJB@_2019_v23n2_642_f0012.png 이미지

Fig. 12. Neural network using dropout method. 그림 12. 드롭아웃 방법을 이용한 신경망

JGGJB@_2019_v23n2_642_f0013.png 이미지

Fig. 13. Experimental results of vehicle recognition and license plate detection and recognition. 그림 13. 차량 인식과 번호판 검출 및 인식 실험 결과

JGGJB@_2019_v23n2_642_f0014.png 이미지

Fig. 14. Haar-like feature patterns. 그림 14. Haar-like feature 무늬

JGGJB@_2019_v23n2_642_f0015.png 이미지

Fig. 15. Recurrent Neural Networks for License Plate. 그림 15. 번호판 인식을 위한 순환 신경망

Table 1. ehicle traffic control system specification. 표 1. 차량 통행 관제 시스템 사양

JGGJB@_2019_v23n2_642_t0001.png 이미지

Table 2. License plate recognition algorithms comparison. 표 2. 번호판 인식 알고리즘들 비교

JGGJB@_2019_v23n2_642_t0002.png 이미지

References

  1. S. Sheik Mohammed Ali, Boby George, Lelitha Vanajakshi, "An Efficient Multiple-Loop Sensor Configuration Applicable for Undisciplined Traffic," IEEE Transactions on Intelligent Transportation Systems, vol.14, no.3, pp.1151-1161, 2013. DOI: 10.1109/TITS.2013.2255038
  2. Jung-Hwan Kim, Sun-Kyu Kim, Sanghyuk Lee, Tae-Min Lee, Joonhong Lim, "License plate detection and recognition algorithm for vehicle black box," 2017 International Automatic Control Conference, 2017. DOI: 10.1109/CACS.2017.8284273
  3. Zied Selmi, Mohamed Ben Halima, Adel M. Alimi, "Deep Learning System for Automatic License Plate Detection and Recognition," 14th IAPR International Conference on Document Analysis and Recognition, pp.2379-2140, 2017. DOI: 10.1109/ICDAR.2017.187
  4. SeungHyun Park, Seongwon Cho, "A Car Plate Area Detection System Using Deep Convolution Neural Network," Smart Media Journal, vol.5, no.1, pp.15-23, 2016. DOI: 10.9717/kmms.2017.20.8.1166
  5. Byeong-jun Kim, Dong-hoon Kim, Joonwhoan Lee, "An Improved License Plate Recognition Technique in Outdoor Imaeg," Jurnal of Korea Multimedia Society, vol.26, no.5, pp.423-431, 2016. DOI: 10.5391/JKIIS.2016.26.5.423
  6. Yun Yang, Donghai Li, Zongtao Duan, "Chinese vehicle license plate recognition using kernel-based extreme learning machine with deep convolutional features," IET Intelligent Transport Systems, vol.12, no.3, pp.213-219, 2018. DOI: 10.1049/iet-its.2017.0136
  7. Yunju Jeong, Israfil Ansari, Jaechang Shim, Jeonghwan Lee, "A Car Plate Area Detection System Using Deep Convolution Neural Network," Jurnal of Korea Multimedia Society, vol.20, no.8, pp.1166-1174, 2017.
  8. Ian Goodfellow, Yoshua Bengio, Aaron Courville, Deep Learning-Adaptive Computation and Machine Learning, MIT Press, 2016.
  9. Rahul R. Palekar, Sushant U. Parab, Dhrumil P. Parikh, Vijaya N. Kamble, "Real time license plate detection using openCV and tesseract," 2017 International Conference on Communication and Signal Processing, pp.2111-2115, 2017. DOI: 10.1109/ICCSP.2017.8286778
  10. Kuan Zheng, Yuanxing Zhao, Jing Gu, Qingmao Hu, "License plate detection using Haar-like features and histogram of oriented gradients," 2012 IEEE International Symposium on Industrial Electronics, pp.1502-1505, 2012. DOI: 10.1109/ISIE.2012.6237313
  11. Jingjing Zhang, Yuanyuan Li, Teng Li, Lina Xun, Caifeng Shan, "License Plate Localization in Unconstrained Scenes Using a Two-Stage CNN-RNN," IEEE Sensors Journal, vol.19, no.13, pp.5256-5265, 2019. DOI: 10.1109/JSEN.2019.2900257

Cited by

  1. 가상 데이터를 활용한 번호판 문자 인식 및 차종 인식 시스템 제안 vol.25, pp.5, 2019, https://doi.org/10.5909/jbe.2020.25.5.776
  2. 밝기 변화에 강인한 적대적 음영 생성 및 훈련 글자 인식 알고리즘 vol.16, pp.3, 2019, https://doi.org/10.7746/jkros.2021.16.3.276