The Journal of The Korea Institute of Intelligent Transport Systems (한국ITS학회 논문지)

The Korea Institute of Intelligent Transport Systems (한국ITS학회)
권호 표지
DOI QR코드

DOI QR Code

Application of Deep Learning-based Object Detection and Distance Estimation Algorithms for Driving to Urban Area

도심로 주행을 위한 딥러닝 기반 객체 검출 및 거리 추정 알고리즘 적용

  • Seo, Juyeong (Dept. of Electronics, Korea National Univ. of Transportation) ;
  • Park, Manbok (Dept. of Electronics, Korea National Univ. of Transportation)
  • 서주영 (한국교통대학교 전자공학과) ;
  • 박만복 (한국교통대학교 전자공학과)
  • Received : 2021.12.17
  • Accepted : 2022.06.13
  • Published : 2022.06.30
Download PDF
⟨ Previous Next ⟩

Abstract

This paper proposes a system that performs object detection and distance estimation for application to autonomous vehicles. Object detection is performed by a network that adjusts the split grid to the input image ratio using the characteristics of the recently actively used deep learning model YOLOv4, and is trained to a custom dataset. The distance to the detected object is estimated using a bounding box and homography. As a result of the experiment, the proposed method improved in overall detection performance and processing speed close to real-time. Compared to the existing YOLOv4, the total mAP of the proposed method increased by 4.03%. The accuracy of object recognition such as pedestrians, vehicles, construction sites, and PE drums, which frequently occur when driving to the city center, has been improved. The processing speed is approximately 55 FPS. The average of the distance estimation error was 5.25m in the X coordinate and 0.97m in the Y coordinate.

본 논문은 자율주행 차량 적용을 위한 객체 검출과 거리 추정을 수행하는 시스템을 제안한다. 객체 검출은 최근 활발하게 사용되는 딥러닝 모델 YOLOv4의 특성을 이용해서 입력 이미지 비율에 맞춰 분할 grid를 조정하고 자체 데이터셋으로 전이학습된 네트워크로 수행한다. 검출된 객체까지의 거리는 bounding box와 homography를 이용해 추정한다. 실험 결과 제안하는 방법에서 전반적인 검출 성능 향상과 실시간에 가까운 처리 속도를 보였다. 기존 YOLOv4 대비 전체 mAP는 4.03% 증가했다. 도심로 주행시 빈출하는 보행자, 차량 및 공사장 고깔(cone), PE드럼(drum) 등의 객체 인식 정확도가 향상되었다. 처리 속도는 약 55 FPS이다. 거리 추정 오차는 X 좌표 평균 약 5.25m, Y 좌표 평균 0.97m으로 나타났다.

Keywords

Acknowledgement

본 논문은 산업통상자원부가 지원한 '자율주행기술개발혁신사업'의 지원을 받아 수행된 연구 결과입니다. [과제명: Lv.4 자율주행시스템의 FailOperational 기술개발 / 과제번호: 20018055]. 본 연구는 국토교통부/국토교통과학기술진흥원의 지원으로 수행되었음(과제번호 22AMDP-C160501-02). 또한 이 연구는 2022년도산업통상자원부가 지원한 '자율주행기술개발혁신사업'의 지원을 받아 수행된 연구 결과입니다. [과제명 : 수요응답형 자동발렛주차 및 서비스 기술 개발 / 과제번호 : 20018448]

References

  1. Bochkovskiy, A., Wang, C. Y. and Liao, H. Y. M.(2020), Yolov4: Optimal speed and accuracy of object detection, arXiv preprint arXiv:2004.10934.
  2. Cao, Y., Wu, Z. and Shen, C.(2018), "Estimating Depth from Monocular Images as Classification Using Deep Fully Convolutional Residual Networks", IEEE Transactions on Circuits and Systems for Video Technology, vol. 28, no. 11, pp.3174-3182. https://doi.org/10.1109/tcsvt.2017.2740321
  3. Elzayat, I. M., Ahmed, S. M., Mostafa, M. M., Mahmoud, H. R., El Munim, H. A., Ghoneima, M., Darweesh, M. S. and Mostafa, H.(2018), "Real-Time Car Detection-Based Depth Estimation Using Mono Camera", 30th International Conference on Microelectronics(ICM), IEEE, pp.248-251.
  4. Kriegman, D.(2007), "Homography estimation", Lecture Computer Vision I, Computer Science Engineering(CSE), p.a 252.
  5. Long, X., Deng, K., Wang, G., Zhang, Y., Dang, Q., Gao, Y., Shen, H., Ren, J., Han, S., Ding, E. and Wen, S.(2020), PP-YOLO: An effective and efficient implementation of object detector, arXiv preprint arXiv:2007.12099.
  6. Pan, S. J. and Yang, Q.(2010), "A Survey on Transfer Learning", IEEE Transactions on Knowledge and Data Engineering, vol. 22, no. 10, pp.1345-1359. https://doi.org/10.1109/TKDE.2009.191
  7. Redmon, J. and Farhadi, A.(2018), YOLOv3: An Incremental Improvement, arXiv preprint arXiv:1804.02767.
  8. Redmon, J., Divvala, S., Girshick, R. and Farhadi, A.(2016), "You only look once: Unified, real-time object detection", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.779-788.
  9. Zhang, Y., Li, X., Wang, F., Wei, B. and Li, L.(2021), "A Comprehensive Review of One-stage Networks for Object Detection", 2021 IEEE International Conference on Signal Processing, Communications and Computing (ICSPCC), 1-6.