DOI QR코드

DOI QR Code

Development of Deep Learning Model for Detecting Road Cracks Based on Drone Image Data

드론 촬영 이미지 데이터를 기반으로 한 도로 균열 탐지 딥러닝 모델 개발

  • 권영주 (서울과학기술대학교 일반대학원 건설시스템공학과) ;
  • 문성호 (서울과학기술대학교 일반대학원 건설시스템공학과)
  • Received : 2023.02.17
  • Accepted : 2023.06.05
  • Published : 2023.06.30

Abstract

Drones are used in various fields, including land survey, transportation, forestry/agriculture, marine, environment, disaster prevention, water resources, cultural assets, and construction, as their industrial importance and market size have increased. In this study, image data for deep learning was collected using a mavic3 drone capturing images at a shooting altitude was 20 m with ×7 magnification. Swin Transformer and UperNet were employed as the backbone and architecture of the deep learning model. About 800 sheets of labeled data were augmented to increase the amount of data. The learning process encompassed three rounds. The Cross-Entropy loss function was used in the first and second learning; the Tversky loss function was used in the third learning. In the future, when the crack detection model is advanced through convergence with the Internet of Things (IoT) through additional research, it will be possible to detect patching or potholes. In addition, it is expected that real-time detection tasks of drones can quickly secure the detection of pavement maintenance sections.

드론은 국토조사, 수송, 해양, 환경, 방재, 문화재, 건설 등 다양한 분야에서 활용되고 있다. 또한 사물인터넷(Internet of Things), 인공지능(Artificial Intelligence) 등과 관련하여 4차 산업 혁명의 핵심기술을 검증하고 적용시킬 수 있는 기술로 떠오르고 있다. 본 연구에서는 드론을 활용하여 균열을 자동으로 탐지할 수 있는 딥러닝 모델을 개발하고자 한다. 딥러닝 학습을 위한 이미지 데이터는 Mavic3 드론을 이용하여 수집하였고 촬영고도는 20m, ×7배율로 촬영하였다. 촬영 시 약 2m/s의 속도로 전진하여 영상을 찍고, 프레임을 추출하는 식으로 데이터를 수집하였다. 이런식으로 수집한 데이터를 통해 딥러닝 학습을 진행하였다. 본 연구에서는 딥러닝 학습모델로 Backbone으로는 Swin Transformer, Architecture로 UperNet을 사용하였다. 약 800장의 라벨링 된 데이터를 Augmentation기법으로 데이터 양을 증가시키고 3차에 걸쳐 학습을 진행하였다. 1차와 2차 학습 시 Cross-Entropy loss function을 사용하였고 3차 학습 시 Tversky Loss Function을 사용하였다. 학습결과, 균열 탐지와 균열율을 계산할 수 있는 모델을 개발하였다. 또한, 드론의 위치 정보를 이용해 특정 도로의 한 차선 균열율을 계산할 수 있는 모델을 개발하였다. 향후 추가적인 연구를 통하여 균열탐지모델의 고도화를 사물인터넷(IoT)과의 융합으로 이루었을 때 소파보수(Patching)나 포트홀(Pothole)의 탐지가 가능할 것으로 보인다. 또한 드론의 실시간 탐지 업무수행으로 포장 유지 보수구간에 대한 탐지를 신속하게 확보할 수 있을것으로 기대된다.

Keywords

References

  1. 김담륭(2020), "드론을 활용한 도로포장 평탄성 조사에 관한 연구", 석사학위논문, 서울과학기술대학교.
  2. 성진욱.정기성(2021), "신경망분석을 활용한 비주택 고령자 1인 가구의 공유주택 거주의향에 미치는 중요 요인 분석", 「LHI Journal」, 12(1): 57~68.
  3. 한국건설기술연구원(2017). "무인항공기를 활용한 도로관리 효율화 방안 최종보고서", 경기.
  4. Guo, F., Y. Qian, J. Liu and H. Yu (20 22), "Pavement crack detection based on transformer network", Automation in Construction, 145, 104646.
  5. Lin, T., P. Dollar, R. Girshick, K. He, B. Hariharan and S. Belongie (2017), "Feature Pyramid Networks for Object Detection", IEEE Conference on Computer Vision and Pattern Recognition, 2117~2125.
  6. Liu, Z., Y. Lin, Y. Cao, H. Hu, Y. Wei, Z. Zhang, S. Lin and B. Guo (2021), "Swin Transformer: Hierarchical Vision Transformer using Shifted Windows", 2021 IEEE/CVF International Conference on Computer Vision, 9992~10002.
  7. Ren, S., K. He, R. Girshick and J. Sun (2017), "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(6), 1137~1149. https://doi.org/10.1109/TPAMI.2016.2577031
  8. Salehi, S., D. Erdogmus and A. Gholipour (2017), "Tversky Loss Function for Image Segmentation using 3D Fully Convolutional Deep Networks", Machine Learning in Medical Imaging, 10541, 379~387. https://doi.org/10.1007/978-3-319-67389-9_44
  9. Shrivastava, A., A. Gupta and R. Girshick (2016), "Training Region-based Object Detectors with Online Hard Example Mining", Computer Vision and Pattern Recognition, 761~769.
  10. Xiao, T., Y. Liu, B. Zhou, Y. Jiang and J. Sun (2018), "Unified Perceptual Parsing for Scene Understanding", Lecture Nottes in Computer Science, 11209, 432~448.
  11. Zaimis, U. (2019). "Use of Drone Based It System for Road Pothole Detection and Volume Calculation", Industry 4.0, 4(5), 223~227.
  12. Zhang, C. and A. Elaksher (2012). "An Unmanned Aerial Vehicle-based Imaging System for 3D Measurement of Unpaved Road Surface Distresses", Computer-Aided Civil and Infrastructure Engineering, 27: 118~129. https://doi.org/10.1111/j.1467-8667.2011.00727.x