Smart Media Journal (스마트미디어저널)

THE KOREAN INSTITUTE OF SMART MEDIA (한국스마트미디어학회)
권호 표지
DOI QR코드

DOI QR Code

Fruit's Defective Area Detection Using Yolo V4 Deep Learning Intelligent Technology

Yolo V4 딥러닝 지능기술을 이용한 과일 불량 부위 검출

  • 최한석 (목포대학교 컴퓨터공학과)
  • Received : 2022.05.23
  • Accepted : 2022.06.02
  • Published : 2022.05.31
Download PDF
⟨ Previous Next ⟩

Abstract

It is very important to first detect and remove defective fruits with scratches or bruised areas in the automatic fruit quality screening system. This paper proposes a method of detecting defective areas in fruits using the latest artificial intelligence technology, the Yolo V4 deep learning model in order to overcome the limitations of the method of detecting fruit's defective areas using the existing image processing techniques. In this study, a total of 2,400 defective fruits, including 1,000 defective apples and 1,400 defective fruits with scratch or decayed areas, were learned using the Yolo V4 deep learning model and experiments were conducted to detect defective areas. As a result of the performance test, the precision of apples is 0.80, recall is 0.76, IoU is 69.92% and mAP is 65.27%. The precision of pears is 0.86, recall is 0.81, IoU is 70.54% and mAP is 68.75%. The method proposed in this study can dramatically improve the performance of the existing automatic fruit quality screening system by accurately selecting fruits with defective areas in real time rather than using the existing image processing techniques.

과일 품질 자동 선별 시스템에서 흠집이나 부패한 부위가 존재하는 불량 과일을 우선적으로 검출하여 제거하는 작업은 매우 중요하다. 본 연구에서는 기존의 영상처리 기법을 이용하여 불량 부위가 있는 과일 검출하는 방법의 한계점을 극복하기 위하여, 최신 인공지능 기술인 Yolo V4 딥러닝 지능기술을 이용하여 과일 불량 부위를 검출하는 방법을 제안한다. 본 연구에서는 흠집 또는 부패 부위가 존재하는 1,100개의 불량 사과 및 1,300개의 불량 배를 포함한 총 2,400개의 불량 과일에 대하여 Yolo V4 딥러닝 모델을 사용하여 학습하고 불량 부위 검출 실험을 하였다. 성능 실험 결과에 따르면 사과의 정확률은 0.80, 재현율은 0.76, IoU는 69.92%, mAP는 65.27%이고, 배의 정확률은 0.86, 재현율은 0.81, IoU는 70.54%, mAP는 68.75%의 성능을 나타내었다. 본 연구에서 제안한 방법은 기존 영상처리 기법을 이용한 방법보다 불량 부위가 있는 과일을 실시간으로 정확하게 선별하여 기존 과일 자동 품질 선별시스템의 성능을 획기적으로 개선할 수 있다.

Keywords

Acknowledgement

본 논문은 "2019학년도 목포대학교 교내연구과제 지원에 의하여 연구 되었음"

References

  1. 최한석, 조제봉, 최승영, "스마트 과일 품질 선별 플랫폼 구조 설계," 한국콘텐츠학회 2017 춘계종합학술대회, pp. 97-98, 2017년 5월
  2. Han S. Choi, Hong S. Choi, and H. D. Mun, "A Smart Fruits Quality Classification Hardware Design using the Near-Infraed Spectroscopy and Image Processing Technologies," International Conference on Convergence Content(ICCC 2016), pp. 9-10, Dec. 2016.
  3. Han Suk Choi,"Design and Implementation of an Automated Fruit Quality Classification System," Smart Media Journal, Vol. 7, No. 4, pp. 37-43, Dec. 2018. https://doi.org/10.30693/SMJ.2018.7.4.37
  4. S. Naik and B. Patel, "Machine Vision based Fruit Clssification and Grading - A Review," International Journal of Computer Applications(0975-8887), Vol. 170, No.9, pp. 22-34, Jul. 2017. https://doi.org/10.5120/ijca2017914937
  5. 김범창, 손현승, 최한석, "딥러닝 기반 과일 불량부위 검출 방법," 2021 한국스마트미디어학회 추계학술대회, 2021년 11월
  6. Mert R. Sabuncu, "Entropy-based Image Regestration," Ph.D. Dissertation, Prinston University, 2006.11.
  7. 이희준, 이원석, 최인혁, 이충권, "YOLOv3을 이용한 과일 표피 불량검출 모델: 복숭아 사례", Information Systems Review. 제22권, 제1호, 113-124쪽 2020년 https://doi.org/10.14329/isr.2020.22.1.113
  8. 김영민, 박승민, "딥러닝 기반 YOLO를 활용한 후숙 과일 분류 및 숙성 예측 시스템", 한국컴퓨터정보학회 하계학술대회, 제29권, 제2호, pp.187-188, 2021년 7월
  9. S. Ren, K. He, R. Girshick, and J. Sun, "Faster R-CNN: Towards real-time object detection with region proposal networks," in Proc. Advances in Neural Information Processing Systems 28 (NIPS 2015), pp.91-99, 2015.
  10. W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C. Y. Fu, and A. C. Berg, "SSD: Single Shot MultiBox Detector," Computer Vision ECCV 2016, pp. 21-37, Sep. 2016.
  11. J. Redmon, S. K. Divvala, R. B. Girshick, and A. Farhadi, "You only look once: Unified, real-time object detection," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 779-788, 2016.
  12. Bochkovskiy, Alexey, Chien-Yao Wang, and Hong-Yuan Mark Liao, "YOLOv4: Optimal speed and accuracy of object detection," arXiv preprint arXiv:2004.10934, 2020.
  13. YOLO v4 논문(YOLOv4: Optimal Speed and Accuracy of Object Detection) 리뷰, https://herbwood.tistory.com (accessed Aug. 14, 2021.)
  14. Yolo_mark: GUI for marking bounded boxes of objects in images for training neural network Yolo v3 and v2, https://GitHub=AlexeyAB/Yolo_mark.(accessed Aug. 14, 2021.)
  15. Sik-Ho Tsang, "Review-Bag of Freebies for Training Object Detection Neural Networks", https://sh-tsang.medium.com/review-bag-of-freebies-for-training-object-detection-neural-networks, (accessed Aug. 14, 2021.)
  16. Sangdoo Yun, Dongyoon Han, Seong Joon Oh, Sanghyuk Chun, Junsuk Choe, Youngjoon Yoo, CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features, Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 6023-6032, May, 2019.
  17. Jacob Solawetz, Data Augmentation in Yolo 4, https://blog.roboflow.com/yolov4 - data-augmentation/, (accessed May 13, 2020.)
  18. 신영학, 최정현, 최한석, 스마트 양식을 위한 딥러닝 기반 어류 검출 및 이동경로 추적, 한국콘텐츠학회논문지, 제21권 제1호, pp. 552-560, 2019. https://doi.org/10.5392/JKCA.2021.21.01.552
  19. 박준, 김준영, 박성욱, 정세훈, 심춘보, "ResNet 기반 작물 생육단계 추정 모델 개발," 스마트미디어저널, 제11권, 제2호, 53-62쪽, 2022년 03월