DOI QR코드

DOI QR Code

Development of a Deep Learning Network for Quality Inspection in a Multi-Camera Inline Inspection System for Pharmaceutical Containers

의약 용기의 다중 카메라 인라인 검사 시스템에서의 품질 검사를 위한 딥러닝 네트워크 개발

  • Tae-Yoon Lee (Dept. Electronic Engineering, Hanbat National University) ;
  • Seok-Moon Yoon (yandy) ;
  • Seung-Ho Lee (Dept. Electronic Engineering, Hanbat National University)
  • 이태윤 ;
  • 윤석문 ;
  • 이승호
  • Received : 2024.08.20
  • Accepted : 2024.09.05
  • Published : 2024.09.30

Abstract

In this paper, we proposes a deep learning network for quality inspection in a multi-camera inline inspection system for pharmaceutical containers. The proposed deep learning network is specifically designed for pharmaceutical containers by using data produced in real manufacturing environments, leading to more accurate quality inspection. Additionally, the use of an inline-capable deep learning network allows for an increase in inspection speed. The development of the deep learning network for quality inspection in the multi-camera inline inspection system consists of three steps. First, a dataset of approximately 10,000 images is constructed from the production site using one line camera for foreign substance inspection and three area cameras for dimensional inspection. Second, the pharmaceutical container data is preprocessed by designating regions of interest (ROI) in areas where defects are likely to occur, tailored for foreign substance and dimensional inspections. Third, the preprocessed data is used to train the deep learning network. The network improves inference speed by reducing the number of channels and eliminating the use of linear layers, while accuracy is enhanced by applying PReLU and residual learning. This results in the creation of four deep learning modules tailored to the dataset built from the four cameras. The performance of the proposed deep learning network for quality inspection in the multi-camera inline inspection system for pharmaceutical containers was evaluated through experiments conducted by a certified testing agency. The results show that the deep learning modules achieved a classification accuracy of 99.4%, exceeding the world-class level of 95%, and an average classification speed of 0.947 seconds, which is superior to the world-class level of 1 second. Therefore, the effectiveness of the proposed deep learning network for quality inspection in a multi-camera inline inspection system for pharmaceutical containers has been demonstrated.

본 논문에서는 의약 용기의 다중카메라 인라인 검사 시스템에서의 품질 검사를 위한 딥러닝 네트워크를 제안한다. 제안하는 딥러닝 네트워크는 현장에서 생산되는 의약 용기의 데이터를 사용하여 의약 용기에 특화된 딥러닝 네트워크로 더욱 정확하게 품질을 검사한다. 또한, 인라인 검사가 가능한 딥러닝 네트워크를 사용하여 품질 검사의 속도를 증대시킬 수 있다. 다중카메라 인라인 검사 시스템에서의 품질 검사를 위한 딥러닝 네트워크의 개발은 3단계로 나뉜다. 첫 번째로 실제 의약 용기 생산 현장에서 1개의 이물검사용 line 카메라, 3개의 치수검사용 area 카메라를 통해 얻은 약 10,000장의 이미지로 데이터셋을 구축한다. 두 번째로 의약 용기 데이터 전처리에서는 이물 검사, 치수검사의 용도에 맞게 불량이 일어날 수 있는 곳에 ROI를 지정하여 데이터를 전처리한다. 세 번째로 전처리된 데이터를 이용하여 딥러닝 네트워크를 학습한다. 딥러닝 네트워크는 적은 채널 수를 적용하여 linear layer를 사용하지 않아 판정 속도를 향상하고, PReLU와 residual learning를 적용하여 정확도를 향상한다. 이를 통해 4개의 카메라에서 구축한 데이터셋에 맞는 4개의 딥러닝 모듈을 제작한다. 제안된 의약 용기의 다중카메라 인라인 검사 시스템에서의 품질 검사를 위한 딥러닝 네트워크의 성능을 평가하기 위하여 공인시험기관에서 실험한 결과는, 딥러닝 모듈의 판별 정확도가 99.4%로 세계 최고 수준인 95% 보다 우수한 성적을 달성하였고, 평균 판별 속도가 0.947초로 측정되어 세계 최고 수준인 1초보다 우수한 성적을 달성하였다. 따라서, 본 논문에서 제안한 의약 용기의 다중카메라 인라인 검사 시스템에서의 품질 검사를 위한 딥러닝 네트워크의 효용성이 입증되었다.

Keywords

Acknowledgement

This research was supported by "Regional Innovation Strategy (RIS)" through the National Research Foundation of Korea(NRF) funded by the Ministry of Education(MOE)(2021RIS-004) This work was supported by the National Research Foundation of Korea(NRF) grant funded by the Ministry of Science and ICT(No. NRF-2022R1F1A1066371)

References

  1. Li, Shutao, et al. "Deep learning for hyperspectral image classification: An overview," IEEE Transactions on Geoscience and Remote Sensing vol.57, no.9, pp.6690-6709,2019. DOI: 10.1109/TGRS.2019.2907932
  2. Prieto, Flavio, et al. "An automated inspection system," The International Journal of Advanced Manufacturing Technology 19 (2002): 917-925.
  3. Cai, Chunlei, et al. "End-to-end optimized ROI image compression," IEEE Transactions on Image Processing 29 pp.3442-3457. 2019. DOI: 10.1109/TIP.2019.2960869
  4. Wang, Jinjiang, Peilun Fu, and Robert X. Gao. "Machine vision intelligence for product defect inspection based on deep learning and Hough transform," Journal of Manufacturing Systems, vol.51, pp.52-60. DOI: 10.1016/j.jmsy.2019.03.002
  5. O'shea, Keiron, and Ryan Nash. "An introduction to convolutional neural networks," arXiv preprint arXiv:1511.08458, 2015. DOI: 10.48550/arXiv.1511.08458