Journal of IKEEE (전기전자학회논문지)

Institute of Korean Electrical and Electronics Engineers (한국전기전자학회)
권호 표지
DOI QR코드

DOI QR Code

Development of Deep Learning Structure for Defective Pixel Detection of Next-Generation Smart LED Display Board using Imaging Device

영상장치를 이용한 차세대 스마트 LED 전광판의 불량픽셀 검출을 위한 딥러닝 구조 개발

  • Sun-Gu Lee (SGVISION) ;
  • Tae-Yoon Lee (Dept. Electronic Engineering, Hanbat National University) ;
  • Seung-Ho Lee (Dept. Electronic Engineering, Hanbat National University)
  • Received : 2023.08.14
  • Accepted : 2023.09.13
  • Published : 2023.09.30
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we propose a study on the development of deep learning structure for defective pixel detection of next-generation smart LED display board using imaging device. In this research, a technique utilizing imaging devices and deep learning is introduced to automatically detect defects in outdoor LED billboards. Through this approach, the effective management of LED billboards and the resolution of various errors and issues are aimed. The research process consists of three stages. Firstly, the planarized image data of the billboard is processed through calibration to completely remove the background and undergo necessary preprocessing to generate a training dataset. Secondly, the generated dataset is employed to train an object recognition network. This network is composed of a Backbone and a Head. The Backbone employs CSP-Darknet to extract feature maps, while the Head utilizes extracted feature maps as the basis for object detection. Throughout this process, the network is adjusted to align the Confidence score and Intersection over Union (IoU) error, sustaining continuous learning. In the third stage, the created model is employed to automatically detect defective pixels on actual outdoor LED billboards. The proposed method, applied in this paper, yielded results from accredited measurement experiments that achieved 100% detection of defective pixels on real LED billboards. This confirms the improved efficiency in managing and maintaining LED billboards. Such research findings are anticipated to bring about a revolutionary advancement in the management of LED billboards.

본 논문은 영상장치를 이용한 차세대 스마트 LED 전광판의 불량픽셀 검출을 위한 딥러닝 구조 개발에 관한 연구를 제안한다. 이 연구에서는 영상장치를 활용하여 딥러닝을 통해 실외 LED 전광판의 결함을 자동으로 검출하는 기법을 제안한다. 이를 통해 LED 전광판의 효율적인 관리와 발생할 수 있는 다양한 오류와 문제를 해결하고자 한다. 연구 과정은 3단계를 거쳐 이루어진다. 첫 번째로, 평면화된 전광판 이미지 데이터를 calibration을 통해 배경을 완전히 제거하고 필요한 전처리 과정을 거쳐 학습 데이터셋을 생성한다. 두 번째로, 생성된 데이터셋은 객체 인식 네트워크를 학습을 시키는 데 활용된다. 네트워크는 Backbone과 Head로 구성된다. Backbone에서는 CSP-Darknet을 활용하여 특징 맵을 추출하고, Head에서는 추출된 Feature Map을 기반으로 물체를 검출한다. 이 과정에서 네트워크는 Confidence score와 IoU가 일치하도록 오차를 수정하며 지속적으로 학습된다. 세 번째에서는 생성된 모델을 활용하여 실제 실외 LED 전광판에서 불량픽셀을 자동으로 검출한다. 본 논문에서 제안하는 방법을 적용하여 LED 전광판의 불량픽셀 검출에 대한 공인 측정 실험 결과로는 실제 LED 전광판에서 불량픽셀을 100% 검출한 결과를 얻을 수 있었다. 이를 통해 LED 전광판의 불량 관리와 유지보수의 효율성이 향상되었음을 확인할 수 있다. 이러한 연구 결과는 LED 전광판 관리의 획기적인 개선을 이룰 것으로 기대된다.

Keywords

References

  1. J. Guan, et al. "Fish-eye image correction based on inverse perspective mapping and polynomial fitting," In International Conference on Image Analysis and Recognition (ICIAR), 2015.
  2. Wang, Chien-Yao, et al. "CSPDarknet53: Lightweight backbone based on CSPNet," arXiv preprint arXiv:1812.08234, 2018.
  3. Everingham, Mark, et al. "The Pascal Visual Object Classes (VOC) challenge," International Journal of Computer Vision, Vol.88, No.2, pp. 303-338, 2010. DOI: 10.1007/s11263-009-0275-4
  4. Wang, Chien-Yao, et al. "CSPNet: A new backbone that can enhance learning capability of cnn," In Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2019. DOI: 10.48550/arXiv.1911.11929
  5. Chen, Liang-Chieh, et al. "Mxnet: A flexible and efficient machine learning library for heterogeneous distributed systems," arXiv preprint arXiv:1512.01274,
  6. Zheng, S., Jayasumana, S., Romera-Paredes, B., Vineet, V., Su, Z., Du, D., ... & Torr, P. H. "Conditional Random Fields as Recurrent Neural Networks," In Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2015. DOI: 10.1109/ICCV.2015.179
  7. Redmon, J., & Divvala, S. "You Only Look Once: Unified, Real-Time Object Detection," In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016. DOI: 10.48550/arXiv.1506.02640