Journal of the Korea Computer Graphics Society (한국컴퓨터그래픽스학회논문지)

Korea Computer Graphics Society (한국컴퓨터그래픽스학회)
권호 표지
DOI QR코드

DOI QR Code

A Study of Pattern Defect Data Augmentation with Image Generation Model

이미지 생성 모델을 이용한 패턴 결함 데이터 증강에 대한 연구

  • 김병준 (서강대학교 아트엔테크놀로지학과 미디어공학) ;
  • 서용덕 (서강대학교 지식융합미디어 대학)
  • Received : 2023.06.16
  • Accepted : 2023.07.05
  • Published : 2023.07.25
Download PDF
⟨ Previous Next ⟩

Abstract

Image generation models have been applied in various fields to overcome data sparsity, time and cost issues. However, it has limitations in generating images from regular pattern images and detecting defects in such data. In this paper, we verified the feasibility of the image generation model to generate pattern images and applied it to data augmentation for defect detection of OLED panels. The data required to train an OLED defect detection model is difficult to obtain due to the high cost of OLED panels. Therefore, even if the data set is obtained, it is necessary to define and classify various defect types. This paper introduces an OLED panel defect data acquisition system that acquires a hypothetical data set and augments the data with an image generation model. In addition, the difficulty of generating pattern images in the diffusion model is identified and a possibility is proposed, and the limitations of data augmentation and defect detection data augmentation using the image generation model are improved.

이미지 생성 모델은 다양한 분야에 적용되어 데이터 부족 문제와 시간 및 비용 문제를 극복하고 있다. 그러나 규칙적 패턴 이미지에서의 이미지 생성과 해당 데이터의 결함 검출에는 한계를 가진다. 본 논문에서는 이미지 생성 모델의 패턴 이미지 생성의 가능성을 확인하고 OLED 패널의 결함 검출을 위한 데이터 증강에 적용하였다. OLED 결함 검출 모델을 학습하기 위해 필요한 데이터는 OLED 패널의 높은 비용 문제로 실제 데이터 세트를 확보하기 어렵다. 그렇기 때문에 해당 데이터 세트를 확보한다 하더라도 여러가지 결함 유형을 정의하고 분류하는 작업이 필요하다. 이를 위한 가상의 기반 데이터 세트를 획득할 OLED 패널 결함 데이터 획득 시스템을 소개하고, 이미지 생성 모델로 해당 데이터를 증강한다. 또, 확산모델에서의 패턴 이미지 생성의 어려움을 확인하여 가능성을 제안하고, 이미지 생성 모델 이용한 데이터 증강 및 결함 검출 데이터 증강의 제한 사항을 개선하였다.

Keywords

Acknowledgement

이 논문은 중소기업벤처부의 재원으로 중소기업기술정보진흥원의 지원을 받아 수행한 연구임 (S3141550).

References

  1. withsystem, OLED Panel Pattern inspection, http://www.withsystem.co.kr/sub/product03.html [Accessed: Sep, 26, 2022] http://www.visionsystech.com [Acessed: Oct. 06. 2022].
  2. K. He, G. Gkioxari, P. Dollar, R. Girshick, "Mask R-CNN", 2017 CVPR, Mar. 2017, https://doi.org/10.48550/arXiv.1703.06870
  3. Byungjoon Kim, Yongduek Seo, "Data Generation System for Flaw Detection of OLED Panel and Application of RCNN-based Defect Detection.", The Journal of Korean Institute of Information Technology, 20(12),57-63.
  4. R. Girshick, J. Donahue, T. Darrell, J. Malik, "Rich feature hierarchies for accurate object detection and semantic segmentation", CVPR 2014, Nov. 2013, https://doi.org/10.48550/arXiv.1311.2524
  5. R. Girshick, "Fast R-CNN", 2015 IEEE (ICCV), 2015, pp. 1440-1448. 2015
  6. J. Redmon, S. Divvala, R. Girshick and A. Farhadi, "You Only Look Once: Unified, RealTime Object Detection", 2016 CVPR, May. 2016, https://doi.org/10.48550/arXiv.1506.02640.
  7. T. Karras, S. Laine, T. Aila, "A Style-Based Generator Architecture for Generative Adversarial Networks", CVPR 2019, Dec. 2018, https://doi.org/10.48550/arXiv.1812.04948
  8. Kingma, D. P., & Welling, M. (2013). "Auto-Encoding Variational Bayes.", Machine Lerning, Dec. 2013 https://doi.org/10.48550/arXiv.1312.6114
  9. an den Oord, A., Kalchbrenner, N., Espeholt, L., Vinyals, O., Graves, A., & Kavukcuoglu, K. "Conditional Image Generation with PixelCNN Decoders.", 2016, In Advances in Neural Information Processing Systems (pp. 4790-4798)
  10. B. Trabucco, K. Doherty, M. Gurinas, R. Salakhutdinov, "Effective Data Augmentation with Diffusion Models", CVPR, Feb. 2023, https://doi.org/10.48550/arXiv.2302.07944
  11. J. Ho, A. Jain, P. Abbeel, "Denoising Diffusion Probabilistic Models", Machine Learning. Jun. 2020, https://doi.org/10.485550/arXiv.2006.11239
  12. R. Rombach, A. Blattmann, D. Lorenz, P. Esser, B. Ommer, "High-Resolution Image Synthesis with Latent Diffusion Models", CVPR 2022, Dec. 2021, https://doi.org/10.48550/arXiv.2112.10752