Implementation of a Micro Drill Bit Foreign Matter Inspection System Using Deep Learning

Abstract

This paper implemented a drill bit foreign matter inspection system based on the YOLO V3 algorithm and evaluated its performance. The study trained the YOLO V3 model using 600 training data to distinguish between the normal and foreign matter states of the drill bit. The implemented inspection system accurately analyzed the state of the drill bit and effectively detected defects through automatic inspection. The performance evaluation was performed on drill bits used more than 2,000 times, and achieved a recognition rate of 98% for determining whether resharpening was possible. The goal of foreign matter removal in the cleaning process was evaluated as 99.6%, and the automatic inspection system could inspect more than 500 drill bits per hour, which was about 4.3 times faster than the existing manual inspection method and recorded a high accuracy of 99%. These results show that the automated inspection system can dramatically improve inspection speed and accuracy, and can contribute to quality improvement and cost reduction in manufacturing sites. In future studies, it is necessary to develop more efficient and reliable inspection technology through system optimization and performance improvement.

본 논문은 YOLO V3 알고리즘을 기반으로 한 드릴비트 이물질 검사 시스템을 구현하고 그 성능을 평가하였다. 연구는 드릴비트의 정상 상태와 이물 상태를 구분하기 위해 600장의 학습 데이터를 사용하여 YOLO V3 모델을 학습시켰다. 구현된 검사 시스템은 자동검사를 통해 드릴비트의 상태를 정확히 분석하고 결함을 효과적으로 탐지하였다. 성능 평가는 2000회 이상 사용된 드릴비트를 대상으로 수행되었으며, 재연마 가능 여부를 판별하는 인식률 98%를 달성하였다. 세척 공정에서 이물질 제거의 목표를 99.6%로 평가하였으며, 자동 검사 시스템은 시간당 500개 이상의 드릴비트를 검사할 수 있어 기존 수동 검사 방법에 비해 약 4.3배 더 빠르고 99%의 높은 정확도를 기록하였다. 이러한 결과는 자동화된 검사 시스템이 검사 속도와 정확성을 획기적으로 개선할 수 있음을 보여주며, 제조현장에서의 품질 향상과 비용 절감에 기여할 수 있음을 알수있다. 향후 연구에서는 시스템 최적화와 성능 향상을 통해 더욱 효율적이고 신뢰성 높은 검사 기술 개발이 필요하다.

I. Introduction

최근 모바일 기기의 확산과 전기 자동차의 보급 확대는 반도체 시장의 급격한 성장을 촉진했으며, 이에 따라 PCB(Printed Circuit Board)의 수요가 증가하고 있다. PCB는 전기 부품을 탑재하고 회로를 연결하는 중요한 역할을 담당하며, 특히 고밀도 및 고성능화가 요구되는 전자 제품의 트렌드(Trend)에 따라 PCB 제조 공정에서는 높은 정밀도의 마이크로 드릴링(Micro drilling) 기술이 필수적으로 요구되고 있다[1]. 그러나 드릴링 공정에서 드릴의 마모 및 이물질 결착은 품질 저하를 발생하여 이물질 제거를 위해 초음파 세척이나 고압 세척수 분사 등의 방법이 사용된다[2]. 일반 제조 현장에서는 작업자의 경험과 숙련도에 의존한 육안 및 수동 검사로 인해 시간이 소요되고 품질이 일정하지 않아 관리의 어려움이 발생하고 있다[3]. 이러한 문제를 해결하기 위해, 최근에는 딥러닝 기술의 발전에 따라 기존 컴퓨터 영상 인식 분야의 방법에 비해 높은 성능을 보이는 컨볼루션 신경망(Convolutional neural network)을 적용하여 이미지나 영상의 특징을 추출하여 패턴을 파악하는 알고리즘으로 객체 인식을 하고 있다[4].

객체 인식 기술에는 YOLO(You Only Look Once), R-CNN(Convolutional neural network), R-FCN(Fully Convolutional Network), SSD(Single Shot MultiBox Detector) 등이 있으며, 초기 딥러닝(Deep Learning) 회귀 방법들은 실시간 객체 인식의 속도가 느리고 정확성이 낮았다. 반면 YOLO는 속도가 빠르고 정확도가 높은 방식으로 객체 후보들에 대한 분류 정보를 중복 처리하고 파이프라인 구조로 연산량이 많은 문제를 단일망에서 처리하는 방법을 사용한다. 그리고 각각의 개별 요소들이 각각 학습하게 된다.

Fig. 1은 YOLO 알고리즘(Algorithm)이 이미지를 여러 개의 격자 셀(Cell)로 나누어 처리하는 방식을 보여준다. 각 격자 셀은 이미지(Image)의 특정 구역을 담당하며, 이 셀 안에 객체가 있는지를 판단한다. 즉, 객체의 중심이 특정 격자 셀의 영역에 위치하면, 그 격자 셀은 객체를 탐지했다고 표시한다. 각 격자 셀은 여러 개의 바운딩 박스(Bounding Box)를 예측한다. 각 바운딩 박스는 객체가 있을 것으로 예상되는 위치를 사각형으로 표기하고 객체의 존재 확률과 위치를 추정한다. 또한, 각 격자 셀은 바운딩 박스 외에도 객체의 클래스 확률을 예측한다. 마지막으로, Non-Maximum Suppression (NMS)을 통해 중복된 바운딩 박스를 제거하고 최종 바운딩 박스를 선정한다. YOLO V1은 속도가 매우 빠르고, 전체 이미지를 사용하여 제한된 영역만을 사용하는 알고리즘에 비해 배경 이미지를 잘못 인식하는 오류를 줄일 수 있었다. 그러나, 격자 셀에 객체가 겹쳐 있는 경우에는 예측 오류가 발생하며, 독특한 형태의 바운딩 박스에 대한 예측이 부정확할 수 있는 단점이 있다. 이에 네트워크 구조와 학습 방법을 개선하여 객체 검출의 정확도와 속도를 향상한 YOLO V3를 사용하여 드릴비트의 이미지를 한 번에 스캔(Scan)하고 객체를 검출하고자 한다. YOLO V3는 기존의 컴퓨터(Computer) 영상 인식 방법에 비해 매우 많은 연산량이 필요하던 방식에서 비슷한 성능을 유지하면서도 연산량을 줄일 수 있다. 이를 통해, 드릴비트의 이물 감지 시스템을 구현하여 효율적인 객체 감지를 달성하려고 한다.

Fig. 1. YOLO Algorithm Architecture

본 연구에서는 YOLO V3를 이용하여 마이크로 드릴비트의(Micro drill bit) 이물질 여부를 검사하는 시스템(System)을 구현하고자 한다. 드릴비트(Drill bit)의 알고리즘을 통한 학습 데이터(Data)를 통하여 재연마를 할 수 있는지에 대한 여부에 해당하는 데이터를 입력하고 검사 시스템을 통해 기존 검사의 수율과 비교한다.

논문의 2장에서는 드릴비트의 배경과 YOLO에 대한 장단점에 및 관련 연구에 대해 작성하고 3장에서는 검사 시스템의 구조와 시스템 구현에 관해 기술한다. 4장에서는 구현한 시스템의 성능 평가 및 결과에 대해 작성하고 5장에서는 연구 결과와 향후 계획에 논한다.

II. Preliminaries

1. Background

마이크로 드릴비트란 인쇄회로기판 제조 공정 중 홀(Hole) 가공에 사용되는 0.1mm∼0.3mm 정도의 미세한 직경의 드릴비트를 의미하고 인쇄회로기판 천공 시 약 3,000회 사용 후 연마를 통해 홀 가공을 한다. 연마는 총 4차까지 진행되며 차수마다 측면영상을 이용하여 고품질의 드릴비트로 가공한다[5]. 재연마된 드릴비트는 고배율의 현미경을 통해 영상을 획득하여 영상처리 알고리즘으로 Outer, Overlay, Gap, Eccentric, Flare, Taper, Offset, Chip 및 Web 두께 등을 검사하여 정상 또는 불량품을 판단한다[6]. 검사를 마친 드릴비트 내 이물질 제거를 위해 세척 공정을 거치게 되는데 워터젯(Water jet)과 로봇 시스템을 융합하여 팔레트(Pallet) 자동 공급, 드릴비트로딩, 세척 후 언로딩(Unloading) 순으로 진행한다. 다수의 드릴비트를 안정적으로 이송하기 위하여 각 유닛과의 간섭을 줄이는 것과 노즐을 통해 분사하는 방향과 압력을 조절하는 것이 중요하다[7]. 2차, 3차 연마를 통한 드릴비트는 초기보다 짧아짐으로 재연마를 위해 줄어든 길이를 측정하여 정확한 위치에 링을 장착하여 재연마를 한다[8]. 드릴비트는 재연마 횟수를 구분하기 위해 드릴비트의 섕크(Shank) 부분에 4가지의 잉크로 도팅(Dotting) 시스템으로 마킹(Marking)하여 각 차수에 맞게 구분하고 혼입을 방지한다[9].

Fig. 2. Drill bit re-sharpening process

2. Related works

드릴비트 이물 검사 시스템의 객체 검출 기술은 컴퓨터 비전 기술의 중요한 연구로 대상이 다양한 상태를 여러 기준으로 탐지해야 한다. YOLO 알고리즘을 통해 실시간 객체 검출에 관한 연구로 위치, 크기 종류 등의 정보에 대해 다양하게 실험을 진행하여 실시간 객체 검출에서 높은 성능을 보여 다양한 분야에서 활용되고 있지만, 객체의 경계 및 종류를 정확하게 분류하지 못하는 경우와 학습 데이터에 따라 성능이 달라질 수 있다[10]. 이에 YOLO V3의 전반적인 구조와 성능 향상에 관한 연구로 기존 YOLO V2 모델보다 더 큰 네트워크인 Darknet-53을 사용하여 정확도와 속도를 향상하고 입력 이미지에서 박스(Box)를 직접 회괴하는 방식을 사용하고 분류기를 추가 및 학습 데이터를 분할하여 동시에 학습하였다[11]. CNN을 이용하여 드릴비트의 고장을 감지하는 방법으로 가속도 센서를 적용하여 측정한 시간 가속도를 입력 데이터를 사용하여 정상, 결함, 마모, 고압 및 오작동에 대한 평가를 하였다[12]. CNN을 적용하여 드릴비트의 결함을 자동으로 검출하기 위하여 이미지 데이터 수집하고 CNN 모델에 적합한 형태로 변환하여 학습하고 하이퍼파라미터를 최적화하여 네트워크를 강화하였다[13]. 학습된 모델의 평가를 위해 스마트 감시 시스템에 포함된 탐지 모델이 실시간 분석을 통해 행동 및 보안 감지를 하며 경고하는 연구로 정확도 및 효율성이 높였으나 데이터의 품질과 많은 양의 데이터로 인해 하드웨어 사양을 높여야 하는 한계점이 있다[14]. 이에 작은 양의 이미지 데이터로 훈련 시 발생하는 과적합 문제를 Image augmentation 기법을 적용하고 Pruning 기법을 추가하여 딥러링 모델 경량화로 PCB 불량 검출 시스템 구현의 연구가 있었다[15]. 최근 YOLO V8에서는 실시간 물체 감지 및 이미지 분할을 사용하고, 데이터 증강 기술을 이용하여 Tricone drill bits의 결함을 탐지하는 연구가 있다[16].

III. System Design & Implementation

1. YOLO Algorithm training data

YOLO 알고리즘에서 학습할 데이터는 정상인 드릴비트와 오염 및 이물이 있는 사진으로 수집되었으며, 이 데이터는 드릴비트의 다양한 상태를 정확히 반영하기 위해 세심하게 구성하였다. 드릴비트의 상태는 정상적인 상태와 이물 상태로 구분하였으며, 정상 상태는 Shank 부분, Body 부분, Edge 부분으로 나뉘었고, 이물 상태는 String 부분, Particle 부분, Oil 부분, Chip 부분으로 레이블링(labelling)하였다. 이 과정에서 드릴비트의 이미지는 다양한 배경과 조명 조건에서 촬영되었으며, 이는 모델이 다양한 환경에서도 효과적으로 작동할 수 있도록 하였다. Fig. 3은 수집된 영상의 학습 데이터를 나타내었다.

Fig. 3. Collected learning data

수집된 총 영상은 600장으로, 이 중 200장은 정상 드릴비트의 이미지였으며, 나머지 400장은 이물 상태를 나타내는 이미지들로, 여러 종류의 이물질 상태를 포함하여 각 상태에 따라 세밀하게 레이블링이 이루어졌다. 이러한 데이터 준비 과정은 YOLO 알고리즘이 드릴비트의 상태를 정확히 분석하고 결함을 효과적으로 탐지할 수 있는 기반을 제공하며, 모델의 학습 성능을 극대화하는 데 중요한 역할을 한다.

레이블링은 YOLO Label 프로그램을 사용하여 진행하였으며, YOLO Label 프로그램은 Fig. 4에 나타내었다. 설정된 레이블 이름 목록을 기반으로 학습 데이터의 각 영상에 대해 적절한 클래스 이름을 지정하고, 해당 클래스에 대한 바운딩 박스(Bounding Box)를 정확히 그려 학습 데이터를 생성하여 데이터 세트(Data set)의 품질을 보장하며, YOLO 알고리즘이 객체를 효과적으로 인식하고 분류할 수 있도록 하였다.

Fig. 4. YOLO Label program

2. System Structure

검사 시스템은 GUI 응용 프로그램을 통해 드릴비트 결함 검사를 수행하며, 기존에 학습된 YOLO V3 모델의 가중치 파일을 활용하여 정확하게 결함을 검출하고자 한다. GUI 응용 프로그램은 사전에 학습된 YOLO V3 가중치 파일을 불러와서, 해당 가중치로 YOLO V3 네트워크를 설정하여 드릴비트의 다양한 상태를 효과적으로 분석하고 결함을 탐지한다. 응용 프로그램은 사용자에게 제공되는 Setup 관련 설정을 이용해 검사 절차를 조정할 수 있으며, 드릴비트에 대한 검사를 진행한다. 이 과정에서 드릴비트 설비와 I/O 통신을 통해 검사 절차를 제어하고, 검사 시작 신호와 결과를 설비에 전달한다. 검사 과정은 설비로부터 촬영에 대해 요청 신호를 수신한 후, 연결된 카메라를 통해 드릴비트의 영상을 획득한다. 획득된 영상은 전처리 과정을 거친 후 YOLO V3 네트워크에 입력하면 영상을 분석하여 드릴비트의 결함 여부를 검출한다. 검출 결과는 I/O 통신을 통해 설비에 전달되며, 결과에 따라 적절한 조치가 이루어진다. 시스템의 구조와 데이터 흐름은 Fig. 5에 상세히 나타나 있으며 검사 시스템의 전체적인 구성과 각 구성 요소 간의 상호작용을 나타내었다.

Fig. 5. System structure diagram

YOLO V3 네트워크를 사용하여 영상을 입력하고, 로딩된 네트워크를 통해 계산을 수행한 후 결과를 출력하는 과정을 Fig. 6에 나타내었다. 하이퍼 파라미터로 Batch size는 64로 설정하고 Epoch 100으로 설정하여 입력된 영상에서 검출된 이물질은 클래스별로 구분되어 예측된 결과를 바운딩 박스 형태로 표시하며, 이 결과는 영상에 나타내었다.

Fig. 6. Drill bit inspection process

3. Implementation of the inspection system

검사 프로그램은 시스템 구조에 따라 구현하였으며 기본적으로 PC 기반으로 설비의 제어 화면에 우측 부분의 원격 모니터링을 통해 확인할 수 있게 프로그램의 화면 크기를 결정하였으며 이에 맞추어 구성하였다. 구성된 S/W는 Fig. 7에 나타내었다. 구현된 프로그램은 3개의 부분으로 프로그램의 제어를 담당하는 부분과 드릴비트의 상태를 표시하는 부분, 결과에 대한 부분으로 구성하였다.

Fig. 7. Implemented program

제어 부분에는 검사 시스템 시작과 종료의 Run과 검사를 진행한 후 결과를 표시하는 메인화면, 설비와의 통신을 담당하는 환경 설정, 프로그램을 종료하는 부분으로 구성하였다. RUN 버튼을 누르면 설비와 통신하고 검사를 진행하는 자동 모드로 전환할 수 있도록 하여 편리성을 높였다. 그리고 촬영된 영상을 표시하는 영상 표시부에는 드릴비트를 촬영한 사진을 확인할 수 있도록 하였고, 검사 결과를 나타내는 결과 창과 상태를 표시하는 상태표시 목록창을 구성하여 시스템 가동 시간 및 동작 여부를 확인할 수 있다. 환경 설정에는 IO 장치를 지정하여 테스트하는 부분을 포함하여 IO 상태를 표시하는 점등 부와 설비 통신과 관련하여 3개의 IO 입출력으로 설비 검사 요청 신호에 대한 입력 비트 신호 지정, 검사 결과를 설비에 알려주기 위한 검사 결과 신호 비트 지정, 검사 완료를 알려주기 위한 검사 완료 신호 비트 지정으로 지정하였다.

설정이 완료된 후, RUN 버튼을 눌러 자동모드가 되면 검사 요청 신호가 발생하고 이에 따라 영상을 촬영하고 검사를 수행하며 감지된 이물에 대한 검사 결과를 영상에 표시한다. 그리고 합·부 판정에 대하여 검사 결과를 설비에 전송하면 검사 완료 신호를 전송한다. 설비는 검사 요청 신호가 끝나면 합·부 판정의 결과 신호를 초기화하고 검사 완료를 한다. 이후 프로그램은 검사 요청 신호를 지속하여 감시하며 이에 따른 동작을 반복하여 수행한다.

IV. Experiments and Results

본 연구에서 구현한 드릴비트 이물 검사 시스템의 성능 평가를 하였다. 평가 항목으로 1차 이물질 검사와 2차 이물질 검사로 양품과 불량시료를 정확하게 구분하는 것에 중점을 두었다. 1차 검사와 2차 검사의 데이터를 비교하여 세척의 적절성을 확인하고 또한 기존의 검사와 구현된 자동검사 시스템을 비교하여 정확도, 검사 시간, 인력 효율성을 평가한다. 평가에 사용된 시료는 약 2,000회 이상 사용한 드릴비트로 준비하였고, 비트 파손, 형상 불량 및 4차 연마를 마친 시료는 제외하였다. Table 1은 평가 항목, 평가 목표 및 결과를 나타내었다.

Table 1. Performance evaluation items and results

첫 번째 성능 평가는 드릴비트의 재연마 가능 여부를 판단할 수 있는 감지 시험을 하였다. PCB 천공 시 발생하는 레진이나 칩에 의해 드릴비트가 파손되거나 휘어지고 드릴비트의 마모로 인해 가공할 수 없으면 작업의 효율성이 떨어진다. 이를 예방하여 효율성을 높이고 및 비용감소를 해야 한다. 시험 시료는 1개의 케이스(Case)당 50개로 이루어진 드릴비트를 총 8set 검사하였다. 검사 결과 인식률은 98%로 우수한 결과를 나타났으며 결과 값은 Table 2에 나타내었으며 수치는 50개를 기준으로 인식된 수를 기재하였다.

Table 2. Drill bit resharpening analysis results

두 번째 성능 평가는 드릴비트의 세척에 관한 것으로 세척 후 드릴비트에 이물질이 잔여 하지 않는 것에 대한 평가이다. 잔여 이물질이 있는 경우 PCB 천공 시 Hole의 직경이 일정하지 않아서, 회전 시 이물질 배출로 장비 고장을 일으킬 수 있으며 생산성의 저하가 될 수 있다. 측정을 위해 워터 젯 압력을 90PSI, 이송 속도 1.5mm/s로 설정하여 일정한 각도로 양쪽에서 분사하였다. 결과로 이물질은 전량 제거되어 성능 평가의 목표를 달성했다. 하지만 세척 과정에서 드릴비트의 끝단의 파손으로 수율은 99.6%로 평가되었다. 해결 방안으로 워터젯 압력을 줄여 파손을 예방할 수 있다. Fig. 8은 세척 후 이물질이 제거된 드릴비트와 끝단이 파손된 드릴비트의 사진을 나타내었다. Table. 3은 세척 후 드릴비트의 양품과 불량품에 대한 평가 결과값이다.

Table 3. Results of good and bad drill bits after cleaning

Fig. 8. Normal and defective drill bits

성능 평가의 3번째인 2차 이물질 검사는 세척 공정 후 이물질 여부를 확인하는 것이다. 천공 공정으로 발생하는 레진 또는 칩이 세척 후에도 드릴비트에 있으면, 재연마 시 드릴비트의 파손으로 사용하지 못한다. 평가 방법은 드릴비트에 조명을 비추어 생성된 그림자를 기반으로 비트의 직경과 비교하고, 비트의 Body, Edge 부분에 String, Particle, Oil, Chip을 검출하여 양품과 불량품을 판단한다. Fig. 9는 이물검사 시스템을 통해 검사된 그림이다. 평가에 사용된 드릴비트의 수는 위와 같으며 이물 검사를 통해 불량위치와 종류를 확인할 수 있었으며 검사 시스템을 이용하여 평가 항목의 4번째인 검사속도는 검사 시 발생하는 시간에 대한 검사 수량에 대한 것이며, 성능 목표로는 시간당 130개 이상 측정하는 것이다. 구현된 검사 시스템을 이용하여 시간당 검사한 수량을 측정하고 이외 검사 인원, 정확도 및 검사 비용도 추가 분석하였다. 결과 값은 Table. 4에 나타내었으며 수동 검사보다 자동검사 시스템으로 검사 수량 및 정확도, 인원과 비용을 알 수 있다.

Fig. 9. Drill bit foreign matter inspection system

Table 4. Comparison of results between manual and automated measurements

기존의 드릴비트 이물질 검사는 수동 검사로 세척을 마친 드릴비트를 측정 지그(Jig)에 장착하고 현미경을 통해 직접 이물질을 확인하고 있었다. 1명의 인원으로 시간당 약 120개를 확인하였으며 지속적인 검사로 인한 피로도 누적으로 정확히 검출된 드릴비트는 96%로 확인되었다. 이는 시간당 검출로 지속된 검사에는 정확도가 점차 낮아질 것으로 예상된다. 자동검사 시스템으로 기존방식에 비해 약 4.3배 이상 검사를 할 수 있고 99%의 높은 정확도로 검출하였다. 또한 측정 인원과 비용을 줄일 수 있어 평가의 우수성을 확인할 수 있었다.

V. Conclusion

본 연구는 YOLO V3 알고리즘을 활용하여 마이크로 드릴비트의 이물질 검출 시스템을 구현하고, 성능을 평가하였다. 구현된 시스템은 드릴비트의 다양한 상태를 정확하게 분석할 수 있는 높은 성능을 보였으며, 인식률 98%의 인식률로 드릴비트의 재연마 가능 여부를 정확히 판단할 수 있었다. 세척 공정에서는 워터젯 압력을 90 Bar, 이송 속도를 1.5mm/s로 설정하여 이물질을 전량 제거하였으나, 드릴비트 끝단의 파손으로 수율이 99.6%로 조금 저하되었다. 이에 따라, 압력 조절을 통해 세척 공정의 최적화가 필요함을 확인하였다. 2차 이물질 검사는 드릴비트의 Body 및 Edge 부분에서 이물질을 정확히 검출하며, 이물질의 위치와 종류를 효과적으로 구분할 수 있었다. 자동검사 시스템은 시간당 500개 이상의 드릴비트를 검사할 수 있으며, 기존 수동 검사 방식에 비해 약 4.3배 빠르고 99%의 높은 정확도로 검출하였다. 이는 검사 인력과 비용을 절감하면서도 검사 효율성을 크게 향상할 수 있음을 보여준다. 기존의 수동 검사는 시간당 약 120개의 드릴비트를 검사하며, 피로도와 정확도 저하로 인해 검출률이 96%로 낮아지는 문제를 겪고 있었다. 본 연구의 자동검사 시스템은 이러한 문제를 해결하고, 검사속도와 정확도를 개선함으로써 제조 현장에서의 품질 유지와 생산성 향상에 이바지할 수 있음을 입증하였다. 본 연구에서 개발한 드릴비트 이물질 검사 시스템은 PCB 제조 공정에서 유용하게 사용될 수 있고 PCB 제조 공정에서는 드릴 비트에 이물질이 혼입되면 제품의 품질이 저하되고, 제조 공정의 효율성이 떨어질 수 있다. 이 시스템은 PCB 기판에 미세한 구멍을 뚫는 드릴 비트의 상태를 실시간으로 모니터링하여 이물질 혼입 여부를 판단하여 제조 공정에서 불량품을 최소화하고, 생산성을 향상시킬 수 있다. 향후 연구에서는 세척 공정의 추가 최적화와 시스템의 성능 향상을 목표로 하여, 더욱더 효율적이고 신뢰성 높은 검사 시스템 개발에 기여할 것이다.