A Study on Establishment Method of Smart Factory Dataset for Artificial Intelligence

인공지능형 스마트공장 데이터셋 구축 방법에 관한 연구

Abstract

At the manufacturing site, workers have been operating by inputting materials into the manufacturing process and leaving input records according to the work instructions, but product LOT tracking has been not possible due to many omissions. Recently, it is being carried out as a system to automatically input materials using RFID-Tag. In particular, the initial automatic recognition rate was good at 97 percent by automatically generating input information through RACK (TAG) ID and RACK input time analysis, but the automatic recognition rate continues to decrease due to multi-material RACK, TAG loss, and new product input issues. It is expected that it will contribute to increasing speed and yield (normal product ratio) in the overall production process by improving automatic recognition rate and real-time monitoring through the establishment of artificial intelligent smart factory datasets.

제조현장에서 작업자는 작업 지시서에 따라 제조 공정에 소재를 투입하고 투입 기록을 남기는 방식으로 운영해왔으나, 누락하는 경우가 많아 제품 LOT 추적이 안되는 경우가 발생하고 있었으며, 최근 스마트공장 구축으로 RFID-Tag를 활용하여 소재 투입 정보를 자동입력 하는 시스템으로 진행되고 있다. 특히, 생산라인에 투입되는 RACK에 부착된 TAG 정보를 수신하여 RACK(TAG) ID와 RACK 투입시간 데이터 분석을 통한 투입정보를 자동으로 생성토록 하여 초기 자동인식률이 97%로 양호하였으나 멀티소재 사용 RACK, TAG분실, 신규 제품 투입 이슈 등이 발생하면서 자동인식률이 계속 낮아지는 상황이다. 인공지능형 스마트공장 데이터셋 구축 방법은 자동인식률 향상과 실시간 모니터링이 가능해지므로 생산 공정의 전반에 있어 속도와 수율(정상제품 비율)을 높이는데 기여할 것으로 기대한다.

Ⅰ. 서론

인공지능 연구는 IoT, 빅데이터, 알고리즘, 네트워크, 네트워크, 클라우드, 컴퓨팅 파워 등 기반기술이 고도화 되면서 문제인식과 학습(데이터 수집, 처리, 분석), 결과도출(의사결정) 등 모든 단계에서 높은 성과를 내고 있다. 특히 인공신경망 기반의 딥러닝 기술은 이미지 판독뿐 아니라 영상을 인식하고 실행할 정도로 발전하여 학습데이터셋만 있으면 소프트웨어 개발을 최소화하고 인공지능을 적용할 수 있는 환경이 되었다. 최근 컴퓨팅 파워가 높아지고 GPU(Graphics Processing Unit)를 활용한 병렬처리 기법이 확대되고 기계학습과 딥러닝 기술의 발전으로 영상처리 분야에 활발히 적용되고 있다^[1].

딥러닝 구조중 하나인 CNN(Convolution Neural Network) 연구가 활발히 이루어지면서 AlexNet^[2], VGGNet^[3], Residual Net^[4], CNN^[5] 구조를 활용한 사진 분류 알고리즘이 개발되고 있다. 딥러닝 학습은 지도학습과 비 지도학습으로 구분한다. 지도학습은 학습에 필요한 Ground Truth 정보를 함께 제공하여 학습을 하며 학습 데이터셋은 수집된 데이터의 Ground Truth 정보를 판단하는 작업을 사용자가 직접 수행해야 하기 때문에 작업 시간이 오래 걸리고 작업 오류 또한 발생하기 쉽다. 반면 비 지도학습은 비슷한 데이터들끼리 군집화하여 미래를 예측하는 방법으로 지도학습의 적절한 특징을 찾아내기 위해 전처리 방법으로 사용된다^[6]. 최근 많은 기업들이 스마트 공장을 도입하고 있으나, 스마트공장 운용효율이 낮아 투자 손실이 큰 경우가 발생하고 있다. 특히, 자동차 분야의 스마트 공장 운용효율이 낮아지는 원인으로는 4가지로 분류해 볼 수 있다.

첫째, 여러 다른 제품을 생산하는 경우 공용 RACK이 다수임에 따라 RACK과 제품의 매칭 비율이 낮은 문제가 있다. 둘째, RACKING후 실제 생산투입이 당일 이루어지지 않아 자동 매칭 오류가 발생 한다. 셋째, RACK 의 생산제품 매칭이 미완료되어 자동 매칭이 되지 않은 문제로 전체 오류가 40%에 달한다. 특히 중요한 도금공정(RACK 도금)에서 작업자가 객체 투입 이력 Key In을 누락하면 다음 품질공정에서 전산 입력 오류가 발생한다. 넷째로, 긴급 투입으로 생산 투입되는 경우 매칭이 되지 않는다. 특히 4종 객체를 동시 투입시 (그림 1)에는 작업자 입력 오류 및 RFID 노이즈 에러가 증가하여 데이터 오류가 증가한다.

그림 1. 4종 객체의 동시 투입

Fig. 1. Simultaneous input of 4 types of objects

객체를 투입할 때 투입 기록을 기록하여야 하지만 객체 정보가 누락되는 경우, 제품 LOT 추적이 안되어 진행성 불량 발생 시 대응이 어렵다. 비효율적인 업무 프로세스를 인공지능형 스마트공장 데이터셋 구축을 통해 개선하는 것이 필요하므로, 본 연구에서는 데이터셋 클라우드로 부터 객체 정보를 추출하기 위한 딥러닝 학습 데이터셋 구축을 위한 방법에 대해 연구하였다. 스마트공장데이터셋을 구축하기 위해 투입부에 카메라를 설치하고 AI(인공지능) 영상인식 기술을 활용하여 객체를 자동 인식하여 자동 계수를 할 수 있도록 하였으며, 객체가 자동 라벨링 되어 인식된 객체 정보가 MES에 자동으로 전송되면 투입되는 객체의 투입수량이 MES Database에 자동 기록되어 LOT 추적을 용이하게 할 수 있도록 하였다. 타당성 검증 및 실제 딥러닝 모델의 구현을 위해 CNN 입력 데이터 처리 및 CNN 모델을 구성하여 데이터셋 구축의 실효성을 검증하였다.

Ⅱ. 관련연구

본 연구에서는 객체 형상 검출 기반 데이터셋 구축을 위해 프로세스를 설정하였다. 첫째, 클라우드 기반의 데이터셋 환경을 구축한다. 둘째, 객체별 데이터셋을 취득하기 위해 카메라 센서로 각 객체를 스캔하여 딥러닝 모델의 입력데이터로 사용될 데이터셋을 구축하고, 해당데이터셋을 통해 전처리과정을 거쳐 CNN 네트워크 모델을 학습시킨다. 셋째, 데이터셋을 통해 학습된 CNN 모델이 정상작동을 하는지 확인하기 위해 이미 공개된데이터셋을 이용하여 비교 및 분석하는 절차를 통해 검증한다. 인공지능 최적화 데이터셋 학습 계획은 그림 2와 같다.

그림 2. 인공지능 최적화 데이터셋 학습 계획

Fig. 2. AI-optimized dataset training plan

CNN 네트워크 모델은 텍스트, 이미지, 비디오, 사운드 데이터의 특장점을 검출하여 분류하는 모델로 특히, 이미지 패턴을 찾아 분류하는데 용이하다. CNN에서 이용되는 각각의 필터는 학습된 가중치를 기반으로 전체 데이터가 아닌 일부분의 데이터만 사용하기 때문에 데이터 변경, 왜곡 등에 따라 분류 성능에 큰 영향을 받지 않아 높은 강인성을 가진다.

1. YOLOv4 지도학습

본 연구에서 CNN에 입력되는 그림 2와 같은 객체 형상 검출된 영상에서 사전 이미지 처리를 하여 형상을 추출하고 데이터셋 소재 촬영 동영상 이미지 추출 행하여 각각 라벨 추출 작업을 하여 라벨인식을 할 수 있도록 하였다. 데이터셋 소재 촬영 동영상 이미지 추출정보는 그림 3과 같다.

그림 3. 데이터셋 소재 촬영 동영상 이미지 추출정보

Fig. 3. Dataset material shooting video image extraction information

효율적인 생산관리를 지원하는 인공지능 데이터셋을구축할 수 있도록 AI 모델 설계, 개발, 시뮬레이션을 수행하여 투입 소재 형상 이미지에 대하여 전처리를 진행하고, 훈련, 테스트, 성능검증에 대하여 7:2:1로 Hold out 교차검증방법으로 시뮬레이션을 수행하였다. 적용되는 딥러닝 분류 모델(Object Detection)은 효과적인 지도학습이 가능하도록 라벨링, 바운딩 박스 처리를 하였다. 개선된 YOLOv4의 네트워크 구조는 그림 4와 같다^[7][8][9].

그림 4. 개선된 YOLOv4의 네트워크 구조

Fig. 4. Network structure of improved YOLOv4

2. 시스템 구성

생산라인 현황과 Key in data를 MES 서버에 입력하고, 작업지시서와 현황데이터를 제공받아 RFID 모니터링 서버를 통해 TAG 인식시간 및 회수와 노이즈 필터 알고리즘 등 RFID-TAG 주기관리 소프트웨어에 제공한다. RFID-TAG의 RACK 주기관리 소프트웨어는 MES 서버에 생산투입 품명과 품번 정보와 품목별 투입 수량과 투입 시간의 생산정보를 제공한다. 또한 RACK, TAG 정보와 품명, 품번 정보, 작업지시 정보, RACKING 정보, RACK 입고 폐기, TAG 입고 폐기의 설비정보를 제공한다. 전체시스템 구성도는 그림 5와 같다.

그림 5. 전체시스템 구성도

Fig. 5. Overall system configuration

Ⅲ. 시뮬레이션 환경 및 검증 결과

1. 시뮬레이션 환경 구성

실시간 촬영을 통해 jpg 이미지로 변환하여 특정 메모리 및 DB에 전송하여 AI 인식을 하도록 한다.

구현 방법은 형상(엠블럼) 이미지 전처리 후 훈련 테스트 및 성늠 검증을 위한 데이터 분할 7:2:1로 Hold out 교차 검증 수행을 하고 딥러닝 분류 모델 개발(Object Detection)을 Yolo v4 모델 기반 모델 설계와 라벨링 및 바운딩 박스처리, 모델 최적화 및 재학습 계획을 수립하여 구현한다. AI 지도학습 설계 개발 시뮬레이션은 그림 6과 같다.

그림 6. 전체시스템 구성도

Fig. 6. Overall system configuration

2. CNN 학습 데이터셋 추출

객체 이미지 수집 및 라벨링은 도금 소재별 이미지 2 천장 이상 데이터 수집을 하여 MES 시스템의 IP 카메라장착을 통한 비전 데이터를 수집하였다. 도금 소재별 이미지 라벨링을 통한 image id(이미지 파일), label(소재별 id) 및 Json(소재별 id와 소재명 매핑)처리를 하여 AI 이미지 분류와 예측 모델적용 및 검증을 하였으며. AI 지도학습 모델의 설계 개발에 필요한 데이터 셋 전처리 라벨링 작업과 모설 설정 및 최적화와 재학습을 YOLO v4 모델을 통하여 구현하였다. 간소화된ㅤYOLO v4 네트워크 구조는 그림 7과 같다.

그림 7. 간소화된ㅤYOLO v4 네트워크 구조

Fig. 7. SimplifiedㅤYOLO v4 network structure

3. CNN 모델 학습 결과

CNNㅤ모델의 최적화 및 재학습 후 1차 검증 테스트 진행 시 그림 7과 같이 신제품 데이터 추가와 모델 재학습을 실시한다. 모델 검증 및 시스템의 배포는 데이터베이스 구축과 현장 데이터 적용 검증과 시스템 배포를 통하여 진행한다.

3.1 학습용 이미지 외 추가 이미지 캡쳐 저장 관리

학습용 데이터는 소재별 2,000개 이상으로 구현하여 구축된 데이터셋을 기반으로 학습을 수행하고 학습이된 CNN 모델을 바탕으로 구축한 Dataset를 이용하여 CNN 모델을 검증하였다. 학습용 이미지 캡쳐 데이터와데이터셋 모니터링 관리 현황은 그림 8과 그림 9와 같다.

그림 8. 학습용 이미지 캡쳐 데이터

Fig. 8. Image capture data for learning

그림 9. 데이터셋 모니터링 관리 현황

Fig. 9. Dataset monitoring management status

Ⅳ. CNN 모델 학습 검증 결과

그림 9는 기존 RFID-Tag일 때 제조 생산 시 공개된 데이터와 인공지능 데이터셋을 구축하고 비교 검증을 위한 순서를 나타낸다. 그림 8에서 학습용 이미지와 추가 이미지를 캡쳐 정보를 수집하여 데이터셋을 구축 하였다. 이후 그림 9에서와 같이 구성한 CNN 모델을 통해 구축된 데이터셋을 기반으로 학습을 수행하고 학습이된 CNN 모델을 바탕으로 구축한 Dataset을 이용하여 CNN 모델을 검증하였다. 최종적으로 나온 결과 값을 기존의 RFID-Tag 결과와 비교하였다.

표 1. 투입 소재 수동 KEY IN 대비 AI 자동 인식 결과 비교

Table 1. Comparison of AI automatic recognition result compared to manual KEY IN of input material

초기 생산정보의 실시간 수집 및 분석단계는 21% 수준이였으나, RFID-TAG를 활용한 직접 자동화 수준은 76%대로 운영이 되었다. 본 연구에서 실제 시스템을 운영하여 검증한 결과는 정확도 97% 이상으로 자동 판별이 가능함을 확인하였다. 투입 소재 수동 KEY IN 대비 AI 자동 인식 결과 비교는 표 1과 같다.

Ⅴ. 결론

본 연구를 통해 클라우드 기반으로 객체 분류용 딥러닝의 학습 데이터셋을 구축하고, 데이터셋의 타당성을 검증하였다. 학습용 데이터셋 구축 시 사용자에 의해 수작업으로 각 객체의 종류를 파악하고 이후 객체에 라벨링 작업을 하는 동안 작업자의 오류와 물리적 시간이 많이 소요된다는 단점을 보완할 수 있는 클라우드 기반의 인공지능형 스마트공장 데이터셋 구축은 자동인식률 향상과 실시간 모니터링이 가능해지므로 생산 공정의 전반에 있어 생산효율을 높이는데 기여할 것으로 기대된다.