Development of surface detection model for dried semi-finished product of Kimbukak using deep learning

딥러닝 기반 김부각 건조 반제품 표면 검출 모델 개발

Abstract

This study developed a deep learning model that distinguishes the front (with garnish) and the back (without garnish) surface of the dried semi-finished product (dried bukak) for screening operation before transfter the dried bukak to oil heater using robot's vacuum gripper. For deep learning model training and verification, RGB images for the front and back surfaces of 400 dry bukak that treated by data preproccessing were obtained. YOLO-v5 was used as a base structure of deep learning model. The area, surface information labeling, and data augmentation techniques were applied from the acquired image. Parameters including mAP, mIoU, accumulation, recall, decision, and F1-score were selected to evaluate the performance of the developed YOLO-v5 deep learning model-based surface detection model. The mAP and mIoU on the front surface were 0.98 and 0.96, respectively, and on the back surface, they were 1.00 and 0.95, respectively. The results of binary classification for the two front and back classes were average 98.5%, recall 98.3%, decision 98.6%, and F1-score 98.4%. As a result, the developed model can classify the surface information of the dried bukak using RGB images, and it can be used to develop a robot-automated system for the surface detection process of the dried bukak before deep frying.

본 연구는 건조부각을 유탕기에 투입하기 전 로봇에 장착된 진공 그리퍼를 활용하여 건조 반제품(건조부각)을 이송하기 위한 선별 작업에서 그리핑 성공률을 향상시기키 위한 수단으로 건조부각의 앞면(고명이 있는)과 뒷면(고명이 없는) 표면을 판별하는 딥러닝 모델을 제안한다. 획득한 건조부각 440개의 RGB 영상을 기반으로 데이터 증강 기법을 적용한 후 건조부각 영역 및 표면 정보 라벨링을 진행하였다. 데이터 전처리 과정을 거친 건조부각 데이터를 기반으로 영역 검출을 위해 딥러닝 모델은 YOLO-v5을 적용하였다. 그 결과 건조부각 앞면 영역 검출의 mAP와 mIoU 값은 각각 0.98와 0.96으로 나타났으며, 뒷면의 경우 각각 1.00과 0.95로 나타났다. 앞면과 뒷면 2개의 클래스에 대하여 이진분류한 결과는 average 98.5%, recall 98.3%, precision 98.6%, F1-score 98.4%로 나타났다. 본 연구 결과를 통하여 RGB 영상을 활용한 건조부각의 표면 정보에 대한 분류가 가능하며, 추후 유탕 전 건조부각 표면 선별공정의 로봇-자동화 시스템 개발에 활용될 가능성을 확인하였다.

1. 서론

김(Pyropia spp.)은 높은 영양가와 독특한 풍미를 보유하고 있는 우리나라의 대표적인 해조류 중 하나로, 국내 수산물 수출 1위 품목으로 알려져있다[1]. 최근에 국내외적으로 건강식품으로 각광받게 되고 다양한 김 가공식품이 개발됨에 따라, 조미김 중심에서 스낵 형태의 가공품이 수요가 증가하는 추세이다[1]. 김스낵 제품 중 가장 대표적인 것이 우리나라 전통식품인 김부각이다. 이는 설탕 등 당류를 쓰지않고 해조류를 주재료로 사용함으로써 섬유소를 공급하기에 용이하고 기름 흡수량이 타 튀김 및 스낵보다 낮아 건강한 식습관을 중요시하는 현대인들에게 관심이 증가하고 있다[2]. 하지만 식품 제조산업은 생물을 다루는 특성상 발생하는 원료의 비정형화, 물리적·화학적·위생적 품질 저하의 위험 등으로 인해 제조공정 자동화를 통한 대량생산의 어려움이 있다[3]. 특히, 김부각 제조공정은 대부분 수작업으로 이루어지고 있어 비표준화된 제품의 소량 생산 체제가 지속됨에 따라 수요대비 공급량을 충족시키지 못하고 있는 실정이다[4].

4차 산업혁명은 디지털화와 자동화를 중심으로 한 기술의 발전으로, 전 산업에서 혁신적인 변화를 일으키고 있다[5]. 식품산업에서는 생산, 제조, 가공 중 인공지능을 비롯한 로봇 도입을 통한 공정 자동화를 위한 연구가 실시되고 있다[6]. 로봇 자동화는 작업자 인력 대체를 통해, 식품산업의 인구 고령화, 노동력 감소, 인건비 상승, 제조안전 개선 등의 문제를 해결할 수 있다[7]. 이에 따라 김부각 제조공정의 로봇 자동화 기반 기술개발을 활용하여 김부각 제조 업체에 인력난과 비표준화된 제품 등의 문제점을 극복할 필요가 있다.

김부각은 마른김에 찹쌀풀을 발라 건조 후 건조 반제품을 제조하며, 이를 유탕공정(deep-frying)을 거쳐 최종 가공품으로 생산된다[2]. 건조 반제품은 최종 제품으로 유탕되기 전 중간 단계에서 부분적으로 조리 및 건조된 제품으로, 다양식 식품 가공 과정에서 생산 효율성을 향상시키는 중요한 역할을 한다[8]. 스낵 및 튀김류의 경우, 건조 반제품의 이송 공정이 전체 생산 프로세스와 잘 통합되어야 유탕공정의 전 자동화 체제로 도달할 수 있다. 일반적으로 식품 건조물은 낮은 수분함량으로 매우 부서지기 쉽고, 건조 이후 형태가 변형되는 특성을 가지고 있다[9]. 특히, 김부각 건조 반제품은 수분 증발에 의한 조직의 수축현상으로 인해 구멍기가 발생하고 타 건조 반제품에 비해 면적이 넓어 타 건조 반제품에 보다 취급이 어렵다[10]. 이에 따라 김부각 건조 반제품의 경우 부서지기 쉬운 건조물이나 비정형 물체를 취급하는데 매우 유용한 장점이 있는 진공 그리퍼를 이용한 이송이 적합하다[11]. 이때 찹쌀풀, 고명 등이 부착된 평평하지 않은 앞면은 진공패드와 접촉 시 비균일한 압력이 제공되어 밀폐가 부족해 흡착력이 떨어지는 문제가 있기 때문에, 안정적인 진공 그리핑을 위해 부재료가 부착되지 않은 뒷면이 위를 향하게 이송시킬 필요가 있다.

이러한 로봇 자동화 도입시 발생하는 문제점을 극복하기 위하여 머신 비전 시스템을 활용한 물체 인식 연구들이 활발히 수행되고 있다. Jubayer 연구진은 식품의 품질을 분류하기 위한 연구로 영상 데이터 기반 딥러닝 모델을 적용하여 감자의 새싹을 검출하는 연구를 수행하였다[12]. 또한, 식품의 표면에서 발생하는 곰팡이 등 특정 영역 또는 상태를 감지하기 위한 다양한 연구들이 수행되었다[13]. 하지만 이러한 다양한 연구들이 수행되었으나, 본 연구에서 적용하고자 하는 건조부각의 형상 또는 영역을 검출하는 연구가 부재하였다.

따라서, 본 연구에서는 김부각 건조 반제품을 진공 그리핑 후 유탕 작업을 성공적으로 수행하기 위해, 작업 오류로 잘못 이송된 건조 반제품 앞면을 검출하여 회수하기 위한 목적으로 연구를 수행하였다. 이를 위해, 딥러닝을 이용하여 건조 반제품의 앞면과 뒷면을 선별할 수 있는 모델을 개발하여, 진공 그리퍼를 이용한 이송의 성공률을 향상시킴으로써 유탕 전 공정 자동화에 기반이 되는 기술을 제안하였다.

2. 재료 및 방법

2.1 실험 재료

건조부각 표면 위치 및 형태 판별용 영상 데이터를 취득하기 위해 남원시에 위치한 부각 판매 업체에서 구매하여 실험을 진행했다. 구매한 김부각 건조 반제품(건조부각) 샘플은 데이터 획득 전까지 0±1℃로 유지되는 냉장창고에 각 건조부각 샘플을 습기제거제와 함께 밀폐된 불투명 플라스틱 용기에 넣어 보관하였다.

2.1.1 영상 데이터 획득용 카메라

건조부각의 위치 및 표면 정보에 대한 영상 데이터 획득을 위하여 Intel사의 Realsense D435 제품을 활용하였다. Realsense D435 카메라를 활용하여 제품을 촬영하기 위하여 LVS사(LVS, Republic of Korea, Seoul)의 바 조명(LV-DB2-SL-L)과 LED 광량을 조절하기 위해 컨트롤러(LVS-ET-0805) 제품을 적용하였다.

2.1.2 영상 데이터 획득용 프레임 제작

안정적인 RGB 영상 데이터 취득을 위해 건조부각 및 카메라 고정 프레임을 제작하여 일정한 조건의 영상 데이터를 수집하였다. 고정 프레임은 길이 400mm, 너비 400mm, 높이 400mm 알루미늄 프로파일을 활용하였으며, 카메라 거치를 위하여 두께 3mm의 SUS 재질을 활용하였다. 건조부각 표면을 촬영할 영상 촬영 장치를 부착할 수 있는 지그를 가공하여 일정한 구도로 건조부각의 촬영이 가능하게 끔 하였다. 내외부에는 반사된 조명의 영향을 최소화하기 위해 Polyether Block Amide 재질로 제작된 프레임으로 투입되는 외부 빛을 차단하도록 제작하였다(그림 1).

그림 1. 건조부각 표면 영상 데이터 획득용 프레임

Fig. 1. Kimbukak surface data acquisition frame

2.2 데이터 획득

2.2.1 영상 데이터

건조부각 고정 프레임에 건조부각을 위치한 후 건조부각의 앞면과 뒷면을 촬영할 수 있게 영상 촬영 장비를 고정하였다. 건조부각 고정 프레임 내부 중앙에 건조부각을 위치시킨 후 물체의 표면 및 위치정보를 추출할 수 있도록 카메라를 활용하여 영상을 획득하였다.

2.2.2 영상 데이터 획득을 위한 펌웨어 구현

건조부각 RGB 영상 데이터 획득을 위하여 Intel사 RealSense D400 시리즈와 연동되는 cross-platform과 open source Intel RealSense SDK 2.0 라이브러리를 활용하였으며, 이때 사용한 소프트웨어는 Python 3.8을 기반으로 하였다. 건조 부각 영상 데이터 획득을 위한 원 영상 사이즈는 1920 x 1028 x3이다. 촬영된 데이터는 PNG 파일로 저장하였다.

2.2.3 건조부각 특성 데이터

본 연구에서 획득한 건조부각의 표면 영상 데이터는 아래 그림 2와 같다. 건조부각은 2가지의 표면으로 구성되어 있으며, 고명이 있는 표면과 찹쌀풀로 도포되어 있는 표면으로 구성되어 있다. 앞서 언급한 바와 같이 건조부각 제조 공정 자동화를 위한 진공 그리퍼 적용을 위해서는 건조부각의 앞면(고명이 있는 표면)과 뒷면(고명이 없는 표면)을 분류함으로써 진공패드를 활용하여 그리핑 하는 작업에서 적용할 수 있다.

그림 2. 건조부각 표면 영상 데이터

Fig. 2. Kimbukak surface RGB image data

2.3 데이터 전처리

Intel사의 Realsense RGB 카메라를 활용하여 획득한 건조부각의 위치는 저장된 PNG파일을 Matlab 프로그램으로 불러들여와 Matlab의 Imagelabler를 활용하여 ROI(Region Of Interest)를 설정하였다. 건조부각의 표면 타입을 분류하기 위하여, 건조부각 표면의 앞면과 뒷면을 2개의 class로 라벨링하였으며, 추가적으로 건조부각의 위치를 검출하기 위하여 건조부각의 영역을 직사각형으로 라벨링하여 X,Y 좌표값과 가로,세로 픽셀 거리를 추출하였다.

본 연구에서 건조부각 위치 및 표면 타입을 분류하기 위해 활용한 YOLO-v5 딥러닝 모델의 backbone에 따라 영상 사이즈를 800 x 800 x 3로 resize 하였다. 아래 그림 3과 같이 라벨링된 건조부각의 영역과 표면 타입 정보는 YOLO-v5 딥러닝 모델 학습 및 검증 결과에 활용하였다.

그림 3. 건조부각 표면 정보 라벨링

Fig. 3. Kimbukak surface information labeling

2.4 건조부각 위치 및 표면 분류 딥러닝 모델

본 연구에서는 건조부각 위치 및 표면 분류를 위하여 YOLO-v5모델을 활용하였다. YOLO-v5 모델에 적용된 DarkNet은 DenseNet을 backbone으로 활용하며 CSP기법을 적용하여 정확도를 향상시킴과 동시에 연산량을 감소시켜 경량화를 수행하고 각 계층의 연산량을 균등하게 분배함으로써 bottleneck을 축소하였다[14]. YOLO-v5 물체 인식 네트워크는 depth multiple과 width multiple을 기준으로 4가지 모델(v5-s, v5-m, v5-l, v5-x)로 분류할 수 있으며, v5-s모델의 경우 depth와 width multiple이 0.33, 0.5로 작아 모델의 사이즈가 가장 작다는 장점이 존재한다. YOLO-v5 모델은 backbone, neck, head로 구성되어 있으며, backbone은 여러 해상도에서 특징을 추출하는 역할, neck은 다중 해상도 기능 집계 역할, head의 경우 객체 해상도를 기반으로 최종 분류/검출을 생성하는 역할로 구성되어 있다[15]. 또한 YOLO-v5 모델은 sigmoid linear unit 활성화 함수를 적용하였다. YOLO-v5 모델의 구조는 아래 그림과 같다 (그림 4).

그림 4. YOLO-v5 네트워크 구조

Fig. 4. YOLO-v5 Network architecture

3. 결과

본 연구에서는 배추의 RGB 영상을 활용한 YOLO-v4 딥러닝 기반 심 중심 영역 검출 및 심 깊이를 분류할 수 있는 모델을 제안하였으며 결과는 다음과 같다.

3.1 연구 결과 성능 평가

본 연구에서는 건조부각의 RGB 영상을 활용한 YOLO-v5 딥러닝 기반 건조부각 영역 검출하고표면 타입을 이진분류할 수 있는 모델을 제안하였으며 결과는 다음과 같다.

3.1 영상 증강 결과

딥러닝 모델은 보다 정교한 학습 및 검증 결과를 도출하기 위해서 매우 큰 규모의 데이터 세트가 있어야 한다. 하지만 충분한 양과 질의 데이터를 확보하기 어렵다. 따라서, 데이터 증강기법을 적용함으로써 데이터의 다양성과 양을 늘리고 훈련 데이터에 임의의 변형을 적용하여 모델이 데이터의 핵심 특징을 학습하고 모델이 편향되지 않도록 학습할 수 있다[16]. 본 연구에서는 획득한 원영상 데이터의 양을 딥러닝 모델 학습 과정에서 증가시키기 위하여 2가지 영상 증강기법을 적용하였다. 첫 번째, horizontal flip, 두 번째 random X/Y scaling 기법을 적용하여 원 영상의 개수가 기존 440개에서 660개로 증가하였다(그림 4).

그림 4. 건조부각 영상 데이터 증강

Fig. 4. Kimbukak image data augmentation

3.2 성능평가

본 연구에서 적용한 건조부각 위치 및 표면 분류 모델의 성능을 검증하기 위하여 k-fold cross validation 기법을 활용하였으며, k 값은 5로 설정하였다. 또한, 모델의 검출에 대한 성능 평가 파라미터로는 mean intersection over union (IoU)와 mean average performance(mAP) 그리고 분류 성능 평가 파리미터로는 confusion matrix를 활용하여 accuracy, recall, precision 그리고 F1-score 값을 도출하였다[17]. 건조부각 영역 검출 및 표면 분류 모델 학습 및 검증을 위하여 MATLAB(2023a, Mathworks, USA)와 Computer vision Toolbox 및 Deep learning Toolbox 활용하였으며, 인텔(R) i9-13900HX CPU @2.20GHz, NVIDIA 4080의 윈도우 시스템을 사용하였다.

3.3 건조부각 표면 위치 검출 딥러닝 모델 결과

RGB영상으로부터 건조부각의 표면 영역 위치를 검출하는 딥러닝 학습 및 검증결과는 아래 표와 같다. 표 1에서 나타난 바와 같이 건조부각 앞면 검출 결과로 mAP와 mIoU 값이 각각 0.98와 0.96으로 나타났으며, 이때 detection threshold 값은 0.25로 설정하였다. 추가적으로 건조부각 뒤 표면 검출 결과로 mAP와 mIoU 값이 각각 1.00 그리고 0.95로 나타났다. 건조부각 표면 영역 검출 결과는 그림 6과 같다.

표 1. 건조부각 표면 검출 결과

Table 1. Summary of Kimbukak surface detection result

그림 6. 건조부각 표면 영역 검출 결과

Fig. 6. Representative Kimbukak surface region detection result

3.4 건조부각 표면 판별 분류 딥러닝 모델 결과

건조부각 표면 타입을 분류한 결과는 표 2와 같다. 촬영한 건조부각의 앞면과 뒷면 2개의 클래스에 대하여 이진 분류한 결과는 average 98.5%, recall 98.3%, precision 98.6% 그리고 F1-score 98.4%로 나타났다.

표 2. 건조부각 표면 판별 결과

Table 2. Result of Kimbukak surface classification

아래 그림 7은 건조부각 표면 타입의 2개의 클래스 이진 분류한 딥러닝 모델의 혼동 행렬 결과이며, 검증을 위하여 132개의 샘플을 활용하였다.

그림 7. 건조부각 표면 판별 분류 혼동 행렬

Fig. 7. Kimbukak surface type classification confusion matrix

아래 그림 8는 제안한 YOLO-v5 딥러닝 모델 기반 건조부각 영역 검출 및 표면 이진분류를 위한 학습 과정 결과이다. Epochs가 증가함에 따라 loss 값이 감소하였다.

그림 8. 건조부각 딥러닝 표면 위치 및 타입 분류 모델 학습 과정

Fig. 8. Training process of deep learning model for Kimbukak surface detection

4. 결론

건조부각 제조 공정 중 유탕 공정은 노동집약적이며, 수작업 비율이 높고 위험한 공정으로 작업자들이 안전사고에 노출될 확률이 높다[18]. 따라서 해당 공정에 로봇 및 머신비전 시스템을 도입함으로써 작업자 안전성 및 생산성 향상을 통한 작업 환경개선이 가능하다.

본 연구는 건조부각 제조 공정의 로봇 자동화 시스템 개발의 사전 연구로 건조부각을 유탕기에 투입하기 전 이송하는 공정에서 건조부각을 로봇 그리퍼가 물체를 그리핑하기 위한 사전 작업으로 머신비전 시스템에 적용될 RGB 영상 카메라로 건조부각의 영역을 검출하고 표면 타입을 분류하는 딥러닝 모델을 제안하였다. 이를 위해 400장의 건조부각 영역에 대한 RGB 영상과 영상내 좌표값 데이터를 획득하고, 추가적으로 건조부각의 앞면 또는 뒷면에 대한 클래스를 라벨링함으로써 YOLO-v5 딥러닝 모델에 활용될 데이터베이스를 구축하였다.

본 연구 결과에서 나타난 바와 같이 건조부각의 각 앞면과 뒷면의 영상으로부터 위치한 영역을 검출하는 성능 중 하나인 라벨링된 영역과 검출된 영역의 mIoU 값이 약 0.96 그리고 0.95으로 높게 나타났으며, 추가적으로 앞면과 뒷면 검출 성능 지표인 mAP 값 역시 0.98 그리고 1.00으로 높게 나타났다. 추가적으로 건조부각의 제품 특성에 따라 고명이 있는 표면과 없는 표면을 분류한 분류결과에서도 132개의 검증 샘플에서 2개의 오분류가 나타났으며, F1-score가 약 0.985로 높게 나타났다.

본 연구에서 활용한 건조부각은 형상이 직사각형 형태가 아닌 비대칭 또는 비정형적이며, 건조하는 과정에서 제품이 부서지거나 표면에 구멍이 존재하기 때문에 물체를 진공을 활용한 진공패드로 이송하는 과정에서 문제점들이 존재하였다. 이러한 문제점을 극복하기 위한 사전 연구로 건조부각의 표면을 분류하였으며, 이를 추후 연구에서는 embedded system 예를 들어 Jetson보드 또는 Rasberry pi보드에 개발한 YOLO-v5 모델을 탑재하여 제조 공정의 로봇자동화 오류를 최소화 할 수 있는 연구로 활용할 수 있다.

추가적으로, 건조부각의 RGB 영상을 활용하여 제품의 위치와 표면 타입을 분류하였으나, 건조부각의 추가적인 표면 정보 예를 들어 구멍의 위치, 크랙 등에 대한 검출을 통하여 불량 제품을 판별하는 연구가 필요하다. 또한 다양한 형태의 건조부각 예를 들어 다른 고명을 활용한 건조부각의 제품에 대한 영상 데이터를 획득하고 영상 증강 기법에 대한 성능 비교 등을 수행하여 본 연구에서 제안한 모델을 강건하게 고도화하는 연구가 필요할 것으로 사료된다.