Pig Image Learning for Improving Weight Measurement Accuracy

Abstract

가축의 생체중은 건강 및 사육 환경 관리에 중요한 정보이고 이를 통해 최적 사료량이나 출하 시기 등을 결정하게 된다. 일반적으로 가축의 무게를 측정할 때 체중계를 이용하지만, 체중계를 이용한 가축 무게를 측정하는데 상당한 인력과 시간이 필요하고 성장 단계별 측정이 어려워 사료급이량 조절 등의 효과적인 사육 방법이 적용되지 못하는 단점이 있다. 본 연구는 축산 양돈 분야에 영상 및 이미지 데이터를 수집, 분석, 학습, 예측 등을 통해 포유자돈, 이유자돈, 육성돈, 비육돈 구간별 체중 측정에 관한 연구와 함께 정확도를 높이고자 하였다. 이를 위해 파이토치(pytorch), YOLO(you only look once) 5 모델, 사이킷런(scikit learn) 라이브러리를 사용하여 학습시킨 결과, 실제치(actual)와 예측치(prediction) 그래프에서 RMSE(root mean square error) 0.4%와 MAPE(mean absolute percentage error) 0.2%로 유사한 흐름을 확인할 수 있다. 이는 양돈 분야의 포유자돈, 이유자돈, 육성돈, 비육돈 구간에서 활용할 수 있으며 다각도로 학습된 이미지 및 영상 데이터와 실제 측정된 체중 데이터를 바탕으로 지속적인 정확도 향상이 가능하고 향후 영상판독을 통해 돼지의 부유별 생산량에 대한 예측으로 효율적인 사육관리가 가능할 것으로 기대된다.

The live weight of livestock is important information for managing their health and housing conditions, and it can be used to determine the optimal amount of feed and the timing of shipment. In general, it takes a lot of human resources and time to weigh livestock using a scale, and it is not easy to measure each stage of growth, which prevents effective breeding methods such as feeding amount control from being applied. In this paper, we aims to improve the accuracy of weight measurement of piglets, weaned pigs, nursery pigs, and fattening pigs by collecting, analyzing, learning, and predicting video and image data in animal husbandry and pig farming. For this purpose, we trained using Pytorch, YOLO(you only look once) 5 model, and Scikit Learn library and found that the actual and prediction graphs showed a similar flow with a of RMSE(root mean square error) 0.4%. and MAPE(mean absolute percentage error) 0.2%. It can be utilized in the mammalian pig, weaning pig, nursery pig, and fattening pig sections. The accuracy is expected to be continuously improved based on variously trained image and video data and actual measured weight data. It is expected that efficient breeding management will be possible by predicting the production of pigs by part through video reading in the future.

I. Introduction

우리나라 축산업 생산액의 비율은 전체 농업생산액 대비 약 39.4%를 차지하고 이 중 돼지가 약 44.6%의 생산액 비율을 나타내며 연평균 12.6% 정도로 증가하고 있다. 한국농촌경제연구원이 발표한 '2024 농업-농촌경제 동향과 전망'에 따르면 돼지고기는 2022년 쌀 생산액을 제치고 농업생산액 1위 품목이 될 것으로 예상한다[1]. Table 1과 같이 주요 식량으로 자리 잡은 돼지고기 생산액은 더욱 증가하여 2033년에는 10조 7천억 원 이상이 될 것으로 전망하고 있다. 그러나 수입자유화로 인한 돼지고기 수입량 증가와 농가 고령화 등으로 생산량 감소가 지속적인 문제로 대두되고 있다. 이러한 문제는 스마트 축사로의 전환을 통해 극복해야 한다. 특히 양돈업에서 생산량과 직결되는 생산 지표는 돼지의 무게이다[2, 3]. 이러한 돼지의 생체중 측정은 돼지의 건강 및 사육 환경 관리에 중요한 정보를 제공한다[4]. 또한, 이를 통해 최적의 사료량을 결정할 수 있고 돼지 복부 지방 형성 정도를 예측하여 최적의 출하 시기를 결정함으로써 사육 비용의 절감 및 최적화를 통한 생산비 절감 및 생산성 향상을 기대할 수 있다[5, 6].

Table 1. Annual change in the top 10 agricultural output items in South Korea (unit: 100 billion won, %)

본 연구에서는 양돈 분야의 포유자돈, 이유자돈, 육성돈, 비육돈 구간 학습된 이미지 및 영상 데이터를 바탕으로 체중 값의 측정 정확도를 개선하는 데 있다.

2장에서는 관련 연구를 소개한다. 3장에서는 요구사항분석, 데이터 수집, 영상측정 및 분석에 사용되는 아키텍처의 구성과 함께 영상측정 장치의 설치와 측정 방법 및 개념을 소개한다. 또한, 4장에서는 영상 분석에 사용되는 프레임워크(framework) 및 학습모델(learning model)을 소개하며 학습 결과를 확인하고 정확도를 평가한다. 마지막으로 5장에서는 결론과 향후 활용 가능 분야를 제시한다.

II. Related Works

빅데이터(big data), 클라우드(cloud), 인공지능(artificial intelligence) 등 ICT(information and communication technologies) 핵심기술과 융합을 통해 대용량의 수집, 저장된 데이터를 분석하여 의미 있는 정보를 생성하고 있다. 그래서 생성된 정보를 효과적으로 사용자에게 전달하는 데이터(data), 정보(information), 미디어(media)의 지식 가치사슬을 완성해 지능화 시대의 핵심 인프라가 되었다[7, 8].

특히, 미디어와 AI기술의 결합은 AI가 인간의 지적 활동 영역인 시각, 언어, 감각, 이해, 학습, 추론 등을 구현하고 재현하고 있다. 이미지 미디어가 기획, 제작, 편집, 유통, 소비에 참여하고 있다[9, 10]. 한국 및 세계적인 미디어 지능화 현황은 Table 2와 같다.

Table 2. Status of Media Intelligence

미디어와 컴퓨터 비전 기술이 생산과 소비의 주체가 사람에게서 기계로 확장되고, 지능화된 미디어가 사람과 사람, 기계와 기계, 사람과 기계 간의 소통을 매개함으로써 기존 미디어 산업의 큰 변화를 가져올 것이며 양돈 분야에 적용하여 인적, 자원적 효과를 발휘할 수 있다.

본 논문에서는 컴퓨터비전 분야의 기술을 이용하여 사육 돈의 무게를 측정하는 방법을 연구하였다. 그래서 기존 방식인 돈형기를 이용하는 흉위 측위법의 문제점을 보완하기 위하여 상부(top)와 측면 모양(side view)으로 카메라 영상을 구분 촬영하여 정확도를 제고 하였다[5-10].

대표적으로 양돈의 무게측정 방법은 흉위 측위법과 돈형기에 의한 방법이다. 흉위 측위법은 돼지의 흉위를 줄자로 측정하여 산출식에 의해 무게를 측정하는 방법으로 측정오차가 매우 커 실제 양돈 농가에서는 많이 사용되지 않는다. 다음으로 돈형기는 저울을 이용하여 돼지의 무게를 직접 측정하는 방법으로 정확한 무게를 측정할 수 있다는 장점이 있지만 돈형기 위로 돼지를 올려놓기 위해 많은 인력과 시간이 소모된다는 단점이 있다.

이러한 기존의 양돈 무게측정 방식의 문제점을 해결하고자 체중 측정 카메라, 체중 측정 장비를 이용하여 무게를 측정하는 새로운 방법을 제안하였다. 이 방법들은 돈사 천장에 카메라를 설치하고 이를 통해 획득한 2D 또는 3D 영상정보를 이용하여, 돼지의 윤곽이나 등뼈 라인 등을 추출하여 타원 맞춤 알고리즘 통하여 양돈의 무게를 추정하는 방법으로 돼지의 픽셀 수 또는 영상 처리 기술 등을 이용한다. 최근 소개된 방법은 딥러닝 RCNN(regions with convolutional neural network)을 이용한 방법으로 돼지를 인식하고 회귀 네트워크를 이용하여 돼지의 무게를 추정한다. 그러나 앞에서 언급한 방법들은 돈사의 환경에 많은 영향을 받게 된다. 예를 들면, 돈사의 높이가 모두 일정하지 않다는 것이다. 따라서 이 방법을 활용하기 위해서는 돈사의 높이에 따른 카메라 및 알고리즘의 보정 등이 해결해야 할 문제점으로 남아있다.

영상 처리 기술의 발전에 따라 돼지의 몸통 너비, 체고 등의 정혹도를 높이기 위하여 3D 카메라 영상 데이터를 사용하였다. 그러나 약 5~10.3%의 성능 오차가 발생했다[11]. 본 연구에서는 이러한 오차를 최소화 하기 위하여 탑뷰 영상 데이터를 수집하고 이미지 분할하였고 RCNN 인공지능 신경망을 이용하였다, 그래서 4% 이상의 성능개선하였다[12-14], 그러나 이미지에 밝기, 촬영각도에 따른 노이즈가 발생할 수 있으며 이를 최소화하기 위한 연구가 필요하다.

III. The Proposed Scheme

3.1 Collect and analyze pig farm requirements

총 40 농가를 대상으로 진행되었으며 각 농가의 장비 선호도와 추가적인 기능에 대한 의견을 수집하였다. 농장의 효율성과 편의성을 위해 이동형, 고정형을 고려하였다.

조사 결과 이동형 장비가 가장 높은 50%의 점유율을 차지하였으며, 고정형 장비는 30%, 휴대형 장비는 20%로 세 번째 순위를 차지하였다. 이동형 장비의 선호도는 그 융통성과 다양한 농장 내 돈사에 적합할 가능성에 기인한 것으로 보인다. 이동형 장비는 농장 내 여러 위치에서 활용할 수 있으며, 특정 지역에 구애받지 않는다는 장점이 있다. 농가의 주요 요구사항으로 온도 및 습도 센서 적용 여부, BCS(body condition score) 측정 기능, 포유자돈수 감지 고정형, 이동형 카메라 개발로 Table 3과 같다.

Table 3. Comprehensive analysis of requirements

고정형 장비는 더 안정적인 측정 환경을 제공하지만, 설치장소에 제한을 받는 단점이 있으며 휴대형 장비는 가장 낮은 선호도를 보였다. 이는 상대적으로 낮은 측정 정확도나 사용의 불편함, 사용자의 숙련도에 따른 오차율 등의 문제일 수 있다.

본 연구에서는 농가 공통적인 요구사항 중 데이터의 수집 및 분석을 통한 다양한 돈사의 환경에서 정확도를 높이일 수 있는 측정방법 및 결과를 중심으로 진행하였다.

3.2 Data collection

돼지 무게측정을 위한 원시데이터를 확보하기 위하여 Figs. 1, 2과 같은 데이터수집 및 영상측정을 위한 개념적으로 설계하였으며 Fig. 3과 같이 측정 장치를 상부(top)와 측면 모양(side view)으로 구분하여 설치하였다.

Fig. 1. Installation of image measurement equipment

Fig. 2. Image measurement concept diagram

Fig. 3. Installation of video measurement device

영상 데이터수집을 위한 시스템은 체형 측정 카메라 2식인 상부와 사이드가 있으며 체중 측정 장비로 구성하였다. 딥러닝 학습을 위하여 수집된 데이터는 이미지 및 영상 데이터를 포함하여 724,843건이다. 데이터의 세부설명은 Table 4와 같다.

Table 4. Data Analysis

양돈 분야의 포유자돈, 이유자돈, 육성돈, 비육돈 구간에서 활용하기 위하여 Fig. 2와 같이 체중 측정 카메라 1, 체중 측정 카메라 2, 체중 측정 장비를 이용하여 측정하였다. 측정 시 돼지의 목둘레, 허벅지 두께 등 측정정보의 세분화를 위하여 p1, p2, p3, p4로 구분하였다.

자체 실증농장에서 직접 수집한 포유자돈, 이유자돈, 육성돈, 비육돈의 이미지·영상 데이터이다. 또한, 체중측정장치로부터 수집된 체중 데이터는 2,899,372건으로 실증농장에서 측정되었다. 돼지 체중 측정은 상부(top)와 측면 모양(side view)으로 Fig. 3과 같이 측정하였다.

3.3 Pig weight estimation system and method

돼지 무게 추정 시스템은 대상 공간에 대해 생성된 실시간 영상 이미지와 깊이 정보를 수신한다. 그리고 수신부 및 상기 실시간 영상 이미지에 포함된 대상 돼지에 대한 깊이 정보를 미리 기계 학습된 추정 모델에 적용하여 대상 돼지에 대한 추정 무게 정보를 생성하는 추정부를 포함한다. 대상 공간에 대한 상기 깊이 정보는 포인트들 각각에 대한 깊이 값 정보가 포함된 포인트 클라우드일 수 있다. 측정 단계는 Fig. 4와 같이 5단계로 상부(top)와 측면 모양(side view) 촬영 시 정확도를 향상할 수 있다.

Fig. 4. How to Estimate Pig Weight

3.4 Architecture and Framework

아키텍처와 프레임워크는 5단계로 구분하였다. 그 중 데이터 분석을 위하여 사용된 프레임워크로 파이 토치(pytorch), YOLO(you only look once) 5를 기반으로 한 모델을 사용되었으며 체중 데이터 학습으로 사이킷런(scikit-Learn) 라이브러리를 이용한 오브젝트 식별(object detection), 이미지 필터링(filtering the Image), 이미지 분할(image segmentation), 식별(feature extraction), 학습 과정(training ANN)을 통해 개발되었다. 아키텍처는 Fig. 5와 같이 총 5단계로 설계하였다.

Fig. 5. Architecture and Frameworks

IV. Learning Results

4.1 Experiment environment

세분화(segmentation) 모델을 통해 돼지 각각의 객체에 대해 세분화를 진행하고 깊이 정보를 이용하여 해당 객체의 체중을 예측하는 AI 모델이다. 실험환경은 PIGAICAM v1.0 모듈을 대상으로 Python 3.9.13, YOLO v5 8.0.181, 사이킷런(scikit-Learn) 1.2.2를 사용하였으며 세부환경은 Table 5와 같다.

Table 5. Experiment environment

4.2 Experimental procedure

첫째, 시험 데이터는 돈사 촬영 영상 이미지 세분화(segmentation)가 완료된 이미지의 좌표마다 깊이 정보를 추출한 데이터 파일(.npy)을 이용하며 정답 데이터는 시험 데이터 파일명에 레이블링(Labeling)된 체중 데이터를 활용하였다. 둘째, 소스 코드는 라이브러리 불러오기(library import), 모델 및 시험 데이터에서 정답 값을 추출하고 시험 데이터 전처리 후 사전 학습된 모델에 입력하여 돼지객체의 체중을 예측하였다. 돼지의 상부(top)와 측면 모양(side view) 촬영 데이터별로 예측값과 정답 값을 산출하기 위하여 사이킷런의 MSE(mean squared error)함수와 RMSE(root mean square error)를 사용하였으며 산출 및 예측값과 정답 값을 비교하여 MAPE(mean absolute percentage error)를 산출하였다. 또한, 전체 시험 데이터에 대해 RMSE와 MAPE의 평균값을 산출하고 RMSE 평균과 정답 값 평균을 비교하여 오차율을 산출하였다. 셋째, 시험 수행은 스크립트를 실행하여 시험 데이터를 사전 학습된 모델에 입력하여 돼지의 체중을 예측하고 데이터별 예측값과 정답 값으로 사이킷런의 MSE 함수를 통해 RMSE 산출하였다. 그리고 예측값과 정답 값을 비교하여 MAPE 산출한 후 전체 시험 데이터에 대한 RMSE 평균과 정답 값 평균으로 오차율, 평균 MAPE 산출을 반복하였다[15].

4.3 Experiment result

실험 결과 MAPE, RMSE 산출 및 데이터 비교 절차는 다음과 같다. 첫째, 시험 데이터별 결과 산출은 \(\begin{align}R E S E=\sqrt{M S E}\end{align}\)이며 전체 시험 데이터에 관한 결과로 MAPE, RMSE를 측정하였다.

둘째, 수집된 데이터를 기반으로 우선 체중 학습을 수행하였다. 체중 학습은 Train MAPE와 Test MAPE를 측정하였고, Fig. 6과 같이 Train MAPE과 Test MAPE의 분포 곡선이 유사한 것을 확인할 수 있다.

Fig. 6. Weight Learning

셋째, 최종 결과로 체중 학습의 실제 결과와 예상 결과를 비교 학습하였다. Fig. 7은 실제치(Actual)와 예측치(Prediction) 그래프로 체중 예측은 회귀 모델 성능 판단 기준은 MAPE=(|Actual-Prediction|)/Answer×100 0.2%로 유사한 곡선을 확인할 수 있다.

Fig. 7. final Learning

Fig. 7과 같이 실제치(actual)를 중심으로 예측치(prediction)가 수렴하는 형태로 데이터가 분포한다. 이는 실제치와 예측치의 유사도로 볼 때 테스트데이터와 검증 데이터를 추가 및 반복 학습하는 과정을 통하여 좀 더 높은 정확도 확보가 가능함을 의미한다.

RMSE=(ΣRMSE/1000)/ΣAnswer/1000)×1000, 평균 MAPE=ΣMAPE/1000의 산출 값으로 Table 6과 같다[16, 17].

Table 6. Experiment result

V. Conclusions

본 논문에서는 포유자돈, 이유자돈, 육성돈, 비육돈의 돼지의 사육단계 구간의 체중을 측정하는 방법으로 영상 및 이미지 데이터를 활용하여 체중을 측정하고 정확도를 높이는 데 중점을 두었다. 기존 연구와 달리 영상 데이터 수집을 위하여 체형 측정 카메라 상부와 측면을 활용하여 촬영 데이터를 수집하였다[16]. 수집된 데이터는 파이토치, YOLO 5 모델, 사이킷런 라이브러리 등 딥러닝 툴을 활용하여 학습하였고 분석된 실제치와 예측치 그래프를 통하여 MAPE 0.2%로 유사한 흐름을 확인할 수 있다. 본 연구의 활용방식으로는 각 돈방에 있는 이유자돈, 육성돈, 비육돈이나 분만틀에 있는 포유자돈의 체중 측정이 가능하며 3D 카메라와 다각도로 학습된 이미지, 영상 데이터를 활용할 수 있고 이를 바탕으로 정확도 높은 체중 값을 측정하는 솔루션에 활용할 수 있다. 향후에는 영상판독을 통한 돼지의 부유별 생산량에 대한 예측이 가능하도록 다양한 측정예측 알고리즘의 적용 및 검증이 필요하다.