Korean Journal of Remote Sensing (대한원격탐사학회지)

Korean Society of Remote Sensing (대한원격탐사학회)
권호 표지
DOI QR코드

DOI QR Code

Sorghum Field Segmentation with U-Net from UAV RGB

무인기 기반 RGB 영상 활용 U-Net을 이용한 수수 재배지 분할

  • Kisu Park (Department of Biosystem Engineering, Institute of Agriculture & Life Science, Gyeongsang National University) ;
  • Chanseok Ryu (Department of Bio-Industrial Machinery Engineering, Institute of Agriculture & Life Science, Gyeongsang National University) ;
  • Yeseong Kang (Department of Biosystem Engineering, Institute of Agriculture & Life Science, Gyeongsang National University) ;
  • Eunri Kim (Department of Biosystem Engineering, Institute of Agriculture & Life Science, Gyeongsang National University) ;
  • Jongchan Jeong (Department of Biosystem Engineering, Institute of Agriculture & Life Science, Gyeongsang National University) ;
  • Jinki Park (Southern Crop Department, National Institute of Crop Science)
  • 박기수 (경상국립대학교 농업생명과학대학 바이오시스템공학과) ;
  • 유찬석 (경상국립대학교 농업생명과학대학 생물산업기계공학과 ) ;
  • 강예성 (경상국립대학교 농업생명과학대학 바이오시스템공학과 ) ;
  • 김은리 (경상국립대학교 농업생명과학대학 바이오시스템공학과) ;
  • 정종찬 (경상국립대학교 농업생명과학대학 바이오시스템공학과) ;
  • 박진기 (국립식량과학원 남부작물부)
  • Received : 2023.09.05
  • Accepted : 2023.10.04
  • Published : 2023.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

When converting rice fields into fields,sorghum (sorghum bicolor L. Moench) has excellent moisture resistance, enabling stable production along with soybeans. Therefore, it is a crop that is expected to improve the self-sufficiency rate of domestic food crops and solve the rice supply-demand imbalance problem. However, there is a lack of fundamental statistics,such as cultivation fields required for estimating yields, due to the traditional survey method, which takes a long time even with a large manpower. In this study, U-Net was applied to RGB images based on unmanned aerial vehicle to confirm the possibility of non-destructive segmentation of sorghum cultivation fields. RGB images were acquired on July 28, August 13, and August 25, 2022. On each image acquisition date, datasets were divided into 6,000 training datasets and 1,000 validation datasets with a size of 512 × 512 images. Classification models were developed based on three classes consisting of Sorghum fields(sorghum), rice and soybean fields(others), and non-agricultural fields(background), and two classes consisting of sorghum and non-sorghum (others+background). The classification accuracy of sorghum cultivation fields was higher than 0.91 in the three class-based models at all acquisition dates, but learning confusion occurred in the other classes in the August dataset. In contrast, the two-class-based model showed an accuracy of 0.95 or better in all classes, with stable learning on the August dataset. As a result, two class-based models in August will be advantageous for calculating the cultivation fields of sorghum.

논·밭 전환 시 수수(sorghum bicolor L. Moench)는 뛰어난 내습성으로 콩과 함께 안정적인 생산이 가능하여 국내 식량작물의 자급률 향상과 쌀 수급 불균형 문제를 해결할 수 있을 것으로 기대되는 작물이다. 그러나 수량 추정을 위한 재배면적과 같은 기본적인 통계조사는 많은 인력을 투입하여도 오래 걸리는 전통적인 조사 방식으로 인해 잘 이루어 지지 않고 있다. 이에 따라 본 연구에서는 무인기 기반 RGB 영상에 U-Net을 적용하여 수수 재배지 비파괴적 분할가능성을 확인하였다. 2022년에 7월 28일, 8월 13일, 8월 25일에 각각 영상이 취득되었다. 각 영상취득 날짜에서 512 × 512 영상크기로 훈련데이터셋 6,000장과 검증데이터셋 1,000장으로 나누어 학습을 진행하였으며 수수 농경지(sorghum), 벼와 콩 농경지(others)와 비 농경지(background)로 구성된 세 개 클래스와 수수 농경지와 배경(others+background)으로 구성된 두 개 클래스 기반으로 분류모델을 개발하였다. 모든 취득 날짜에서 세 개 클래스 기반 모델에서는 수수 재배지 분류 정확도가 0.91 이상으로 나타났지만 8월 데이터셋의 others 클래스에서 학습 혼동이 일어났다. 대조적으로 두 개 클래스 기반 모델에서는 8월 데이터셋의 안정적인 학습과 함께 모든 클래스에서 0.95 이상의 정확도를 나타내었다. 결과적으로 8월에 두개클래스 기반 모델을 현장에 재현하는 것이 수수 재배지 분류를 통한 재배면적 산출에 유리할 것으로 판단된다.

Keywords

1. 서론

수수(sorghum bicolor L. Moench)는 외떡잎식물 벼목벼과의 한해살이 풀로 쌀, 밀, 옥수수, 보리와 함께 세계 5대 곡물이다(Marsalis et al., 2010). 반건조지역, 아열대 지역, 열대지역, 온대기후 등에서 폭넓게 재배될 정도로 재배 적응성이 높으며(Smith and Frederiksen, 2000), 기후 변화에 따른 가혹한 조건에서도 생산성이 예측되는 장점이 있는 작물이다(Tack et al., 2017). 수수는 아시아와 아프리카에서는 주로 식량작물로 소비하는데 반해 유럽에서는 사료용이나 산업용으로 이용하고 있다(Dykes et al., 2005). 국내에서는 떡, 엿, 죽과 전통술의 원료로 사용(Ha and Lee, 2001)되고 있는 수수의 연간 가격은 유기농 기준 400 g당 2020년 평균 10,762원, 2021년 평균 14,194원, 2022년 평균 14,250원, 2023년 평균 11,881원으로 큰 가격 변동을 보이고 있다(Korean Agricultural Management Information System, 2023). 수수 수확량은 현장에서 직접 샘플링하는 전통적인 방법으로 개체 수와 종실 당 무게를 측정하는 것을 통해 추정되어 왔다(Lin and Guo, 2020). 그러나 실제 인력을 투입하여 경작지의 수수 종실을 세는 방법이 현실적으로 어렵기 때문에 국내에서는 2009년에 수수 재배면적 1.547 ha 와 생산량 2.562 ton을 마지막으로 조사가 이루어지지 않고 있다(Korean Statistical Information Service, 2022).

현재 국내에서는 지속적으로 이슈가 되고 있는 쌀초과생산량을 조절하기 위해 논을 밭으로 전환 시 안정적인 생산이 가능한 내습성 품종을 선발하여 논타작물 재배 지원 사업을 추진하고 있다(Rural Development Administration, 2019). 수수는 논 이였던 다습한 재배지에서도 콩과 참깨 다음으로 안정적인 생장이 가능한 작물로(National Institute of Crop Science, 2019) 특히 경사진 논에서 수수가 밭 작물 중 가장 뛰어난 내습성을 가지고 있다(National Institute of Crop Science, 2016). 앞으로 수수에 대한 소비자의 수요 증가와 논 밭 전환으로 인한 생산량 증가에 대비하여 지속적이고 안정적인 수급 대책을 수립하는 것이 필요하다. 그렇기 때문에 많은 인력과 시간이 요구되는 기존의 수확량 조사방식이 아닌 주산지 중심으로 보다 빠르게 재배면적, 작황 및 수량 추정할 수 있는 정보 수집과 분석 기술이 요구된다.

최근 국내외 농업에서 원격탐사 기술을 이용하여 비접촉적, 비파괴적으로 작물의 생육을 분석하고 추정할 수 있는 연구가 활발히 진행되고 있다. 특히 낮은 고도에서 비행 가능한 무인기에 장착된 영상센서를 통해 취득된 고해상도 영상을 활용한 원격 탐사 기술이 활발히 이용되고 있으며(Stehr, 2015), 일반적으로 RGB, multispectral, hyperspectral, thermal, light detection and ranging (LiDAR) 와 같이 다양한 영상센서가 장착이 가능하다(García-Martínez et al., 2020). 무인기 기반 영상을 활용한 작황 모니터링이 기존 위성 기반 영상을 이용한 방법과 비교하여 영상 취득의 한계를 극복하고 고해상도 영상을 통한 정밀한 필지 단위 분석을 가능하게 한다(Na et al., 2018). 또한 최근 인공지능 분석기술의 발전으로 인해 비가시 광 영역이 포함된 multispectral과 hyperspectral 영상과 비교하여 적은 정보량을 가진 RGB 영상만을 이용해서도 양질의 결과들을 도출해내고 있다(David et al., 2021).

대량의 데이터를 학습할 수 있는 인공지능 분석기술인 컴퓨터의 하드웨어와 소프트웨어의 지속적인 발전으로 딥러닝(deep learning)과 컴퓨터 비전 분야는 계속해서 발전하고 있다. 딥러닝 중 합성곱 신경망(convolution neural network, CNN)은 이미지 처리 분야에 주로 활용되고 있으며(Alzubaidi et al., 2021), 농업에서는 CNN 분석으로 작물 재배지 추출과 같은 의미론적 분할을 진행하고 있다(Du et al., 2019). 무인기 기반 영상 활용 인공 지능 분석법을 이용한 작물 생육 모니터링 연구들로 무인기 RGB 영상을 기반으로 식생지수를 계산 후 random forest 모델에 적용하여 단위면적당 콩 식물 수를 산출하였고(Randelović et al., 2020), 옥수수의 수분 스트레스 유무를 판별하기 위해 RGB와 thermal 영상 기반 정형화 데이터셋을 추출하고 선형회귀 모델을 적용하여 필지 단위의 온도 맵(map)을 제작하였다(Zhang et al., 2019). 다른 연구에서는 무인기 RGB와 thermal 영상을 복합 처리하여 정형화 데이터셋을 생성 후 support vector machine 모델을 적용하여 벼 도복률을 산출하는 연구도 수행되었다(Liu et al., 2018). 또한 본 연구의 목표 작물인 수수와 관련된 연구로 무인기 기반 RGB 영상에 딥러닝 객체탐지 분석법 YOLOv5 모델을 적용하여 수수 이삭 탐지 모델이 개발되어 왔다(Park et al., 2022).

본 연구에서는 선행된 연구에 관련하여 특정 작물인 수수를 대상으로 연구를 수행하였으며, 수수의 주산지에서 취득한 무인기 기반 RGB 영상에 U-Net을 적용하여 국내에서 전통적인 방식으로 수량 조사가 어려운 수수의 수량성을 비파괴적으로 추정하기 위해 수수의 재배지 분할 가능성을 검토하였다.

2. 연구자료 및 방법

2.1. 연구지역

본 연구는 경상북도 안동시 남후면 고상리의 약 25 ha 농경지(36°30′20.3″N, 128°36′27.6″E, 130 m of sea level)를 대상으로 진행되었다(Fig. 1). 벼(약 5.7 ha)와 콩(약 1.2 ha)이 재배되고 있는 지역으로 수수의 품종은 소담찰이며 재배면적은 1.8 ha로 2022년 6월 20일에 파종하여 9월 26일에 수확되었다. 무인기에 RGB 영상센서를 탑재하여 성장 2단계(30 to 60 day after seeding (DAS))인 7월 28일(38 DAS)과 8월 13일(53 DAS), 성장 3단계(60 to 90 DAS)인 8월 25일(65 DAS)에 총 3회 영상을 취득하였다.

OGCSBN_2023_v39n5_1_521_f0001.png 이미지

Fig. 1. Study area.

2.2. 연구자료

회전익 무인기 Matrice 300 RTK (DJI Technology Inc., China)에 Zenmuse P1 (DJI Technology, China) (Table 1)를 탑재하여 비행고도 80 m (1 cm/pixel GSD), 측면 오버랩 70%, 정면 오버랩 80%, 비행속도 5 m/s로 DJI Pilot (DJI Technology Inc., China)을 이용하여 GPS 기반 경로로 촬영하였다(Fig. 2, Table 2). 태양각과 광량을 고려하여 오전 10시에서 오후 2시 사이에 촬영을 진행하였고 영상 품질의 표준화를 위해(Rural Development Administration, 2021) 촬영 당시에 기상조건인 강수량, 풍속 및 전운량을 조사하였다(Table 3). 딥러닝을 위한 컴퓨터 성능으로 CPU는 AMD Ryzen 9 3950X(16Core Processor, 3.49 GHz)이고, 메모리(RAM)은 128 GB, GPU는 NVIDIA GeForce RTX 3080 (메모리 10 GB)이었다.

Table 1. Specification of RGB image sensor

OGCSBN_2023_v39n5_1_521_t0001.png 이미지

OGCSBN_2023_v39n5_1_521_f0002.png 이미지

Fig. 2. Flight path map.

Table 2. Flight condition

OGCSBN_2023_v39n5_1_521_t0002.png 이미지

Table 3. Meteorological information in acquisition date and the number of RGB images

OGCSBN_2023_v39n5_1_521_t0003.png 이미지

2.3. 연구방법

2.3.1. 데이터셋

본 연구에서는 Pix 4D Mapper (Pix4D S.A., Swiss)를 사용하여 RGB 영상 7월 28일에 1,049장, 8월 13일에 1,046장과 8월 25일에 990장을 각각 하나의 영상으로 접합한 후 Python 3.8.16 (Python Software Foundation, USA)을 이용하여 동일한 위치에 수수가 포함된 각 날짜 별 전체영상들을 학습을 위해 최대 사이즈 영상(8,000 × 8,000) 7장으로 분할하였다. 그 후 Label-Studio (Heartext Inc., USA)를 이용하여 수수 농경지(sorghum), 수수가 아닌 농경지(others)와 농경지가 아닌 영역(background)으로 annotation 작업을 진행하였고 각각의 레이어를 정합하여 정답 영상 데이터를 생성하였다(Fig. 2). 그 후 Python을 이용하여 512 × 512 해상도를 가진 이미지를 무작위 위치에서 1,000장씩 미니배치를 생성하여 각 취득 날짜별로 학습용 데이터 셋 6,000장, 검증용 데이터 셋 1,000장으로 나누었다.

2.3.2. 딥러닝 모델(U-Net, Semantic Segmentation)

U-Net은 영상 분할 작업에 대한 딥러닝 기반의 네트워크 구조로, 전체 영상에 대한 정확한 분할 맵을 생성하며 작은 객체나 불규칙한 형태를 가진 객체에 대해서도 분할 성능이 뛰어나다는 장점이 있다(Fig. 3). U-Net은 인코더-디코더 아키텍처(encoder-decoder architecture)로 구성되어 있으며 인코더는 컨볼루션 레이어(convolutional layer)와 최대 풀링(maxpooling) 레이어로 구성된다. 컨볼루션 레이어는 입력 영상에서 특징을 추출하는 역할을 하고 최대 풀링 레이어는 입력 영상의 공간 해상도를 줄이면서 특징을 보존하는 역할을 한다. 디코더는 인코더와 대칭적인 구조를 가지며, 컨볼루션 레이어와 업샘플링(upsampling) 레이어로 구성된다. 업샘플링 레이어는 입력 영상의 공간 해상도를 증가시키는 동시에 특징 맵의 크기를 확장하는 역할을 한다. 또한 인코더와 디코더 사이에 경로 결합(skip-connection) 기능을 통해 모델이 고해상도의 분할 맵을 생성하여 작은 객체나 불규칙한 형태를 가진 객체에 대해서도 분할 성능이 뛰어나다는 장점이 있다. 일반적인 CNN의 경우 슬라이딩 윈도우 방식을 사용하나 U-Net 모델은 영상을 패치단위로 잘라서 학습을 진행하여 공간적인 패턴정보의 활용도가 뛰어나 고해상도의 영상 분류에 효과적으로 적용할 수 있다(Ronneberger et al., 2015).

OGCSBN_2023_v39n5_1_521_f0003.png 이미지

Fig. 3. Raw and annotated 8,000 × 8,000 pixels images (July 28).

2.3.2.1. 최적화 알고리즘(Adam)

Adaptive moment estimation (Adam)은 경사하강법(gradient descent)을 기반으로 모멘텀(momentum)과 root mean square propagation (RMSProp)의 장점을 결합한 방법으로 모델의 가중치를 업데이트 하기 위해 사용된다. 손실 함수에 대한 파라미터(parameter) 의 기울기를 계산하고, 이전 단계에서 계산한 기울기와 기울기 제곱 값의 지수 이동 평균을 구해 새로운 기울기와 기울기 제곱 값으로 보정하여 모멘텀과 RMSProp의 편향을 방지하고 안정적인 업데이트를 하는 동작 방식을 갖고 있다. 일반적으로 딥러닝 모델에서 사용되는 기본 최적화 알고리즘으로 다양한 문제에 대해 좋은 성능을 보이며 많은 연구에서 검증되었다(Kingma and Ba, 2014).

2.3.2.2. 학습지표

딥러닝 모델의 경우 학습 영상이 먼저 입력되고 정답 영상 데이터와 예측 결과에 따라 모델 내 아키텍처의 파라미터가 조정된다. 이를 위해 사용한 학습 지표의 경우 혼동 행렬 기반 정확도(Accuracy), 다이스 계수(Dice_coeffciency)와 손실함수로 범주형 교차 엔트로피 손실(categorical cross-entropy loss) 및 이진 교차 엔트로피 손실(binary cross-entropy loss) 두 가지로 각각 지정하였다.

정확도는 모델의 분류 정확도를 측정하는 지표로 실제 클래스와 예측 클래스가 얼마나 일치하는지를 계산하는 것으로 모델이 매 학습마다 올바르게 예측하고 있는지 수치상으로 파악이 가능하다(García et al., 2009). 다이스 계수는 예측된 영역과 실제 영역 사이의 유사도를 측정하며, 클래스 불균형 문제가 있는 데이터에서도 모델의 성능을 평가할 수 있다(Milletari et al., 2016). 교차 엔트로피 손실의 경우 모델의 예측 확률과 실제 값 간의 차이를 계산하여 각 클래스에 대한 예측 확률 분포를 제공하기 때문에 모델의 예측 결과를 직관적으로 해석할 수 있다(Zeiler and Fergus, 2014). 이 중 범주형 교차 엔트로피는 3개 이상의 클래스를 가진 분류 문제에서 일반적으로 사용되며, 해당 손실 함수를 사용하기 위해 정답 영상 데이터의 표현 방식을 변경(background [1 0 0], sorghum [0 1 0], others[0 0 1])하였다. 이진 교차 엔트로피는 이진 분류 문제에서 사용되는 손실함수로 background와 others를 합쳐 정답 영상 데이터의 표현 방식을 변경(background [1 0], sorghum [0 1])하여 사용하였다.

\(\begin{aligned}\text {Accuracy}=\frac{T P+T N}{T P+T N+F P+F N}\end{aligned}\)       (1)

\(\begin{aligned}\text {Dice_Coef}=\frac{2{\times}T P}{(T P+T P)+(F P+F N)}\end{aligned}\)       (2)

Cross – Entropy Loss = – ∑(yi × ln pi), yi = 정답 클래스, pi = 예측 확률 값       (3)

TP (True Positive): 실제 값과 예측 값 Positive

FP (False Positive): 실제 값은 Negative 예측 값은 Positive

TN (True Negative):실제 값과 예측 값 Negative

FN (False Negative): 실제 값은 Positive 예측 값은 Negative

2.3.2.3. Callback 함수

모델 학습 중 과적합(overfitting)을 방지하고 최적 성능에 더 가깝게 수렴하기 위해Callback함수로 EarlyStopping과 ReduceLRONPlateau를 사용하였다. EarlyStopping은 모델 학습 중 더 이상 학습되지 않을 때 학습을 자동으로 중지하며, 이를 통해 모델의 과적합을 방지할 수 있고 학습 속도를 개선할 수 있다(Prechelt, 1998). 또한 ReduceLRONPlateau는 모델의 학습이 정체되면 학습률을 동적으로 조절하여 모델이 최적 성능에 더 가깝게 수렴하도록 한다(Sutskever et al., 2013).

2.3.2.4. 평가지표

해당 평가 지표를 통해 모델의 예측 능력과 신뢰성을 평가하여 얼마나 잘 일반화되어 있는지 평가하고 타 모델과의 최종 성능 비교를 위해 혼동행렬 기반의 intersection over union (IoU), F1 Score, Kappa (Cohen’s kappa)를 사용하였다.

IoU는 예측된 객체와 실제 객체 사이의 겹치는 면적의 비율을 계산하는 지표이다. F1 Score 정밀도와 재현율의 조화 평균을 계산한 값으로 두 지표의 균형을 나타내며 정확한 양성 예측과 실제 양성 샘플을 잘 찾아내는 능력을 종합적으로 평가한다. Kappa는 통계적인 지표로 실제 클래스와 예측 클래스 간의 일치 정도를 고려하며 무작위로 예측하는 것에 대한 기대 정확도를 나타낸다(Carion et al., 2020).

\(\begin{aligned}\text {IoU}=\frac{T P}{T P+F P+F N}\end{aligned}\)       (4)

\(\begin{aligned}\text {F1 Score}=2 \times \frac{\text { Precision } \times \text { Recall }}{\text { Precision }+ \text { Recall }}, \quad \text {Precision}=\frac{T P}{T P+F P}, \quad \text {Recall}=\frac{T P}{T P+F N}\end{aligned}\)       (5)

\(\begin{aligned}\text {Kappa}=\frac{O A-P e}{1-P e}, \quad \mathrm{Pe}=\left(\frac{T P+F N}{T P+F N+F P+T N} \times \frac{T P+F P}{T P+F N+F P+T N}\right)+\left(\frac{F P+T N}{T P+F N+F P+T N} \times \frac{F N+T N}{T P+F N+F P+T N}\right)\end{aligned}\)       (6)

3. 연구결과 및 토의

3.1. 수수 재배지 분할 모델의 학습 성능

각 날짜별로 학습 성능 비교를 위해 정확도, 다이스 계수, 교차 엔트로피 손실의 값을 산출하였다(Table 4). 범주형 교차 엔트로피를 사용한 모델 중 2022년 7월 28일 데이터셋을 이용한 모델의 정확도는 0.948, 다이스 계수는 0.947, 손실함수는 0.320으로 가장 좋은 학습 성능을 나타내었고, 그 다음 정확도를 기준으로 8월 13일, 8월 25일 순으로 나타났다. 정확도 및 다이스 계수 모두 0.9 이상으로 학습이 매우 잘 되었다고 판단할 수 있으나, 7월 28일 모델을 제외한 모델에서 손실함수가 1 이상의 수치를 보였다. 혼동행렬을 확인하였을 때, 8월 날짜들에서 others의 분류 정확도가 0.634 이하로 비교적 낮았으며(Table 5), 모델의 epoch당 학습지표 값을 그래프로 나타내었을 때(Fig. 5), 7월 28일 모델에서 지속적인 곡선의 진동현상을 확인할 수 있다. 적절하지 못한 학습률, 학습 데이터의 품질 등의 이유로 모델이 학습 방향을 제대로 인지하지 못할 경우 진폭이 안정적이지 못하게 되는 현상(Zhao et al., 2019)으로 분류 완료된 영상을 통해 확인한 결과 경작지를 벗어난 콩 식생영역(Fig. 4a), 농경지 내에 존재하는 무성한 잡초 영역(Fig. 4b) 및 관리가 되지 않는 농경지 영역(Fig. 4c)이 인자로 판단된다. 따라서 sorghum (Fig. 6)과 others (Fig. 7) 클래스의 예측 확률이 0에 가까울수록 255, 0.5에 가까울수록 0으로 변환하여 시각화(inverse prediction image) 및 원본 영상과 중첩(blended image)하였을 때, 재배지 내에 존재하는 잡초들이 동일 클래스로 예측되었으며, 콩 재배지의 고랑 영역과 벼 재배지의 피복률이 낮아 인식되는 담수 영역이 background와 혼동되어 학습 데이터의 품질 문제로 인해 학습의 방향을 제대로 인지하지 못한 것으로 나타났다.

OGCSBN_2023_v39n5_1_521_f0004.png 이미지

Fig. 4. U-Net architecture (Ronneberger et al., 2015).

Table 4. Training performance of three class-based models using the U-Net algorithm

OGCSBN_2023_v39n5_1_521_t0004.png 이미지

Table 5. Confusion matrix of three class-based model

OGCSBN_2023_v39n5_1_521_t0005.png 이미지

OGCSBN_2023_v39n5_1_521_f0005.png 이미지

Fig. 5. Graphs of the three class-based models: (a) July 28, (b) August 13, and (c) August 25.

OGCSBN_2023_v39n5_1_521_f0006.png 이미지

Fig. 6. Reasons for confusion between others and background classes (August 13 and 25): (a) soybean plants located within the background class, (b) overgrown weeds within the bean cultivation fields, and (c) poorly managed cultivation fields.

OGCSBN_2023_v39n5_1_521_f0007.png 이미지

Fig. 7. Visualization results of the three class-based models where the predicted probabilities for the sorghumsorghum class are below 0.5, transformed as follows: 0 to 255 and 0.5 to 0.

위 문제를 해결하기 위해 background와 others를 하나의 클래스로 합친 후 수수 클래스와 분류하기 위해 손실함수를 이진 교차 엔트로피로 사용하여 모델을 개발하였다. 그 결과 모든 날짜의 모델에서 정확도 0.953 이상, 다이스계수 0.947 이상, 손실함수 0.142 미만의 성능을 취득하였고(Table 6), 혼동행렬을 비교했을 때도(Table 7), background와 others 클래스 간 학습 혼동으로 인한 비 정상적으로 높은 손실 함수 문제가 해소된 것을 확인할 수 있다. 그러나 두 개 클래스 기반 분류 모델 그래프를 확인하였을 때(Fig. 8), 7월 28일 모델이 세 개 클래스를 이용한 7월 28일 모델과 마찬가지로 곡선의 진동현상이 완화되지 않는 것을 확인할 수 있다. 세 개 클래스 기반 모델과 동일한 방법으로 시각화 하였을 때(Fig. 9), 수수 농경지의 외곽에 존재하는 잡초, 생육 부진에 따른 빈 공간으로 인해 학습에 혼동이 발생하는 것임을 확인하였다. 따라서 수수의 재배면적을 보다 정확하게 파악하는 데 잡초, 생육부진 등의 영향이 큰 7월 28일과 같은 개화기를 포함한 이전의 생육 단계에서는 재배면적을 산출하기에 유리하지 않다고 판단되었다.

OGCSBN_2023_v39n5_1_521_f0008.png 이미지

Fig. 8. Visualization results of the three class-based models where the predicted probabilities for the othersothers class are below 0.5, transformed as follows: 0 to 255, and 0.5 to 0.

Table 6. Training performance of two class-based model using U-Net algorithm

OGCSBN_2023_v39n5_1_521_t0006.png 이미지

Table 7. Confusion matrix of two class-based model

OGCSBN_2023_v39n5_1_521_t0007.png 이미지

OGCSBN_2023_v39n5_1_521_f0009.png 이미지

Fig. 9. Graphs of the two class-based model: (a) July 28, (b) August 13, and (c) August 25.

OGCSBN_2023_v39n5_1_521_f0010.png 이미지

Fig. 10. Visualization results of two class-based model, depicting instances where the predicted probabilities for the sorghum class are below 0.5, with values transformed as follows: 0 to 25 and 0.5 to 0.

3.2. 수수 재배지 분할 모델의 평가 및 비교

해당 연구에서는 평가지표에 따라 모델의 결과를 나타내었을 때(Table 8), 세 개 클래스 기반 분류 모델의 경우 8월 25일이 IoU가 0.857, F1 Score가 0.923, Kappa가 0.826으로 가장 낮은 성능을 나타내었으며, 각 클래스의 비율을 확인했을 때(Table 9), 타 클래스에 비해 sorghum 클래스의 픽셀수가 많은 불균형한 데이터셋으로 인해 sorghum 클래스 분류에 낮은 성능을, others 클래스 분류에 과하게 높은 성능을 나타내었다는 것을 확인할 수 있다. 두 개 클래스 기반 분류 모델의 경우 모든 날짜의 모델에서 각 클래스의 비율의 차이가 미미하여 각 클래스에 대해 신뢰할 수 있는 일반화 성능을 나타내었고, 그 중 최고 성능을 나타낸 8월 13일 모델의 IoU는 0.991로 실제 면적과 예측 면적의 비율이 거의 동일하였고, F1 Score는 0.996으로 실제 수수 재배지를 정밀하게 예측하였다. 또한 Kappa가 0.991로 모델의 분류 및 일반화 성능이 뛰어나다는 것을 다시 확인할 수 있었다. 다음으로 높은 성능을 보인 8월 28일 모델에서도 IoU가 0.985, F1 Score가 0.992, Kappa가 0.984로 데이터셋의 품질 문제로 인해 학습이 적절히 이루어지지 않은 7월 28일 모델을 제외한 모든 모델들이 수수 재배지를 분류하기에 적합하다고 판단되었다.

Table 8. Classification evaluation metrics of three classes and two class-based model

OGCSBN_2023_v39n5_1_521_t0008.png 이미지

Table 9. The number and ratio of pixels depending on three and two classes combination

OGCSBN_2023_v39n5_1_521_t0009.png 이미지

수수 재배지 분류만을 목표로 한다면 클래스 개수와 상관없이 7월 28일을 제외한 모든 모델이 다 적합할 수 있으나, 학습 및 검증단계에서 others 클래스에서 발생하는 학습 혼동 없이 높은 일관성으로 모델의 복잡성을 줄인 두 개 클래스 기반 분류모델이 더욱 안정적으로 현장에 재현될 것이라고 여겨졌다. 따라서 성장 2 단계(30 to 60 DAS)인 8월 중기와 후기에 두 개 클래스 기반 모델을 사용하는 것이 보다 정밀하게 수수의 재배면적 정보 산출과 함께 수량을 추정하는 것이 가능할 것이라고 판단된다.

4. 결론

본 연구는 수수의 수량을 추정하기 위해 무인기 기반 RGB 영상을 이용하여 수수 재배지를 분류할 수 있는 U-Net 모델을 적용하였다. 각 영상 취득 날짜(7월 28일, 8월 13일, 8월 25일)에서 세 개 클래스(sorghum, others, background) 기반과 두 개 클래스(sorghum, others + background) 기반으로 모델을 적용하였다. 결과적으로 세 개 클래스 기반 모델(7월 28일에 Accuracy=0.948, 8월 13일에 Accuracy=0.913, 8월 25일에 Accuracy=0.917)보다 두 개 클래스 기반 모델(7월 28일에 Accuracy=0.954, 8월 13일에 Accuracy=0.995, 8월 25일에 Accuracy=0.991)이 모든 날짜에서 더 나은 분류 성능을 보였다. 두 개 클래스 기반 모델의 경우, 8월 13일과 8월 25일에서 수수 재배지 분류에 높은 가능성을 보였다. 따라서 두 개 클래스 기반 모델을 이용하여 8월 중순에 촬영하는 것이 가장 효율적이며, 최적의 촬영 시기라고 판단된다. 그러나 본 연구의 경우 데이터셋의 수량이 일반적으로 신뢰할 수준의 규모에 해당하지 않다 판단될 수 있으며, 제시된 성능이 과대 추정에 따른 성능으로 추론될 수 있다. 이에 따라, 향후에 추가 학습 데이터셋과 연구 대상지 외의 타 지역에 대한 평가 데이터셋을 이용하여 타 분류 모델과의 성능 비교를 진행한 후 이를 이용하여 현장 재현성능을 검증할 것이며, 선행 연구로써 수수 이삭 탐지 모델(Park et al., 2022)과 통합하여 단위 면적당 수수 이삭 수를 정밀하게 추정하는 것을 통해 국내에 체계적인 생산관리에 도움을 줄 수 있을 것으로 기대한다. 

사사

본 연구는 농촌진흥청 국립식량과학원 “센싱 기술 활용 수수 수량성 추정 기술 개발(과제번호: PJ015753022023)”의 지원으로 수행되었습니다.

Conflict of Interest

No potential conflict of interest relevant to this article was reported.

References

  1. Alzubaidi, L., Zhang, J., Humaidi, A. J., Al-Dujaili, A., Duan, Y., Al-Shamma, O. et al., 2021. Review of deep learning: Concepts, CNN architectures, challenges, applications, future directions. Journal of Big Data, 8(1), 53. https://doi.org/10.1186/s40537-021-00444-8
  2. Carion, N., Massa, F., Synnaeve, G., Usunier, N., Kirillov, A., and Zagoruyko, S., 2020. End-to-end object detection with transformers. arXiv preprint arXiv:2005.12872. https://doi.org/10.48550/arXiv.2005.12872
  3. David, E., Daubige, G., Joudelat, F., Burger, P., Comar, A., de Solan, B. et al., 2021. Plant detection and counting from high-resolution RGB images acquired from UAVs: Comparison between deep-learning and handcrafted methods with application to maize, sugar beet, and sunflower. bioRxiv, 2021, 441631. https://doi.org/10.1101/2021.04.27.441631
  4. Du, Z., Yang, J., Ou, C., and Zhang, T., 2019. Smallholder crop area mapped with a semantic segmentation deep learning method. Remote Sensing, 11(7), 888. https://doi.org/10.3390/RS11070888
  5. Dykes, L., Rooney, L. W., Waniska, R. D., and Rooney, W. L., 2005. Phenolic compounds and antioxidant activity of sorghum grains of varying genotypes. Journal of Agricultural and Food Chemistry, 53(17), 6813-6818. https://doi.org/10.1021/jf050419e
  6. Garcia, S., Fernandez, A., Luengo, J., and Herrera, F., 2009. A study of statistical techniques and performance measures for genetics-based machine learning: Accuracy and interpretability. Soft Computing, 13(10), 959-977. https://doi.org/10.1007/s00500-008-0392-y
  7. Garcia-Martinez, H., Flores-Magdaleno, H., Khalil-Gardezi, A., Ascencio-Hernandez, R., TijerinaChavez, L., Vazquez-Pena, M. A. et al., 2020. Digital count of corn plants using images taken by unmanned aerial vehicles and cross correlation of templates. Agronomy, 10(4), 469. https://doi.org/10.3390/agronomy10040469
  8. Ha, Y. D., and Lee, S. P., 2001. Characteristics of proteins in Italian millet, sorghum and common meillet. Korean Journal of Food Preservation, 8(2), 187-192.
  9. Kingma, D. P., and Ba, J., 2014. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980. https://doi.org/10.48550/arXiv.1412.6980
  10. Korean Agricultural Marketing Information Service, 2023. Retail price information: Food crops. Available online: https://www.kamis.or.kr/customer/price/nature/catalogue.do?action=yearly&yyyy=2023&countycode=&itemcategorycode=100&convert_kg_yn=N&convert_kg_yn=N (accessed on Aug. 17, 2023).
  11. Korean Statistical Information Service, 2022. Agricultural production census: Cereal production. Available online: https://kosis.kr/statHtml/statHtml.do?orgId=101&tblId=DT_1ET0024&conn_path=I2 (accessed on Aug. 17, 2023).
  12. Lin, Z., and Guo, W., 2020. Sorghum panicle detection and counting using unmanned aerial system images and deep learning. Frontiers in Plant Science, 11, 534853. https://doi.org/10.3389/fpls.2020.534853
  13. Liu, T., Li, R., Zhong, X., Jiang, M., Jin, X., Zhou, P. et al., 2018. Estimates of rice lodging using indices derived from UAV visible and thermal infrared images. Agricultural and Forest Meteorology, 252, 144-154. https://doi.org/10.1016/j.agrformet.2018.01.021
  14. Marsalis, M. A., Angadi, S. V., and Contreras-Govea, F. E., 2010. Dry matter yield and nutritive value of corn, forage sorghum, and BMR forage sorghum at different plant populations and nitrogen rates. Field Crops Research, 116(1-2), 52-57. https://doi.org/10.1016/j.fcr.2009.11.009
  15. Milletari, F., Navab, N., and Ahmadi, S. A., 2016. V-net: Fully convolutional neural networks for volumetric medical image segmentation. In Proceedings of the 2016 Fourth International Conference on 3D Vision (3DV), Stanford, CA, USA, Oct. 25-28, pp. 565-571. https://doi.org/10.1109/3DV.2016.79
  16. Na, S. I., Park, C. W., So, K. H., Ahn, H. Y., and Lee, K. D., 2018. Application method of unmanned aerial vehicle for crop monitoring in Korea. Korean Journal of Remote Sensing, 34(5), 829-846. https://doi.org/10.7780/kjrs.2018.34.5.10
  17. National Institute of Crop Science, 2016. Key research accomplishments: Effect of sloping rice field culvert drainage for stable crop production. Available online: http://www.nics.go.kr/bbs/view.do?m=100000126&bbsId=research&bbsSn=202912 (accessed on Aug. 17, 2023).
  18. National Institute of Crop Science, 2019. Key research accomplishments: Recommendation of crop-specific varieties for stable production of field crops in paddy cultivation. Available online: http://www.nics.go.kr/bbs/view.do?m=100000126&bbsId=research&bbsSn=463112 (accessed on Aug. 17, 2023).
  19. Park, M. J., Ryu, C. S., Kang, Y. S., Song, H. Y., Baek, H. C., Park, K. S. et al., 2022. Sorghum panicle detection using YOLOv5 based on RGB image acquired by UAV system. Korean Journal of Agricultural and Forest Meteorology, 24(4), 295-304. https://doi.org/10.5532/KJAFM.2022.24.4.295
  20. Prechelt, L., 1998. Early stopping - But when?. In: Orr, G. B., Muller, K. R. (eds.), Neural networks: Tricks of the trade, Springer, pp. 55-69. https://doi.org/10.1007/3-540-49430-8_3
  21. Randelovic, P., Ðordevic, V., Milic, S., Balesevic-Tubic, S., Petrovic, K., Miladinovic, J. et al., 2020. Prediction of soybean plant density using a machine learning model and vegetation indices extracted from RGB images taken with a UAV. Agronomy, 10(8), 1108. https://doi.org/10.3390/agronomy10081108
  22. Ronneberger, O., Fischer, P., and Brox, T., 2015. U-Net: Convolutional networks for biomedical image segmentation. In: Navab, N., Hornegger, J., Wells, W., Frangi, A. (eds.), Medical image computing and computer-assisted intervention - MICCAI 2015, Springer, pp. 234-241. https://doi.org/10.1007/978-3-319-24574-4_28
  23. Rural Development Administraion, 2019. Rural local news. Available online: https://www.rda.go.kr:2360/board/board.do?boardId=farmlcltinfo&dataNo=100000753233&mode=updateCnt (accessed on Aug. 22, 2023).
  24. Rural Development Administraion, 2021. Manual for agricultural field observation and image processing using drones. Available online: https://lib.rda.go.kr/search/searchDetail.do?ctrl=000000638380&lsMenu=3010 (accessed on Aug. 22, 2023).
  25. Stehr, N. J., 2015. Drones: The newest technology for precision agriculture. Natural Sciences Education, 44(1), 89-91. https://doi.org/10.4195/nse2015.04.0772
  26. Sutskever, I., Martens, J., Dahl, G., and Hinton, G., 2013. On the importance of initialization and momentum in deep learning. In Proceedings of the 30th International Conference on Machine Learning, Atlanta, GA, USA, June 17-19, pp. 1139-1147. https://proceedings.mlr.press/v28/sutskever13.html
  27. Tack, J., Lingenfelser, J., and Jagadish, S. V. K., 2017. Disaggregating sorghum yield reductions under warming scenarios exposes narrow genetic diversity in US breeding programs. Proceedings of the National Academy of Sciences, 114(35), 9296-9301. https://doi.org/10.1073/pnas.1706383114
  28. Zeiler, M. D., and Fergus, R., 2014. Visualizing and understanding convolutional networks. In: Fleet, D., Pajdla, T., Schiele, B., Tuytelaars, T. (eds.), Computer vision - ECCV 2014, Springer, pp. 818-833. https://doi.org/10.1007/978-3-319-10590-1_53
  29. Zhang, L., Niu, Y., Zhang, H., Han, W., Li, G., Tang, J. et al., 2019. Maize canopy temperature extracted from UAV thermal and RGB imagery and its application in water stress monitoring. Frontiers in Plant Science, 10, 1270. https://doi.org/10.3389/fpls.2019.01270
  30. Zhao, X., Yuan, Y., Song, M., Ding, Y., Lin, F., Liang, D. et al., 2019. Use of unmanned aerial vehicle imagery and deep learning UNet to extract rice lodging. Sensors, 19(18), 3859. https://doi.org/10.3390/s19183859