Korean Journal of Remote Sensing (대한원격탐사학회지)

Korean Society of Remote Sensing (대한원격탐사학회)
권호 표지
DOI QR코드

DOI QR Code

Evaluation of Applicability of RGB Image Using Support Vector Machine Regression for Estimation of Leaf Chlorophyll Content of Onion and Garlic

양파 마늘의 잎 엽록소 함량 추정을 위한 SVM 회귀 활용 RGB 영상 적용성 평가

  • Lee, Dong-ho (Department of Agricultural and Rural Engineering, Chungbuk National University) ;
  • Jeong, Chan-hee (Department of Agricultural and Rural Engineering, Chungbuk National University) ;
  • Go, Seung-hwan (Department of Agricultural and Rural Engineering, Chungbuk National University) ;
  • Park, Jong-hwa (Department of Agricultural and Rural Engineering, Chungbuk National University)
  • 이동호 (충북대학교 지역건설공학과) ;
  • 정찬희 (충북대학교 지역건설공학과) ;
  • 고승환 (충북대학교 지역건설공학과) ;
  • 박종화 (충북대학교 지역건설공학과)
  • Received : 2021.12.13
  • Accepted : 2021.12.23
  • Published : 2021.12.31
Download PDF
⟨ Previous Next ⟩

Abstract

AI intelligent agriculture and digital agriculture are important for the science of agriculture. Leaf chlorophyll contents(LCC) are one of the most important indicators to determine the growth status of vegetable crops. In this study, a support vector machine (SVM) regression model was produced using an unmanned aerial vehicle-based RGB camera and a multispectral (MSP) sensor for onions and garlic, and the LCC estimation applicability of the RGB camera was reviewed by comparing it with the MSP sensor. As a result of this study, the RGB-based LCC model showed lower results than the MSP-based LCC model with an average R2 of 0.09, RMSE 18.66, and nRMSE 3.46%. However, the difference in accuracy between the two sensors was not large, and the accuracy did not drop significantly when compared with previous studies using various sensors and algorithms. In addition, the RGB-based LCC model reflects the field LCC trend well when compared with the actual measured value, but it tends to be underestimated at high chlorophyll concentrations. It was possible to confirm the applicability of the LCC estimation with RGB considering the economic feasibility and versatility of the RGB camera. The results obtained from this study are expected to be usefully utilized in digital agriculture as AI intelligent agriculture technology that applies artificial intelligence and big data convergence technology.

AI지능화 농업과 디지털 농업은 농업분야 과학화를 위해서 중요하다. 잎 엽록소 함량은 작물의 생육상태를 파악하는데 매우 중요한 지표 중 하나이다. 본 연구는 양파와 마늘을 대상으로 드론 기반 RGB 카메라와 다중분광(MSP)센서를 활용하여 SVM 회귀 모델을 제작하고, MSP 센서와 비교를 실시하여 RGB 카메라의 LCC 추정 적용성을 검토하고자 하였다. 연구 결과 RGB 기반 LCC 모형은 MSP 기반 LCC 모형보다 평균 R2에서 0.09, RMSE 18.66, nRMSE 3.46%로 더 낮은 결과를 보였다. 그러나 두 센서 정확도 차이는 크지 않았으며, 다양한 센서와 알고리즘을 활용한 선행연구들과 비교했을 때도 정확도는 크게 떨어지지 않았다. 또한 RGB 기반 LCC 모형은 실제 측정값과 비교하였을 때 현장 LCC 경향을 잘 반영하지만 높은 엽록소 농도에서 과소 추정되는 경향을 보였다. 본 연구로 도출된 결과는 RGB 카메라의 경제성, 범용성을 고려하였을 때 LCC 추정에 적용할 경우 가능성을 확인할 수 있었다. 본 연구에서 얻어진 결과는 인공지능 및 빅데이터 융합 기술을 적용한 AI지능화농업 기술로써 디지털 농업 등에 유용하게 활용될 수 있을 것으로 기대된다.

Keywords

1. 서론

국내 농업의 인구감소 및 고령화는 농가당 재배면적 증가, 식량가격지수 및 인건비 상승 등 다양한 문제를 야기하고 있다. 농가인구는 2010년 약 300만 명에서 2020년 약 230만 명으로 감소하였고, 65세 이상 농가 비율은 2010년 31.8%에서 2020년 42.5%로 상승하여 농업 노동력 대체 수단의 필요성이 대두되고 있다(https:// kostat.go.kr). 이에 정부는 포스트 코로나 시대 혁신 성장으로 대규모 국가 프로젝트인 ‘한국판 뉴딜’ 정책을 발표하면서 D·N·A (Data-Network-AI) 생태계 강화를 추진하고 있다(Park et al., 2021). 특히 농업분야는 디지털 농업시대를 위해서 드론, 인공지능 및 빅데이터 융합 기술 활용을 통해 AI지능화농업 기술을 실현해 갈 필요가 있다. AI지능화농업 구축 목적중 하나는 기존의 필지 전체에 획일적으로 살포되던 농약, 비료 등을 드론 영상분석 기반 양분 처방 맵을 활용한 자동 변량 살포기 술을 개발하는 것이다. 정부는 이러한 기술개발을 통해 궁극적으로 농업 노동력 감소, 4차 산업혁명 관련 기술을 보유한 젊은 농업 인력 양성, 화학비료 조절로 인한 탄소저감 효과를 기대하고 있다. 농약, 비료 등의 자동 변량살포 기술 구현을 위해서는 작물의 정밀한 양분상태 모니터링 기술개발이 선행되어야 한다.

잎 엽록소 함량(Leaf Chlorophyll Contents, LCC)은 작물의 광합성 능력, 노화, 스트레스 및 잎의 질소(N) 상태를 평가하는 중요한 지표이다(Yu et al., 2014). LCC 모니터링은 비료 손실을 최소화 하면서 작물 성장에 적절한 비료 공급을 통해 작물 재배관리를 최적화 할수있다(Jay et al., 2019). 연구자들은 LCC 모니터링의 중요성을 인식하여 오래전부터 관련 연구를 다양하게 수행해 왔다. LCC 모니터링 방법은 파괴적 표본 추출 방법, 광학 장비를 활용한 추정 방법, 원격탐사를 활용한 간접 측정방법 등 다양하게 발전해 왔다. 파괴적 표본 추출 방법은 정확한 LCC 측정이 가능하지만 많은 노동력과 시간을 필요로 하며 샘플링 재료 정보만 취득 가능하여 해당 개체의 시간적 변화에 대한 모니터링을 할 수 없다 (Amirruddin et al., 2020). LCC는 시간 경과에 따라 달라지고 생산성에 영향을 미치기 때문에 광학장비를 활용한 비파괴적 관측 기술을 선호한다. 비파괴적 방법은 적색 및 근적외선 파장의 투과율을 측정하는 휴대용 엽록소 측정기를 활용하여 LCC 함량을 추정해 왔다(Mahajan et al., 2014). 비파괴 방법은 파괴적 표본 추출방법에 비해 노동력과 시간을 단축시켰지만 공간적인 LCC분포 관측에는 한계가 있다. 드론기반 원격탐사 기술은 이러한 한계점을 극복할 수 있는 기술로 주목받고 있다. 드론 기반 원격탐사 기술은 기존 위성 원격탐사의 한계인 공간해상도 및 시간해상도 문제를 극복할 수 있어서 농업 분야에서 연구 및 활용이 증가하고 있다(Lee et al., 2019). 특히 LCC 추정 연구는 드론 원격탐사 응용분야 중 가장 활발한 분야 중 하나이다(Colomina and Molina, 2014). 최근에는 드론영상과 인공지능 기술을 융합한 연구가 늘어나고 있는 추세이다(Kanning et al., 2018; Singhal et al., 2019; Guo et al., 2020). 그러나 대부분의 연구는 초분광(Hyper-Spectral, HSP) 및 다중분광(Multi-Spectral, MSP) 영상을 활용한 연구가 주를 이루고 있다. 반면에 일상에서 가장 많이 사용되는 RGB영상은 LCC 평가 연구가 매우 부족한 실정이다. HSP 및 MSP 센서는 농업분야에 서 매우 유용하게 활용될 수 있지만 높은 가격으로 인해 일반 농가에서 활용하기에는 한계가 있다. 반면에 RGB 카메라는 HSP 및 MSP 센서에 비해 저렴하기 때문에 일반 농가에서도 쉽게 사용할 수 있는 장점을 가지고 있다. 따라서 디지털 농업 기술의 요소기술 개발 및 일반농가 적용 확산을 위해서는 RGB 카메라를 활용한 LCC 평가 연구가 필요한 시점이다.

본 연구는 양파, 마늘을 대상으로 (1) RGB 및 MSP 센서를 활용한 드론 영상 취득, (2) 현장 LCC 자료와 식생 지수를 이용한 SVM (Support Vector Machine) 회귀 모형 제작, (3) MSP 및 RGB 기반 모형을 비교하여 RGB 센서 기반 LCC 추정 적용성 검토를 목적으로 하였다.

2. 재료 및 방법

1) 시험포장 구성

본 연구는 전라남도 무안군 청계면 사마리에 위치한 국립식량과학원 내 시험포장(126°27′11.55″E, 34°58′ 1.94″N)을 대상으로 하였다. Fig. 1(a)과 같이 시험포장 면적은 약 6,200 m2이고, 북쪽에는 마늘, 남쪽에는 양파를 식재하여 실험을 실시하였다. 시험포장은 Fig. 1(b)과 같이 마늘을 홍산(1,700 m2), 대서(300 m2), 남도(450 m2) 3가지 품종으로 구성하고, 양파를 단일품종인 썬파워 850 m2로 식재하였다. 포장은 전역에 7개의 지상기준점(Ground Control Point, GCP)으로 구성하여 좌표를 측정하였다. 양파와 마늘의 재식간격은 12×15 cm로 동일 하게 1줄에 10주씩 정식하였다.

OGCSBN_2021_v37n6_1_1669_f0010.png 이미지

Fig. 1. (a) Location of the study area and (b) Test bed configuration, onion and garlic planting conditions, and ground control points setting.

2) 현장조사

현장조사는 GCP 좌표 측량과 양파, 마늘의 LCC 측정을 수행하였다. 좌표측량은 시험포장에 설치된 7지점의 GCP를 대상으로 RTK-GPS (Real-Time Kinematic Global Positioning System) 기술을 탑재한 측량기기(V30, HI-TARGET, China)를 활용하였다. 좌표측량은 Table 1과 같이 2021년 2월 9일에 수행하였고, 측량에서 얻어진 결과는 드론영상 기하보정에 사용하였다. 양파, 마늘의 LCC 측정은 품종 및 작목당 3지점씩 수행하고, 각 지점당 20주씩 총 240주에 대해서 실시하였다. 측정은 양파, 마늘의 생육 시기에 따라 2월 9일부터 4월 20일 까지 약 2주 간격으로 총 6회 실시하였다(Table 1). LCC 측정은 휴대용 엽록소 측정기(Field ScoutTM CM-1000, Spectrum Tech, USA)를 사용하였다. CM-1000은 대상체와 직접 접촉하지 않고 원거리에서 700 nm(적색) 파장과 840 nm (근적외선) 파장 반사율을 측정하여 두 값의 차이를 이용해 엽록소 함량을 나타낸다. 측정값 범위는 0-999까지로 나타나며 값이 클수록 잎의 엽록소 함량이 높음을 의미한다. 측정방법은 양파, 마늘의 재식간격을 고려하여 각 개체 중심에 수직으로 약 130 cm 높이(측정 직경 12 cm)에서 3회 반복 측정하고 그 평균값을 사용하였다 (Fig. 2). 현장조사에서 얻어진 측정 결과는 드론 기반 LCC 추정을 위한 종속변수로 사용하였다.

Table 1. Field survey contents and measurement date

OGCSBN_2021_v37n6_1_1669_t0001.png 이미지

OGCSBN_2021_v37n6_1_1669_f0001.png 이미지

Fig. 2. Characteristics of Chlorophyll Meter and method of measuring leaf chlorophyll contents(LCC) in field using Field ScoutTM CM-1000 sensor.

3) 드론 영상촬영 및 전처리

드론 영상 취득은 회전익 드론인 Inspire 2(DJI, China)를 사용하였다. 드론에 탑재한 센서는 20 MP 해상도를 가진 RGB 카메라(ZenmuseX5s, DJI, China)와 MSP 센서(Rededge-M, MicaSense, USA)를 사용하였다. Rededge-M센서는 Blue, Green, Red, Rededge, NIR (Near Infrared) 밴 드와 복사조도계(Downwelling Light Sensor, DLS)로 구성되어 있다. DLS는 매 영상마다 복사조도를 측정하고, 영상의 화소값을 복사휘도(radiance)로 변환하여 두 값을 나눔으로써 반사율을 직접적으로 산출할 수 있다(Lee et al., 2019). Lee et al. (2019)의 연구에 의하면 DLS를 활용한 직접 방사보정 방법은 반사도보정판과 현장분광 반사율의 선형관계식을 이용한 실험적 방사보정 방법에 비해 촬영지역 전역에 걸쳐 안정적인 반사율을 얻을 수 있다고 보고한 바 있다

영상 수집은 Table 1의 LCC 측정일자에 동일하게 수행하였다. 영상은 Fig. 3과 같이 회전익 드론에 RGB 카메라와 MSP 센서를 동시에 탑재하여 시험포장 상공 30m에서 촬영하였다. 영상 전처리는 촬영된 개별 영상에 대해 전처리프로그램 (Pix4D-mapper, Pix4D, Switzerland) 을 이용하여 기하보정, MSP 영상의 방사보정, 영상 정합을 실시하였다. 기하보정은 현장에서 취득한 7개 지점 GCP 좌표를 활용하여 위치 정확도를 향상시켰다. 정사 영상은 x축 오차 0.000298 m, y축 오차 0.00139 m, z축 오차 0.000053 m로 평균 0.023 pixel의 기하오차를 보였다. 방사보정은 비행 전 촬영한 반사도 보정판 이미지와 DLS를 이용해 취득한 실시간 광량 정보를 전처리프로그램에 입력하여 수행하였다. RGB카메라와 MSP센서를 이용해 취득한 개별 영상들은 전처리과정을 거쳐 각 각 0.7 cm 공간해상도를 가진 RGB 정사영상과, 1.5 cm 공간해상도를 가진 Blue, Green, Red, Rededge, NIR 총 5개 반사도 영상으로 제작하였다.

OGCSBN_2021_v37n6_1_1669_f0002.png 이미지

Fig. 3. Process of drone image acquisition and pre processing.

4) 식생지수 추출 및 독립변수 선택

식생지수는 작황 모니터링에 원격탐사 개념이 도입된 이후 식물 고유의 분광반사특성을 이용하여 일부 파장 밴드의 산술적 조합으로 유용하게 사용되고 있다 (Na et al., 2019). 식생지수는 LCC 추정 연구에도 다양하게 검토 되어 사용되고 있다. 본 연구에서는 드론 영상기반 LCC 추정을 위해 선행연구에서 검토된 엽록소 관련 식생지수를 추출하였다. 식생지수는 RGB 정사영상 과 MSP 반사도 영상을 기반으로 각각 추출하였으며 RGB 기반 식생지수는 13개(Appendix Table 1), MSP 기반 식생지수는 18개(Appendix Table 2)를 추출하였다. RGB 정사영상은 식생지수 추출 전에 식 (1)을 이용해서 정규화 하였다.

\(R=\frac{r}{r+g+b}, G=\frac{g}{r+g+b}, B=\frac{b}{r+g+b}\)       (1)

여기서 r은 RGB 정사영상 Red 밴드의 DN(DigitalNumber) 값이고, g는 Green 밴드의 DN 값, 그리고 b는 Blue 밴드의 DN 값이다.

추출된 식생지수들은 사용된 밴드의 중복에 따라 높은 상관성을 보인다. 독립변수간 높은 상관관계는 전통적인 통계적 모형부터 머신러닝, 딥러닝 알고리즘을 활용한 회귀모형을 제작할 때 모델을 복잡하게 만들고 다중공선성을 발생 시켜 회귀 성능에 심각한 영향을 미친다. 본 연구에서는 LCC 추정을 위한 최적 독립변수 선정을 위해 종속변수와 독립변수간 피어슨 상관분석을 실시하고, 재귀적 기능 제거법(Recursive-Feature-Elimination, RFE)을 사용하였다.

RFE 알고리즘은 후진 제거법의 일종으로 모든 독립변수를 포함한 모델을 학습하고 가중치가 낮은 독립변수를 제거한 뒤 다시 모델 학습 과정을 반복하여 최적의 독립변수를 선택하는 방법이다. 본 연구에서 RFE 알고리즘은 R 패키지 ‘caret’을 사용하여 랜덤포레스트 기반 10겹 교차검증을 통해 구현하였다(Kuhn, 2012).

5) SVM회귀

SVM은 Vapnik과 Cortes에 의해 처음 제안된 통계적 학습 이론에 기반한 비모수적 알고리즘이다(Cortes and Vapnik, 1995). SVM은 최대 여유 공간을 기반으로 학습된 데이터를 분리하고 오차를 최소화하는 최적 결정 경계를 찾는 알고리즘이다. SVR(SupportVector Regression)은 SVM 모델에 ε-insensitive 손실 함수를 추가적으로 도입하여 임의 값을 예측하는 기법이다(Camps-Valls et al., 2006). SVM 분류 모델은 Margin 사이에 최대한 Support vector가 없도록 하는 방법이다. SVR은 Margin 내부에 Supprt vector가 최대한 많이 들어가도록 학습하여 실제 값과 추정값 차이를 최소화 하는 선을 찾는다(Fig. 4).

OGCSBN_2021_v37n6_1_1669_f0003.png 이미지

Fig. 4. Differences in the composition of (a) Support Vector Machine classification and (b) Support Vector Machine regression.

SVM 및 SVR 모델은 최적 경계를 비선형으로 결정하기 위해 Kernel 함수를 사용한다. 주로 사용되는 함수는 Splines, Polynomial, Tangent, Sigmoid, RBF(Radial Basis Function) 등이 있으며 본 연구에서는 RBF 함수를 사용하였다. RBF Kernel 함수를 사용하기 위해서는 C (Cost), Gamma 두 가지 파라미터를 설정해야 된다. C는 Support vector가 다른 클래스로 분류되는 것을 허용하는 정도를 결정하고, Gamma는 비선형 결정 경계의 곡률을 결정한다. 두 파라미터 값은 모두 커질수록 알고리즘이 복잡해지고, 작아질수록 단순해지기 때문에 최적의 파라미터 값을 결정하는 것이 중요하다.

본 연구에서는 SVR 모델을 만들고 검증하기 위해 LCC와 해당 개체의 식생지수 자료를 무작위로 훈련자료 70%, 검증자료 30% 비율로 분할하였다. 훈련자료는 RBF 커널의 최적 파라미터를 결정하고 모델을 만들기 위해 사용하였다. 최적 파라미터는 K-fold 교차검정을 기반으로 한 격자 탐색 방법으로 훈련자료를 10겹으로 나누어 5회 반복 수행하여 결정하였다. 검증자료는 훈련자료를 기반으로 만들어진 SVR 모델을 검증하기 위해 사용하였다.

6) 정확도 분석

SVR 모델의 정확도 검증은 실측값과 추정값의 평균 제곱근 오차(Root Mean Square Error, RMSE)를 사용하였다. 본 연구에서 사용된 종속변수인 CM-1000 측정값은 단위가 없어 정량적인 판단이 어렵다. 따라서 정확도 분석은 정규화 된 평균제곱근 오차(Normalized Root Mean Square Error, nRMSE)를 함께 사용하였다. RMSE 와 nRMSE는 식 (2)와 (3)을 이용해서 계산하였다.

\(R M S E=\sqrt{\sum_{i=1}^{n} \frac{\left(y_{i}-y_{i}\right)^{2}}{n}}\)       (2)

\(n R M S E=\frac{\sqrt{\sum_{i=1}^{n} \frac{\left(y_{i}-y_{i}\right)^{2}}{n}}}{y_{\max }-y_{\min }}\)       (3)

여기서 \(\widehat{y}_{i}\)는 추정값, yi 는 실측값, n은 실측값 개수, ymax 는 실측치 최댓값, 그리고 ymin은 실측치 최솟값이다.

모든 이미지 처리 및 시각화는 ArcGIS Pro 소프트웨어 2.5버전(Esri, USA)을 활용하였다. 모델생성 및 통계 분석은 오픈소스 프로그램인 RStudio 1.3버전(RStudio Team, 2020)과 ‘caret’ 패키지(Kuhn, 2012)를 사용하였다.

3. 결과 및 고찰

1) 상관분석 및 변수 선택 결과

드론 영상 기반 식생지수는 13개의 RGB기반 식생지수와 MSP기반 식생지수 17개가 도출 되었다. 종속변수인 CM-1000 측정값과 식생지수들 간 상관분석 결과, RGB기반 식생지수는 0.3에서 0.82의 피어슨 상관계수를 보이고 MSP기반 식생지수의 피어슨 상관계수 범위는 0.72에서 0.93으로 나타났다(Fig. 5). RGB기반 식생지수는 식 (1)로 정규화 된 R, G 기반의 지수가 종속변수와 높은 상관관계를 가졌고, B와 G 조합으로 만들어진 식생지수는 상관계수가 낮았다. MSP기반 식생지수는 대체적으로 RGB 기반 식생지수보다 높은 상관성을 보였다. 특히 rededge와 NIR 밴드를 기반으로 한 CIre 지수는 가장 높은 상관계수를 나타냈다. 이 결과는 잎 엽록소 측정에 rededge와 NIR 파장대가 유용하다고 보고 한 Zheng et al. (2018)의 연구 결과와 유사하다.

OGCSBN_2021_v37n6_1_1669_f0004.png 이미지

Fig. 5. Result of correlation analysis between the vegetation index and the measured values of leaf chlorophyll content, (a) is an RGB-based vegetation index, and (b) is a multi-spectral-based vegetation index.

상관분석 결과 독립변수와 종속변수 간에는 높은 상관관계가 확인 되었지만 독립변수들 사이에서도 높은 상관관계를 보였다. 독립변수간 높은 상관관계로 인한 데이터 중복성 및 다중공선성은 모델을 복잡하게 만들고 회귀성능에 영향을 미친다. 본 연구에서 LCC 추정 모델의 최적화는 RFE알고리즘을 활용하여 독립변수를 선정하였다. 그 결과 RGB 기반 식생지수는 총 5개의 IKAW, NGBDI, RGRI, RGBVI, VDVI가 선정되었다. MSP 기반 식생지수는 CIre, VARI, RG, CVI, GNDVI, CIgreen, GEMI, NDVI 총 8개 식생지수가 선정되었다(Fig. 6). 선정된 식생지수는 종속변수와 높은 상관관계를 가진 지수와 비교적 낮은 상관계수를 나타낸 지수가 같이 선정되었다. 이 결과는 데이터 중복 때문에 상관성이 높은 식생지수 일부가 제거 된 것을 확인할 수 있다.

OGCSBN_2021_v37n6_1_1669_f0005.png 이미지

Fig. 6. Result of correlation recursive feature elimination, (a) is an RGB-based vegetation index, and (b) is a multi-spectral-based vegetation index.

2) SVM회귀분석 결과

LCC 추정을 위한 SVR 모델은 RFE 알고리즘을 이용해 선정된 최적 독립변수와 종속변수인 CM-1000 측정 값을 활용하여 RGB기반과 MSP기반의 2가지 모델로 제작하였다. 모델 학습은 전체 데이터의 70%로 분할된 학습 자료를 이용하여 K-fold 교차검정 기반 격자 탐색으로 파라미터를 선정하였다. 그 결과 RGB기반 모델의 C는 5, Gamma는 0.09로 나타났다. MSP기반 모델의 C는 5, Gamma는 0.02로 나타났다.

모델 학습으로 추정한 LCC와 현장에서 실측한 LCC와의 정확도 분석 결과, RGB기반 모델은 R2 0.8, RMSE 59.82, nRMSE 11.10%로 나타났다. MSP 기반 모델은 R2 0.89, RMSE 40.15, nRMSE 7.45%로 높은 정확도를 보였다. 학습 과정을 거쳐 제작된 SVR모델은 전체 데이터 30%로 분할된 검증자료로 모델검증을 실시하였다. 그 결과 RGB기반 모델은 R2 0.76, RMSE 61.92, nRMSE 11.48%를 보였으며, MSP 기반 모델은 R2 0.85, RMSE 44.25, nRMSE 8.21%를 나타냈다(Fig. 7).

OGCSBN_2021_v37n6_1_1669_f0006.png 이미지

Fig. 7. Accuracy analysis result of RGB and multi-spectral based Support Vector Machine Regression model.

Fig. 8은 학습 자료를 사용하여 계산한 정확도와 검증 자료를 사용하여 계산한 정확도 차이를 나타낸 그림이다. 제작된 두 모델은 학습 자료 정확도와 검증 자료 정확도 차이가 크지 않은 것으로 나타나 SVR 모델의 학습 자료에 대한 과적합 현상이 발생하지 않은 것으로 판단된다.

OGCSBN_2021_v37n6_1_1669_f0007.png 이미지

Fig. 8. Comparison of the difference between the accuracy calculated using the training data and the accuracy calculated using the validation d

RGB와 MSP 모델의 평균 정확도 차이는 R2 0.09, RMSE 18.66, nRMSE 3.46%로 나타나 MSP 모델 정확도가 높았다. 모형 정확도 차이는 분광해상도, 복사해상도, 방사보정 등 3가지 요인으로 판단된다. MSP 센서는 Red, Green, Blue와 Rededge, NIR 밴드 총 5개로 구성되어 있다. RGB 카메라에 없는 Rededge와 NIR 밴드는 엽록소 함량 추정에 매우 유용한 밴드이다(Zheng et al., 2018). RGB 카메라의 복사해상도는 8bit이고 MSP 센서는 12bit이다. 같은 대상체를 분석할 때 RGB 카메라는 256단계로 분석하고, MSP센서는 4,096단계로 분석하므로 MSP센서가 더 세밀한 분석이 가능하다. 또한 MSP센서는 비행전 촬영한 반사도 보정판과 DLS를 이용해 전처리과정에서 방사보정을 실시하기 때문에 더 정확한 반사율 측정이 가능하다. 이러한 원인 때문에 두 모델은 차이를 보인 것으로 판단된다.

3) LCC의 시계열 변화 분석

한국에서 양파, 마늘은 품종, 지역에 따라 차이가 있으나 일반적으로 2월 중~하순에 월동기가 끝나고 생육 재생기가 시작된다. 캐노피는 생육 재생기부터 4월 중순 구 비대기 시작 전까지 엽수, 엽장, 엽초경 등이 발달한다.

Fig. 9는 2021년 2월 9일부터 4월 20일 까지 RGB true color 영상과 SVR모델을 활용한 RGB 및 MSP 기반 LCC 영상이다. 두 모델은 모두 캐노피 변화를 잘 반영하였다. 그러나 RGB 기반 LCC 영상은 부분적으로 주변 보다 과소 추정되는 경향을 보였다. Fig. 9의 4월 20일 RGB기반 LCC영상에서 홍산 마늘 재배지는 주변보다 낮게 추정되는 지점이 존재한다. 같은 지점의 MSP영상에서는 주변 잎보다 특별히 떨어지지 않는 것을 확인 할 수 있다. 실측값도 홍산 2(H2)지점 값이 다른 지점보다 떨어지지 않는다(Fig. 10). 이러한 현상은 RGB카메라의 경우 드론 촬영 비행시간 동안 실시간으로 변하는 광량을 반영하지 못한 이유로 설명된다. MSP 반사도 영상은 DLS를 이용해 실시간으로 감지되는 광량정보를 전처리 과정에서 반영하여 방사보정을 실시한다. 그러나 RGB 카메라는 이러한 센서가 없기 때문에 방사보정을 실시하지 않는다. 따라서 이러한 원인은 SVR모델 정확도에 영향을 미친 것으로 판단된다.

OGCSBN_2021_v37n6_1_1669_f0008.png 이미지

Fig. 9. Time series comparison of RGB true color image, RGB- and MSP-based leaf chlorophyll contents obtained by applying SVR model.

OGCSBN_2021_v37n6_1_1669_f0009.png 이미지

Fig. 10. Time series variations of LCC measurements and SVR models for survey points by onion and three garlic varieties.

Fig. 10은 조사지점에 대한 LCC 실측값과 SVR모델의 시계열 변화를 나타낸 그래프이다. 그래프에서 각 점은 작목별 품종별 조사구간 20개체에 대한 평균값을 나타낸다. SVR 모델로 추정된 LCC는 전체적으로 2월 9일부터 4월 6일까지 현장 LCC 경향을 잘 반영하였지만 4월 20일의 경우 과소 추정되는 경향을 보였다. 특히 대서와 홍산 마늘은 그 차이가 뚜렷하였다. 대서 1과 대서 2는 실측값이 360~380을 나타내고 MSP기반 모델 LCC 추정값이 약 340~350정도로 나타나 실제 값과 약 20정도 차이를 나타내지만 RGB 기반 모델 LCC는 약 270~310정도로 더 큰 차이를 보였다.

원인은 앞서 제시한 RGB 영상의 방사보정 문제로 인해 발생한 차이가 영향을 미친 것으로 판단된다. 홍산 마늘은 LCC 실측값과 SVR 모델 추정값 차이가 상대적으로 더 많이 발생하였다. 이러한 문제는 센서의 방사보정 문제가 아닌 식생지수 포화문제로 인한 것으로 판단된다. 홍산은 다른 품종에 비해 LCC 실측값이 가장 높게 나타났다. 대부분의 식생지수는 높은 엽록소 함량 수준에서 쉽게 포화되는 경향이 있다(Zhu et al., 2007; Tian et al., 2011). RGB 및 MSP 기반 SVR 모델은 식생지수를 기반으로 학습되었기 때문에 홍산의 높은 엽록소를 제대로 반영하지 못한 것으로 보인다.

4) RGB이미지의 엽록소 추정 적용성 평가

RGB 기반 SVR 모형은 동일 지역을 관측했을 때 MSP 기반 모형보다 부정확 하지만 시계열 변화를 분석했을 때 실제 LCC 변화 경향을 잘 반영하는 것으로 나타났다. 기존 LCC 추정 선행연구들은 센서, 분석방법에 따라 편차가 크고 R2 값은 0.68~0.92 수준인 것으로 보고하고 있다(Zhang et al., 2019; Rabatel et al., 2019; Zhu et al., 2020). 본 연구 결과에서 RGB 기반 SVR 모형의 평균 R2는 0.78로 선행연구 결과와 비교했을 때 특별히 정확도가 더 높지는 않다. 그러나 RGB 카메라는 MSP 및 HSP 센서보다 저렴한 경제성 및 범용성을 고려했을 때 LCC 공간분포 추정에 유용하게 활용될 수 있을 것으로 판단된다. 정밀농업을 실현하는데 있어서 고해상도와 HSP 또는 MSP 센서를 사용하여 해법을 찾아가는 것은 매우 중요하다. 그러나 그러한 과정으로 가는 일정 시기 동안 에는 가장 일반적으로 많이 사용되고 있는 RGB카메라를 효율적으로 활용한다면 저렴한 비용으로 현장정보를 빠르게 분석이 가능할 것이다. 또한 보다 정확한 분석을 위해서는 RGB 센서의 광량보정, 식생지수 포화, 다양한 알고리즘 적용 등 추가 연구가 필요할 것이다.

4. 결론

한국정부는 ‘한국판 뉴딜‘ 정책을 발표하면서 농업의 디지털화를 계획하고 있다. 디지털 농업의 다양한 목표 중 하나는 비료 자동살포 기술 개발이다. 이 기술 구현을 위해서는 작물의 잎 엽록소 함량 모니터링이 중 요하다. 잎 엽록소 함량 측정은 직접측정 방법부터 원격탐사를 이용한 간접 측정방법까지 다양하다. 최근 들어 잎 엽록소 모니터링은 드론 원격탐사와 인공지능 알고리즘의 융합기술을 활용한 연구가 진행되고 있다. 이 러한 연구들은 MSP 및 HSP 센서를 활용한 연구에 집중 되어 있고 RGB 센서에 관한 연구는 부족한 실정이다. MSP 및 HSP 센서는 농업분야 활용에서 매우 유용하지만 높은 가격 때문에 일반 농가에서 활용하기에는 어려운 실정이다.

본 연구는 양파와 마늘을 대상으로 드론 기반 RGB 카메라와 MSP 센서를 활용하여 SVM 회귀 모델을 제작 하고, MSP 센서와 비교를 실시하여 RGB 카메라의 LCC 추정 적용성을 검토하였다. 그 결과 RGB 기반 LCC 모형은 MSP 기반 LCC 모형보다 평균 R2에서 0.09, RMSE 18.66, nRMSE 3.46% 더 낮은 결과를 보였다. 두 센서의 정확도 차이는 크지 않았으며, 다양한 센서와 알고리즘을 활용한 선행연구들과 비교했을 때도 정확도는 크게 떨어지지 않았다. RGB 기반 LCC 모형은 실제 측정값과 비교하였을 때 현장 LCC 경향을 잘 반영하지만 높은 엽록소 농도에서는 과소 추정되는 경향을 보였다. 종합적으로 RGB 카메라는 경제성 및 범용성을 고려하였을 때 LCC 추정에 적용할 경우 가능성을 확인할 수 있었다. 본 연구에서 얻어진 결과는 인공지능 및 빅데이터 융합 기술을 적용한 AI지능화농업 기술로써 디지털 농업의 자동 비료 관리 기술 등에 유용하게 활용될 수 있을 것으로 기대된다.

사사

본 논문은 농촌진흥청 공동연구사업(과제번호: PJ01 3821042021)의 지원을 받았으며, 이에 감사드립니다.

References

  1. Amirruddin, A.D., F.M. Muharam, M.H. Ismail, M.F. Ismail, N.P. Tan, and D.S. Karam, 2020. Hyperspectral remote sensing for assessment of chlorophyll sufficiency levels in mature oil palm (Elaeis guineensis) based on frond numbers: Analysis of decision tree and random forest, Computers and Electronics in Agriculture, 169: 1-11.
  2. Camps-Valls, G., L. Bruzzone, J.L. Rojo-Alvarez, and F. Melgani, 2006. Robust support vector regression for biophysical variable estimation from remotely sensed images, IEEE Geoscience and Remote Sensing Letters, 3(3): 339-343. https://doi.org/10.1109/LGRS.2006.871748
  3. Chen, J.M., 1996. Evaluation of vegetation indices and a modified simple ratio for boreal applications, Canadian Journal of Remote Sensing, 22(3): 229-242. https://doi.org/10.1080/07038992.1996.10855178
  4. Colomina, I. and P. Molina, 2014. Unmanned aerial systems for photogrammetry and remote sensing: A review, Isprs Journal of Photogrammetry and Remote Sensing, 92: 79-97. https://doi.org/10.1016/j.isprsjprs.2014.02.013
  5. Cortes, C. and V. Vapnik, 1995. Support-vector networks, Machine Learning, 20(3): 273-297. https://doi.org/10.1007/BF00994018
  6. Gitelson, A.A., Y.J. Kaufman, and M.N. Merzlyak, 1996. Use of a green channel in remote sensing of global vegetation from EOS-MODIS, Remote Sensing of Environment, 58(3): 289-298. https://doi.org/10.1016/S0034-4257(96)00072-7
  7. Gitelson, A.A., Y.J. Kaufman, R. Stark, and D. Rundquist, 2002. Novel algorithms for remote estimation of vegetation fraction, Remote Sensing of Environment, 80(1): 76-87. https://doi.org/10.1016/S0034-4257(01)00289-9
  8. Gitelson, A.A., A. Vina, V. Ciganda, D.C. Rundquist, and T.J. Arkebauer, 2005. Remote estimation of canopy chlorophyll content in crops, Geophysical Research Letters, 32(8): 1-4.
  9. Guo, Y., H. Wang, Z. Wu, S. Wang, H. Sun, J. Senthilnath, J. Wang, C. Robin Bryant, and Y. Fu, 2020. Modified Red Blue Vegetation Index for Chlorophyll Estimation and Yield Prediction of Maize from Visible Images Captured by UAV, Sensors, 20(18): 5055. https://doi.org/10.3390/s20185055
  10. Haboudane, D., J.R. Miller, E. Pattey, P.J. Zarco-Tejada, and I.B. Strachan, 2004. Hyperspectral vegetation indices and novel algorithms for predicting green LAI of crop canopies: Modeling and validation in the context of precision agriculture, Remote Sensing of Environment, 90(3): 337-352. https://doi.org/10.1016/j.rse.2003.12.013
  11. Hashimoto, N., Y. Saito, M. Maki, and K. Homma, 2019. Simulation of reflectance and vegetation indices for unmanned aerial vehicle (UAV) monitoring of paddy fields, Remote Sensing, 11(18): 2119. https://doi.org/10.3390/rs11182119
  12. Jay, S., F. Baret, D. Dutartre, G. Malatesta, S. Heno, A. Comar, M. Weiss, and F. Maupas, 2019. Exploiting the centimeter resolution of UAV multispectral imagery to improve remote-sensing estimates of canopy structure and biochemistry in sugar beet crops, Remote Sensing of Environment, 231: 1-17.
  13. Jiang, Z., A.R. Huete, K. Didan, and T. Miura, 2008. Development of a two-band enhanced vegetation index without a blue band, Remote Sensing of Environment, 112(10): 3833-3845. https://doi.org/10.1016/j.rse.2008.06.006
  14. Joao, T., G. Joao, M. Bruno, and H. Joao, 2018. Indicator-based assessment of post-fire recovery dynamics using satellite NDVI time-series, Ecological Indicators, 89: 199-212. https://doi.org/10.1016/j.ecolind.2018.02.008
  15. Jordan, C.F., 1969. Derivation of leaf-area index from quality of light on the forest floor, Ecology, 50(4): 663-666. https://doi.org/10.2307/1936256
  16. Kanning, M., I. Kuhling, D. Trautz, and T. Jarmer, 2018. High-Resolution UAV-Based Hyperspectral Imagery for LAI and Chlorophyll Estimations from Wheat for Yield Prediction, Remote Sensing, 10(12): 2000. https://doi.org/10.3390/rs10122000
  17. Kaufman, Y.J., and D. Tanre, 1992. Atmospherically resistant vegetation index (ARVI) for EOS-MODIS, IEEE transactions on Geoscience and Remote Sensing, 30(2): 261-270. https://doi.org/10.1109/36.134076
  18. Kawashima, S. and M. Nakatani, 1998. An algorithm for estimating chlorophyll content in leaves using a video camera, Annals of Botany, 81(1): 49-54. https://doi.org/10.1006/anbo.1997.0544
  19. Statistics Korea Homepage, http://kostat.go.kr/portal/korea/kor_nw/1/8/2/index.board?bmode=read&bSeq=&aSeq=403184&pageNo=1&rowNum=10&navCount=10&currPg=&searchInfo=&sTarget=title&sTxt=, Accessed on Dec. 1, 2021.
  20. Kuhn, M., 2012. Variable importance using the caret package, Journal of Statistical Software, 6: 1-6
  21. Lee, H.S., W.W. Seo, C.S. Woo, and K.S. Lee, 2019. Derivation and evaluation of surface reflectance from UAV multispectral image for monitoring forest vegetation, Korean Journal of Remote Sensing, 35(6-2): 1149-1160 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2019.35.6.2.10
  22. Lee, K.D., H.Y. An, C.W. Park, K.H. So, S.I. Na, and S. Jang, 2019. Estimation of rice grain yield distribution using UAV imagery, Journal of the Korean Society of Agricultural Engineers, 61(4): 1-10 (in Korean with English abstract). https://doi.org/10.5389/KSAE.2019.61.4.001
  23. Mahajan, G., R. Pandey, D. Kumar, S. Datta, R. Sahoo, and R. Parsad, 2014. Development of critical values for the leaf color chart, SPAD and FieldScout CM 1000 for fixed time adjustable nitrogen management in aromatic hybrid rice (Oryza sativa L.), Communications in Soil Science and Plant Analysis, 45(14): 1877-1893. https://doi.org/10.1080/00103624.2014.909832
  24. Meyer, G.E. and J.C. Neto, 2008. Verification of color vegetation indices for automated crop imaging applications, Computers and Electronics in Agriculture, 63(2): 282-293. https://doi.org/10.1016/j.compag.2008.03.009
  25. Na, S.I., C.W. Park, K.H. So, H.Y. Ahn, and K.D. Lee, 2019. Selection on Optimal Bands to Estimate Yield of the Chinese Cabbage Using Dronebased Hyperspectral Image, Korean Journal of Remote Sensing, 35(3): 375-387 (in Korean with English abstract). https://doi.org/10.7780/KJRS.2019.35.3.3
  26. Park, J.Y., D.S. Seo, and J.M. Lee, 2021. Chapter 6 The Future of Agriculture, Digital Agriculture: Other research reports, Korea Rural Economic Institute, Naju, jeollanamdo, KOR.
  27. Pearson, R.L. and L.D. Miller, 1972. Remote mapping of standing crop biomass for estimation of the productivity of the shortgrass prairie, Remote Sensing of Environment, 8: 1355.
  28. Pinty, B. and M. Verstraete, 1992. GEMI: a non-linear index to monitor global vegetation from satellites, Vegetatio, 101(1): 15-20. https://doi.org/10.1007/BF00031911
  29. Ponti, M.P., 2012. Segmentation of low-cost remote sensing images combining vegetation indices and mean shift, IEEE Geoscience and Remote Sensing Letters, 10(1): 67-70. https://doi.org/10.1109/LGRS.2012.2193113
  30. Possoch, M., S. Bieker, D. Hoffmeister, A. Bolten, J. Schellberg, and G. Bareth, 2016. Multi-temporal crop surface models combined with the RGB vegetation index from UAV-based images for forage monitoring in grassland, The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 41: 991.
  31. Qi, J., A. Chehbouni, A.R. Huete, Y.H. Kerr, and S. Sorooshian, 1994. A modified soil adjusted vegetation index, Remote Sensing of Environment, 48(2): 119-126. https://doi.org/10.1016/0034-4257(94)90134-1
  32. Rabatel, G., J. Lamour, D. Moura, and O. Naud, 2019. A multispectral processing chain for chlorophyll content assessment in banana fields by UAV imagery, Proc. of 12th European Conference on Precision Agriculture, Montpellier, FRA, Jul. 8-11, pp. 413-419.
  33. Roujean, J.L. and F.M. Breon, 1995. Estimating PAR absorbed by vegetation from bidirectional reflectance measurements, Remote Sensing of Environment, 51(3): 375-384. https://doi.org/10.1016/0034-4257(94)00114-3
  34. Rouse, J.W., R.H. Haas, J.A. Schell, and D.W. Deering, 1974. Monitoring vegetation systems in the Great Plains with ERTS, NASA Special Publication, 351: 309-317.
  35. R-Studio Team, RStudio: integrated development environment for R, RStudio, PBC., Boston, MA, UAS.
  36. Singhal, G., B. Bansod, L. Mathew, J. Goswami, B. Choudhury, and P. Raju, 2019. Chlorophyll estimation using multi-spectral unmanned aerial system based on machine learning techniques, Remote Sensing Applications: Society and Environment, 15: 100235. https://doi.org/10.1016/j.rsase.2019.100235
  37. Tian, Y., X. Yao, J. Yang, W. Cao, D. Hannaway, and Y. Zhu, 2011. Assessing newly developed and published vegetation indices for estimating rice leaf nitrogen concentration with ground-and space-based hyperspectral reflectance, Field Crops Research, 120(2): 299-310. https://doi.org/10.1016/j.fcr.2010.11.002
  38. Verrelst, J., M.E. Schaepman, B. Koetz, and M. Kneubuhler, 2008. Angular sensitivity analysis of vegetation indices derived from CHRIS/PROBA data, Remote Sensing of Environment, 112(5): 2341-2353. https://doi.org/10.1016/j.rse.2007.11.001
  39. Vincini, M., E. Frazzi, and P. D'Alessio, 2008. A broadband leaf chlorophyll vegetation index at the canopy scale, Precision Agriculture, 9(5): 303-319. https://doi.org/10.1007/s11119-008-9075-z
  40. Wan, L., Y. Li, H. Cen, J. Zhu, W. Yin, W. Wu, H. Zhu, D. Sun, W. Zhou, and Y. He, 2018. Combining UAV-based vegetation indices and image classification to estimate flower number in oilseed rape, Remote Sensing, 10(9): 1484. https://doi.org/10.3390/rs10091484
  41. Woebbecke, D.M., G.E. Meyer, K. Von Bargen, and D.A. Mortensen, 1995. Color indices for weed identification under various soil, residue, and lighting conditions, Transactions of the ASAE, 38(1): 259-269. https://doi.org/10.13031/2013.27838
  42. Xiaoqin, W., W. Miaomiao, W. Shaoqiang, and W. Yundong, 2015. Extraction of vegetation information from visible unmanned aerial vehicle images, Transactions of the Chinese Society of Agricultural Engineering, 31(5): 152-159.
  43. Yeom, J., J. Jung, A. Chang, A. Ashapure, M. Maeda, A. Maeda, and J. Landivar, 2019. Comparison of vegetation indices derived from UAV data for differentiation of tillage effects in agriculture, Remote Sensing, 11(13): 1548. https://doi.org/10.3390/rs11131548
  44. Yu, K., V. Lenz-Wiedemann, X. Chen, and G. Bareth, 2014. Estimating leaf chlorophyll of barley at different growth stages using spectral indices to reduce soil background and canopy structure effects, Isprs Journal of Photogrammetry and Remote Sensing, 97: 58-77. https://doi.org/10.1016/j.isprsjprs.2014.08.005
  45. Zhang, X., F. Zhang, Y. Qi, L. Deng, X. Wang, and S. Yang, 2019. New research methods for vegetation information extraction based on visible light remote sensing images from an unmanned aerial vehicle (UAV), International Journal of Applied Earth Observation and Geoinformation, 78: 215-226. https://doi.org/10.1016/j.jag.2019.01.001
  46. Zheng, H., W. Li, J. Jiang, Y. Liu, T. Cheng, Y. Tian, Y. Zhu, W. Cao, Y. Zhang, and X. Yao, 2018. A Comparative Assessment of Different Modeling Algorithms for Estimating Leaf Nitrogen Content in Winter Wheat Using Multispectral Images from an Unmanned Aerial Vehicle, Remote Sensing, 10(12): 2026. https://doi.org/10.3390/rs10122026
  47. Zhu, W., Z. Sun, T. Yang, J. Li, J. Peng, K. Zhu, S. Li, H. Gong, Y. Lyu, and B. Li, 2020. Estimating leaf chlorophyll content of crops via optimal unmanned aerial vehicle hyperspectral data at multi-scales, Computers and Electronics in Agriculture, 178: 105786. https://doi.org/10.1016/j.compag.2020.105786
  48. Zhu, Y., Y. Tian, X. Yao, X. Liu, and W. Cao, 2007. Analysis of common canopy reflectance spectra for indicating leaf nitrogen concentrations in wheat and rice, Plant Production Science, 10(4): 400-411. https://doi.org/10.1626/pps.10.400