Journal of The Korean Society of Agricultural Engineers (한국농공학회논문집)

The Korean Society of Agricultural Engineers (한국농공학회)
권호 표지
DOI QR코드

DOI QR Code

Development of 3D Crop Segmentation Model in Open-field Based on Supervised Machine Learning Algorithm

지도학습 알고리즘 기반 3D 노지 작물 구분 모델 개발

  • Jeong, Young-Joon (Department of Rural Systems Engineering, Global Smart Farm Convergence Major, Seoul National University) ;
  • Lee, Jong-Hyuk (Department of Rural Systems Engineering, Global Smart Farm Convergence Major, Seoul National University) ;
  • Lee, Sang-Ik (Department of Rural Systems Engineering, Global Smart Farm Convergence Major, Seoul National University) ;
  • Oh, Bu-Yeong (Division of Soil and Fertilizer, National Institute of Agricultural Sciences, Rural Development Administration) ;
  • Ahmed, Fawzy (Department of Rural Systems Engineering, Global Smart Farm Convergence Major, Seoul National University) ;
  • Seo, Byung-Hun (Department of Rural Systems Engineering, Global Smart Farm Convergence Major, Seoul National University) ;
  • Kim, Dong-Su (Department of Rural Systems Engineering, Global Smart Farm Convergence Major, Seoul National University) ;
  • Seo, Ye-Jin (Department of Rural Systems Engineering, Global Smart Farm Convergence Major, Seoul National University) ;
  • Choi, Won (Department of Landscape Architecture and Rural Systems Engineering, Research Institute of Agriculture and Life Sciences, Global Smart Farm Convergence Major, College of Agriculture and Life Sciences, Seoul National University)
  • Received : 2021.06.14
  • Accepted : 2021.09.24
  • Published : 2022.01.31
Download PDF
⟨ Previous Next ⟩

Abstract

3D open-field farm model developed from UAV (Unmanned Aerial Vehicle) data could make crop monitoring easier, also could be an important dataset for various fields like remote sensing or precision agriculture. It is essential to separate crops from the non-crop area because labeling in a manual way is extremely laborious and not appropriate for continuous monitoring. We, therefore, made a 3D open-field farm model based on UAV images and developed a crop segmentation model using a supervised machine learning algorithm. We compared performances from various models using different data features like color or geographic coordinates, and two supervised learning algorithms which are SVM (Support Vector Machine) and KNN (K-Nearest Neighbors). The best approach was trained with 2-dimensional data, ExGR (Excess of Green minus Excess of Red) and z coordinate value, using KNN algorithm, whose accuracy, precision, recall, F1 score was 97.85, 96.51, 88.54, 92.35% respectively. Also, we compared our model performance with similar previous work. Our approach showed slightly better accuracy, and it detected the actual crop better than the previous approach, while it also classified actual non-crop points (e.g. weeds) as crops.

Keywords

Ⅰ. 서론

농촌인구의 감소 및 고령화로 인한 노동력 부족, 저조한 농촌 수익, 기후변화 등 국내 농업⋅농촌이 당면한 문제를 해결하기 위해 2000년대부터 스마트팜 개념이 등장하여 더 효율적이고 생산성을 높이는 방향으로 발전해왔다. 스마트팜 시장은 농업의 부가가치 증대를 위해 앞으로도 지속적인 발전이 기대되고 있으며, 국내에서는 2017년 기준 4.4조 원 정도의 시장규모를 가지고 있으며 2022년 5.9조 원 정도로 성장할 것으로 전망된다 (COMPA, 2019). 그러나 대부분 재배환경을 쉽게 제어할 수 있는 시설농업 분야에서 활용되고 있으며, 재배환경이 자연에 그대로 노출되어있는 노지에서는 환경조절의 어려움으로 인하여 스마트팜 기술이 많이 시도되지 않았다. 2020년 기준 노지재배 면적은 시설재배 면적 대비 약 17.6배에 육박하나 (MAFRA, 2020), 현재 노지재배는 노동집약적이고 경험에 의존한 관행농법으로 경작되고 있어 스마트팜 기술 적용 필요성이 높은 분야로 인식되고 있다. 이에 농촌진흥청은 노지 블루베리 농장용 스마트관개 시스템을 실용화하기 위한 연구를 추진하였고, 농림축산식품부는 2018년부터 노지 스마트농업 모델 개발 실증사업을 위해 농가를 선정하여 시범사업을 추진하고 있으며 점차 사업을 확대하는 등 노지 스마트팜 실적용을 위한 시도가 이루어지고 있다.

그러나 현재 시도되고 있는 노지 스마트팜 시스템은 대부분 자동관수 모델에 집중되어 있어 그 외 드론, AR/VR, 자율주행, 로봇 등 4차산업혁명 핵심기술의 적용 가능성이 광범위하게 존재한다. 특히 드론과 같은 UAV (Unmanned Aerial Vehicle)는 구름 등으로 인해 위성 및 항공 영상 취득에 어려움이 많은 우리나라에서 매우 유용한 수단으로 활용될 수 있으며, 어디서나 사용자가 원하는 시기에 신속한 농업정보 취득과 초고해상도 정밀농업 정보를 취득할 수 있는 장점으로 인해 (Kim and Na, 2019; Park et al., 2015) 최근 농업 분야에서 관련 연구가 세계적으로 증가하는 추세이다. Hunt et al. (2010)은 스펙트럼 이미지 촬영을 통한 작물 모니터링을 수행하여 LAI (Leaf Area Index) 및 GNDVI (Green Normalized Difference Vegetation Index)의 관계를 분석하였고, Kim and Na (2019)는 UAV 이미지를 활용하여 NDVI (Normalized Difference Vegetation Index), 생육 정보, 예상 추수일 등의 정보를 도출하였다. 이를 활용하여 작물의 건강 상태를 평가하거나 작물의 높이, 캐노피, 성장 및 생산량의 예측 등을 수행하는 연구가 이루어진 바 있으며(Costa et al., 2020; Sarron et al., 2018; Fawcett et al., 2019), UAV와 SfM (Structure from Motion)기법을 이용하여 캐노피변화를 추정하거나 개별 작물의 LAI를 모의하는 연구가 수행되었다 (Ziliani et al., 2018; Mathews and Jensen, 2013). 또한 경작지에서의 특정한 목적을 위해서도 다양한 연구가 수행되었다. Ferreira et al. (2017), Bah et al. (2017)은 정확한 제초제 살포를 위한 잡초의 자동 매핑 기술을 개발하였고, Albornoz and Giraldo (2017)은 UAV 이미지로 CWSI (Crop Water Stress Index)를 도출하고 관개 필요 영역을 정의하여 관개용 UAV의 최적 이동경로를 제시하였다. 국내에서는 배추 생산성을 평가하기 위해 UAV 기반 초분광 영상을 이용하여 가시광선 및 근적외 파장대에서 배추 단수 추정의 최적밴드를 선정하는 연구가 수행된 바 있다 (Na et al., 2019).

노지 스마트팜에서 UAV를 활용하는 구체적인 예시로서는 드론을 활용한 광범위 방제, 드론을 활용한 작물 생육 상태분석 등이 대표적이나 아직 개발단계에 머물러 있으므로 시스템에 반영하기 위해서는 추가적인 연구가 필요한 실정이다. 그 중 핵심적인 기술은 3D 모델의 구축으로, UAV를 활용하면 적은 소모 비용으로 높은 시간적⋅공간적 해상도를 가지는 이미지를 촬영할 수 있어 지속적인 작물 생육 상태 모니터링, 작물 용수 수요량 예측, 병충해 예찰 등의 기술을 3D 모델링과 연계하여 구축할 수 있다 (Ampatzidis et al., 2020). 이에 국내외에서 UAV를 비롯해 LiDAR (Light Detection And Ranging) 시스템을 활용하여 3D 농경지 모델을 구축하고자 하는 시도가 이어지고 있다. Jay et al. (2015)은 작물과 매우 근접한 높이에서 촬영한 UAV 이미지와 SfM 모델링을 통하여 작물의 3D 모델을 정밀하게 재현하였으며, Jurado et al. (2020)은 올리브 농장의 관리를 완전 자동화하기 위해 UAV를 통해 수집한 RGB 및 다중스펙트럼 이미지를 사용하여 개별 올리브 나무를 3D 모델로 재현하고 NDVI, GRVI (Green Ratio Vegetation Index), RVI (Ratio Vegetation Index), NDRE (Normalized Difference Red Edge) 등의 식생지수를 도출하였다.

UAV를 통해 구축한 작물 및 농경지의 3D 모델을 노지 스마트팜에 활용하기 위해서는 구축한 모델의 검증과 작물의 구분이 수반되어야 하며, 작물의 종류나 사용 목적에 맞는 방식으로 처리하기 위한 기술이 필요하다. UAV를 통해 획득한 작물의 3D 모델을 활용하면 개별 작물의 생장 상태, 질병 유무, 예상 수확량, 수분 스트레스 등의 정보를 손쉽게 얻을 수 있으며, 이는 생산자의 농지 관리 효율을 크게 증대시킬 수 있다는 이점이 있다. 한편, 개별 작물에 대하여 이와 같은 생육 정보들을 얻기 위하여 작물과 작물이 아닌 부분을 구분하는 연구가 선행되어야 한다. Mesas-Carrascosa et al. (2020)은 RGB 색상 정보 및 위치 정보를 가진 3D 점군 데이터를 이용하여 CVI(Color Vegetation Index)를 도출하여 이를 기반으로 작물과 작물이 아닌 부분을 자동으로 분류하였고, Sarabia et al. (2020)은 UAV 다중스펙트럼 이미지로부터 얻은 3D 점군 데이터를 보간하여 그레이 스케일이미지로 바꾼 후 과수의 절대적인 높이를 획득하고 경계값을 설정하여 과수와 과수가 아닌 부분을 구분하였다. Comba et al. (2018)은 UAV 다중스펙트럼 이미지로부터 추출한 3D 점군 데이터 맵에서 사용자의 간섭이나 피드백 없이 포도밭을 검출하는 비지도 (Unsupervised) 알고리즘을 개발하였고, Kerkech et al. (2020)은 UAV 다중스펙트럼 데이터와 3D 프로세싱을 통해 추출한 depth map을 이용해 학습시킨 딥러닝 아키텍처 VddNet을 개발하여 포도나무의 병해 발생을 감지하는데 활용하였다. Jimenez-Brenes et al. (2017), Torres-Sanchez et al. (2018), De Castro et al. (2018)은 UAV를 통해 얻은 3D 점군 데이터에 OBIA (Object-Based Image Analysis) 알고리즘을 적용하여 각각 올리브, 아몬드, 포도 과수원의 구조를 3D로 매핑하였다. Pan et al. (2019), Xu et al. (2018), Pi et al. (2021) 등은 항공 LiDAR 데이터를 비롯해 Landsat 이미지 또는 UAV 초분광 이미지를 활용하였으며, 이들은 3D-CNN (3D-Convolutional Neural Network) 기법을 적용하여 연구를 수행하였다. 그 외 Angin et al. (2020)은 UAV를 활용하여 얻은 농경지 모델을 활용한 디지털 트윈 프레임워크인 AgriLoRa를 개발하였고, Chiu et al. (2020)은 농업 분야에서 활용하기 위한 데이터베이스인 Agriculture-Vision을 제안하는 등 노지 스마트팜의 실적용을 위한 시도가 이루어지기도 하였다. 선행연구에서 UAV를 통한 항공 촬영을 통하여 작물을 구분하는 연구는 대부분 과수, 특히 포도와 올리브에 적용하는 것이 대부분이라는 한계점이 있었으며, 이에 본 연구에서는 국내의 초본 작물을 구분하는 모델을 개발하고자 하였다.

본 연구에서는 노지 스마트팜의 관리를 위해 UAV 항공촬영을 활용한 점군 데이터 기반의 노지 3D 모델을 구축한 뒤, 사용자가 수동으로 작물을 구분하는 것은 매우 번거로울뿐더러 실시간, 혹은 지속적 작물 모니터링에 적합하지 않기에 UAV 데이터를 바탕으로 자동적으로 작물을 구분하는 알고리즘을 제안하고자 하였다. 본 연구에서 개발한 모델은 작물 생육 모니터링에 도움을 줄 수 있을 것이라고 기대하며 다양한 작물 정보 모델의 기초자료로 활용될 것이라고 사료된다.

Ⅱ. 재료 및 방법

1. 대상 지역

본 연구 대상지는 대한민국 경기도 수원시 권선구에 위치한 서울대학교 수원캠퍼스 인근 농장이며, 총 면적은 약 2.4 ha이고, 사과, 배, 복숭아, 포도 등 다양한 작물을 재배 중이다 (Fig. 1). 대체로 과수 종류는 주로 과수보다 높이가 낮은 초본으로 덮여 있었으며, 일부 작물들은 멀칭이 되어 있는 상태이다. 일부 과수의 경우 과수 지지를 위하여 지지대가 설치되어 있었다.

NGHHCI_2022_v64n1_15_f0001.png 이미지

Fig. 1 Study area: farmland at Suwon campus, Seoul National University

2. 이미지 획득

UAV 항공촬영은 2021년 4월 29일이며, 매우 맑은 기상 조건에서 수행되었다. UAV는 회전익 무인항공기인 Phantom 4(DJI, China)로, 기체는 8엽의 프로펠러로 구성되어 있으며, 무게는 배터리 및 프로펠러 포함 1,368 g, 촬영 카메라 센서는 1″CMOS, 유효 픽셀은 20 m이다. 모든 촬영조건은 무 지상기준점 (Ground Control Point, GCP), 단일격자촬영을 기준으로 하였다. 영상 수집은 같은 UAV 기체를 이용한 선행연구 조사시, Lee (2020)는 반경 약 2 km 범위 농경지 재현시 촬영 높이 50 m, 영상 중복도 80% 기준으로 촬영 각도 60° 조건일 때 범위 내 수목들의 재현율이 가장 높았음을 평가한 바 있어 본 연구에서도 Lee (2020)이 제안한 방법을 고려하여 촬영 각도는 60°를 기준으로 설정하였다. 그러나 본 연구에서는 대상지역의 범위가 좁고 작물의 재현성이 더 높아질 필요가 있다고 판단되어 촬영 고도를 20 m로 낮추고, 중복도는 90%로 변경하였다. 또한 수관의 재현성 향상을 위해 촬영 각도 90°, 중복도 90%, 고도 30 m로 전체 지역을 한 번 더 촬영하였다.

3. 점군 데이터 획득

가. 점군 데이터 생성

UAV로 획득한 영상정보의 점군 데이터 구축은 Fig. 2의 순서로 처리된다. 여기서 Step 3과 4는 Metashape Professional(v1.4)을 이용하였다.

NGHHCI_2022_v64n1_15_f0002.png 이미지

Fig. 2 Procedure for constructing point cloud data (Lee, 2020)

점군 데이터는 UAV 영상 정보 기반 SfM-MVS (Structure from Motion-Multi View Stereo) 기법이 이용된다. 먼저 SfM은 공면조건 (Coplanarity Constraints)을 이용한 상대표정 원리를 이용한다. 즉, UAV에 내장된 위성 측위시스템의 수신 및 기록장치를 통해, 사진마다 위도 (x), 경도 (y), 고도 (z)와 UAV의 Roll (ψ), Pitch (ω), Yaw (χ), Throttle (변수) 값 등 좌표와 촬영 각 정보를 촬영 이미지마다 EXIF (Exchangeable Image File Format) 형식으로 기록이 가능하여 이를 이용한 공선조건(Colinearity Condition) 원리가 이용된다. 공선조건이란 임의의 점의 좌표 (X, Y, Z)와 투영 중심 및 카메라의 영상면에 투영된 좌표가 한 직선상에 위치함을 나타내는 것으로, 식 (1)과 같은 식으로 표현된다 (Kim et al., 2015).

\(\begin{aligned}\begin{array}{l}x+\delta_{x}-x_{0}=-c_{x} \frac{m_{11}\left(X-X_{L}\right)+m_{12}\left(Y-Y_{L}\right)+m_{13}\left(Z-Z_{L}\right)}{m_{31}\left(X-X_{L}\right)+m_{32}\left(Y-Y_{L}\right)+m_{33}\left(Z-Z_{L}\right)} \\ y+\delta_{y}-y_{0}=-c_{y} \frac{m_{21}\left(X-X_{L}\right)+m_{22}\left(Y-Y_{L}\right)+m_{23}\left(Z-Z_{L}\right)}{m_{31}\left(X-X_{L}\right)+m_{32}\left(Y-Y_{L}\right)+m_{33}\left(Z-Z_{L}\right)}\end{array}\end{aligned}\)       (1)

여기서 x, y는 영상좌표, x0, y0는 주점의 위치, cx, cy는 x, y방향으로 λ요소에 의해 규모화된 초점거리 (cx = cλx, cy = cλy), m11 ⋯ m33는 회전행렬, X, Y, Z는 대상체 좌표, XL, YL, ZL는 투영중심, δx, δy는 x, y방향의 렌즈 왜곡량을 나타낸다 (Kim et al., 2015). 즉, 노출점 (카메라)의 좌표를 정확하게 인지하고, 지상점 P를 공선조건 위치에 구속하였을 때, 2장 이상의 촬영 영상으로 동일한 지상점을 촬영하면, 지상점 P의 X, Y, Z 좌표를 결정할 수 있다.

그 다음 이를 이용해 두 영상에서 기하학적인 위치를 추정하여 입체 모델 구성을 위한 상대표정 (Relative Orientation)을 수행한다. 상대표정은 식 (2)와 같이 기하학적인 관계를 갖는 공면조건으로부터 촬영된 좌⋅우 사진에서 상대적인 위치를 산출한다 (Fig. 3).

b× [P1 × P2] = 0       (2)

NGHHCI_2022_v64n1_15_f0003.png 이미지

Fig. 3 Relative orientation estimated by two fixed images (Tjahjadi and Agustinam, 2019)

여기서, b는 \(\begin{aligned}\overrightarrow{O_{1} O_{2}}\end{aligned}\), P1는 \(\begin{aligned}\overrightarrow{O_{1} P}\end{aligned}\), P2는 \(\begin{aligned}\overrightarrow{O_{2} P}\\\end{aligned}\)를 의미한다. 각 벡터들은 b = [bX, bY, bZ]b, P1 = [X1, Y1, Z1]b, P2 = [X2, Y2, Z2]b라고 하면 다음 식 (3)과 같이 나타낼 수 있으며, 백터 P1과 벡터 P2는 식 (4)와 같이 표현한다.

\(\begin{array}{l}F\left(\omega_{2}, \phi_{2}, \kappa_{2}, b_{Y}, b_{Z}\right)=\left|\begin{array}{ccc}b_{X} & b_{Y} & b_{Z} \\ X_{1} & Y_{1} & Z_{1} \\ X_{2} & Y_{2} & Z_{2}\end{array}\right| \\ =\left[\begin{array}{lll}X_{2} & Y_{2} & Z_{2}\end{array}\right]\left[\begin{array}{ccc}0 & -b_{Z} & b_{Y} \\ b_{Z} & 0 & -b_{X} \\ -b_{Y} & b_{X} & 0\end{array}\right]\left[\begin{array}{c}X_{1} \\ Y_{1} \\ Z_{1}\end{array}\right]=0\end{array}\)       (3)

\(\begin{aligned}\begin{array}{l}P_{1}=\left[\begin{array}{c}X_{1} \\ Y_{1} \\ Z_{1}\end{array}\right]=\left[\begin{array}{l}x_{1} \\ y_{1} \\ f\end{array}\right] \\ P_{2}=\left[\begin{array}{c}X_{2} \\ Y_{2} \\ Z_{2}\end{array}\right]=\left[\begin{array}{ll}m_{11} m_{12} m_{13} \\ m_{21} m_{22} m_{23} \\ m_{31} m_{32} m_{33}\end{array}\right]\left[\begin{array}{c}x_{2} \\ y_{2} \\ f\end{array}\right] \\\end{array}\end{aligned}\)       (4)

식 (4)에서, P2의 m11 ⋯ m33은 ω2, 𝜙2, κ2을 변수로 가지는 회전행렬의 요소들이며, x1, y1는 좌측 영상좌표, x2, y2는 우측 영상좌표이며 f는 초점거리이다. 좌측 영상의 O1를 좌표계의 원점으로 보고 X축을 좌측 영상의 오른쪽 방향으로, Y축을 위쪽 방향으로, 그리고 Z축을 개체가 있는 방향의 반대 방향으로 설정한다. 한편 bX는 영상의 기선거리를 의미하며 이는 영상의 스케일에 관련된 상수이므로 결과적으로 변수는 총 5개로 bY, bZ, ω, 𝜙, κ와 같다. 이를 추정하기 위하여 테일러 급수를 통해 식 (3)을 선형식으로 근사하고 최소제곱법을 사용한다 (Ahn et al., 2014). 다음으로 MVS (Multi-View Stereo)는 시점이 다른 여러 장의 영상을 사용하여 기준 영상에 대한 깊이 영상 또는 절대 좌표계에서의 전체적인 3차원 형상을 생성하는 기법이다. 기존에 많이 사용되던 Binocular Stereo 기법과 비교하면 매우 정확한 3차원 형상을 취득할 수 있으며, 최근 도시 모델링 등 대규모 장면에 대한 3차원 재현에 응용되고 있다. SfM 기법을 통해 얻어낸 저밀도의 점군 데이터를 이용하여 밀도를 증가시켜 최종적으로 대상 지역의 고밀도 점군 데이터를 얻어낼 수 있다 (Smith et al., 2015).

4. 작물 구분 모델 개발

가. 점군 데이터 전처리

일반적으로 디지털 이미지로 생성된 점군 데이터에는 노이즈가 포함되어 노이즈가 필터링 되지 않았을 때 작물 특징 추출 과정에 영향을 미칠 수 있어 적절한 필터링이 요구된다. 또한 구축된 점군 데이터는 필요 이상의 과도한 양의 데이터로 이루어져 있어 연산 부하 감소를 위해 다운 샘플링을 수행하였다. 이를 위해 점군 데이터를 복셀화하여 각 복셀 (size=0.005) 별 중심점을 기준으로 주변 점들을 모두 제거하는 방식으로 다운 샘플링을 진행하였다. 복셀의 크기가 크면 데이터의 양을 더 줄일 수 있으나, 그만큼 표현력은 떨어지므로 적정한 크기를 설정하는 것이 중요하다.

그 후 각 점들의 근접 점들 간 평균 거리를 계산하여 이상치를 가지는 점들을 제거하였다. 이때 전체 점들에 대한 평균거리와 편차에 비해 통계적으로 이상치를 가지는 점을 제거하는 방법이 있고 특정 점 반경 내 지정된 점 개수보다 이하일 경우 반경 이상치로 구분하여 제거하는 방법이 잇다.. 통계적인 방법을 사용하여 이상치를 구분하는 방법을 사용하면, 각 점과 인근 점들 사이의 유클리드 거리 (Euclidean Distance)의 평균을 계산하여 그것이 가우시안 분포 (Gaussian Distribution)을 따른다고 가정한 뒤 표준편차가 특정 임계치 이상인 점을 이상치라고 판정한다. 본 연구에서는 근처 20개의 점을 탐색하여 평균을 계산하고 정규화된 표준편차가 2.0 이상인 점을 이상치라고 판정하였다. 한편 반경을 사용하여 이상치를 판정하는 방법을 사용하면, 각 점에서 특정 반경 내의 다른 점들이 몇 개나 있는지를 계산하여 그 개수가 특정 값 이하이면 이상치라고 판정한다. 본 연구에서는 통계적인 방법을 사용하여 이상치를 제거하였고, 해당 과정에는 python의 open3D 모듈이 사용되었으며 (Zhou et al., 2018), 전처리를 마친 후에는 약 10만 개의 점군 데이터가 남았다.

나. 작물 특징 추출

본 연구에서는 작물 점군 데이터가 가진 위치정보인 x, y, z 좌표와 색상정보인 RGB 값을 활용하여 작물과 작물이 아닌 부분을 구분하고자 하였다. 작물이 아닌 부분은 작물이 심어진 토양, 주변에 자라난 잡초, 작물 외의 지형지물 등에 해당한다. 또한 RGB를 가공하여 만든 CVI의 활용을 검토하는데, 이는 RGB 정보만으로는 특정 색상을 분리해내는데 어려움이 있으며, RGB 정보는 광원이나 표면과의 각도 등 다양한 외부적요인에 의해 값이 변화할 수 있기 때문이다. CVI에는 다양한 종류가 있는데 Mesas-Carrascos et al. (2020)은 m-statistics 분석을 이용해 작물 구분에 ExGR (Excess of Green minus excess Red)이 가장 적합하다고 보고한 바 있다. ExGR은 다음 Table 1, 식 (5), (6)에 의해 계산된다.

Table 1 Vegetation indices (Mesas-Carrascos et al., 2020)

NGHHCI_2022_v64n1_15_t0001.png 이미지

* r, g, and b are the normalized Red, Green, and Blue spectral bands.

\(\begin{aligned}r=\frac{R}{R+G+B}, g=\frac{G}{R+G+B}, b=\frac{B}{R+G+B}\end{aligned}\)       (5)

\(\begin{aligned}R=\frac{R}{R_{\max }}, G=\frac{G}{G_{\max }}, B=\frac{B}{B_{\max }}\end{aligned}\)       (6)

여기서, Rmax = Gmax = Bmax = 255이다. ExGR은 식 (5)와 (6)의 과정을 통해 정규화된 RGB 좌표를 기반으로 하므로 광원의 강도와 대상 표면과의 각도에 큰 영향을 받지 않는다(Gée et al., 2007). 다음으로 점군의 높이값 z는 다운샘플링을 거친 후 남은 모든 점에서 각 점들의 z좌표 정보를 추출하여 사용하였다.

다. 작물 분류 모델 구축

1) 타겟 데이터 생성

앞에서 UAV 촬영을 통해 획득한 점군 데이터의 일부를 python의 labelCloud 모듈을 이용하여 작물인지 작물이 아닌지에 대한 타겟 데이터를 생성하였다 (Fig. 4; Sager et al., 2021). 해당 모듈은 기존 3D 라벨링 소프트웨어들의 문제점을 극복하여 편리하고 손쉽게 타겟 데이터를 생성할 수 있게 한다. labelCloud를 실행하면 라벨링하고 싶은 3D 점군 데이터를 불러올 수 있고, 이를 불러온 뒤 사용자가 바운딩 박스 (Bounding Box)를 이용하여 직접 박스 내부의 점을 라벨링할 수 있다. 라벨링을 마치고 저장하면 각 바운딩 박스의 꼭짓점 8개의 좌표를 출력할 수 있고 이를 통하여 박스 내부의 점은 라벨링이 된 것으로, 외부의 점은 라벨링이 안 된 것으로 처리하여 분류모델에 적용할 수 있다. 본 연구에서는 이러한 방식으로 사람의 판단 하에 작물인 부분에 라벨링을 실시하였다.

NGHHCI_2022_v64n1_15_f0004.png 이미지

Fig. 4 Ground truth data generation using labelCloud (Sager et al., 2021)

2) 지도학습

지도학습은 기계학습의 방법 중 하나로 타겟 데이터가 주어져 있을 때 이를 바탕으로 학습을 수행하고 주어진 다른 데이터에 대하여 예측을 수행하는 방법이다. 본 연구에서는 앞에서 구축한 타겟 데이터를 바탕으로 지도학습을 수행하여 작물과 작물이 아닌 부분을 구분하고자 하였으며, 이때 고려한 방법으로 SVM (Support Vector Machine)과 KNN (K-Nearest Neighbor)이 있다. SVM과 KNN은 대표적인 지도학습 분류모델이며 표정 인식, 사물 인식 등의 객체 인식뿐만 아니라, 생물, 의약, 에너지 등 다양한 분야에서 적용된 바 있는 강력한 방법론이다 (Bzdok et al., 2018; Dino and Abdulrazzaq, 2019; Long et al., 2014; Mohamad et al., 2018).

데이터 범주들이 존재하고 각 범주에 속한 데이터의 집합이 주어졌을 때, SVM은 주어진 데이터 집합을 바탕으로 새로운 데이터가 어느 범주에 속할지 판단하는 비확률적 이진 비선형 분류 모델을 구축할 수 있다. 구축된 모델은 데이터 집합 공간에서 경계로 표현되는데, 이를 초평면 (Hyperplane)이라고 한다. 초평면이 가장 가까운 학습 데이터 점과 큰 차이를 가지고 있을수록 분류 오차 (Classifier Error)가 작다고 정의할 수 있으며, 따라서 분류된 데이터에 대해 가장 가까운 학습 데이터와 가장 먼 거리를 가지는 최상의 초평면을 탐색하는 것이 핵심적이다. 하이퍼파라미터로는 초평면 커널 (Hyperplane Kernel)이 있는데, 데이터셋의 특성에 따라 선형, 다항식, 시그모이드 함수 등으로 설정할 수 있다. Fig. 5의 (a)는 SVM을 통한 분류를 그림으로 나타낸 것인데, 빨간색과 파란색 데이터를 분류하는 초평면을 찾는다고 할 때 (1), (2), (3) 모두 해당 조건을 만족하지만, 분류 오차가 가장 작은 최상의 초평면은 가장 가까운 학습 데이터와 가장 먼 거리 (Fig. 5 (a)의 margin)를 가지는 (2)이다.

NGHHCI_2022_v64n1_15_f0005.png 이미지

Fig. 5 Illustration of two types of classifier: (a) Illustration of the support vector machine (SVM) classifier; (b) Illustration of the k-nearest neighbors (KNN) classifier

KNN은 기존 데이터의 그룹 정보를 바탕으로 새로운 데이터가 들어왔을 때 어느 그룹에 속할지를 결정하는 방법으로, 새로운 데이터의 가장 가까운 데이터 k개를 찾아 그들이 어느 그룹에 속하는지를 확인하여 새로운 데이터의 그룹을 결정한다. 이 방법의 하이퍼파라미터는 탐색할 데이터의 개수가 있다. Fig. 5의 (b)는 KNN을 통한 분류를 그림으로 나타낸 것인데, 기존 빨간색과 파란색 데이터 사이에 새로운 데이터가 들어왔다고 할 때, 이것이 빨간색 그룹에 속할지, 혹은 파란색 데이터 그룹에 속할지는 해당 데이터 인근의 몇 개의 점을 탐색할 것인지에 따라 달렸다. 각 데이터 점 사이의 유클리드 거리를 측정하여 작은 것부터 순서대로 탐색하며, Fig. 5 (b)의 (1)은 새로운 데이터 인근 3개의 데이터를 탐색하여 (k=3) 빨간색 그룹 데이터가 2개, 파란색 그룹 데이터가 1개이므로 새로운 데이터는 빨간색 그룹에 속한다고 예측한다. 반면 같은 그림의 (2)는 새로운 데이터 인근 8개의 데이터를 탐색하여 (k=8) 빨간색 그룹 데이터가 3개, 파란색 그룹 데이터가 5개이므로 새로운 데이터는 파란색 그룹에 속한다고 예측한다.

라. 작물 분류 모델 평가

작물 분류 모델의 적합성을 검증하기 위해 앞서 분리한 테스트 데이터셋을 이용하여 성능평가를 수행하였다. 성능평가에는 식 (7)∼(10)의 성능평가지수 (정확도 (accuracy), 정밀도(precision), 재현율 (recall), F1 스코어)의 4가지 지수를 활용하였다. 정밀도는 모델이 참이라고 예측한 것 중 실제로도 참인것의 비율이며 재현율은 실제로 참인 것 중 모델이 참이라고 예측한 것의 비율이다. 정확도는 전체 데이터 중 실제 참과 거짓을 모델에서 각각 참과 거짓으로 올바르게 예측한 것의 비율이다. 정확도는 분류 결과의 재현율과 정밀도를 종합적으로 고려해 비교할 수 있는 성능 측도로 모델의 성능을 직관적으로 나타낼 수 있으나, 데이터의 편중이 발생할 경우 성능평가가 불균형해질 수 있다. F1 스코어는 정밀도와 재현율의 조화평균 으로 데이터 라벨이 불균형할 때 편중을 고려하여 모델의 성능을 평가하므로 정확도를 보완할 수 있다.

\(\begin{aligned}Precision=\frac{T_{p}}{T_{p}+F_{p}}\end{aligned}\)       (7)

\(\begin{aligned}Recall=\frac{T_{p}}{T_{p}+F_{n}}\end{aligned}\)       (8)

\(\begin{aligned}Accuracy=\frac{T_{p}+T_{n}}{T_{p}+T_{n}+F_{p}+F_{n}}\end{aligned}\)       (9)

\(\begin{aligned}F_1=2{\times}\frac{Precision{\times}Recall}{Precision+Recall}\end{aligned}\)       (10)

여기서, Tp은 참 양성 수, Tn은 참 음성 수, Fp는 거짓 양성수, Fn은 거짓 음성 수를 나타낸다.

본 연구에서는 앞서 소개한 방법들을 종합하여 노지 재배지의 3D 영상 데이터를 바탕으로 작물과 작물이 아닌 부분을 분리하는 모델을 구축하였으며, 그 절차는 아래 Fig. 6과 같다. 먼저 UAV를 통해 촬영한 RGB 이미지에 기반하여, SfM-MVS 기법을 적용하여 3D 점군 데이터를 구축한다. 다음으로 해당 데이터에서 CVI 값과 z좌표 값을 추출한 뒤 이를 학습 데이터로 사용하여 지도학습 알고리즘을 적용한 모델을 학습시켰으며, 모델의 정확도를 테스트 데이터셋을 통하여 검증하였다.

NGHHCI_2022_v64n1_15_f0006.png 이미지

Fig. 6 Procedure for developing crop segmentation model

Ⅲ. 결과 및 고찰

1. 점군 데이터 획득

대상지역의 점군 데이터 구축결과 Fig. 7과 같이 구축되었다. 빨간색 사각형 내부 데이터를 임의로 8:2로 나누어 학습과 테스트 데이터로 활용하였다. labelCloud를 활용하여 빨간색 사각형 내부 데이터의 작물을 육안으로 판단하여 라벨링하였다.

NGHHCI_2022_v64n1_15_f0007.png 이미지

Fig. 7 Target area’s orthomasaic

2. 작물 구분 모델 구축 방법 비교

작물 구분 모델을 구축하기 위하여 점군 데이터의 위치 정보인 x, y, z 좌표 값과 색 정보인 RGB 값의 적합성을 일차적으로 검토하였다. 각 인자의 적합성을 검토하기 위하여 머신러닝의 지도학습 방법 중 SVM, KNN의 두 가지 알고리즘을 사용하여 구분 성능을 검토하였다. 그러나 RGB와 x, y 값을 각각 단독으로 사용하였을 때는 SVM, KNN 모두 구분이 잘 되지 않았으며, z 값을 단독으로 사용했을 때만 구분할 수 있었다. 이에 색상 정보를 활용하기 위하여 CVI 중 가장 구분에 적합하다고 평가된 ExGR을 추가적으로 계산하여 구분 성능을 평가하였다. ExGR, z, 그리고 두 인자를 동시에 활용하였을 때 두 가지 방법에 대한 구분 성능을 각각 평가함으로써 최종적으로 학습에 사용할 인자와 방법을 선정하고자 하였으며, 그 결과를 Table 2에 나타내었다. 평가 지표로는 정확도, 정밀도, 재현율, 그리고 F1 스코어를 종합적으로 검토하였으며, KNN의 k는 10으로, SVM의 초평면 커널은 다항식으로 설정하였다. 학습에 사용된 점군은 Fig. 7에서 표시된 지역의 데이터로 다운 샘플링 과정을 거쳐 총 44,933개였으며, 학습 데이터와 테스트 데이터는 8:2의 비율로 사용하였다. 또한 학습 시 작물과 비작물 데이터의 비율이 동일하게 유지되도록 하였고, 교차 검증을 위해 총 10회의 무작위 학습 데이터와 테스트 데이터에 대하여 학습을 진행한 후 지표의 평균값을 사용하였다.

Table 2 Performance assessment of the models using different data and learning algorithm​​​​​​​

NGHHCI_2022_v64n1_15_t0002.png 이미지

평가 결과, 각 방법에 대하여 ExGR과 z를 동시에 사용했을 때, z만 사용했을 때, 그리고 ExGR만을 사용했을 때 순으로 구분 성능이 좋았으며 KNN이 SVM보다 구분에 적합한 알고리즘인 것으로 평가되었다. SVM에서는 ExGR과 z를 동시에 사용했을 때 97.14%의 정확도, 96.45%의 정밀도, 83.63%의 재현율, 그리고 89.58%의 F1 스코어를 보였고 z만 사용했을 때는 96.98%의 정확도, 97.17%의 정밀도, 81.80%의 재현율, 그리고 88.82%의 F1 스코어를 보였으며, ExGR만을 사용했을 때는 89.30%의 정확도, 72.44%의 정밀도, 43.66%의 재현율, 54.48%의 F1 스코어를 보였다. KNN에서는 ExGR과 z를 동시에 사용했을 때 97.85%의 정확도, 96.51%의 정밀도, 88.54%의 재현율, 그리고 92.35%의 F1 스코어를 보였고 z만 사용했을 때는 96.94%의 정확도, 95.72%의 정밀도, 82.69%의 재현율, 그리고 88.73%의 F1 스코어를 보였으며, ExGR만을 사용했을 때는 89.47%의 정확도, 80.21%의 정밀도, 37.64%의 재현율, 51.17%의 F1 스코어를 보였다. 두 방법 모두에서 공통적으로 ExGR과 z를 결합하여 사용했을 때, z만을 사용했을 때, ExGR만을 사용했을 때 순으로 성능이 좋았으며 특히 ExGR만을 사용했을 때 재현율과 F1 스코어가 큰 폭으로 감소하는 것을 확인할 수 있었다. 또한, SVM과 KNN에서 ExGR과 z를 결합하여 사용한 경우를 비교했을 때 근소하지만 KNN에서 성능이 더 좋게 나타났다. 따라서 최종적으로 ExGR과 z의 2차원 데이터를 사용하여 KNN 방법을 통해 학습시켜 작물 구분 모델을 구축하였다.

3. 작물 구분 모델의 성능 평가

앞에서 작물 구분 모델에 사용된 학습 데이터의 종류와 학습 방법을 평가함에 있어 본 연구에서 직접 촬영하여 구축한 3D 점군 데이터셋을 사용하였으나 다른 연구와의 비교를 위해서는 해당 연구에서 사용한 데이터셋을 이용하여 본 연구에서 구축한 작물 구분 모델을 평가할 필요가 있었다. 따라서 Mortensen et al. (2018)이 공개한 상추 데이터셋 (Fig. 8)을 사용하여 추가적인 평가를 진행하였다. Yang et al. (2020)이 이 데이터셋에서 33차원의 FPFH (Fast Point Feature Histogram)와 HSV (Hue, Saturation, Value) 색상 데이터, 그리고 z좌표 데이터를 추출하여 학습시킨 모델의 정확도를 제시해 구분 성능을 평가한 바 있으며, 이는 92.53%의 수준이었다. 해당 데이터셋의 ExGR과 z를 결합한 2차원 데이터를 활용하여 KNN 모델을 학습시킨 결과 92.66%의 정확도가 나타나 약간 나은 성능을 보여주었다 (Table 3). 그러나 Yang et al. (2020)이 구분한 결과인 Fi g. 9 (a)와 본 연구에서 구축한 모델이 구분한 결과인 Fi g. 9 (b)를 비교해보면 본 연구에서 구분한 결과는 흙은 잘 구분했으나 잡초 등 작물과 색상이 유사한 부분을 잘 골라내지 못하는 결과를 보여주었다. 그런데도 Yang et al. (2020)과 비슷한 정확도를 보여준 것은 그들에 비해 실제 작물인 부분을 더 잘 구분해냈기 때문으로 판단할 수 있다. 이는 해당 데이터셋 구분에 대한 성능 평가 결과 재현율이 99.20%로 매우 높은 반면 정밀도는 87.36%로 상대적으로 저조한 것과 상통한다. 따라서 정확도 측면에서만 본다면 본 연구에서 구축한 모델이 선행 연구와 비교하여 뒤떨어지지 않는 구분 성능을 보인다고 할 수 있으며, 선행연구보다 실제로 작물인 부분을 작물로 구분해내는 능력이 뛰어나다고 판단된다. 그러나 선행연구보다 상대적으로 작물이 아닌 부분을 구분하는 능력이 부족하므로 향후 적절한 데이터 후처리 과정을 도입하여 정밀도를 끌어올리는 것이 중요하다고 사료된다.

NGHHCI_2022_v64n1_15_f0008.png 이미지

Fig. 8 Lettuce point cloud dataset from Mortensen et al. (2018)​​​​​​​

NGHHCI_2022_v64n1_15_f0009.png 이미지

Fig. 9 Segmentation result of the two models on same dataset (a) Crop segmentation by Yang et al. (2020) (92.53% accuracy) (b) Crop segmentation by our model (92.66% accuracy)​​​​​​​

Table 3 Comparison between crop segmentation approaches from previous work and ours​​​​​​​

NGHHCI_2022_v64n1_15_t0003.png 이미지

Ⅳ. 결론

본 연구에서는 노지 작물 재배지에 대하여 UAV를 사용하여 작물 생육 상황을 손쉽게 파악할 수 있도록 노지 재배지의 3D 모델을 만들고 작물과 작물이 아닌 부분을 구분하는 모델을 구축하고자 하였다. 이를 위해 먼저 UAV를 통하여 노지작물 재배지를 촬영하고 SfM, MVS 방법을 통하여 3D 점군 모델을 생성하였다. 그리고 생성된 점군 모델을 바탕으로 작물과 작물이 아닌 부분을 구분하는 모델을 만들기 위하여 다양한 데이터 종류와 지도학습 방법을 사용하여 학습을 수행하였다. 일차적으로 점군 모델이 가지고 있는 RGB 색상 정보와 위치 정보인 x, y, z 좌표 정보를 활용하여 SVM, KNN 방법을 통해 작물을 구분하고자 하였는데, z 좌표 정보를 제외하고는 작물 구분에 실패하였다. 이에 색상 정보를 구분에 활용하기 위하여 ExGR을 계산하였으며 데이터 종류와 학습 방법별 성능을 평가하여 비교한 결과 ExGR과 z를 결합한 2차원 데이터를 KNN 방법으로 구분하는 것이 정확도 97.85%, 정밀도 96.51%, 재현율 88.54%, F1 스코어 92.35%로 가장 좋은 성능을 나타내었다. 또한 유사한 선행연구와의 비교를 위하여 학습된 모델을 바탕으로 Yang et al. (2020)이 사용한 Mortensen et al. (2018)이 제공한 상추 데이터의 구분 성능을 평가하였는데, Yang et al. (2020)은 92.53%의 정확도를 보였고 본 연구에서 구축한 모델은 92.66%의 정확도를 나타내 근소하게 개선된 성능을 보여주었으나 선행연구보다 작물이 아닌 부분, 특히 잡초처럼 작물과 색상이 비슷한 부분을 구분하는 능력이 부족하여 향후 적절한 데이터 후처리 과정을 도입하여 이 문제를 해결할 필요가 있다고 판단되었다.

본 연구에서 개발한 모델을 통해 노지 작물 재배지의 자동적인 작물 구분이 가능해져 사용자가 일일이 구분할 필요가 없어졌으며 작물 생육 상태 모니터링 등 다양한 분야의 기초 자료로 활용될 수 있을 것으로 기대된다. 그러나 다양한 지역에서 촬영된 데이터에 대한 검증 작업이 부족하여 아직은 일반적으로 사용될 수 있을 것이라고 기대하기 어려운 상황이다. 따라서 향후 더 다양한 지역에서 촬영된 데이터를 바탕으로 학습을 수행하여 보다 일반적으로 사용될 수 있는 모델을 구축하고, 더 나아가 작물로 구분된 데이터를 개별 작물로 구분하여 높이 상태, 건강, 예상 수확량 등의 다양한 정보를 추출하는 연구를 수행하고자 한다. 또한, 국내 노지에는 지지대, 가림막 등 작물 재배를 돕는 시설물 설치된 경우가 많은데 추후에는 작물과 시설물을 분리해내는 연구가 필요할 것으로 보이며, 작물과 생육 시기에 따라 달라지는 작물의 크기와 분포 양상을 고려하여 모델을 개선할 필요성이 있다.

감사의 글

본 결과물은 농림축산식품부의 재원으로 농림식품기술기획평가원의 농업기반 및 재해대응 기술개발사업의 지원을 받아 연구되었음 (과제번호: 321066-3).

References

  1. Ahn, H. R., J. I. Kim, and T. J. Kim, 2014. 3D accuracy analysis of mobile phone-based stereo images. Journal of the Korean Society of Broad Engineers 19(5): 677-686 (in Korean). doi:10.5909/JBE.2014.19.5.677.
  2. Albornoz, C., and L. F. Giraldo, 2018. Trajectory design for efficient crop irrigation with a UAV. 2017 IEEE 3rd Colombian Conference on Automatic Control (CCAC), 1-6. Cartagena, Colombia: IEEE. doi:10.1109/CCAC.2017.8276401.
  3. Ampatzidis, Y., V. Partel, and L. Costa, 2020. Agroview: Cloud-based application to process, analyze and visualize UAV-collected data for precision agriculture applications utilizing artificial intelligence. Computers and Electronics in Agriculture 174: 105457. doi:10.1016/j.compag.2020.105457.
  4. Angin, P., M. H. Anisi, F. Goksel, C. Gursoy, and A. Buyukgulcu, 2020. AgriLoRa: A digital twin framework for smart agriculture. Journal of Wireless Mobile Networks Ubiquitous Computing and Dependable Applications 11: 77-96. doi:10.22667/JOWUA.2020.12.31.077.
  5. Bah, M. D., A. Hafiane, and R. Canals, 2017. Weeds detection in UAV imagery using SLIC and the hough transform. 2017 Seventh International Conference on Image Processing Theory, Tools and Applications (IPTA), 1-6. Montreal, QC, Canada: IEEE. doi:10.1109/IPTA.2017.8310102.
  6. Bzdok, D., M. Krzywinski, and N. Altman, 2018. Machine learning: supervised methods. Nature Methods 15(1): 5. doi:10.1038/nmeth.4551.
  7. Chiu, M. T., X. Xu, Y. Wei, Z. Huang, A. Schwing, R. Brunner, H. Khachatrian, H. Karapetyan, I. Dozier, G. Rose, D. Wilson, A. Tudor, N. Hovakimyan, T. S. Huang, and H. Shi, 2020. Agriculture-vision: A large aerial image database for agricultural pattern analysis. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2825-2835.
  8. Choi, S. K., S. K. Lee, Y. B. Kang, D. Y. Choi, and J. W. Choi, 2020. Use of unmanned aerial vehicle imagery and deep learning UNet to classification upland crop in small scale agricultural land. Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography 38(6): 671-679 (in Korean). doi:10.7848/ksgpc.2020.38.6.671.
  9. Comba, L., A. Biglia, D. R. Aimonino, and P. Gay, 2018. Unsupervised detection of vineyards by 3D point-cloud UAV photogrammetry for precision agriculture. Computers and Electronics in Agriculture 155: 84-95. doi:10.1016/j.compag.2018.10.005.
  10. Commercializations Promotion Agency for R&D Outcomes, 2019. Smart farm technology and market trend report. 4-14. Seoul.
  11. Costa, L., L. Nunes, and Y. Ampatzidis, 2020. A new visible band index (vNDVI) for estimating NDVI values on RGB images utilizing genetic algorithms. Computers and Electronics in Agriculture 172: 105334. doi:10.1016/j.compag.2020.105334.
  12. De Castro, A. I., F. M. Jimenez-Brenes, J. Torres-Sanchez, J. M. Pena, I. Borra-Serrano, and F. Lopez-Granados, 2018. 3-D characterization of vineyards using a novel UAV imagery-based OBIA procedure for precision viticulture applications. Remote Sensing 10(4): 584. doi:10.3390/rs10040584.
  13. Dino, H. I., and M. B. Abdulrazzaq, 2019. Facial expression classification based on SVM, KNN and MLP classifiers. In 2019 International Conference on Advanced Science and Engineering (ICOASE), 70-75. Zakho - Duhok, Iraq: IEEE. doi:10.1109/ICOASE.2019.8723728.
  14. Fawcett, D., B. Azlan, T. C. Hill, L. K. Kho, J. Bennie, and K. Anderson, 2019. Unmanned aerial vehicle (UAV) derived structure-from-motion photogrammetry point clouds for oil palm (Elaeis guineensis) canopy segmentation and height estimation. International Journal of Remote Sensing 40(19): 7538-7560. doi:10.1080/01431161.2019.1591651.
  15. Ferreira, A. D. S., D. M. Freitas, G. G. D. Silva, H. Pistori, and M. T. Folhes, 2017. Weed detection in soybean crops using ConvNets. Computers and Electronics in Agriculture 143: 314-324. doi:10.1016/j.compag.2017.10.027.
  16. Gee, C., J. Bossu, G. Jones, and F. Truchetet, 2008. Crop/weed discrimination in perspective agronomic images. Computers and Electronics in Agriculture 60(1): 49-59. doi:10.1016/j.compag.2007.06.003.
  17. Hunt, E. R., W. D. Hively, S. J. Fujikawa, D. S. Linden, C. S. Daughtry, and G. W. McCarty, 2010. Acquisition of NIR-green-blue digital photographs from unmanned aircraft for crop monitoring. Remote Sensing 2(1): 290-305. doi:10.3390/rs2010290.
  18. Jay, S., G. Rabatel, X. Hadoux, D. Moura, and N. Gorretta, 2015. In-field crop row phenotyping from 3D modeling performed using Structure from Motion. Computers and Electronics in Agriculture 110: 70-77. doi:10.1016/j.compag.2014.09.021.
  19. Jimenez-Brenes, F. M., F. Lopez-Granados, A. I. de Castro, J. Torres-Sanchez, N. Serrano, and J. M. Pena, 2017. Quantifying pruning impacts on olive tree architecture and annual canopy growth by using UAV-based 3D modeling. Plant Methods 13: 55. doi:10.1186/s13007-017-0205-3.
  20. Jurado, J. M., L. Ortega, J. J. Cubillas, and F. R. Feito, 2020. Multispectral mapping on 3D models and multi-temporal monitoring for individual characterization of olive trees. Remote Sensing 12(7): 1106. doi:10.3390/rs12071106.
  21. Kerkech, M., A. Hafiane, and R. Canals, 2020. VddNet: Vine disease detection network based on multispectral images and depth map. Remote Sensing 12(20): 3305. doi:10.3390/rs12203305.
  22. Kim, H. G., H. S. Yun, and J. M. Cho, 2015. Analysis of 3D accuracy according to determination of calibration initial value in close-range digital photogrammetry using VLBI antenna and mobile phone camera. Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography 33(1): 31-43 (in Korean). doi:10.7848/ksgpc.2015.33.1.31.
  23. Kim, K. Y., and S. I. Na, 2019. Vegetation map service system using UAV imagery and sample field data on major cultivation regions. Journal of Korean Society for Geospatial Information System 27(1): 33-41. doi:10.7319/kogsis.2019.27.1.033.
  24. Kim, S. K., and J. G. Ahn, 2020. Data mining based forest fires prediction models using meteorological data. Journal of the Korea Academia-Industrial 21(8): 521-529 (in Korean). doi:10.5762/KAIS.2020.21.8.521.
  25. Long, H., Z. Zhang, and Y. Su, 2014. Analysis of daily solar power prediction with data-driven approaches. Applied Energy, 126, 29-37. doi:10.1016/j.apenergy.2014.03.084.
  26. Mathews, A. J., and J. L. R. Jensen, 2013. Visualizing and quantifying vineyard canopy LAI using an unmanned aerial vehicle (UAV) collected high density structure from motion point cloud. Remote Sensing 5(5): 2164-2183. doi:10.3390/rs5052164.
  27. Mesas-Carrascosa, F., A. I. De Castro, J. Torres-Sanchez, P. Trivino-Tarradas, F. M. Jimenez-Brenes, A. Garcia-Ferrer, and F. Lopez-Granados, 2020. Classification of 3D point clouds using color vegetation indices for precision viticulture and digitizing applications. Remote Sensing 12(2): 317. doi:10.3390/rs12020317.
  28. Ministry of Agriculture, Food and Rural Affairs, Agricultural business registration information inquiry site. https://uni.agrix.go.kr/docs7/biOlap/dashBoard.do. 2021.
  29. Mohamad, F. S., M. Iqtait, and F. Alsuhimat, 2018. Age prediction on face features via multiple classifiers. In 2018 4th International Conference on Computer and Technology Applications (ICCTA), 161-166. Istanbul, Turkey: IEEE. doi:10.1109/CATA.2018.8398675.
  30. Mortensen, A. K., A. Benderb, B. Whelanc, M. M. Barbourc, S. Sukkariehb, H. Karstoftd, and R. Gisluma, 2018. Segmentation of lettuce in coloured 3D point clouds for fresh weight estimation. Computers and Electronics in Agriculture 154: 373-381. doi:10.1016/j.compag.2018.09.010.
  31. Na, S., C. Park, K. So, H. Ahn, and K. Lee, 2019. Selection on optimal bands to estimate yield of the chinese cabbage using drone-based hyperspectral image. Korean Journal of Remote Sensing 35(3): 375-387 (in Korean). doi:10.7780/kjrs.2019.35.3.3.
  32. Pan, Y., Y. Han, L. Wang, J. Chen, H. Meng, G. Wang, Z. Zhang, and S. Wang, 2019. 3D reconstruction of ground crops based on airborne LiDAR technology. IFAC-Papers On Line 52(24): 35-40. doi:10.1016/j.ifacol.2019.12.376.
  33. Park, J. K., A. Das, and J. H. Park, 2015. Application trend of unmanned aerial vehicle (UAV) image in agricultural sector: Review and proposal. CNU Journal of Agricultural Science 42(3): 269-276 (in Korean). doi:10.7744/cnujas.2015.42.3.269.
  34. Pi, W., J. Du, Y. Bi, X. Gao, and X. Zhu, 2021. 3D-CNN based UAV hyperspectal imagery for grassland degradation indicator ground object classification research. Ecological Informatics 62: 101278. doi:10.1016/j.ecoinf.2021.101278.
  35. Sager, C., P. Zschech, and N. Kuhl, 2021. labelCloud: A lightweight domain-independent labeling tool for 3D object detection in point clouds. arXiv: 2103.04970 [cs.CV].
  36. Sarabia, R., A. Aquino, J. M. Ponce, G. Lopez, and J. M. Andujar, 2020. Automated identification of crop tree crowns from UAV multispectral imagery by means of morphological image analysis. Remote Sensing 12(5): 748. doi:10.3390/rs12050748.
  37. Sarron, J., E. Malezieux, C. A. B. Sane, and E. Faye, 2018. Mango yield mapping at the orchard scale based on tree structure and land cover assessed by UAV. Remote Sensing 10(12): 1900. doi:10.3390/rs10121900.
  38. Smith, M. W., J. L. Carrivick, and D. J. Quincey, 2015. Structure from motion photogrammetry in physical geography. Progress in Physical Geography: Earth and Environment 40(2): 247-275. doi:10.1177/0309133315615805.
  39. Tjahjadi, M., and F. D. Agustina, 2019. Fast and Stable DirectRelative Orientation of UAV-based Stereo Pair. International Journal of Advances in Intelligent Informatics 5(1): 24-39. doi:10.26555/ijain.v5i1.327.
  40. Torres-Sanchez, J., A. I. De Castro, J. M. Pena, F. M. Jimenez-Brenes, O. Arquero, M. Lovera, and F. Lopez-Granados, 2018. Mapping the 3D structure of almond trees using UAV acquired photogrammetric point clouds and object-based image analysis. Biosystems Engineering 176: 172-184. doi:10.1016/j.biosystemseng.2018.10.018.
  41. Xu, Z., K. Guan, N. Casler, B. Peng, and S. Wang, 2018. A 3D convolutional neural network method for land cover classification using LiDAR and multi-temporal Landsat imagery. ISPRS Journal of Photogrammetry and Remote Sensing 144(6): 423-434. doi:10.1016/j.isprsjprs.2018.08.005
  42. Yang, S., L. Zheng, W. Gao, B. Wang, X. Hao, J. Mi, and M. Wang, 2020. An efficient processing approach for colored point cloud-based high-throughput seedling phenotyping. Remote Sensing 12(10): 1540. doi:10.3390/rs12101540.
  43. Zhang, C. L., K. F. Zhang, L. Z. Ge, K. L. Zou, S. Wang, J. X. Zhang, and W. Li, 2021. A method for organs classification and fruit counting on pomegranate trees based on multi-features fusion and support vector machine by 3D point cloud. Scientia Horticulturae 278: 109791. doi:10.1016/j.scienta.2020.109791.
  44. Zhou, Q. Y., J. S. Park, and V. Koltun, 2018. Open3D: A modern library for 3D data processing. arXiv: 1801.09847v1 [cs.CV].
  45. Ziliani, M. G., S. D. Parkes, I. Hoteit, and M. F. McCabe, 2018. Intra-season crop height variability at commercial farm scales using a fixed-wing UAV. Remote Sensing 10(12): 2007. doi:10.3390/rs10122007.