Journal of The Korean Society of Agricultural Engineers (한국농공학회논문집)

The Korean Society of Agricultural Engineers (한국농공학회)
권호 표지
DOI QR코드

DOI QR Code

Classification of Summer Paddy and Winter Cropping Fields Using Sentinel-2 Images

Sentinel-2 위성영상을 이용한 하계 논벼와 동계작물 재배 필지 분류 및 정확도 평가

  • Hong, Joo-Pyo (Department of Rural Systems Engineering, Seoul National University) ;
  • Jang, Seong-Ju (Department of Rural Systems Engineering, Global Smart Farm Convergence Major, Seoul National University) ;
  • Park, Jin-Seok (Department of Rural Systems Engineering, Global Smart Farm Convergence Major, Seoul National University) ;
  • Shin, Hyung-Jin (Rural Research Institute, Korea Rural Community Corporation) ;
  • Song, In-Hong (Department of Rural Systems Engineering, Global Smart Farm Convergence Major, Research Institute of Agriculture and Life Sciences, Seoul National University)
  • Received : 2021.09.16
  • Accepted : 2021.12.10
  • Published : 2022.01.31
Download PDF
⟨ Previous Next ⟩

Abstract

Up-to-date statistics of crop cultivation status is essential for farm land management planning and the advancement in remote sensing technology allows for rapid update of farming information. The objective of this study was to develop a classification model of rice paddy or winter crop fields based on NDWI, NDVI, and HSV indices using Sentinel-2 satellite images. The 18 locations in central Korea were selected as target areas and photographed once for each during summer and winter with a eBee drone to identify ground truth crop cultivation. The NDWI was used to classify summer paddy fields, while the NDVI and HSV were used and compared in identification of winter crop cultivation areas. The summer paddy field classification with the criteria of -0.195

Keywords

Ⅰ. 서론

농작물 재배면적은 생산량 예측을 통한 식량 수급, 재배면적 계획을 비롯한 각종 농업정책이나 농업분야 연구에 필수적인 자료이다. 작물의 적기 파종과 작물 생산량 조정을 위해 작황의 기본 자료이자 생산량 산정을 위한 필수 정보인 재배면적과 재배지의 공간분포를 정확하게 파악하는 것이 매우 중요하다 (Na et al., 2017). 2020년 농림축산식품부가 시행한 논 타작물 재배지원사업도 농작물의 추정 생산량을 바탕으로 추진되었다. 최근 농업부문은 환경 문제의 중요성이 대두되면서 온실가스 감축 사업이 진행되고 있다. 온실가스 감축 계획수립 및 이행을 위해서는 온실가스 배출량의 정확한 산정이 우선되어야 하고, 이에 농작물 재배면적은 필수적인 자료이다 (Park et al., 2020).

원격탐사 위성영상은 다양한 파장영역을 갖고, 넓은 지역을 대상으로 하며 일정 주기로 자료를 획득할 수 있다. 원격탐사는 우리나라 전역의 시기별 영농자료를 취득하여 시계열 추이 분석을 진행하기 용이하며, 지역별 변이 분석 등 공간적 분포 분석에 효과적이다 (Kim et al., 2017). 작물, 토양, 물, 기후 등에 의한 농경지 표면의 상태에 따른 파장대별 반사 특성 데이터를 얻을 수 있기 때문에 농업 분야에서 보다 객관적인 분석이 가능하다 (Hong et al., 2015). 원격탐사의 특징을 바탕으로, 보다 정확하고 시의 적절한 농작물 재배 자료 구축을 위해 Sentinel, RapidEye, KOMPSAT, MODIS, Landsat 등의 위성영상이 우리나라에서 활용되고 있다.

위성영상을 이용한 원격탐사 진행 시 위성영상의 분광 특성을 바탕으로 다양한 대역의 자료를 결합하여 광학지수를 산출하는 지수 기반 방법이 널리 이용되고 있다 (Huete et al., 2012; Xue et al., 2017; Lee et al., 2020). 국내외 원격탐사를 통한 농작물 분류 및 재배면적 추산 연구들에 이용된 대표적인 원격탐사 지표는 NDWI (Normalized Difference Water Index), NDMI (Normalized Difference Moisture Index), NDVI (Normalized Difference Vegetation Index) 등이 있다. 정규수분지수 NDWI는 지표의 수분함량에 따른 분광 특성을 이용하여 근적외선 (Near Infrared, NIR) 영역의 반사도와 단파장 적외선 (Short-wave Infrared, SWIR) 영역 또는 녹색광 (GREEN)영역의 반사도 차이를 통해 생성되며, 식생에 포함되는 수분함유량 또는 지표면의 수분 함유량을 나타낸다 (Lee et al., 2020). 정규습윤지수 NDMI는 근적외선 영역과 중적외선(Mid Infrared, MIR) 영역 밴드로 생성되며 주로 식생의 수분함유량을 측정하기 위해 이용된다. NDMI는 도시지역 내 수체에 민감하게 반응하고 식생 및 토양의 수분함유량의 미묘한 변화를 감지하는 데 유용하다. 정규식생지수 NDVI 는 적색광 (Red) 영역과 근적외선 영역의 밴드로 생성되며, 식생의 활력과 근적외선의 반사율의 높은 상관관계에 따라 현 식생 분석을 위해 가장 보편적으로 사용되는 원격탐사지수이다(Kim et al., 2020).

컬러모델을 이용한 색상 정보는 광범위한 분야에서 영상처리 지표로써 활용되고 있다. 컬러모델이란 컬러들 간의 관계를 표현함으로써 컬러를 정의하는 방법으로 RGB, CMY, HSV, CIE 컬러모델 등의 다양한 형태가 존재한다. 이중, HSV 컬러 모델은 조도 및 노이즈 환경에서 높은 색상 검츌율을 보이며 영상처리 시 적용이 용이하다 (Chae et al., 2015). 국내에서 HSV 컬러 모델을 이용하여 작황을 추정한 연구는 미비하나 축산, 작물 등의 농업 분야에서 활용되고 있다 (Kim et al., 2020; Lee at al., 2020). 국외에서는 HSV 컬러 모델이 작황 추정에 적극 활용되고 있다. Hamuda et al. (2017)은 다양한 기상조건의 아일랜드 지역 밭 영상을 이용해 기상 조건별 HSV 컬러 임계값을 결정하여 컬리플라워, 잡초, 토양 영역을 분류하였다. Dorj et al. (2017)는 대한민국 제주도의 감귤 나무 RGB 이미지를 HSV 모델로 변환하여 색상 정보로 감귤 작물을 추출하고 그 수확량을 추정하였다. Pandya et al. (2015)는 위성영상과 MATLAB을 이용하여 RGB 데이터를 HSV 모델로 변환하여 농작물, 나무, 식물 등을 포함하는 녹색 식생 영역을 추출하였다. 선행 연구를 통해 HSV 컬러 모델의 작물재배면적 분류에 대한 적용성을 확인하였고, 원격탐사 지표와 함께 본 연구에 이용하였다.

원격탐사 지표를 통해 농작물 재배지를 분류하거나 재배면적을 통해 작황을 추정한 국내외 연구들은 다음과 같다. MODIS NDVI 자료와 기상자료를 이용한 Hong et al. (2012), 시계열 RapidEye NDVI 자료와 객체기반 분류기법을 이용한 Lee et al. (2014), GF-1 WFV 위성 영상과 NDVI, NDWI 지표를 이용한 Yang et al. (2015)은 모두 논벼 재배지역을 분류하거나 그 수량을 추정하였다. Kern et al. (2018)은 MODIS NDVI 자료와 기상학적 데이터를 이용한 다중 선형 회귀 모델을 통해 헝가리의 4대 농작물 수확량을 예측하였다. 원격탐사 지표는 선행 연구들에서 농작물 반사특성을 이용한 분류에 효과적으로 나타났지만, 기상 상황이나 지리적 특성에 따른 오차를 보완하기 위해 각 연구에서 기상정보, 분류 모집단 등의 자료가 추가적으로 이용되었다. 최근 국내 원격탐사 연구에서는 농림축산식품부에서 제공하는 팜맵 (농경지 전자지도) 데이터를 분류 모집단 구축에 이용하고 있다. 팜맵은 농경지의 현실경계를 구획하여 재배 면적에 대한 정확한 분류 필지단위 모집단으로 이용될 수 있다. Park & Park (2017)은 팜맵 데이터로 농경지 경계를 구획하고 취득한 무인항공기영상의 식생지수를 이용해 정상인 벼와 가뭄 피해가 발생한 벼의 특성 차이를 통해 가뭄 피해 면적을 분석한 바 있다. 무인항공기영상은 위성영상보다 촬영 면적이 작아 농업재해 현장 분석에는 적합하지만 광범위한 작물 재배면적 자료 구축에 적용하기는 어렵다. Lee et al. (2021)은 벼 이앙 전후 촬영된 시계열 Sentinel-1 레이더 영상의 후방산란계수 값의 변화를 분석하고 팜맵 데이터를 결합하여 필지 단위 논 분류를 진행하였다. Sentinel-1 영상은 레이더가 표면에 경사를 갖고 입사되어 입사각별 보정이 필요하다. Sentinel-2 영상은 Sentinel-1 영상보다 더 짧은 촬영 주기를 가지며 표면과 수직으로 촬영되어 각도에 따른 추가적인 보정 과정이 필요 없어 농작물 자료 구축에 보다 용이하다. 하지만 현재 국내에서 Sentinel-2 영상과 팜맵 모집단을 이용한 국내 논벼와 동계작물 재배 필지 분류에 대한 연구는 미비한 실정이다.

본 연구에서는 우리나라의 시기별 작물 재배면적 자료 구축을 위해 원격탐사 지표, 컬러모델, 팜맵을 이용하여 보다 정확하고 적용성 높은 필지 단위 작물 재배 현황을 분류하고자 하였다. 본 연구의 목적은 Sentinel-2 위성영상과 NDWI, NDVI, HSV의 영상지표 자료로 여름철 논 재배, 겨울철 동계작물 재배 필지를 구분하여 각 분류 기법을 평가하는 것이다.

Ⅱ. 재료 및 방법

4월부터 10월까지는 주곡 작물인 논벼, 이외 시기에는 주로 밀, 보리 등의 동계작물이 재배됨에 따라 하절기에는 논벼, 동절기에는 동계작물을 분류대상으로 선택하였다. 논벼는 담수 재배하여 지표면의 수분 함유량을 나타내는 NDWI를 분류지표로, 모내기 기간을 분류 대상 시기로 선정하였다. 동계작물 분류지표는 식생 변화 탐지 모니터링에 대표적으로 이용되는 NDVI 지표와 유휴농지와 구별되는 동계작물의 색상 특성을 나타내는 HSV 컬러 지표를 선정하였다. 각 분류 지표를 적용한 두 가지 동계작물 분류 기법을 비교하여 최적 분류기법을 결정하고자 하였다. 한편, 위성영상은 기상현상의 영향으로 한 필지 내에서 일부 픽셀이 가려지거나 노이즈가 발생하여 동일 필지 내에서도 픽셀별로 다른 결과가 나올 수 있다. 이러한 오차를 보정하고, 재배면적 자료의 적용성 향상을 위해 각 모델은 필지 단위 분류를 진행하였다.

1. 대상 지역 선정 및 영상 수집

우리나라 중부지역을 대상으로 한 분류 기법 개발을 위해 경기충청권역에서 넓은 논 면적을 포함하는 농경지역을 시군 단위별로 1개씩 선정하였다. 대상지역은 경기권 5개 지역(1∼5번), 강원권 1개 지역 (18번), 충청북도권 3개 지역 (6∼8번), 충청남도권 9개 지역 (9∼17번)으로, 총 18곳 지역을 선정하였다.

가. 드론영상 수집

각 대상지역의 실측자료를 구축하기 위해 하계는 2019년 7월 29일부터 8월 1일, 동계는 2020년 2월 3일부터 2월 6일의 기간동안 대상지역에 1회씩 방문하여 지역별로 각 2회씩 드론 촬영을 진행하였다. 드론 촬영 현장 영상 데이터의 공간 해상도는 5 cm이다. 기상 상황으로 인해 12번 지역은 하계 현장 드론 데이터를 구축하지 못해 하계 영상 분류 모델은 17곳을 대상으로 하였다. 각 대상 지역의 위치와 번호, 권역, 면적, 드론 촬영 시기정보는 Fig. 1과 같다.

NGHHCI_2022_v64n1_51_f0001.png 이미지

Fig. 1 Locations of the 18 study sites and corresponding drone investigation time

나. Sentinel-2 위성영상 수집

Sentinel-2 위성영상은 유럽 우주국 (ESA)에서 2개의 위성(Sentinel-2A, Sentinel-2B)을 통해 수집하여 5일 간격으로 제공하고 있다. 각 위성은 다중 스펙트럼 장치 (MSI)를 탑재하고 있어 가시광선과 적외선 사이 13개 band 데이터를 포함하며, 각 band는 10, 20, 60 m의 공간 해상도 중 하나를 갖는다. 하계 영상은 중부 지역에서 모내기가 진행되는 시기에 따라 2019년 5월 3일부터 2019년 6월 17일까지 지역별로 총 10개의 영상을 사용하였고, 동계 영상은 동계작물이 일정 수준 이상 자라 위성영상을 통해 탐지할 수 있는 시기인 2020년 3월 3일부터 2020년 4월 27일까지의 자료를 수집하여 지역별로 총 12개의 위성영상을 사용했다. 대상지역은 Sentinel-2 area code ID 기준 CF, CG, BF에 포함되며, 2, 3, 4, 8번 band의 자료를 사용하였고 공간해상도는 10 m이다. 위성영상 자료는 Copernicus Open Access hub를 통해 취득하였고, 수집한 Sentinel-2 영상자료의 시기 및 band 정보는 Table 1과 같다.

Table 1 Dates and band information of the Sentinel-2 satellite imagery used in this study (ESA, 2020)

NGHHCI_2022_v64n1_51_t0001.png 이미지

2. 필지 단위 지상 검증자료 (Ground Truth) 자료 구축

대상지역의 필지 경계는 농림수산식품교육문화정보원에서 공공데이터포털 (data.co.kr)을 통해 제공하는 농경지 전자지도 팜맵 데이터를 이용하였다. 팜맵은 폴리곤형태의 벡터파일로 작성되었고, 이를 대상 지역만큼 clip한 후 드론촬영 현장영상과 비교하여 현장 데이터와 다른 부분에 대해 필지 폴리곤을 추가적으로 더하거나 나누는 편집 작업을 수행하였다. 구축된 분류 대상 필지는 논, 밭, 그리고 시설재배지를 비롯한 인공구조물을 모두 포함한다.

가. 하계 논 지상 검증자료

팜맵 필지 분류 정보와 하계 실측자료를 통해 지상 검증자료를 구축하였다. 팜맵 분류 정보를 이용하여 논 필지와 논 이외의 필지들을 분리하고, 고해상도 드론 촬영 영상을 육안 판독하여 팜맵에서 오분류된 필지나 분류 정보가 부재한 필지를 수정하여 각 필지들을 논, 밭, 인공 구조물 필지로 분류하였다.

나. 동계작물 재배 지상 검증자료

동계 실측자료를 바탕으로 동계작물에 대한 필지 분류 작업 결과, 드론 영상이 촬영된 2월에는 동계작물 대부분이 육안으로 식별 가능한 만큼 충분히 자라지 않았다. 4월에는 동계작물이 일정 수준 이상 자라 그 색상이 다른 필지와 뚜렷하게 구분되기 때문에 드론 영상보다 해상도가 낮은 Sentinel-2 RGB영상의 해당시기 자료를 육안판독하여 실측자료를 보완해 지상 검증자료를 구축하였다. Sentinel-2 RGB영상은 2, 3, 4 band data를 통해 생성하였고, 기상 상황이나 구름의 분포에 따라 일부 영역이 가려질 수 있으므로 4월 2, 7, 12, 17, 22, 27일의 영상들을 종합적으로 고려하였다.

3. 위성영상을 이용한 필지 분류

가. 하계 논 필지 분류 – 정규수분지수 (NDWI)

NDWI를 이용한 하계 논 필지 분류 모델의 전체 흐름도는 Fig. 2와 같다. NDWI는 –1부터 1까지 범위의 값을 갖는다. 일반적으로 수분함유량이 높을수록 값이 증가하고, 양의 값인 경우 물, 0 또는 음의 값을 갖는 경우 식생 및 토양으로 판단한다. NDWI는 두 가지 밴드 조합을 통해 산정할 수 있으며 그 수식은 다음과 같다.

NGHHCI_2022_v64n1_51_f0002.png 이미지

Fig. 2 Flow chart of summer paddy classification procedure

\(\begin{aligned}N D W I=\frac{N I R-S W I R}{N I R+S W I R}\end{aligned}\)       (1)

\(\begin{aligned}N D W I=\frac{Green-N I R}{Green+N I R}\end{aligned}\)       (2)

Gao (1996)의 NDWI 지수 (식 (1))는 근적외선과 단파장적외선 파장을 이용하여 식생에 포함되는 수분 함유량의 변화를 파악하는데 사용되고, McFeeters (1996)의 NDWI 지수 (식 (2)) 는 녹색광과 근적외선 파장을 이용하며 지표면의 수분함유량과 관계가 있다 (Lee et al., 2017). 본 분류 모델은 모내기 시기 논 지표면에 물이 차 있는 영역을 구분하기 위해 McFeeters의 NDWI 지수를 사용하였다. Sentinel-2 위성영상에서 GREEN은 3번 밴드, NIR은 8번 밴드를 이용하였다.

논의 NDWI 지수는 기상환경의 영향을 받고, (광학적으로) 두꺼운 구름 중 일부가 담수시기 논과 유사한 범위의 NDWI 지수를 가져 그 영향이 크게 나타났다. 두꺼운 구름은 지표면 및 수표면과 뚜렷하게 구분되는 선명한 흰색으로 나타나므로 Sentinel-2 RGB 영상데이터를 통해 추출하여 제거하였다. 이때, Thick cloud mask의 범위는 RGB 각 band의 값을 Red>2250, Green>2250, Blue>2250으로 설정하였고, ArcGIS의 raster calculator tool을 이용해 해당 범위를 추출하였다. 구름을 제거한 NDWI 데이터와 논 분류 지상 검증자료를 함께 분석하여 논 영역이 구분되는 NDWI 지수의 범위를 산정하였다. 각 영상별로 산정한 NDWI 기준 범위 (-0.195<NDWI<0.15)에 해당되는 영역을 마스킹하고 시계열로 중첩하여 필지 면적 대비 마스킹된 면적 비율을 계산하였다. 지상 검증자료를 통해 논 필지를 구분하는 면적비 임계값을 50%로 설정하고, 논으로 마스킹된 픽셀들 면적의 합이 각 필지 면적의 50% 이상일 때 최종적으로 논 필지로 분류하였다.

나. 동계 위성영상을 이용한 동계작물 분류 – NDVI & HSV

동계작물 분류모델은 식생을 분류하는 데에 가장 대표적으로 사용되는 정규식생지수를 이용한 NDVI 모델과 대상의 실제 색을 바탕으로 분류하는 HSV 모델의 두 가지 모델을 구축하여 비교하였다. 각 모델의 흐름도는 Fig. 3과 같다. NDVI모델은 기상 환경의 영향이 크지 않아 각 영상들의 마스킹된 픽셀들을 중첩하여 필지면적의 30% 이상인 경우 동계작물 재배지로 분류하였다. 반면 HSV모델은 기상 상황에 따라 노이즈가 발생하여 특정 횟수 이상으로 동계작물로 식별된 픽셀들만 중첩하였다. 이때, 시행착오법을 통해 총 위성 영상 장수 중 1/5회 이상인 경우 동계작물 재배지로 구분하였다.

NGHHCI_2022_v64n1_51_f0003.png 이미지

Fig. 3 Flow chart of winter crop classification procedure

(1) 정규식생지수 (NDVI)

식생지수 (VI)는 식물의 양, 식생의 생리적 조건, 녹색도 및 활력도 등을 나타내는 지표이며, 가시광선과 근적외선 영역 파장들의 반사특성과 밀접한 관련이 있다. 식생지수 중 가장 널리 이용되고 있는 것은 NDVI로, 근적외선 파장과 적색 파장의 조합을 통해 계산할 수 있다. (식 (3)) Sentinel-2 영상에 서 NIR은 8번 밴드, Red은 4번 밴드를 이용하였다.

\(\begin{aligned}N D V I=\frac{(N I R-Red)}{(N I R+Red)}\end{aligned}\)       (3)

NDVI 모델의 경우 작물별 생육 기간의 NDVI 값은 특정 범위로 나타나므로, 대표 동계 작물인 청보리, 마늘, 양파, 이탈리안 라이그라스, 밀의 생육 주기별 NDVI 값을 통합적으로 고려하여 임계값을 설정하였다. 영상 이용 시기인 3, 4월에 각 동계작물은 충분히 생장하여 대상 기간 내내 혹은 일부 동안 나지와 뚜렷하게 구분되는 NDVI 0.6이상의 값을 갖는다(Yoo et al., 2017; Na et al., 2017; KOSTAT, 2011; Na et al., 2016). 이에따라, 임계값을 0.6으로 설정하여 그 이상의 NDVI 값을 갖는 픽셀들을 추출해 중첩하였다. 지상 검증자료와 비교하여 마스킹된 면적 비율이 각 필지 면적의 30%이상일 때 최종적으로 동계작물 필지로 분류하였다.

(2) HSV

HSV는 색조 (Hue; H), 채도 (Saturation; S), 명도 (Value; V)의 세 가지 요소로 이루어지며 각 요소는 0에서 255 사이의 값으로 표현된다. HSV 컬러모델은 RGB 컬러모델과 달리 밝기와 선명도를 분리해 대상의 실제 색조를 추출할 수 있다. 기상환경에 따라 위성영상에서 필지의 겉보기 색은 변화하지만 HSV 컬러모델을 이용해 실제 색상을 추출한다면 정확한 색상 기반 분류가 가능하다. 대표적인 이미지 분석 오픈 소스 컴퓨터 비전 라이브러리 OpenCV를 이용하여 Sentinel-2 영상의 RGB 데이터를 HSV 컬러 데이터로 변환하고 특정 컬러의 작물을 구분하였다. 동계작물은 유휴 농지 및 인공 구조물과 구별되는 녹색의 색상 특징을 가지므로 영상에서 녹색 색조의 픽셀을 추출하였다. 그 범위는 (36, 0, 0)부터 (86, 255, 255) 까지이고, 영상환경에 따른 오차를 보정하기 위하여 구축된 픽셀 매트릭스 데이터의 합 연산을 통해 특정 임계값 이상의 데이터만을 동계작물 픽셀로 마스킹하였다. NDVI 모델과 동일하게 지상 실측자료를 바탕으로 필지 분류 면적비를 30%로 설정하여 마스킹된 픽셀의 면적 비율이 필지 면적의 30% 이상일 때 최종적으로 동계작물 필지로 분류하였다.

Ⅲ. 결과 및 고찰

1. 지상 검증자료 마스킹 결과

하계 실측자료를 바탕으로 각 필지를 논, 밭, 인공구조물로 분류한 결과는 Fig. 4와 같다. 동계 영상의 경우, 실측자료만으로 동계작물 필지를 분류한 지상 검증자료는 Fig. 5의 (a)와 같고, Sentinel-2 위성영상을 추가적으로 고려한 지상 검증자료는 (b)와 같다.

NGHHCI_2022_v64n1_51_f0004.png 이미지

Fig. 4 Ground truth of paddy cultivation fields from the summer drone images

NGHHCI_2022_v64n1_51_f0005.png 이미지

Fig. 5 Ground truth of winter crop cultivation areas from (a) the winter drone images and (b) Sentinel-2 images

2. 분류 기법의 성능 평가

각 분류 기법의 성능 평가를 위해 필지 면적 단위로 전체 정확도 (overall accuracy)와 카파계수 (Kappa coefficient)를 산정하였다. 정확도는 전체 필지 면적의 합에 대해 정확히 분류된 필지 면적의 합의 비로 산정하였다. 모든 데이터 연산은 픽셀 단위 (10 m × 10 m)로 진행되어 필지의 면적은 100 m2 단위로 계산되었다. 각 필지의 넓이는 형태와 지리적 특성에 따라 다르지만 일반적으로 0.4∼0.5 ha로 나타났다. 대상 지역 5번에 대한 논 분류 모델 정확도 산정 예시는 Table 2와 같다.

Table 2 Performance measure for the classification accuracy (unit: m2)

NGHHCI_2022_v64n1_51_t0002.png 이미지

Accuracy = {(A)+(D)} / {(A)+(B)+(C)+(D)} = 98.5%

카파계수는 분류 결과가 우연히 일치할 확률을 고려하여 오차행렬을 통해 식 (4)와 같이 산정하였다.

\(\begin{aligned}\hat{K}=\frac{N \sum_{i=1}^{r} \chi_{i i}-\sum_{i=1}^{r}\left(x_{i+} \times x_{+i}\right)}{N^{2}-\sum_{i=1}^{r}\left(x_{i+} \times x_{+i}\right)}\end{aligned}\)       (4)

r = the number of rows in the matrix

Χii = the number of observations in row i and column i

Xi+ and X+i = the marginal totals for row i and column i

N = the total number of observations

3. 하계 논 필지 분류 결과

논의 NDWI 지수는 모내기 직후 가장 높았다가 시간이 지남에 따라 점차 낮아지는 경향을 보였다. 논 필지가 나머지 필지와 NDWI 지수가 가장 뚜렷하게 구분되는 시기도 토양의 담수특성이 가장 잘 드러나는 시기인 모내기 직후이며, 이후 논벼가 자람에 따라 NDWI 지수가 감소하면서 밭 필지나 인공구조물과의 구분이 어렵다. 모내기 초기 논의 NDWI 지수는 시행착오를 통해 보정한 결과 대체로 –0.195 초과, 0.15 미만의 범위로 나타나며 모내기 직후 2∼3주간 해당 범위의 값을 갖는다. 이는 논벼 생육주기 중 단기간이지만 Sentinel-2 위성영상은 5일의 짧은 주기를 갖기 때문에 해당 시기에 대상지역을 한 번 이상 확인 가능했다. 인근에 위치한 필지간 모내기 진행 순서 및 속도에 따라 모내기 시기는 수 일에서 수주간 차이가 발생하고, 앞서 산정한 NDWI 범위는 모내기 초기 논 필지에서만 특징적으로 나타나므로, 대상지역의 모내기 시기를 모두 포함하는 기간동안 –0.195<NDWI<0.15의 범위를 일괄적으로 적용하였다. 각 영상에서 해당 NDWI 범위를 갖는 픽셀을 마스킹하여 모두 중첩하였다. 이와 같이 픽셀별 NDWI 연산을 진행한 결과 이미지는 Fig. 6 (a)와 같고, 이를 필지 shp 파일과 중첩한 이미지는 (b)와 같다. 필지별 분류를 진행하기 위해 필지 면적 대비 마스킹된 픽셀 면적 비율을 계산한 결과, 50%를 논 분류 임계값으로 산정한 경우 가장 정확하게 분류되었다. 대상지역 9번에 대한 지상 검증자료와 인공구조물을 포함 및 제외한 경우의 필지별 분류 결과는 각각 Fig. 6 (c)∼(e)와 같다.

NGHHCI_2022_v64n1_51_f0006.png 이미지

Fig. 6 The pixel-based summer paddy classification using (a) NDWI and (b) superimposed with field boundary of farm map, and the field-based classification of (c) ground truth, (d) NDWI-based classification with, and (e) without artificial-structures (Example for study site 9)​​​​​​​

NDWI 분류 모델은 논밭 구분에 효과적이었으나 일부 인공구조물 필지는 구분되지 않고 논으로 오분류되었다. 오분류된 인공구조물 필지는 대부분 시설재배지였으며 인공구조물은 다른 파장대에서 논과의 구분이 용이할 것으로 판단하여 인공구조물을 포함한 경우와 제외한 경우, 두 가지 경우의 정확도를 산정하였다. 인공구조물은 현장 드론 영상 데이터를 이용해 육안으로 판단하여 제외하였다. 대상지역별 전체 필지, 논 필지, 인공구조물 필지 면적과 Table 2에 따른 정확도 산정 결과는 Table 3과 같다. 인공구조물 포함 여부는 논이 아닌 필지에만 영향을 미치므로 두 경우 (A)와 (C)의 면적은 같다.

Table 3 Summer paddy classification performance and accuracy for the 18 study sites (Unit: 100 m2)

NGHHCI_2022_v64n1_51_t0003.png 이미지

* Artificial structures include mostly greenhouses and other buildings

** (A), (B), (C), and (D) represent model performance measures presented in Table 2

Kappa coefficient (without artificial structures) =0.88

인공구조물을 제외한 경우 분류모델의 카파 계수는 0.88, 평균 정확도는 94.2%로 나타났다. 대상지역 17곳 중 9, 15, 18번 지역을 제외한 14곳은 90% 이상의 정확도를 보였다. 이는 SVM, MLP, CNN 등 8가지 AI 모델을 이용한 논 분류 정확도 90% (Zhang et al., 2020)와 비교하여 유사한 정확도를 보였다. 9번 지역은 인공구조물 면적 합이 가장 크고, 인공구조물이 논 필지들 사이에 산발적으로 분포하여 서로 다른 종류의 필지들의 경계에 위치한 픽셀들이 계산되는 과정에서 오차가 발생하면서 분류 정확도가 낮게 나타났다. 15번 지역은 Fig. 7 (a)와 같이 하천을 따라 일반 필지보다 작은 논 필지가 다수 분포되어 있다. (b)와 같이 작은 필지들의 경계 부분 픽셀은 필지 외부 영역의 영향으로 마스킹 되지 않고, 필지 면적이 작기 때문에 경계 픽셀의 영향이 크게 작용하여 (c)와 같이 대부분 논 필지로 분류되지 않는다.

NGHHCI_2022_v64n1_51_f0007.png 이미지

Fig. 7 Effect of nearby waterway on paddy classification (the case for site 15 of accuracy 87.3%). Images of (a) paddy area nearby waterway (b) classified paddy pixels, and (c) classified paddy fields​​​​​​​

18번 지역은 다른 대상지역보다 모내기 초기 영상들에 두꺼운 구름이 비교적 많이 분포하였다. 해당 영역들은 영상 처리 과정 중 제거되어 논 영역 분류에 이용되지 못하고 분류 자료의 부족으로 일부 논이 마스킹 되지 못하였다. 주요 마스킹 기간인 모내기 초기 기간 (5/3∼6/7) 18번 지역의 영상별 삭제된 구름 영역의 면적 비율과 동일 위성영상 (Area code: CG)에 포함된 5개 지역 (1번∼5번)의 삭제 영역 면적비의 평균을 비교한 결과는 다음과 같다. 두 지역 모두 삭제 영역 면적 비율이 100%인 5/13, 5/18, 6/7 영상을 제외하면 1∼5번 지역의 평균 삭제 영역 면적비는 모두 1% 미만이다. 반면, 18번 영역의 삭제 영역 면적비는 5/8 영상이 25.4%, 5/28 영상이 48.9%였고, 나머지 3개 영상은 1% 이상 3% 이하로 나타났다.

본 분류 기법을 광역 단위로 확장하여 적용하기 위해서는 담수시기 논과 유사한 반사특성을 갖는 구름 영역을 보다 정확하게 식별하고 제거해야 할 것으로 사료된다. 특히, 6월 하순이나 7월에 모내기를 진행하는 남부 지역에 적용할 경우, 해당 시기 위성영상은 5월부터 6월중순까지의 시기보다 구름이 넓게 분포하여 구름의 영향이 더 클 것으로 예상된다. 본 연구에서는 인공구조물을 육안으로 판독하여 제거하였다. 광역 단위에서 인공구조물의 육안 판독은 어렵기 때문에 다른 파장대 데이터와 같은 추가적인 데이터를 통해 인공구조물의 식별과 제거를 진행하여 정확한 필지 모집단 구축이 필요하다. 본 분류 기법은 150∼200 ha의 국소 농경지역들을 대상으로 개발하였기 때문에 대상 지역들과는 다른 지리적 특성의 농경지에 대한 추가적인 분석을 진행한다면 정확도를 더욱 향상시킬 수 있을 것으로 생각된다.

4. 동계작물 재배 필지 분류 결과

각 모델의 픽셀 단위 연산 결과 이미지는 Fig. 8 (a), (b)와 같다. 필지별 분류를 진행하기 위해 필지 면적 대비 마스킹된 픽셀 면적 비율을 계산한 결과, 두 모델 모두 임계 면적비를 30%로 설정한 경우 가장 정확하게 분류되었다. 지상 검증자료와 각 모델의 필지별 분류 결과는 Fig. 8 (c)∼(e)와 같다. 각 모델의 정확도 산정 결과와 대상지역의 동계작물 필지 면적은 Table 4와 같고, 각 대상지역의 동계작물 필지 면적, 각 모델의 정확도를 함께 도시한 그래프는 Fig. 9와 같다. HSV, NDVI 모델의 평균 정확도는 각각 96.9%, 98.2%, 카파 계수는 각각 0.90, 0.94로 나타났다. HSV모델은 9, 11, 12번 지역을 제외한 15곳 지역에서 95% 이상의 정확도를 보였고, NDVI모델은 9, 12번 지역을 제외한 16곳 지역에서 97% 이상의 정확도로 나타났다.

NGHHCI_2022_v64n1_51_f0008.png 이미지

Fig. 8 The pixel-based winter crop classification using (a) NDVI and (b) HSV models, and the field-based classification of (c) ground truth, (d) NDVI, and (e) HSV models (Example for study site 9)

Table 4 Winter crop area (WC) and classification model accuracy

NGHHCI_2022_v64n1_51_t0004.png 이미지

Kappa coefficient: HSV=0.90, NDVI=0.94

NGHHCI_2022_v64n1_51_f0009.png 이미지

Fig. 9 Winter crop sites area and accuracy of winter crop classification models

HSV모델은 식생의 생물학적 구조에 따른 반사특성이 아닌 색상 정보만으로 마스킹하기 때문에 기상 상황이나 영상의 상태에 따라 실제로 녹색이 아닌 영역의 색조가 녹색으로 추출되어 정확도가 낮아진 것으로 보인다. 반면 NDVI는 기상상황이나 영상 자체 특성의 영향이 더 적게 나타났다. 하지만 Fig. 10과 같이 동계작물과 비슷한 반사특성을 보이는 일부시설재배지를 마스킹하는 경향을 보였다. 시설재배지는 위성 영상에서 녹색으로 나타나지 않기 때문에 HSV모델에서는 마스킹되지 않았다. 따라서 두 모델 모두 높은 정확도를 보이지만 각 모델의 특징에 따라 적용성이 달라질 것으로 판단된다. 위성 영상은 기상 현상의 영향을 배제하기 어렵기 때문에 일반적인 지역에서 NDVI 모델을 적용하는 것이 더 용이하나 시설재배지가 지배적인 지역에서는 부분적으로 HSV 모델의 적용성이 더 높다고 사료된다. 다만, 두 모델 모두 동계작물과 유사한 반사특성을 나타내는 기타 식생을 오분류할 수 있다. 잡초 등 기타 식생의 영향이 적을 것으로 예상되는 늦겨울 및 초봄의 영상을 활용하였으나 각 모델을 광역단위로 적용하게 되면 다양한 식생과 필지가 존재하기 때문에 동계작물과 유사한 색상이나 식생 특성을 갖는 잡초나 일부 식생이 임계 조건을 만족할 수 있다. 따라서 본 모델을 확대하여 적용할 경우, 보다 정확한 필지 모집단을 구축이나 기타 식생의 영향에 대한 추가적인 분석이 필요할 것으로 생각된다.

NGHHCI_2022_v64n1_51_f0010.png 이미지

Fig. 10 Winter crop classification result image of greenhouses (NDVI model)​​​​​​​

Ⅳ. 결론

농작물 재배 면적은 농업분야 정책이나 연구에 활용되는 기초 자료로써, 본 연구에서는 넓은 면적에서 이뤄지는 농작물의 재배지의 정보를 위성영상과 원격탐사 지표를 이용하여 필지단위로 구분하고자 하였다. 분류대상은 하계에는 담수재배 환경의 논벼 재배지를, 그리고 동계에는 2모작이 이뤄지는 필지로 선정하였다.

우리나라 시기별 농작물 재배면적 자료를 구축하기 위해 하계 및 동계 Sentinel-2 위성영상을 이용하여 논벼, 동계작물의 재배 필지를 각각 NDWI, NDVI, HSV 지표로 분류하고자 하였다. 중부지역에서 대상지역 18곳을 선정하고 하계와 동계 각 1회씩 방문하여 드론 촬영을 진행하여 실측자료를 구축하였다. 실측자료를 바탕으로 분류 기법을 개발하고 그 정확도를 검증하고자 하였다.

하계 논 필지 분류에는 녹색광과 근적외선 파장을 활용한 NDWI 지수를 이용하였다. 논벼의 NDWI 지수는 모내기 초기 가장 높았다가 시간이 지나면서 감소했으며, 모내기 초기 지수값을 이용해 NDWI값이 –0.195∼0.15 사이인 지역을 논벼 재배필지로 분류하였다. 인공구조물 필지를 제외하고 정확도 산정 결과 대상지역 17곳 중 11곳이 95% 이상의 정확도를 보였다. 90% 미만의 대상지역 3곳은 각각 기상 환경 또는 특징적인 필지 분포로 인해 낮은 정확도를 보였다. 동계 위성영상을 통한 동계작물 분류는 식생특성을 나타내는 NDVI 지수와 색상특성을 나타내는 HSV 지수로 분류를 진행하고 그 결과를 비교하였다. NDVI 모델은 통계를 활용하여 NDVI 값이 0.6 이상인 픽셀을 단순 중첩 후 필지별 분류를 진행하였다. HSV모델은 녹색 색상의 범위인 (36, 0, 0)부터 (86, 255, 255)까지를 마스킹하고 기상현상의 영향을 보정한 후 필지별로 분류하였다. 두 모델 모두 15곳 이상의 대상지역에서 95% 이상의 높은 정확도를 보였고, NDVI 모델의 정확도가 HSV보다 높게 나타났다. HSV모델은 단순히 색상 정보만으로 분류하기 때문에 기상의 영향이 커서 상대적으로 정확도가 낮은 것으로 나타났고, NDVI는 기상의 영향은 적으나 일부 시설재배지를 오분류하는 경향을 보였다. 위성 영상은 기상 현상의 영향을 배제하기 어렵기 때문에 NDVI 모델에 더불어 HSV 모델을 보완하여 사용하는 것이 필요할 것으로 사료된다.

본 연구는 우리나라 중부지역을 대상으로 개발되었다. 구름의 영향 등 기상 상황의 영향, 위도별 작물재배 시기 및 특징, 보다 정확한 필지 모집단 구축 방법 등에 대한 후속 연구를 통해 우리나라 전역에 적용 가능한 분류 기법 개발과 광역 단위 작물 재배면적 자료 구축이 가능할 것으로 판단된다.

감사의 글

본 결과물은 농림축산식품부의 재원으로 농림식품기술기획평가원의 농업기반및재해대응기술개발사업의 지원을 받아 연구되었습니다 (과제번호: 321070041SB010).

References

  1. Alex F. P., 2019. Aplicacion de tecnicas de teledeteccion para apoyar el uso sostenible del agua en un contexto de cambio climatico en la cuenca del rio Barbate. Good stuff international.
  2. Chae, S. H., and K. K. Jun, 2015. HSV color model based hand contour detector robust to noise. Journal of Korea Multimedia Society 18(10): 1149-1156 (in Korean). doi:10.9717/kmms.2015.18.10.1149.
  3. Choi, Y. W., W. M., Yook, and G. S. Cho, 2013. Development of building 3D spatial information extracting system using HSI color model. Journal of the Korean Society for Geospatial Information System 21(4): 151-159 (in Korean). doi:10.7319/kogsis.2013.21.4.151.
  4. Gao, B. C., 1996. NDWI-A normalized difference water index for remote sensing of vegetation liquid water from space. Remote Sensing of Environment 58(3): 257-266. doi:10.1016/50034-4257(96)00067-3.
  5. Hamuda, E., B. M. Ginley, M. Glavin, and E. Jones, 2017. Automatic crop detection under field conditions using the HSV colour space and morphological operations. Computers and Electronics in Agriculture 133: 97-107. doi:10.1016/j.compag.2016.11.021.
  6. Hong, S. Y., S. I. Na, K. D. Lee, Y. S. Kim, and S. C. Baek, 2015. A study on estimating rice yield in DPRK using MODIS NDVI and rainfall data. Korean Journal of Remote Sensing 31(5): 441-448 (in Korean). doi:10.7780/KJRS.2015.31.5.8.
  7. Hong, S. Y., S. K. Rim, K. S. Lee, I. S. Jo, and K. U. Kim, 2000. Estimation of rice-planted area using Landsat TM imagery in Dangjin-gun area. NIAST 3(1): 5-15 (in Korean). doi:10.5389/KSAE.2012.54.2.047.
  8. Hu, X., and F. Li, 2017. Study on classification corn seedling and weed based on RGB model and HSV model. Fisheries 6(1): 49-54. doi:10.11648/j.aff.20170601.17.
  9. Huete, A. R., 2012. Vegetation indices, remote sensing and forest monitoring. Geography Compass 6(9): 513-532. doi:10.1111/j.1749-8198.2012.00507.x.
  10. Kern, A., Z. Barcza, H. Marjanovic, T. Arendas, N. Fodor, P. Bonis, P. Bognar, and J. Lichtenberger, 2018. Statistical modelling of crop yield in Central Europe using climate data and remote sensing vegetation indices. Agricultural and Forest Meteorology 260: 300-320. doi:10.1016/j.agrformet.2018.06.009.
  11. Kim, J. H., C. K. Lee, W. G. Sang, P. Shin, H. S. Cho, and M. C. Seo, 2017. Introduction to empirical approach to estimate rice yield and comparison with remote sensing approach. Korean Journal of Remote Sensing 33(5): 733-740 (in Korean). doi:10.7780/kjrs.2017.33.5.2.12.
  12. Kim, K. S., Y. K. Hong, H. J. Kim, G. H. Kim, K. C. Kim, and M. H. Lee, 2020. Tomato growth rate measurement system using image processing. The Jounral of Korean Institute of Communications and Information Sciences 45(8): 1460-1471 (in Korean). doi:10.7840/kics.2020.45.8.1460
  13. KOSTAT, 2011. Development of yield estimation method for major crops using remote sensing technique (in Korean).
  14. Lee, D. H., A. K. Kim, C. H. Choi, and Y. J. Kim, 2019. Study on image-based flock density evaluation of broiler chicks. Journal of Korea Institute of Information, Electronics, and Communication Technology 12(4): 373-379 (in Korean). doi:10.17661/jkiiect.2019.12.4.373.
  15. Lee, H. J., W. H. Nam, D. H. Yoon, M. W. Jang, E. M. Hong, T. G. Kim, and D. E. Kim, 2020. Estimation of water storage in small agricultural reservoir using Sentinel-2 satellite imagery. The Korean Society of Agricultural Engineers 62(6): 1-9 (in Korean). doi:10.5389/KSAE.2020.62.6.001
  16. Lee, K. D., S. G. Kim, H. Y. Ahn, K. H. So, and S. I. Na, 2021. Early estimation of rice cultivation in Gimje-si using Sentinel-1 and UAV imagery. Korean Journal of Remote Sensing 37(3): 503-514 (in Korean). doi:10.7780/KJRS.2021.37.3.11.
  17. Lee, K. D., S. Y. Hong, S. G. Kim, C. W. Park, H. Y. Ahn, S. I. Na, and K. H. So, 2020. Estimation of rice cultivation area by threshold method using Sentinel-1 imagery in South Korea. Korean Journal of Soil Science and Fertilize 53(3): 345-354 (in Korean). doi:10.7745/KJSSF.2020.53.3.345
  18. Lee, S. B., Y. M. Kim, J. Y. Kim, and Y. J. Park, 2017. Detection of alteration in river area using Landsat satellite imagery. Journal of the Korean Society of Hazard Mitigation 17(3): 391-398 (in Korean). doi:10.9798/KOSHAM.2017.17.3.391.
  19. Lee, S. H., Y. G. Oh, N. Y. Park, S. H. Lee, and J. Y. Choi, 2014. Extraction of paddy field in Jaeryeong, North Korea by object-oriented classification with RapidEye NDVI imagery. Journal of the Korean Society of Agricultural Engineers 56(3): 55-64 (in Korean). doi:10.5389/KSAE.2014.56.3.055.
  20. McFeeters, S. K., 1996. The use of the Normalized Difference Water Index (NDWI) in the delineation of open water features. International Journal of Remote Sensing 17(7): 1425-1432. doi:10.1080/01431169608948714.
  21. Na, S. I., C. W. Park, K. H. So, J. M Park, and K. D. Lee, 2017. Satellite imagery based winter crop classification mapping using hierarchical classification. Korean Journal of Remote Sensing 33(5): 677-687 (in Korean). doi:10.7780/KJRS.2017.33.5.2.7.
  22. Na, S. I., C. W. Park, Y. J. Kim, and K. D. Lee, 2016. Mapping the spatial distribution of IRG growth based on UAV. Korean Journal of Soil Science and Fertilizer 49(5): 495-502 (in Korean). doi:10.7745/KJSSF.2016.49.5.495.
  23. Na, S. I., C. W. Park, Y. K. Cheong, C. S. Kang, I. B. Choi, and K. D. Lee, 2016. Development of biomass evaluation model of winter crop using RGB imagery based on unmanned aerial vehicle. Korean Journal of Remote Sensing 32(5): 483-497 (in Korean). doi:10.7780/kjrs.2016.32.5.7.
  24. Na, S. I., C. W. Park, Y. K. Cheong, C. S. Kang, I. B. Choi, and K. D. Lee, 2016. Selection of optimal vegetation indices for estimation of barley & wheat growth based on remote sensing -An application of unmanned aerial vehicle and field investigation data-. Korean Journal of Remote Sensing 32(5): 483-497 (in Korean). doi:10.7780/KJRS.2016.32.5.7
  25. Pandya, A., and R. S. Priya, 2015. Classification of vegetation area from satellite images using image processing techniques. International Journal of Research in IT, Management and Engineering 5(3): 2249-1619. doi:10.1080/01431160050505829.
  26. Park, J. K. and J. H. Park, 2017. Analysis of rice field drought area using unmanned aerial vehicle (UAV) and geographic information system (GIS) methods. The Korean Society of Agricultural Engineers 59(3): 21-28. doi:10.5389/KSAE.2017.59.3.021.
  27. Park, J. S., S. J. Jang, H. J. Kim, R. G. Hong, and I. H. Song, 2020. Application of drone images to investigate biomass management practices and estimation of CH4 emissions from paddy fields. Journal of the Korean Society of Agricultural Engineers 62(3): 39-49 (in Korean). doi:10.5389/KSAE.2020.62.3.039.
  28. Xue, J., and B. Su, 2017. Significant remote sensing vegetation indices: A review of developments and applications. Journal of Sensors vol. 2017, Article ID 1353691. doi:10.1155/2017/1353691.
  29. Yoo, H. Y., K. D. Lee, S. I. Na, C. W. Park, and N. W. Park, 2017. Field crop classification using multi-temporal high-resolution satellite imagery: A case study on garlic/onion field. Korean Journal of Remote Sensing 33(5): 621-630 (in Korean). doi:10.7780/kjrs.2017.33.5.2.2.
  30. Zhang, W., H. Liu, W. Wu, L. Zhan, and J. Wei, 2020. Mapping rice paddy based on machine learning with Sentinel-2 multi-temporal data: Model comparison and transferability. Remote Sensing 12(10): 1620. doi:10.3390/rs12101620.