A Convolutional Neural Network Model with Weighted Combination of Multi-scale Spatial Features for Crop Classification

작물 분류를 위한 다중 규모 공간특징의 가중 결합 기반 합성곱 신경망 모델

Abstract

This paper proposes an advanced crop classification model that combines a procedure for weighted combination of spatial features extracted from multi-scale input images with a conventional convolutional neural network (CNN) structure. The proposed model first extracts spatial features from patches with different sizes in convolution layers, and then assigns different weights to the extracted spatial features by considering feature-specific importance using squeeze-and-excitation block sets. The novelty of the model lies in its ability to extract spatial features useful for classification and account for their relative importance. A case study of crop classification with multi-temporal Landsat-8 OLI images in Illinois, USA was carried out to evaluate the classification performance of the proposed model. The impact of patch sizes on crop classification was first assessed in a single-patch model to find useful patch sizes. The classification performance of the proposed model was then compared with those of conventional two CNN models including the single-patch model and a multi-patch model without considering feature-specific weights. From the results of comparison experiments, the proposed model could alleviate misclassification patterns by considering the spatial characteristics of different crops in the study area, achieving the best classification accuracy compared to the other models. Based on the case study results, the proposed model, which can account for the relative importance of spatial features, would be effectively applied to classification of objects with different spatial characteristics, as well as crops.

이 논문에서는 작물 분류를 목적으로 합성곱 신경망 구조에 다중 규모의 입력 영상으로부터 추출가능한 다양한 공간특징을 가중 결합하는 모델을 제안하였다. 제안 모델은 합성곱 계층에서 서로 다른 크기의 입력패치를 이용하여 공간특징을 추출한 후, squeeze-and-excitation block을 통해 추출한 공간특징의 중요도에 따라 가중치를 부여한다. 제안 모델의 장점은 분류에 유용한 특징들을 추출하고 특징의 상대적 중요도를 분류에 이용하는데 있다. 제안 모델의 분류 성능을 평가하기 위해 미국 일리노이 주에서 수집한 다중시기 Landsat-8 OLI 영상을 이용한 작물 분류 사례연구를 수행하였다. 유용한 패치 크기 결정을 위해 먼저 단일 패치 모델에서 패치 크기가 작물 분류에 미치는 영향을 분석하였다. 그 후에 단일 패치 모델과 특징의 중요도를 고려하지 않는 다중 패치 모델과 분류 성능을 비교하였다. 비교 실험 결과, 제안 모델은 연구지역에서 재배하는 작물의 공간 특징을 고려함으로써 오분류 양상을 완화시켜 비교 모델들에 비해 가장 우수한 분류 정확도를 나타냈다. 분류에 유용한 공간특징의 상대적 중요도를 고려하는 제안 모델은 작물뿐만 아니라 서로 다른 공간특성을 보이는 객체 분류에도 유용하게 적용될 수 있을 것으로 기대된다.

1. 서론

지속적인 작물의 생육 모니터링과 작황 예측 모델링을 통해 얻어지는 농업 환경정보는 수급 조절, 가격 예측 등의 정책 수립을 위한 보조 정보로 이용된다(Na et al., 2018). 특히 작물 재배면적 통계 산정과 작황 예측 모델링에 사용되는 작물구분도는 원격탐사 자료를 이용해 생산할 수 있는 중요 정보에 해당된다. 그동안 원격탐사 자료기반 작물구분도 제작에는 대상 지역의 작물재배 규모와 특성 등을 종합적으로 고려하여 분류에 적합한 위성 영상, 항공기 영상, 무인기 영상 등이 선택적으로 사용되어 왔다(Wardlow and Egbert, 2008; Kim et al., 2016, 2018; Lee et al., 2016).

분류 방법론 측면에서 최근 관심이 부각되고 있는 딥러닝 모델은 원격탐사 영상의 분류(Yue et al., 2015; Zhao and Du, 2016; Zhang et al., 2019), 객체 탐지(Chen et al., 2014; Vakalopoulou et al., 2015) 등에서 전통적인 기계학습 모델에 비해 우수한 성능을 보인다고 알려져 있다. 딥러닝모델은 영상에 존재하는 다양한 특징들을 학습한 후 입력영상을 분류하는데, 여러 모델 중에서 패치(patch)형태의 입력 자료로부터 인접 화소간 공간상관성을 고려하여 특징을 추출하는 합성곱 신경망(convolutional neural network: CNN)은 분류에 유용하다고 알려져 있다(Xie et al., 2019; Zhong et al., 2019). 기존 CNN 모델에서는 분류에 유용한 공간특징을 추출하기 위해 입력자료의 특성을 고려하기 보다는 네트워크 구조를 더 깊고 정교하게 구축하는 방법을 주로 이용해 왔다(Hu et al., 2015b; Liu and Zhang, 2019). 그러나 CNN 모델은 네트워크 구조가 깊어질수록 기울기 손실(vanishing gradient) 문제가 발생하며, 각 계층 연결에 필요한 파라미터 수의 증가에 따라 연산량이 증가하기 때문에 학습과정에서 과적합이 나타나는 단점이 있다(Meng et al., 2019).

깊은 네트워크 구조를 갖는 CNN 모델의 단점을 극복하기 위해, 단일 영상으로부터 서로 다른 크기를 갖는 입력 패치를 생성하여 다양한 공간특징을 추출하고 결합하는 모델들이 제안되었다(Zhao and Du, 2016; Duan et al., 2018; Tian et al., 2018; Liu and Zhang, 2019). 이러한 결합 모델은 다중 입력 패치로부터 다양한 공간특징을 추출할 수 있기 때문에 기존 CNN 모델에 비해 얕은 네트워크 구조에서도 우수한 분류 성능을 보인다고 알려져 있다. 그러나 대부분의 연구에서는 서로 다른 정보를 갖는 입력 패치를 이용하여 추출한 특징들의 중요도를 고려하지 않고 단순 결합을 했기 때문에 상대적으로 덜 유용한 특징들로 인해 분류에 유용한 특징들이 부각되지 못하는 한계가 존재한다(Feng et al., 2019b). 이러한 한계를 보완하기 위해 단순 결합 대신 공간특징들의 중요도 혹은 기여도를 고려한 결합이 필요하지만 관련 선행 연구 사례는 아직 미비한 상황이다.

이 연구에서는 작물 분류를 위해 다중 입력 패치로부터 추출한 공간특징들의 상대적인 중요도를 고려하는 CNN 기반의 가중 결합 모델을 제안하였다. 제안 모델은 먼저 단일영상으로부터 서로 다른 크기를 갖는 입력 패치를 생성한 후에 패치별로 공간특징들을 추출한다. 이후 추출된 공간특징들의 결합에 상대적인 가중치를 고려하여 분류를 수행한다. 제안 모델의 분류 성능 평가를 위해 미국의 옥수수, 콩 주산지인 일리노이 주의 다중시기 Landsat-8 OLI 영상을 이용한 작물 분류 사례연구를 수행하였다. 우선 단일 패치 기반 모델에서 패치 크기에 따른 분류 성능 변화를 분석하였으며, 단일 패치를 이용하는 모델 및 다중 패치 기반 공간특징의 단순 결합 모델과의 비교를 통해 제안 모델의 분류 성능을 평가하였다.

2. 연구지역 및 사용 자료

사례연구 지역인 일리노이 주는 미국의 대표적인 옥수수, 콩 주산지로 옥수수, 콩과 더불어 겨울밀도 일부 함께 재배되고 있다(Fig. 1). 작물 분류에 사용할 입력자료로 30 m 공간해상도의 Landsat-8 OLI을 이용하였는데, 작물 재배기간을 고려하여 2017년 3월부터 10월까지 구름이 없는 총 5개 시기 영상을 작물 분류에 이용하였다(Table 1). Landsat-8 OLI 영상에서 제공하는 총 11개의 밴드 중 사전연구 결과(Kim et al., 2018)를 기반으로 재배 작물의 분광특성을 잘 나타낼 수 있는 Red, NIR, SWIR 밴드를 이용하였다.

Fig. 1. (a) Landsat-8 OLI false color composite image (red/NIR/SWIR) on April 8, 2017 and (b) CDL in the study area.

Table 1. List of Landsat-8 OLI images used for crop classification

Landsat-8 OLI 영상과 동일한 공간해상도에서 작물과 토지피복 정보를 제공하는 미국 National Agricultural Statistics Service의 Cropland Data Layer(CDL) 자료를 작물분류와 정확도 검증을 위한 훈련자료와 검증자료 수집에 각각 이용하였다. 작물 분류가 주 목적이기 때문에 도심지, 초원 등과 같은 비작물 지역을 제외한 후에, 분류 대상 작물로 옥수수, 콩, 겨울밀을 고려하였다. 연구지역 내 옥수수, 콩, 겨울밀의 비율을 고려하여 총 1,198개 화소를 훈련자료로 수집하였으며, 이를 제외한 나머지 화소인 424,811개 화소를 검증자료로 이용하였다.

3. 연구 방법

1) CNN

2차원 형태의 패치를 입력자료로 이용하는 CNN은 공간특징을 보존할 수 있다는 장점때문에 원격탐사 영상분류에 많이 적용되고 있다(Hu et al., 2015a; Yu and Liu, 2018). CNN은 일반적으로 합성곱 계층(convolutional layer), 풀링 계층(pooling layer)과 전결합 계층(fully connected layer)의 세가지 주요 계층의 조합으로 구성된다(Fig. 2). 공간특징 추출에 가장 중요한 역할을 하는 합성곱 계층은 패치 형태의 입력자료에 다양한 필터를 적용하여 공간특징을 추출하며, 이때 추출한 2차원 형태의 공간특징을 특징영상(feature map)이라고 한다. 합성곱 계층에서는 패치 크기에 따라 추출하는 특징영상의 정보가 달라지기 때문에 입력영상의 특성을 고려하여 적절한 크기의 패치를 사용해야 한다(Ji et al., 2018). 풀링 계층은 합성곱 계층으로부터 추출한 특징영상을 추상화 혹은 단순화하는 단계로 주요 정보를 보존하면서 영상의 크기를 줄인다(Zhang et al., 2018). 마지막으로 전결합 계층은 합성곱 계층과 풀링 계층을 이용하여 추출한 특징영상들을 대상으로 ReLU(rectified linear unit)와 같은 활성화 함수(activation function)를 적용하여 특징영상을 학습한다. 분류 결과 생성을 위해 일반적으로 마지막 전결합 계층에 softmax 함수를 배치하여 각 노드의 출력 값이 0과 1사이에 있으면서 합이 1인 확률 정보를 출력하며, 가장 높은 확률을 갖는 항목을 최종 분류 항목으로 할당한다.

Fig. 2. Architecture of the conventional CNN model applied in this study.

이 연구에서 적용한 CNN 모델은 먼저 합성곱 계층과 풀링 계층을 반복적으로 적용한 후에 전결합 계층과 softmax 함수를 통해 분류를 수행하는 기본적인 구조로 구성하였다(Fig. 2). CNN 모델은 유용한 특징 추출을 위해 다양한 하이퍼 파라미터의 정의가 필요하다. 공간특징을 추출하는 역할을 하는 합성곱 필터는 크기가 커질수록 특징영상이 평활화 될 수 있기 때문에 사전 실험을 거쳐 3×3으로 설정하였다. 그리고 사전 실험에서 합성곱 필터로부터 추출되는 특징영상의 수가 많아지더라도 분류 성능에 큰 영향을 미치지 않아 각 계층마다 특징영상의 수는 최대 64개로 정의하였으며, 모든 계층에서 활성화 함수로는 ReLU를 이용하였다. 마지막으로 풀링 계층에는 CNN 모델에서 일반적으로 사용되는 최대값 풀링(max pooling)을 적용하였다.

2) 제안 모델

CNN 모델은 입력 패치의 크기에 따라 추출되는 특징영상이 제공하는 정보가 서로 상이하다. 패치 크기가 커질수록 중앙 화소에 인접한 많은 정보를 분류에 이용할 수 있지만, 패치를 대표하는 중앙 화소와 상관성이 떨어지는 화소들이 포함될 확률도 증가한다. 일반적으로 원격탐사 영상분류에서는 영상의 공간해상도와 분류 대상의 규모와 특징을 고려해서 패치 크기를 결정해야 한다고 알려져 있다(Sharma et al., 2017; Böhler et al., 2018). 그러나 작물재배 필지들이 다양한 패턴을 보이는 연구지역에서는 적정 단일 패치 크기를 결정하는 것이 어려울 수 있다.

이에 이 연구에서는 서로 다른 크기의 패치를 이용하여 영상에 존재하는 다양한 공간특징을 추출하여 분류에 이용할 수 있도록 공간특징을 중요도에 따라 가중 결합하는 모델을 제안하였다. 결합 모델에서는 특징별 중요도를 고려하기 위해 squeeze-and-excitation(SE) networks(Hu et al., 2018)의 SE block 개념을 차용하였다. 이 연구에서 적용한 SE block은 크게 Fsq와 Fex 함수로 구성된다. 먼저 Fsq 함수는 정보 손실을 최소화하면서 특징영상들을 압축하기 위해 개별 특징영상들에 전역적 평균 풀링(global average pooling)을 적용한다. 2차원 특징영상을 1차원으로 변환한다는 점에서 전결합 계층과 유사하지만, 공간특징을 최대한 유지하면서 차원을 축소할 수 있는 장점을 갖는다(Feng et al., 2019a). 차원 축소된 공간특징들을 연결하여 1차원 형태로 표현하며, F_ex 함수를 이용하여 상대적인 가중치를 부여한다. 가중치 부여를 위한 활성화 함수로 ReLU와 함께 sigmoid를 이용한다.

제안 모델은 앞에서 설명한 기존 CNN 모델의 구조에 SE block을 결합한 형태로 구성된다(Fig. 3). 단일 영상으로부터 서로 다른 크기를 갖는 입력 패치를 추출한 후, 합성곱 계층과 풀링 계층을 적용하여 패치별로 공간특징을 추출한다. 그리고 F_sq를 통해 1차원 형태로 변환된 개별 공간특징들을 연결한 후에 F_ex를 이용하여 가중치를 부여하고, 최종적으로 2개의 전결합 계층과 softmax 분류기를 적용하여 분류 결과를 생성한다.

Fig. 3. Architecture of the modified CNN model proposed in this study. P and D denote the patch size and the output dimension of spatial feature maps, respectively.

4. 결과 및 토의

1) 패치 크기의 영향 분석

제안 모델에 적용할 최적의 입력 패치 크기를 결정하기 위해, 우선 CNN 모델에 다양한 패치 크기를 적용하고 분류 성능을 비교하였다. CNN 모델에서 2번 이상의 풀링 계층을 거치면서 발생하는 공간특징의 손실을 줄이기 위해 최소 패치 크기는 5×5로 설정하였다 (Carranza-García et al., 2019). 그리고 패치 크기가 커질수록 소수 항목인 겨울밀의 분류가 되지 않아 최대 패치크기는 분류에 큰 영향을 미치지 않는 13×13으로 설정하였다.

사례연구 지역은 넓은 지역에 서로 다른 작물 필지들이 불규칙하게 위치하며, 일부 단일 필지에서 작물들이 혼재되는 이질적인 양상도 보인다. 이에 따라 패치 크기가 커질수록 필지의 경계나 작은 규모의 필지에서 작물들이 교차하여 존재하는 경우, 작물간 혼재가 발생하여 분류 정확도가 낮아지는 양상을 보였다(Fig. 4). 옥수수의 분류 정확도가 크게 감소하는 양상을 보였는데, 연구지역 내 콩 필지와 인접한 작은 규모의 옥수수 필지 대부분이 콩으로 오분류된 것이 주된 이유로 판단된다. 그리고 소규모 필지에서 재배되는 겨울 밀은 소규모 필지 구분에 유용한 공간특징을 추출할 수 있는 5×5와 같은 작은 패치 크기에서만 분류 정확도가 높게 나타났으며, 7×7 이상의 패치 크기에서는 분류 정확도가 크게 감소하였다.

Fig. 4. Variation of classification accuracy of the CNN model with different patch sizes.

패치 크기가 증가할수록 분류 정확도가 감소하는 옥수수의 경우, 일부 면적이 넓은 필지에서는 패치 크기가 클 때 오히려 오분류 양상이 완화되었다(Fig. 5). 이는 크기가 큰 패치를 이용함으로써 주변 화소의 분광정보를 더 많이 이용할 수 있기 때문에 필지 내부의 분광학적 혼재에 의한 영향이 감소된 것에 기인한 것으로 판단된다. 그러나 11×11과 13×13의 패치에서는 분류 정확도 감소와 함께 시각적으로도 작물간 혼재와 오분류 양상이 확대되었다. 이러한 분류 결과를 통해 (1) CNN 모델은 입력 패치 크기에 따라 분류 결과 양상이 크게 달라진다는 점과 (2) 이질적인 필지 분포 양상을 보이는 연구지역의 경우, 다중 규모의 패치로부터 추출한 공간 특징들을 결합하는 분류 모델의 적용이 필요하다는 것을 확인할 수 있었다.

Fig. 5. Classification results in the sub-area by the CNN model with different patch sizes.

2) 기존 딥러닝 모델과의 비교 평가 결과

제안 모델의 성능 평가를 위해 기존 단일 패치 모델, 다중 패치 기반 공간특징의 단순 결합 모델도 함께 적용하였고, 분류 결과에 대한 시각적 검증과 분류 정확도 기반의 정량적 평가를 수행하였다. 비교 모델들의 하이퍼 파라미터에 대한 사전 실험을 통해 Table 2와 같이 각각의 구조를 정의하여 분류에 적용하였다. 단일 패치 모델에서는 앞 절의 결과를 기반으로 5×5와 9×9의 2개의 패치를 각각 적용하였으며, 다중 패치 기반 공간 특징을 이용하는 모델에서도 동일한 2개의 패치를 이용하였다.

Table 2. Parameters of three different CNN models (The numbers in parentheses indicate the output dimension)

Fig. 6과 Table 3은 이 연구에서 적용한 3개의 모델들의 분류 결과와 정확도를 각각 나타낸다. 5×5와 9×9의 입력 패치 크기를 이용하는 단일 패치 모델은 각각 80.89%와 77.94%의 가장 낮은 전체 정확도를 보였다. 분류 결과를 시각적으로 살펴보면(Fig. 6), 단일 패치 모델은 패치 크기에 따라 소규모 혹은 대규모 필지에서 옥수수가 콩으로 오분류되는 양상이 두드러졌다. 이는 앞서 언급했듯이 작은 크기의 패치를 이용할 때 필지 내분광학적 혼재가 발생하고, 큰 크기의 패치를 이용할 때 중앙 화소로부터 상관성이 떨어지는 정보를 포함하기 때문인 것으로 판단된다.

Fig. 6. Classification results in two sub-areas with significant differences among three models.

Table 3. Classification accuracy of three classification models

반면 다중 패치 기반 공간특징의 단순 결합 모델의 경우, 단일 패치 모델을 이용한 분류 결과에 비해 전체 정확도가 약 1.39%p 정도 향상되었다. 주로 큰 필지에서 재배하는 옥수수가 콩으로 오분류되는 양상이 완화되어 옥수수의 분류 정확도가 크게 향상되었다 (15.45%p). 그러나 시각적으로 살펴봤을 때 소규모 필지에서 재배하는 콩, 겨울밀에서는 여전히 혼재 양상이 나타났다. 다중 패치 기반 공간특징을 이용하는 모델은 패치 크기에 따라 상이한 공간특징을 추출하고 이를 분류에 이용한다는 장점이 있지만, 공간특징들의 상대적인 중요도를 고려하지 않고 단순 결합할 경우 오분류가 나타나는 한계를 가진다.

제안 모델은 이러한 단일 및 다중 패치 모델의 단점을 보완하여 83.70%의 가장 높은 전체 정확도를 보였다. 또한 필지 경계 부근과 대규모 필지에서의 분류 결과가 CDL과 가장 유사한 패턴을 보여서 정성적으로도 우수한 것으로 나타났다(Fig. 6). 다중 패치 모델에 비해 옥수수(7.46%p)와 겨울밀(6.85%p)의 분류 정확도가 향상되었는데, 이러한 결과는 제안 모델이 공간특징에 대한 가중치 부여를 통해 소규모 필지에서 재배하는 겨울밀과 대규모 필지에서 재배하는 옥수수 등 연구지역에서 재배하는 작물들의 필지 규모 특성을 고려할 수 있었기 때문인 것으로 판단된다. 그러나 다양한 규모의 필지에서 재배하는 콩의 경우, 소규모 필지에서 혼재 양상이 나타나 분류 정확도가 감소하였다. 이 연구에서는 실험적으로 2개의 서로 다른 패치를 적용했는데, 제안 모델에서는 여러 개의 패치 적용도 가능하기 때문에 작물의 필지 규모를 종합적으로 분석하여 여러 개의 패치를 적용할 경우 이러한 한계는 해결이 가능할 것으로 판단된다.

다중 패치 기반 공간특징의 단순 결합 모델과 제안모델의 분류 결과 차이를 좀 더 살펴보기 위해, 공간특징의 결합에 상대적인 가중치를 계산하는 F_ex 함수의 적용 여부에 따른 불확실성 지수를 비교하였다. 불확실성지수는 최대 확률과 두번째로 높은 확률의 차이로 정의하였는데(Park et al., 2016), 이 값이 클수록 더 확실하게 특정 항목으로의 분류가 수행된 것을 의미하므로 분류의 불확실성이 낮다고 간주할 수 있다. 두 모델의 분류결과와 불확실성 지수를 비교해보면(Fig. 7), 공간특징의 단순 결합 모델에서는 전반적으로 작물의 경계에서 불확실성이 높게 나타났고, 일부 필지의 내부에서도 높은 불확실성을 보여 오분류가 발생하였다. 반면, 공간특징들의 상대적인 가중치를 고려하는 제안 모델은 전반적으로 낮은 불확실성 지수를 보여 분류 항목 할당의 애매함이 현저하게 줄어든 것을 확인할 수 있다. 이러한 불확실성 지수 비교 결과는 앞의 분류 결과와 정확도의 비교 결과와 함께 제안 모델의 기존 모델과의 차별성을 나타낸다. 그러나 제안 모델의 일반화를 위해 앞으로 다양한 패치 기반 특징의 영향 분석과 분류항목별 가중치부여 등의 추가 연구가 필요하다.

Fig. 7. Comparison of classification results (top) and uncertainty measures (bottom) between the multi-patch model and the proposed model in the sub-area.

5. 결론

이 연구에서는 원격탐사 자료를 이용한 작물 분류에서 입력자료의 다양한 공간특징들의 중요도에 따라 가중 결합하는 절차를 CNN 구조에 반영한 분류 모델을 제안하였다. 특히 분류 항목별 공간특징이 서로 상이하기 때문에 분류에 유용한 공간특징들을 부각시킬 수 있도록 SE block을 통해 상대적인 가중치를 부여하였다.

미국의 대표적인 옥수수, 콩 주산지인 일리노이 주 일부 지역을 대상으로 사례연구를 수행하였으며, 기존 단일 패치 모델과 다중 패치 모델과의 분류 성능을 비교하였다. 패치 크기에 따른 분류 결과, 작물재배 필지들이 이질적인 공간분포를 갖는 연구지역에서 필지 규모에 따라 서로 다른 분류 결과 양상이 나타났다. 이러한 결과는 입력 패치 크기가 분류 성능에 크게 영향을 미친다는 것을 의미하며, 또한 다중 규모의 패치를 결합하는 분류 모델의 필요성을 뒷받침한다. 최종적으로 공간특징 별 중요도를 고려한 제안 모델에서 분류 정확도 평가와 시각적 검증 결과 모두에서 기존 모델에 비해 가장 우수한 것으로 나타났다.

이 연구에서는 서로 다른 공간특징을 가중 결합하는 제안 모델을 작물 분류에 적용하였다. 일반적으로 공간 특징은 불규칙한 형태와 다양한 크기의 객체들이 혼재된 도심지 분석에 유용하기 때문에, 제안 모델의 일반화를 위해 앞으로 다수의 패치 기반 특징들의 가중 결합과 함께 도심지에서의 성능 평가를 수행할 예정이다.