Land Cover Classification Using Sematic Image Segmentation with Deep Learning

딥러닝 기반의 영상분할을 이용한 토지피복분류

Abstract

We evaluated the land cover classification performance of SegNet, which features semantic segmentation of aerial imagery. We selected four semantic classes, i.e., urban, farmland, forest, and water areas, and created 2,000 datasets using aerial images and land cover maps. The datasets were divided at a 8:2 ratio into training (1,600) and validation datasets (400); we evaluated validation accuracy after tuning the hyperparameters. SegNet performance was optimal at a batch size of five with 100,000 iterations. When 200 test datasets were subjected to semantic segmentation using the trained SegNet model, the accuracies were farmland 87.89%, forest 87.18%, water 83.66%, and urban regions 82.67%; the overall accuracy was 85.48%. Thus, deep learning-based semantic segmentation can be used to classify land cover.

본 연구에서는 항공정사영상을 이용하여 SegNet 기반의 의미분할을 수행하고, 토지피복분류에서의 그 성능을 평가하였다. 의미분할을 위한 분류 항목을 4가지(시가화건조지역, 농지, 산림, 수역)로 선정하였고, 항공정사영상과 세분류 토지피복도를 이용하여 총 2,000개의 데이터셋을 8:2 비율로 훈련(1,600개) 및 검증(400개)로 구분하여 구축하였다. 구축된 데이터셋은 훈련과 검증으로 나누어 학습하였고, 모델 학습 시 정확도에 영향을 미치는 하이퍼파라미터의 변화에 따른 검증 정확도를 평가하였다. SegNet 모델 검증 결과 반복횟수 100,000회, batch size 5에서 가장 높은 성능을 보였다. 이상과 같이 훈련된 SegNet 모델을 이용하여 테스트 데이터셋 200개에 대한 의미분할을 수행한 결과, 항목별 정확도는 농지(87.89%), 산림(87.18%), 수역(83.66%), 시가화건조지역(82.67%), 전체 분류정확도는 85.48%로 나타났다. 이 결과는 기존의 항공영상을 활용한 토지피복분류연구보다 향상된 정확도를 나타냈으며, 딥러닝 기반 의미분할 기법의 적용 가능성이 충분하다고 판단된다. 향후 다양한 채널의 자료와 지수의 활용과 함께 분류 정확도 향상에 크게 기여할 수 있을 것으로 기대된다.

1. 서론

토지피복은 물리적 환경에 영향을 미치는 주요 인자이며, 토지피복의 시공간적 현황을 제공하는 토지피복지도는 다양한 연구분야에서 널리 활용되고 있다 (Vitousek, 1994; Park et al., 2007). 지난 수십년 동안 토지피복분류를 위해 k-means clustering 같은 무감독분류 기법에서 최대 우도법(maximum likelihood classification)과 같은 통계적 감독분류 기법 등 다양한 영상 분류 기법이 소개되었다. 특히 다층 퍼셉트론(multilayer perceptron), support vector machine(SVM), random forest(RF)과 같은 기계학습 가장 발전하고 있는 기법으로 소개되고 있다 (Zhang et al., 2018). 그러나 기계학습은 모델의 성능을 높이기 위해 특징추출(feature extraction) 과정에서 상당한 전문지식이 필요하다(Han, 2019). LeCun et al.(1989)이 Convolutional Neural Network(CNN)를 이용한 영상분류를 소개한 이후, 딥러닝이 영상인식, 패턴인식, 음성인식 등에서 높은 성능 및 편의성을 제공하는 것으로 보고됨으로써, 딥러닝 기반의 영상 분류에 대한 연구가 활발히 진행되고 있다(Hu et al., 2015; Kussul et al., 2017; LeCun et al., 2015; Liang et al., 2017).

최근 영상분할(image segmentation)의 한 종류인 의미분할(semantic segmentation)은 자동차의 자율주행, 개체인식, 증강현실, 의료분야의 질병 진단 등 많은 영역에서 활용되고 있다(Andersson, 2017). 다양한 분야에서 보다 정확하고 효율적인 분할 메커니즘이 요구되면서 최근 딥러닝을 활용한 의미분할은 각광을 받고 있다(Hong, 2019). 의미분할의 대표적인 모델은 Fully Convolutional Nets(FCN)이다(Long et al., 2015). 그러나 FCN 학습과정에서 공간정보가 소실되는 문제점이 발견되었고, 이러한 문제점을 해결하기 위한 다양한 모델이 등장하였다 (Cao et al., 2018). 그 중 Badrinarayanan et al.(2016)에 의해 개발된 SegNet은 정확도, 효율성, 그리고 학습속도 등 다양한 측면에서 높은 성능을 가지는 것으로 보고되고있다(Audebert et al., 2017; Garcia-Garcia et al., 2017; Yang et al., 2018).

본 연구는 고해상도 항공사진을 이용하여 SegNet 기반의 의미분할을 수행하고, SegNet 모델이 토지피복분류에서 어느 정도의 성능을 발휘하는지 평가하기 위한 사례연구이다. 먼저 의미분할을 위한 분류 항목을 4가지(시가화건조지역, 농지, 산림, 수역)로 선정하고, SegNet 모델 학습을 위해 구축된 데이터셋을 이용하여 훈련, 검증, 그리고 테스트를 수행하였다. 이러한 일련의 과정을 통해 산출된 하이퍼파라미터(hyperparameter)를 바탕으로 모델의 최종 성능을 평가하였다.

2. 연구 방법

1) SegNet 모델

Long et al.(2015)이 제안한 딥러닝 기반의 의미분할 기법인 FCN의 등장은 영상분할 분야의 발전에 크게 기여했다. 그러나 FCN 학습과정에서 공간정보가 소실되는 문제점이 발견되었고, 이를 해결하기 위한 다양한 의미분할 모델이 등장하였다(Cao et al., 2018).

다양한 의미분할 모델 중 SegNet은 Fig. 1과 같이 동일한 계층을 가지는 영상 압축과정인 인코더와 영상을 생성하는 과정인 디코더로 구성되며, 모델 정확도와 학습 효율성에서 높은 성능을 보인다(Garcia-Garcia et al., 2017).

Fig. 1. SegNet architecture as introduced in Badrinarayanan et al. (2016).

SegNet의 인코더 과정에서 컨볼루션 계층은 VGG-16 아키텍처 기반으로 구성된다. 인코더 과정에서 합성곱 계층과 풀링 계층을 거쳐 영상압축 및 특징추출이 진행된다. 합성곱 계층에서 활성함수 ReLU를 사용하며, 인코더 과정이 끝난 후 디코더 과정에서 영상을 복원하게 된다. 이 과정에서 SegNet은 풀링계층을 개별적으로 생성하지 않고, 인코딩 과정에서 사용한 풀링 계층을 가져다 쓰게 된다. 그 결과 기존의 풀링 계층이 보유한 공간정보를 입혀 공간정보를 소실하지 않은 채 영상을 복원할수 있다. 최종적으로 Softmax 함수를 이용하여 영상을 다중 항목으로 분류하게 된다(Badrinarayanan et al., 2016; Audebert et al., 2017). 본 연구에서 SegNet 모델은 Table 1 환경에서 구현되었다.

Table 1. System summary for SegNet

2) 연구대상지역

본 연구에서는 충청남도 및 경기도 일부 지역을 연구대상지역으로 선정하였다(Fig. 2). 이 지역은 영상 분류에 사용된 항공정사영상과 참조 자료로 사용된 세분류 토지피복지도의 제작 시기가 동일하다. 충청남도 일부 지역은 세분류 토지피복지도 1,774 도엽을 포함하며, SegNet모델의 훈련 및 검증을 위한 사이트로 선정되었다. 또한 경기도 일부 지역은 세분류 토지피복지도 760 도엽을 포함하며, 모델의 성능을 최종 평가하기 위한 테스트 사이트이다.

Fig. 2. Study area. (a) Gyeonggi-do with 200 test dataset, (b) Chungcheongnam-do with 2,000 training dataset, (c) and (d) the example of labeling data with 5 classes.

3) 데이터 셋 구축

SegNet 모델 자료는 훈련, 검증, 테스트 데이터로 구분된다. 훈련 데이터는 모델을 학습시키는 자료이며, 검증 데이터는 학습 중 모델의 정확도 및 훈련 정도 평가 시 사용되는 자료이다. 테스트 데이터는 학습이 완료된 모델의 최종 성능을 평가할 때 사용되는 자료이다. 각 데이터는 원본 자료인 항공정사영상 및 이와 동일한 위치의 참조 자료로 구성된다(Table 2).

Table 2. Summary of dataset in this study

본 연구에서 훈련 및 검증 데이터는 충청남도 일부 지역 내 480*360 크기의 총 2,000개의 항공정사영상을 포함한다. 또한 항공정사영상과 동일한 크기와 위치의 참조 자료는 세분류 토지피복지도를 이용하여 구축되었다. 이를 위해 세분류 토지피복지도의 41개 분류항목은 대분류 기준의 7개 분류항목으로 집성되었으며, 이중 4개 분류항목(시가화건조지역, 농지, 산림, 수역) 이외의 항목들은 null 값 처리되었다. 이렇게 구축된 훈련 및 검증 데이터는 랜덤 샘플링 기법에 의해 구분되었다. 일반적으로 훈련 데이터 수가 적으면 트레이닝 모델의 정확도가 떨어지고, 이 수가 너무 많으면 오버핏(overfit)이 발생될 수 있다. 따라서 본 연구에서는 기존 연구에서 주로 사용된 7:3 및 8:2 비율 중 8:2 비율을 사용하여 랜덤 샘플링을 수행하였다. 끝으로 테스트 데이터는 4개 분류항목이 각각 우점하는 지역을 대상으로 각 50개씩, 총 200개의 데이터로 구성되었다.

4) 가중치 산정

SegNet 모델을 학습시킬 때 분할되는 항목의 면적 비율은 모델 학습의 정확도에 영향을 미치게 된다. 즉 상대적으로 큰 면적을 차지하는 항목은 과분류, 적은 면적을 차지하는 항목은 분류되지 않는 경향을 보인다. 이러한 현상을 클래스 불균질이라고 하며, 이것은 모델 학습과정에서 overfitting의 문제점을 야기한다. 이를 해결하기 위해 손실 함수에 가중치를 부여하여 오분류를 최소화하기 위한 다양한 class balancing 기법이 소개된 바있다(Andersson, 2017). 본 연구에서는 식 (1)과 같이 Eigen and Fergus(2015)가 제안한 median frequency balancing 기법을 활용하여 각 클래스에 대한 가중치를 산정하였다.

\(\text {weight}(c)=\frac{\text {medianfrequency}}{\text {frequency}(c)}\)       (1)

\(\text {frequency}(c)=\frac{\text {number of pixel class}(c)}{\text {total number of pixel class}}\)       (2)

\(medianfrequency $=\sum_{c=1}^{N} \frac{\text { frequency }(c)}{N}\)       (3)

Fig. 3. Examples of (a) aerial imagery and (b) label data for train, validation, and test.

3. 연구결과 및 토의

1) 가중치 산정 결과

본연구에서는식(1)에제시된바있는median frequency balancing 기법을 이용하여 각 클래스에 대한 가중치를 산정하였다. Table 3과 같이 전체 2,000개 데이터셋 중 상대적으로 가장 많은 면적을 차지하는 산림과 차순위에 있는 농지의 경우 가중치가 1보다 작게 산정되었고, 도시와 수역의 경우 1보다 크게 산정된 것을 확인할 수 있다.

Table 3. Weight values of each class calculated by median frequency balancing method

2) Hyper parameter 선정

의미분할을 위한 딥러닝 모델 개발과 함께 하이퍼 파라미터 튜닝은 모델의 최적화 기술을 위해 매우 중요한 부분이다(Bardenet et al., 2013). 본 연구에서는 하이퍼 파라미터 중 학습 반복횟수(iteration)와 batch size 변화에 따른 SegNet 모델의 학습 정확도를 평가하였다.

먼저 학습 반복횟수에 따른 검증 자료의 정확도와 손실 값(loss)을 살펴보면, 70,000번까지 학습 반복횟수가 늘어남에 따라 손실 값은 감소하고 정확도는 증가하는 경향을 확인 할 수 있다. 그 후 80,000번까지 횟수 변화에 따른 증가나 감소 경향이 보이지 않는 것을 확인 할 수 있다. 그 후 모델이 100,000번에 가까워 질수록 검증 정확도 손실 값이 소폭 개선 되는 것을 확인 할 수 있다. 결론적으로 학습 반복 횟수가 100,000번일때, 가장 높은 훈련 정확도와 가장 낮은 손실 값을 보여준다. 이는 학습 반복횟수는 100,000번일때, 가장 높은 정확도와 낮은 손실 값으로 학습되는 것을 확인할 수 있다.

Fig. 4. Training loss and validation accuracy plots for iteration.

이상의 결과를 바탕으로 반복횟수 100,000에서 1회학습에 사용되는 영상의 개수를 의미하는 batch size를 1에서 5까지 변화시켰을 경우 모델의 정확도를 평가하였다. 먼저 batch size 1, 2의 결과는 3, 4, 5에 비해 현저히 낮은 검증 정확도를 나타내었다(Table 4). Batch size 3, 4, 5에서 학습이 100,000번 진행 됨에 따라 다소 차이를 보이지만 전반적으로 batch size 5 일 때 가장 높은 검증 정확도(85.7%)를 나타내었다. 또한 다른 batch size에 비해 batch size 5에서 모델 학습 반복횟수에 따른 손실 값의 변동 추이가 안정적인 것으로 나타났다.

Table 4. Validation accuracy for each iteration and batch size​​​​​​​

Fig. 5. Training loss values for each batch size.​​​​​​​

3) 분류 결과

지금까지 살펴본 하이퍼 파라미터 튜닝 결과를 바탕으로 SegNet 모델을 이용한 의미분할을 수행하고, 테스트 데이터 200개를 이용한 최종 분류정확도를 평가하였다. Table 5와 같이 분류정확도는 농지(87.89%), 산림(87.18%), 수역(83.66%), 시가화건조지역(82.67%) 순으로 모든 항목에서 80% 이상의 분류정확도를 나타냈으며, 전체 분류정확도는 85.48%로 나타났다. 훈련자료에서 가장 많은 부분을 차지하는 농지에서 가장 높은 정확도를 나타내었다. 특히 Fig. 6과 같이 시설재배지의 분류에서도 탁월한 성능을 보였다. 그러나 농업지역 내 시가화건조지역인 농로의 과 분류로 인해 일부 농지가 시가화건조지역으로 분류되거나, 일부 나지가 농지로 분류되는 오류가 발생하였다. 대상지역 내 농지 다음으로 많은 면적을 차지하고 있는 산림에서도 높은 분류 확도를 나타내었다. 다만 항공정사영상 내 어둡게 표현된 일부 산림이 시가화 건조지역으로 분류되는 오류를 보였다. 주택, 공장, 도로 등 다양한 항목을 포함하는 시가화 건조지역의 경우 다양한 분류 항목의 특성을 반영하지 못하여 다른 항목에 비해 낮은 정확도를 나타내었다. 끝으로 산림과 초지와 비슷한 표준 RGB를 가지는 수역은 대체적으로 정확히 분류된 반면, 농지와 비슷한 표준 RGB를 가지는 수역의 경우 수역을 농지로 오분류되는 경향을 나타내었다.

 Table 5. Overall accuracy of 4 classes (unit: %)

 

Fig. 6. RGB images, ground truths and SegNet results. (a) RGB aerial images, (b) ground truths, and (c) SegNet results.

본 연구에서는 항공사진을 이용한 기존의 토지피복분류 연구 결과에 비해 향상된 결과를 나타내었다. CotFolch et al.(2007)은 5 m급 전정색 항공정사영상에 신경망 이론을 적용한 분류를 수행하고 전체 정확도 74%를 보고하였고, 0.15 m급 항공정사영상을 이용하여 토지피복을 시가화건조지역, 산림, 초지로 분류하는 연구에서 무감독분류인 ISODATA 기법에서 약 65%, 영상 분할기법에서 약 80%의 전체 정확도가 보고된 바 있다 (Cleve et al., 2008). 이후 토지피복분류에 관련하여 다양한 기법 및 채널 자료를 이용한 연구에서 약 85% 이상의 분류정확도가 보고된 바 있다(Li et al., 2014; Otukei et al., 2010). 따라서 본 연구에서 제시된 SegNet 기반의 의미분할기법은 다양한 형태의 채널 자료 또는 이로 인해 파생된 지수의 활용과 함께 분류 정확도 향상에 크게 기여할 수 있을 것으로 기대된다.

4. 결론

본 연구에서는 항공정사영상과 토지피복자료를 입력 자료로 의미분할 기법 중 SegNet을 적용하고 그 분류 정확도를 평가하였다. 먼저 시가화건조지역, 농지, 산림, 수역 4가지 분류 항목으로 구분된 총 2,000개의 데이터 셋을 구축하고, 모델 학습 시 정확도에 영향을 미치는 하이퍼파라미터의 변화에 따른 검증 정확도를 평가함으로써, 최적 하이퍼 파라미터를 선정하였다. 그 결과, 반복횟수 100,000회 및 batch size 5에서 SegNet 모델이 가장 높은 성능을 나타내었다. 이후 200개의 데이터셋을 이용하여 의미분할을 수행한 결과, 농지(87.89%), 산림(87.18%), 수역(83.66%), 시가화건조지역(82.67%) 순으로 모든 항목에서 80% 이상의 분류정확도를 나타냈으며, 전체 분류정확도는 85.48%로 나타났다. 다만 일부 시가화 건조지역, 수역, 나지가 농지로 오분류 되거나, 다른 분류 항목에 비해 다양한 피복 특성을 지닌 시가화 건조지역에서 모델의 성능이 다소 낮은 것으로 나타났다. 이상의 결과에서 딥러닝을 이용한 토지피복분류의 가능성을 확인할 수 있었으며, 항공영상을 이용한 토지피복 분류에서 기존 연구와 비교하여 정확도가 향상되었다. 향후 다양한 채널을 포함하는 고해상도 영상을 이용한 의미분할 수행 시 보다 높은 성능을 발휘할 수 있을 것으로 기대된다.