Accuracy analysis of Multi-series Phenological Landcover Classification Using U-Net-based Deep Learning Model - Focusing on the Seoul, Republic of Korea -

U-Net 기반 딥러닝 모델을 이용한 다중시기 계절학적 토지피복 분류 정확도 분석 - 서울지역을 중심으로 -

Abstract

The land cover map is a very important data that is used as a basis for decision-making for land policy and environmental policy. The land cover map is mapped using remote sensing data, and the classification results may vary depending on the acquisition time of the data used even for the same area. In this study, to overcome the classification accuracy limit of single-period data, multi-series satellite images were used to learn the difference in the spectral reflectance characteristics of the land surface according to seasons on a U-Net model, one of the deep learning algorithms, to improve classification accuracy. In addition, the degree of improvement in classification accuracy is compared by comparing the accuracy of single-period data. Seoul, which consists of various land covers including 30% of green space and the Han River within the area, was set as the research target and quarterly Sentinel-2 satellite images for 2020 were aquired. The U-Net model was trained using the sub-class land cover map mapped by the Korean Ministry of Environment. As a result of learning and classifying the model into single-period, double-series, triple-series, and quadruple-series through the learned U-Net model, it showed an accuracy of 81%, 82% and 79%, which exceeds the standard for securing land cover classification accuracy of 75%, except for a single-period. Through this, it was confirmed that classification accuracy can be improved through multi-series classification.

토지피복도는 국토정책, 환경정책을 위한 의사결정 근거 자료로 활용되는 매우 중요한 자료이다. 토지피복도는 원격탐사 자료를 활용하여 제작되는데, 이때 사용되는 데이터의 취득 시기에 따라 동일한 지역을 대상으로 하더라도 분류 결과가 달라질 수 있다. 본 연구에서는 단시기 데이터의 분류 정확도를 개선하기 위해 다중시기 위성영상을 활용하였으며 계절에 따른 지표면의 분광 반사 특성 차이를 딥러닝 알고리즘의 하나인 U-Net 모델에 학습시켜 분류하였다. 또한 단시기 분류 결과와 정확도 비교를 통해 분류 정확도의 향상 정도를 비교하였다. 구역 내에 30%의 녹지와 한강을 포함하여 다양한 토지피복으로 이루어진 서울특별시를 연구대상지로 설정하고 2020년 분기별 Sentinel-2 위성영상을 산출하였다. 대한민국 환경부에서 작성한 세분류 토지피복도를 활용하여 U-Net 모델을 학습시켰다. 학습한 U-Net 모델을 통해 단시기, 2시기, 3시기, 4시기로 모델을 학습하여 분류한 결과, 단시기를 제외하고 토지피복도 분류 정확도 확보기준인 75%를 상회하는 81%, 82% 79%의 정확도를 나타냈다. 이를 통해 다중 시계열 학습을 통해 토지피복의 분류 정확도 향상이 가능하다는 것을 확인하였다.

1. 서론

토지피복도는 지표면의 특성에 따라 토지를 특정한 기준으로 분류한 지도로써 국가적 차원에서 국토 계획과 각종 정책 결정을 위한 근거 자료로 활용되는 매우 중요한 자료이다(Jeon, 1999). 또한, 최근 기후변화에 따른 탄소관리에 대한 관심이 증가하는 가운데 토지피복분류 결과를 바탕으로, 산림 면적을 계산하고 탄소 흡수량을 산정하는 등 환경적 측면에서도 매우 중요한 역할을 하고 있다(Choo, 2021; Lee, 2019; Park, 2017). 토지피복도는 다양한 위성으로부터 촬영된 영상과 항공사진을 이용하여 지속적인 제작 및 갱신을 통하여 국토의 변화를 추적하고 그 결과를 바탕으로 각종 정책을 수립하고 결정하는데 활용되며 환경부는 토지이용의 현행화를 위해 대분류 토지피복도를 10년주기로 갱신하고 있다. 하지만 영상의 분류체계는 촬영 당시의 토지피복 상태만을 철저히 표현하고 있기 때문에 제작시기와 지역에 따라 최종적으로 제작된 토지피복도의 내용이 일치하지 않는 문제가 발생하게 된다. 또한, 환경부의 토지피복도 제작에 사용되는 수작업 방식은 작업공정이 복잡하며, 제작비용이 높고 시간이 오래 걸린다는 문제점을 가지고 있다(Yoo et al., 2020; Shin, 2015). 그리고 최근 전지구적인 기후변화 및 도시화의 가속화로 인해 빠르게 변화하는 국토를 추적 관찰하기에 부족하다(Cho, 2019).

토지피복도는 원격탐사 자료와 현장조사 자료를 활용하여 작성되는데, 영상 내에 표현되는 지표면의 Band별 광학적 특성 차이를 분류기가 학습하여 영상을 분류한다. 분류 과정에서 지상검증자료(Ground Truth Data)를 활용하여 학습 시 지표면의 상태를 정답자료로 입력하고, 분류 결과의 정확도를 검증한다. 이때 지상검증자료에 따른 분광 반사 특성 차이가 크지 않다면 분류기가 분류 기준을 정확하게 학습하기 어렵고, 분류 정확도가 떨어진다. 또한, 대한민국의 경우 4계절이 구분 되고, 식생의 비율이 높아서 계절에 따른 식생의 분광반사 특성 차이가 크기 때문에 동일한 지역이라도 영상의 촬영 시기에 따라 분류 결과와 정확도가 달라질 수 있다(Oh, 2010). 영상촬영 시기에 따른 분류 결과 차이의 극복을 위해 다중시기 위성영상 분류 방법론이 연구되었다. 다중시기 위성영상 분류 방법론은 지점에 따른 Band별 광학적 특성 차이를 학습하는 것을 바탕으로, 시기에 따른 값의 차이를 동시에 학습하여 분류한다(Park, 2018). 대한민국과 같이 4계절이 구분되는 지역은 이처럼 다중시기 위성영상을 활용한 분류 방법론이 적합하다(Jang, 2018).

본 연구에서는 영상촬영 시기에 따른 토지피복도의 분류 결과 차이를 해결하기 위해 다중시기 위성영상을 중첩하고 최신 딥러닝 기술을 적용하여 분류 정확도를 향상하고자 하였다. 짧은 재방문 주기로 지속적인 영상데이터를 확보할 수 있는 유럽 ESA의 Sentinel-2 광학 위성영상과 딥러닝 알고리즘인 U-Net 알고리즘을 활용하여 2020년 서울지역 다중시기 위성영상을 중첩하고, 중첩한 시기에 따른 분류 결과와 분류 정확도를 세분류 토지피복도와 비교하여 정확도를 분석하였다.

2. 연구 대상지 및 데이터

1) 연구 대상지

본 연구를 위한 연구대상지로 서울특별시를 선정하였다(Fig. 1). 서울특별시는 행정구역상 대한민국의 수도로, 면적은 약 605 km²이며 25개의 구로 이루어져 있다. 서울특별시는 토지피복 대부분이 분류 기준상 시가화건조지역으로 이루어져 있으며, 약 30%의 녹지와 한강을 포함한 넓은 수역 또한 존재한다. 따라서 대한민국의 도엽 중 비교적 작은 면적 안에 다양한 토지피복을 형성하고 있어 피복별 계절적 분광 반사 특성 차이가 잘 나타나, 분류 정확도 비교를 위한 대상지로 선정하였다.

Fig. 1. Study Area.

2) 위성영상 데이터

유럽 ESA에서 제공하는 Sentinel-2 위성영상은 2개의 인공위성 지구 궤도를 돌며 위성영상을 취득한다. 2015년 Sentinel-2A 위성이 발사되었고 2017년 Sentinel-2B 위성이 발사되어 두 위성이 180°를 이루며 지구 궤도를 회전한다. Sentinel-2 인공위성은 두 위성을 동시에 운용하여 5일의 재방문 주기를 가지며 13 Band를 취득한다. 위성영상의 공간해상도는 Band 별로 상이하며, 최대 10 m의 공간해상도를 갖는다.

계절학적 분광 반사 특성 차이를 나타내기 위해, 2020년에 촬영한 Sentinel-2 위성영상을 분기별로 취득하였다(Fig. 2). Sentinel-2 위성영상은 유럽 ESA의 Copernicus에서 제공하는 ‘The Sentinel-2 Global Mosaic Service’ 플랫폼을 통해 구름이 없는 영상을 자동으로 선별하여 분기별로(1–3월, 4–6월, 7–9월, 10–12월) 모자이크가 완료된 상태로 취득하였다. 10 m의 공간해상도를 이용하기 위해 Sentinel-2 위성영상의 Band 2–Blue. Band 3–Green, Band 4–Red, Band 8–NIR을 산출하였다. 시기 중첩 별 정확도를 계산하기 위해 이를 다시 단시기(3분기), 2시기(2, 3분기), 3시기(2, 3, 4분기), 4시기로 중첩하였다(Table 1). 식물의 계절변화를 고려하여 낙엽에 의한 식생 변화가 나타나는 3분기와 식생 생장이 활발히 일어나는 2분기를 우선으로 하여 3분기, 2분기, 4분기 순위로 위성영상을 사용하였다.

Fig. 2. Quarterly composition of Sentinel-2 satellite image: (a) 1st quarter of 2020; (b) 2nd quarter of 2020; (c) 3rd quarter of 2020; (d) 4th quarter of 2020.

Table 1. Sentinel-2 satellite image data composition

3) 학습 및 검증 데이터

학습 및 검증을 위한 데이터로 대한민국 환경부에서 제공하는 세분류 토지피복도를 사용하였다(Fig. 3). 세분류 토지피복도는 2018년, 2019년에 촬영한 항공영상과, 아리랑 위성영상을 사용하여 1 m급으로 작성되었다. 41개의 분류 항목을 shape 파일 형식인 벡터 데이터로 제공하는 세분류 토지피복도를 학습과 검증에 이용하기 위해 Sentinel-2 위성영상과 동일한 공간해상도인 10 m의 raster 데이터로 변환하였다. 41개의 세분류 항목은 항목별로 22개의 중분류 항목과 7개의 대분류 항목을 갖고 있다. 대분류 토지피복도를 작성하기 위해 7개의 대분류 항목인 시가화건조지역, 농업 지역, 산림지역, 초지, 습지, 나지, 수역으로 토지피복도를 변환하여 분류기준을 구성하였다.

Fig. 3. Sub-class land cover map of Seoul.

4) U-Net 모델

U-Net 알고리즘은 세포의 경계추출을 위해 생의학 영상 분할(image segmentation)에 처음 도입되었으며, 다양한 영상 분할에 사용되는 인공 신경망(Convolutional Neural Network)이다(Fig. 4)(Ronneberger et al., 2015). 생의학 영상 분할을 위해 개발되었지만 적은 정보로 영상을 분할한다는 점에서 위성 영상을 이용한 토지 피복분류에도 사용되고 있다(Ulmas et al., 2020; Lee, 2020). UNet 알고리즘은 감독 분류의 일종으로 학습을 위한 레이블링 데이터를 요구한다. 따라서 서울시 세분류 토지피복도 변환 자료를 레이블링 데이터로 학습을 진행하여 학습자료의 객관성을 확보하였다.

Fig. 4. U-net Architecture (Ronneberger et al., 2015).

3. 연구 방법

1) U-Net 모델 학습 및 분류

산출한 위성영상을 활용하여 U-Net 알고리즘을 학습하였다. 서울특별시 위성영상을 사용하여 training data와 validation data를 다양화하기 위해 서울특별시의 행정구역 경계를 사용하여 위성영상과 세 분류 토지피복도를 구 단위로 분할 하였으며, 대규모 보안시설이 위치하는 용산구와 서초구는 토지피복도 상에 산림으로 표시되기 때문에 학습자료에서 제외하여 총 23개의 학습자료를 사용하였다. 이때 validation data는 흔히 분류결과의 정확도 검증을 위해 사용하는 validation data가 아닌 deep learning 모델링을 위해 필요한 데이터이다. U-Net 알고리즘은 학습을 위한 labeling data를 필요로 한다. 따라서 세 분류 토지피복도 변환 자료를 labeling data로 사용하여 학습을 진행하였다. U-Net 모델의 학습을 위한 patch size는 서울시의 크기가 동서 36.78 km, 남북 30.3 km인 것을 고려하여 304 × 304 pixel로 설정하였으며 training data와 validation data는 학습자료를 8 : 2 비율로 구성하였다. 중첩 시기별 분류 정확도를 비교하기 위해 모든 학습 parameter를 동일하게 설정하고 각 50 epoch으로 학습을 진행하였다.

학습을 완료한 U-Net 모델을 활용하여 서울특별시 Sentinel-2 위성영상을 분류하였다. U-Net 모델이 patch size 304 × 304 pixel로 학습되었기 때문에 분류를 진행할 때 서울특별시 위성영상을 975 tile로 분할하여 분류를 진행한다. 위성영상을 중첩한 시기에 따라 4개의 모델이 각각 분류를 총 4회 진행하였다. 이때 단시기 학습 모델은 4 layer, 2시기 학습 모델은 8 layer, 3시기는 12 layer, 4시기는 16 layer를 분류할 수 있으며, 학습한 layer 숫자와 동일한 layer의 위성영상만 분류할 수 있다. 또한, layer의 중첩 순서에 따라 값을 학습하기 때문에, 학습자료의 layer와 분류 자료의 layer 순서를 동일하게 구성해야 분류 결과에 오류가 나타나지 않는다.

2) 정확도 검증

분류 결과에 990 random point를 생성하여 Fig.3의 세 분류 토지피복도 변환 자료를 사용하여 정확도 검증을 실시하였다. 정확도 검증은 random point에 대한 분류결과와 토지피복도의 값을 비교하였다. 정확도 검증 결과를 활용하여 confusion matrix를 작성하였다. 정확한 분류 정확도 비교를 위하여 4개의 분류 결과에 대해 모두 동일한 random point를 사용하여 정확도 검증을 실시하였다. 이를 통해 동일한 지점에 대한 4가지 분류결과를 비교하였다.

4. 결과 및 고찰

1) 위성영상 분류 결과

U-Net 모델을 활용하여 서울특별시 Sentinel-2 위성영상을 시기 구성 별로 분류하였다(Fig. 5). 단시기 위성영상의 분류 결과는 전체적으로 시가화, 건조지역과 나지가 분류되지 않은 것으로 나타나며, 한강의 위치도 시가화, 건조지역으로 다수 분류되어 식생이 아닌 지역에 대한 분류 정확도가 매우 떨어지는 것으로 나타났다. 다중시기 위성영상 분류결과는 시기 중첩에 상관없이, 세 분류 토지피복도 변환 자료와 육안으로 비교하였을 때 분류 결과의 공간적 분포가 유사한 것을 확인할 수 있었다. 정중앙에 위치하는 용산구의 경우 대규모 보안시설이 위치하여 육안 판독 시 다소 차이를 보인다. 다중시기 위성영상 분류결과들을 육안으로 비교하였을 때, 강서구와 강동구의 나지 면적이 다소 차이가 나타났으며 중첩 시기에 따른 분류 결과는 소규모의 면적 차이만 나타나고 전체적인 분류 결과의 경향성은 유사한 것으로 나타났다.

Fig. 5. Classification Result: (a) single-period; (b) Double-series; (c) Triple-series; (d) Quadruple-series.

2) Confusion Matrix 정확도 비교 분석 결과

U-Net 모델을 활용한 분류 결과와 세분류 토지피복도 변환 자료를 활용하여 중첩 시기에 따라 confusion matrix를 작성하였다(Table 2). Confusion matrix를 통해 분류 정확도를 산출한 결과 단시기 위성영상 분류 결과인 65.1%를 제외하면 대한민국 토지피복도 작성지침에 따른 분류 정확도 확보기준인 75%를 상회하는 81.3%, 82.6%, 79.8%로 나타났다. 단시기 위성영상 분류결과는 육안판독 결과와 마찬가지로 시가화, 건조지역이 나지로 분류된 것이 다수 나타났다. 또한, 모든 분류 기준에 대한 정확도가 높지 않아, 피복에 따른 분광 반사 특성학습이 잘 진행되지 않은 것으로 나타났다.

Table 2-1. Confusion Matrix of single-period classification result: Accuracy : 65.1%. Kappa Value : 0.5094

Table 2-2. Confusion Matrix of Double-period classification result: Accuracy : 81.3%. Kappa Value : 0.7190

Table 2-3. Confusion Matrix of triple-period classification result: Accuracy : 82.6%. Kappa Value : 0.7371

Table 2-4. Confusion Matrix of quadruple-period classification result: Accuracy : 79.8%. Kappa Value : 0.6975

다중시기 위성영상 분류 결과는 3개의 결과가 모두 동일하게 농경지, 초지, 습지, 나지의 분류 정확도가 낮은 것으로 나타났다. 이는 학습 자료상에 위 분류 항목이 적게 분포하여 충분한 학습이 이루어지지 않고, 분류 결과에도 분포가 적어 정확도가 낮게 평가된 것으로 판단된다. 습지의 경우 단 10 point만 추출되어 분포가 매우 적은 것으로 나타났으며, 분류 정확도가 매우 떨어진다. 분포가 많은 시가화, 건조지역과 산림은 분류 정확도가 최대 96%로 매우 높게 나타났다. 초지의 경우 분포가 많음에도 불구하고 분류 정확도가 비교적 낮게 나타나는데, 이는 정확도 검증에 이용한 세분류 토지피복도 변환 자료와 분류에 사용한 위성영상의 시점과 해상도가 달라 발생한 것으로 추측할 수 있다. Confusion matrix를 살펴보면 초지가 시가화, 건조지역으로 다수분류되었는데, 이는 초지가 시가화, 건조지역으로 전용되었거나, 해상도를 변환하는 과정에서 도시 내 녹지 공간이 시가화, 건조지역으로 변환되어 발생한 것으로 나타난다.

시기 중첩에 따른 분류 정확도 차이가 3% 이하로 나타나는데, 이를 바탕으로 2시기 이상 중첩할 경우, 분류 정확도가 매우 향상되는 것을 알 수 있다. 3시기와 4시기 위성영상의 분류 정확도를 비교하였을 때 3시기에 비해 4시기의 분류 정확도가 떨어지는데, 이는 중첩에  따른 학습자료가 증가하였음에도 불구하고 학습 epoch을 비롯한 모든 parameter를 동일하게 설정했기 때문에, U-Net 모델이 충분히 학습되지 않아 발생한 정확도 저하로 판단된다. 따라서 중첩한 모델별로 U-Net 모델의 학습량을 증가시키면 3시기에 비해 분류 정확도가 향상될 것으로 예측된다.

3) U-Net을 이용한 다중시기 분류 방법론에 대한 고찰

U-Net 모델과 다중시기 위성영상을 활용하여 분류 및 정확도 평가를 수행한 결과, 단시기보다 정확도가 향상되었다. 이 결과는 다중시기 위성영상 활용으로 인한 학습자료의 정보량 증가로 인한 것이며, U-Net모델뿐만 아니라 다양한 모델을 활용하여 분류를 진행하여도 유사한 결과를 낼 것으로 판단된다. 본 연구는 학습 자료에 따른 정확도 비교를 위해 U-Net 모델의 파라미터를 모두 동일하게 설정하였으나, 딥러닝 모델을 활용한 만큼 학습자료에 따라 학습율을 조정한다면 더욱 정확도 높은 결과를 보일 것으로 판단된다. 다중시기 구성의 변화에 따른 정확도 변화는 2% 이하로 나타났는데, 이는 모든 시기 구성에 포함된 2분기와 3분기 영상에 충분히 다양한 분광반사 특성 차이가 표현되기 때문인 것으로 판단된다. 따라서 단시기 위성영상이 아닌 다중시기 위성영상을 사용한 위성영상 분류를 통해 분류 정확도를 향상할 수 있고, 계절에 따른 분광 반사특성 차이를 활용하기 때문에 1년 주기로 대분류 토지피복도를 갱신할 수 있다. 이를 바탕으로 국토의 변화를 효과적으로 추적할 수 있을 것이다.

5. 결론

U-Net 모델을 활용한 단시기 위성영상과 다중시기 위성영상의 분류 정확도를 비교한 결과, 단시기 위성영상 분류 정확도에 비교하여 매우 우수한 분류 정확도를 보였다. 이는 대한민국의 계절적 특징이 토지피복에 따른 분광 반사 특성 차이로 표현되기 때문에, 단시기 위성영상에 비해 다중시기 위성영상의 분류 항목별 데이터가 다양하기 때문이다. 따라서 현장 조사가 어렵거나 분류 정확도 향상이 필요할 때 다중시기 위성영상을 활용하면 분류 향상된 분류 정확도를 확보할 수 있다. 추후 연구에서 딥러닝을 활용한 토지피복도 분류를 수행할 때, 입력자료의 양을 고려하여 충분한 학습과 정확한 labeling data를 이용한다면, 다중시기 위성영상 활용을 바탕으로한 더욱 정확한 분류 및 토지피복도 작성이 가능할 것으로 기대된다.