Korean Journal of Remote Sensing (대한원격탐사학회지)

Korean Society of Remote Sensing (대한원격탐사학회)
권호 표지
DOI QR코드

DOI QR Code

A Study of Establishment and application Algorithm of Artificial Intelligence Training Data on Land use/cover Using Aerial Photograph and Satellite Images

항공 및 위성영상을 활용한 토지피복 관련 인공지능 학습 데이터 구축 및 알고리즘 적용 연구

  • Lee, Seong-hyeok (Division for Environmental Planning, Korea Environment Institute) ;
  • Lee, Moung-jin (Center for Environmental Data Strategy, Korea Environment Institute)
  • 이성혁 (한국환경연구원 환경계획연구실) ;
  • 이명진 (한국환경연구원 환경데이터전략센터)
  • Received : 2021.08.16
  • Accepted : 2021.09.16
  • Published : 2021.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

The purpose of this study was to determine ways to increase efficiency in constructing and verifying artificial intelligence learning data on land cover using aerial and satellite images, and in applying the data to AI learning algorithms. To this end, multi-resolution datasets of 0.51 m and 10 m each for 8 categories of land cover were constructed using high-resolution aerial images and satellite images obtained from Sentinel-2 satellites. Furthermore, fine data (a total of 17,000 pieces) and coarse data (a total of 33,000 pieces) were simultaneously constructed to achieve the following two goals: precise detection of land cover changes and the establishment of large-scale learning datasets. To secure the accuracy of the learning data, the verification was performed in three steps, which included data refining, annotation, and sampling. The learning data that wasfinally verified was applied to the semantic segmentation algorithms U-Net and DeeplabV3+, and the results were analyzed. Based on the analysis, the average accuracy for land cover based on aerial imagery was 77.8% for U-Net and 76.3% for Deeplab V3+, while for land cover based on satellite imagery it was 91.4% for U-Net and 85.8% for Deeplab V3+. The artificial intelligence learning datasets on land cover constructed using high-resolution aerial and satellite images in this study can be used as reference data to help classify land cover and identify relevant changes. Therefore, it is expected that this study's findings can be used in the future in various fields of artificial intelligence studying land cover in constructing an artificial intelligence learning dataset on land cover of the whole of Korea.

본 연구의 목적은 항공 및 위성영상을 활용한 토지피복 관련 인공지능 학습 데이터를 구축, 검증 및 알고리즘 적용의 효율화 방안을 연구하였다. 이를 위하여 토지피복 8개 항목에 대하여 고해상도의 항공영상 및 Sentinel-2 인공위성에서 얻은 이미지를 사용하여 0.51 m 및 10 m Multi-resolution 데이터셋을 구축하였다. 또한, 학습 데이터의 구성은 Fine data (총 17,000개) 와 Coarse data (총 33,000개)를 동시 구축 및 정밀한 변화 탐지 및 대규모 학습 데이터셋 구축이라는 2가지 목적을 달성하였다. 학습 데이터의 정확도를 위한 검수는 정제 데이터, 어노테이션 및 샘플링으로 3단계로 진행하였다. 최종적으로 검수가 완료된 학습데이터를 Semantic Segmentation 알고리즘 중 U-Net, DeeplabV3+에 적용하여, 결과를 분석하였다. 분석결과 항공영상 기반의 토지피복 평균 정확도는 U- Net 77.8%, Deeplab V3+ 76.3% 및 위성영상 기반의 토지피복에 대한 평균 정확도는 U-Net 91.4%, Deeplab V3+ 85.8%이다. 본 연구를 통하여 구축된 고해상도 항공영상 및 위성영상을 이용한 토지피복 인공지능 학습 데이터셋은 토지피복 변화 및 분류에 도움이 되는 참조자료로 활용이 가능하다. 향후 우리나라 전체를 대상으로 인공지능 학습 데이터셋 구축 시, 토지피복을 연구하는 다양한 인공지능 분야에 활용될 것으로 기대된다.

Keywords

1. 서론

2000년대 이후, 신경망 기반 알고리즘은 객체 분류에 높은 정확도를 나타내고 있으며, 딥 러닝 기반의 접근법은 기존 머신러닝 중 인공지능 접근법의 인식 시스템의 문제점을 해결하였다(Soniya et al., 2015). 또한, 현재는 딥러닝 알고리즘은 자율주행, 음성인식 및 암 진단 등에서 큰 영향을 미치고 있다(Shrestha and Mahmood, 2019). 특히 Convolutional Neural Network (CNN) 기반의 인공지능 알고리즘은 기존의 객체 분류 머신러닝 알고리즘보다 높은 성능을 보이고 있다(Kussul et al., 2017; Guidici et al., 2017; Rußwurm et al., 2017). 이러한, CNN 기반 알고리즘은 학습자료를 통해 해당 크기의 출력물을 도출하는 Semantic Segmentation으로 발전하였다(Long et al., 2015). Fully Convolutional Network (FCN), U-Net, ResNet 및 DeeplabV3+등 Semantic segmentation 알고리즘들은 원격탐사 분야에서도 높은 성능을 나타내고 있다(Wang et al., 2020). 딥 러닝 기반의 알고리즘은 대규모 데이터셋에서 높은 수준의 성능을 나타내는데 이점이 있다(Najafabadi et al., 2015; Vargas et al., 2017). 이에 따라, ImageNet 데이터셋(https://image-net.org/)과 같은 많은 양의 데이터셋의 등장은 객체 분류 및 탐지분야 발전에 기여하고 있으며, 많은 양의 데이터셋 및 고품질 데이터셋은 CNN 기반의 알고리즘의 성능에서 중요한 부분을 차지한다(Lin et al., 2014; Helber et al., 2019).

인공지능 알고리즘 발전에 중요한 영향을 미치는 학습 데이터셋은 다양한 분야만큼 다양한 종류의 데이터셋이 존재한다(Mohamadou et al., 2020). 국외에서 활용 중인 데이터셋은 먼저, 객체 탐지 및 분류를 위한 데이 터셋인 Pascal VOC(Visual Object Classes) 데이터셋이 존재하며, 다양한 연구 및 콘테스트에서 알고리즘 성능 평가용으로 활용 중이다(Everingham et al., 2010; Everingham et al., 2015; Noh et al., 2015). 약 22,000개의 항목을 가지고 있는 ImageNet 데이터셋은 2010년부터 Pascal Visual Object Challenge의 일환으로 ImageNet Large-Scale Visual Recognition Challenge (ILSVRC) 콘테스트를 통해 알고리즘 성능을 평가해왔다(Krizhevsky et al., 2012). Microsoft의 COCO(Common Object in Context) 데이터셋 (Lin et al., 2014)은 약 330,000장의 데이터셋을 보유하고 있으며, 객체 분할 및 탐지 등 다양한 연구에서 활용 중이다(https://cocodataset.org/). 또한 자율주행 분야 데이터셋은 대표적으로 Cambridge-driving Labeled Video Database (CamVid) 데이터셋 및 Cityscape 데이터셋이 존재한다(Brostow et al., 2009; Cordts et al., 2016). 또한 Kaggle (Kaggle.com/dataset)과 같은 사이트에서도 다양한 종류의 인공지능 데이터셋을 제공 중이다.

국내에서도 공공기관을 통해 인공지능 분야에서 활용할 수 있는 데이터셋을 제공중이다. ETRI는 OpenAPI 서비스를 통해 언어분석 기술, 음성인식 기술 및 대화처리 기술 등 8가지 항목에 대해 데이터셋을 제공중이며 (https://aiopen.etri.re.kr/), 한국지능정보화진흥원이 서비스하는 AI Hub (https://aihub.or.kr/)는 AI 알고리즘에 적용 가능한 대규모 학습데이터를 제공하고 있으며, 법률 및 특허 등 문자 데이터, 한국 랜드마크 이미지 및 한국인 안면 이미지 등 한국 고유 이미지 데이터, 도로주행 및 인도 보행 영상 등 교통관련 영상 데이터, 사람 동작 및 질병진단 이미지 등 총 8개 대분류 및 43개의 세분류 학습 데이터를 제공하고 있다. 또한, 단순히 AI 데이터 제공에 국한되지 않고, AI 서비스 사례, AI 경진대회, AI 컴퓨팅 및 AI 게시판 등으로 구성되어 있다. AI Hub 는 AI 기술 및 제품·서비스 개발에 필요한 AI 인프라(AI 데이터, AI SW API, 컴퓨팅 자원)를 지원함으로써 누구나 활용하고 참여하는 AI 통합 플랫폼이다.

전술된 다양한 데이터셋 중, 윈격탐사를 활용한 데이터셋이 다양한 목적 및 형식으로 구축되어 있다. 위성 영상을 활용한 지구 관측 분야 중 자연현상 변화탐지를 위한 객체 중심의 데이터셋, 항공영상을 활용한 자동차 및 배와 같은 이동수단을 탐지하는 데이터셋 및 무인항 공기(UAV) 중 가시광선 및 열적외선 영역을 이용한 밀렵 및 동물 밀매를 모니터링 하기위한 데이터셋도 다수 존재한다(Xia et al., 2018; Bondi et al., 2020; Azimi et al., 2021). 이중, 토지피복 분류를 위한 학습 데이터를 제공하는 Landcover.ai는 0.25 m 및 0.5 m 공간 해상도를 가지는 Multi-resolution 정사영상 데이터셋을 제공한다 (Boguszewski et al., 2020). Skyscapes 데이터셋은 German Aerospace Center에서 획득한 항공영상을 활용한 데이터셋으로, 건물, 도로 등 카테고리별 다양한 항목이 존재한다(Azimi et al., 2019). 기존의 원격탐사 데이터를 활용한 기계학습 데이터는 예측 결과의 정확도를 높이기 위하여 기본적으로 분류 대상이 되는 객체의 외각경계 외 속성을 일치, 외각 경계를 최대한 정밀하게 구축하는 정밀데이터(Fine)가 기본이었다. 이러한 Fine Data는 학습 데이터의 외각경계와 분류 항목을 정확하게 구축하기 때문에 많은 비용과 시간이 필요하며(Luo et al., 2018), 또한 (준)실시간 구축에 한계가 있다는 문제점이 있다. 이에, Coarse Data는 Fine Data보다 정밀하게 구축하지 않지만, 상대적으로 시간 및 비용이 적게 사용되며 빠른 데이터 생성이 장점이 있다. 또한, Coarse Data는 Fine Data의 약 90% 정도를 예측할 수 있으며, 이에 Fine Data와 Coares Data의 구축이 병행하여 이루어지고 있다(Wang et al., 2020; Avilés-Cruz et al., 2019; Zhang et al., 2018).

본 연구의 목적은 위성영상 분야에서 다양하게 구축 및 활용되고 있는 토지피복 분류에 대한 고해상도 항공 및 위성영상을 Multi-resolution 기반의 인공지능 데이터 셋을 구축하고, 검증 및 인공지능 알고리즘에 적용하는 것이다. 이를 위하여 이를 위하여 토지피복 및 산림수종에 대한 Fine 및 Coarse annotation 기반의 학습 데이터셋을 구축하였으며, 데이터셋의 품질을 검증하였다. 최종적으로 인공지능 알고리즘에서 구축한 학습 데이터 셋을 적용하여 분석한 결과를 제시하였다.

첫째, 고품질 인공지능 학습 데이터셋 구축을 위해, 공간해상도 0.51 m 항공영상 및 10 m 위성영상(Sentinal 2)을 활용하였다. 이를 통하여 다양한 공간해상도를 통한 토지피복 및 산림수종의 객체별 특징을 인공지능 학습 데이터로 구축하였다.

둘째, 서울특별시·경기도(이하 수도권), 강원도·충청도(이하 강원충청권)를 대상으로, 토지피복 8개 항목에 대하여 Fine 및 Coarse Data를 동시에 구축하였다. 또한, 공간정보 형식(Vector, SHP 등)을 AI 알고리즘에 직접적 활용이 가능하도록 구축하였다. 이를 통하여 인공지능 학습 데이터의 주요 목적인 정밀성과 대규모 데이터 셋 구축 두 가지 목적을 달성하였다.

셋째, 방대한 연구지역의 대규모 데이터 셋 구축의 오류를 줄이기 위하여 단계별 검수를 진행하였다. 총 3 단계로 검수를 진행하였고, 정제된 데이터를 대상으로 정제 불완전처리 여부, 어노테이션 결과에 대한 오분류 여부 및 셈플링을 통한 데이터셋의 오류를 최소화하여 데이터셋의 신뢰성을 확보하였다.

넷째, 본 연구를 통하여 구축된 인공지능 학습 데이터를 CNN(Convolutional Neural Network) Semantic segmentation 기반의 AI(ArtificialIntelligence) 알고리즘 중 U-Net, DeeplabV3+에 학습하여 결과를 제시하였다. 세부적인 연구흐름은 Fig. 1과 같다

OGCSBN_2021_v37n5_1_871_f0001.png 이미지

Fig. 1. Flow chart of in this study.

2. 연구 지역 및 AI 학습 데이터 구성

1) 연구 지역

데이터셋 구축을 위한 원본 자료 수집을 위해, 우리나라의 수도권, 강원충청권 지역을 선정하였다(Fig. 2). 연구지역의 선정은 수도권의 경우 시가화건조지역이 다수 존재하고 있으며, 강원 충청권의 경우 농경지 및 산림이 다수 분포하는 지역이다. 이를 통하여 동일 방법론에 의해 구축된 학습 데이터의 지역적 차이 및 알고리즘 적용에 의한 정확도 차이를 도출하고자 한다.

OGCSBN_2021_v37n5_1_871_f0002.png 이미지

Fig. 2. Study area for dataset. Seoul, Gyeonggi-do and Gangwon-do, Chungcheong-do.

수도권지역은 서울특별시 주변의 경기도를 포함하는 지역으로, 물리적으로 한국면적의 약 10%인 10,185 km2의 큰 지역이며, 서쪽으로는 해안선, 동쪽으로는 강원도에 인접해 있으며, 중앙에는 수도인 서울특별시가 위치하고 있다(https://www.gg.go.kr/). 강원도 지역은 총 면적 20,569 km2이며, 동서 길이 약 150 km, 남북으로 약 243 km에 달하는 면적을 가지고 있다. 강원도 지역의 동쪽은 약 314 km에 걸쳐 해안선이 조성되어 있다 (provin.gangwon.kr). 충청권은 충청남북도를 포함하는지 역으로 충청남도 약 8,245 km2 및 충청북도 7,433 km2 의 면적을 보유하고 있다(chungnam.go.kr; chungbuk.go.kr). 수도권에 구축된 세분류토지 피복지도 (1:5,000 축척)는 4,109개 도엽, 강원도는 5,001개 도엽 및 충청권은 6,107 도엽이 구축되어 있다(https://egis.me.go.kr/main.do).

데이터셋 구축에 사용된 원천데이터는 항공영상 및 위성영상으로, 항공영상은 국토지리정보원에서 제작 및 배포하며, 2018-2019년 영상을 취득하였다. 위성영상의 경우, ESA (European Space Agency)에서 제공하는 Sentinel-2 영상으로, Copernicus Open Access Hub에서 무상제공 중이다. 위성영상은 구름과 눈이 덮이지 않은 2019-2020년 촬영 영상을 데이터셋 구축을 위해 취득하였다. 항공영상은 0.51 m의 공간해상도를 나타내고 있으며, Sentinel-2 영상은 10 m의 공간해상도를 나타내고 있다. 본 연구에서 활용하는 영상의 정보는 Table 1과 같으며 데이터셋 구축을 위해, 수도권 총 396장, 강원충청권 797장의 총 1193장의 항공영상 및 수도권 4장, 강원도·충청도 8장의 총 12장 위성영상을 획득하였다. 획득한 영상을 활용하여 항공영상 및 위성영상의 Fine-Coarse annotation 4종류의 데이터셋 구축을 실시하였다.

Table 1. Image data information used in this study

OGCSBN_2021_v37n5_1_871_t0001.png 이미지

2) 이미지 어노테이션

본 연구의 인공지능 학습 데이터셋 어노테이션 작업을 위해서 분류 항목 및 어노데이션 기준은 환경부의 세 분류 토지피복지도, 도시생태현황지도를 기준으로 하였으며, 기존의 원격탐사 데이터셋을 활용한 토지피복 분류 연구를 참고하였다(https://www.law.go.kr; Lee et al., 2020; Lee and Lee, 2020). 데이터셋 어노테이션 작업을 위해, 국토지리정보원 수치지형도 1:5,000 도엽 기준 1,193도엽을 작업 대상지역으로 선정하였다. Image Annotation은 총 3단계로 첫째, 데이터 설계로 객체 항목 및 메타데이터 설계하였다. 둘째, 어노테이션 구축 과정으로, 이미지에 객체 항목별 어노테이션을 분류 및 형식을 정의하였다. 셋째, 학습용 데이터 생성으로 정의된 어노테이션을 학습 데이터로 구축하였다.

토지피복 Annotation 분류기준은 환경부 세분류 토지피복지도 작성 지침(https://www.law.go.kr)을 기반으로 작업하였다. 항공영상의 경우, 세분류 토지피복지도 항목 중 AI 활용도가 높은 8개(건물, 도로, 주차장, 논, 밭, 나지 및 산림 등) 항목을 대상으로 선정하였다. 위성 영상의 경우, 항공영상 대비 낮은 해상도로 인하여, 8개 항목에서 가로수, 주차장 및 나지를 제외한 5개 항목을 대상으로 선정하였다. 각 객체는 건물 10, 주차장 20 등 특정한 code 번호를 부여하였다(Table 2). 항공영상 및 위성영상의 해상도 및 데이터셋 품질 차이 존재로 인해, Annotation 분류기준에 차이를 두어 진행하였다.

Table 2. Codes and classification criteria for each classification item

OGCSBN_2021_v37n5_1_871_t0002.png 이미지

항공영상 토지피복 분류기준은 도로는 선형 폭 12 m 이상의 항목, 면적의 경우 건물은 100 m2, 주차장, 논, 밭, 나지 항목은 500 m2 및 산림 2,500 m2 이상의 객체를 분류하였다. 위성영상의 경우, 항공영상과 비교하여 낮은 공간해상도를 나타내고 있으므로, 선형 도로 폭 36 m 이상, 면적 건물 10,000 m2, 논/밭 50,000 m2, 산림 100,000m2 이상의 객체를 어노테이션 하였다.

Fine Annotation은 항공영상 및 위성영상 이미지에서 분류하고자 하는 객체의 외각경계를 기준으로 분류하였으며, Coarse Annotaion의 경우, 객체의 경계가 아닌 객체내부를 다각형 형식으로 분류하였다. Fine 및 Coares annotation 모두 어노테이션을 위해 오픈소스 소프트웨어인 QGIS를 활용하여 분류하였다. 분류된 항공영상 및 위성영상의 어노테이션 결과는 Fig. 3과 같다.

OGCSBN_2021_v37n5_1_871_f0003.png 이미지

Fig. 3. Fine annotation and coarse annotation example

어노테이션 작업이 완료된 Fine 및 Coarse 데이터는 최종적으로 512×512 size로 구축을 진행하였으며, 인접 영상간 정확한 품질검수 및 중복재단을 고려하여 원본 영상에서 25% 중복률을 적용하여 분할하였다. 본 연구의 AI 학습용 데이터셋은 원시 이미지, 어노테이션 이미지 및 Json형식의 메타데이터로 구성하였다(Fig. 4).

OGCSBN_2021_v37n5_1_871_f0004.png 이미지

Fig. 4. Example of training dataset configuration

인공지능 학습을 위한 Fine 및 Coarse annotation 데이터셋은 Tiff(Tag Image File Format) 형식의 래스터 데이터셋으로 구축하였으며, 벡터(.shp) 형식의 어노테이션 데이터를 추가로 구축하였다. 어노테이션 이미지는 최종적으로 8bit Grayscale 형식으로 구축하였으며, Json 형식의 메타데이터에는 원시 이미지 이름, 데이터의 너비 및 높이 등 원시 이미지에 대한 데이터 정보를 포함하고 있다(Table 3).

Table 3. Information contained in metadata

OGCSBN_2021_v37n5_1_871_t0003.png 이미지

최종적으로 구축된 피복지도 어노테이션 데이터셋은 총 160,000장으로 수도권 53,300장및 강원충청권 106,700장을 구축하였다. 항공영상의 Fine annotation의 경우, 수도권 16,900장 및 강원충청권 32,800장을 구축하였다. Coarse annotation의 경우 및 수도권 32,800장, 강원 충청권 66,600장이 구축되었다. 512×512 사이즈를 기본적인 학습데이터로 구축하였으며, 1024×1024 사이즈의 항공영상 데이터셋도 일부 구축하였다. 위성영상의 Fine annotation의 경우, 수도권 100장 및 강원충청권 200장을 구축하였으며, Coarse annotation의 경우, 수도권 200장 및 강원충청권 400장을 구축하였다(Table 4).

Table 4. The amount of dataset construction of aerial imagery and satellite imagery by region

OGCSBN_2021_v37n5_1_871_t0004.png 이미지

3. AI 학습데이터 품질 검수

구축된 데이터셋에 대하여, 높은 정밀도의 데이터셋 확보를 위해 데이터 품질 검수과정을 실시하였다. 검수 과정은 총 3단계이며, 정제 데이터 검수, 어노테이션 검수 및 샘플링 검수 과정을 진행하였다. 첫째, 정제 데이터 검수 과정은, 항공영상 및 위성영상에 대한 원본 이미지 검수과정으로, 데이터 정제 작업을 실시한 위성영상에 대한 검수 과정이다. 위성영상은 Red, Green, Blue, NIR 밴드의 오류 여부를 확인하고 밴드 수량이 다른 오류가 발생할 경우, 재작업을 실시하였다. 오류가 발생하지 않을 때까지 반복적으로 재검수 및 재작업 과정을 진행하여, 정제 데이터에서 발생할 수 있는 오류를 최소화하였다.

둘째, 어노테이션 자료에 대한 오류 여부를 검수하는 과정이다. 어노테이션이 완료가 되면, 512×512 size의 grayscale 이미지로 구축하기 전, 데이터에 대한 검수를 진행한다. 512×512 size로 정제된 이미지 데이터는 어노테이션 데이터와 동시에 검수를 실시하였다. 오류가 존재할 경우 오류 리포트를 작성하였다. 오류 리포트에는 영상의 파일명, 오류 유형 및 오류위치 등이 포함되어 있다. 작성된 오류 리포트를 활용한 재수정을 진행하였으며, 교차검수를 실시하여 데이터셋의 객관성 및 균질성을 확보하였다. 어노테이션 자료 검수과정 또한 검수 및 재작업 과정을 반복하여, 데이터의 정밀도를 높였다.

오류의 종류는 크게 미분류, 과분류 및 오분류 3가지로 분류하였다(Fig. 5). 오류 여부는 항공영상 및 위성영상 데이터셋 구축 기준을 기반으로 검수를 진행하였다. 미분류의 경우, 어노테이션 대상 객체에 어노테이션이 미실시 되어 있는 경우를 나타낸다. 과분류는 대상객체 어노테이션 중, 경계를 넘어 미대상 객체까지 포함하여 어노테이션을 실시한 경우이다. 오분류는 어노테이션 객체가 잘못 라벨링된 경우이며, Fig. 5는 각 항목별로 3가지 오류가 나타난 경우의 예시 자료를 나타낸다. 그림에서 노란색 미분류의 경우, 누락된 객체를 의미하며, 과분류의 경우 정상적인 어노테이션 상태를 의미한다. 오분류의 경우, 노란색이 오분류된 부분을 나타낸다 (Fig. 5).

OGCSBN_2021_v37n5_1_871_f0005.png 이미지

Fig. 5. Examples of annotation errors

정제 데이터 및 어노테이션 검수가 완료된 후, 오류가 없는 데이터셋은 512×512 래스터 형식으로 구축하였다. 이미지 및 어노테이션 데이터셋 검수를 포함하여, 메타 데이터에 대한 검수도 진행하였다. 학습데이터의 정보를 나타내는 Json 형식의 메타데이터는 각 항목별 정확한 정보가 기입되어 있는지 여부를 확인하는 미입력 오류 검수를 수행하였다. 어노테이션 검수와 동일하게 오류대장을 작성하여 관리 및 작업자에게 전달하였다. 오류가 발견된 메타데이터 또한 재수정 작업 과정을 반복하여 실시하였다.

전체 데이터셋에 대하여 어노테이션 검수가 완료된 후, Random Sampling 기법을 활용하여 모집단의 대표성을 유지하는 샘플 추출, 추가 검수 및 알고리즘 검수를 진행하였다. 검수를 위한 검수 도구는 기본적으로 어노테이션 도구과 동일한 도구를 사용하여 검수를 진행하였다. 검수 작업은 정밀한 검수를 위해, 수작업을 통해 진행되었으며, 오류가 존재하는 영상은 어노테이션 검수과정과 동일한 방식으로 재작업 및 재검수 작업을 반복하였다.

4. AI 알고리즘 적용

데이터셋 구축 및 검수과정 이후, 구축된 데이터셋을 인공지능 알고리즘에 적용하여 활용가능성을 분석하 였다. 데이터셋 평가를 위한 알고리즘은 범용적으로 많이 사용되는 Segmantic segmentation 알고리즘인 U-Net, DeeplabV3+ 알고리즘을 활용하였다(Rooneberger et al., 2015; Chen et al., 2018). 학습과정에서는 Fine 및 Coarse annotation 데이터를 활용하여 결과를 산출하였다. 학습 데이터의 구성비율은 학습 : 검증 및 평가를 8 : 2로 구분하여 학습하였다.

알고리즘 학습 파라미터는 항공영상, 위성영상 및 세 가지 알고리즘에 동일하게 적용하였으며, 11 GB 이상의 GPU 메모리 환경에서 학습을 진행하였다. Table 5와 같이, 학습 Epoch의 경우 800에서 학습되었으며, Batch size의 경우, 컴퓨터의 하드웨어 성능을 고려하여 10에서 진행하였다. Learning rate는 1.00e-06으로 정하였으며, 나머지 파라미터에 대해서는 알고리즘 별 기본값으로 설정하였다(Table 5). 또한, 정확도 산출에는 픽셀단위로 정확도를 계산하는 pixel accuracy를 적용하였으며, 예측 데이터셋의 어노테이션자료를 기준으로 정확도를 산출하였다.

Table 5. Hyperparameter values used in the algorithms

OGCSBN_2021_v37n5_1_871_t0005.png 이미지

먼저, 항공영상을 활용한 수도권 AI 학습 데이터에 DeeplabV3+ 및 U-Net 알고리즘 적용 결과는 Table 6과 같다. 수도권의 경우, 동일한 하이퍼파라미터를 통해 학습한 결과 전체정확도는 U-Net이 약 77.76%로 DeeplabV3+(76.26%)보다 높은 성능을 산출하였다. 전체정확도 외에도 건물(83.39%), 주차장(76.48%), 도로 (68.19%) 및 논(78.98%) 항목에 대해서 U-Net이 Deeplab V3+ 보다 높은 성능을 보였다. 밭(65.41%), 산림(87.07) 및 나지(24.85%) 항목에서는 DeeplabV3+ 알고리즘이 근소하게 높은 분류 정확도를 산출하였다. 수도권에서는 산림이 가장 높은 분류 성능을 보였으며, 건물 및 논 항목에서도 두 알고리즘 모두 70% 이상의 정확도를 산출하였다.

Table 6. Algorithm accuracy for each category of Seoul Gyeonggi region classification in the aerial image dataset

OGCSBN_2021_v37n5_1_871_t0006.png 이미지

강원충청권 항공영상의 경우, 산출된 결과는 Table 7과 같다. DeeplabV3+ 알고리즘의 정확도가 약 77.9%로 U-Net 알고리즘보다 높은 정확도가 산출되었다. 강원 충청권 또한 분류 항목별 정확도 차이가 존재하였다. 건물 및 도로 항목에서 U-Net과 비교하여 높은 정확도가 산출되었으며, 논 항목의 경우, 두 알고리즘 모두 수도권 데이터셋보다 낮은 정확도가 산출되었다. 산림 (89.53%) 및 나지 항목(43.11%)의 경우 수도권과 동일하게 DeeplabV3+가 높은 성능을 보였으며, 주차장(56.46%) 항목의 경우 U-Net이 높은 정확도가 산출되었다.

Table 7. Algorithm accuracy for each classification item in Gangwon-Chungcheong of the aerial image dataset

OGCSBN_2021_v37n5_1_871_t0007.png 이미지

위성 이미지를 U-Net 및 DeeplabV3+ 알고리즘에 학 습한 수도권 데이터셋 결과는 Table 8과 같다. 수도권의 경우, 전체정확도는 U-Net이 91.4%로 가장 높게 산출되었으며, 산림 항목이 가장 높은 약 95.6%의 정확도 성능을 보였다. 수도권에서는 대부분의 항목에서 U-Net 알고리즘이 높은 정확도를 나타내었으나, 분류항목이 아닌 부분에 대해서는 DeeplabV3+가 약 3% 정도 높은 성능을 산출하였다. 이러한 결과의 차이는 각 지역(수도권 및 강원 충청권 등)의 토지피복 특성이 반영된 학습 데이터가 만들어지고, 이를 학습한 알고리즘의 결과에 의한 것이다. 이에, 각 지역의 토지피복 특성 및 항목별 면적에 따라 알고리즘의 학습 성능에 차이가 존재한다.

Table 8. Algorithm accuracy for each category of SeoulGyeonggi region classification of satellite image dataset

OGCSBN_2021_v37n5_1_871_t0008.png 이미지

강원충청권 AI Dataset의 분류 결과는 Table 9와 같다. 전체정확도의 경우, 수도권과 같이 U-Net 알고리즘이 80.75%로 DeeplabV3+ 알고리즘보다 높은 성능을 나타내었다. 이 결과는 항공영상보다 조금 더 향상된 정확도를 나타내었다. 건물 및 도로 항목에서는 DeepabV3+가 U-Net과 비교하여 높은 성능을 나타내었으며, 나머지 항목에서는 U-Net이 높은 정확도를 산출하였다. 수도권 및 강원 충청권 모두 산림 항목의 경우 70% 이상의 높은 정확도를 나타내었으며, 밭 항목에서 수도권보다 강원충청권이 근소하게 높은 성능을 나타내었다. 항공영상 및 위성영상에 의한 결과 분석의 차이는 두 영상 기반의 학습 데이터의 차이이다. 학습 데이터는 각 지역별 항목 면적 및 토지피복 특성을 반영하고, 공간 해상도에 의한 학습 가능한 객체의 영향을 받는다.

Table 9. Algorithm accuracy for each classification item in Gangwon-Chungcheong of the satellite image dataset

OGCSBN_2021_v37n5_1_871_t0009.png 이미지

5. 결론 및 제언

본 연구는 제4차 국가철도망 구축계획, 수도권 3기 신도시 건설 등 다양한 개발사업에 의하여 변화하는 환경현황 중 삶의 직접적인 영향을 크게 미치는 토지피복의 변화 및 예측을 AI 기반으로 전환하기 위함이다. 이를 위해, 첫째 최근 다양하게 활용되는 AI 학습 데이터를 구축하였다. 토지피복 변화를 모니터링 하기 위한 원격탐사 데이터는 위성영상 (Sentinal 2) 및 항공영상을 사용하였다. AI 학습 데이터는 다양한 공간해상도를 활용할 수 있도록 Multi-resolution 데이터셋을 구축하였으며, 공간해상도 0.51 m 항공영상 및 10 m 위성영상을 활용하였다.

둘째, 효율적인 인공지능 학습 데이터를 구축하기 위하여 정밀 Fine annotation에 한정하지 않고, Coarse annotation을 포함한 두 가지 annotation 데이터를 구축하였다. 이는 토지피복 모니터링의 신속성과 대규모 학습 데이터 구축을 위한 방안이다. 토지피복 항목 분류의 기본 데이터는 세분류 토지피복지도 및 도시생태 현황도 등을 활용하였다.

셋째, 본 연구를 통하여 구축된 대규모 AI 학습 데이터의 오류를 저감하기 위하여 검수과정을 수행하였다. 검수과정은 정제 데이터 검수, 어노테이션 검수 및 샘플링 검수의 3단계를 수행하였다. 이를 통하여 전체적으로 발생 가능한 오류를 줄일 수 있었다.

넷째, 본 연구를 통하여 구축된 토지피복 AI 학습 데이터셋을 Semantic segmentation에서 보편적으로 활용되는 U-Net, DeeplabV3+ 알고리즘에 학습하여 학습 결과를 비교하였다. 분석결과, 항공영상 및 위성영상 각각에 대하여 U-Net이 전반적으로 높은 정확도를 나타냈으며, 토지피복 분류 항목에서는 수도권의 산림이 약 95%의 정확도로 가장 높은 분류 정확도를 나타내었다. 또한, 향후 토지피복 AI 학습 데이터를 사용자 목적에 맞도록 적정 알고리즘을 분석하였으며, 이를 통하여 본 연구를 통해 구축된 AI 학습데이터의 신뢰도를 높이고자 하였다.

본 연구 의의는 크게 3가지이다. 첫째, 토지피복AI 학습 데이터셋을 Multi-resolution으로 구축하였다는 것이다. 동일한 객체에 대하여 Cm급 항공영상 및 m급 위성 영상을 함께 학습데이터로 구축하여 다양한 조건에서 AI 알고리즘에 적용될 수 있도록 하였다. 둘째, 동일한 객체에 대하여 Fine 및 Coarse annotation 데이터셋을 함께 구축하였다. 이를 통하여 정밀한 AI 학습 데이터 및 대규모 데이터 구축을 동시에 수행하였다. 향후, fine annotation과 비교하여 coarse annotation의 정확도 비교 등 연구의 확장이 가능할 것으로 사료된다.

셋째, 최근 보편적으로 활용되는 AI 알고리즘을 통하여 본 연구를 통하여 만들어진 토지피복 AI 학습 데이터셋을 검증하였다. U-Net, DeeplabV3+ 알고리즘을 적용하여 정확도를 검증하였다.

본 연구는 국내에서 처음으로 항공영상 및 위성영상을 활용하여 대규모 AI 학습데이터를 구축, 검증 및 알고리즘 적용이라는 과정을 완료했다는 의의가 있다. 또한, 각 항목별 토지피복 분류에 적합한 학습 데이터와 알고리즘을 정립하는 기초 연구를 수행하였다. 현재, AI와 관련된 다양한 연구가 진행 중이며, 이중 AI 학습 데이터셋은 향후, 주요 AI 분야의 주요 분야가 될 것이며, 본 결과는 도움이 되는 참조자료로 활용될 것이다(Kussul et al., 2016; Zhang et al., 2019; Lyu et al., 2016; Zhang et al., 2020). 또한, 향후 한국 전체를 대상으로 토지피복 AI 학습 데이터셋이 구축된다며, 토지피복 분류 및 변화탐지를 넘어 토지피복을 활용하는 다양한 환경연구에도 활 용성이 기대된다.

사사

본 논문은 한국환경정책·평가연구원이 환경부의 재원으로 한국환경산업기술원의 수요 대응형 물 공급 서비스연구사업의 지원(RE201901145) 및 한국연구재단의 이공학 개인기초연구(NRF 2018R1D1A1B07041203)에 의해 수행되었습니다.

References

  1. Aviles-Cruz, C., A. Ferreyra-Ramirez, A. Zuniga-Lopez, and J. Villegas-Cortez, 2019. Coarse-fine convolutional deep-learning strategy for human activity recognition, Sensors, 19(7): 1556. https://doi.org/10.3390/s19071556
  2. Azimi, S.M., C. Henry, L. Sommer, A. Schumann, and E. Vig, 2019. Skyscapes fine-grained semantic understanding of aerial scenes, Proc. of the IEEE/CVF International Conference on Computer Vision, Seoul, KR, Oct. 27-Nov. 2, pp. 7393-7403.
  3. Azimi, S.M., M. Kraus, R. Bahmanyar, and P. Reinartz, 2021. Multiple Pedestrians and Vehicles Tracking in Aerial Imagery Using a Convolutional Neural Network, Remote Sensing, 13(10): 1953. https://doi.org/10.3390/rs13101953
  4. AI hub home page, https://aihub.or.kr/, Accessed on Aug. 10, 2021.
  5. Boguszewski, A., D. Batorski, N. Ziemba-Jankowska, A. Zambrzycka, and T. Dziedzic, 2020. LandCover. ai: Dataset for Automatic Mapping of Buildings, Woodlands and Water from Aerial Imagery, arXiv preprint, arXiv: 2005.02264.
  6. Bondi, E., R. Jain, P. Aggrawal, S. Anand, R. Hannaford, A. Kapoor, J. Piavis, S. Shah, L. Joppa, and B. Dilkina, 2020. BIRDSAI: A dataset for detection and tracking in aerial thermal infrared videos, Proc. of the IEEE/CVF Winter Conference on Applications of Computer Vision, Snowmass Village, Snowmass, CO, USA, Mar. 1-5, pp. 1747-1756.
  7. Brostow, G.J., J. Fauqueur, and R. Cipolla, 2009. Semantic object classes in video: A high-definition ground truth database, Pattern Recognition Letters, 30(2): 88-97. https://doi.org/10.1016/j.patrec.2008.04.005
  8. Chen, L., Y. Zhu, G. Papandreou, F. Schroff, and H. Adam, 2018. Encoder-decoder with atrous separable convolution for semantic image segmentation, Proc. of the European conference on computer vision (ECCV), Munich, DE, Sep. 8-14. pp. 801-818.
  9. Cordts, M., M. Omran, S. Ramos, T. Rehfeld, M. Enzweiler, R. Benenson, U. Franke, S. Roth, and B. Schiele, 2016. The cityscapes dataset for semantic urban scene understanding, Proc. of the IEEE conference on computer vision and pattern recognition, Las Vegas, NV, Jun. 27-30. pp. 3213-3223.
  10. Common Objects in Context home page, https://cocodataset.org/, Accessed on Aug. 4, 2021.
  11. Everingham, M., S.A. Eslami, L. Van Gool, C.K. Williams, J. Winn, and A. Zisserman, 2015. The pascal visual object classes challenge: A retrospective, International Journal of Computer Vision, 111(1): 98-136. https://doi.org/10.1007/s11263-014-0733-5
  12. Everingham, M., L. Van Gool, C.K. Williams, J. Winn, and A. Zisserman, 2010. The pascal visual object classes (voc) challenge, International Journal of Computer Vision, 88(2): 303-338. https://doi.org/10.1007/s11263-009-0275-4
  13. ETRI AI API, Data home page, https://aiopen.etri.re.kr/, Accessed on Aug. 5, 2021.
  14. Guidici, D. and M.L. Clark, 2017. One-Dimensional convolutional neural network land-cover classification of multi-seasonal hyperspectral imagery in the San Francisco Bay Area, California, Remote Sensing, 9(6): 629. https://doi.org/10.3390/rs9060629
  15. Gangwon province home page, https://provin.gangwon.kr, Accessed on Jun. 18, 2021.
  16. Gyeonggi province home page, https://www.gg.go.kr/, Accessed on Aug. 10, 2021.
  17. Helber, P., B. Bischke, A. Dengel, and D. Borth, 2019. Eurosat: A novel dataset and deep learning benchmark for land use and land cover classification, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 12(7): 2217-2226. https://doi.org/10.1109/jstars.2019.2918242
  18. Krizhevsky, A., I. Sutskever, and G.E. Hinton, 2012. Imagenet classification with deep convolutional neural networks, Advances in Neural Information Processing Systems, 25: 1097-1105.
  19. Kussul, N., M. Lavreniuk, S. Skakun, and A. Shelestov, 2017. Deep learning classification of land cover and crop types using remote sensing data, IEEE Geoscience and Remote Sensing Letters, 14(5): 778-782. https://doi.org/10.1109/LGRS.2017.2681128
  20. Kussul, N.N., N.S. Lavreniuk, A.Y. Shelestov, B.Y. Yailymov, and I.N. Butko, 2016. Land cover changes analysis based on deep machine learning technique, Journal of Automation and Information Sciences, 48(5): 42-54. https://doi.org/10.1615/jautomatinfscien.v48.i5.40
  21. Kwan, C., B. Ayhan, B. Budavari, Y. Lu, D. Perez, J. Li, S. Bernabe, and A. Plaza, 2020. Deep learning for Land Cover Classification using only a few bands, Remote Sensing, 12(12): 1-17.
  22. Kaggle home page, https://Kaggle.com/datasets, Accessed on Aug. 5, 2021.
  23. Korea Environmental Geospatial Information Service home page, https://egis.me.go.kr/main.do, Accessed on Jul. 12, 2021.
  24. Korea Law Information Center, https://www.law.go.kr, Accessed on Jul. 23, 2021.
  25. Lee, S., K. Han, K. Lee, K. Lee, K. Oh, and M. Lee, 2020. Classification of Landscape Affected by Deforestation Using High-Resolution Remote Sensing Data and Deep-Learning Techniques, Remote Sensing, 12(20): 3372. https://doi.org/10.3390/rs12203372
  26. Lee, S. and J. Kim, 2019. Land cover classification using sematic image segmentation with deep learning, Korean Journal of Remote Sensing, 35(2): 279-288 (in Korean with English abstract). https://doi.org/10.7780/KJRS.2019.35.2.7
  27. Lee, S. and M. Lee, 2020. A Study on Deep Learning Optimization by Land Cover Classification Item Using Satellite Imagery, Korean Journal of Remote Sensing, 36(6-2): 1591-1604 (in Korean with English abstract). https://doi.org/10.7780/KJRS.2020.36.6.2.9
  28. Lin, T., M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Dollar, and C.L. Zitnick, 2014. Microsoft coco: Common objects in context, European conference on computer vision, Zurich, Switzerland, CH, Sep. 6-12. pp. 740-755.
  29. Long, J., E. Shelhamer, and T. Darrell, 2015. Fully convolutional networks for semantic segmentation, Proc. of the IEEE conference on computer vision and pattern recognition, Boston, MA, Jun. 7-12. pp. 3431-3440.
  30. Luo, Y., Z. Wang, Z. Huang, Y. Yang, and C. Zhao, 2018. Coarse-to-fine annotation enrichment for semantic segmentation learning, Proc. of the 27th ACM International Conference on Information and Knowledge Management, Torino, IT, Oct. 22-26. pp. 237-246.
  31. Lyu, H., H. Lu, and L. Mou, 2016. Learning a transferable change rule from a recurrent neural network for land cover change detection, Remote Sensing, 8(6): 506. https://doi.org/10.3390/rs8060506
  32. Mohamadou, Y., A. Halidou, and P.T. Kapen, 2020. A review of mathematical modeling, artificial intelligence and datasets used in the study, prediction and management of COVID-19, Applied Intelligence, 50(11): 3913-3925. https://doi.org/10.1007/s10489-020-01770-9
  33. Najafabadi, M.M., F. Villanustre, T.M. Khoshgoftaar, N. Seliya, R. Wald, and E. Muharemagic, 2015. Deep learning applications and challenges in big data analytics, Journal of big data, 2(1): 1-21. https://doi.org/10.1186/s40537-014-0007-7
  34. Nijhawan, R., D. Joshi, N. Narang, A. Mittal, and A. Mittal, 2019. A futuristic deep learning framework approach for land use-land cover classification using remote sensing imagery, Advanced Computing and Communication Technologies, 2019: 87-96.
  35. Noh, H., S. Hong, and B. Han, 2015. Learning deconvolution network for semantic segmentation, Proc. of the IEEE international conference on computer vision, Santiago, CL, Dec. 7-13. pp. 1520-1528.
  36. Paul, S. and L. Singh, 2015. A review on advances in deep learning, 2015 IEEE Workshop on Computational Intelligence: Theories, Applications and Future Directions (WCI), Kochi, IN, Aug. 10-13. pp. 1-6.
  37. Rakhlin, A., A. Davydow, and S. Nikolenko, 2018. Land cover classification from satellite imagery with u-net and lovasz-softmax loss, Proc. of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, Salt Lake City, UT, Jun. 18-22. pp. 262-266.
  38. Ronneberger, O., P. Fischer, and T. Brox, 2015. U-net: Convolutional networks for biomedical image segmentation, Proc. of International Conference on Medical image computing and computer-assisted intervention, Munich, GER, Oct. 5-9. pp. 234-241.
  39. Russwurm, M. and M. Korner, 2017. Multi-temporal Land Cover Classification with Long Short-Term Memory Neural Networks, International Archives of the Photogrammetry, Remote Sensing & Spatial Information Sciences, 42: 551-558. https://doi.org/10.5194/isprs-archives-XLII-1-W1-551-2017
  40. Shrestha, A. and A. Mahmood, 2019. Review of deep learning algorithms and architectures, IEEE Access, 7: 53040-53065. https://doi.org/10.1109/access.2019.2912200
  41. The province of chungchengbuk-do home page, https://chungbuk.go.kr, Accessed on Jul. 12, 2021.
  42. The province of chungchengnam-do home page, https://chungnam.go.kr, Accessed on Jul. 23, 2021.
  43. Vargas, R., A. Mosavi and R. Ruiz, 2017. Deep learning: a review. Queensland University of Technology, Brisbane, Queensland, AU.
  44. Wang, M., H. Zhang, W. Sun, S. Li, F. Wang, and G. Yang, 2020. A Coarse-to-Fine deep learning based land use change detection method for high-resolution remote sensing images, Remote Sensing, 12(12): 1933. https://doi.org/10.3390/rs12121933
  45. Wang, M., H. Zhang, W. Sun, S. Li, F. Wang, and G. Yang, 2020. A Coarse-to-Fine deep learning based land use change detection method for high-resolution remote sensing images, Remote Sensing, 12(12): 1933. https://doi.org/10.3390/rs12121933
  46. Xia, G., X. Bai, J. Ding, Z. Zhu, S. Belongie, J. Luo, M. Datcu, M. Pelillo, and L. Zhang, 2018. DOTA: A large-scale dataset for object detection in aerial images, Proc. of the IEEE conference on computer vision and pattern recognition, Salt Lake City, UT, Jun. 18-23. pp. 3974-3983.
  47. Zhang, C., P.A. Harrison, X. Pan, H. Li, I. Sargent, and P.M. Atkinson, 2020. Scale Sequence Joint Deep Learning (SS-JDL) for land use and land cover classification, Remote Sensing of Environment, 237: 111593. https://doi.org/10.1016/j.rse.2019.111593
  48. Zhang, C., I. Sargent, X. Pan, H. Li, A. Gardiner, J. Hare, and P.M. Atkinson, 2019. Joint Deep Learning for land cover and land use classification, Remote Sensing of Environment, 221: 173-187. https://doi.org/10.1016/j.rse.2018.11.014
  49. Zhang, W., K. Song, X. Rong and Y. Li, 2018. Coarse-to-fine uav target tracking with deep reinforcement learning, IEEE Transactions on Automation Science and Engineering, 16(4): 1522-1530. https://doi.org/10.1109/tase.2018.2877499

Cited by

  1. 드론 영상으로부터 월동 작물 분류를 위한 의미론적 분할 딥러닝 모델 학습 최적 공간 해상도와 영상 크기 선정 vol.37, pp.6, 2021, https://doi.org/10.7780/kjrs.2021.37.6.1.7