Detection of Plastic Greenhouses by Using Deep Learning Model for Aerial Orthoimages

딥러닝 모델을 이용한 항공정사영상의 비닐하우스 탐지

Abstract

The remotely sensed data, such as satellite imagery and aerial photos, can be used to extract and detect some objects in the image through image interpretation and processing techniques. Significantly, the possibility for utilizing digital map updating and land monitoring has been increased through automatic object detection since spatial resolution of remotely sensed data has improved and technologies about deep learning have been developed. In this paper, we tried to extract plastic greenhouses into aerial orthophotos by using fully convolutional densely connected convolutional network (FC-DenseNet), one of the representative deep learning models for semantic segmentation. Then, a quantitative analysis of extraction results had performed. Using the farm map of the Ministry of Agriculture, Food and Rural Affairsin Korea, training data was generated by labeling plastic greenhouses into Damyang and Miryang areas. And then, FC-DenseNet was trained through a training dataset. To apply the deep learning model in the remotely sensed imagery, instance norm, which can maintain the spectral characteristics of bands, was used as normalization. In addition, optimal weights for each band were determined by adding attention modules in the deep learning model. In the experiments, it was found that a deep learning model can extract plastic greenhouses. These results can be applied to digital map updating of Farm-map and landcover maps.

위성영상 및 항공사진과 같은 원격탐사 자료들은 영상판독과 영상처리 기법을 통하여 영상 내의 객체를 탐지하고 추출하는 데에 사용될 수 있다. 특히, 원격탐사 자료의 해상도가 향상되고, 딥러닝(deep learning) 모델 등과 같은 기술의 발전으로 인하여 관심객체를 자동으로 추출하여 지도갱신 및 지형 모니터링 등에 활용될 수 있는 가능성이 증대되고 있다. 이를 위해, 본 연구에서는 의미론적 분할에 사용되는 대표적인 딥러닝 모델인 fully convolutional densely connected convolutional network (FC-DenseNet)을 기반으로 하여 항공정사영상 내 존재하는 비닐하우스를 추출하고, 이에 대한 결과를 정량적으로 평가하였다. 농림축산식품부의 팜맵(farm map)을 이용하여 담양, 밀양지역의 비닐하우스에 대한 레이블링을 수행하여 훈련자료를 생성하고, 훈련자료를 이용하여 FC-DenseNet의 훈련을 수행하였다. 원격탐사자료에 딥러닝 모델을 효과적으로 이용하기 위하여, 각 밴드별 특성이 유지되도록 instance norm을 이용하여 정규화과정을 수행하였으며, attention module을 추가하여 각 밴드별 가중치를 효과적으로 산정하였다. 실험결과, 딥러닝 모델을 이용하여 영상 내 존재하는 비닐하우스 지역을 효과적으로 추출할 수 있음을 확인하였으며 팜맵, 토지피복지도 등의 갱신에 활용될 수 있을 것으로 판단하였다.

1. 서론

항공영상, 위성영상 등과 같은 원격탐사 자료를 이용하여 광범위 지역에 대한 정보를 취득할 수 있기 때문에 다양한 센서를 통하여 취득된 원격탐사 자료들은 토목, 농업, 산림, 도시, 환경 등 다양한 분야에서 사용되고 있다. 특히, 최근의 인공위성 센서들은 0.3 m 내외의 공간해상도를 가지는 고해상도 영상을 제공하거나, 다수의 위성 센서들을 운용하여 동일지역에 대한 시계열(multi-temporal) 영상들을 제공함으로써 영상의 활용성을 증대시키고 있다. 예를 들어, 국내의 경우에 국토교통부는 지도제작과 국토모니터링을 위하여 전정색 영상 기준 약 0.5 m의 공간해상도를 가지는 차세대중형위성 1호(CAS500-1)를 발사하여 운용 중에 있으며, 농촌진흥청과 산림청은 농산물 수급조절 활용 정책을 위하여 공간해상도 5 m 급의 차세대중형위성 4호인 농림위성을 2025년 발사예정에 있다.

이와 같이, 원격탐사 자료의 취득이 용이해지고 자료의 공간해상도가 높아짐에 따라서 위성영상 내에서 선박, 건물, 자동차 등의 다양한 객체들을 탐지하기 위한 시도들이 이루어지고 있으며, 딥러닝(deep learning) 및 컴퓨터 비전(computer vision)과 같은 최신 기술의 발전으로 인하여 해당 객체들의 탐지에 대한 연구가 활발히 이루어지고 있다. Lee and Lee (2021)는 원격탐사 자료를 이용하여 토지피복지도를 생성하기 위한 인공지능 훈련자료 구축 방법을 제시하고 이에 대한 평가를 수행하였으며, Ye et al. (2022)은 고해상도 원격탐사 위성영상에서 의미론적 건물 분할을 위해서 DeepResUNet 모델을 기본으로 잔차학습 단위를 개선한 convolution block attention module (CBAM)을 결합하여 새로운 건물 분할 모델을 제안하였다. Yoo et al. (2022)은 WorldView-3 위성영상으로부터 건물을 자동으로 탐지하기 위한 U-Net 기반의 네트워크를 개발하였으며, Kim et al. (2021)은 unmanned aerial vehicle (UAV)로 촬영된 영상에 You Only Look Once (YOLO) 모델을 활용하여 수치지도 지형지물 표준코드에서 정의하고 있는 건물 8종에 대한 객체 탐지 분석을 수행하였다. 항공사진으로부터 효율적인 자동차 탐지를 위하여 Omar et al. (2021)은 YOLOv4를 적용하였으며, Perez et al. (2019)은 convolutional neural networks (CNN)과 class activation mapping (CAM) 기법을 적용하여 주요 건물의 결함을 자동으로 탐지하고 위치를 결정하고자 하였다. Chen et al. (2022)은 딥러닝을 이용하여 위성영상과 항공사진 등 고해상도 이미지로 부터 효과적으로 건물을 탐지하 방법을 제안하였으며, Xu et al. (2018)은 U-Net 기반의 딥러닝 모델을 제안하여 고해상도 위성영상으로부터 건물을 탐지하였다.

비닐하우스(plastic greenhouses) 지역은 농촌지역의 현황을 효과적으로 관리하고 작황모니터링을 수행하는 데에 필요한 중요객체 중의 하나이다. 국내의 경우, 팜맵(farm map)이나 환경부의 토지피복지도 등에 시설물 혹은 비닐하우스 속성으로 해당 객체에 대한 공간정보를 구축하고 있다. 비닐하우스에 대한 공간정보를 구축함에 있어 대부분 육안판독(image interpretation)을 통한 디지타이징(digitizing) 기법을 이용하고 있는데, 본 연구에서는 딥러닝 모델을 이용하여 원격탐사 자료 내의 비닐하우스 영역을 자동으로 탐지할 수 있는지를 분석하고자 하였다. 이를 위하여, 전라남도 담양읍과 경상남도 밀양시 일대의 항공정사영상과 팜맵을 이용하여 비닐하우스 영역에 대한 딥러닝 모델의 훈련자료(training data)를 제작하였으며, 의미론적 분할(semantic segmentation)에 사용되는 대표적인 딥러닝 모델인 fully convolutional densely connected convolutional network(FC-DenseNet) 모델을 이용하여 비닐하우스 영역을 자동 추출하였다. 생성된 딥러닝 모델은 경상남도 창원 및 김해시를 촬영한 항공정사영상에 적용하여 모델의 성능을 분석 및 평가하였다.

2. 실험지역 및 자료

2.1. 실험자료의 제원 및 실험지역

국토지리정보원에서 제공하고 있는 항공사진은 공간해상도 25 cm이며, B, G, R의 3밴드로 이루어져 있다. 특히, 2021년부터는 1년 주기로 항공사진촬영을 수행하고 있어서 국토 모니터링 및 지도제작에 효과적으로 항공사진을 사용할 수 있는 주기적 특성을 가지고 있다. 본 실험에서는 항공사진 내에 존재하는 비닐하우스 영역을 추출하기 위하여, 전라남도 담양읍과 경상남도 밀양시 일대의 항공정사영상을 이용하여 훈련자료를 구축하였다. 해당 지역들은 Fig. 1(a, b)에서 확인할 수 있는 것과 같이, 비닐하우스가 넓게 분포하고 있으며, 다양한 형태와 크기를 가지고 있다. 한편, 해당 자료를 이용하여 구성된 훈련자료를 통하여 학습된 모델들은 해당 지역 내에서는 높은 성능을 보일 수 있지만, 학습에 사용되지 않은 지역에 대해서는 모델의 적용이 효과적으로 되지 않을 수 있다. 이를 검증하기 위하여, 딥러닝 모델의 평가를 위하여 사용된 항공사진은 경상남도 창원 및 김해시에 대한 영상을 활용하였다(Fig. 1c).

Fig. 1. Study area for extraction of plastic greenhouses. (a) 1st area fortraining data. (b) 2nd area fortraining data. (c) 3rd area for test data.

2.2. 훈련자료 제작을 위한 팜맵

팜맵은 고해상도 항공사진, 위성영상 등의 원격탐사 자료들을 이용하여 농경지의 위치, 형상, 면적과 해당 경지의 이용현황(논, 밭, 과수, 시설, 인삼 등)을 구축한 공간정보이다. 팜맵은 총 16개의 속성정보를 가지고 있으며, 2016년에 전국 단위로 구축된 이래 2년 주기로 갱신을 수행하고 있다. Fig. 2와 같이 필지단위로 구분되어 있는 공간정보라는 점에서는 지적도와 유사한 특성을 가지고 있지만, 팜맵은 농경지에 대한 자세한 정보를 포함하고 있기 때문에 농업을 포함한 다양한 분야에 활용할 수 있는 특징을 지닌다.

Fig. 2. Overview of the farm map.

3. 연구방법

본 연구에서는 항공사진 내에 존재하는 비닐하우스 영역을 탐지하고, 이에 대한 정확도 및 딥러닝 모델의 성능을 분석하고자 하였다. 이를 위하여 항공사진을 이용하여 훈련자료를 제작하였으며, 의미론적 분할에 사용되는 대표적인 딥러닝 모델인 FC-DenseNet을 기반으로 하여 비닐하우스 영역 탐지를 위한 딥러닝 모델을 구축하였다.

3.1. 비닐하우스 추출을 위한 훈련자료 생성

딥러닝 모델의 학습을 위하여 다시기 항공정사영상을 통한 훈련자료를 제작하였다. 앞서 언급한 바와 같이, Fig. 1(a, b)의 전라남도 담양읍, 경상남도 밀양시에 대한 총 11도엽의 항공정사영상 및 팜맵을 이용하여 훈련자료를 구축하였다. 먼저, 팜맵에 기구축되어 있는 속성자료 내 비닐하우스 지역을 초기훈련자료로 활용하였다. 그러나, 팜맵과 항공정사영상 구축의 시간 차이로 인하여 항공정사영상에 존재하는 일부 비닐하우스 지역이 팜맵에는 존재하지 않는 경우가 발생할 수 있다. 따라서, 팜맵을 기반으로 육안판독을 수행하여 실험지역에 대한 참조자료를 구축하였다. 딥러닝 모델의 훈련을 위하여 입력영상을 영상 패치(image patch) 단위로 구성하였다. 11도엽의 영상을 256 × 256 크기로 분할하여 영상 패치를 생성하였다. 다만, 딥러닝 모델의 훈련과정에서 과도하게 비닐하우스 지역의 비율이 높을 경우에는 비닐하우스 이외의 지역을 오분류할 가능성이 있기 때문에, 2단계로 영상 패치를 제작하였다. 첫 번째로, 11장 도엽 전체에 대하여 영상 패치를 제작하였다. 두 번째로는 영상 패치 내 비닐하우스 영역이 30% 이상 존재하는 지역에 대해서 추가적인 영상 패치를 제작하되, 패치 제작과정에서 50%의 중복(overlap) 및 90도 회전 방향의 변환을 통하여 자료 증강(data augmentation)을 수행하였다. 2단계의 훈련자료 제작 과정을 통하여 51,044개의 영상 패치를 제작하였으며, 딥러닝 모델 훈련과정에서 발생할 수 있는 과적합(overfitting)을 확인하기 위하여 47,168개는 훈련자료(training data), 3,876개는 검증 자료(validation data)로 사용하였다. Fig. 3은 비닐하우스 및 이외 지역에 대한 훈련자료 생성 결과의 예이다.

Fig. 3. Image patches of the training dataset. (a) Aerial photo of plastic greenhouse areas. (b) Reference data of (b). (c) Aerial photo of non-plastic greenhouse areas reference data. (d) Reference data of (d).

3.2. 비닐하우스 영역 탐지를 위한 딥러닝 모델의 구성

생성된 훈련자료를 이용하여 항공정사영상 내 비닐하우스 지역 탐지를 위하여 딥러닝 모델을 구성하고, 이에 대한 훈련을 진행하였다. 실험에 사용한 모델은 Jégou et al. (2017)에 의하여 개발된 FC-DenseNet을 원격탐사 자료의 이진분류(binary classification)에 활용하기 위하여 attention module을 추가한 attention gated FC-DenseNet 모델을 활용하였다(Jégou et al., 2017; Seong et al., 2021). FC-DenseNet은 합성곱 연산(convolution)의 일종인 denseblock을 의미론적 분할(semantic segmentation)에 사용할 수 있도록 encoder-decoder 형태로 재구성한 모델이다.

Denseblock은 합성곱 연산 과정에서 생성된 특징맵(feature map)들을 모든 계층으로 연결하여, 모델의 깊이를 효율적으로 증대시키는 구조를 가진다(Huang et al., 2017). Attention gated FC-DenseNet은 입력자료에 대한 특징맵을 추출하기 위한 기본적인 네트워크는 DenseNet을 사용하고, 효과적인 영상분할을 위하여 encoder-decoder 형태로 전체적인 구조를 지니되, decoder 과정 내 스킵 연결(skip connection)시에 CBAM을 추가한 모델이다. Attention gated FC-DenseNet의 전체적인 구조는 Fig. 4와 같다.

Fig. 4. The structure of the attention gated FC-DenseNet model.

모델은 크게 encoder와 decoder 부분으로 구분할 수 있으며, encoder 부분은 denseblock과 transition down 부분으로 이루어져있다. Denseblock은 instance normalization, rectified linear unit (ReLU), 합성곱 연산, dropout으로 구성되어 있다. 기존의 denseblock에서 특징맵의 정규화는 배치 정규화(batch normalization)를 사용하지만, 원격탐사 자료의 각 밴드별 특성을 강조하기 위하여 본 연구에서는 특징맵 단위의 정규화과정인 instance normalization을 사용하였다. Transition down은 encoder 부분에서 특징맵의 크기를 감소시키기 위하여 사용된다. 총 5단계의 denseblock과 transition down 과정을 거쳐 1/32의 크기로 축소된 특징맵을 생성한 후, denseblock으로만 구성된 bottleneck을 적용하였다. 이후, decoder 부분에서 denseblock과 transition up 과정을 통하여 원 영상 패치와 동일한 크기로 복원하면서 비닐하우스 영역과 기타 지역에 대한 공간정보를 생성하게 된다. Fig. 5는 네트워크 내 denseblock, transition down, transition up 과정에 대한 구조를 표현한 것이다.

Fig. 5. The architecture of denseblock, transition down and transition up modules.

Denseblock에서 rate는 합성곱 연산 과정에서 생성되는 특징맵의 개수, repeat은 denseblock 내에서 합성곱 연산의 반복횟수를 나타낸다. 본 연구에서 rate는 16, 각 encoder 및 decoder 단계에서의 repeat은 encoder 기준(4, 5, 7, 10, 12)의 값을 사용하였다.

한편, decoder 부분에서는 encoder 부분에서 생성된 특징맵의 스킵 연결 과정을 거쳐 공간적인 정보가 보강되는데, 스킵 연결된 특징맵의 정보를 효과적으로 구성하기 위하여, attention module 형태의 CBAM을 추가하였다(Woo et al., 2018). CBAM은 특징맵들의 각 채널에 대한 가중치를 계산하여 이를 네트워크에 반영하는 channel attention module (CAM)과 특징맵의 각 화소 위치에 대한 가중치를 계산하여 이를 네트워크에 반영하는 spatial attention module (SAM)로 구성된다. CAM과 SAM은 순차적으로 적용되며, 각 모듈에 대한 구성은 Fig. 6과 같다(Woo et al., 2018).

Fig. 6. The architecture of convolution block attention module.

3.3. 딥러닝 모델의 정확도 평가방법

본 연구에서 훈련된 딥러닝 모델은 비닐하우스 지역과 그 외의 지역에 대하여 이진분류를 수행하게 된다. 따라서 딥러닝 모델의 성능평가는 이진분류에 대한 Table 1의 오차행렬(confusion matrix)을 이용하여 정밀도(Precision), 재현율(Recall), F1-score를 계산하였다. 각 값의 계산식은 다음과 같다.

Table 1. Confusion matrix

\(\begin{aligned}\text {Precision}=\frac{T P}{T P+F P}\end{aligned}\)       (1)

\(\begin{aligned}\text{Recall}=\frac{T P}{T P+F N}\end{aligned}\)       (2)

\(\begin{aligned}F 1-\text {score}=2 \times \frac{\text { Precision } \times \text { Recall }}{\text { Precision }+ \text { Recall }}\end{aligned}\)       (3)

4. 실험결과 및 분석

4.1. 모델의 학습

Pytorch를 통하여 딥러닝 모델을 구현하고, 훈련자료를 이용하여 딥러닝 모델의 학습을 진행하였다. 딥러닝 모델의 학습을 위한 하드웨어와 훈련에 사용된 하이퍼 파라미터(hyperparameter)는 Table 2와 같다.

Table 2. Hardware and hyperparameters for training of the deep learning model

4.2. 딥러닝 모델의 적용 결과 분석

학습에 사용되지 않은 경상남도 창원 및 김해시 항공 영상 6 도엽에 대한 딥러닝 모델 적용 결과는 Table 3과 같다.

Table 3. Comparative results of plastic greenhouses into each aerial photo

Table 3에서 확인할 수 있는 것과 같이, 6개 도엽에 대한 실험 영상 모두 약 0.84이상의 F1-score 값을 가지는 것을 확인할 수 있었다. 또한, Precision의 경우에는 0.90 이상의 매우 높은 값을 가지고 있는 것을 볼 때, 딥러닝 모델에 의하여 추출된 비닐하우스 지역들은 대부분 바르게 탐지된 것을 확인하였다. 그러나, 일부 도엽에서 0.75 등의 낮은 recall 값을 가지는 결과도 나타났는데, 이는 딥러닝 모델의 결과가 비닐하우스 지역을 과소추정(underestimation)하여 발생하는 것으로 정량적 분석을 통해 추정할 수 있었다. 이를 시각적으로 확인하기 위하여, 딥러닝 모델의 결과를 팜맵, 참조자료와 함께 비교해보았다. Fig. 7은 딥러닝 모델에 의하여 추출된 비닐하우스 탐지 결과를 나타낸 것이며, 각 그림의 붉은색 다각형은 팜맵에 표현된 비닐하우스 지역을 나타낸다. Fig. 7(a, b)에서 볼 수 있는 것과 같이, 모든 비닐하우스 지역이 탐지된 것을 볼 수 있으며 팜맵에 구축되지 않은 비닐하우스 지역이 딥러닝 모델에서 추출된 것을 알 수 있다. 또한, Fig. 7(c, d)과 같이 팜맵에서 비닐하우스로 기록되어 있으나, 항공영상에서는 확인되지 않는 부분들이 딥러닝 모델에서도 검출되지 않는 것을 확인하였다. 따라서, 본 연구에서 개발된 딥러닝 모델을 통하여 기존 팜맵의 비닐하우스 속성을 자동 갱신할 수 있을 것으로 판단된다.

Fig. 7. Classification results of plastic greenhouses. (a) Aerial photo (site 1). (b) Deep learning model results (site 1). (c) Aerial photo (site 2). (d) Deep learning model results (site 2). (e) Aerial photo (site 3). (f) Deep learning model results (site 3).

다만, Fig. 7(f)에서 볼 수 있듯이 비닐하우스 제거 과정에서 일부 구조물이 남아있는 지역들이 비닐하우스로 탐지되었는데, 이러한 부분은 학습자료 구축과정에서 명확한 기준을 수립해야 할 것이다.

4. 결론

본 연구에서는 항공사진 및 위성영상을 이용한 공간 정보의 구축, 특히 팜맵의 자동갱신을 위하여 딥러닝 모델의 활용가능성을 분석하고자 하였다. 이를 위하여 기구축된 팜맵과 항공정사영상을 이용하여 딥러닝 모델의 학습을 위한 훈련자료를 구축하였으며, FC-DenseNet을 기반으로 하는 딥러닝 모델을 이용하여 비닐하우스 지역의 탐지를 수행하고자 하였다. 특히, FC-DenseNet 모델의 성능 향상을 위하여 주목 모듈과 정규화 과정을 추가하였다. 딥러닝 모델의 훈련에 사용하지 않은 항공 정사영상을 이용하여 실험을 수행한 결과, 본 연구에서 개발한 딥러닝 모델이 정사영상에 존재하는 대부분의 비닐하우스 지역을 탐지할 수 있음을 정량적·정성적 평가를 통하여 확인하였다. 이를 통해, 딥러닝 모델의 개발 및 개선을 통해 팜맵의 일부 속성정보들을 자동갱신할 수 있을 것으로 예상된다.