DOI QR코드

DOI QR Code

A Study on Field Compost Detection by Using Unmanned AerialVehicle Image and Semantic Segmentation Technique based Deep Learning

무인항공기 영상과 딥러닝 기반의 의미론적 분할 기법을 활용한 야적퇴비 탐지 연구

  • Kim, Na-Kyeong (Division of Earth Environmental System Science, Major of Spatial Information Engineering, Pukyong National University) ;
  • Park, Mi-So (Division of Earth Environmental System Science, Major of Spatial Information Engineering, Pukyong National University) ;
  • Jeong, Min-Ji (Division of Earth Environmental System Science, Major of Spatial Information Engineering, Pukyong National University) ;
  • Hwang, Do-Hyun (Division of Earth Environmental System Science, Major of Spatial Information Engineering, Pukyong National University) ;
  • Yoon, Hong-Joo (Division of Earth Environmental System Science, Major of Spatial Information Engineering, Pukyong National University)
  • 김나경 (부경대학교 지구환경시스템과학부 공간정보시스템공학 전공) ;
  • 박미소 (부경대학교 지구환경시스템과학부 공간정보시스템공학 전공) ;
  • 정민지 (부경대학교 지구환경시스템과학부 공간정보시스템공학 전공) ;
  • 황도현 (부경대학교 지구환경시스템과학부 공간정보시스템공학 전공) ;
  • 윤홍주 (부경대학교 지구환경시스템과학부 공간정보시스템공학과)
  • Received : 2021.05.28
  • Accepted : 2021.06.16
  • Published : 2021.06.30

Abstract

Field compost is a representative non-point pollution source for livestock. If the field compost flows into the water system due to rainfall, nutrients such as phosphorus and nitrogen contained in the field compost can adversely affect the water quality of the river. In this paper, we propose a method for detecting field compost using unmanned aerial vehicle images and deep learning-based semantic segmentation. Based on 39 ortho images acquired in the study area, about 30,000 data were obtained through data augmentation. Then, the accuracy was evaluated by applying the semantic segmentation algorithm developed based on U-net and the filtering technique of Open CV. As a result of the accuracy evaluation, the pixel accuracy was 99.97%, the precision was 83.80%, the recall rate was 60.95%, and the F1-Score was 70.57%. The low recall compared to precision is due to the underestimation of compost pixels when there is a small proportion of compost pixels at the edges of the image. After, It seems that accuracy can be improved by combining additional data sets with additional bands other than the RGB band.

야적퇴비는 대표적인 축산계 비점오염원으로 강우로 인해 수계로 유입될 경우 야적퇴비에 포함된 인과 질소 등의 영양염류가 하천 수질에 악영향을 미칠 수 있다. 이에 본 논문에서는 무인항공기 영상과 딥러닝 기반의 의미론적 분할 기법을 활용한 야적퇴비 탐지 방법을 제안한다. 연구지역에서 취득한 39개의 정사영상을 토대로 Data Augmentation을 통해 약 30,000개의 데이터를 확보하였다. 취득한 데이터를 U-net을 기반으로 개발된 의미론적 분할 알고리즘에 적용시킨 후 OpenCV의 필터링 기법을 적용하여 정확도를 평가하였다. 정확도 평가 결과 화소정확도는 99.97%, 정밀도는 83.80%, 재현율은 60.95%, F1- Score는 70.57%의 정확도를 보였다. 정밀도에 비해 재현율이 떨어지는 것은 정성적으로 보았을 때 전체 이미지에서 가장자리에 작은 비율로 야적퇴비 픽셀이 존재하는 경우 과소추정되었기 때문이다. 향후 추가적인 데이터셋과 RGB 밴드 이외의 추가 밴드를 조합한다면 모델 정확도를 향상시킬 수 있을 것으로 판단된다.

Keywords

1. 서론

야적퇴비란 야초나 짚, 낙엽 및 기타 동물의 분뇨를 퇴적·발효시킨 비료로 식물 성장에 필요한 질소와 인이 포함되어 있는 비료이다. 이는 대표적인 축산계 비점오염원으로 정체된 호소나 유속이 느린 하천에 인접한 농업 지역에 존재하는 야적퇴비가 강우로 인해 수계로 유입될 경우 이에 포함된 인과 질소 등의 영양염류가 하천 수질에 악영향을 미칠 수 있다(Choi et al., 2012; Gyeongsangnam -do, 2015; Konkuk University, 2016).

Hong and Kim (2001)Lee et al. (2009), Won et al.(2011)은 인공 강우의 조건 하에 강우의 유출시간이나 강도 등에 따라 야적퇴비의 수계유출률이 높아짐을 밝혔다. 강우로 인해 야적퇴비가 수계로 유입될 시 야적퇴비에 포함되어 있는 영양염류로 부영양화가 발생할 수 있으며, 부영양화는 수생태계를 파괴할 수 있는 위험성을 가지고 있다고 하였다. Park et al. (2019)은 무인항공기를 활용하여 야적퇴비 관리 상태와 적재량 변화 모니터링을 수행하였으나 야적퇴비가 있는 곳을 직접 촬영하는 수동 촬영을 통해 넓은 지역에 분포하는 야적퇴비를 탐지하기에 많은 시간이 소요되었다. 현재 야적퇴비는 실제 현장조사를 통한 존재 유무 여부로 관리되는 경우가 대부분이며 원격탐사 및 GIS등을 활용한 공간 분포에 따른 정량적인 분포 산정에 대한 연구는 부족한 상태이다.

따라서 광범위한 지역에 산발적으로 분포되어 있는 야적퇴비를 탐지하고 수생태계에 미치는 영향에 대한 정량적인 조사를 위해 원격탐사 기법의 적용이 필요하다고 판단된다. 원격탐사를 이용한 탐지 기법은 분광학적인 특성과 형태학적인 특성을 이용하여 타겟에 대한 특징을 분류한다(Bak et al., 2016; Kim et al., 2017; Ha et al., 2017; Na et al., 2019). 하지만 야적퇴비의 경우 퇴비가 비닐로 완전히 덮인 형태나 반만 덮여있는 경우, 또는 비닐로 덮이지 않아 퇴비가 완전히 드러나 있는 경우 등 다양한 모습으로 존재하기 때문에 분광학적인 특성만 사용하거나 형태학적인 특성만 사용하여 탐지하는데 한계가 존재한다. 이에 최근에는 기존의 원격탐사 방법의 한계를 보완하여 딥러닝의 합성곱 신경망을 적용한 탐지방법 개발 연구가 진행되고 있다. 합성곱 신경망의 방법은 원격탐사 분야의 연구에서 영상 분류(classification)와 분할(segmentation), 영상내 객체의 탐지(object detection) 등에 적용될 수 있다(Fu et al., 2017).

Bhatnagar et al. (2020)은 드론 이미지 기반의 머신러닝과 딥러닝을 활용하여 주요 초목 군집 탐지를 하였으며, Jeon et al. (2020)은 의미론적 분할 알고리즘 중 U-net을 활용하여 잘피 서식지 모니터링을 수행하였다. 또한 Zhang et al. (2021)은 무인항공기 이미지 기반의 의미론적 분할 기법을 이용한 강 얼음 탐지를 수행하는 등 다양한 원격탐사 연구에서 합성곱 신경망 방법이 사용되었다. 합성곱 신경망 방법을 원격 탐사에 적용한 연구 중 Yang et al. (2019) 은 무인항공기 이미지를 사용하여 의미론적 분할 방법을 적용시켜 비닐로 덮인 농지 맵핑연구를 수행하였다. 의미론적 분할 알고리즘과 머신러닝 알고리즘인 Support Vector Machine을 두 가지를 이용하여 맵핑을 비교하였고, 의미론적 분할 알고리즘 중 Segnet에 대해 우수한 정확도를 보여주었다.

이렇듯 원격탐사 분야에서 딥러닝 합성곱 신경망 기반의 의미론적 분할에 있어 뛰어난 성능을 보여주었다. 야적퇴비는 형태가 다양하게 존재하기 때문에 분광학적인 특징과 형태학적인 특징 모두 고려가 필요하다. 딥러닝 합성곱 신경망은 분광학적인 특징과 형태학적인 특징 모두 고려가 가능하다는 장점이 존재한다. 따라서 본 연구에서는 야적퇴비를 탐지하기 위해서 딥러닝의 합성곱 신경망 기반의 의미론적 분할 알고리즘을 사용할 것이다. 연구에서 사용된 무인항공기는 고해상도의 영상 취득이 용이하여 야적퇴비와 같이 좁은 면적에 분포하는 대상을 탐지하기에 적합한 특성을 가지고 있다. 이에 본 연구에서는 합성곱 신경망을 활용한 무인항공기 이미지를 기반의 야적퇴비 탐지 연구를 수행하고자 한다.

2. 연구 지역 및 자료

1) 연구 지역

연구 지역은 Fig. 1과 같이 경상남도 창녕군의 낙동강 본류부터 광려천 합류부 대상 아래 있는 농경지이다. 이 지역은 축사 밀집구역으로 광범위한 농경지가 분포해있어 야적퇴비가 많이 적재되어 있다. 또한 퇴비 야적장 분포 밀도가 상대적으로 높아 야외에 쌓여있는 퇴비의 비율이 높은 곳으로써 야적퇴비의 관리가 꼭 필요한 지역이라 판단하여 해당지역을 선정하였다.

OGCSBN_2021_v37n3_367_f0001.png 이미지

Fig. 1. Study Area.

2) 연구 자료

(1) 데이터셋 생산

본 연구의 연구 자료 수집 기간은 시비를 시작하는 시점과 추가 시비 기간 전인 겨울에 이루어졌으며, 연구 데이터 수집 날짜는 2021년 1월 4일, 2021년 1월 5일, 2021월 1월 11일, 2021년 1월 12일이다.

사용된 장비는 DJI사의 Mavic 2 Pro를 이용하여 자료를 수집하였다 Mavic 2 Pro는 멀티콥터 드론으로 2,000만화소 CMOS센서를 탑재하고 있다. 연구에 사용된 채널은 Red(R), Green(G), Blue(B) 총 3가지이다(Table 1).

Table 1. Detail of Mavic 2 Pro

OGCSBN_2021_v37n3_367_t0001.png 이미지

드론 촬영 고도는 150 m로 설정하였으며 이때의 GSD(Ground Sample Distance)는 약 4 cm이다. 야적퇴비의 크기는 일반적으로 1 m~5 m인 것을 고려했을 때 퇴비를 탐지함에 있어 충분한 픽셀 확보가 가능하고 시간상으로 효율적이라 판단되어 이와 같이 설정하였다.

촬영 넓이는 최대 1 km x 1 km 로 설정하였으며 종/횡 중복도는 각각 75%와 70%로 지정하였다. 이는 '무인비행장치 이용 공공측량 작업지침' 제 13조에 따라 연구지역을 매칭점이 부족하거나 높이 차가 있는 지역으로 판단하여 위와 같이 설정하였다. 드론 영상 취득은 Pix4D capture를 사용하여 자동 촬영 방식으로 데이터를 취득하였다. Mavic 2 Pro를 이용하여 취득된 이미지 데이터는 영상처리 소프트웨어를 활용하여 정사영상 이미지를 취득하였다. 획득한 정사영상 이미지 중 야적퇴비가 존재하는 타일 이미지만 따로 분류하여 총 39개의 영상 데이터를 수집하였다. 이 후 야적퇴비 부분에 라벨링 과정을 수행하였다. 이 후, 만들어진 데이터셋을 홀드 아웃 교차 검증 방법을 통해 분할하였다. 데이터셋은 훈련 데이터셋과 평가 데이터셋으로 분할 하였으며, 비율은 9:1로 구성하였다. 모델 학습 시 사용되는 훈련 데이터셋과 검증 데이터셋에 사용된 정사영상은 35개이고 평가 데이터셋에 사용된 정사영상은 4개로 구성하였다.

(2) Data Augmentation

Data Augmentation 기법은 합성곱 신경망에 많이 활용되는 방법으로써 적은 양의 데이터를 바탕으로 인위적인 변화를 통해 데이터의 양을 늘려 모델을 훈련하는데 충분한 데이터를 대량 확보하는 기법이다. 이 기법은 객체에 대한 더 많은 이미지를 학습하게 되어 과적합을 방지해주고 평가 이미지를 통해 평가 시 일반화가 더 잘 적용되어 좋은 더 나은 정확도를 기대할 수 있다(Krizhevsky et al., 2012). Data Augmentation 기법에는 크기조절, 반전, 자르기, 회전, 밝기 조절 등이 많이 사용되며 그 외에도 많은 응용 기법이 존재한다. 본 연구에서 수집된 정사영상의 크기는 5,500 * 5,500으로 이미지 내에서 야적퇴비가 발생하는 비율이 아주 적다. 이와 같이 데이터 불균형 정도가 심할 경우 신경망이 학습되는 과정에서 야적퇴비 영역에 대한 학습이 제대로 이루어지지 않을 수 있다. 따라서 분할 영상을 생성하여 이미지 내의 야적퇴비가 차지하는 비율도 고려해주어야 한다.

이를 위해 Fig. 2와 같이 야적퇴비가 있는 픽셀을 기준으로 448 * 448 사이즈로 분할 방법을 적용하였다. 448 * 448의 분할 영상은 야적퇴비가 존재하는 영역을 중심으로 무작위 추출하였으며, 야적퇴비 분할 영상이 생성된 수와 같은 비율로 야적퇴비가 존재하지 않는 영역에서 분할 영상을 추출하여 데이터셋을 생성하였다. 그 결과 R, G, B 3채널로 구성되어 있는 35개의 5,500 * 5,500 사이즈 학습 데이터 정사영상을 야적퇴비가 있는  픽셀을 기준으로 분할하여 448 * 448사이즈인 30,038개의 데이터셋으로 구축하였다. 마스크 데이터셋은 야적퇴비인 마스크와 야적퇴비가 아닌 마스크로 나누어 구성하였다.

OGCSBN_2021_v37n3_367_f0002.png 이미지

Fig. 2. Data Augmentation Process.

30,038개의 데이터셋은 모델 학습 시 사용되는 데이터이며 훈련 데이터셋과 검증 데이터셋을 9:1로 분할하여 모델에 적용하였다.

3. 연구 방법

본 연구에서는 야적퇴비를 탐지하기 위해 딥러닝 기법 중 이미지에 적용할 수 있는 합성곱 신경망을 적용하였다. 합성곱 신경망 기법은 분광학적인 특성과 형태학적인 특성을 모두 고려할 수 있어 최근 원격탐사 방법에 많이 활용되고 있다. 이러한 딥러닝 기법을 적용하기 위해서는 충분한 데이터 확보가 필수적이다.

본 연구에서는 수집한 야적퇴비 정사영상 이미지가 39개로 데이터 불균형 문제가 발생하였다. 따라서 충분한 데이터셋 확보를 위해 Data Augmentation 기법을 적용하여 오버샘플링을 수행하였다. 확보한 데이터셋을 학습데이터와 시험데이터로 나누어 딥러닝 알고리즘을 적용,평가하였다. 이 후, 알고리즘이 적용된 결과에 필터링 기법을 적용함에 따라 노이즈를 제거하여 최종적인 야적퇴비 탐지 알고리즘을 평가하였다. 연구 흐름도는 Fig. 3과 같다.

OGCSBN_2021_v37n3_367_f0004.png 이미지

Fig. 3. Flow Chart.

1) 의미론적 분할

본 연구에서 야적퇴비를 탐지하기 위해 사용된 기법은 의미론적 분할 기법이다. 의미론적 분할의 목적은 이미지에 있는 모든 픽셀을 해당 클래스별로 분류하여 예측하는 것이다(Fig. 4).

OGCSBN_2021_v37n3_367_f0003.png 이미지

Fig. 4. 야적퇴비 segmentation map.

연구에 사용된 알고리즘은 의미론적 분할의 대표적인 알고리즘인 U-net을 기반으로 수정된 알고리즘을 사용하였다. U-net은 영상내 객체의 분할에서 픽셀 수준의 분류가 가능하여 다른 CNN(Convolutional Neural Network)기반의 기법들과는 달리 최종 분류 결과물의 해상도가 입력 자료와 동일하게 유지된다(Ronneberger et al., 2015). Fig. 5와 같이 U-net 구조는 왼쪽의 인코더(Encoder) 부분과 오른쪽의 디코더(Decoder) 부분으로 구성되어있다. 인코더 부분은 합성곱(convolution)과 풀링을 통해 고차원의 특징을 추출한다. 뒤이어 디코더 부분은 고차원의 특징을 역합성곱(Deconvolution)과 업샘플링(Upsampling)을 통해 특징을 보존한 채 입력 이미지 사이즈로 복원이 가능하다.

OGCSBN_2021_v37n3_367_f0005.png 이미지

Fig. 5. U - net model.

본 연구에서 사용된 수정된 알고리즘 구성은 Fig. 5와 같다. Python기반의 Keras를 사용하였으며 합성곱을 위한 커널 사이즈는 3×3이며, 풀링 사이즈는 2×2이다. 사용된 활성화 함수(Activation Function)는 ReLU이다. 기존의 U-net 에서 변형된 점은 합성곱 시, Depthwise separable convolution을 사용한 것이다. Depthwise Separable Convolution은 Fig.6에서 자세히 설명할 수 있다. Depthwise SeparableConvolution은 Depthwise convolution과 pointwise convolution을 결합한 것이다. Depthwise convolution은 채널을 분리하여 연산을 수행하여 채널 방향의 합성곱은 수행하지 않고 공간 방향의 합성곱만 진행한다. Pointwise convolution은 기존의 합성곱 방법이 매트릭스×매트릭스의 합성곱으로 인해 연산량이 많아져 학습속도가 느리다는 단점을 보완해 커널을 매트릭스가 아닌 벡터로 만들어 진행하는 연산이다(Howard et al., 2017). 따라서 이 두가지의 합성곱 기법을 사용함으로써 기존의 U-net이 사용한 일반 합성곱 레이어 보다 학습속도가 더 빨라지는 효과가 있다.

OGCSBN_2021_v37n3_367_f0006.png 이미지

Fig. 6. Depthwise Separable Convolution

모델 학습 시 하이퍼 파라미터를 튜닝하기 위한 최적화 알고리즘은 Adam을 사용하였으며, 손실함수는 categorical_crossentropy를 사용하였다. 또한 batch size는 32로 설정하였으며 과적합 방지를 위해 Tensorflow의 Earlystopping콜백함수를 이용하였다.학습률은 Tensorflow의 ReduceLROnPlateau 콜백함수를 사용하여 지정된 기간 동안 평가지표에서 성능 향상이 일어나지 않으면 학습률을 조정하였다.

2) 노이즈 제거를 위한 후처리 과정

훈련 데이터셋을 통해 만들어진 모델 평가 결과, 노이즈로 인하여 정확도가 낮은 경향이 보였다. 따라서 본 연구에서는 모폴로지(morphology) 연산을 통한 후처리 과정을 적용하여 정확도 향상을 도모하였다(Fig. 7).

OGCSBN_2021_v37n3_367_f0007.png 이미지

Fig. 7. Post-processing to remove noise.

모폴로지는 형태학이라는 뜻이며, 컴퓨터 비전분야에서는 노이즈를 제거하거나 영역간 경계를 허무는 형태학적인 연산을 수행하는 것을 의미한다. 모폴로지 연산은 바이너리 이미지에 적용할 수 있으며 연산의 종류에는 침식(Erosion), 팽창(Dilation), 열림(Opening), 닫힘(Closing) 연산이 있다. 침식과 팽창 연산은 원본 이미지와 사용자가 지정한 커널의 컨벌루션 연산이며, 이 두가지 연산을 기반으로 다양한 모폴로지 연산을 구현할 수 있다. 본 연구에서는 열림 연산을 통해 노이즈를 제거하였다. 열림 연산은 침식 연산과 팽창 연산을 조합하여 노이즈 제거에 효과적으로 사용될 수 있는 기법이다. 침식 연산은 객체의 주변을 깎는 역할을 하여 노이즈 제거에 효과적이다. 팽창 연산은 이와 반대로 객체 주변을 확장하는 효과가 있다. 따라서 침식 후 팽창 연산을 적용하는 열림 연산 기법을 사용하면 노이즈를 제거하면서 객체의 크기 감소를 원래대로 복구할 수 있다. 본 연구에서는 파이썬 OpenCV를 이용하여 11 * 11 사이즈의 사각형 커널을 통해 열림 연산을 두 번 수행하여 노이즈를 제거하였다.

3) 평가 방법

평가에 사용된 데이터는 4개의 정사영상을 448×448로 분할하여 총 363개의 RGB 이미지와 마스크 이미지 데이터셋을 구축하였다.

본 연구에서는 분류 정확도를 평가하기 위해 오차 행렬(Confusion Matrix, Table 2)를 이용한 화소 정확도(Pixel accuracy), 정밀도(Precision), 재현율(Recall), F1-Score (Dice coefficient)을 평가 측도로 사용하였다.

Table 2. Confusion Matrix

OGCSBN_2021_v37n3_367_t0002.png 이미지

본 연구는 이미지 내에서 야적퇴비와 그 외를 구분하여 야적퇴비를 탐지하는 이진분류이다. 따라서 야적퇴비 픽셀을 참(Positive), 나머지를 거짓(Negative)으로 할 때 실제값(Reference)과 예측 결과에 따라 TP(True Positive), FP(False Positive), FN(False Negative), TN(True Negative)으로 표현할 수 있으며, 각각 실제 야적퇴비인 픽셀을 분류모델에서도 야적퇴비라고 판단한 경우, 실제 야적퇴비가 아닌 픽셀을 분류모델에서 야적퇴비라고 판단한 경우, 실제 야적퇴비인 픽셀을 분류모델에서 야적퇴비가 아니라고 판단한 경우, 실제 야적퇴비가 아닌 픽셀을 분류모델에서도 야적퇴비가 아니라고 판단한 경우를 의미한다(Table 2).

\(\text { Pixel Accuracy }=\frac{T P+T N}{T P+F P+F N+T N}\)       (1)

\(\text { Precision }=\frac{T P}{T P+F P}\)       (2)

\(\text { Recall }=\frac{T P}{T P+F N}\)       (3)

\(F 1-\text { Score }=2 \times \frac{\text { Precision } \times \text { Recall }}{\text { Precision }+\text { Recall }}\)       (4)

이 때, 화소 정확도, 즉 Pixel Accuracy는 식 (1)과 같이 정의된다. 화소 정확도(Accuracy)는 전체 예측된 부분에서 야적퇴비인 부분을 탐지한 비율을 의미한다. 정밀도(Precision)는 식 (2)와 같이 정의되며 모델이 야적퇴비라고 분류한 것 중에 실제 야적퇴비인 비율을 의미한다. 재현율(Recall)은 식 (3)와 같이 정의되며 실제 야적퇴비인 것 중에 모델이 야적퇴비라고 예측한 비율이다. 마지막으로 F1-Score(Dice Coefficient)은 식 (4)과 같이 정의되며 정밀도와 재현율의 조화평균을 한 값으로 정밀도와 재현율이 중요하다는 하에 똑같은 가중치를 준 정확도 값이다.

본 연구에서의 평가방법은 화소 정확도, 정밀도, 재현율, F1 – Score 를 사용하였다.

4. 연구 결과

1) 정량적 평가

야적퇴비를 탐지하기 위한 모델 알고리즘의 평가 결과는 총 4가지의 평가 측도를 사용하였다. Table 3은 모델 평가 결과로 화소 정확도, 정밀도, 재현율, F1-Score를 나타낸다. 평가 결과 화소 정확도는 99.97% 로 높은 정확도 예측 결과를 보였다. 하지만 화소 정확도는 TP와 TN이 차지하는 비율 중 TN이 훨씬 높기 때문에 연구수행 평가 측도로써 적합성이 부족하다고 판단되었다. 따라서 본 연구에서는 정밀도와 재현율, 그리고 F1-Score를 통해 정량적 평가를 수행하였다.

Table 3. Result of Evaluation

OGCSBN_2021_v37n3_367_t0003.png 이미지

정밀도는 모델이 퇴비 픽셀이라고 분류한 것 중, 실제 퇴비 픽셀인 비율을 의미하며 정밀도는 83.80% 이다. 재현율은 실제 퇴비인 픽셀 중 모델이 퇴비 픽셀이라고 예측한 것의 비율로써 60.95% 이다. 정밀도와 재현율의 조화평균을 한 값인 F1- Score는 70.57%의 정확도를 보였다. 평가 결과를 살펴보면 정밀도에 비해 재현율의 정확도가 낮게 나타났는데, 몇 개의 이미지에서 야적퇴비를 과소 추정하였기 때문이다.

2) 정성적 평가

야적퇴비 탐지 알고리즘을 정성적으로 평가한 결과는 Fig. 8, Fig. 9와 같다. 정성적 평가 결과는 원본 이미지인 Raw Image(A), 원본 이미지에서 야적퇴비가 있는 부분에 마스크를 한 이미지인 True mask(B), 그리고 탐지모델 결과인 Prediction(C)을 통해 평가하였다.

OGCSBN_2021_v37n3_367_f0008.png 이미지

Fig. 8. Result of the right prediction.

OGCSBN_2021_v37n3_367_f0009.png 이미지

Fig. 9. result of the wrong prediction.

Fig. 8은 야적퇴비인 부분을 바르게 탐지한 결과를 시각적으로 나타낸 것으로 대부분의 예측 결과 True mask(B) 이미지와 Prediction(C) 이미지를 비교해보면 시각적으로도 예측 정확도가 우수한 것을 볼 수 있다.

Fig. 9는 야적퇴비 모델 결과, 야적퇴비 부분을 잘못 예측한 경우이다. (B)와 (C)를 구체적으로 살펴보면 가장자리에 작은 비율로 위치해 있는 야적퇴비는 탐지를 못한 것을 알 수 있다. 이는 모델이 퇴비를 과소 추정하여 재현율이 상대적으로 낮은 것이라 판단된다.

5. 결론 및 토의

본 연구는 강우 시 수계에 악영향을 미칠 수 있는 야적퇴비에 대한 탐지를 수행하였다. 탐지에 사용된 모델은 합성곱 신경망을 이용하였으며 모델에 사용되는 합성곱 신경망은 R,G,B 채널 방향과 공간방향 두 방향 동시에 합성곱을 수행하기 때문에 분광학적인 특성과 형태학적인 특성 모두 추출이 가능하다는 장점이 있다. 따라서 본 연구에서는 합성곱 기반의 의미론적 분할 기법 중 하나인 U-net모델을 적용하였다. 딥러닝을 활용하기 위해서 충분한 데이터셋 확보가 필요하지만 야적퇴비에 대한 자료가 부족하기 때문에Data Augmentation을 통해 데이터셋 증가를 수행하였다. 훈련데이터셋을 통해 만들어진 모델은 열림 방법을 통해 후처리과정을 수행하였다. 최종 결과로 화소 정확도는 99.97%, 정밀도는 83.80%, 재현율은 60.95%로 모델이 야적퇴비라고 분류한 것 중 실제 야적퇴비인 결과는 우수하지만 실제 야적퇴비인 것 중 모델이 야적퇴비라고 예측한 결과가 과소 추정됨을 알 수 있었다. 정성적으로 보았을 때 전체 이미지에서 가장자리에 작은 비율로 야적퇴비 픽셀이 있는 경우 탐지정확도가 떨어지지만 그 외의 경우에는 탐지정확도가 우수함을 알 수 있었다. 가장자리 부분에 작은 비율로 위치하고 있는 퇴비를 탐지하지 못하는 것은 입력 데이터 생성시 타일 형태로 분할하는 과정에서 가장자리 부분만 들어가는 경우가 존재하기 때문이다.

야적퇴비 모니터링에 대한 선행연구에서는 무인항공기를 수동 촬영을 통해 야적퇴비 모니터링을 수행하였고 이는 넓은 지역에 산발적으로 분포하는 야적퇴비를 지속적으로 모니터링하는데 한계가 존재한다.

본 연구에서는 원격탐사 기반의 야적퇴비 탐지 알고리즘을 이용하여 자동으로 야적퇴비를 탐지할 수 있음에 따라 선행연구에서 수행했던 수동 촬영을 통한 모니터링 방법에 비해 시공간적으로 높은 효율성을 보여줄 수 있다.

현재 39개의 정사영상만을 사용하여 한계가 존재할 수 있으나 향후 추가적인 데이터셋을 통해 다양한 형태의 야적퇴비 알고리즘에 적용하고, RGB 밴드 이외의 추가 밴드를 조합한다면 모델 정확도를 향상시킬 수 있을 것으로 판단된다.

사사

이 논문은 낙동강수계관리위원회 「드론과 인공지능활용 수계 오염원 탐지 및 물환경 관리방안」의 지원을 받았으며, 이에 감사드립니다.

References

  1. Bak, S.-H., H.-M. Kim, D.-H. Hwang, H.-J. Yoon, and W.-C. Seo, 2016. Detection technique of Red Tide Using GOCI Level 2 Data, Korean Journal of Remote Sensing, 32(6): 673-679 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2016.32.6.11
  2. Bhatnagar, S., L. Gill, and B. Ghosh, 2020. Drone Image Segmentation Using Machine and Deep Learning for Mapping Raised Bog Vegetation Communities, Remote Sensing, 12(16): 2602. https://doi.org/10.3390/rs12162602
  3. Choi, J.K., J.G. Son, K.S. Yoon, H.J. Lee, and Y.J. Kim, 2012. Runoff Characteristics in Paddy Field using Cow Manure Compost Fertilizer, Journal of the Korean Society of Agricultural Engineers, 54(3): 29-36 (in Korean with English abstract). https://doi.org/10.5389/KSAE.2012.54.3.029
  4. Fu, G., C. Liu, R. Zhou, T. Sun, and Q. Zhang, 2017. Classification for high resolution remote sensing imagery using a fully convolutional network, Remote Sensing, 9(5): 498. https://doi.org/10.3390/rs9050498
  5. Gyeongsangnam-do, 2015. Phase3 Basic plan for Total Pollution Loads Management System in Gyeong sangnam-do, Gyeongsangnam-do Province, KOR.
  6. Ha, R., G. Nam, S. Park, T. Kang, H. Shin, K. Kim, D. Rhew, and H. Lee, 2017. Improvement of Model based on Inherent Optical Properties for Remote Sensing of Cyanobacterial Bloom, Korean Journal of Remote Sensing, 33(2): 111-123 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2017.33.2.1
  7. Hong, S. and J. Kim, 2011. Assessment of leachate characteristics of manure compost under rainfall simulation, Journal of Korean Society of Rural Planning, 7(2): 65-73 (in Korean with English abstract).
  8. Howard, A.G., M. Zhu, B. Chen, D. Kalenichenko, W. Wang, T. Weyand, M. Andreetto, and H. Adam, 2017. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications, arXiv e-prints, arXiv(1704.04861): 1-9.
  9. Jeon, E.-I., S.-H. Kim, B.-S. Kim, and K.-H. Park, and O.-I. Choi, 2020. Semantic Segmentation of Drone Imagery Using Deep Learning for Seagrass Habitat Monitoring, Korean Journal of Remote Sensing, 36(2-1): 199-215 (in Korean with English abstract) . https://doi.org/10.7780/kjrs.2020.36.2.1.8
  10. Kim, H.-M., H. Yoon, S.W. Jang, and Y.H. Chung, 2017. Detection Method of River Floating Debris Using Unmanned Aerial Vehicle and Multispectral Sensors, Korean Journal of Remote Sensing, 33(5-1): 537-546 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2017.33.5.1.7
  11. Krizhevsky, A., I. Sutskever, and G.E. Hinton, 2012. ImageNet Classification with Deep Convolutional Neural Networks, Proc. of the 25th International Conference on Neural Information Processing Systems, Nevada, USA, Dec. 3-8, vol. 1, pp. 1097-1105.
  12. Konkuk University, 2016. Nonpoint source pollution monitoring and control measure for agricultural and livestock areas, Ministry of Agriculture, Seoul, KOR.
  13. Lee, Y.-S., H.-J. Lee, S.-C. Hong, and D.-M. Oh, 2009. Effect of Non-Point Sources from Livestock composted Land - A case of cows manure -, Journal of Wetlands Research, 11(3): 81-88.
  14. Na, S., C. Park, K. So, H. Ahn, and K. Lee, 2019. Photochemical Reflectance Index (PRI) Mapping using Drone-based Hyperspectral Image for Evaluation of Crop Stress and its Application to Multispectral Imagery, Korean Journal of Remote Sensing, 35(5-1): 637-647 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2019.35.5.1.2
  15. Park, G.-U., K.-H. Park, B.-H. Moon, and B.-G. Song, 2019. Monitoring of non-point Pollutant Sources: Management Status and Load Change of Composting in a Rural Area based on UAV, Journal of the Korean Association of Geographic Information Studies, 22(2): 01-14 (in Korean with English abstract). https://doi.org/10.11108/KAGIS.2019.22.2.001
  16. Ronneberger, O., P. Fischer, and T. Brox, 2015. U-net: Convolutional networks for biomedical image segmentation, Proc. of International Conference on Medical Image Computing and Computer assisted Intervention, Munich, DE, Oct. 5-9, pp. 234-241.
  17. Won, C.H., Y.H. Choi, M.H. Shin, J.Y. Seo, and J.D. Choi, 2011. Analysis of Livestock Resources on NPS Pollution Characteristics by Rainfall Simulation, Journal of the Korean Society of Agricultural Engineers, 53(2): 67-74 (in Korean with English abstract). https://doi.org/10.5389/KSAE.2011.53.2.067
  18. Yang, Q., M. Liu, Z. Zhang, S. Yang , J. Ning, and W. Han, 2019. Mapping Plastic Mulched Farmland for High Resolution Images of Unmanned Aerial Vehicle Using Deep Semantic Segmentation, Remote Sensing, 11(17): 2008. https://doi.org/10.3390/rs11172008
  19. Zhang, X., Y. Zhou1, J. Jin , Y. Wang, M. Fan, N. Wang, and Y. Zhang, 2021. ICENETv2: A Fine-Grained River Ice Semantic Segmentation Network Based on UAV Images, Remote Sensing, 13(4): 633. https://doi.org/10.3390/rs13040633