Application of CCTV Image and Semantic Segmentation Model for Water Level Estimation of Irrigation Channel

관개용수로 CCTV 이미지를 이용한 CNN 딥러닝 이미지 모델 적용

Abstract

A more accurate understanding of the irrigation water supply is necessary for efficient agricultural water management. Although we measure water levels in an irrigation canal using ultrasonic water level gauges, some errors occur due to malfunctions or the surrounding environment. This study aims to apply CNN (Convolutional Neural Network) Deep-learning-based image classification and segmentation models to the irrigation canal's CCTV (Closed-Circuit Television) images. The CCTV images were acquired from the irrigation canal of the agricultural reservoir in Cheorwon-gun, Gangwon-do. We used the ResNet-50 model for the image classification model and the U-Net model for the image segmentation model. Using the Natural Breaks algorithm, we divided water level data into 2, 4, and 8 groups for image classification models. The classification models of 2, 4, and 8 groups showed the accuracy of 1.000, 0.987, and 0.634, respectively. The image segmentation model showed a Dice score of 0.998 and predicted water levels showed R² of 0.97 and MAE (Mean Absolute Error) of 0.02 m. The image classification models can be applied to the automatic gate-controller at four divisions of water levels. Also, the image segmentation model results can be applied to the alternative measurement for ultrasonic water gauges. We expect that the results of this study can provide a more scientific and efficient approach for agricultural water management.

Ⅰ. 서론

우리나라는 전체 100,401 km²의 국토 면적 중 약 8.3%인 8,298 km²에서 논벼가 재배되고 있다 (MAFRA, 2020). 논벼 재배를 위한 연간 농업용수 사용량은 152 억 톤으로, 우리나라의 연평균 이용 가능 수자원 양의 61%에 달한다 (MLTMA, 2011). 이와 같이 수자원을 효율적으로 이용하기 위해서는 농업용수에 대한 관리가 선제적으로 요구된다. 농업용수를 적절히 관리하기 위해서는 사용량에 대한 보다 정확한 이해가 필요하다. 우리나라의 농업용수는 일반적으로 농업용 저수지나 양수장에서 관개용수로를 통해 논으로 공급되며, 이에 따라 개수로에서 공급되는 용수량을 좀 더 정확히 파악하는 것이 중요하다.

2010년을 전후하여 이뤄진 자동화 기기의 설치와 농업 분야 ICT (Information and Communication Technology) 인프라 및 시스템의 발전으로 관개수로에서 공급되는 용수량을 정량적으로 측정하려는 연구가 이어져 왔다. Hong et al. (2014)는 관개용수 공급의 적정성을 평가하기 위해 실시간 관개수로 수위 모니터링을 이용하였고, Kim et al. (2016)은 경제적인 수위계측망을 설계하여 농업용수를 정량화하고자 하였다. 최근에는 수로부 초음파 수위계 계측정보를 이용하여 관개용수 공급량을 평가하는 연구들이 수행되어 (Lee et al., 2020; Bang et al., 2021) 농업용수 관리에 있어서 수위정보의 수집과 관리의 중요성을 인식하게 되었다. ICT 인프라의 일환인 CCTV(Closed-Circuit Television) 영상을 수문 분야에 적용하고자 하는 연구도 국내 여러 기관에서 진행되었다. 국립재난안전연구원에서는 소하천에서 유량계측을 자동화하기 위해 SIV(Surface Image Velocimetry) 기술을 적용하여 실시간 표면 유속을 계측하였으며 (Jeong, 2018), 한국농어촌공사에서는 중소형 저수지의 수위 계측을 통해 효율적 관리를 도모하기 위해 영상의 기하관계를 이용한 수위 변화를 측정하는 연구가 있었다 (Kim et al., 2019).

이러한 연구를 바탕으로 한국농어촌공사에서는 저수지 및 수로의 관리를 위해 저수지 수위 계측 1,750 개소, 저수지 수로부 수위 계측 1,177 개소, 저수지 수위-유량 관계 조사 331개소 등을 운영하고 있으며 (Bang et al., 2021), 대부분 CCTV를 설치하여 영상으로도 관리하고 있다. 하지만 수로부 계측기는 식생이나 이물질 등 다양한 이유로 자료수집에 어려움이 있는 경우가 있고, CCTV 영상의 경우 짙은 안개나 집중호우 시에 노이즈가 많이 생겨 육안으로 판별하기 어려운 상황이 있다. 현재 용수로의 공급량을 산정하기 위해 초음파 수위계 등을 이용하여 용수로의 수위를 측정하고 있으나, 식생 등에 의해 오류 값이 많이 인식되고 있어 CCTV 영상을 이용하는 등 다른 보조적인 방안이 필요한 실정이다.

한편, CV (Computer Vision) 기술은 컴퓨팅 기술의 발달과 함께 많은 분야에서 각광 받고 있으며, CNN (Convolutional Neural Network) 등의 딥러닝 신경망을 이용하여 이미지 분류(image classification), 영상인식 (image cognition), 이미지 분리 (image segmentation) 등으로 적용되고 있다. 이미지 분류 및 분리 모델의 발전과 더불어 CCTV 이미지를 이용하여 수로나 하천의 수위 정보를 얻고자 하는 연구는 지속적으로 이뤄졌다. Maehara et al. (2016)은 필터링 기술을 통해 CCTV 이미지를 처리하여 하천의 수위를 측정하고자 하였으며, Maehara et al. (2019)에서는 CNN 딥러닝 기술을 적용하여 같은 목적을 달성하고자 하였다. Lin et al. (2018)에서는 CV 기술과 사진측량학 기술을 이미지에 적용하여 수로 수위를 측정하였고, 11 cm의 RMSE (Root Mean Squared Error)를 얻었으나, 국내 관개용수로에 적용하기에는 수위표와 이를 정면에서 촬영하는 카메라가 필요하다는 한계점이 있었다. Chaudhary et al. (2019)의 경우 소셜미디어 이미지를 이용하여 하천의 홍수위를 산정하고자 하였고, 이를 위해 이미지 분리 기법을 적용하여 약 8 cm의 평균 오차를 보였다. CCTV 영상의 경우 저장된 이미지를 바탕으로 수위의 결측이나 오측을 확인할 수 있으나 데이터 저장 및 전송을 위한 추가적인 비용이 발생할 수 있는 단점이 있다. 하지만 여러 선행연구들에 더해 CCTV 영상에서 추출한 이미지를 활용하여 수위를 모니터링 할 수 있다면 계측기와 더불어 수로의 수위 상황을 파악할 수 있는 도구로 활용할 수 있을 것이다.

이에 본 연구는 CCTV 영상에서 수위 영상을 추출하고, 이미지 분류 모델을 적용하여 수로 수위 모니터링을 위한 적정 분류 개수를 제시하고, 이미지 분리 모델을 적용하여 수면 자료를 추출한 후 이를 이용한 수로의 수위 산정을 위한 정확성 평가를 목적으로 한다.

Ⅱ. 재료 및 방법

1. 연구 개요

본 연구에서는 이미지 분류 (image classification) 모델과 이미지 분리 (image segmentation) 모델을 이용하여 관개용수로의 CCTV 이미지를 분석하고자 하였다. 이미지 분류는 사람이 판단하여 라벨링 된 각 사진을 이용해서 학습하며 최종적으로 원하는 사진의 라벨링 주소를 찾는 방법론이며, ResNet 계열이 가장 정확도가 높은 것으로 알려져 있고 보편적으로 사용되어 이를 적용하였다. 이미지 분리는 이미지 내에 있는 물체들을 의미 있는 단위로 분할 해내는 것으로, 여러 종류의 물체들을 깔끔하게 분할 해내는 것이 이미지 분리의 목적이라고 할 수 있으며, 본 연구에서는 Ronneberger et al. (2015)에 의해 제안된 U-Net을 적용하였다.

CCTV 이미지는 10분 단위로 촬영되었으며, 같은 시각에 초음파 수위계에서 측정된 수위를 참값으로 가정하여 모델을 분석하였다. 이미지 분류 모델의 경우 전체 이미지를 2, 4, 8개의 구간으로 나눠준 후 학습을 진행하여 테스트 이미지가 올바른 그룹으로 분류되는지를 평가하였다. 이미지 분리 모델의 경우 상용 어노테이션 (annotation) 프로그램 (apeer.com)을 이용하여 각 원본 이미지에 대응하는 정답이미지 (ground-truth)를 생성하였고, 기존 연구들에서 제안하는 하이퍼 파라미터(hyper-parameter)를 참고하여 모델을 구성하였다. 이후 테스트 원본이미지와 학습된 모델을 이용하여 결과이미지를 출력하며, 정답이미지와 수위값 사이의 1차 회귀식을 거쳐 최종적인 수위 값을 모의하였다. 이때, 추출된 결과이미지의 정확도는 Dice score (f1 score)를 이용하여 평가하였으며, 모의한 수위 값과 측정한 수위 값은 결정계수 (R²)와 MAE (Mean Absolute Error)를 이용하여 평가하였다. Fig. 1은 본 연구의 흐름도로 이미지 분리 모델과 분류 모델의 분석 방법을 개략적으로 나타내고 있다.

Fig. 1 The flowchart of developed models in this study

2. 대상지구 및 이미지 자료

본 연구에서는 한국농어촌공사 강원도본부 철원지사에서 관리하는 하갈 4호 방수문 수로의 CCTV 이미지를 이용하였으며, 2021년 6월 2일부터 7월 6일까지 10분 단위로 저장하였다. 해당 기간 중 누락 된 자료가 있어 최종적으로 1,564개의 자료를 이용하였으며, 각 이미지에 대응되는 수위 값은 기존 초음파 수위계에서 측정된 값을 참값으로 가정하여 적용하였다. 1,564개의 이미지는 최소 0.63 m에서 최대 1.10 m까지 분포하고 있으며, 0.01 m 단위로 총 33개의 수위 값을 가지고 있다. Fig. 2 (a)는 대상지구의 주간 이미지, (b)는 야간 이미지의 예시를 보여주고 있다.

Fig. 2 Sample images of the experimental site

3. 모델 구동 환경과 모델 매개변수

모델 구동은 2019년 출시된 64-bit 윈도우 10 체제의 컴퓨터를 이용하였으며, 하드웨어는 2.40 GHz의 인텔 (R) Xeon (R) CPU, 32 GB RAM, NVIDIA의 513 MHz Clock Quadro RTX 5000 GPU를 탑재하고 있다. 프로그래밍 언어는 파이썬 3.6.13을 사용하였고, 기본적인 모델 구성을 위해서 Tensorflowgpu 2.4.1 모듈을 중점적으로 사용하였다. Nvidia Cuda 드라이버는 451.48이었고, toolkit은 호환을 고려하여 11.0 버전을 사용하였다.

CNN 기반의 모델은 손실함수의 전역 최적해 (global minimum)를 찾는 것을 목표로 한다. 이때 적절한 하이퍼 파라미터 (hyper parameter)를 이용하여 최적화시켜야 좋은 성능을 보여준다. 하이퍼 파라미터에는 옵티마이져 (optimizer), 에포크 (epoch), 뉴런 (neuron), 손실함수 (loss function) 등이 대표적이다. 딥러닝 모듈로 널리 쓰이는 오픈소스 (open source) 중 하나인 Keras에서 제공하는 옵티마이져의 종류에는 SGD (Stochastic Gradiant Descent), RMSprop (Root Mean Squared Propagation), Adam (Adaptive Moment), Adadelta (Adaptive Delta) 등이 있으며, Kingma et al. (2014)에 의해 제안된 Adam 방법이 수렴 속도가 빨라 활용성이 좋은 것으로 알려져 있다. 손실함수의 종류로는 RMSE (Root Mean Squared Error), Dice Loss, BC (Binary Crossentropy), CC (Categorical Crossentropy) 등이 있으며, 본 연구에서는 목적에 부합하며, 높은 성능을 보여준 BC를 손실함수로 사용하였다. 신경망의 초기값으로 미리 학습된 ImageNet 값을 적용하여 학습의 효율을 높여줬으며, 배치의 크기는 16으로 학습을 진행하였다. 또한, Tensorflow의 Keras에서 제공하는 기본 기능을 사용하여 Batch normalization, ReLu activation, 3×3의 커널 크기 (kernel size)를 사용하였다.

4. 이미지 모델 평가방법

가. 이미지 분류

본 연구에서는 이미지 분류 모델 중 ResNet-50을 이용하였다. ResNet-50 모델은 ImageNet의 1,000개 그림을 분류하도록 개발되었기 때문에 본 연구에서는 기존 ResNet-50 모델의 마지막 FC (Fully Connected) layer에 Dense layer를 추가하여 분류하려는 그룹의 개수를 정할 수 있도록 하였다. ResNet-50 모델은 Tensorflow의 Keras에 있는 Application 모듈을 이용 하였으며, 학습되는 매개변수의 수는 25,585,594개이며, 고정된 매개변수 53,120개와 더하면 총 25,638,714개의 매개변수를 가진다.

이미지 분류 및 분리 모델에서 모델의 성능을 평가하기 위해서는 Fig. 3과 같은 혼동행렬 (confusion matrix)이 사용되며, 예측값이 실제 관측값을 얼마나 정확히 예측했는지 보여주는 행렬로 통계적 가설검정 시 사용되는 개념이다. Fig. 3에서 각 True Positive의 경우 실제 참값을 참으로 예측한 정답이며, False Positive는 실제 거짓인 값을 참으로 예측한 오답, False Negative는 실제 참값을 거짓으로 예측한 오답, True Negative는 실제 거짓인 값을 거짓으로 예측한 정답이다. 이미지 분류 모델에서는 네 가지 경우를 이용하여 정밀도 (Precision), 재현율 (Recall), 정확도 (Accuracy) 등을 계산하여 사용할 수 있으며, 본 연구에서는 전체 경우에서 실제 참값을 참으로, 실제 거짓인 값을 거짓으로 예측한 비율인 정확도를 평가지표로 이용하였다.

Fig. 3 Confusion matrix of the image classification model

나. 이미지 분리

본 연구에서는 이미지 분리 모델을 구성하기 위하여 ResNet-50을 기간 (backbone)으로 U-Net 모델을 구성하였다. Fig. 4는 이미지 분리 모델의 학습에 사용된 원본이미지 (raw image), 정답이미지 (ground-truth), 그리고 학습된 모델을 이용하여 얻은 결과이미지 (predicted image)의 예시를 보여준다. 원본이미지는 CCTV를 통해 얻은 이미지 파일을 모델의 입력 크기인 256×256×3으로 조정 (resize) 해준 것이고, 정답 이미지는 상용 프로그램을 이용하여 만들어낸 어노테이션(annotation) 이미지이며, 결과 이미지는 학습된 이미지 분리 모델로부터 출력된 결과 이미지 파일로, 그림에서 흰색 부분은 검출된 수면을 나타낸다. 실험 대상지구의 이미지 1,564개는 0.01 m 단위로 수위가 측정되었으며, 0.66 m와 1.10 m 사이에 총 33개의 수위를 가지고 있어 정답이미지는 이에 상응하는 33개를 생성하였다. 이후 1,564개의 원본이미지는 33개의 정답이미지 중 각 수위에 해당하는 정답이미지를 짝지어 학습 (train), 검증 (validation), 테스트 (test) 과정에 사용된다.

Fig. 4 Example images of the segmentation model

이미지 분리 모델의 평가지표는 관련 분야에서 가장 널리 사용되는 지표 중 하나인 다이스 점수 (Dice score)를 이용하였으며, 이 지표는 정밀도 (precision)과 재현율 (recall)의 조화 평균으로 값을 계산한다. 결과 이미지는 정답 이미지를 이용하여 평가하였으며, 관련 식은 아래와 같다.

\(\begin{aligned}(Dice \; score)=2 \times \frac{1}{\frac{1}{\text { Precision }}+\frac{1}{\text { Recall }}}=2 \times \frac{\text { Precision } \times \text { Recall }}{\text { Precision }+ \text { Recall }}\end{aligned}\)

본 연구에서는 학습된 모델과 테스트 원본이미지를 이용하여 얻은 결과이미지로부터 수로의 수위를 산정하였는데, 이를 위해 정답이미지와 수위 사이의 상관성을 분석하였다. 이를 위해 33개의 정답이미지에 임의의 직선을 그어 수면 픽셀의 개수와 수위 값 사이에 피어슨 상관계수 (Pearson’s correlation coefficient)를 계산하였고, 상관계수 값이 가장 큰 직선을 선택하여 결과이미지의 수위 환산에 적용하였다. 선택된 직선의 수면 픽셀 개수와 수위 값 사이에 1차 회귀식이 유도되며, 수면 픽셀 개수는 1차 회귀식을 거쳐 m 단위의 수위 값을 반환하고, 모의된 수위 값은 초음파 수위계로 관측된 값과 결정계수를 계산하여 모델의 성능을 최종적으로 평가하였다.

Ⅲ. 결과 및 고찰

1. 이미지 분류 모델

가. 모델의 분석 방법

Fig. 5 (a)는 대상지구인 하갈 4호 방수문에서 얻은 CCTV 이미지의 시계열 수위 값을 나타내고 있으며, 수위 값은 최소 0.63 m에서 최대 1.10 m까지 분포하고 있다. Fig. 5 (b)는 Fig. 5(a)의 수위 값을 히스토그램으로 나타내고 있다. 본 연구에서는 수로의 운영 측면을 고려하여 자료를 2, 4, 8개의 그룹으로 분류하였는데, Fig. 5 (a)와 (b)에서는 2개 그룹으로 나눈 기준값을 점선으로 나타내고 있다. 그룹 분류를 위해서는 Jenks의 자연분류법 (Natural Breaks)을 이용하였는데, 이 방법은 각각의 그룹 내의 분산은 최소화하고, 그룹 간의 분산은 최대화해주는 알고리즘이다.

Fig. 5 Time-series and histogram graph of water level data

나. 모의 결과

2개 그룹으로 분류할 경우 자연분류법 연산 결과 0.67 m를 기준으로 그룹을 분류하였으며, 총 1,564개의 자료 중 1,323개가 0.67 m 보다 큰 값을 가졌으며, 241개가 0.67 m 보다 작은 값을 가지는 것으로 나타났다. 이에 따라 2개의 그룹으로 분류한 모델의 경우 0.63-0.67 m 수위의 사진은 그룹 1로 분류하고, 0.67∼1.10 m 수위의 사진은 그룹 2로 분류하여 학습을 진행하였다. 또한, 전체 자료 1,564개 중 70%인 1,094개를 학습에 사용하였고, 10%인 156개를 검증에 사용하고, 20%인 314개를 이용하여 테스트에 사용하였다.

4개 그룹은 0.67, 0.90, 1.01 m를 기준으로 분류하였고, 8개 그룹의 경우 0.67, 0.85, 0.88, 0.91, 0.94, 0.98, 1.04 m를 기준으로 분류하였다. 각 그룹을 기준에 맞게 나눠준 후 각 그룹에 해당하는 자료를 학습, 검증, 테스트 비율인 7:1:2로 랜덤하게 구분하였고, 자료를 구축한 후 모델의 학습을 진행하였다. Fig. 6은 2, 4, 8개 그룹으로 분류한 모델을 에포크 (epoch) 100, 300, 500까지 학습하면서 나타난 손실 값과 정확도 값의 변화를 나타내고 있다.

Fig. 6 Loss and accuracy graphs of each image classification model

Table 1 Loss and accuracy values for each classification model

Fig. 6을 살펴보면, 2개 그룹 모델의 경우 epoch 80을 전후로 하여 학습과 검증의 손실 값이 수렴하는 모습을 보이며, 정확도의 경우 에포크 15를 전후로 하여 1.0의 값을 보인다. 이는 모델의 학습이 충분히 안정화되지 않더라도 2개 그룹의 분류는 매우 정확하게 해내고 있음을 의미한다. 4개 그룹 모델의 경우 에포크 150을 전후하여 과적합 (overfitting)이 발생하는 것을 알 수 있으며, 8개 그룹 모델의 경우 에포크 200을 전후하여 과적합이 발생하고 있다. 일반적으로 과적합이 발생하기 직전에 모델의 성능이 가장 우수한 것으로 알려져 있다. 이에 따라 본 연구에서는 2, 4, 8개 분류 모델은 에포크 80, 150, 200에서의 값으로 구성하였으며, 각 모델의 최종 학습, 검증의 손실, 정확도 값은 Table 2와 같다.

Table 2 Results of the two-group image classification model

정확도는 전체 테스트 이미지 314개 중에서 정확한 그룹으로 분류한 개수의 비율을 나타내주는 값으로, Table 3은 2개 분류 모델의 테스트 결과를 나타내며, 1.000의 정확도 값을 보였다. Table 4는 4개 분류 모델의 모의 결과를 나타내며, 0.987의 정확도 값을 보였고, Table 5는 8개 분류 모델의 모의 결과를 나타내며, 0.634의 정확도 값을 보였다. 8개 그룹 분류 모델에서는 실제 그룹 2, 3, 4, 5인 이미지들이 대부분 그룹 3으로 분류되는 결과를 보였으며, 실제 그룹 6인 이미지는 모두 다른 그룹으로 분류되는 결과를 보였다. 이로 인해 2, 4개 분류 모델들과는 다르게 낮은 정확도를 보였으며, 분류 그룹 개수가 많아질수록 정확도가 확연하게 낮아지는 것을 알 수 있다.

Table 3 Results of the four-group image classification model

Table 4 Results of the eight-group image classification model

Table 5 Loss and Dice score values for the segmentation model

2. 이미지 분리 모델

Fig. 7 (a)는 이미지 분리 모델의 학습 과정에서 얻은 학습과 검증의 손실 (Binary-crossentropy) 값을 에포크에 따라 나타내고 있으며, Fig. 7 (b)는 학습과 검증의 다이스 점수 (Dice score) 값을 에포크에 따라 나타내고 있다. 이미지 분리 모델은 배치 (batch)의 크기를 16으로 설정하여 학습하였으며, 에포크가 10에 도달하기 전에도 손실과 다이스 점수가 충분히 우수하였다. 에포크 수가 증가함에도 초반에 수렴한 다이스 점수, 손실 값과 큰 차이를 보이지 않지만, 검증의 손실 값이 일부 튀는 모습을 보였기 때문에 본 연구에서는 에포크 200에서의 가중치 값으로 모델을 구성하였다. 이때 학습, 검증의 다이스 점수, 손실 값과 테스트 이미지 314개를 이용하여 얻은 다이스 점수의 평균값은 Table 6과 같다.

Fig. 7 Loss and Dice score of the image segmentation model

Fig. 8 (a)는 원본이지미, (b)는 정답이미지, (c)는 결과이미지를 보여주고 있으며, 다이스 점수는 Fig. 8 (b)와 Fig. 8 (c) 이미지 간에 계산된 값을 의미한다. 이미지 분리 알고리즘을 많이 사용하는 원격탐사 (remote sensing), 의공학 (biomedical engineering)과 같은 분야의 최근 연구들이 제시하는 값들과 비교하면 본 연구의 다이스 점수는 매우 높은 값이다.

Fig. 8 Result images of the image segmentation model

원격탐사 분야에서는 이미지의 각 픽셀을 분류하는 목적으로 지형학이나 GIS (Geographic Information System)에 많이 활용되고 있다. Cui et al. (2020)의 경우 U-Net 기반의 모델을 통해 OA (Overall Accuracy) 0.72, mIoU (mean Intersection over Union) 0.431의 값을 보고한 바 있고, 분리하는 객체의 개수가 많은 경우 mIoU 0.40–0.50의 값을 보이며, 객체의 개수가 적은 경우 mIoU 0.714의 값을 보이기도 하였다 (Hua et al., 2021; Yuan et al., 2021; Cao et al., 2022). 이미지 분리 모델에서 mIoU는 정답이미지와 결과이미지 교집합인 픽셀의 개수를 합집합인 픽셀의 개수로 나눈 지표로 분리하려는 객체가 많지 않은 경우 다이스 점수 값과 큰 차이를 보이지는 않는다.

의공학 분야에서는 Singh et al. (2019)가 GAN (Generative Adversarial Network)를 사용하여 BUS (Breast Ultrasound) 이미지에 적용하였고 0.938의 다이스 점수를 얻었으며, Mique and Malicdem (2020)은 U-Net을 CXR (Chest X-Ray) 폐 이미지에 적용하여 0.95의 다이스 점수를 보였다. 또한, Vianna et al. (2021)에서도 SeNet과 U-Net의 비교를 통해 U-Net을 이용하여 0.8-0.9의 다이스 점수를 보였다.

원격탐사나 자율주행 분야에서는 추출하는 대상의 종류가 많아 본 연구의 결과와 동일 선상에서 비교하기는 무리가 있으나, 의공학 분야 중 한 종류의 대상을 추출하는 연구와 비교하였을 때 본 연구의 이미지 분리 모델은 우수한 성능을 보였다. 다이스 점수 0.99 이상의 값을 보였다는 것은 관개용수로의 수면이 충분히 잘 추출되었음을 의미하지만, 수면 추출의 오차에서 발생하는 수위의 오차를 확인하기 위해서는 Fig. 9의 그래프를 통해 살펴볼 수 있다.

Fig. 9 First-order regressed line and scatter plot for water level estimation

Fig. 9 (a)는 유도된 1차 회귀식 (y=0.0079x-0.1795)을 나타내며 회귀식과 정답값의 결정계수 (Coefficient of Determination)은 0.98이었다. Fig. 9 (b)는 이미지 분리 모델을 통해 얻어진 정답이미지를 1차 회귀식에 입력하여 모의한 수위 값과 초음파 수위계에서 얻은 수위 값의 산포도를 나타낸다. 모의 값과 정답 값의 결정계수는 0.97로 계산되었고, MAE (Mean Absolute Error)는 0.02 m로 계산되었다. MAE 0.02 m는 수위가 1 m라 가정할 경우 2%의 오차를 의미한다. 기존에 설치된 초음파 수위계의 정확도는 25℃ 기준 0.2% 이하로 본 연구의 결과에 비해 약 10배 오차가 적을 것으로 판단된다. 하지만 0.02 m의 오차로 인해 발생하는 용수량의 차이는 그다지 크지 않다는 점을 고려하면 식생이나 자연환경으로 인한 데이터 소실 등의 문제가 발생했을 경우 보조적인 수단으로 활용하기에는 충분한 모의 정확도를 보였다고 볼 수 있다.

Ⅳ. 요약 및 결론

본 연구는 강원도 철원군에 위치한 하갈 4호 방수문 CCTV 영상에서 이미지 영상을 추출하였으며, CNN 딥러닝 기반의 이미지 분류, 이미지 분리 모델에 대한 적용성을 평가하였다.

이미지 파일은 최초 1280 × 720 × 3 크기의 RGB로 PNG 파일 형태로 얻어졌으며, 총 1,564 개의 이미지를 이용하였다. 각 이미지가 촬영된 시각과 동일한 시각에 초음파 수위계를 이용해 수위 값을 측정하였고, 이 값을 이미지의 참값으로 가정하여 두 가지 모델을 구축하였다.

이미지 분류 모델에서는 Jenks 자연분류법을 이용하여 2, 4, 8개의 그룹으로 분류한 후 모델을 학습하였다. 2개 그룹 모델의 경우 1.000의 정확도를 보였으며, 4개 그룹 모델의 경우 0.987의 정확도를 보였고, 8개 그룹 모델의 경우 0.634의 정확도를 보였다. 향후 이미지 분류 모델을 이용하여 수문을 조작하는 것이 가능하다면 2개 그룹과 4개 그룹 모델을 적용하는 것은 충분히 적용 가능할 것으로 판단된다. 하지만 8개 그룹 모델의 경우 낮은 정확도를 보여 수문 조작에 적용하기 위해서는 분류 그룹의 개수를 줄이거나 모델의 성능을 향상할 수 있는 추가 연구가 필요할 것으로 사료된다.

이미지 분리 모델에서는 수면 부분을 추출하는 과정에서 모델의 성능은 다이스 점수 (Dice score)를 이용하여 평가하여 0.97의 값을 보였다. 이미지 분리 모델을 통해 얻은 결과 이미지 (predicted image)는 정답이미지 (ground-truth)의 픽셀 수와 초음파 수위계의 수위 사이에 유도한 1차 회귀식을 거쳐 수위값을 산정하였으며 초음파 수위계의 수위 값과 R² 0.97, MAE 0.02 m의 성능을 보였다. 이는 식생이나 자연환경으로 인한 데이터 소실 등의 문제가 발생했을 경우 보조적인 수단으로 활용하기에는 충분한 모의 정확도를 보였다고 볼 수 있다.

본 연구에서는 CNN 딥러닝 기반의 이미지 분석 모델 중 두 가지인 이미지 분류, 이미지 분리 모델을 적용하였는 바, 이미지 분류 모델의 경우 향후 자동용수관리 시스템을 적용하였을 때 수문의 개폐를 결정하는 알고리즘으로 적용하는 것이 충분히 가능할 것으로 보인다. 또한, 이미지 분리 모델의 경우 기존의 초음파 수위계의 수위측정에 대한 보조적인 수단으로 활용이 가능할 것으로 보이며, 특히 식생, 자연환경 등으로 인한 기존 수위계의 오작동에 대한 대안으로 적용한다면 농업용수 모니터링과 관리에 충분히 활용할 수 있을 것으로 기대된다. 다만 다른 대상지구의 이미지를 이용한 추가적인 적용성 연구가 필요할 것으로 보이지만, 대상지구 범용적인 이미지 분리 모델 개발을 통해 적용성을 더 높일 수 있을 것으로 기대된다.

감사의 글

본 연구는 2020년도 정부 (과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임 (No. 2017R1E1A1A01077413).