A Study of Development and Application of an Inland Water Body Training Dataset Using Sentinel-1 SAR Images in Korea

Sentinel-1 SAR 영상을 활용한 국내 내륙 수체 학습 데이터셋 구축 및 알고리즘 적용 연구

Abstract

Floods are becoming more severe and frequent due to global warming-induced climate change. Water disasters are rising in Korea due to severe rainfall and wet seasons. This makes preventive climate change measures and efficient water catastrophe responses crucial, and synthetic aperture radar satellite imagery can help. This research created 1,423 water body learning datasets for individual water body regions along the Han and Nakdong waterways to reflect domestic water body properties discovered by Sentinel-1 satellite radar imagery. We created a document with exact data annotation criteria for many situations. After the dataset was processed, U-Net, a deep learning model, analyzed water body detection results. The results from applying the learned model to water body locations not involved in the learning process were studied to validate soil water body monitoring on a national scale. The analysis showed that the created water body area detected water bodies accurately (F1-Score: 0.987, Intersection over Union [IoU]: 0.955). Other domestic water body regions not used for training and evaluation showed similar accuracy (F1-Score: 0.941, IoU: 0.89). Both outcomes showed that the computer accurately spotted water bodies in most areas, however tiny streams and gloomy areas had problems. This work should improve water resource change and disaster damage surveillance. Future studies will likely include more water body attribute datasets. Such databases could help manage and monitor water bodies nationwide and shed light on misclassified regions.

지구온난화로 인해 촉발된 기후변화가 홍수와 같은 수재해의 빈도와 규모를 증가시키며 국내 또한 장마와 집중호우로 인한 수재해가 증가하는 추세를 보인다. 이에 광범위한 수재해에 대해 효과적인 대응 및 기후 변화에 따른 선제적 대처가 필수적이며 이는 위성레이더 영상을 통해 가능하다. 본 연구에서는 Sentinel-1 위성 레이더 영상으로부터 국내 수체의 특성을 반영하기 위해 한강권역과 낙동강 권역의 일부 수체 영역에 대해 수체 학습 데이터셋 1,423장을 구축하였다. 정밀한 데이터 어노테이션(Annotation)을 위해 다양한 상황에 따른 구축 기준 문서를 작성한 뒤 진행하였다. 구축이 완료된 데이터셋을 딥러닝 모델 중 U-Net에 적용하여 수체 탐지 결과를 분석하였다. 최종적으로 학습된 모델을 학습과에 활용되지 않은 수체 영역에 적용하여 결과를 분석함으로써 전 국토 수체 모니터링의 가능성을 확인하였다. 분석 결과 구축된 수체 영역의 대해서는 F1-Score 0.987, Intersection over Union (IoU) 0.955의 높은 정확도로 수체를 탐지할 수 있었으며, 학습 및 평가에 활용되지 않은 다른 국내 수체 영역에 대해서도 동일하게 F1-Score 0.941, IoU 0.89의 높은 수체 탐지 결과를 나타냈다. 두 결과 모두 전반적으로 일부 그림자 영역과 폭이 좁은 하천에서 오류가 관찰되었으나, 그 외에는 정밀하게 수체를 탐지하였다. 이러한 연구 결과는 수재해 피해 규모 및 수자원 변화 모니터링에 중요한 기여를 할 것으로 기대된다. 추후 연구에서는 보다 다양한 수체 특성을 가진 데이터셋을 추가 구축한다면 오분류한 영역을 개선할 수 있을 것으로 기대되며, 전 국토의 수체를 효율적으로 관리 및 모니터링하는데 활용될 것으로 사료된다.

1. 서론

지구온난화는 인간사회의 산업화 및 도시화에 인해 촉발된 온실가스 배출의 증가로 인해 가속화되었으며 이로 인해 지구의 기후변화는 더욱 극심해지고 있다. 이러한 기후 변화는 극한 기상 현상의 발생 빈도와 강도에 영향을 미치는 것은 물론, 전 세계적으로 물순환 패턴의 변화를 초래한다(Kundzewicz, 2008). 특히, 기후 변화로 인한 극단적인 날씨 패턴은 특정 지역에서 홍수와 같은 수재해 발생 빈도와 피해 규모를 증가시키고 있다. 우리나라 역시 이상 기후 현상으로 최근 오랜 시간의 장마와 집중호우와 같은 현상으로 수재해 피해 추세가 점차 증가하고 있다(Park and Lee, 2020). 따라서 수재해 피해를 최소화하고 광범위한 수재해에 대한 효과적으로 대응하기 위해 광범위하고 과학적인 전 국토 수재해 관측, 관리 및 감시의 중요성이 부각되고 있다. 이러한 상황을 대응하기 위해 과학적인 방법으로 광범위한 영역을 주기적으로 관측하는 위성영상의 활용이 필수적이다(Bello and Aina, 2014). 위성 영상 중 위성레이더 영상은 고주파 대역의 마이크로파를 이용하는 능동형 센서를 활용함으로써 시간과 기상 조건에 영향을 받지 않고 관측이 가능하여 모니터링에 있어 매우 효과적이다.

일반적으로 위성레이더 영상은 지표면에 반사되어 후방산란되는 신호를 영상화 하는데, 지표면의 물리적 특성인 거칠기와 유전율에 민감하게 반응한다. 수체는 육지에 비해 거칠기가 낮고 유전율이 높기 때문에 낮은 후방산란 값을 가지게 된다. 이러한 특성을 바탕으로 수체를 탐지하기 위해 낮은 값의 수체와 그 밖의 영역을 구분하기 위한 최적의 임계값을 설정하는 연구가 많이 진행되어왔다(Tran et al., 2022; Li et al., 2020b; Liang and Liu, 2020).

그러나 위성레이더 영상은 수신할 때 발생하는 Speckle Noise의 영향과 Side Look의 촬영방식으로 인해 건물이나 산에 의한 그림자효과가 발생하여 오분류가 발생한다(Guo et al., 2022). 또한 바람과 강우의 영향으로 인한 수체 표면 변화 및 식생층 아래의 물의 경우는 이중산란으로 인해 이러한 지역에서 후방산란이 급격하게 증가하여 탐지가 어렵다(Li et al., 2020a).

최근 딥러닝은 이미지 처리 및 패턴 인식 분야에서 혁신적인 발전을 이루고 있다. 이러한 발전은 위성영상 분야에도 큰 영향을 미치고 있으며, 수체와 같은 지리적 특성의 분류와 모니터링에 있어서 다양한 연구가 진행되고 있다(Bereczky et al., 2022; Yu et al., 2022; Jeong et al., 2021). 특히, 전천후로 촬영가능한 위성레이더 영상의 경우 지속적으로 모니터링할 수 있어 수체 분류 위해 딥러닝 적용에 대한 연구가 기하급수적으로 증가하였다(Bai et al., 2022).

그러나 수체 분류를 위한 딥러닝 모델은 Supervised Learning을 하기 떄문에 만족스러운 결과를 얻기 위해서는 학습을 위한 정확한 데이터세트가 필요하다(Pech-May et al., 2023). 이에 따라 전세계에서 수체 탐지의 중요성을 인지하여 Sen1Flood11, Sen2Flood, OMBRIA, UNOSAT 데이터셋과 같이 딥러닝 모델에 적용하기 위한 수체 라벨데이터를 제작하였다(Bonafilia et al., 2020; Drakonakis et al., 2022; Rambour et al., 2020; Nemni et al., 2022).

그러나 국내 수역은 온대 기후의 영향을 받아 여름철에 집중되는 강우 패턴으로 해외 수체와 다르게 계절에 따라 다른 수체 특성을 나타낸다. 또한 국내는 대부분 산악지형으로 인해 하천의 흐름과 댐의 형성 및 주변의 지리적 특성이 해외의 평탄하거나 광대한 수체와 구별된다(Kim et al., 2018). 이러한 수체 특성의 차이로 인해 국내 수체 탐지 연구에 활용하기 어렵기 때문에 국내 수역에 맞는 데이터셋 제작이 필요하다.

본 연구에서는 Sentinel-1 위성레이더 영상으로부터 국내의 다양한 수역의 특성을 반영한 고품질의 수체 데이터셋을 구축하였다. 구축된 데이터를 U-Net 모델에 적용하여 국내 다양한 수체 영역을 탐지하였으며, 모델의 성능을 정성적 및 정량적인 지표들로 분석하였다. 마지막으로 학습된 모델의 범용성을 확인하기 위해 학습에 활용되지 않은 국내의 다른 수체 지역에 적용하여 결과를 정량적·정성적으로 분석함으로써 모델의 범용성과 전 국토의 수체 모니터링 가능성을 확인하였다.

2. 연구지역 및 자료

2.1. 연구지역

국내 수체 학습데이터를 제작하기 위한 연구지역은 한강권역의 팔당댐과 남한강 상류, 낙동강권역의 영주댐과 낙동강 상류로 선정하였다(Figs. 1a-d). 한강 권역의 경우 상류는 산악 지형으로 구성되어 있어 빠른 유속으로 인해 범람가능성이 존재한다. 또한 여름철 강수가 집중되는 지역으로 홍수피해가 자주 발생한다(Yoon et al., 2014). 낙동강권역의 경우 중상류 지역은 하도의 경사가 급한 특성으로 인해 토석류 발생과 같은 홍수피해가 자주 발생한다(Jee, 2003). 이러한 수재해의 피해를 최소화하기 위해서는 지속적으로 모니터링이 필요한 지역이다. 또한, 국내 수체의 경우 하천과 같이 흐르는 수체와 호수와 같이 흐르지 않고 고여 있는 수체로 나눌 수 있으며, 두 유형은 서로 상이한 특징을 지니고 있으므로 한강과 낙동강권역에 따라 하천과 호수지역을 선정하였다(Cole and Weihe, 2015).

Fig. 1. Study Area: (a) Paldang Dam, (b) Upstream Namhan River, (c) Youngju Dam, (d) Upstream Nakdong River, (e) Hoengseong Dam, and (f) Downstream Namhan River. Orange box: Orbit 127. Brown box: Orbit 54. Green box: Orbit 134. Blue box: Orbit 61.

본 연구에서는 전천후로 모니터링이 가능한 위성레이더 영상으로부터 학습데이터를 구축하여 딥러닝 모델에 적용함으로써 수체 탐지의 가능성을 확인하였다. 또한 전 국토 모니터링의 가능성을 확인하기 위해 학습 및 검증에 활용되지 않은 다른 국내 수체 지역 Fig. 1(e) 횡성댐과 (f) 남한강 하류를 선정하여 훈련된 모델을 적용하여 결과를 분석하였다.

2.2. 연구 자료

본 연구에 활용된 데이터는 Sentinel-1 Interferometric Wide (IW) 모드의 Single Look Complex (SLC) 데이터 형태로 동일한 연구지역에 대해서도 위성의 궤도에 따라 영상의 해상도와 기하학적 특성이 다른 특징을 가지고 있다(Table 1).

Table 1. Specification of Sentinel-1 for this study

연구지역을 촬영하는 Sentinel-1 위성레이더의 궤도는 Orbit 54, Orbit 61, Orbit 127 그리고 Orbit 134이며(Fig. 1), 이러한 다양한 궤도는 영상의 기하학적 특성에 영향을 미친다. 위성레이더 영상은 위성레이더의 관측 방향에 가까운 범위에서는 입사각이 작아 해상도가 높지만, 반대로 먼 범위에서는 입사각이 커져 해상도가 감소한다. 또한 위성의 비행 방향이 상향 또는 하향인지에 따라 영상의 기하학적 형태가 달라질 수 있다. 이러한 특성 때문에 궤도마다 수체 탐지의 정확도 차이가 발생할 수 있으므로, 다양한 궤도에서 수집된 데이터를 활용하여 학습 데이터의 일반성을 확보하는 것이 중요하다. 국내는 계절변화에 따라서도 수체의 특성이 다양하게 나타나므로, 이를 고려하여 4개의 궤도에서 총 45장의 시계열 원시 데이터를 수집하였다(Table 2).

Table 2. Sentinel-1 and Sentinel-2 list

또한, 정밀한 수체 학습데이터 구축을 위해서 추가적으로 Sentinel-2 광학위성영상을 수집하였다. 위성레이더 영상의 Side Look 촬영방식은 음영지역을 발생시키며 수체와 후방산란값이 유사하여 구분이 어렵다. 또한 수체 내 밝은 값을 나타내는 후방산란값이 수체에 대한 영향인지 아니면 구조물인지 구분하기 어렵다. 이를 보완하기 위해서 시각적으로 확인할 수 있는 광학위성영상 중 고해상도이면서 무료로 수집 받을 수 있는 Sentinel-2 광학위성 영상을 활용하였다. 이에 따라 한강권역과 낙동강 권역을 촬영한 총 38장의 광학위성 영상을 Sentinel-1 촬영 일자와 가까운 일자에 대해 수집하였다(Table 2).

3. 연구 방법

Fig. 2는 본 연구의 전반적인 흐름을 나타낸다. 연구는 크게 a) 데이터 전처리, b) 라벨데이터 제작, c) 모델 학습 및 평가로 구분된다. 우선 수집된 원시데이터를 학습용 데이터로 활용하기 위해 데이터 전처리 과정을 수행하였다. 이는 딥러닝 모델이 다양한 환경에서 수체와 비수체를 정확하게 분리할 수 있도록 하기 위한 과정이다. 다음으로는 정밀한 수체 영역의 라벨자료를 제작하기 위한 작업을 수행하였다. 구축 기준 문서를 작성하여 일관성 있고 정밀한 라벨데이터를 제작하였으며 이는 학습 모델의 신뢰성과 정확도를 향상시킬 수 있다. 마지막으로 구축된 수체 학습데이터셋을 딥러닝 모델에 적용하고 성능을 검증하였다. 또한, 검증된 모델을 다른 국내 수체 지역에 적용하여 결과를 분석함으로써 전 국토 수체 모니터링의 가능성을 확인하였다.

Fig. 2. Detailed workflow in this study. (a) Data preprocessing. (b) Annotation ground truth. (c) AI training.

3.1. 데이터 전처리

위성레이더 영상은 위성체에 탑재된 안테나에서 사물을 향해 전자기파를 지표면에 발사하고 이 때 돌아오는 신호를 영상화 한다. 신호는 복소수 형태로 저장되며, 복소수 신호의 실수와 허수 부분을 각각 제곱한 뒤 더해서 강도영상을 제작할 수 있다. 강도 영상은 지표면의 재질, 기하학적 특성, 수분 함량 등 다양한 요소에 의해 영향을 받는다. 수체의 경우 유전율은 높고 거칠기가 낮아 강도 영상에서 매우 어둡게 나타나므로 이를 통해 수체 영역을 구분하는데 있어 매우 효과적이다(Baek and Jung, 2019). 또한 발사된 전자기파를 송수신하는 방향에 따라서도 서로 다른 특성을 가지고 있다. VV 편광 영상은 수직 방향으로 전파를 송신하고 수신하는 방식으로 표면의 거칠기, 구조 및 밀도 등을 잘 반영하여 수체의 물리적 특성을 정확하게 파악할 수 있다(Chen and Zhao, 2022). 반면 VH 편광 영상은 수직으로 전파를 송신하고 수평으로 수신하는 방식으로 식생과 다른 비구조물의 탐지에 효과적이다(Taghadosi et al., 2019). 이에 따라 수집된 두 개의 편광영상을 강도영상으로 활용함으로써 서로 상호 보완적인 정보를 제공하여 수체 탐지의 정확도를 높이고자 한다(Xue et al., 2021).

동일한 궤도에서 촬영한 위성레이더 영상은 입사각, 위성의 자세 및 기타 요인들로 인해 촬영일자에 따라 상대위치오차가 발생할 수 있다. 이러한 상대위치 오차는 다중시기자료 분석에 오차를 야기할 수 있으므로 위성레이더 영상의 시계열 정합을 수행하여 상대위치오차를 저감하였다. 영상 정합 과정에서는 주 영상(Master image)과 부 영상(Slave image)에 대해 커널을 이동시키면서 상관 계수를 계산하는 교차상관 알고리즘(Strozzi et al., 2002)을 적용하여 영상 간 정합을 수행했다. 이에 위성레이더의 동일한 상대 궤도에 따라서 각각 영상 정합 작업을 수행하였다.

주 영상의 경우 궤도 중 가장 입사각이 크고 바람이나 강우와 같은 수체 표면에 영향을 줄 수 있는 외부요인의 효과가 적은 일자를 선정하였다. 시계열로 정합된 영상은 좌상단 픽셀을 기준으로 연구지역을 잘랐다. Sentinel-1 위성레이더 영상은 궤도에 따라 영상의 해상도가 다르기 때문에 동일한 좌상단 좌표를 측정하기 위해서는 Digital Elevation Model (DEM)을 활용하여 좌상단 픽셀을 구하였다. 각 연구지역으로 잘린 위성레이더 영상은 값의 레일리(Rayleigh) 분포로 값의 분포가 매우 커 영상을 해석하기 어렵다. 이에 데시벨 변환을 통해 영상의 대비가 향상되고 값의 범위가 줄어들면 데이터를 보다 명확하게 해석할 수 있어 모델의 최적화를 용이하게 한다(Brutzkus and Globerson, 2017). 그 후 구조적 특징을 유지하면서 스펙클 노이즈(Speckle noise) 저감에 효과적인 미디언 필터를 3 × 3 크기로 적용하였다(Lee and Kim, 2022). 최종적으로 데이터 특성의 스케일 차이를 줄이고 딥러닝 모델의 학습성능을 향상시키기 위해 최대-최소 정규화 과정을 수행했다

3.2. 라벨데이터 제작

딥러닝 모델 정확도 향상 및 신뢰할 수 있는 분석 결과를 제공하기 위해서는 일정한 기준에 따라 정밀한 라벨데이터 제작이 필수적이다. 이에 따라 위성레이더 영상의 특성과 수체 주변의 환경을 고려한 상세한 구축 기준 문서를 작성하였다. 구축 기준 문서에는 수체 내에 존재하는 선박이나 작은 하중도 라벨링 방법, 영상 내의 Side lobe 효과에 따른 수체 경계 구분 방법, 폭이 좁은 다리와 하천의 라벨링 방안 등 다양한 수역 환경에 대한 광범위한 지침이 포함되어 있다. 그러나 상세한 기준 문서를 통한 어노테이션(Annotation)을 수행하여도 개별적인 판단이 포함될 수 있다. 또한 개별적인 판단이 매번 달라진다면 학습데이터는 일정한 기준으로 생성되지 못하여 모델의 정확도 및 데이터의 신뢰성이 저하된다. 이러한 문제를 극복하기 위해 2개의 기준 영상을 제작하였다.

우선 원천데이터에 Non Local Means (NLM)필터 전처리를 추가적으로 수행하여 임계값 기반의 분류를 통해 기준 영상을 제작했다. NLM 필터는 대상 픽셀 주변의 픽셀뿐만 아니라 영상내에 존재하는 모든 픽셀의 값을 고려하여 픽셀 값을 결정한다. 따라서 노이즈 저감에 매우 효과적일 뿐 아니라, 수체와 비수체의 경계를 더욱 선명하게 만들 수 있다. 그러나 NLM 필터는 처리 시간이 매우 오래 걸리며, 매개 변수에 영향을 많이 받아 잘못된 처리를 할 수 있으므로 참고자료 제작에만 활용하였다(Mehmood and Kaur, 2020).

NLM 필터가 적용된 VV와 VH 영상의 값을 더해 수체와 비수체의 값의 차이를 보다 명확하게 구분한 뒤 Otsu 임계값 방법을 활용하였다. Otsu 방법은 수체와 비수체 값의 분포를 고려하여 항목 내 분산은 최소화하고 항목 간 분산은 최대화하는 방식으로 임계값을 산정한다. 산정된 임계값을 통해 자동으로 임계값보다 큰 값은 비수체, 작은 값은 수체로 분류하여 많은 데이터에 대해 효과적으로 분류할 수 있다. 특히 임계값을 산정할 때, 패치 내 수체 영역의 비율에 따라 임계 값을 설정하기 어려울 수 있어, 촬영 일자와 각 연구지역 전체 영상에 대해 임계값을 설정하였다(Park, 2016).

또한 위성레이더 영상의 경우 촬영특성으로 인해 음영지역이 존재하며 수체와 비슷한 강도값을 가진다. 이를 구분하기 위해 Sentinel-2 광학위성영상을 활용하고자 한다. 이에 따라 Sentinel-2 광학위성영상을 위성레이더 지오메트리(Geometry)로 변환하는 forward geocoding 과정을 적용하였다(GAMMA Remote Sensing AG, 2008). 이 방법은 지리좌표계 기반으로 하는 DEM 지오메트리와 위성레이더 지오메트리 간의 비교를 통해 Look Up Table (LUT)를 구축하였다.

초기 단계에서 DEM의 픽셀이 지리좌표계에서 데카르트 좌표계로 변환되며, 이 과정에서 DEM에 투영에 사용된 기준 타원체(Datum)와 센서 궤도 지오메트리에 적용된 기준 타원체 간의 기준점 이동이 정밀하게 보정하게 된다. 이후, 해당 지도 좌표에 대응하는 획득 시간과 위치가 결정되어, 최종적으로 지리좌표에 해당하는 LUT가 계산된다. 이렇게 제작된 LUT는 Sentinel-2 True Color Map 광학위성 영상을 위성레이더 지오메트리로 변환하는데 사용되었다(Fig. 3). 위에서 기술한 2개의 기준영상과 위성레이더 영상을 종합적으로 고려하여 정밀한 어노테이션을 수행하였다

Fig. 3. Example of geometric transformation of Sentinel-2 optical satellite image. (a) Sentinel-2: geographic coordinate system. (b) Synthetic Aperture Radar (SAR). (c) Sentinel-2: SAR coordinate system.

3.3. 모델 학습 및 평가

딥러닝 모델을 학습 및 검증하기 위해서 데이터를 훈련 및 시험데이터로 분할하는 과정을 수행했다. 모델을 학습하기 위한 훈련데이터는 수역 특성, 계절적 요인, 궤도에 따른 연구지역 특성이 포함된 데이터가 포함되어야 한다. 이에 계절, 수역 특성 그리고 연구지역을 촬영한 궤도별로 데이터를 나누고 무작위로 섞은 후 2:1 비율로 훈련 및 시험 데이터를 나누었다. 그 후 분할된 데이터셋 내에서 512 × 512 패치의 크기로 영상이 25% 겹치게 나누어 패치 간의 경계와 연속성을 유지하였다(Lee et al., 2023). 다음과 같이 분할된 패치 내 픽셀은 수체보다 대부분 비수체에 편향되어 있어 모델의 학습을 위해 라벨 패치 내에 수체 영역이 1% 이상인 패치만 선별하였다. 선별된 패치크기의 데이터는 국내 수역 특성, 궤도 특성에 따라서 데이터 불균형이 존재한다. 이러한 데이터 불균형은 모델 학습 시 과적합의 문제를 발생시키므로 수체 영역이 포함된 학습데이터에 랜덤 회전, 어파인(Affine) 변환, 스케일 변환, 컷아웃(Cutout)의 다양한 데이터 증강기법을 적용하여 불균형 문제를 해결하였다(Baek et al., 2022).

최종적으로 증강되어진 데이터셋은 U-Net을 통해 훈련되었다. U-Net은 입력 데이터에서 특징을 추출하는 인코더(Encoder)와 추출된 특징을 활용하여 최종 분할 맵을 생성하는 디코더(Decoder)로 구성된 대칭적 구조를 가지고 있다(Ronneberger et al., 2015). 인코더 부분에서는 합성곱 계층과 활성화 함수 적용 후 맥스풀링(Max pooling)을 통해 특성맵 크기를 감소시키는 과정을 반복하고, 디코더에서는 합성곱 계층과 활성화 함수 적용 후 업샘플링(Upsampling)을 통해 크기를 증가시키는 과정을 반복한다. U-Net의 핵심 요소인 스킵(Skip) 연결은 깊은 계층에서 생성된 특성맵과 상대적으로 얕은 계층에서 생성된 특성맵을 연결하여 정보 소실과 기울기 소실 문제를 완화한다.

Fig. 4는 본 연구에서 활용한 U-Net 모델구조로써, 입력데이터로는 512 × 512 크기의 VV 및 VH 영상, 정답값은 512 × 512 크기의 라벨링 된 수체 영역을 활용하였다. 모델의 인코더와 디코더는 합성곱 계층, 전치 합성곱 계층, 그리고 풀링 계층으로 구성되어 있다. 각 합성곱 및 전치 합성곱 계층에서는 3 × 3 커널 크기의 합성곱 연산, 배치 정규화, 활성화 함수를 세 번 반복 적용하였다. 풀링 계층은 이전 계층의 특성맵 크기를 절반으로 줄이는 반면 특성맵의 수를 두 배로 늘리는 역할을 한다. 총 네번의 맥스풀링을 통해 512 × 512부터 32 × 32 크기의 패치 정보까지 활용하였다. 디코더에서는 인코더와 역순으로 크기를 증가시키는 과정을 적용하였고, 최종적으로 수체와 비수체 항목을 분류한다.

Fig. 4. U-Net model architecture in this study.

본 연구에서 구축된 데이터셋을 활용해 훈련된 U-Net 모델을 검증하기 위해 정량적 및 정성적 평가가 수행되었다. 이를 위해, 학습 과정에 포함되지 않은 독립적인 테스트 데이터 세트를 사용하여 모델의 성능을 평가하였다. 정량적 평가를 위해서는 Confusion matrix에서 파생된 정밀도(Precision), 재현율(Recall), 정확도(Accuracy) 그리고 F1-Score를 계산하여 모델의 성능을 평가하였다. 정확도는 전체 픽셀 중 정확하게 분류한 픽셀의 비율(식 1), 정밀도는 예측된 물 픽셀 중 실제 물인 비율(식 2), 재현율은 실제 물 픽셀 중 물이라고 예측된 수(식 3), F1-Score는 정밀도와 재현율의 조화 평균(harmonic mean)이다(식 4). 또한, Intersect over Union (IoU)는 실제 수체 영역과 모델이 예측한 수체 영역의 교집합과 합집합을 비교함으로써 얻어진다(식 5). 마지막으로, Precision-Recall curve와 Average Precision (AP)을 분석함으로써 다양한 정량적 지표를 통해 모델의 성능을 다각도에서 평가하였다(Lee et al., 2022).

\(\begin{aligned}\text {Accuracy}= \frac{\text { True Positive } + \text {True Negative}}{\text { True Positive }+ \text { True Negative } + \text { False Positive }+ \text { False Negative}}\end{aligned}\)       (1)

\(\begin{aligned}\text {Precision}=\frac{\text { True Positive }}{\text { True Positive }+ \text { False Positive }}\end{aligned}\)       (2)

\(\begin{aligned}\text {Recall}=\frac{\text { True Positive }}{\text { True Positive }+ \text { False Negative }}\end{aligned}\)       (3)

\(\begin{aligned}\text {F1-Score}=2 \times \frac{\text { Precision } \times \text { Recall }}{\text { Precision }+ \text { Recall }}\end{aligned}\)       (4)

\(\begin{aligned}I o U=\frac{\text { Area of overlap }}{\text { area of union }}\end{aligned}\)       (5)

추가적으로, 정성적 분석을 통해 특정 영역에서 어떠한 오류를 보이는지를 시각적으로 평가하고 분석하였다. 위성레이더 영상의 경우 수체 영역과 음영 지역 간의 유사한 값으로 인해 발생하는 오분류는 정량적 방법으로는 식별하기 어려우나 정성적 분석을 통해 명확하게 파악할 수 있다.

4. 연구결과

4.1. 수체 학습데이터 구축 결과

Fig. 5는 본 연구에서 제작한 4개의 연구지역에 따른 원천데이터, 라벨 제작을 위해 참고자료로 활용된 영상 그리고 구축 기준 문서를 통해 정밀하게 제작된 라벨데이터를 나타낸다. Fig. 5(a)와 (b)는 각각 Orbit 54와 Orbit 134에서 촬영한 팔당댐 지역으로 비행방향이 달라 기하가 다른 것을 확인할 수 있다. Fig. 5(c)와 (d)는 각각 Orbit 54와 Orbit 127에서 촬영한 남한강 상류지역으로 궤도 방향은 동일하지만 입사각의 영향으로 Range 방향으로 해상도가 차이나는 것을 확인할 수 있다. Fig. 5(e)와 (f)는 각각 Orbit 54와 Orbit 61에서 촬영한 영주댐 지역으로 궤도 방향이 달라 기하가 다른 것을 알 수 있다. Fig. 5(g)와 (h)는 각각 Orbit 134와 Orbit 61에서 촬영한 낙동강 상류 지역으로 궤도 방향은 동일하지만 입사각의 영향으로 Range 방향으로 해상도가 차이나는 것을 확인할 수 있다.

Fig. 5. AI data constructed in this study: (1) VH data, (2) VV data, (3) Sentinel-2: SAR Coordinate System, (4) Threshold map, and (5) Label data. (a) Paldang dam-Orbit 54, (b) Paldang dam-Orbit 134, (c) Namhan River-Orbit 54, (d) Namhan River-Orbit 127, (e) Youngju dam-Orbit 54, (f) Youngju dam-Orbit 61, (g) Nakdong River-Orbit 134, and (h) Nakdong River-Orbit 61.

Fig. 5(2)의 VV영상이 (1)의 VH 영상보다 신호의 세기가 커서 조금 더 밝은 값을 가지며, 수체의 표면의 특성을 잘 나타나는 것을 확인할 수 있었다. Fig. 5(3)은 위성 레이더 지오메트리로 변환된 Sentinel-2 True Color Map으로 위성레이더 영상에 맞게 좌표변환이 잘된 것을 확인할 수 있었으며, 음영지역과 수체 영역을 구분하기 위해 활용된다. Fig. 5(4)는 임계값으로 수체와 비수체를 나눈 영상으로 큰 수체 영역의 경우는 잘 분류가 되었지만 작은 수체 영역, 음영지역 그리고 Speckle noise로 인해 오분류 되는 문제를 확인 할 수 있다. Fig. 5(e)는 (1–4)를 종합적으로 고려하여 수체 영역을 정밀하게 구분한 라벨데이터로, 오분류 된 지역을 확인하고 구축 기준 문서에 따라 일관성 있게 데이터를 제작하였다(Fig. 6).

Fig. 6. Example images of guideline for constructing label dataset: (a1-e1) VH data, (a2-e2) VV data, (a3-e3) Sentinel-2: SAR Coordinate System, (a4-e4) threshold map, and (a5-e5) label data.

Fig. 6은 작성된 구축 기준 문서에 따라서 제작된 라벨데이터의 일부를 확대한 영상이다. Fig. 6(a)의 흰색 박스 지역은 Side lobe 효과로 인해 기준영상에서는 비수체로 분류된 지역으로, 라벨 데이터 제작 시 주변의 픽셀값을 활용하여 수정하였다. Fig. 6(b)의 흰색 박스는 음영지역으로 Fig. 6(b3)을 통해 확인할 수 있다. 그러나 기준 영상에서는 수체로 분류되어 있어 라벨데이터 제작 시 비수체로 수정하였다. Fig. 6(c)의 흰색 박스 지역은 스펙클 노이즈 영향이 있는 지역으로 기준영상에서는 수체로 분류되어 있어 비수체로 수정하였다. Fig. 6(d)의 흰색 박스지역은 좁은 하천지역으로 Fig. 6(d3)을 통해 확인할 수 있다. 그러나 폭이 좁아 확인하기 어렵지만 Figs. 6(e1-e2)에서는 일부 확인할 수 있어 확인되는 지역에 대해 수체로 수정하였다. Fig. 6(e)의 흰색 박스지역은 작은 하중도 대한 영향이 있는 지역으로 일부 하중도가 구분이 어려운 것을 확인 할 수 있다. 이는 Fig. 6(e2-e3)을 통해 하중도와 수체의 경계를 수정하였다.

4.2. U-Net 모델의 성능 평가

본 연구에서 구축된 수체 학습데이터를 활용하여 UNet 모델에 적용하였다. 최종적으로 선별된 512 × 512 크기의 패치는 훈련데이터 793장과 시험데이터 630장이다. 그 중 훈련 데이터에 대해서 데이터 불균형을 해소하기 위해 데이터 증강기법을 적용하여 궤도와 연구 지역에 대해서 데이터셋의 크기를 모두 균일하게 맞추었다(Table 3).

Table 3. Dataset sizes before and after data augmentation

데이터 증강된 훈련데이터와 시험데이터를 U-Net에 적용하기 위해 하이퍼파라미터(Hyperparameter)를 Table 4와 같이 튜닝하였다. 출력층을 제외한 활성화 함수는 rectified linear unit (ReLu), 출력층은 Softmax를 활용하였다. 손실함수로는 일반적으로 영상 분할 모델에서 활용되는 cross entropy를 활용하였다. 최적화 함수로는 Adam 함수를 사용하였다. 학습률은 초기 0.0001로 설정하고, 학습이 진행됨에 따라 절반으로 감소시켜 0.000125까지 변화하도록 설정하였다. 미니 배치 크기는 16으로 설정하고, 총 학습 횟수는 500회까지 반복하여 진행하였다. 학습이 완료된 모델은 시험데이터에 대해 약 0.026의 손실 값과 0.998의 정확도에 수렴하였다.

Table 4. U-Net model hyperparameters for this study

Fig. 7은 시험데이터에 대한 수체 탐지 결과를 나타낸다. Fig. 7(a1-e1)과 (a2-e2)는 각각 VH와 VV 영상을 나타내며 Fig. 7(a3-e3)은 해당 데이터에 대한 라벨 데이터를 나타낸다. 그리고 Fig. 7(a4-e4)와 Fig. 7(a5-e5)는 각각 U-Net을 활용한 수체 탐지 결과와 Otsu 임계값 기반의 수체 탐지 결과를 나타낸다. 임계값 기반의 수체 탐지보다 정밀한 학습데이터셋을 활용한 수체 탐지 결과가 대부분의 환경에서 성능이 뛰어난 것을 확인할 수 있었다. Fig. 7(a)는 팔당댐 지역의 특정 패치를 나타내며, 흰색 박스 내의 하중도 지역은 너무 작아 라벨데이터에서 수체로 분류하였으나 모델과 임계값 기반의 영상은 이러한 작은 하중도의 영향까지 정확하게 분류하였다. 그러나 임계값 기반 영상의 경우 바람과 강우의 영향으로 수체가 밝게 나타나는 지역까지 비수체 오분류하는 것을 확인할 수 있다.

Fig. 7. Predicted Water segmented map: (a1-e1) VH data, (a2-e2) VV data, (a3-e3) label data, (a4-e4) predicted data, and (a5-e5) thres data.

Fig. 7(b)는 팔당댐 지역의 다른 지역으로, 흰색 박스가 표시된 다리 주변의 경계를 모델이 보다 정밀하게 예측한 것을 확인할 수 있었고, 임계값 기반의 영상은 수체를 과소 추정하는 것을 확인할 수 있다. Fig. 7(c)는 영주댐 지역의 일부를 나타내며, 흰색 박스가 표시된 부분에서 Side lobe 효과로 인해 주변보다 밝게 보이는 영역이 존재하지만, 모델은 이러한 효과를 잘 고려하여 수체를 탐지하였다. 반면에 임계값 기반의 영상은 이러한 효과를 전혀 반영하지 못하였다. Fig. 7(d)는 낙동강 지역의 일부를 보여주며, 흰색 박스는 폭이 좁은 다리로, 모델은 정확히 분류하였으나 임계값 기반의 영상은 작은 오분류가 존재했다.

Fig. 7(e)는 남한강 지역의 일부를 나타내며, 흰색 박스가 표시된 논과 밭 지역은 라벨 데이터 제작 시 수체 영역이 아니라고 판단하여 라벨데이터를 제작하였다. 그러나 모델이 추론한 결과를 분석해 보면, 영상이 8월에 촬영된 것을 고려할 때, 강우로 인한 침수 지역일 가능성이 높다고 추정할 수 있다. 이러한 결과들을 종합해볼때, 본 연구에서 구축한 데이터셋을 활용한 U-Net 모델이 임계값 기반 방법보다 다양한 환경에서 정밀하게 수체를 탐지하는 것을 확인할 수 있었다. 또한 모델이 추론한 결과는 사람이 제작한 데이터셋 보다 더 일관성 있고 정밀하게 수체 영역을 분류하는 것을 확인할 수 있었다.

Table 5는 구축된 수체 학습데이터셋을 활용한 U-Net 모델과 Otsu 임계값 기반의 방법을 통해 수체 탐지한 결과를 정량적 지표를 나타낸 표이다. 두 방법 모두 0.98 이상의 높은 정확도를 나타내지만 이는 패치내에 픽셀이 비수체에 대해 편향되어 있어 높게 나타나는 것이다. 이에 다른 지표를 확인해본 결과, IoU 지표의 경우 U-Net이 0.95로 Thres 방법보다 0.1 높은 것을 확인할 수 있었고 다른 모든 지표에서도 우수한 성능을 나타냈다. Fig. 8은 시험데이터에 대해 U-Net과 임계값 기반의 Precision-Recall curve와 평균 정밀도를 나타낸다. 높은 평균 정밀도를 나타낼수록 해당 클래스의 탐지 성능이 우수하다는 의미이다. 모델의 경우 수체와 비수체에 대한 AP값이 0.965, 0.998로 높은 탐지정확도를 나타내는 반면 임계값 기반 방법의 경우 수체와 비수체에 대한 AP 값이 0.849, 0.988로 비교적 낮은 탐지 정확도를 나타낸다. 이는 U-Net 모델이 수체 내 하중도, 스펙클 노이즈, 음영 지역, Side lobe 효과 등 다양한 국내 수체 환경과 위성레이더 영상의 특성을 반영하여 수체 탐지를 한 결과로 나타난다. 반면에 임계값 기반의 방법은 위와 같은 다양한 환경을 고려하지 못하고 강도 값만 활용하여 수체와 비수체를 분류하기 때문에 나타나는 결과로 나타난다.

Table 5. Performance indicators of the trained model and Otsu threshold method

Fig. 8. Precision-Recall curve of (a) trained U-Net model and (b) Otsu thres.

4.3. 국내 다른 수체 영역에 대한 모델 추론 결과

Fig. 9은 모델의 학습 및 평가 과정에서 사용되지 않은 별개의 수체 영역에 대해서 학습된 모델의 수체 탐지 결과를 나타낸다. 해당 수체 영역은 남한강 하류 일부와 횡성댐 지역으로, Fig. 2와 같이 동일한 데이터 전처리를 거쳐 원천데이터 및 라벨데이터를 제작하였다. 그 후, 본 연구에서 훈련된 U-Net 모델을 통해 수체를 탐지하였으며, 임계값 기반의 방법과 비교 및 분석하였다. Fig. 9(a)의 흰색 박스는 음영지역으로 모델과 임계값 기반 영상 모두 오분류하는 것을 확인할 수 있었다. 그러나 임계값 기반 영상은 음영지역 이외에도 스펙클노이즈와 수체 경계 부분에서 오분류하는 것을 확인할 수 있다. Fig. 9(b)의 흰색 박스 영역은 모델의 결과와 임계값 기반의 결과 차이를 보다 뚜렷하게 확인할 수 있다. U-Net 모델은 일부 음영지역에 대해서는 제대로 분류하였지만, 임계값 기반의 영상에서는 분류하지 못하였으며 다른 영역에서도 오분류 하는 것을 확인할 수 있다. Figs. 9(c, d)는 횡성댐 지역으로 흰색 박스는 그림자 지역이 없는 영역이다. 결과를 비교해보았을 때, 정답값과 모델이 탐지한 값이 거의 동일함을 확인할 수 있는 반면 임계값 기반의 방법은 과대추정 및 스펙클 노이즈 효과가 심한 것을 확인할 수 있다.

Fig. 9. Inference results for new region: (a1-d1) VH data, (a2-d2) VV data, (a3-d3) label data, (a4-d4) predicted data, and (a5-d5) thres data.

Table 6은 정량적인 지표를 활용해서 비교한 결과로 모델의 학습에 전혀 활용되지 않은 별개의 지역에 대해서도 0.99 이상의 높은 정확도 및 임계값 기반의 결과 IoU 기준 0.07 정도 높은 것을 확인할 수 있다. 이는 다양한 수역 특성을 고려한 수체 학습데이터셋 구축의 영향과 데이터 증강을 활용해 모델의 강건성을 향상시킨 결과로 나타난다. 그러나 시험데이터 결과에 비해서는 낮은 결과를 나타낸 것을 확인할 수 있다. 이러한 결과들을 종합해 볼 때, 대부분의 수체 영역에 대해 높은 수체 탐지 결과를 나타내었으나, 보다 정밀한 수체 탐지를 위해서는 보다 다양한 수체 특성을 고려한 데이터 제작, 특히 그림자 영역이 존재하는 수체 데이터셋을 추가적으로 구축이 필요하다. 추가적으로 구축된 데이터셋을 사전에 훈련된 모델에 전이 학습을 수행한다면 이러한 영향을 저감하고 높은 정확도의 수체 탐지가 가능할 것으로 나타나며, 이에 따라 국내 전역의 수체 모니터링이 가능할 것으로 기대된다.

Table 6. Performance indicators for unseen regions

5. 결론

지구온난화에 기인한 기후 변화는 홍수와 같은 수재해의 빈도와 피해 규모를 증가시키고 있으며, 한국 내 장마 및 집중호우에 의한 수재해도 증가하는 경향을 보이고 있다. 이에 따라, 광범위한 수재해의 관측, 관리 및 감시를 위한 위성영상의 활용이 필수적이다. 본 연구에서는 수체 모니터링에 강점을 보이는 Sentinel-1 위성레이더 영상을 활용하여 국내 수역의 다양한 특성을 반영한 고품질의 수체 데이터셋을 구축하였다. 구축된 데이터셋은 U-Net 모델에 적용되어 국내 수체 영역을 효과적으로 탐지하였으며, 모델의 성능은 정량적 및 정성적으로 검증되었다. 더 나아가 학습된 전 국토 수체 모니터링의 가능성을 확인하기 위해 학습에 활용되지 않은 국내 수체 지역에 모델을 적용하고 그 결과를 분석하였으며 다음과 같은 결론을 얻을 수 있었다.

첫째, 본 연구에서 구축된 Sentinel-1 위성레이더 영상 기반 수체 학습 데이터셋은 한반도를 촬영한 서로 다른 궤도에 대해서 제작되었으며, 구축 기준 문서와 다른 자료를 종합적으로 활용함으로써 고품질의 수체 탐지 데이터셋을 제작하였다.

다음으로 구축된 데이터를 활용하여 U-Net 모델에 적용하였으며, 기존의 수체 탐지 방법 중 하나인 Otsu 임계값 기반의 수체 탐지결과와 정성적 및 정량적으로 평가 및 분석하였다. 학습된 수체 탐지 모델의 정량적 평가 지표는 F1-Score 0.987, IoU 0.955로 임계값 기반의 IoU보다 약 0.1 높은 성능을 나타냈다. 또한, 정성적 평가에서는 일부 그림자 영역과 폭이 좁은 하천을 오분류하는 문제가 관찰되었으나, 대체적으로 더 정밀하게 수체를 탐지하였다.

마지막으로, 학습 및 평가에 활용되지 않은 다른 수체 영역에 대해 훈련된 모델을 적용하였으며 F1-Score 0.94, IoU 0.89에 해당하는 높은 성능을 나타냈다. 이는 향후 더욱 다양한 수체 특성을 나타내는 고품질의 학습 데이터셋이 추가적으로 구축되어진다면 전 국토 수체 모니터링이 가능할 것으로 여겨진다. 또한, 국내의 수재해 피해 규모 및 수자원 변화의 모니터링을 포함한 수체 탐지와 관련된 연구 및 응용 분야에서 중요한 기여를할수 있을 것으로 기대된다.