DOI QR코드

DOI QR Code

Application of Geo-Segment Anything Model (SAM) Scheme to Water Body Segmentation: An Experiment Study Using CAS500-1 Images

수체 추출을 위한 Geo-SAM 기법의 응용: 국토위성영상 적용 실험

  • Hayoung Lee (Department of Applied Convergence Security, Hansung University) ;
  • Kwangseob Kim (Department of Computer Software, Kyungmin University) ;
  • Kiwon Lee (Information System Track, Hansung University)
  • 이하영 (한성대학교 융합보안학과 ) ;
  • 김광섭 (경민대학교 컴퓨터소프트웨어학과 ) ;
  • 이기원 (한성대학교 정보시스템트랙)
  • Received : 2024.06.11
  • Accepted : 2024.08.05
  • Published : 2024.08.31

Abstract

Since the release of Meta's Segment Anything Model (SAM), a large-scale vision transformer generation model with rapid image segmentation capabilities, several studies have been conducted to apply this technology in various fields. In this study, we aimed to investigate the applicability of SAM for water bodies detection and extraction using the QGIS Geo-SAM plugin, which enables the use of SAM with satellite imagery. The experimental data consisted of Compact Advanced Satellite 500 (CAS500)-1 images. The results obtained by applying SAM to these data were compared with manually digitized water objects, Open Street Map (OSM), and water body data from the National Geographic Information Institute (NGII)-based hydrological digital map. The mean Intersection over Union (mIoU) calculated for all features extracted using SAM and these three-comparison data were 0.7490, 0.5905, and 0.4921, respectively. For features commonly appeared or extracted in all datasets, the results were 0.9189, 0.8779, and 0.7715, respectively. Based on analysis of the spatial consistency between SAM results and other comparison data, SAM showed limitations in detecting small-scale or poorly defined streams but provided meaningful segmentation results for water body classification.

Meta에서 신속한 영상 분할 기능을 제공하는 대규모 컴퓨터 비전 생성 모델을 발표한 이후, 여러 활용 분야에서 이를 적용하려는 연구가 이루어지고 있다. 이 연구에서는 위성 영상 자료에 Segment Anything Model (SAM)을 사용할 수 있는 QGIS 플러그인 Geo-SAM을 사용하여 수체 객체 탐지와 추출에 대한 SAM의 적용성을 조사해 보고자 하였다. 실험 대상 자료는 국토위성(Compact Advanced Satellite 500, CAS500-1) 영상을 사용하였다. 이 자료를 가지고 SAM을 적용하여 얻은 결과는 같은 입력 영상으로부터 수작업으로 제작한 수체 객체 자료, Open Street Map (OSM)의 수체 자료, 국토지리정보원의 수계 수치지도와 비교하였다. SAM 처리 결과와 비교 대상 자료를 이용하여 추출된 모든 객체를 대상으로 계산한 경계사각형의 교집합/합집합의 평균값을 나타내는 mean Intersection over Union (mIoU)은 각각 0.7490, 0.5905, 0.4921로 나타났고, 각 자료에서 공통으로 나타나거나 추출된 객체에 대해 계산한 결과는 차례대로 0.9189, 0.8779, 0.7715로 나타났다. SAM을 적용한 결과와 다른 비교 자료와의 공간적 일치도를 분석한 결과, SAM에서는 한 개의 수체 객체를 여러 개의 분할 요소로 나타내므로 수체 객체 분류를 지원하는 의미 있는 결과를 보이고 있음을 알 수 있다.

Keywords

1. 서론

물은 생명 유지, 생태계 유지, 기후 조절에 필수적이며, 효과적인 수체 모니터링은 수자원 관리, 생물 다양성 지원 및 기후 변화의 영향을 완화하는 데 중요하다(Pietrucha-Urbanik and Rak, 2023). 정확하고 신속한 수체 정보는 홍수 모니터링, 농업 계획 및 환경 보호와 같은 재난 관리에 도움을 준다. 이러한 필요성에 따라 위성 데이터를 이용한 수면 식별과 관련된 다양한 연구가 진행되고 있다. An and Rui (2022)는 고해상도 위성 데이터를 통해 고정밀 수역 추출의 정확도 평가와 개선 방법을 다루었고, Ozdemir et al. (2024)은 위성 데이터 분석을 통해 수면 분류에 대한 혁신적인 방법론을 제안하였다. 이러한 연구들은 수계 예측과 해안 변화 관찰 등에서 위성 데이터의 중요성을 강조하고 있다.

Meta AI는 2023년에 다양한 분야에서 별도의 추가 학습 자료 없이도 사용자가 프롬프트(prompt)를 통해 객체의 마스크(mask)를 생성할 수 있는 zero-shot 또는 few-shot 기능을 제공하는 Segment Anything Model (SAM) 시스템을 발표하였다(Kirillov et al., 2023). SAM은 1억 1천만 개의 영상을 적용하여 10억 개 이상의 마스크로 이루어진 Segment Anything 1 Billion (SA-1B) 데이터 세트를 기반으로 학습되었다. 이 시스템은 마스크 생성을 위한 영상 분할을 위해 특화된 컴퓨터 비전의 Vision Transformer (ViT) 생성 모델(foundation model)로, Image encoder, Prompt encoder, Mask decoder의 세 가지 구성 요소로 이루어져 있다. 여기서 Image encoder와 Prompt encoder는 각각 마스크를 생성하기 위해 입력 영상에서 주요 특징을 추출하는 기능과 사용자가 요구한 프롬프트를 분석하는 기능을 수행한다. 이러한 기능을 통해 얻은 정보를 바탕으로 Mask decoder는 사용자가 원하는 객체를 분할한다. 즉, 입력 영상에서 특정 객체의 경계나 영역을 배경과 명확히 구분한 마스크를 제공하는 것이다.

따라서 객체 탐지와 객체 추출을 목적으로 하는 여러 분야에서 SAM을 활용하고자 하는 기초 연구와 실험 연구가 진행되고 있다. Carraro et al. (2023)은 딥 러닝을 적용하는 농업 분야에서 정밀하게 분할된 농업 마스크에 대한 분석을 하였고, Mazurowski et al. (2023)은 의료 영상 분석에서 SAM의 대화형 프롬프트 처리 방식을 비교하여 박스(box)형 프롬프트가 우수한 성능을 보인다고 하였다. 한편 Yang et al. (2024)과 Giannakis et al. (2024)은 각각 태양광 패널 탐지 문제와 다양한 유형의 지구과학 자료를 이용하여 분화구(crater)의 위치와 기하학적 형태를 추출하고 분석하는 데 SAM이 효과적인 방법이 될 수 있다고 하였다. 원격 탐사에서도 SAM의 활용에 대해 가장 활발한 연구가 이루어지고 있다. Osco et al. (2023)은 대용량 영상정보에 대해 자동화된 프롬프트를 적용한 결과를 분석하면서 위성정보 처리 분야에서 SAM의 가능성과 문제점을 제시한 바 있다. 또한 Wu and Osco (2023)는 공간 정보 처리를 위한 주요 라이브러리를 포함하여 SAM을 적용할 수 있는 파이썬 패키지(Python package)를 발표하였고, Yan et al. (2023)은 SAM에서 광학 영상과 합성개구레이더(Synthetic Aperture Rader, SAR) 영상을 적용한 결과와 딥 러닝 알고리즘을 적용한 결과를 비교하는 연구를 수행하였다.

한편, 실무적인 응용과 관련하여 Zhang et al. (2023)은 농업 모니터링 시스템에 Sentinel-2 영상을 적용하여 SAM을 사용한 경작지 작물 유형 매핑 기능을 통합하는 연구를 진행하고 있으며, Ren et al.(2023)은 양식업 분야에서 불법 조업 감시 등에 위성 영상을 이용한 SAM이 적용되는 사례를 발표하였다. Moghimi et al. (2024)은 강 유역 탐지를 위해 SAM을 적용하면서 SAM의 경우 딥 러닝 알고리즘에 비해 정확도가 낮고 일관성을 보이는 결과가 나오지 않는 문제를 지적하였다. Gui et al. (2024)은 SAM이 제공하는 zero-shot 기능이 다양한 데이터와 연계되면서 지구 관측 위성을 이용한 객체 탐지를 위한 중요한 기술로 발전할 것이라고 예상하였고, Ren et al. (2024)은 SAM에 실제 자료를 적용하는 경우 일부 객체에 대해 낮은 정확도를 보일 수 있기 때문에 fine-tuning이 필요하다고 하였다. 여기서 fine-tuning은 SAM이 제공하는 ViT 모델에 사용자가 새로운 자료를 추가하고 새로 학습시키는 과정을 의미한다. ViT 모델은 컴퓨터 비전 분야에서 영상 정보를 처리하기 위해 Transformer 구조를 사용하는 모델을 의미한다. Xue et al. (2024)은 SAM의 Image encoder에서 제공하는 ViT 모델에 대해 fine-tuning 처리 결과를 분석하면서 모델 선정이 정확도에 영향을 미칠 수 있다고 하였다. SAM은 ViT 모델을 인코딩 블록의 크기, 복잡도와 매개 변수의 개수에 따라 ViT-B (base), ViT-L(large), ViT-H (huge)와 같은 세 가지 유형으로 구분하고 있다.

한편, Zhao et al.(2023)은 위성 영상 자료에 SAM을 사용할 수 있는 QGIS 플러그인(plugin) Geo-SAM을 개발하여 공개하였다. 그러므로 선행된 연구와는 다르게 이 연구에서는 Geo-SAM을 사용하여 수체 객체 탐지와 추출 방법으로서 SAM의 적용성을 조사해 보고자 하였다. SAM은 영상 분할 기능 제공을 주 목적으로 하지만 이 연구에서는 대상 지역 내에 분포하는 수체 객체의 형상이나 경계선 정보를 탐지하기 위한 분할(segmentation)을 추출(extraction)의 개념으로 확장하여 수행하였다. 실험에서는 도시 지역과 농림 지역이 포함되는 지역을 선정하였고, 실험 자료로는 이 지역의 국토위성(Compact Advanced Satellite 500, CAS500-1) 영상을 사용하였다. 이 위성은 국내 지역에 대해 무료로 제공되는 2 m 급 고해상도 위성으로 국토지리를 모니터링하기 위해 운용되고 있는 위성이다. 그러므로 SAM 처리를 통해 작은 규모의 수체나 좁은 하천이 추출될 경우 활용성이 높아질 수 있다. 이 자료를 이용해 처리한 산출물은 벡터 유형으로 같은 연구 지역의 국토지리정보원의 수계 수치지도와 Open Street Map (OSM)의 수체 자료를 활용하여 객체 탐지와 같은 컴퓨터 비전 작업 모델 성능을 평가하는 데 사용되는 지표인 mean Intersection over Union (mIoU)을 계산하여 공간 일치도를 정량적으로 확인하고 그 결과를 분석하였다.

2. 연구 방법 및 자료

2.1. 연구 방법

이 연구에서는 QGIS의 플러그인 Geo-SAM (Zhao et al., 2023)을 이용하여 SAM 처리를 수행하였다. Geo-SAM은 Fig. 1과 같이 Image encoding과 Interactive segmentation의 두 부분으로 구성된다.

Fig. 1. Geo-SAM image encoding, segmentation parts, and general processing procedure (slightly modified from Zhao et al., 2023).

Image encoding은 SAM에서 제공하는 기능과 같은 역할을 수행한다. 영상이 입력되면 한 번만 수행되면서 SAM에서 처리 가능한 자료 유형으로 변환되고, 객체들의 특징을 추출하고 저장하는 과정을 처리한다.Interactive segmentation에서는 앞에서 특징이 추출된 입력 영상 자료를 이용하여 실시간 대화형 형태로 객체 추출을 수행한다.

SAM 처리는 일반적으로 자동으로 처리되지만 프롬프트를 통한 대화형 처리가 가능하며, 이러한 방식은 원하는 특정 객체 추출 시 정확도를 높일 수 있다. 방식은 포인트(point), 박스(box), 텍스트(text) 세 가지 형태이다. 포인트 프롬프트는 객체의 정확한 위치와 배경 구분, 박스 프롬프트는 전체적인 형태 지정, 텍스트 프롬프트는 카테고리를 지정하여 모델이 특정 객체를 찾아 분할할 수 있는 추가 입력 자료이다.

Geo-SAM은 포인트와 박스 방식을 제공하고 있다. 프롬프트를 통해 포인트 또는 박스가 추가되면, 플러그인에 포함된 Mask decoder에서 입력 영상의 특징과 프롬프트를 가지고 조건에 만족하는 유효한 마스크가 생성되고, 이 결과는 면(polygon) 유형의 객체(feature)로 shapefile에 저장된다. 객체 추출 방식에 대해 SAM은 한 번에 하나의 객체를 추출하도록 설계되었기 때문에 Geo-SAM의 경우도 프롬프트마다 추출된 객체를 각각 별도로 저장해야 한다. 한편 SAM은 기본적으로 Red, Green, Blue가 합성된 컬러 영상을 입력 값으로 지원하지만 Geo-SAM에서는 위성 영상 특성에 맞춰 한 밴드에 대한 처리가 가능하다. 따라서 별도의 작업을 하지 않아도 grey scale 영상이나 SAR 영상 정보 처리가 가능하다. Geo-SAM은 세 가지 유형의 ViT 모델을 모두 지원하며 사용자가 원하는 모델을 선택할 수 있도록 하였다. Geo-SAM은 ViT-L 모델의 초기 사용을 위한 기본 모델로 권장하고 있으며, 본 연구에서도 ViT-L 모델을 사용하여 실험을 진행하였다.

Fig. 2는 연구의 자료 처리 방법과 연구 흐름도를 정리한 것이다. 일반적으로 SAM을 적용하는 방식은 Meta Application Programming Interface (API)를직접이용하는방법,클라우드기반서비스인Google Colab에서 SAM 패키지를 호출하여 사용하는 방법 그리고 QGIS의 플러그인으로 개발된 Geo-SAM을 사용하는 방법 등이 있다. 이번 연구는 이 중에서 Geo-SAM을 이용하였다. 여러 개의 자료를 이용하기 위해 Geo-SAM에 영상을 입력하고 처리하려면 전처리 작업이 필요하다. 이 연구에서는 관심 지역이 여러 개의 위성 영상 자료가 이어진 지역으로 이루어지는 경우가 일반적이기 때문에, 4개의 파일로 이루어진 지역에 포함된 내부의 부분 지역을 연구 대상 지역으로 하였다(Table 1). 현재 국토위성 영상은 누구든지 무료로 내려 받을 수 있지만 보안 상 영상 좌표가 포함되지 않는다. 하지만 영상 보조자료에 영상 상하좌우 좌표 정보가 포함되어 있으므로 이 자료를 Geospatial Data Abstraction Library (GDAL) (https://gdal.org/index.html) 소프트웨어를 통해 매핑하고, RGB 컬러로 합성하여 4개의 영상을 하나로 통합(merging) 후, 마지막으로 연구 지역을 추출(clipping)하여 사용하였다. 처리 결과는 비교 대상 자료를 이용하여 추출된 객체를 대상으로 mIoU를 계산하였다. mIoU는 식(1)에 의하여 계산한다.

\(\begin{align}m I o U=\frac{1}{n} \sum_{i} \frac{\text { area of intersection }}{\text { area of union }}\end{align}\)       (1)

Fig. 2. The workflow using Geo-SAM and accuracy assessment.

Table 1. Applied data sets

NGII: National Geographic Information Institute of Korea.

여기서 i는 비교 대상이 되는 개별 객체를 의미하며, n은 비교 대상이 되는 객체의 개수를 나타낸다.

2.2. 연구 자료

Geo-SAM을 이용하여 얻은 수체 자료의 정확도 평가는 수작업으로 제작한 Water Mask를 이용하여 수행하였다(Table 1). 이는 연구 자료에 사용된 CAS500-1 영상을 활용하여 제작된 자료이다. 즉, Water Mask 수계 자료를 ground truth로 산정하여 Geo-SAM의 산출물과 비교한 것이다. 또한 국토지리정보원 수계 수치 지도의 1:5,000 축척의 면(polygon) 형 수계 자료(N3A)인 수치지도 자료 중에서 하천경계선(0010001) 자료와 호수/저수지(0052114) 자료를 비교 자료로 사용하였다. 이러한 국토지리정보원 수계 자료와 함께 QGIS의 QuickOSM 플러그인을 이용하여 OSM에 포함된 수체 자료도 비교 자료로 사용하였다. 이러한 수치 지도는 벡터 유형의 자료이기 때문에 Geo-SAM에서 얻은 수체 자료 유형과 동일하다.

두 가지 방식으로 정확도를 비교 평가하였는데, 첫 번째는 mIoU 계산에 의한 것이다. 이 mIoU는 Geo-SAM 결과와 ground truth, 국토지리정보원과 OSM 수체 자료를 각각 별도로 계산하였다. 이러한 mIoU 평가와 별도로 비교 대상 자료들이 모두 같은 벡터 유형으로 되어 있기 때문에 산술 연산 중 뺄셈으로 공간상에서 정확도가 차이나는 부분을 확인하고자 하였다.

Fig. 3은 연구 지역을 나타낸 것이다. 대구광역시 금호강 지역, 금호 인터체인지(interchange), 서대구역 일대를 포함하는 지역이다(약 100 km2). 사용된 영상 자료는 RGB 합성 영상으로 촬영 일자가 14일 차이가 있기 때문에 영상 간의 색상 차이가 나타난다. 이와 같이 인접 영상의 색상 차가 있는 경우에도 Geo-SAM은 배경색 정보와 마스크와의 차이가 있는 경우에는 프롬프트에서 연속된 객체로 분할하기 때문에 객체 추출이 가능하다.

Fig. 3. The study area with geographic location on the base map of OSM.

3. 연구 결과 및 분석

Geo-SAM을 이용하여 수부를 추출한 결과는 Fig. 4(a)와 같다. 추출한 객체의 지역 내 분포 상태를 알 수 있도록 OSM 지도를 배경지도로 사용하였다. 같은 지역의 ground truth는 Fig. 4(b)에, OSM에서 추출한 수체 객체 자료와 국토지리정보원 수계 수치지도는 각각 Figs. 4(c, d)에 제시하였다. 강이나 호수와 웅덩이 같은 주요한 수부의 특징이 부합되는 형상임을 알 수 있다.

Fig. 4. Water bodies in the study area: (a) water bodies by Geo-SAM overlayed on open street map (OSM), (b) manually digitized water objects as ground truth, (c) water bodies extracted from OSM, and (d) water bodies in the NGII digital map.

실험 결과로 모든 객체를 대상으로 계산한 mIoU 결과는 Table 2에 정리하였다. Geo-SAM과 값을 비교했을 때 ground truth, OSM, National Geographic Information Institute (NGII)의 차례대로 0.7490, 0.5905, 0.4921로 나타났다. 여기서 모든 객체는 SAM에서 추출되지 못한 수부나 하천이 ground truth, 국토지리정보원 수계 수치자료 그리고 OSM 수체 객체 자료에 있는 경우에도 이 객체들을 mIoU 계산에 적용한다는 의미이다. 이와 같이 모든 객체를 대상으로 하는 경우 비교적 낮은 값으로 나타나게 된다. 반면에 각 자료의 공통으로 나타난 객체만을 대상으로 계산한 mIoU 결과는 0.9189, 0.8779, 0.7715로 나타났고 이는 모든 객체들 대상으로 한 경우보다 높은 값을 보였다(Table 3). SAM을 적용한 결과와 다른 데이터의 공간적 일치도를 분석한 결과, Geo-SAM과 ground truth의 mIoU 값이 Table 2와 3에서 모두 OSM과 NGII에 비해 높은 일치도를 보인다. 특히 Table 3에서 Geo-SAM과 ground truth의 mIoU는 0.9189로 매우 높은 정확도를 나타내고 있다. 이는 SAM이 수체 객체 분류에서 신뢰할 수 있는 결과를 제공함을 의미한다.

Table 2. mIoU with all features

Table 3. mIoU with overlapped features

Figs. 5, 6, 7 모두 벡터 자료에 대한 뺄셈 연산을 수행한 결과이다. Fig. 5(a)는 ‘Water Mask 레이어(layer) - Geo-SAM 결과 레이어’ 연산을 수행한 결과를 나타내며, Fig. 5(b)는 반대의 연산을 수행한 결과이다. Fig. 6(a)는 ‘OSM 수체 레이어 - Geo-SAM 결과 레이어’ 연산을 수행한 결과이고, Fig. 6(b)는 위와 마찬가지로 반대의 연산을 수행한 결과이다. 마지막으로 Fig. 7(a)는 ‘국토지리정보원 수계 레이어 - Geo-SAM 결과 레이어’ 연산을 수행한 결과이고, Fig. 7(b)는 반대의 연산을 수행한 결과이다. 시각적 공간 영역을 나타낸 이 결과를 보면 어느 경우나 큰 폭의 강의 경우 경계선이 상당히 일치하는 것을 알 수 있고, 강 폭의 변화로 해석이 가능한 부분도 있음을 알 수 있다. SAM은 다각형 유형의 마스크를 대상으로 하는 객체 추출에 최적화되어 있어서 비록 다각형이라고 하더라도 선형으로 좁은 폭을 갖는 객체의 탐지는 쉽지 않다. 하지만 Geo-SAM을 적용한 경우 폭이 좁은 강이나 하천 등을 완벽하게 추출하지는 못하나 대상 영역을 확대하여 포인트 프롬프트로 하나하나의 객체를 추출하면 보다 많은 객체를 추출할 수 있다.

Fig. 5. Accuracy assessment: (a) ground truth subtracted by Geo-SAM results and (b) vice versa.

Fig. 6. Accuracy assessment: (a) OSM water bodies residual subtracted by Geo-SAM results and (b) vice versa.

Fig. 7. Accuracy assessment: (a) NGII residual subtracted by Geo-SAM results and (b) vice versa.

이 실험에서 SAM을 사용하여 객체를 완벽히 추출하기 위해서는 입력 자료로 사용하는 영상의 상태가 매우 중요하다. SAM의 경우 분류 작업과 같이 다중 밴드 영상 자료를 특성 자료로 사용하지 않고 한개의 컬러 영상 정보를 입력 자료로 사용하기 때문에 영상의 상태가 결과에 많은 영향을 미치게 된다. 즉, 지표면에 실폭 하천이 존재하더라도 입력 영상에서 하천의 경계가 배경 색상과 명확하게 구분되지 않거나 영상의 공간 해상도에 비하여 좁은 범위로 수부가 존재하는 경우에는 SAM에서는 이러한 객체를 탐지하지 못하게 된다. 한편 Wang et al. (2023), Ren et al. (2024), Xue et al. (2024) 등과 같은 기존 연구에서는 정확도 향상을 위하여 fine-tuning이 필요하다고 하였다. 이는 시설물이나 건물 등과 같은 인공 객체를 추출하는 데 효과적인 방법으로 검증되고 있지만 강이나 하천 등과 같은 자연 객체를 다루는 문제에는 아직 많은 연구가 이루어지지 않고 있다.

Fig. 8은 Geo-SAM으로 생성한 수체 자료의 정확도와 관련된 특징을 나타내기 위한 내용이다. SAM은 객체 분류(feature classification)와 달리 객체 분할을 목적으로 하기 때문에 단일 주제의 객체라도 분리하여 추출한다. Fig. 8(a)는 연구 지역의 네이버 지도이다. Fig. 8(b)는 Geo-SAM으로 탐지한 수체 자료인데 원으로 표기된 부분에서 볼 수 있듯이 강을 가로지르는 다리를 네이버 지도와 일치하는 수준으로 나타내고 있다. 한편 국토지리정보원이나 OSM의 수체 수치 지도에서는 강의 중간에 위치한 다리와 관계없이 연속적인 객체로 나타나고 있다. 또한 Fig. 8(a)의 지류(a, b 표기 부분)를 Geo-SAM에서 추출한 수체 자료에서 확인할 수 있다. SAM은 영상 분할 작업이 영상 분류와 달리 배경색과 밀접한 관계가 있기 때문에 하천이 계절적 영향 등으로 명확한 경계가 보이지 않거나 주변 배경 영상과 분리가 어려운 경우에는 수체 지역을 추출하기 어려울 수 있다. 하지만 영상의 상태가 양호하고 대상 영역을 확대하여 포인트 프롬프트를 사용하여 객체를 추출하면 보다 완벽하게 수체 지역을 추출할 수 있다.

Fig. 8. A portion of the study area that provides a detailed representation of the research findings: (a) part of the study area shown on the NAVER map, (b) water bodies segmented by Geo-SAM results, (c) ground truth, (d) water body features extracted from OSM, and (e) water body features in NGII digital map.

4. 결론

이 연구에서는 위성 영상 자료에 SAM을 사용할 수 있는 QGIS 플러그인 Geo-SAM을 이용하여 수체 객체 탐지 및 추출에 대한 SAM의 적용성을 살펴보고자 하였다. 실험 대상 자료로는 CAS500-1 영상을 사용하였고, 이 자료에 SAM을 적용한 결과를 동일한 연구 지역의 국토지리정보원의 수계 수치지도와 OSM의 수체 자료와 비교하는 실험을 수행하였다. 연구 지역이 촬영 일자가 차이가 있기 때문에 색상 차가 나타나지만 Geo-SAM은 배경색과의 차이로 마스크를 분할하기 때문에 별도의 전처리를 하지 않고도 연속된 수부를 추출할 수 있었다.

SAM 처리 결과와 비교 자료를 이용하여 추출된 모든 객체를 대상으로 계산한 mIoU는 Geo-SAM과 값을 비교했을 때 ground truth, OSM, NGII 순서로 0.7490, 0.5905, 0.4921이다. 각 자료에서 공통적으로 나타난 객체에 대해 계산한 mIoU는 차례대로 0.9189, 0.8779, 0.7715로 나타났다. 이 연구에서 사용한 국토 위성 영상이 촬영 일자가 차이가 있는 모자이크 영상임에도 SAM은 다각형 유형의 마스크를 대상으로 하는 객체 추출에 최적화되어 있어서 포인트 프롬프트를 활용하여 폭이 좁은 강이나 하천 등을 추출할 수 있었다.

하지만 영상 분할 기법에 의한 객체 인식은 입력 영상의 선명도와 객체의 반사도 등과 같은 품질에 많은 영향을 받기 때문에 더욱 좋은 상태의 영상 자료를 적용하면 실제 정확도는 향상될 것이라고 생각한다. 또한 강이나 하천 등과 같은 자연 객체에 대하여 효과적인 fine-tuning 작업이 추가되면 객체 탐지와 추출에 도움이 될 수 있으므로 이에 대한 연구도 필요하다. mIoU 계산에 의한 정확도 검증과 함께 SAM을 적용한 결과와 다른 비교 자료와의 공간적 일치도를 분석한 결과, SAM은 한 개의 수체 객체를 여러 개의 분할 요소로 나타내므로 수체 분류 객체와는 구분되는 의미 있는 결과를 보여줌을 알 수 있다.

사사

이 논문은 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. RS-2023-00241346). 이 논문은 경민대학교 교내학술연구비 지원과제임(김광섭).

Conflict of Interest

No potential conflict of interest relevant to this article was reported.

References

  1. An, S., and Rui, X., 2022. A high-precision water body extraction method based on improved lightweight U-Net. Remote Sensing, 14(17), 4127. https://doi.org/10.3390/rs14174127
  2. Carraro, A., Sozzi, M., and Marinello, F., 2023. The Segment Anything Model (SAM) for accelerating the smart farming revolution. Smart Agricultural Technology, 6, 100367. https://doi.org/10.1016/j.atech.2023.100367
  3. Giannakis, I., Bhardwaj, A., Sam, L., and Leontidis, G., 2024. A flexible deep learning crater detection scheme using SegmentAnything Model (SAM). Icarus, 408, 115797. https://doi.org/10.1016/j.icarus.2023.115797
  4. Gui, S., Song, S., Qin, R., and Tang, Y., 2024. Remote sensing object detection in the deep learning era-A review. Remote Sensing, 16(2), 327. https://doi.org/10.3390/rs16020327
  5. Kirillov, A., Mintun, E., Ravi, N., Mao, H., Rolland, C., Gustafson, L., et al., 2023. Segment anything. arXiv preprint arXiv:2304.02643. https://doi.org/10.48550/arXiv.2304.02643
  6. Mazurowski, M. A., Dong H., Hanxue Gu, H., Yang, J., Konz, N., and Zhang, Y., 2023. Segment anything model for medical image analysis: An experimental study. Medical Image Analysis, 89, 102918. https://doi.org/10.1016/j.media.2023.102918
  7. Moghimi, A., Welzel, M., Celik, T., and Schlurmann, T., 2024. A comparative performance analysis of popular deep learning models and Segment Anything Model (SAM) for river water segmentation in close-range remote sensing imagery. IEEE Access, 12, 52067-52085. https://doi.org/10.1109/ACCESS.2024.3385425
  8. Osco, L. P., Wu., Q., de Lemos, E. L., Goncalves, W. N., Ramos,A. P. M., Li, J., and Junior, J. M., 2023. The Segment Anything Model (SAM) for remote sensing applications: From zero to one shot. International Journal of Applied Earth Observation and Geoinformation, 124, 103540. https://doi.org/10.1016/j.jag.2023.103540
  9. Ozdemir, S., Akbulut, Z., Karsli, F., and Kavzoglu, T., 2024. Extraction of water bodies from high-resolution aerial and satellite images using visual foundation models. Sustainability, 16(7), 2995. https://doi.org/10.3390/su16072995
  10. Pietrucha-Urbanik, K., and Rak, J., 2023. Water, resources, and resilience: Insights from diverse environmental studies. Water, 15(22), 3965. https://doi.org/10.3390/w15223965
  11. Ren, S., Luzi, F., Lahrichi, S., Kassaw, K., Collins, L. M., Bradbury, K., et al., 2024. Segment anything, from space?. arXiv preprint arXiv: 2304.13000. https://doi.org/10.48550/arXiv.2304.13000
  12. Ren, Y., Yang, X., Wang, Z., Yu, G., Liu, Y., Liu, X., Meng, D., Zhang, Q., and Yu, G., 2023. Segment Anything Model (SAM) assisted remote sensing supervision for mariculture-using Liaoning province, China as an example. Remote Sensing, 15(24), 5781. https://doi.org/10.3390/rs15245781
  13. Wang, D., Zhang,J., Du, B.,Xu, M., Liu, L., Tao, D., et al., 2023. SAMRS: Scaling-up remote sensing segmentation dataset with segment anything model. arXiv preprint arXiv:2305.02034. https://doi.org/10.48550/arXiv.2305.02034
  14. Wu, Q., and Osco, L. P., 2023.samgeo: A Python package for segmenting geospatial data with the Segment Anything Model (SAM). Journal of Open Source Software, 8(89), 5663. https://doi.org/10.21105/joss.05663
  15. Xue, B., Cheng, H., Yang, Q., Wang, Y., and He, X., 2024. Adapting segment anything model to aerial land cover classification with low-rank adaptation. IEEE Geoscience and Remote Sensing Letters, 21, 2502605. https://doi.org/10.1109/LGRS.2024.3357777
  16. Yan, Z., Li, J., Li, X., Zhou, R., Zhang, W., Feng, Y., Diao, W., Fu, K., and Sun, X., 2023. RingMo-SAM: A foundation model for segment anything in multimodal remote-sensing images. IEEE Transactions on Geoscience and Remote Sensing, 61, 5625716. https://doi.org/10.1109/TGRS.2023.3332219
  17. Yang, R., He, G., Yin, R., Wang, G., Zhang, Z., Long, T., et al., 2024. A novel weakly-supervised method based on the segment anything model for seamless transition from classification to segmentation: A case study in segmenting latent photovoltaic locations. International Journal of Applied Earth Observation and Geoinformation, 130, 103929. https://doi.org/10.1016/j.jag.2024.103929
  18. Zhang, C., Marfatia, P., Farhan, H., Di, L., Lin, L., Zhao, H., et al., 2023. Enhancing USDA NASS cropland data layer with Segment Anything Model. In Proceedings of the 2023 11th International Conference on Agro-Geoinformatics(Agro-Geoinformatics),Wuhan, China, July 25-28, pp. 1-5. https://doi.org/10.1109/Agro-Geoinformatics59224.2023.10233404
  19. Zhao, Z., Fan, C., and Liu, L., 2023. Geo SAM: A QGIS plugin using SegmentAnything Model(SAM)to accelerate geospatial image segmentation (Version 1.1.0). Zenodo. https://doi.org/10.5281/zenodo.8191039