DOI QR코드

DOI QR Code

Urban Change Detection for High-resolution Satellite Images Using U-Net Based on SPADE

SPADE 기반 U-Net을 이용한 고해상도 위성영상에서의 도시 변화탐지

  • Received : 2020.10.29
  • Accepted : 2020.12.01
  • Published : 2020.12.31

Abstract

In this paper, spatially-adaptive denormalization (SPADE) based U-Net is proposed to detect changes by using high-resolution satellite images. The proposed network is to preserve spatial information using SPADE. Change detection methods using high-resolution satellite images can be used to resolve various urban problems such as city planning and forecasting. For using pixel-based change detection, which is a conventional method such as Iteratively Reweighted-Multivariate Alteration Detection (IR-MAD), unchanged areas will be detected as changing areas because changes in pixels are sensitive to the state of the environment such as seasonal changes between images. Therefore, in this paper, to precisely detect the changes of the objects that consist of the city in time-series satellite images, the semantic spatial objects that consist of the city are defined, extracted through deep learning based image segmentation, and then analyzed the changes between areas to carry out change detection. The semantic objects for analyzing changes were defined as six classes: building, road, farmland, vinyl house, forest area, and waterside area. Each network model learned with KOMPSAT-3A satellite images performs a change detection for the time-series KOMPSAT-3 satellite images. For objective assessments for change detection, we use F1-score, kappa. We found that the proposed method gives a better performance compared to U-Net and UNet++ by achieving an average F1-score of 0.77, kappa of 77.29.

본 논문에서는 고해상도의 위성영상을 활용하여 도시의 변화 양상을 분석하기 위하여 SPADE기반의 U-Net과 객체 영역기반 변화탐지 방법을 제안한다. 제안하는 네트워크는 기존의 U-Net에서 공간 정보를 잃지 않기 위해 SPADE를 사용했다. 고해상도 위성영상을 활용한 변화탐지 방법은 계획, 예측 등 다양한 도시 문제를 해결하기 위해 활용할 수 있다. IR-MAD 등 전통적인 방법인 화소 기반의 변화탐지를 수행할 경우, 다중 시기 영상 간의 기후, 계절 변화 등에 의해 화소의 변화가 민감하기 때문에 미변화 지역들이 변화 지역으로 오탐지될 가능성이 매우 크다. 이에 본 논문에서는 시계열 위성영상에서 도시를 구성하는 객체에 대한 변위를 정확하게 탐지하기 위해 도시를 구성하는 주요 공간 객체를 정의하고, 딥러닝 기반 영상 분할을 통해 추출한 후 영역 간의 변위 오차를 분석하여 변화탐지를 수행한다. 변화 양상을 분석하기 위한 공간 객체로 건축물, 도로, 농경지, 비닐하우스, 산림 영역, 수변 영역의 6개로 정의하였다. KOMPSAT-3A 위성영상으로 학습한 각 네트워크 모델을 시계열 KOMPSAT-3 위성영상에 대한 변화탐지를 수행한다. 객관적인 성능 평가를 위한 변화탐지 지표는 F1-score, Kappa를 사용한다. 제안하는 변화탐지 기법은 U-Net, UNet++ 대비 뛰어난 결과를 보이며, 평균 F1 score는 0.77, kappa는 77.29의 성능을 확인할 수 있다.

Keywords

요약

본 논문에서는 고해상도의 위성영상을 활용하여 도시의 변화 양상을 분석하기 위하여 SPADE기반의 U-Net과 객체 영역기반 변화탐지 방법을 제안한다. 제안하는 네트워크는 기존의 U-Net에서 공간 정보를 잃지 않기 위해 SPADE를 사용했다. 고해상도 위성영상을 활용한 변화탐지 방법은 계획, 예측 등 다양한 도시 문제를 해결하기 위해 활용할 수 있다. IR-MAD 등 전통적인 방법인 화소 기반의 변화탐지를 수행할 경우, 다중 시기 영상 간의 기후, 계절 변화 등에 의해 화소의 변화가 민감하기 때문에 미변화 지역들이 변화 지역으로 오탐지될 가능성이 매우 크다. 이에 본 논문에서는 시계열 위성영상에서 도시를 구성하는 객체에 대한 변위를 정확하게 탐지하기 위해 도시를 구성하는 주요 공간 객체를 정의하고, 딥러닝 기반 영상 분할을 통해 추출한 후 영역 간의 변위 오차를 분석하여 변화탐지를 수행한다. 변화 양상을 분석하기 위한 공간 객체로건축물, 도로, 농경지, 비닐하우스, 산림 영역, 수변 영역의 6개로 정의하였다. KOMPSAT-3A 위성영상으로 학습한 각 네트워크 모델을 시계열 KOMPSAT-3 위성영상에 대한 변화탐지를 수행한다. 객관적인 성능 평가를 위한 변화탐지 지표는 F1-score, Kappa를 사용한다. 제안하는 변화탐지 기법은 U-Net, UNet++ 대비 뛰어난 결과를 보이며, 평균 F1 score는 0.77, kappa는 77.29의 성능을 확인할 수 있다.

1. 서론

변화탐지는 인구 밀도가 높은 도시와 접근하기 어려운 지역에서 일어나는 변화 정보를 얻을 수 있기 때문에 원격 탐사 분야에서 각광받는 주제이다. 이는 도시 개발이 근접 미개발 지역으로 확산되는 urban sprawl 현상이나 지진에 대한 모니터링 등 크고 복잡한 도시의 문 제점들을 해결하는데 도움을 주고 있다. 최근에는 전 세계적으로 1 m 이하의 고해상도 위성영상의 공급이 증대됨에 따라 기존보다 상세한 정보를 얻을 수 있기 때문에 건물 등 작은 객체도 찾아낼 수 있다. 이를 토대로 고해상도 위성영상을 활용한 변화탐지 방법은 계획, 예측, 관리 등 스마트시티 및 도시 관리 분야에서 공간정보와 융합하여 정확하고 신뢰할 수 있는 과학적 분석 정보를 제공할 수 있다.

일반적으로 전통적인 변화탐지 과정은 전처리, 변화탐지 기법 선택, 정확도 평가의 세 단계로 구성된다. 일반적으로, 변화탐지 기법은 특징(feature) 추출과 변경 결정으로 요약할 수 있다(Jiang et al., 2020). 전통적인 변화탐지 분석 방법은 크게 화소 기반 변화탐지(pixel-based change detection)와 객체 기반 변화탐지(object-based change detection)로 구분한다(Cleve et al., 2008). IR-MAD (Nielsen, 2007) 등 화소 기반의 변화탐지 방법은 MODIS 등 변화가 큰 저해상도 위성영상에 적합하다. 고해상도의 위성영상은 건물, 도로 등 고주파 영역이 산발적으로 분포하기 때문에 화소 기반의 변화탐지 방법은 미변화 지역들이 변화 지역으로 오탐지될 가능성이 매우 크다는 문제가 있다. Major-voting(Jung et al., 2019) 등 객체 기반의 변화탐지 방법은 화소 기반의 변화탐지 방법에 비해 고해상도 위성영상에 적합하지만, 위성영상의 해상도가 증가함에 따라 방사보정(radiometric correction), 기 하보정(geometric correction), 영상정합(image registration)과 같은 전처리 결과에 민감하여 정확도가 떨어지는 문제가 있다(Im et al., 2008).

이러한 문제점을 해결하기 위해 머신러닝을 이용한 변화탐지 방법이 제안되었다. FCM(Bezdek et al., 1984) 등 비지도학습(unsupervised learning)을 이용한 방법은 학습을 위한 label이 없을 때 유용하다. 하지만 label 등 추가 정보가 없다면, 불변 변화에 과적합되거나 부적합되기 때문에 합리적으로 좋은 결과를 내기가 쉽지 않다. SVM(Support Vector Machine)(Cortes and Vladimir, 1995) 등 지도학습(supervised learning)을 이용한 방법은 주어진 ground truth 또는 label로 학습을 위한 정보를 기술함으로써, 학습 결과인 데이터를 명확하게 분류하는 초평면(hyper-plane)을 찾도록 최적화될 수 있다. 단, 학습과정에 필요한 특징 추출 및 특징 선택을 잘 설계해야 한다는 한계가 있다(Wahyu et al., 2020).

최근에는 딥러닝의 발전으로, 이를 활용하여 많은 양의 데이터를 효과적으로 처리하고 스스로 유용한 특징을 분석하여 추출할 수 있다. CNN(Convolutional Neural Network) 등 딥러닝을 이용한 변화탐지 방법은 시계열 영상에서 추출된 차영상(difference image)을 입력자료로 활용하여 학습된 모델을 통해 변화탐지를 수행한다. 따라서 특정 화소를 중심으로 커널(kernel) 내 주변 화소와의 관계를 반영하여 학습할 수 있으므로 화소 기반과 객체 영역 기반 기법의 특징을 모두 가지고 있는 장점이 있다. 그러나 CNN은 구조 내에서 시계열 정보를 처리할 수 없기 때문에 자료변환 및 후분류 작업과 같은 전·후처리를 수행하지 않고 네트워크의 학습만으로 변화를 추출할 수 없다는 단점이 있다(Song et al., 2019). U-Net(Ronneberger et al., 2015)은 FCN(Fully Convolutional Network)(Long et al., 2015)를 기반으로 구축하였으며, end-to-end로 간단하지만 효과적인 네트워크로써 적은 데이터를 가지고도 더욱 정확한 결과를 도출할 수 있어 위성영상 도메인에 적합하다.

고해상도의 위성영상은 광원, 기후, 계절 변화 등에 의해 화소의 변화가 민감하다. 따라서 객체 영역 단위로 영상을 분할하지 않는다면 미변화 지역들이 변화 지역으로 오탐지될 가능성이 매우 크다. 또한, 위성영상의 특성상 촬상장치의 기하에 따라 객체의 위치가 다르다는 문제점이 있다. 이러한 문제들을 해결하기 위해 본 논문에서는 2단계로 구성된 변화탐지 방법을 제안한다. 먼저, 도시를 구성하는 주요 공간 객체를 정의한다. 변화 양상을 분석하기 위한 공간 객체로 건축물, 도로, 농경지, 비닐하우스, 산림 영역, 수변 영역의 6개로 정의한다. 그리고 제안하는 SPADE(Park et al., 2019) 기반 UNet을 통해 학습한 모델을 통해 공간 객체 단위로 분할한다. 그 다음 단계로, 분할된 영상의 패치 단위로 두 시계열 영상의 객체별 변화량을 비교하여 변화탐지 결과를 얻는다.

본 논문은 6개의 세션으로 구성된다. 세션 2에서는 딥러닝 기반 영상 분할에 관련된 연구들을 간단히 소개한다. 세션 3은 제안하는 변화탐지 방법의 상세한 내용이다. 세션 4는 영상 분할 모델의 학습을 위해 사용한 데이터셋에 대한 내용이다. 세션 5는 실험 방법과 그 결과에 대한 분석에 관한 내용이다. 마지막으로, 세션 6는 결론 및 향후 연구에 대한 내용이다.

2. 관련 연구

Semantic segmentation은 영상 내 물체들을 의미 있는 단위로 분할하는 것이다. 즉, 영상의 각 픽셀이 어느 집합에 속하는지 예측하는 것이다. 최근 FCN, SegNet (Badrinarayanan et al., 2017), U-Net 등 많은 CNN 구조들이 영상 분할을 위해 제안되었다. 그 중 U-Net은 의료 영상 분류에서 자주 언급되는 벤치마크 데이터셋인 ISBI Challenge에서 이전의 최고 방법인 sliding-window convolution network 보다 뛰어난 성능을 보였던 CNN 구조이다(Ronneberger et al., 2015). 이 네트워크는 생물의학 이미지들을 빠르고 정확하게 분할하기 위해 제안되었다. sliding-window 방식을 사용하면 이전 패치에서 검증이 끝난 부분을 다음 패치에서 또 검증하기 때문에 속도가 느리다는 문제가 있다. 이러한 중첩되는 비율을 줄여 속도를 향상시켰다. 또한, 패치 사이즈가 커진다면 더 넓은 범위의 이미지를 한번에 인식하다 보니 컨텍스트 인식에는 좋지만, localization이 낮다는 trade-off 관계를 가진다. 이러한 문제를 해결하기 위해 FCN을 기반으로 구축되어 이를 수정하였다(Ronneberger et al., 2015).

U-Net은 네트워크의 중앙을 기준으로 왼쪽을 인코더인 수축 경로, 오른쪽을 디코더인 팽창 경로로 정의했다. 수축 경로는 3×3 convolution, ReLU를 포함한 4개의 블록으로 구성되며, 각 블록은 max-pooling을 이용해 사이즈를 줄여가며 컨텍스트를 포착할 수 있도록 돕는다. 팽창 경로는 각 블록에 up-conv를 이용하여 수축경로에서 줄어든 사이즈를 다시 키운다. 또한, U-Net은 이러한 인 코더-디코더 구조에 스킵 커넥션을 추가했다. 스킵 커넥션은 수축 경로에서 보낸 정보로 팽창경로에서 더 선명한 이미지를 얻게 되어 더욱 정확한 예측이 가능하게 만든다(Ronneberger et al., 2015).

영상의 사이즈를 줄였다가 다시 늘리면 정교한 픽셀 정보가 사라지게 된다. 이는 픽셀 단위로 클래스 예측이 필요한 영상 분할 분야에서 큰 문제이다. U-Net은 이러한 문제를 스킵 커넥션을 통해 보완하였으나, UNet++ (Zhou et al., 2018)는 U-Net에 스킵커넥션으로 전달하는 정보에 다수의 convolution을 추가하였다. 이를 통해 스킵 커넥션을 통해 전달되는 정보가 보다 강화되어 성능을 향상시킬 수 있었다. 3D U-Net(Çiçek et al., 2016)은 기존의 U-Net에 착안하여 만든 모델로, 2D 연산을 3D로 확장시킨 네트워크이다. 네트워크가 학습할 수 있는 space of variation, 모델의 능력 향상을 위해(Szegedy et al., 2016) 배치 정규화를 추가하여 성능을 향상시켰다. 하지만, 배치 정규화는 공간 정보를 잃을 수 있다는 문제가 남아있다(Park et al., 2019). 본 논문에서는 이를 보안하기 위해 SPADE를 추가하여 성능을 개선한다

3. 제안하는 방법

1) SPADE 기반 U-Net

Fig. 1는 제안하는 변화탐지의 전체 순서도이다. Fig. 2 는 Fig. 1(a)에 해당하는 제안하는 네트워크의 순서도이다. 회색 블록은 U-Net의 convolution 블록의 활성화 함수 이전에 배치 정규화를 추가한다. 또한, max-pooling 이후와 up-conv 이전에 SPADE를 추가한다. 배치 정규화는 각 레이어의 입력 값의 분포를 일정하게 유지시켜 주는 역할을 한다. 따라서, 가중치 초기값 선택의 의존성이 줄어들기 때문에 학습률을 높게 설정할 수 있어 학습의 속도가 개선된다(Szegedy et al., 2016). 하지만, 배치 정규화는 정규화 과정을 거치며 semantic 정보가 유실되는 경향이 있다(Park et al., 2019). 예를 들면, 패치 단위의 입력 영상이 저주파 영역으로 구성된 영상이라면 semantic 정보를 보존하기 어렵다. 이러한 문제를 해결하기 위해, Fig. 3와 같이 SPADE는 element-wise affine transform 연산을 진행한다. γ와 β의 각 위치는 입력 영상의 convolution 필터를 통해 특정 공간에 해당하는 의미 정보를 담고 있어 semantic 정보를 보존이 가능하다

OGCSBN_2020_v36n6_2_1579_f0001.png 이미지

Fig. 1. The general flowchart of the proposed change-detection. (a) proposed segmentation network (b) proposed change-detection method.

OGCSBN_2020_v36n6_2_1579_f0002.png 이미지

Fig. 2. The flowchart of proposed network.

OGCSBN_2020_v36n6_2_1579_f0017.png 이미지

Fig. 3. The flowchart of SPADE (Park et al., 2019).

2) 객체 영역 기반 변화탐지

위성영상의 특성상 촬상장치의 기하에 따라 객체의 위치가 달라지거나, 광원 등에 화소 변화가 민감하다는 특징이 있다. Fig. 4-5는 촬상장치의 기하 조건이 다른 예시로, Fig. 4과 같이 저층 건물의 경우 큰 차이가 없지만, Fig. 5와 같이 고층 건물의 경우 위치가 달라지기 때문에 변화된 위치에 대한 정밀한 보정이 필요하다. 또한, 광원의 영향으로 음영진 영역이 다르다.

OGCSBN_2020_v36n6_2_1579_f0003.png 이미지

Fig. 4. Example of images showing (a) low-rise buildings in image (October, 2015) and (b) low-rise buildings in image (January, 2019).

OGCSBN_2020_v36n6_2_1579_f0004.png 이미지

Fig. 5. Example of images showing (a) high-rise buildings in image (October, 2015) and (b) high-rise buildings in image (January, 2019).

이를 해결하기 위해 본 논문에서 수행하는 방법은 패치 단위의 객체 영역별 분포 비교를 통해 변화를 탐지한다. Fig. 6는 Fig. 1(b)에 해당하는 객체 영역 기반 변화탐지의 순서도이다. 시계열 위성영상에서 도시를 구성하는 객체에 대한 변화를 정확하게 탐지하기 위해, 도시를 구성하는 주요 공간 객체를 딥러닝 기반 영상 분할을 통해 추출한다. 그리고 적절한 크기로 분할된 모든 패치 내 객체별 변화량의 임계값을 구하고 이를 기준으로 변화탐지 결과를 얻는다. 본 논문에서는, 임계값을 구하기 위해 Otsu (1979)의 방법을 사용하였다.

OGCSBN_2020_v36n6_2_1579_f0005.png 이미지

Fig. 6. The flowchart of object-region based change detection method. 

4. 데이터셋

1) 학습 데이터셋

본 논문에서 변화 양상을 분석하기 위한 공간 객체를 Fig. 7과 같이 건축물, 도로, 농경지, 비닐하우스, 산림 영역, 수변 영역의 6개로 정의하였다. 나지를 포함한 농경지, 토사를 포함한 수변 영역 등 경계가 명확하지 않은 요소를 배제하기 위해, 본 논문에서는 건축물에 대한 결과를 대상으로 실험 결과를 작성한다. Fig. 8과 같이 건축물은 가로 10 pixels, 세로 10 pixels 이상의 면적을 갖는 객체로, 해당 객체의 최고점(지붕) 외곽을 완전히 포함하는 각진 영역으로 정의한다.

OGCSBN_2020_v36n6_2_1579_f0006.png 이미지

Fig. 7. (a) Building, (b) road, (c) farmland, (d) vinyl house, (e) forest area, and (f) waterside area.

OGCSBN_2020_v36n6_2_1579_f0018.png 이미지

Fig. 8. (a) Satellite image and (b) defined ‘building’ on satellite image.

학습 데이터로 사용하는 KOMPSAT-3A 위성영상은 0.55 m의 공간해상도를 가진다. KOMPSAT-3A에서 취득한 L0F 데이터를 기본 방사보정을 거쳐 산출한 L1R 표준영상을 사용한다. Table 1은 KOMPSAT-3A 위성영상의 목록으로, 변화탐지를 위한 다시기의 영상을 학습 데이터로 사용하였다. 데이터를 분류하기 위해 층화추 출법(stratified sampling)을 사용하여 학습 데이터와 검증 데이터를 각각 80%, 20%로 분류하였다. 또한, 학습에 활용한 하이퍼파라미터는 Table 2와 같다.

Table 1. The list of KOMPSAT-3A satellite images

OGCSBN_2020_v36n6_2_1579_t0001.png 이미지

Table 2. Hyperparameter for training

OGCSBN_2020_v36n6_2_1579_t0002.png 이미지

2) 실험 데이터셋

다시기 위성영상의 정밀한 변화탐지를 위해 기하보정이 완료된 KOMPSAT-3 L1G 위성영상에 대한 변화탐지를 수행한다. Fig. 9-13은 테스트에 사용된 두 시계열 영상이다. 분석을 위해 순서대로 Area 1-5로 명명하였다. Fig. 9-13의 (a), (b)는 두 시계열 영상으로 변화탐지를 위해 Szeliski (2006)의 방법으로 영상 정합을 수행한 영상이다. 두 시계열 영상은 건물의 신축 등으로 인한 도시의 변화가 존재하며 chromatic aberration, 노이즈 등에 영향을 받았다. Fig. 9-13의 (c)는 ground truth로 변화가 있는 영역은 검은색 이외의 값을 가진다. Fig. 9은 두 구역의 공사가 진행 중이다. Fig. 9(a)는 왼쪽 상단 영역은 건설을 위한 토지를 고르고 있고, 오른쪽 중단 영역은 건축이 진행 중이다. Fig. 9(b)는 왼쪽 상단 영역은 건축이 진행 중이고 오른쪽 중단 영역은 건축이 마무리되 어가는 중이다. Fig. 10(c)는 새로 생기거나 변화된 건축물의 최고층을 기준으로 정의하였다. Fig. 10는 영상 중앙 구역에 공사가 진행 중이다. Fig. 10(a)의 중앙 영역에 건축이 진행 중이다. Fig. 10(b)은 중앙 영역은 건축이 마무리 단계이다. Fig. 10(c)는 건축이 완료된 건축물의 최고층을 기준으로 정의하였다. Fig. 11은 영상 중앙 구역에 공사가 진행 중이다. Fig. 11(a)는 영상 중앙 구역에 공사를 위한 작업이 진행 중이다. Fig. 11(b)의 중앙 영역은 건축이 진행 중이다. Fig. 11(c)는 건축 중인 건물의 최고층을 기준으로 정의하였다. Fig. 12은 도시의 외곽 지역이며 건축물의 변화가 적고 산림 영역이 많아 계절의 변화가 눈에 띈다. Fig. 12(a)는 건축 중인 건물이 없다. Fig. 12(b)는 골프연습장이 생겼으며, 영상 중앙 지역에 새로운 도로가 생기고 건축이 진행 중이다. Fig. 13는 철도 주변의 도심지이다. Fig. 13(a)는 영상 중앙에 철도 주변으로 공사가 진행 중이다. Fig. 13(b)는 영상 중앙.에 공사가 완료된 건축물이 보인다.

OGCSBN_2020_v36n6_2_1579_f0007.png 이미지

Fig. 9. Example of dataset showing (a) input image for Area 1 (March, 2014), (b) input image for Area 1 (October, 2015), and (c) its ground truth for Area 1.

OGCSBN_2020_v36n6_2_1579_f0008.png 이미지

Fig. 10. Example of dataset showing (a) input image for Area 2 (March, 2014), (b) input image for Area 2 (October, 2015), and (c) its ground truth for Area 2.

OGCSBN_2020_v36n6_2_1579_f0009.png 이미지

Fig. 11. Example of dataset showing (a) input image for Area 3 (March, 2014), (b) input image for Area 3 (October, 2015), and (c) its ground truth for Area 3.

OGCSBN_2020_v36n6_2_1579_f0010.png 이미지

Fig. 12. Example of dataset showing (a) input image for Area 4 (March, 2014), (b) input image for Area 4 (October, 2015), and (c) its ground truth for Area 4.

OGCSBN_2020_v36n6_2_1579_f0011.png 이미지

Fig. 13. Example of dataset showing (a) input image for Area 5 (March, 2014), (b) input image for Area 5 (October, 2015), and (c) its ground truth for Area 5.

5. 실험 결과 및 분석

Fig. 14-18은 Fig. 9-13에서 소개한 시계열 위성영상에 대해 제안하는 변화탐지를 수행한 결과와 ground truth이다. Fig. 14-18의 U-Net과 UNet++의 결과는 제안하는 방법에 비해 건축물을 영역이 아닌 픽셀 단위로 찾아내는 것을 알 수 있다. 또한, 제안하는 방법이 다른 네트워크에 비해 ground truth에 근접하다고 볼 수 있다. 객관적인 성능평가를 위해, 본 논문에서는 F1-score와 kappa를 사용한다. Table 3는 F1-score를 비교한 것으로, 제안하는 방법은 U-Net과 UNet++에 비해 0.23 높은 수치를 보였다. 또한, Table 4은 변화탐지에서 평가측도로 쓰이는 kappa의 결과이다. 제안하는 방법은 U-Net보다 평균 22.93 높으며, UNet++보다 22.6 높은 결과를 얻었다.

OGCSBN_2020_v36n6_2_1579_f0012.png 이미지

Fig. 14. Ground truth and detection results for validation and testing Area 1 with the existing and proposed algorithms: (a) ground truth, (b) U-Net, (c) UNet++, and (d) proposed.

OGCSBN_2020_v36n6_2_1579_f0013.png 이미지

Fig. 15. Ground truth and detection results for validation and testing Area 2 with the existing and proposed algorithms: (a) ground truth, (b) U-Net, (c) UNet++, and (d) proposed.

OGCSBN_2020_v36n6_2_1579_f0014.png 이미지

Fig. 16. Ground truth and detection results for validation and testing Area 3 with the existing and proposed algorithms: (a) ground truth, (b) U-Net, (c) UNet++, and (d) proposed.

OGCSBN_2020_v36n6_2_1579_f0015.png 이미지

Fig. 17. Ground truth and detection results for validation and testing Area 4 with the existing and proposed algorithms: (a) ground truth, (b) U-Net, (c) UNet++, and (d) proposed.

OGCSBN_2020_v36n6_2_1579_f0016.png 이미지

Fig. 18. Ground truth and detection results for validation and testing Area 5 with the existing and proposed algorithms: (a) ground truth, (b) U-Net, (c) UNet++, and (d) proposed.

Table 3. F1-score comparison of the proposed and existing works

OGCSBN_2020_v36n6_2_1579_t0003.png 이미지

Table 4. Kappa comparison of the proposed and existing works

OGCSBN_2020_v36n6_2_1579_t0004.png 이미지

6. 결론

본 논문에서는 고해상도 위성영상을 활용한 도시 변화탐지를 수행하기 위해 딥러닝 기반 영상 분할 네트워크를 제안한다. 제안하는 도시 변화탐지를 위한 과정은 크게 두 단계로 이루어진다: 영상 분할을 통해 주요 공간객체를 추출하고, 패치 단위의 분석을 통해 변화를 탐지한다. 제안하는 방법은 다중시기 영상 간의 chromatic aberration, 노이즈 등의 다양한 영상 조건에도 강인한 변화탐지 결과를 얻었다. 또한, 정량적인 평가인 F1-score와 kappa의 결과로도 기존의 네트워크들보다 뛰어난 결과를 얻었다. 하지만, 나지를 포함한 농경지, 토사를 포함한 수변 영역 등 정의하기 어려운 객체에 대한 문제가 남아 있기 때문에 향후 이를 위한 연구가 필요하다.

사사

본 연구는 한국항공우주연구원 ‘정부 위성정보활용 협의체 지원(FR20H00)’ 과제의 지원을 받아 수행되었습니다.

References

  1. Badrinarayanan, V., A. Kendall, and R. Cipolla, 2017. Segnet: A deep convolutional encoder-decoder architecture for image segmentation, IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(12): 2481-2495. https://doi.org/10.1109/TPAMI.2016.2644615
  2. Bezdek, J.C., R. Ehrlich, and W. Full, 1984. FCM: The fuzzy c-means clustering algorithm, Computers & Geosciences, 10(2-3): 191-203. https://doi.org/10.1016/0098-3004(84)90020-7
  3. Cicek, O., A. Abdulkadir, S. S. Lienkamp, T. Brox, and O. Ronneberger, 2016. 3D U-Net: learning dense volumetric segmentation from sparse annotation, International conference on medical image computing and computer-assisted intervention, Springer, Cham, Munich, Germany, pp. 424-432.
  4. Cleve, C., M. Kelly, F. R. Kearns, and M. Moritz, 2008. Classification of the wildland-urban interface: A comparison of pixel-and object-based classifications using high-resolution aerial photography, Computers, Environment and Urban Systems, 32(4): 317-326. https://doi.org/10.1016/j.compenvurbsys.2007.10.001
  5. Cortes, C. and V. Vapnik, 1995. Support-vector networks, Machine Learning, 20(3): 273-297. https://doi.org/10.1007/BF00994018
  6. Gong, M., H. Yang, and P. Zhang, 2017. Feature learning and change feature classification based on deep learning for ternary change detection in SAR images, ISPRS Journal of Photogrammetry and Remote Sensing, 129: 212-225. https://doi.org/10.1016/j.isprsjprs.2017.05.001
  7. Im, J.-H., J. R. Jensen, and J. A. Tullis, 2008. Objectbased change detection using correlation image analysis and image segmentation, International Journal of Remote Sensing, 29(2): 399-423. https://doi.org/10.1080/01431160601075582
  8. Ioffe, S. and C. Szegedy, 2015. Batch normalization: Accelerating deep network training by reducing internal covariate shift, Proc. of 2015 International Conference on Machine Learning, Lille, FRA, Jul. 6-11, pp. 448-456.
  9. Jiang, H., X. Hu, K. Li, J. Zhang, J. Gong, and M. Zhang, 2020. PGA-SiamNet: Pyramid Feature-Based Attention-Guided Siamese Network for Remote Sensing Orthoimagery Building Change Detection, Remote Sensing, 12(3): 484. https://doi.org/10.3390/rs12030484
  10. Jung, S.-J., T.-H Kim, W.-H Lee, and Y.-K Han, 2019. Object-based Change Detection using Various Pixel-based Change Detection Results and Registration Noise, Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, 37(6): 481-489 (in Korean with English abstract). https://doi.org/10.7848/KSGPC.2019.37.6.481
  11. Long, J., E. Shelhamer, and T. Darrell, 2015. Fully convolutional networks for semantic segmentation, Proc. of the IEEE conference on computer vision and pattern recognition, Boston, MA, Jun. 8-12, pp. 3431-3440
  12. Nielsen, A. A., 2007. The regularized iteratively reweighted MAD method for change detection in multi-and hyperspectral data, IEEE Transactions on Image Processing, 16(2): 463-478. https://doi.org/10.1109/TIP.2006.888195
  13. Otsu, N., 1979. A threshold selection method from gray-level histograms, IEEE Transactions on Systems, Man, and Cybernetics, 9(1): 62-66. https://doi.org/10.1109/TSMC.1979.4310076
  14. Park, T., M.-Y Liu, T.-C Wang, and J.-Y Zhu, 2019. Semantic image synthesis with spatially-adaptive normalization, Proc. of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, CA, Jun. 16-20, pp. 2337-2346.
  15. Ronneberger, O., P. Fischer, and T. Brox, 2015. U-net: Convolutional networks for biomedical image segmentation, International Conference on Medical image computing and computer-assisted intervention, Springer, Cham, Munich, Germany, pp. 234-241.
  16. Song, A.-R, J.-W Choi, and Y.-I Kim, 2019. Change Detection for High-resolution Satellite Images Using Transfer Learning and Deep Learning Network, Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, 37(3): 199-208 (in Korean with English abstract). https://doi.org/10.7848/KSGPC.2019.37.3.199
  17. Szeliski, R., 2006. Image alignment and stitching: A tutorial, Foundations and Trends® in Computer Graphics and Vision, 2(1): 1-104.
  18. Szegedy, C., V. Vanhoucke, S. loffe, J. Shlens, and Z. Wonjna, 2016. Rethinking the inception architecture for computer vision, Proc. of the IEEE conference on computer vision and pattern recognition, Las Vegas, NV, Jun. 26-Jul. 1, pp. 2818-2826.
  19. Wahyu, W., J.-S Lee, and D.-G Sim, 2020. Change Detection on Multi-Spectral Images Based on Feature-level U-Net, IEEE Access, 8: 12279-12289. https://doi.org/10.1109/ACCESS.2020.2964798
  20. Zhou, Z., M. M. R. Siddiquee, and N. Tajbakhsh, 2018. Unet++: A nested u-net architecture for medical image segmentation, Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support, Springer, Cham, Granada, Spain, pp. 3-11.