Unsupervised Change Detection of KOMPSAT-3 Satellite Imagery Based on Cross-sharpened Images by Guided Filter

Guided Filter를 이용한 교차융합영상 기반 KOMPSAT-3 위성영상의 무감독변화탐지

Abstract

GF (Guided Filtering) is a representative image processing technique to effectively remove noise while preserving edge information in the digital image. In this paper, we proposed a unsupervised change detection method for the KOMPSAT-3 satellite image using the GF and evaluated its performance. In order to utilize GF for the unsupervised change detection, cross-sharpened images were generated based on GF, and CVA (Change Vector Analysis) was applied to the generated cross-sharpened images to extract the changed area in the multitemporal satellite imagery. Experimental results using KOMPSAT-3 satellite images showed that the proposed method can be effectively used to detect changed regions compared with CVA results based on existing cross-sharpened images.

GF(Guided Filtering)는 영상에 존재하는 에지 정보를 보존하면서 잡음을 효과적으로 제거하기 위한 대표적인 영상처리 기법이다. 본 연구에서는 GF를 이용하여 다시기 KOMPSAT-3 위성영상에 대한 무감독 변화 탐지 기법을 수행하고, 이에 대한 성능을 평가하고자 하였다. GF를 변화탐지에 활용하기 위하여, GF를 기반으로 교차융합영상을 생성하였으며, 생성된 교차융합영상에 CVA(Change Vector Analysis) 기법을 적용하여 변화 지역을 추정하고자 하였다. KOMPSAT-3 위성영상을 이용한 실험결과, 본 연구에서 제안한 기법이 기존의 영상융합 기법을 기반으로 하는 CVA 결과들과 비교하여 효과적으로 변화지역을 탐지하는 데에 활용할 수 있음을 확인하였다.

1. 서론

변화탐지 기법은 다시기에 취득된 다양한 원격탐사자료들을 활용하여 지형의 변화 유무 및 양상을 분석하는 원격탐사 활용 기법이다. 특히, 산불, 도시개발, 환경변화, 재난/재해 등의 다양한 지형변화 현상 등의 분석에 대한 중요성이 증대됨에 따라서, 원격탐사 자료를 이용한 변화탐지 기법은 토목, 도시, 환경, 국방 등의 다양한 분야에서 활용 가능한 기법이다. 따라서 원격탐사 분야에서는 변화탐지에 대한 연구들이 꾸준히 이루어지고 있으며, 기술적인 특성에 따라서 감독 변화탐지(supervised change detection)와 무감독 변화탐지(unsupervised change detection)로 구분할 수 있다(Lu et al., 2004; Lu et al., 2014). 감독 변화탐지는 사용자가 다시기 위성영상에 대한 훈련자료(training data)를 생성하고, 이를 통한 다시기 영상의 분류에 의한 토지피복지도를 비교하여 변화지역을 탐지하는 방법이다. 변화지역의 양상을 함께 분석할 수 있다는 장점을 가지고 있으나, 양질의 훈련자료가 필요하기 때문에 사용자의 개입이 필수적이라는 단점을 지닌다. 반면, 무감독 변화탐지의 경우에는 변화유무에 대한 정보만을 제공하지만 상대적으로 사용자의 개입이 적은 특징을 지닌다(Wang et al., 2015).

관심지역의 빠른 변화지역 탐지에 유용한 무감독 변화탐지 기법은 LANDSAT과 같은 중해상도 위성영상에 대해서는 효과적으로 적용할 수 있다. 하지만, Pléiades, KOMPSAT, WorldView 등과 같은 1 m 내외의 공간해상도를 지니는 고해상도 위성영상들은 다양한 촬영각(nadir angle)에 의하여 촬영되며 지형의 특성에 따른 기복변위 등이 존재하기 때문에 변화탐지 기법의 결과에서 많은 오차들이 발생된다. 위와 같은 고해상도 위성 영상의 변화탐지 기법에서 발생할 수 있는 문제를 해결하기 위하여 다양한 연구들이 진행된 바 있다. Choi et al.(2017)은 KOMPSAT-2, 3 위성영상에 ITPCA(ITerative Principal Component Analysis) 기법을 적용하여 국내 지역의 산림황폐화 지역 탐지 가능성에 대한 연구를 수행한 바 있으며, Park et al.(2017)과 Park et al.(2018)은 초소형 위성인 PlanetScope 위성영상을 이용하여 무감독 변화탐지를 수행하고, 변화탐지 결과에 계절적인 영향 등을 제거할 수 있는 방안을 제시하였다. Oh and Lee(2015)는 LiDAR 자료와 고해상도 위성영상 등을 이용한 변화탐지 기법에 대한 연구를 진행하였으며, Han et al.(2017)은 KOMPSAT 위성영상을 이용하여 도심지 내의 변화지역을 추출하기 위한 방법을 연구하였다. 한편, 고해상도 위성영상의 촬영각의 차이에 따른 변화탐지 결과의 영향을 최소화하기 위하여 교차융합영상(cross-sharpenedimage)을 이용한 무감독 변화탐지 기법에 대한 연구들이 이루어지고 있. Wan et al.(2015)는 교차융합영상을 이용한 고해상도 위성영상의 변화탐지 기법을 제안하였으며, Byun et al.(2015)은 교차융합영상을 이용하여 홍수 발생 후의 피해면적을 추출하고, 이를 기존의 변화탐지 기법들과 비교하여 성능을 정량적으로 평가한 바 있다.

교차융합영상은 기존의 다시기 위성영상 만을 사용하는 기법들과 비교하여 향상된 정확도를 가지며, 고해상도 위성영상이 가지는 기복변위 등에 의한 오탐지율을 감소시킬 수 있다. 그러나 교차융합영상을 수행하기 위해서는 효과적인 융합 기법을 선정해야 하며, 변화탐지 정확도의 경우에도 개선될 필요성이 있다. 따라서 본 연구에서는 영상의 잡음(noise)을 효과적으로 제거할 수 있는 대표적인 영상처리 기법인 Guided Filter(GF)을 이용하여 교차융합영상을 생성하고, 이를 이용하여 무감독 변화탐지를 수행하고자 하였다. GF를 이용하여 생성된 영상의 특성을 분석하고, 기존의 변화탐지 기법들을 이용한 변화탐지 결과들과의 비교평가를 통하여 GF 기반의 변화탐지 기법에 대한 활용가능성을 평가하고자 하였다.

2. 실험지역 및 자료

실험에 사용한 위성 센서는 KOMPSAT-3이며, 2014년 4월 10일과 2016년 5월 16일에 촬영한 영상 내에 존재하는 청주 내 산업단지 지역을 실험지역으로 선정하였다. Table 1은 KOMPSAT-3의 제원을 나타내며, KOMPSAT3은 B, G, R, NIR의 4밴드로 이루어진 2.8 m 공간해상도의 다중분광(multispectral) 자료와 0.7 m 공간해상도의 전정색(panchromatic) 자료로 이루어져 있다. 실험자료를 생성하기 위하여 2016년 영상을 기준으로 영상 내에 기준점(ground control point)를 추출하고, 이를 이용하여 영상 대 영상의 기하보정을 수행하여 동일한 좌표체계를 가지도록 조정하였다. 최종적으로, 해당 지역 내에 크기의 영상을 추출하여 실험에 사용하였다. Fig. 1은 실험에 사용한 영상의 예이며, 그림에서 확인할 수 있는 것과 같이 실험지역 내 다양한 건물들이 생성된 것을 볼 수 있으며, 우측 상단에 존재하는 아파트 단지의 경우에는 촬영각의 차이로 인하여 영상에 기록된 객체들의 형상 차이가 존재하는 것을 확인할 수 있다. 또한, 기하 보정된 실험영상에 대해서는 히스토그램 매칭과정을 이용하여 상대방사정규화를 수행하였다.

Table 1. Sensor Specification of KOMPSAT-3

Fig. 1. (a) KOMPSAT-3 imagery acquired from April 2014, (b) KOMPSAT-3 imagery acquired from May 2016.

3. 연구방법

1) GF의 개요

인공위성에 탑재된 분광파장대의 광학센서, 항공사진측량을 위한 디지털카메라 등을 통하여 취득된 디지털 영상에는촬영당시의 환경, 센서의 성능 등에 의 잡음이 포함되어 있다. 영상의 잡음을 제거하기 위해서는 평균값 필터(averaging filter) 혹은 가우시안 필터(gaussian filter) 등을 활용하는 것이 일반적이지만, 필터의 적용과정에서 필연적으로 영상의 에지(edge)가 감소되는 문제가 발생한다. GF는 영상의 에지를 최대한 보존시키면서 잡음을 제거하기 위하여 제안된 대표적인 영상처리기법이다(He et al., 2013). GF는 필터링에 활용하기 위한 유도 영상(guidance image)를 이용하여 입력 영상의 필터링을 수행한다. GF를 적용한 결과 영상은 유도 영상의 지역적 선형 모델(local linear model)의 형태로 이루어지며, 이는 식 (1)과 같다.

\(Q_{n}=a_{k} I_{n}+b_{k}, n \in \omega_{k}\)      (1)

여기서, Q_n은 GF 적용결과 영상, I_n은 유도 영상, a_k와 b_k는 지역적 윈도우(local window) ω_k에 대응되는 GF의 계수를 의미한다. 식 (1)에서 계수 a_k와 b_k는 유도 영상과 입력 영상 p의 관계를 통하여 계산되며, 이를 통해 입력 영상에서 잡음이나 불필요한 정보들을 유도 영상을 기준으로 제거한다. 따라서 식 (2), (3)과 같이, 유도 영상 I와 입력영상 p 내에 지역적 윈도우를 선정하고, 해당 윈도우 내의 화소들에 대한 선형 회귀모델을 이용하여, 최적의 a_k와 b_k가 산출된다.

\(a_{k}=\frac{\frac{1}{|\omega|} \sum_{n \in \omega_{k}} I_{n} p_{n}-\mu_{k} p_{k}}{\sigma_{k}^{2}+\epsilon}\)       (2)

\(b_{k}=\bar{p}_{k}-a_{k} \mu_{k}, \bar{p}_{k}=\frac{1}{|\omega|} \sum_{n \in \omega_{k}} p_{k}\)       (3)

여기서, μ_k와 \(\sigma_{k}^{2}\)는 유도 영상 I에서 ω_k 내의 화소들에 대한 평균과 분산값을 의미하며, \(\bar{p}_{k}\)는 ω_k 내의 입력영상의 평균값이며, є는 GF를 적용하기 위한 정규화 변수이다. GF를 고해상도 위성영상에 적용함에 있어서 일반적으로 ω_k는 5×5, є는 0.1를 사용하기 때문에, 본 연구에서도 해당 변수를 사용하였다. 최종적으로, 필터 적용 결과 영상인 Q는 식 (2), (3)을 통하여 추출된 계수들을 해당 윈도우내의 평균값로 환산하고, 이를 해당 화소에 적용하여 생성되며, 이를 식으로 정리하면 식 (4)와 같다.

\(Q_{n}=\frac{1}{|\omega|} \sum_{k: n \in \omega_{k}}\left(a_{n} I_{n}+b_{k}\right)=\bar{a}_{k} I_{n}+\bar{b}_{n}\)       (4)

2) 교차융합영상

교차영상융합은 시기가 동일하거나 혹은 다른 다중분광 영상과 고해상도 전정색영상을 이용하여 동일한 기하학적 특성을 가지는 가상의 융합영상 쌍을 생성하는 방법으로, 고해상도 위성영상의 변화탐지에 활용 가능한 기법이다(Wang et al., 2015). 촬영시기 t₁과 t₂에 촬영된 고해상도 전정색 영상과 다중분광 영상을 각각 \(P_{t_{1}},M S_{t_{1}}, P_{t_{2}}, M S_{t_{2}}\)라고 가정할 때, Fig. 2와 같이 임의의 영상융합기법을 통하여 총 4종류의 교차융합 영상을 생성할 수 있다. 일반적인 변화탐지 기법에 사용되는 입력자료는 \(F_{t_{1} t_{1}}\)과 \(F_{t_{2} t_{2}}\)와 동일하다. 해당 자료를 이용하여 변화탐지를 수행할 경우에는 해당 영상의 기복변위 및 촬영각의 차이에 따른 영향을 고려하기 어렵다. 그러나 Fig. 3의 \(F_{t_{1} t_{1}}\)과 \(F_{t_{2} t_{2}}\)는 동일한 전정색 영상인 P_t1을 이용하여 다른 시기에 촬영된 \(M S_{t_{1}}\), \(M S_{t_{2}}\)의 공간해상도를 향상시킨다. 동일한 고해상도 전정색 영상을 활용하였기 때문에, \(F_{t_{1} t_{1}}\)과 \(F_{t_{2} t_{2}}\)의 공간적인 특성은 최대한 유사하게 만들 수 있다 그러나 해당 교차융합영상의 분광특성은 \(M S_{t_{1}}\), \(M S_{t_{2}}\)의 특성을 그대로 유지하고 있기 때문에, ​​​​​​​\(F_{t_{1} t_{1}}\)과 ​​​​​​​\(F_{t_{2} t_{2}}\)을 이용하여 변화탐지를 수행할 경우에는 \(F_{t_{1} t_{1}}\)과 \(F_{t_{2} t_{2}}\)를 이용한 변화탐지 적용결과와 교하여, 영상의 기하학적인 비유사성과 기복변위 등에 의한 영향을 최소화시킬 수 있다.

Fig. 2. Process for making cross-sharpened images.

Fig. 3. Workflow for generation of cross-sharpened images based on GF.

3) GF 기반 교차융합영상을 이용한 변화탐지

본 연구에서는 GF를 이용하여 교차융합영상을 생성하고, 이를 변화탐지 기법에 활용하고자 하였다. GF를 이용하여 교차융합영상을 생성하는 과정을 순서도로 정리하면, Fig. 3과 같다.

본 연구에서 유도 영상은 전정색 영상으로 가정하고,GF의 입력영상은 다중분광영상으로 설정하였다. 교차융합영상에 제작에 필요한 유도 영상을 생성하기 위하여 고해상도 전정색 영상 P에 MTF(Modulation Transfer Function)을 통하여 1차적으로 영상의 공간해상도를 저하시킨 후, 영상의 크기를 다중분광영상과 동일한 크기로 재조정하여, 저해상도 전정색 영상 P_L를 생성하였다. 생성된 P_L를 유도 영상, MS을 입력영상으로 가정하여, GF의 계수를 산출하였다. 산출된 계수는 저해상도 다중분광 영상의 잡음을 제거시키며, 유도 영상과 유사한 공간적인 특성을 유지하도록 조정해줄 수 있다. 따라서 산출된 계수는 원 고해상도 전정색 영상 P를 유도영상으로 하는 GF에 재적용하여, 분광특성은 MS와 유사하며, 공간적인 특성은 P와 유사한 가상의 영상을 생성하였다. 한편, GF 적용과정에서 산출되는 계수의 이상치가 발생하는 것을 최소화하기 위하여, 영상 히스토그램의 전체 범위를 화소값의 2%~98%로 재구성하였다. 해당 과정을 교차융합영상을 생성하는 과정에 적용하여, \(P_{t_{1}}, P_{t_{2}}\)를 유도 영상, \(M_{t_{1}}, M_{t_{2}}\)을 입력영상으로 하여 4종류의 GF 적용 결과인 \(G F_{t_{1} t_{1}}, G F_{t_{1} t_{2}}\),\(G F_{t_{2} t_{1}}, G F_{t_{2} t_{2}}\)를 생성하였다. 생성된 교차융합 영상은 동일한 공간적인 특성을 가지는 \(G F_{t_{1} t_{1}}, G F_{t_{1} t_{2}}\)와 ​​​​​​​\(G F_{t_{2} t_{1}}, G F_{t_{2} t_{2}}\)를 각각 통합하여 총 8밴드로 구성된 변화 전, 후의 영상을 생성하였다. 최종적으로 생성된 변화 전,후의 영상에 대하여 CVA(Change Vector Analysis)의 크기정보 영상(magnitude information image)를 생성하여 이를 무감독 변화탐지에 사용하였다. GF 기반 교차융합 생성 과정을 거쳐 작성된 변화 전, 후의 영상의 n번째 밴드를 \(X_{t_{1}}^{n}, X_{t_{2}}^{n}\)라고 할 때, 크기정보 ρ는 식 (5)를 이용하여 생성할 수 있다.

\(\rho=\sqrt{\sum_{n=1}^{N}\left(X_{t_{1}}^{n}-X_{t_{2}}^{n}\right)^{2}}\)       (5)

여기서, N은 총 밴드 수를 의미한다.

4.실험결과 및 분석

본 연구에서 제안한 기법을 적용하기 위하여, Python과 MATLAB을 이용하여 제안 방법을 구현하고, 실험을 수행하였다. 변화 전, 후에 대한 KOMPSAT-3호 위성영상에 대하여 GF를 기반으로 하는 교차융합영상을 생성한 결과는 Fig. 4와 같다. Fig. 4(c), 4(d)에서 확인할 수 있는 것과 같이, GF를 이용하여 원 다중분광영상과 비교하여 공간해상도가 향상된 영상을 생성할 수 있음을 확인할 수 있었다. 특히, 시기가 다른 영상을 GF의 유도 영상, 입력영상으로 설정하여 GF를 적용한 결과(Fig. 4(e), 4(f)), 변화가 발생하지 않은 지역은 유도영상의 공간적인 특성과 유사한 특징을 보이며, 변화가 발생한 지역은 영상 내에 블러링(blurring)이나 왜곡이 발생한 것을 확인할 수 있었다. 따라서, 변화가 발생한 지역에 대해서는 GF 기반 교차융합영상에서 발생된 분광정보의 왜곡을 정량화하여 변화지역을 추출할 수 있을 것으로 판단하였다. GF 기반 교차융합영상을 식 (5)에 적용하여 생성된 변화탐지 결과를 정량적으로 평가하기 위하여 본 연구에서는 타 변화탐지 기법을 통한 결과와의 비교평가를 수행하였다. 비교대상으로 선정한 기법은 일반적인 영상융합 기법을 통하여 생성된 변화 전/후의 고해상도 다중분광영상을 이용한 변탐지 결과, 영상융합 기법을 통하여 생성된 교차융합영상을 이용한 변화탐지 결과이다(Park et al., 2018). 해당 영상들을 생성하기 위한 영상융합 기법은 변화탐지를 위한 교차융합 영상에 효과적으로 적용가능하다고 알려진 NDVI 기반의 하이브리드 융합기법을 활용하였다(Park et al., 2018). Fig. 5는 각 기법별로 생성된 CVA의 크기정보 영상이며, 각 기법별 크기정보 영상이 변화지역을 얼마나 효과적으로 표시하는 지를 확인하기 위하여 Fig. 5(d)와 같이, 영상 판독 기법을 이용하여 생성된 참조자료(ground truth data)를 이용하였다. 변화 전/후 영상의 시간적인 차이에 의하여 식생지역이 매우 큰 크기정보 값을 가지고 있으나, Fig. 5에서 확인할 수 있는 것과 같이, GF 기반 교차융합영상에 의하여 생성된 크기정보 영상은 일반융합영상과, 교차융합영상과 비교하여 미변화 지역들에 대하여 낮은 크기정보 화소 값들을 가지고 있다. 이를 정량화하기 위하여, 참조자료를 기준으로 한 ROC(Receiver Operating Characteristic) 곡선을 생성하였다. ROC 곡선은 변화탐지 기법 적용 결과 생성된 크기정보 영상에 대하여 발생 가능한 임계치를 모두 적용하여, 탐지율과 오탐지율을 각각 x, y축으로 놓은 그래프이다. 임의의 임계치에 대한 오탐지율 대비 탐지율을 알 수 있으며, 그래프의 하단 부분의 면적인 AUC(Area Under Curve)는 해당 기법의 성능을 평가할 수 있는 척도로 활용된다(Fawcett, 2006). Fig. 6은 각 기법에 대하여 생성된 ROC 곡선이며, Table 2는 ROC 곡선에 의하여 계산된 AUC 값이다.

Fig. 4. Cross-sharpened images based on GF : (a) MS_t1, (b) MS_t2, (c) GF_t1t1, (d) GF_t1t2, (e) GF_t2t1, (f) GF_t2t2.

Fig. 5. Magnitude information images according to each algorithms : (a) result by pansharpened images, (b) result by cross-sharpened images, (c) result by proposed method, (d) ground truth data.

Fig. 6. ROC curve according to each algorithm.

Table 2. AUC values according to each algorithm

Fig. 6과 Table 2에서 확인할 수 있는 것과 같이, 본 연구에서 제안한 GF 기반의 교차융합영상을 이용하여 변화탐지를 수행한 결과가 기의 융합영상 및 교차융합 영상을 이용한 변화탐지 결과와 비교하여 우수한 결과를 도출할 수 있음을 확인할 수 있었다. 한편, 실제 변화탐지 결과를 활용하기 위해서는 최적의 임계치를 설정하고, 이를 바탕으로 이진화 변화탐지 지도(binary change detection map)를 생성하는 것이 일반적이다. 따라서, 본 연구에서도 이진화 변화탐지 지도 생성시의 결과를 평가하기 위하여, otsu 기법을 이용하여 이진화 변화탐지 지도를 작성하고, 이에 대한 오차행렬을 생성하여, 결과를 평가하였다. Fig. 7은 가 기법에 대한 이진화 변화탐지 지도의 생성 결과이며, Table 3~5는 각 기법 별 결과에 대한 오차행렬이다.

Fig. 7. Binary change detection results according to each algorithm : (a) result by pansharpened images, (b) result by cross-sharpened images, (c) result by proposed method, (d) ground truth data.

Table 3. Confusion matrix of change detection result by pansharpened images

Table 4. Confusion matrix of change detection result by cross-sharpened images

Table 5. Confusion matrix of change detection result by proposed method

Fig. 7에서 확인할 수 있는 것과 같이, 교차융합기법에 의한 결과들은 공통적으로 대부분의 변화지역을 효과적으로 탐지한 것을 확인할 수 있다. 그러나 대부분 계절적 변화에 의한 식생지역의 오탐지가 일부 발생하였으며, 특히 융합영상과 교차융합영상을 활용한 기존의 기법들은 제안 기법과 비교하여 상대적으로 오탐지 된 화소들이 아파트 단지 부근에서 크게 발생한 것을 확인해 볼 수 있었다. 이는 Table 5에서 제안기법의 오탐지율이 크게 낮은 것으로부터 추가적으로 확인할 수 있었다. 따라서 본 연구에서 제안한 GF 기반의 교차융합영상이 무감독 변화탐지에 효과적으로 사용할 수 있음을 확인하였다.

5. 결론

본 연구에서는 잡음을 제거하기 위한 방법인 GF를 교차융합기법의 생성과정에 영상융합기법을 대체하여 적용해보고, 이에 대한 활용가능성을 검토해보고자 하였다. 이를 위하여, GF를 기반으로 KOMPSAT-3 위성영상에 대한 4장의 교차융합영상을 생성하였으며, 임계치 적용기법을 이용하여 이진화 변화탐지 지도를 생성하였다. 변화탐지를 위한 크기정보와 이진화 변화탐지 지도를 정량적으 분석한 결과, GF 기법을 교차융합영상을 생성하는 데에 효과적으로 활용할 수 있음을 확인하였으며, 특히 기존의 방법들과 비교하여 오탐지율을 감소시킬 수 있는 것도 확인하였다. 그러나 일부 식생지역에 대해서는 오탐지가 발생하였기 때문에, 향후 연구에서는 GF 기법을 이용한 변화탐지 방법에서 전체 정확도를 더욱 개선시킬 수 있는 방법에 대하여 연구하고 다양한 지역에 대해서도 실험을 수행할 계획이다.