Optimal Parameter Analysis and Evaluation of Change Detection for SLIC-based Superpixel Techniques Using KOMPSAT Data

KOMPSAT 영상을 활용한 SLIC 계열 Superpixel 기법의 최적 파라미터 분석 및 변화 탐지 성능 비교

Abstract

Object-based image analysis (OBIA) allows higher computation efficiency and usability of information inherent in the image, as it reduces the complexity of the image while maintaining the image properties. Superpixel methods oversegment the image with a smaller image unit than an ordinary object segment and well preserve the edges of the image. SLIC (Simple linear iterative clustering) is known for outperforming the previous superpixel methods with high image segmentation quality. Although the input parameter for SLIC, number of superpixels has considerable influence on image segmentation results, impact analysis for SLIC parameter has not been investigated enough. In this study, we performed optimal parameter analysis and evaluation of change detection for SLIC-based superpixel techniques using KOMPSAT data. Forsuperpixel generation, three superpixel methods (SLIC; SLIC0, zero parameter version of SLIC; SNIC, simple non-iterative clustering) were used with superpixel sizes in ranges of $5{\times}5$ (pixels) to $50{\times}50$ (pixels). Then, the image segmentation results were analyzed for how well they preserve the edges of the change detection reference data. Based on the optimal parameter analysis, image segmentation boundaries were obtained from difference image of the bi-temporal images. Then, DBSCAN (Density-based spatial clustering of applications with noise) was applied to cluster the superpixels to a certain size of objects for change detection. The changes of features were detected for each superpixel and compared with reference data for evaluation. From the change detection results, it proved that better change detection can be achieved even with bigger superpixel size if the superpixels were generated with high regularity of size and shape.

객체 기반 영상 분석은 영상의 복잡도를 낮추는 동시에 영상의 특성을 유지한다는 점에서 픽셀 기반 영상 분석보다 높은 효율성과 정보 활용 가능성을 지닌다. Superpixel은 일반적인 영상 분할보다 작은 영상 단위로 영상을 과분할함으로써 영상 내의 경계를 보다 잘 유지할 수 있다. 이 가운데 SLIC(Simple linear iterative clustering) superpixel 기법은 기존의 기법들보다 높은 품질의 영상 분할 결과를 제시하는 것으로 알려져 있다. 이러한 SLIC 기법의 입력 파라미터인 superpixel의 개수는 영상 분할 결과에 큰 영향을 미침에도 이에 대한 연구는 선행 연구에서 충분히 다루어지지 않았다. 이에 본 연구에서는 KOMPSAT 영상을 이용하여 변화 탐지 활용 연구를 위한 SLIC 계열 superpixel 기법의 최적 파라미터 분석 및 변화 탐지 성능 비교를 수행하였다. 사용된 superpixel 기법은 SLIC, SLIC0(SLIC의 무변수 버전), SNIC(Simple non-iterative clustering) 의 세 가지 기법으로, $5{\times}5$(픽셀)에서 $50{\times}50$(픽셀)의 superpixel 크기 범위에 대해서 superpixel 개수를 지정하여 superpixel 분할 영상을 생성하고 변화 탐지 참조 영상에 대한 재현율을 분석하였다. 이를 통해 얻어진 최적 superpixel 크기를 바탕으로 변화를 탐지하고자 하는 두 영상의 차 영상을 분할한 후 일정 크기의 객체로 clustering하였다. 두 시기(bi-temporal) 영상으로부터 얻어진 공통된 영상경계는 전후 영상에 각각 적용함으로써 각 superpixel의 feature(Lab 색상 차이) 변화를 탐지하였다. 최종적인 변화 탐지 결과는 참조 영상을 통해 그 성능이 분석하였으며, 영상의 과분할 정도가 높지 않더라도 규칙적인 크기와 형태의 superpixel을 통해 높은 변화 탐지 성능을 달성할 수 있음을 확인하였다.

1. 서론

객체 기반 영상 분석은 픽셀 기반 영상 분석에 비해 영상 상의 노이즈와 등록 오차의 영향에 민감하지 않다는 점에서 이를 활용한 연구가 지속적으로 수행되고 있다(Chen et al., 2014). Superpixel 기법은 유사한 특성의 픽셀들을 결합하여 보다 작은 영상 단위로 영상을 과분할시키는 기법으로, 의미론적인 정보를 지니는 객체 추출에 앞선 전처리 과정으로 보편적으로 이용되고 있다. 이러한 superpixel은 영상 상의 edge를 잘 보존하는 동시에 영상의 복잡도를 감소시킴으로써 이어지는 영상 처리 과정의 효율성을 향상시키는 이점을 지닌다(Neubertand Protzel, 2012). 특히, Achanta et al.(2012)이 제안한 SLIC(Simple linear iterative clustering) superpixel 기법은 영상 상의 경계에 대한 밀착력(adherence)이 높은 규칙적인 크기 및 모양의 superpixel을 높은 연산 속도로 생성하는 것으로 알려져 있다. SLIC superpixel은 입력 값으로 분할하고자 하는 영상과 더불어 단 하나의 파라미터만을 요구하며, 이는 영상에 대해 사용자가 원하는 superpixel 생성 개수에 해당한다. Superpixel의 개수는 영상 전체의 픽셀 수와 함께 superpixel이 생성될 cluster 중심의 개수와 cluster 중심 간의 거리를 결정하는 매우 중요한 파라미터로, 이를 바탕으로 cluster 중심을 기준으로 한 local clustering의 수행 반경이 설정된다. 그러나 superpixel의 개수는 영상 전체 픽셀 수에 대해 매우 넓은 범위를 가지고 있는 한편, 입력된 superpixel의 개수가 실제 생성된 superpixel의 개수와 항상 일치하지 않으므로 연속적인 분석의 어려움이 존재한다. 대부분의 연구에서는 사용하는 영상의 특성에 따라 시행착오를 거쳐 SLIC 기법의 파라미터를 결정하여 시가지 및 건물추출, 변화 탐지, 분류 등의 활용 연구를 수행하였다(Ruet al., 2014; Vargaset al., 2014; Li et al., 2015; Hou et al., 2016). 일부 연구에서 SLIC 기법에 대한 최적 파라미터 분석이 이루어진 바 있으나, 비교 대상이 된 superpixel 크기의 샘플 수가 불연속적이고 그 수가 적다는 한계를 나타냈다(Kavzoglu and Tonbu, 2017). 또한, 일반적인 superpixel 기법의 영상 분할 품질 평가를 위해서는 폴리곤 형태의 영상 분할 참조 영상이 요구되며, 이를 바탕으로 영상분할 평가 지수가 계산되었다. 그러나 다양한 지표물에 대한 고주파 요소가 포함된 위성 영상은 이와 같은 참조 영상 획득 및 생성의 한계가 존재한다.

이에 본 연구는 고해상도 위성 영상을 활용한 superpixel 기반의 변화 탐지를 위해 (1) SLIC 계열 superpixel 기법의 최적 파라미터 분석과 (2) superpixel 기반의 변화 탐지 성능비교를 수하였다. 이 과정에서 SLIC 계열 superpixel 기법의 입력 파라미터인 superpixel의 개수를 직접적으로 입력하는 대신 superpixel의 크기를 변화시킴에 따라 발생하는 superpixel 개수와 local clustering의 범위의 변화가 영상분할 결과에 미치는 영향을 확인하고자 하였다. 이에 따라 5×5(픽셀)부터 50×50(픽셀)에 이르는 넓은 범위의 superpixel 크기에 대해 영상 분할 참조 영상 대신 변화 지역 참조 영상을 사용함으로써 관심 객체의 경계를 여러 크기의 superpixel이 재현해내는 정도를 비교하였다. 이어지는 분석에서는 앞서 획득된 SLIC 계열 superpixel 기법 별 최적 파라미터를 적용하여 변화를 탐지하고자 하는 두 시기(bi-temporal)의 영상을 분할하였으며, 대응되는 객체에 대한 전후 영상 간의 Lab 색상 값 차이를 바탕으로 변화 탐지 성능을 판단하였다.

2. 실험지역 및 자료

본 연구에서는 KOMPSAT(Korea Multi-Purpose Satellite)-2와 -3A 영상 센서를 통해 취득된 두 시기 영상을 사용하였으며 각 영상 센서의 제원은 Table 1과 같다. 연구에 사용된 KOMPSAT-2와 KOMPSAT-3A 영상은 각각 충청북도 청주시 일대와 대전광역시에 위치한 죽동 국가산업단지 일대로, 주택 및 산업체 건물 신축의 변화가 발생한 지역이다(Fig. 1, Table 2). 실험 자료를 생성하기 위해서는 먼저 두 영상 센서로부터 얻어진 영상 쌍에 대해 영상 대 영상 기하 보정을 수행함으로써 동일 지역에 대한 영상 간의 기하학적인 차이를 최소화하도록 하였다. 또한, 적은 연산 비용으로 공간적인 선명성을 유지하고 분광적인 왜곡을 최소화할 수 있는 것으로 알려진 NDVI 기반 hybrid PAN-sharpening(Choi et al.,2017)기법을 통해 다중분광(multispectral) 영상의 공간 해상도를 향상시켜 superpixel 영상 분할에 대한 입력 영상으로 사용하였다.

Table 1. Specifications of KOMPSAT-2 and -3A

Table 2. Specifications of images used in this study

Fig. 1. Images used in this study: KOMPSAT-2 images captured in (a) 2008/11/18 (b) 2012/05/21 and KOMPSAT-3A images captured on (c) 2015/10/18 (d) 2018/07/07.

SLIC 계열 superpixel 기법의 최적 파라미터 분석에는 KOMPSAT-2 영상만을 사용하였으며, 이로부터 얻어진 기법 별 최적 파라미터를 KOMPSAT-2와 -3A 영상 모두에 적용하여 변화 탐지를 수행함으로써,상이한 제원을 지니는 영상 센서의 영상에서도 유사한 변화 탐지성능 경향이 나타남을 확인하고자 하였다. 모든 실험 과정은 Intel Core i5-3570 CPU(3.40GHz) 프로세서와 16 GBRAM이 탑재된 64-bit Windows 7 운영 체제 환경의 컴퓨터를 통해 MATLAB(R2017a) 소프트웨어를 기반으로 구현되어 수행하였다.

3. 연구 방법

1) SLIC 계열 superpixel 기법의 개요

Achanta et al.(2012)이 제안한 SLIC 기법은 RGB input 영상에 대해 RBG 값과 대응되는 CIELAB 색상 공간의 휘도(L), 색상 값(a, b)과 픽셀 좌표 x, y로 정의된 5차원 공간 상의 지역적인 clustering을 통해 superpixel을 생성하는 방법으로, 기존의 superpixel 생성 기법들과 비교하여 영상 분할 정확도와 연산 속도 면에서 그 우수성이 입증된 바 있다. SLIC 알고리즘은 먼저 전체 영상에 대해 일정 간격 S를 지니는 격자 형태로 초기 cluster 중심을 샘플링하게 된다. 이러한 초기 cluster 중심을 기준으로 2S×2S 격자 범위의 픽셀들에 대해 distance measure를 계산함으로써 인접한 cluster로 픽셀들을 할당하게 된다. 이 때 clustering을 위한 지역적인 검색 범위를 표현하는 S는 전체 픽셀의 개수가 N인 입력 영상에 대해 사용자에 의해 지정된 superpixel 생성 개수 K에 따라 \(S=N_{s}=\sqrt{N / K}\)를 통해 결정된다. 또한, cluster 중심 j와 이웃 픽셀 i 사이의 distance measure D′는 식 (1)과 같이 CIELAB 색상 공간의 휘도(L), 색상 값(a, b) 사이의 유클리드 거리를 나타내는 색상 거리 d_C와 픽셀 공간 좌표 간의 유클리드 거리 d_S로 표현된다. d_S와 d_C을 결합하기 위해서는 각각을 cluster 내의 최대 색상, 공간 거리(N_S=S, N_C)로 거리 값들을 정규화하게 되지만 NC 값은 영상 별, cluster 별로 지속적으로 변화하므로 상수 m으로 N_C를 고정하여 식 (2)과 같이 표현할 수 있다.

\(\begin{array}{l} \mathrm{d}_{\mathrm{c}}=\sqrt{\left(\mathrm{L}_{\mathrm{j}}-\mathrm{L}_{i}\right)^{2}+\left(\mathrm{a}_{\mathrm{j}}-\mathrm{a}_{\mathrm{i}}\right)^{2}+\left(\mathrm{b}_{\mathrm{j}}-\mathrm{b}_{\mathrm{i}}\right)^{2}} \\ \mathrm{~d}_{\mathrm{s}}=\sqrt{\left(\mathrm{x}_{\mathrm{j}}-\mathrm{x}_{\mathrm{i}}\right)^{2}+\left(\mathrm{y}_{\mathrm{j}}-\mathrm{y}_{\mathrm{i}}\right)^{2}} \\ \mathrm{D}^{\prime}=\sqrt{\left(\frac{\mathrm{d}_{\mathrm{c}}}{\mathrm{N}_{\mathrm{c}}}\right)^{2}+\left(\frac{\mathrm{d}_{\mathrm{s}}}{\mathrm{N}_{\mathrm{s}}}\right)^{2}} \end{array}\)       (1)

\(\mathrm{D}^{\prime}=\sqrt{\left(\frac{\mathrm{d}_{\mathrm{c}}}{\mathrm{m}}\right)^{2}+\left(\frac{\mathrm{d}_{\mathrm{s}}}{\mathrm{S}}\right)^{2}}\)       (2)

실제 적용 시에는 식 (2)의 distance measure를 식(3)와 같이 단순화된 형태로 사용하였다. 이에 따라 결과적으로 식 (3)의 상수 m은 색상 유사도와 공간 인접성 사이의 상대적인 중요도를 나타내는 compactnessfactor를 의미하게 되며, 실험 과정의 SLIC 기법 적용에 있어 기본 값인 10으로 설정하였다.

\(\mathrm{D}=\sqrt{\mathrm{d}_{\mathrm{c}}^{2}+\left(\frac{\mathrm{d}_{\mathrm{s}}}{\mathrm{S}}\right)^{2} \mathrm{~m}^{2}}\)       (3)

이처럼 앞선 단계에서 할당된 픽셀들을 바탕으로 cluster 중심을 재계산하게 되며, 지정된 iteration 횟수에 도달하거나 이전 iteration의 cluster 중심과의 차이가 임계치 이하가 될 때까지 distance measure를 이용한 픽셀의 cluster 할당을 반복함으로써 최종적인 영상 분할 결과를 얻게 된다.

본 연구에서는 앞서 소개되었던 SLIC 기법 외에도 이후 제안된 SLIC 기법의 변형 기법인 SLIC0(SLIC의 무변수 버전) 기법과 SNIC(Simple non-iterative clustering) 기법을 함께 사용하여 영상 분할 품질을 비교하고자 하였다. SLIC0 기법은 Achanta et al.(2012)에서 SLIC 기법과 함께 제안되었던 Adaptive SLIC(ASLIC) 기법과 동일 원리를 바탕로 영상 내의 텍스처 정도에 따라 superpixel 형태의 규칙성이 상이한 점을 보완한 기법이다. 즉, SLIC0 기법은 SLIC 기법의 distance measure에서 compactness factor인 상수 m을 이전 iteration의 최대색상 거리 mC로 대체함으로써, 유사한 연산 시간으로 SLIC 기법보다 규칙적인 형태의 superpixel 영상 분할 결과를 제시하였다(Fig. 2). 또 다른 SLIC 계열 알고리즘인 SNIC 기법(Achanta and Süsstrunk, 2017)은 SLIC 기법과 동일한 distance measure를 바탕으로 우선순위 queue를 적용함으로써 1번의 iteration으로 superpixel을 생성함과 동시에 SLIC 기법에서 후처리로 접근되었던 픽셀 간 연결성을 강화하고자 하였다.

Fig. 2. Example images showing image segmentation results generated from (a) SLIC (b) SLIC0 (c) SNIC.

2) SLIC 계열 superpixel 기법의 최적 파라미터 분석

SLIC 계열 superpixel 기법에 대한 최적 입력 파라미터 분석은 superpixel 개수를 직접적으로 입력하는 대신 superpixel의 크기를 5×5(픽셀)에서 50×50(픽셀)까지 superpixel의 한 변의 픽셀 수를 1씩 증가시킴에 따라 계산되는 superpixel의 개수를 사용함으로써 KOMPSAT-2영상 분할 결과의 차이를 관찰하였다. 이 과정에서 사용자에 의해 지정된 superpixel 개수와 실제 생성된 superpixel 개수 사이의 차이, superpixel 크기에 따른 영상 분할 결과의 변화 지역 참조 자료재현율, superpixel 생성과 각 superpixel 별 feature 계산에 요구되는 연산 시간에 대한 비교를 수행하였다.

변화 지역에 대한 참조 자료는 시간적으로 후 시기에 해당하는 KOMPSAT-2 영상을 기준으로 작성되었기 때문에 후 시기 영상에 대한 영상 분할 결과를 참조 영상과 비교하였으며, 세 가지 superpixel 기법으로부터 생성된 영상 분할 결과를 변화 지역 참조 자료와 중첩하여 변화 지역 내 위치한 superpixel들을 추출하였다. 이 가운데 superpixel의 50% 이상이 변화 지역 내 위치한 superpixel들을 최종 변화 지역으로 추출하였고 이를 바탕으로 참조 영상 상의 관심 객체에 대한 각 superpixel 기법의 경계 재현 성능을 평가하였다.

3) SLIC 계열 superpixel 기법의 변화 탐지 성능 비교

변화 탐지 과정에서는 변화 전후의 두 시기로부터 취득된 영상의 차이를 식별해내게 되며, 객체 기반 변화 탐지를 위해서는 두 시기 영상에 동일하게 적용할 수 있는 객체 경계가 요구되게 된다. 따라서, 이러한 객체 경계는 두 영상의 특을 동시에 반영함으로써, 동일한 위치, 크기의 객체에 대해 객체 속성의 비교가 가능하도록 형성되어야 한다. 기존 연구에서는 주성분 분석(Principal component analysis)을 이용하여 각 영상으로부터 생성된 superpixel 경계를 결합하거나(Wu et al.,2012) 두 시기의 영상의 융합을 통해 변화 탐지가 수행된 바 있다(Byun et al., 2015; Wang et al., 2017). 그러나 Han et al.(2018)에 따르면 변화 전후 영상의 차영상(differenceimage)만으로도 안정적인 영상 분할 결과와 변화 탐지정확도를 나타내었으며, 이에 본 연구에서도 두 시기 영상의 차영상에 대해 SLIC 계열 superpixel 기법을 적용하여 두 영상 모두에 적용 가능한 superpixel 경계를 생성하였다.

Superpixel 생성 단계를 통해 얻어진 superpixel 영상분할 결과에 대해서는 DBSCAN(Density-based spatial clustering of applications with noise)(Ester et al., 1996;Kovesi, 2000) 기법을 추가적으로 적용함으로써 최종적인 영상 분할 결과를 획득하였다. 초기 DBSCAN 기법은 밀도를 기반으로 임의의 형태의 cluster를 구성하고 노이즈를 구분해내는 데이터 clustering 기법으로 제안되었다. 본 연구에서는 생성된 superpixel을 변화 탐지를 위한 일정 수준의 객체로 결합하기 위해 DBSCAN 기법 사용하였으며 인접한 superpixel 간의 Lab 색상 차를 distance measure로 하여 superpixel clustering을 수행하였다(Fig. 3). Lab 색상 차는 식 (4)를 통해 계산되며, L, a,b는 각각 영상의 Lab 색상과 아래 첨자 1, 2는 전후 상 간 대응 객체의 속성임을 의미한다. 이를 통해 기타 부가 정보 및 맥락적인 정보를 배제하고 분광 정보만으로 달성 가능한 변화 탐지 수준을 확인하고자 하였다.

\(\text { Lab change }=\sqrt{\left(\mathrm{L}_{1}-\mathrm{L}_{2}\right)^{2}+\left(\mathrm{a}_{1}-\mathrm{a}_{2}\right)^{2}+\left(\mathrm{b}_{1}-\mathrm{b}_{2}\right)^{2}}\)       (4)

Fig. 3. Example images showing image segmentation results after applying DBSCAN to superpixels generated from (a) SLIC (b) SLIC0 (c) SNIC.

Superpixel을 이용한 변화 탐지 성능 비교를 위한 연구 흐름도는 Fig.4와 같다.

Fig. 4. Flowchart of change detection algorithm used in this study

4. 실험결과 및 분석

1) SLIC 계열 superpixel 기법의 최적 파라미터 분석

다음의 superpixel의 크기라 함은 앞서 설명한 바와 같이 SLIC 계열 superpixel 계산을 위해 사용되는 지역적인 검색 범위를 설명하는 값으로써, superpixel 당 포함되는 픽셀 수는 이에 유사한 수준에서 일부 상이한 차이를 보였다.

Superpixel 크기 변화에 따른 영상 분할 결과를 비교하기 위해 5×5(픽셀)에서 50×50(픽셀)의 크기에 대한 superpixel을 생성하였으며, KOMPSAT-2의 2400×2400(픽셀)의 영상에 대해 n×n(픽셀)의 superpixel 크기로부터 예상된 superpixel 개수는 식 (5)과 같다.

\(\text { predicted superpixel number }=\text { round }\left((2400 / \mathrm{n})^{2}\right)\)       (5)

SLIC 계열 superpixel 기법 별 최적 파라미터 분석 결과, Table 3-5(지면 상의 이유로 10×10(픽셀)부터 25×25(픽셀)의 superpixel 크기에 대한 결과만 제시됨)에서와 같이 지정하고자 하는 단일 superpixel의 크기가 증가함에 따라 각 superpixel의 feature 연산에 요구되는 시간이 크게 감소함을 확인하였다(Fig. 5(a), (b), (c)). 이는 단일 superpixel의 크기 변동이 superpixel의 크기가 작을수록 전체 영상에서 생성될 superpixel의 개수에 크게 영향을 미쳤기 때문이다. 또한, Table3-5의 superpixel feature 연산 시간과 실제로 생성된 superpixel의 개수를 통해 superpixel의 개수가 증가할수록 feature 연산 시간이 선형 비례하여 증가함을 알 수 있었다. 영상 분할 결과 참조 자료 재현율 분석 결과는 일반적으로 탐지 정확도 평가를 위해 사용되는 전체 정확도, false alarm rate(또는 FPR, false positive rate), miss rate(또는 FNR, false negative rate), precision(또는 PPV, positive prediction value), recall(또는 TPR, true positive rate)을 통해 평가되었으며, 이는 superpixel 생성 후 이어지는 변화 탐지 알고리즘을 통해 획득할 수 있는 가장 정확도가 높은 결과에 대한 통계수치를 의미한다. 각 평가 수치는 식 (6)과 같이 표현되며(Powers, 2011), TP(true positive)는 실제 변화 지역이 변화 역으로 탐지된 경우, TN(true negative)은 실제 미변화 지역이 미변화 지역으로 탐지된 경우, FP(false positive)는 실제 미변화 지역이 변화 지역으로 잘못 탐지된 경우, FN(false negative)은 실제 변화 지역이 미변화 지역으로 잘못 탐지된 경우를 의미한다. 또한, P와 N은 각각 실제 변화 지역과 미변화 지역을 나타낸다.

\(\begin{array}{l} \text { Total accuracy }=\frac{\mathrm{TP}+\mathrm{TN}}{\mathrm{P}+\mathrm{N}} \\ \text { Precision }(\mathrm{PPV})=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}} \\ \text { Recall }(\mathrm{TPR})=\frac{\mathrm{TP}}{\mathrm{P}} \\ \text { False alarm rate }(\mathrm{FPR})=\frac{\mathrm{FP}}{\mathrm{N}} \\ \text { Miss rate }(\mathrm{FNR})=\frac{\mathrm{FN}}{\mathrm{P}} \end{array}\)       (6)

Table 3. Segmentation results based on size of superpixel using SLIC with KOMPSAT-2 data

Table 4. Segmentation results based on size of superpixel using SLIC0 with KOMPSAT-2 data

Table 5. Segmentation results based on size of superpixel using SNIC with KOMPSAT-2 data

Fig. 5. Optimal parameter analysis results for SLIC-based superpixel techniques: computation time from (a) SLIC (b) SLIC0 (c) SNIC, miss rate and false alarm rate from (d) SLIC (e) SLIC0 (f) SNIC, accuracy, precision, and recall from (g) SLIC (h) SLIC0 (i) SNIC.

비교에 사용된 세 가지 SLIC 계열 superpixel 기법은 공통적으로 모든 superpixel 크기에 대해 false alarm rate(또는 FPR)이 0.85% 이하의 수치를 보였으며, missrate(또는 FNR)은 superpixel의 크기에 대해 SLIC 계열기법 모두에서 사한 수준으로 선형 증가함을 확인하였다(Fig. 5(d), (e), (f)). 변화 지역과 미변화 지역 모두에 대한 전체 정확도는 20×20(픽셀) 이하의 superpixel 크기에 대해 99% 이상의 정확도를 나타내었다. 이는 전체영상에서 미변화 지역이 차지하는 비율이 더 크기 때문으로(KOMPSAT-2 영상의 경우, 변화 지역에 해당하는 픽셀은 전체 영역의 9.26%를 차지함) reference로 사용된 변화 지역을 효과적으로 재현하였다는 기준으로 사용되기에는 적합하지 않음을 알 수 있다. 또한, 생성된 superpixel 크기가 증가함에 따라 recall 값은 precision 값과 유사한 수준의 감소 추세를 보이다가 추후 더 큰 폭으로 감소하는 경향을 보였다(Fig. 5(g), (h), (i)).

SLIC계열 superpixel 기법의 최적 파라미터 선택을 위한 기준은 superpixel 크기 변화에 따른 영상 분할 특성 변화와 데이터 추세를 바탕으로 다음과 같이 설정하였으며, 평가 수치들을 복합적으로 일정 수준 유지할 수 있는 기준들로 구성하였다.

(1) Superpixel 크기의 증가에 따라 superpixel 생성 시간 및 superpixel의 feature 연산 시간의 증감이 비교적 안정적인 구간 내에 위치하여야 함

– SLIC 기법과 SLIC0 기법의 경우, 이전 superpixel과의 연산 시간의 변동값(시간 차의 절대값)이파라미터 분석에 사용된 모든 superpixel 크기에 대한 연산 시간 변동값의 평균보다 작게 유지되는 구간을 superpixel 생성 시간이 안정적인 구간으로 판단함

– SNIC 기법의 경우, 높은 선형 회귀 적합도를 보이는 구간을 superpixel 생성 시간이 안정적인 구간으로 설정함(SNIC 기법은 앞선 두 기법과 다르게 iteration을 사용하지 않는다는 점에서 superpixel 크기가 증가함에 따라 superpixel 생성 시간이 선형적으로 감소하는 모습을 보임)

(2) 변화 지역에 대한 사용자 정확도와 생산자 정확도를 의미하는 precision과 recall이 95% 이상을 유지하여야 함

(3) Precision과 recall 값이 모두 높은 수준으로 유지되는 superpixel 크기를 선택하기 위해 precision과 recall 값의 차이가 0.5% 이내를 나타내어야 함(세 가지 기법의 precision과 recall 값의 차이가 0.5% 이후 큰 폭으로 증가함에 따라 결정된 값임)

(4) 앞선 세 가지 기준을 만족하는 superpixel 크기 가운데 가장 큰 크기의 superpixel을 최적의 superpixel 파라미터로 선택함

SLIC 기법의 경우 superpixel의 크기와 superpixel 생성 시간 간의 상관관계는 약하게 나타났으나, 14×14(픽셀)에서 21×21(픽셀) 사이의 superpixel 크에서 4.8초대의 안정적인 superpixel 생성 시간과 SLIC 기법에 대한 연산 시간 동값의 평균인 0.0468초 내의 소요 시간 증감을 나타내었다. 해당 구간에서 superpixel feature 연산 시간은 30분 이하로, superpixel 크기의 한 변이 1픽셀씩 증가할 때마다 증가하는 feature 연산 시간은 3.6분 이하를 보였다. Precision과 recall은 18×18(픽셀) 이하의 superpixel 크기에서 95% 이상의 값을 가지는 동시에 17×17(픽셀) 이하에서 두 값 사이의 차이가 0.5% 이하를 보였다. (1)~(3)의 기준을 모두 만족하는 범위 내의 최대 superpixel 크기는 17×17(픽셀)이며 이를 통해 얻어진 superpixel 개수를 SLIC 기법의 최적 파라미터로 선택하였다.

SLIC0 기법을 사용하여 superpixel을 생성하였을 때 소요되는 시간은 SLIC 기법과 비교하여 대부분 약 0.2~0.3초 가량이 추가적으로 발생하였으며 superpixel의 크기가 증가함에 따라 차이가 감소하였다. Superpixel 생성 시간은 17×17(픽셀) 이상의 superpixel 크기에서 SLIC0 기법에 대한 연산 시간 변동값의 평균인 0.0530초 내의 안정된 소요 시간 증감결과를 나타내었으며 해당 범위에서의 superpixel feature 계산 시간은 19분 이하로 기록되었다. Precision과 recall 값은 18×18(픽셀) 이하 크기의 superpixel 생성 결과에서 95% 이상을 유지함과 동시에 두 값의 차이가 0.22%로 두 정확도 수치가 모두 높은 수준을 유지함을 확인하였다. 이에 따라 SLIC0 기법에 대한 최적 파라미터는 18×18(픽셀)의 superpixel 크기로부터 결정되었다.

SNIC 기법의 경우는 SLIC 기법과 달리 알고리즘 내 iteration을 사용하지 않기 때문에 superpixel 크기의 증가에 따라 superpixel 생성 시간이 일정하게 감소하는 경향을 보였다. 이는 10×10(픽셀)에서 43×43(픽셀) 사이의 superpixel 크기에서 두드러지게 나타나며 8초에서 10초 사이로 SLIC 기법보다 약 2배 가량의 연산 시간이 소요됨을 확인하였다. 해당 구간에 대한 superpixel 생성 시간의 선형 회귀 결과(Fig. 6)를 통해 회귀 적합도인 Rsquared 값이 0.9031로 높은 값을 나타내었으며, 9×9(픽셀) 또는 44×44(픽셀)의 superpixel 크기가 회귀에 포함될 경우, R-squared가 각각 0.8199와 0.8219로 큰 폭으로 감소하였다. 따라서, (1)의 기준을 바탕으로 10×10(픽셀)에서 43×43(픽셀) 사이의 superpixel 크기를 superpixel의 feature 연산 시간의 증감이 비교적 안정적인 구간으로 판단하였다. 또한, (2)와 (3) 기준에 따라 superpixel 크기의 범위는 10×10(픽셀)에서 13×3(픽셀)로 축소되었으며 최종적으로 13×13(픽셀)을 SNIC 기법에 대한 최적 superpixel 크기로 결정하였다.

Fig. 6. Linear regression results of superpixel generation time from SNIC with superpixel sizes in ranges of 10×10(pixels) to 43×43(pixels).

결론적으로 앞서 설정된 기준을 바탕으로 결정된 SLIC, SLIC0, SNIC 기법의 최적 superpixel 크기는 각각 17×17(픽셀), 18×18(픽셀), 13×13(픽셀)이며, 이 가운데 SLIC0 기법이 가장 큰 superpixel로 네 가지 기준을 모두 만족함과 동시에 FPR은 0.5% 이하, FNR은 5% 이하의 낮은 값을 나타냄을 알 수 있었다. 반면, SNIC 기법은 타 기법에 비해 약 2배의 연산 시간이 소요되었음에도 종합적인 정확도 수치 기준을 만족시키기 위해서는 작은 크기의 superpixel로의 영상 분할이 요구됨을 확인하였다. 단, 본 연구에서 수행된 SLIC 계열 superpixel 기법의 파라미터 분석은 복합적인 정확도 기준을 동시에 적용하여 이를 모두 만족시키는 가장 큰 superpixel을 찾고자 하였다. 이에 따라 세 가지 superpixel 기법에 대해 결정된 최적 파라미터의 영상 분할 결과가 개별적인 정확도 평가 수치에 있어서는 일부 상이함이 존재하였다.

추가적으로, 지정된 superpixel 개수와 실제 생성된 superpixel 개수 비교를 통해 SLIC 기법은 20×20(픽셀) 이하의 superpixel 크기에 대해 최대 약 1200개의 superpixel 개수 차이를 보였으나, 20×20(픽셀) 이상의 범위에 대해서는 500 픽셀 이하의 차이를 유지함을 확인하였다. 이는 superpixel의 크기가 증가함에 따라 결과적으로 지정되는 superpixel 개수의 차이가 감소하기 때문으로 해석할 수 있다.

SLIC0 기법은 10×10(픽셀) 이상의 superpixel 크기의 영상 분할 결과 대부분에서 지정된 superpixel 개수와 실제 생성된 superpixel 개수 차이가 200 픽셀 이하를 나타냄을 알 수 있었다. SNIC 기법을 통해서 또한 이와 유사한 경향을 확인할 수 있었는데 이는 SLIC0와 SNIC 기법이 각각 SLIC 기법에 대해 superpixel 크기 및 모양의 규칙성 강화와 픽셀 간의 연결성 강화를 특징으로 함으로써, 알고리즘의 입력 파라미터와 가까운 개수의 superpixel 생성 결과를 제시한 것으로 판단할 수 있다.

2) SLIC 계열 superpixel 기법의 변화 탐지 성능 비교

변화 탐지성능 비교에서는 앞선 단계의 최적 파라미터 분석 결과를 바탕으로 KOMPSAT-2와 KOMPSAT3A 영상에 대해 sperpixel 기반 변화 탐지 영상을 생성하였다(Fig. 7-8). 앞서 4. 1)에서도 언급되었듯이 세 가지 superpixel 기법에 대한 최적 파라미터 분석은 복합적인 기준을 만족하는 superpixel 가운데 가장 큰 크기의 superpixel을 선택함에 따라 각 기법의 최적 파라미터의 영상 분할 결과는 개별적인 정확도 평가 수치에 차이가 존재한다. 이에 superpixel에 대한 입력 파라미터로는 각 SLIC 계열 superpixel 기법의 최적 superpixel 파라미터뿐만 아니라 비교 대상이 된 다른 두 가지 기법의 최적 파라미터와 유사한 영상 분할 품질을 보인 2개의 파라미터를 추가적으로 적용하였다(Table 6). 영상 품질의 유사성을 평가하기 위한 기준으로는 4. 1)에서 제시되었던 각 superpixel 기법과 superpixel 크기에 대한 전체 정확도와 precision, recall 값의 차이를 사용하였다. 대부분의 경우에서 전체 정확도가 가장 유사한 superpixel 크기에서 precision과 recall 또한 값의 차이가 가장 작은 것을 관찰할 수 있었다. 단, SLIC0 기법의 최적 superpixel 크기인 18×18(픽셀)에 대응되는 SNIC 기법의 파라미터를 찾는 과정에서는 전체 정확도와 precision 값이 가장 유사했던 19×19(픽셀)의 superpixel 크기의 FNR이 5% 이상의 값을 가짐에 따라, 예외적으로 한 단계 작은 크기의 18×18(픽셀)을 대응 파라미터로 선택하였다.

Fig. 7. Change detection results of KOMPSAT-2 images from (a) SLIC with 17×17 superpixel size (b) SLIC0 with 18×18 superpixel size (c) SNIC with 13×13 superpixel size, (d) ground truth data, and (e), (f), (g) subset zoom images from locations marked with boxes in (a), (b), (c), respectively; (h) subset zoom image from SNIC with 18×18 superpixel size

Fig. 8. Change detection results of KOMPSAT-3A images from (a) SLIC with 17×17 superpixel size (b) SLIC0 with 18×18 superpixel size (c) SNIC with 13×13 superpixel size, (d) ground truth data, and (e), (f), (g) subset zoom images from locations marked with boxes in (a), (b), (c), respectively; (h) subset zoom image from SNIC with 18×18 superpixel size.

Table 6. Superpixel size tested for change detection (optimal parameter for each superpixel technique indicated in bold and superpixel sizes in the same row for each superpixel technique showed similar image segmentation quality)

식 (4)를 통해 얻어진 변화 전후 영상의 Lab 색상 변화는 두 영상의 차영상을 분할하여 얻어진 superpixel을 DBSCAN 기법으로 결합한 객체에 대한 속성 변화를 의미한다. Fig. 7-8은 이와 같은 객체 Lab 색상 변화 값을 통한 변화 탐지 영상을 나타내며, 각 superpixel 기법에 최적 파라미터를 적용하여 얻어진 변화 탐지 결과에 대한 시각적인 비교를 통해 영상 분할 특성이 변화 탐지 결과에 영향을 미침을 확인하였다. 동일 superpixel 개수를 지정하여 세 가지 SLIC 계열 superpixel 기법 간의 영상분할 결과를 비교하였던 이전 연구(Chung et al., 2018)와 달리 본 연구는 서로 다른 크기의 superpixel 크기로 변화 탐지 영상을 생성하여 기법에 따른 시각적인 차이가 극명하지는 않으나, 이전 연구와 대체적으로 유사한 형태를 보였다. 특히, SLIC0 기법은 가장 규칙적인 모양과 크기로 superpixel을 생성하는 한편 Fig. 7(f)에서 볼 수 있듯이 Fig. 7(e), (g)와 비교하여 건물의 엣지가 비교적 유지되지 못하는 것을 알 수 있다. 그러나 타 기법의 결과들에서 높은 Lab 색상 변화를 보인 지점들에 대해서 18×18(픽셀)로, 입력된 superpixel 크기가 가장 컸음에도 유사한 건물 윤곽(Fig. 7(f) 우측 하단부)을 확인할 수 있는 동시에 작고 고립되어 clustering이 되지 못한 superpixel들이 거의 존재하지 않는 모습을 보였다. 이와 비교하여 Fig. 7(e)의 SLIC 기법 결과는 17×17(픽셀)의 superpixel 크기에 대해 분할된 영상을 사용하여,superpixel 생성 시 입력된 superpixel 크기의 차이는 크기 않았으나 작고 불규칙한 형태의 superpixel들이 다수 존재하였다. 또한, SNIC 기법을 통해 생성된 Fig. 7(g) 영상상에서도 작은 크기가 superpixel들이 clustering되지 못한 것을 관찰할 수 있었으나, 이는 가장 작은 크기의 superpixel을 통해 영상이 분할된 것으로, 이를 활용한 시각적인 단순 비교는 적합하지 않았다. 이에 따라 8×18(픽셀)의 superpixel 크기를 입력 파라미터로 사용된 SNIC 기법 변화 탐지 결과를 Fig. 7(h) 추가하였으며, 강화된 픽셀 연결성을 바탕으로 SLIC 기법보다 작고 고립된 superpixel의 수가 감소된 것을 확인할 수 있었다. 그리고 이러한 모습은 KOMPSAT-3A 영상에 대한 변화 탐지 결과(Fig. 8)에서도 유사하게 나타났다.

최종적인 변화 탐지 성능 평가를 위해서는 시각적 판독을 토대로 작성된 참조 자료를 사용하였으며, 이는 주로 건물이 신축되거나 해체된 변화에 대해 후 시기 영상을 기준으로 생성되었다. 변화 탐지 결과에 대한 정량적 분석을 위해서 ROC(Receiver operating characteristic) 곡선으로부터 얻어지는 AUC(Area under curve) 값을 비교하였다. ROC 곡선은 원격 탐사 분야의 변화 탐지 결과에 대한 대표적인 평가 지수로, 이진 변화 탐지 영상 생성을 위한 임계치에 따른 탐지율과 오탐지율을 그래프로 표현한 것이다. AUC 값은 이러한 ROC 곡선 아래의 면적으로, 그 값이 1에 가까울수록 높은 변화 탐지 성능을 의미한다.

실험 결과로부터 KOMPSAT-2 영상에 대한 AUC 값은 superpixel의 크기가 증가함에 따라 SLIC과 SLIC0 기법 모두에서 증가하는 추세를 나타냈다(Table 7). 한편,SNIC 기법은 17×17(픽셀) superpixel 크기의 영상 분할 영상에서 도출된 변화 탐지 영상에서 가장 높은 AUC 값을 나타내고 18×18(픽셀)의 superpixel 크기에서 다시 감소하였다. 이는 영상의 과분할 정도가 높을수록 반드시 영상 상의 정보를 효과적으로 추출할 수 있는 것은 아님을 의미한다. 즉, superpixel의 크기가 크더라도 객체의 특성을 효과적으로 반영할 수 있다면 오차 요소로 작용할 수 있는 고립된 작은 superpixel들을 제거함과 더불어 이어지는 영상 처리의 정확도를 향상시키는 효과를 얻을 수 있다. Table 8을 통해 KOMPSAT-2 영상의 경우, SLIC0 기법의 영상 분할 결과에 DBSCAN 기법을 적용하여 superpixel의 개수를 약 25%로 축소시켰음에도 타 기법과 비교하여 가장 높은 AUC 값을 나타내었다. 이는 모든 기법에 대해 DBSCAN 기법 적용 후 초기 superpixel 생성 개수의 약 60%가 유지되었던 KOMPSAT-3A 영상의 결과보다 높은 수치로, 규칙적인 크기와 형태의 superpixel이 생성될 경우의 이점을 확인하였다.

Table 7. AUC values from each superpixel algorithm and superpixel size

Table 8. Number of superpixels before and after applying DBSCAN for superpixel clustering

AUC 값경향은 superpixel 기법의 파라미터를 분석한 KOMPSAT-2 영상과 제원과 영상 내 변화지역 비율이 상이한 KOMPSAT-3A 영상(변화 역에 해당하는 픽셀이 전체 영역의 19.85%를 차지함) 상에서도 유사하게 나타났다. 특히, 두 영상 모두에서 SNIC 기법이 SLIC 기법보다 높은 AUC 값을 보였으나, SNIC 기법에 의한 superpixel 생성 시간이 SLIC 기법보다 약 2배 가량 소요된 것으로 볼 때 연산 시간과의 상충 관계가 존재함을 확인하였다. 그러나 KOMPSAT-2 영상에서는 DBSCAN기법 적용 후 적은 수의 superpixel로도 가장 우수한 변화탐지 성능을 나타낸 SLIC0 기법이 KOMPSAT-3A 영상에서는 타 기법과 유사하지만 약간 낮은 성능을 보였다. 이는 영상 해상도 차이로 인해 KOMPSAT-3A 영상과 참조 영상 상의 엣지가 더욱 분명히 나타나고 촬영된 지역 또한 도로 및 지역 구획에 있어 강한 엣지가 존재함에 따라, 엣지를 다소 무시하는 대신 규칙적인 크기와 형태의 superpixel을 생성하는 SLIC0 기법의 탐지율을 감소시켰을 것으로 추정할 수 있다.

이 밖에도 superpixel 기반의 변화 탐지 결과는 superpixel 생성 단계 이후의 superpixel 처리 단계의 알고리즘에도 일부 의존성을 가질 것으로 예상된다. 그러나 본 연구에서 superpixel 기법 간의 영상 분할 결과를 더욱 분명하게 비교하기 위해 단순히 Lab 색상 정보만을 사용한 DBSCAN 기법을 적용하였음에도, KOMPSAT-2영상의 경우 최소 0.8161, 최대 0.8809, KOMPSAT-3A 영상의 경우 최소 0.8483, 최대 0.8571의 높은 AUC 값을 나타내었다.

5. 결론

본 연구에서는 KOMPSAT 영상을 활용하여 효과적인 변화 탐지를 위한 SLIC 계열 superpixel 기법의 입력파라미터 분석과 변화 탐지 성능 비교를 수행하였다. 이를 위해 5×5(픽셀)에서 50×50(픽셀) 범위의 superpixel 크기에 대해 영상을 분할함으로써 superpixel 크기에 따른 변화 탐지 참조 자료의 재현율을 분석하였다. 이러한 최적 파라미터 분석 결과를 바탕으로 변화 발생 전후 영상의 차 영상을 분할하여 통합된 영상 객체 경계를 구성하였으며, 대응 객체 간의 전후 영상 feature 차이를 통해 변화를 탐지하였다. 변화 탐지 결과를 시각적, 정량적으로 분석한 결과 superpixel 기법의 영상 분할 특성이 변화탐지 성능에 영향을 미침을 확인하였으며, 특히 영상의 과분할 정도가 낮더라도 superpixel의 크기와 형태의 규칙성이 높은 기법이 효과적으로 변화를 탐지할 수 있음을 관찰하였다. 그러나 이는 영상이 지니는 RGB 분광 정보에 크게 의존한 결과로, RGB 외의 추가적인 분광 정보(NIR) 또는 지표에 대한 부가 정보를 통해 변화 탐지 결과를 향상시킬 수 있을 것으로 예상된다. 또한, 다중 시기 영상의 상이한 촬영 조에 의한 그림자 영향 등을 고려한다면 미변화 지역으로부터 변화 지역을 보다 정밀하게 식별할 수 있을 것으로 기대된다.