Estimation of Global Image Fusion Parameters for KOMPSAT-3A: Application to Korean Peninsula

아리랑 3A호의 글로벌 융합 파라미터 추정방법: 한반도 영역을 대상으로

Abstract

In this study, we tried to analyze the fusion parameters required to produce a high-resolution multispectral image using an image fusion technique and to suggest global fusion parameters. We analyzed the linear regression coefficients that can simulate the panchromatic image, and the fusion coefficients required for producing the fusion image. When the fusion images were produced using the representative fusion parameters, it was confirmed that the difference in DN value between each fusion image was quantitatively smaller than when the optimal fusion parameters were used. Therefore, this study can minimize the regional characteristics reflected in the fused image.

본 연구에서는 영상융합 기법을 적용하여 고해상 다분광 영상을 제작할 때 요구되는 융합 파라미터를 분석하고, 하나의 값으로 대표될 수 있는 융합 파라미터를 제시하고자 하였다. 이를 위하여, 한반도 영역을 촬영한 115장의 KOMPSAT-3A 영상을 대상으로 전정색 영상을 모사할 수 있는 선형회귀계수와, 융합영상 제작에 요구되는 융합계수를 분석하였으며, 대표 선형회귀계수와 대표 융합계수를 제시하였다. 대표 융합 파라미터를 사용하여 융합영상을 제작하였을 때, 각 융합영상 간 DN값의 차이가 최적의 융합 파라미터를 사용하였을 때보다 정량적으로 감소함을 확인하였다. 따라서 본 연구는 융합영상 제작에 반영되는 지역적 특성을 최소화할 수 있는 것으로, 융합영상을 하나의 제품 측면에서 제공할 때 활용 가치가 높다.

1. 서론

고해상 위성영상에서 제공하는 전정색(panchromatic) 영상은 다분광(multi-spectral) 영상에 비하여 공간해상도가 높아 객체 추출 및 판독에 장점이 있고, 다분광 영상은 공간해상도가 낮으나, 객체의 다양한 분광특성을 제공할 수 있기에 토지피복분류 등에 장점을 지닌다. 위성영상의 활용을 극대화하기 위해서는 높은 공간해상도의 다분광 영상을 제공하는 것이 이상적이나, 공간해상도와 분광해상도는 서로 상충 관계에 있는 물리적 한계점을 지닌다.

영상융합 기법은 고해상 전정색 영상과 저해상 다분광 영상을 수학적으로 융합하여 고해상 다분광 영상을 획득할 수 있는 기술을 의미한다(Oh et al., 2012; Lee et al., 2014; Oh et al., 2015; Jeong et al., 2016). 영상융합 기법은 위성영상 활용의 전처리 중 하나로, 이를 이용한 영상분류, 적조탐지 및 변화탐지 등의 연구가 수행된 바 있다(Lee, 2003; Hwang et al., 2007; Choi et al., 2018; Shin et al., 2018). 영상융합 기법은 Multi Resolution Analysis(MRA) 기반과 Component-Substitution(CS) 기반의 기술로 구분할 수 있다(Aiazzi et al., 2007). CS 기반의 융합 기법은 1) 다분광 영상으로부터 전정색 영상을 모사하고, 모사된 영상과 전정색 영상을 차분하여 전정색 영상의 고주파성분(공간적 상세정보)을 추출하는 단계와, 2) 다분광영상의 분광정보와 전정색 영상의 고주파 성분의 융합비율을 결정한 뒤, 결정된 융합계수를 이용하여 융합영상을 제작하는 단계로 구분할 수 있다(Aiazzi et al., 2009).

융합영상을 제작하기 위한 각 단계에서는 융합 파라미터를 활용한다. Gram-Schmidt adaptive(GSA) 및 GramSchmidt adaptive context adaptive(GSA-CA) 기법 등은 전정색 영상을 모사하는 단계에서는 전정색 영상과 다분광 채널영상들 간의 선형회귀분석을 이용한다(Aiazzi et al., 2009). 또한 융합영상을 제작하는 단계에서는 고주파 성분과 다분광 채널영상들 간의 공분산 및 고주파성분의 분산을 이용하여 융합계수를 추정한다. 여기서, 선형회귀분석을 통해 결정된 선형회귀계수와 융합계수를 융합 파라미터로 표현할 수 있으며, 융합 파라미터는 제작지역의 특성을 반영한다. 예를 들어 도심지와 같이 공간적으로 지형 지물의 변화가 심한 지역에서는 높은 융합계수가 결정되는 반면, 산지와 같이 지형 지물의 변화가 적은 지역에서는 상대적으로 낮은 융합계수가 결정된다.

이때, 단일 촬영영상에 대해서는 위와 같은 통계적 방법을 사용하여 결정된 최적의 융합 파라미터를 이용함으로써 전정색 영상의 공간적 상세정보와 다분광 영상의 분광정보를 동시에 적절히 제공할 수 있는 장점을 지니지만, 다수의 촬영영상에 대해서 각각의 융합 파라미터를 이용할 경우, 제작된 융합영상 간 공간적 상세정보와 분광정보가 차이가 나는 한계점이 발생하게 된다. 예를 들어, 도심지 위주로 촬영된 영상과 산림지역 위주로 촬영된 영상이 인접할 경우, 인접한 융합영상 간에 시각적, 분광적 차이가 발생하게 된다. 이러한 차이는 융합 파라미터가 통계적으로 지역적 특성을 반영하기 때문으로, 이를 해소하기 위해서는 보다 다양한 지역적 특성을 고려하는 글로벌 융합 파라미터의 결정이 필요하다. 글로벌 융합 파라미터를 사용할 경우, 최적의 융합 파라미터를 사용하는 것은 아니나 인접영상 간 시각적, 분광적 차이를 최소화할 수 있는 장점이 있다. 이에 본 연구에서는 한반도 영역을 촬영한 아리랑 3A호 영상을 대상으로 지역적 특성과 융합계수 간의 관계를 분석하고, 한반도 전체의 특성을 반영할 수 있는 대표적인 융합계수를 제시하고자 한다.

2. 연구자료

본 연구에서는 글로벌 융합계수를 추정하기 위하여, 한반도 지역을 촬영한 총 115장의 아리랑 3A호 영상을 획득하였다(Fig. 1). Fig. 1(a)는 전체 115장 영상의 공간적 분포를 나타내는 것으로 우리나라와 북한지역을 포함하며, 산악지역과 도심지역이 고루 분포하였다. Fig. 1(b)와 Fig. 1(c)는 115장의 영상 중 지역적 특성을 대표할 수 있는 4장의 영상을 선별한 것이다. Fig. 1(b)는 동일궤도의 인접한 2장의 영상을 false-color 조합으로 도시한 것으로, 수계영역이 촬영되었으며, 중복도는 약 32.5%에 해당된다. Fig. 1(c) 역시 동일궤도의 인접한 2장의 영상을 false-color 조합으로 도시한 것으로, 농경지와 산악지역이 촬영되었으며, 중복도는 약 3.1%에 해당된다. 본 연구에서는 글로벌 융합계수를 추정하기 위하여, 한반도 지역을 촬영한 총 115장의 아리랑 3A호 영상을 획득하였다(Fig. 1). Fig. 1(a)는 전체 115장 영상의 공간적 분포를 나타내는 것으로 우리나라와 북한지역을 포함하며, 산악지역과 도심지역이 고루 분포하였다. Fig. 1(b)와 Fig. 1(c)는 115장의 영상 중 지역적 특성을 대표할 수 있는 4장의 영상을 선별한 것이다. Fig. 1(b)는 동일궤도의 인접한 2장의 영상을 false-color 조합으로 도시한 것으로, 수계영역이 촬영되었으며, 중복도는 약 32.5%에 해당된다. Fig. 1(c) 역시 동일궤도의 인접한 2장의 영상을 false-color 조합으로 도시한 것으로, 농경지와 산악지역이 촬영되었으며, 중복도는 약 3.1%에 해당된다.

Fig. 1. (a) KOMPSAT-3A image used in estimating global fusion parameters: (a) Spatial distribution of images (b, c) Zoomed false-color images of box A and box B in Fig. 1(a), respectively.

Table 1. Characteristics of representative images

3. 연구방법

본 연구에서 제시하는 글로벌 융합 파라미터는 115장의 영상으로부터 추정된 각각의 융합 파라미터를 이용하며, GSA 기반의 영상융합 기법에 적용되는 것이다 (Aiazzi et al., 2007). GSA 기반의 영상융합 기법에서는 1) 다분광 영상으로부터 전정색 영상을 모사할 때와, 2) 전정색 영상과 다분광 영상을 융합할 때 각각 영상융합 파라미터가 활용되기에 본 연구에서도 이러한 흐름을 바탕으로 수행되었다(Fig. 2). 첫째, 115장의 영상을 대상으로 다분광 영상으로부터 전정색 영상을 모사하는 최적의 선형회귀계수를 추정한다. 둘째, 115세트의 선형회귀계수를 대표하는 하나의 선형회귀계수를 결정한다. 셋째, 115장의 영상을 대상으로 대표 선형회귀계수를 이용하여 전정색 영상을 모사한 후, 각각 최적의 영상융합계수를 추정한다. 넷째, 115세트의 영상융합계수를 대표하는 영상융합계수를 결정한다. 마지막으로, 대표 선형회귀계수와 대표 영상융합계수를 모든 영상에 적용하여 융합영상을 제작하고, 최적의 융합 파라미터를 이용하여 제작한 융합영상과 비교분석을 수행한다.

Fig. 2. Detailed workflow of this study.

1) 대표 선형회귀계수를 이용한 전정색 영상 모사

CS 기법은 다분광 영상으로부터 전정색 영상을 모사하며, 이때 다분광 영상과 전정색 영상 간의 선형회귀분석을 수행하여 추정된 선형회귀계수를 채널 영상 간 가중치를 사용한다. 식 (1)은 선형회귀계수를 추정하는 과정을 나타낸다.

\(P^{i}=\sum_{k=1}^{N_{k}} \widehat{c_{k}^{i}} \cdot M_{k}^{i}+\widehat{c_{0}^{\prime}}\)       (1)

여기서, Pⁱ는 i번째 전정색 영상, Mⁱ는 i번째 다분광 영상을 의미하며, N_k는 다분광 채널영상의 수로, 사용한 KOMPSAT-3A 영상에서는 4개의 채널영상 수에 해당한다. k는 다분광 채널영상 번호를 나타낸다. \(\widehat{c_{k}^{i}}\)(k = 0, 1, …, N_k)는 i번째 다분광 영상과 전정색 영상의 선형회귀분석으로부터 추정된 i번째 선형회귀 계수를 나타낸다. 본 연구에서 i는 1부터 115장의 영상을 의미한다.

본 연구에서는 총 115장의 영상으로부터 각각의 선형회귀 계수를 추정하며, 115세트의 선형회귀계수를 분석하여 하나의 대표 선형회귀계수 값을 결정한다. 식 (2)와 식 (3)은 115세트의 선형회귀계수를 적용한 전정색 영상 모사와(Aiazzi et al., 2007), 대표 선형계수를 적용한 전정색 영상 모사를 설명한다.

\(\sum_{k=1}^{N_{k}} \widehat{c_{k}^{i}} \cdot M_{k}^{i}+\widehat{c_{0}^{i}}=I^{i}\)       (2)

\(\sum_{k=1}^{N_{k}} \widehat{c_{k}^{g}} \cdot M_{k}^{i}+\widehat{c_{0}^{g}}=I^{i(g)}\)       (3)

여기서, \(\widehat{c_{k}^{g}}\) (k = 0, 1, …, N_k)는 총 115장의 영상으로부터 결정된 대표 선형계수를 의미하며, \(I^i\)는 i번째 선형회귀계수 세트를 이용하여 모사한 i번째 전정색 영상을 의미하며, \(I^{i(g)}\)는 대표 선형계수를 이용하여 모사한 i번째 전정색 영상을 의미한다.

2) 대표 융합계수 결정

GS1, GSA 등의 대표적 CS 기법은 통계적 방법에 의하여 융합계수는 추정하며, 통계적 방법에 의하여 결정하며, 모사된 전정색과 다분광 채널영상 간의 공분산과 모사된 전정색 영상의 분산의 비를 이용한다. 이때 사용하는 모사된 전정색 영상은 최적의 선형회귀계수를 이용한 것(Aiazzi et al., 2009)과 대표적 선형회귀계수를 이용한 것으로 나눌 수 있다. 식 (4)와 식 (5)는 이를 설명한다.

\(\alpha_{k}^{i}=\frac{\operatorname{cov}\left(I^{i}, M_{k}^{i}\right)}{\operatorname{var}\left(I^{i}\right)}\)       (4)

\(\alpha_{k}^{i \prime}=\frac{\operatorname{cov}\left(I^{i(g)}, M_{k}^{i}\right)}{\operatorname{var}\left(I^{(i(g)}\right)}\)       (5)

여기서, cov(A, B)는 A와 B영상 간 공분산을, var(A)는 A영상의 분산을 의미하며, \(\alpha_{k}^{i}\)는 i번째 영상에서 각각 추정된 최적의 선형회귀계수를 이용하여 추정한 i번째 융합계수를, \(\alpha_{k}^{i \prime}\)는 대표적 선형회귀계수를 이용하여 추정한 i번째 융합계수를 의미한다.

본 연구에서는 식 (5)로부터 총 115개의 융합계수 세트가 추정되며, 각각의 융합계수 추정 결과로부터 대표적 융합계수를 결정한다.

3) 융합영상 제작

융합영상 제작 역시 최적의 융합 파라미터(선형회귀계수 및 융합계수)를 이용하는 것(Tu et al., 2004)과본연구에 의해 결정된 대표적 융합 파라미터로부터 제작하는 방법으로 나눌 수 있으며, 식 (6)과 식 (7)은 이를 설명한다.

\(F_{k}^{i}=M_{k}^{i}+\alpha_{k}^{i} \cdot\left[P^{i}-I^{i}\right]\)       (6)

\(F_{k}^{i(g)}=M_{k}^{i}+\alpha_{k}^{i(g)} \cdot\left[P^{i}-I^{(g)}\right]\)       (7)

여기서,\(F_{k}^{i}\)는 최적의 융합 파라미터를 이용하여 제작한 i번째 융합영상을 의미하며,\(F_{k}^{i(g)}\)는 대표적 융합 파라미터를 이용하여 제작한 i번째 융합영상을 의미한다.

즉, 본 연구에서는 총 115개에 해당하는 선형회귀분석 결과와 융합계수 추정결과로부터 하나의 대표되는 융합 파라미터를 결정하고, 이를 이용하여 융합영상을 제작한 후, 각각의 융합 파라미터를 사용하여 제작한 융합영상과의 비교분석을 실시한다.

4. 실험결과 및 분석

Fig. 3은 연구에 사용된 115장의 영상을 대상으로 다분광 영상으로부터 전정색 영상을 모사하기 위해 사용된 각각의 선형회귀계수의 분포를 나타낸다. 여기서, c₀는 회귀상수로 -800부터 800까지 넓은 범위의 분포를 보이지만, 실질적으로 다분광 영상과 전정색 영상의 선형관계를 나타내는 c₁, c₂, c₃ 및 c₄ 회귀계수의 대부분은 -0.2에서 0.2 사이에 분포하고 있는 것을 확인할 수 있다. Table 2는 대표적 영상에서의 추정된 회귀계수를 나타낸다. 3번 영상과 4번 영상의 회귀계수는 큰 차이가 없는 반면, 1번 영상과 2번 영상의 회귀계수의 차이는 큰 것을 확인할 수 있다. 이로부터 추정되는 회귀계수는 수계영역의 영향을 크게 받는 것을 확인할 수 있다. 본 연구에서는 추정된 각각의 선형회귀계수의 중앙값을 대표적 선형회귀계수로 가정하였다.

Fig. 3. Distribution of linear regression coefficients.

Table 2. Linear regression coefficients of representative images

Fig. 4는 대표적 선형회귀계수를 적용하여 각각의 전정색 영상을 모사한 후, 추정한 융합계수의 분포를 나타낸다. 청색, 녹색 및 적색 채널영상의 융합계수는 비교적 정규분포를 따르는 반면, 근적외선 채널영상의 융합계수는 상대적으로 다양한 값의 분포를 지닌다. 근적외선 채널의 경우 식생에 민감한 것으로 알려져 있기 때문에, 이는 영상 내 식생지역의 비율이 융합계수 추정에 영향을 끼치는 것으로 판단할 수 있다. Table 3은 대표적 영상에서의 추정된 융합계수를 나타낸다. 융합계수는 모든 영상에서 다양한 값을 가지는데, 이는 지역적 특성이 인접한 영상임에도 불구하고 다른 것에 기반한다. 본 연구에서는 대표 선형회귀계수를 결정하는 방법과 동일하게, 융합계수들의 중앙값을 이용하여 대표 융합계수를 결정하였다.

Fig. 4. Distribution of fusion coefficients.

Table 3. Fusion coefficients of representative images

Fig. 5는 대표영상 1번과 2번에 대하여, 최적의 융합 파라미터를 사용하여 제작한 융합영상과, 본 연구에서추정된 대표 융합 파라미터를 사용하여 제작한 융합영상의 차이를 도시한 것이다. Fig. 5(a)와 Fig. 5(b)는 각각다분광 영상과 전정색 영상을 나타내며, Fig. 1(b)의 영역을 자세히 확대하여 도시한 것이다. Fig. 5(c)와 Fig. 5(d)는 최적의 융합 파라미터를 이용하여 제작한 융합영상으로, Fig. 5(c)는 1번 대표영상을, Fig. 5(d)는 2번 대표영상을 확대하여 도시한 것이다. 시각적으로 Fig. 5(c)와 Fig. 5(d)는 차이를 나타내며, 이는 각 융합영상 제작에 사용된 융합 파라미터가 상이하여 나타난 결과이다. 반면, 대표 융합 파라미터를 이용하여 제작한 융합영상 Fig. 5(e)와 Fig. 5(f)는 인접한 서로 다른 영상임에도 불구하고 동일한 융합 파라미터를 사용하였기에 시각적으로 유사한 것을 확인할 수 있다.

Fig. 5. Difference between fused images: (a, b) Zoomed multi spectral and panchromatic images of box C in Fig. 1(b), (c, d) fused representative image no. 1 and image no. 2 using optimal fusion parameters, (e, f) fused representative image no. 1 and image no. 2 using global fusion parameters (g, h) differences of DN values in profile AB of fused image no. 1 and image no. 2 using optimal and global fusion parameters, respectively.

Fig. 5(g)와 Fig. 5(h)는 최적의 융합 파라미터와 대표 융합 파라미터를 이용한 융합영상 제작결과의 차이를 정량적으로 확인하기 위한 융합영상 1번과 2번의 DN 값 차이를 나타낸다. Fig. 5(g)는 Fig. 5(h)보다 큰 변화량을 가지는 데, 이는 최적의 융합 파라미터가 실제로는 융합영상 간 차이를 발생시키는 것을 지시한다. 반면, 대표 융합 파라미터를 사용할 경우 융합영상 간 분광정보의 차이가 최소화되는 것을 확인할 수 있다.

Fig. 6은 대표영상 3번과 4번에 대하여, 최적의 융합 파라미터를 사용하여 제작한 융합영상과, 본 연구에서 추정된 대표 융합 파라미터를 사용하여 제작한 융합영상의 차이를 도시한 것이다. Fig. 6(a)와 Fig. 6(b)는 각각다분광 영상과 전정색 영상을 나타내며, Fig. 1(c)의 영역을 자세히 확대하여 도시한 것이다. Fig. 6(c)와 Fig. 6(d)는 최적의 융합 파라미터를 이용하여 제작한 융합영상으로, Fig. 6(c)는 3번 대표영상을, Fig. 6(d)는 2번 대표영상을 확대하여 도시한 것이다. 시각적으로 Fig. 6(c)와 Fig. 6(d)는 큰 차이를 보이지 않으며, 마찬가지로 대표 융합 파라미터를 이용하여 제작한 융합영상 Fig. 6(e)와 Fig. 6(f) 역시 시각적으로 유사한 것을 확인할 수 있다.

Fig. 6. Difference between fused images: (a, b) Zoomed multi spectral and panchromatic images of box D in Fig. 1(c), (c, d) fused representative image no. 3 and image no. 4 using optimal fusion parameters, (e, f) fused representative image no. 3 and image no. 4 using global fusion parameters (g, h) differences of DN values in profile AB of fused image no. 3 and image no. 4 using optimal and global fusion parameters, respectively.

그러나, Fig. 6(g)와 Fig. 6(h)에서 확인할 수 있듯이, 최적의 융합 파라미터와 대표 융합 파라미터를 이용한 융합영상 제작결과는 정량적으로 차이를 보인다. Fig. 6(g)는 Fig. 6(h) 보다 큰 변화량을 가지며, 이 역시 최적의 융합 파라미터가 실제로는 융합영상 간 차이를 발생시키는 것을 지시한다.

Table 4는 최적의 융합 파라미터와 대표적 융합 파라미터를 이용한 융합영상 간 차이를 정량적으로 나타낸 것으로, VNIR 채널영상 모두 대표적 융합 파라미터를 사용하는 것이 융합영상 간 차이를 최소화할 수 있음을 지시한다.

Table 4. Fusion coefficients of representative images

5. 결론

본 연구에서는 고해상 전정색 영상과 저해상 다분광 영상을 융합하여 고해상 다분광 영상을 제작하기 위한 대표적 융합 파라미터를 결정하고자 하였다. 이를 위하여, 총 115장의 한반도 영역을 촬영한 KOMPSAT-3A 영상을 획득하였으며, 각각의 영상으로부터 전정색 영상을 모사할 수 있는 최적의 선형회귀계수와 융합영상 제작에 요구되는 최적의 융합계수를 추정하였다. 이후, 융합 파라미터의 분포를 분석하여 대표 선형회귀계수와 대표 융합계수를 결정하였다. 검증을 위하여 최적의 융합 파라미터를 사용한 융합영상과 대표 융합 파라미터를 사용한 융합영상을 시각적으로, 정량적으로 분석하였다. 최종적으로 대표 융합 파라미터를 사용하는 것이 융합영상 간 차이를 최소화할 수 있음을 확인하였고, 다음과 같은 결론을 얻었다.

첫째, 다수의 위성영상을 활용할 때, 다분광 영상으로부터 전정색 영상을 모사할 수 있는 하나의 선형회귀계수를 결정할 수 있었다. 각각의 선형회귀계수는 정규분포 형태를 따르며, 본 연구에서는 중앙값을 이용하여대표 선형회귀계수를 결정할  수 있었다.

둘째, 다수의 위성영상을 활용할 때, 다분광 영상과 전정색 영상을 융합할 수 있는 하나의 융합계수를 결정할 수 있었다. 각각의 융합계수 역시 정규분포 형태를 따르며, 본 연구에서는 중앙값을 이용하여 대표 융합계수를 결정할 수 있었다.

셋째, 대표 융합 파라미터를 이용하여 제작한 융합영상은 각각의 융합 파라미터를 이용하여 제작한 융합영상보다 융합영상 간 DN값의 차이가 작음을 확인하였다. 이로부터 대표 융합 파라미터가 융합영상 제작에 유용함을 확인하였다.

향후 연구로서, 대표 융합 파라미터를 이용함으로써 공간왜곡과 분광왜곡이 어느정도 변하는지를 확인할 필요가 있다. 또한 일반적으로 고해상 위성영상은 사막, 해양 등의 DN값의 변화가 극단적인 지형에서 다양한 촬영모드로 영상을 촬영하기 때문에, 각각의 촬영모드를 대표할 수 있는 융합 파라미터의 결정이 요구된다.