Feasibility Study on FSIM Index to Evaluate SAR Image Co-registration Accuracy

SAR 영상 정합 정확도 평가를 위한 FSIM 인자 활용 가능성

Abstract

Recently, as the number of high-resolution satellite SAR images increases, the demand for precise matching of SAR imagesin change detection and image fusion is consistently increasing. RMSE (Root Mean Square Error) values using GCPs (Ground Control Points) selected by analysts have been widely used for quantitative evaluation of image registration results, while it is difficult to find an approach for automatically measuring the registration accuracy. In this study, a feasibility analysis was conducted on using the FSIM (Feature Similarity) index as a measure to evaluate the registration accuracy. TerraSAR-X (TSX) staring spotlight data collected from various incidence angles and orbit directions were used for the analysis. FSIM was almost independent on the spatial resolution of the SAR image. Using a single SAR image, the FSIM with respect to registration errors was analyzed, then use it to compare with the value estimated from TSX data with different imaging geometry. FSIM index slightly decreased due to the differencesin imaging geometry such as different look angles, different orbit tracks. As the result of analyzing the FSIM value by land cover type, the change in the FSIM index according to the co-registration error was most evident in the urban area. Therefore, the FSIM index calculated in the urban was mostsuitable for determining the accuracy of image registration. It islikely that the FSIM index has sufficient potential to be used as an index for the co-registration accuracy of SAR image.

최근 고해상도 위성 SAR 영상이 늘어남에 따라, 변화탐지, 영상 융합 등 다양한 분야에서 SAR 영상에 대한 정밀 정합 요구가 커지고 있다. 영상 정합 결과에 대한 정량적 평가는 분석자에 의해 추출된 GCPs (Ground Control Points)를 이용한 RMSE (Root Mean Square Error) 값이 널리 사용되어 왔으나, 영상정합 결과의 정확도를 자동으로 측정하는 방법에 대한 연구는 미비한 실정이다. 본 연구에서는 SAR 영상 정합의 정확도 평가지표로, 단일채널 영상의 품질 평가 알고리즘으로 개발된 FSIM (Feature Similarity) 값을 적용하는 것에 대한 타당성 분석을 수행하였다. 다양한 관측각도 및 관측방향에서 수집된 TerraSAR-X staring spotlight 자료를 분석에 사용하였다. SAR 영상의 공간 해상도에 따른 FSIM 값 변화는 매우 작은 값을 보였다. 따라서, 다양한 공간해상도의 SAR 영상 간에도 동일한 척도를 가지고 FSIM 값을 사용할 수 있다. 단일 SAR 영상을 이용하여 정합 오차에 따른 FSIM값 변화를 분석하였으며, 이 값을 기준으로 서로 다른 관측조건에서 수집된 영상 간의 정합 오차에 따른 FSIM 값 변화를 분석하였다. 서로 다른 관측각 또는 관측방향 자료 조합에서, 관측기하 차이에 의해 FSIM 값은 다소 저하되었다. 토지피복별 FSIM 값 분석 결과에서, 도심지역에서 정합오차에 따른 FSIM 값의 변화가 가장 뚜렷하게 나타났다. 따라서, FSIM 값을 이용하여 영상정합의 정확도를 판별하기 위해서는 도심지역에서 산출된 FSIM 값을 이용하는 것이 바람직하다. FSIM 값은 SAR 영상 정합 정확도에 대한 지표로 사용될 수 있는 충분한 가능성이 있는 것으로 판단된다.

1. 서론

최근 고해상도 위성 SAR 영상이 늘어남에 따라, 변화 탐지, 영상 융합 등 다양한 분야에서 위성 영상에 대한 정밀정합 요구가 커지고 있다. 위성 영상 정합 분야에서는 SAR-SIFT(SAR-Scale Invariant Feature Transform); (Delinger et al., 2015), Gefolki(Geoscience Extended Folki Iteration); (Brigot et al., 2016) 등 다양한 정합 기법에 대한 연구가 있어왔지만, 영상정합 결과의 정확도를 자동으로 측정하는 방법에 대한 연구는 미비한 실정이다.

영상정합 평가 방법은 시각적 판단에 의한 정성적 평가와 RMSE (Root Mean Square Error)와 같은 모델링의 잔차를 통한 정량적 평가가 널리 사용된다. 그러나 정성적 평가는 영상 전문가의 해석 및 판독이 필요하고, RMSE를 통한 정량적 분석은 영상 내 검사점의 분포 특성, 검사점의 수 등, 다양한 요소에 의해 정확도가 영향을 받기 때문에 영상정합 성능평가에 적합하지 않을 수 있다. 따라서 영상정합에 대한 객관적이고 자동화된 평가 기법이 필요하다.

Goncalves et al. (2009) 는 정합점에 대한 분포, 수, 위치 등에 대한 7 가지 통계적 평가 기준을 활용한 자동화된 정합성능 평가방안을 제안하였다. 그러나 일반적으로 정합점을 자동으로 추출하는데 한계가 있고, 여러 측정 지표를 이용하여 단일화된 지수로 활용하는데 한계점이 존재한다. IQA (Image Quality assessment)는 영상 품질 평가 분야로 영상의 압축, 이동, 회전 등에 따른 왜곡 정도를 판단할 수 있는 기준을 제시한다. IQA는 왜곡되지 않은 원본 영상을 알 수 있는 FR (Full reference)기법과 원본 영상이 존재하지 않는 NR (No Reference)기법, 원본 영상의 일부분만 사용 가능한 RR (Reduced Reference)으로 나눠진다(Wang and Bovik, 2006). 영상 정합 성능 평가 기준으로 활용하기 위해서는 원본 데이터를 알고 있는 상태에서 이미지의 품질을 평가하는 방식인 FR 기법을 사용해야 한다. 평균제곱오차(Mean Squared Error), 최대 신호 대 잡음 비(Peak Signal-to-Ratio) 는 전통적인 FR 이미지 품질 평가기법으로써 단순한 연산으로 명확한 물리적 의미를 추출한다는 점에서 널리 사용되고 있다(Sara et al., 2019). 그러나 두 기법은 왜곡 효과가 중첩되거나 다중 이미지에 관련해서는 왜곡정도를 반영하지 못하는 한계가 있다(Wang and Bovik, 2009). Chandler and Hemami (2007)는 적절한 영상 품질 평가를 위해서는 밝기(Luminance), 대비(Contrast), 질감 등과 같은 인간 인지 시스템(Human Visual System)을 활 용한 기법의 결합의 필요성을 주장했다.

실제적인 영상 품질평가를 위하여 인간 인지 시스템 (Human Visual System)을 모티브로 한 IQA 모델들이 연구되어 왔다. SSIM (Structural Similarity)은 대표적인 인간 인지 시스템을 활용한 이미지 품질 평가 기법으로써 인간 인지 시스템이 주로 영상의 구조적 정보에서 영향을 받는다는 가설을 기반으로 제안되었다(Wang et al., 2004). SSIM은 두 영상에서 밝기(Luminance)와 대비(Contrast), 구조 정보(Structure)을 조합하여 두 이미지 사이도를 측정했다. FSIM (Feature Similarity)은 인간 인지 시스템이 주로 엣지(edge)와 같은 저차원의 특징에서 정보를 추출한다는 점(Morrone and Burr, 1988)에서 변화율 강도(Gradient Magnitude) 정보와 PC (Phase Congruency) 를 조합하여 유사도를 측정했다(Zhang et al., 2011). FSIM은 단일 채널 영상을 위해 디자인된 이미지 품질 평가 알고리즘으로 사용자의 개입없이 두 개의 입력 영상에 대해 이미지의 품질에 대한 정량적 지표를 제시하기 때 문에 영상 정합 성능 평가 측면에서 자동화된 모델을 제시할 수 있는 가능성이 있다.

본 연구에서는 SAR 영상 정합의 정확도를 사용자의 개입없이 자동화된 방법으로 개발 적용할 수 있는 평가 지표를 개발하고자 한다. IQA 모델 기법 중 하나인 FSIM 값을 다양한 조합의 SAR 영상으로부터 계산하고, 전통적인 GCPs(Ground Control Points)를 이용한 RMSE 값과 비교하여, FSIM 값을 이용한 SAR 영상정합 성능 평가의 적용 가능성을 살펴보고자 한다.

2. 연구자료

본 연구에서는 고해상도 SAR 영상의 정합 성능 평가를 위하여 수계, 도심지, 산악지형을 포함하는 대한민국 인천 석남동 일대를 촬영한 TerraSAR-X (TSX) SAR 영상을 사용하였다(Fig. 1). Staring spotlight 모드로 촬영된 고해상도 영상 5개와 더불어, 토지피복 종류에 따른 FSIM 값 변화 특성을 분석하기 위해 환경부에서 제공하는 1:5000 토지피복도 자료를 수집, 활용하였다.

Fig. 1. Study area of Incheon and coverage of TerraSAR-X: 2018/04/03 (Yellow), 2018/04/08 (Blue), 2018/04/13 (Red), 2018/04/24 (Black), 2018/04/28 (Green).

1) TerraSAR-X

TerraSAR-X는 독일항공 우주국에서 개발되고 2007년 6월에 발사된 고해상도 X밴드 SAR 위성으로, 약 11일의 재방문 주기를 가지고 현재까지 운영 중에 있다. 본 연구에서는 TerraSAR-X Staring Spotlight 모드 영상 5장을 사용했으며, 취득한 영상의 비행방향 해상도는 약 16 cm, 거리방향 해상도는 센서의 관측각에 따라 53 cm부터 110 cm까지 분포한다(Table 1). 영상은 2018년 4월 3일, 2018년 4월 8일, 2018년 4월 13일, 4월 24일, 그리고 4월 28일에 취득되었다. 수집된 TSX 영상들의 관측각도는 24°~52°를 가지고 있으며, 4월 3일, 4월 8일, 4월 13일, 4월 24일 영상은 ascending 궤도에서, 그리고 4월 28일 영상은 Descending 궤도에서 촬영되었다. 각 TSX 영상의 주요 특성은 Table 1에 요약되어 있다.

Table 1. Detail of experimental data of TerraSAR-X staring spotlight mode

2) 토지피복지도

대한민국 환경부에서 제공하는 토지피복지도는 항공정사영상, 위성영상, 수치지형도 및 현장 자료 데이터베이스를 기반으로 제작되었으며 대 분류 7개 항목, 중 분류 22개 항목, 세 분류 41개 항목으로 구분된다. 본 연구에서는 대 분류 7개 항목에 대하여 1:5000 토지피복도를 사용하였으며 대 분류 항목은 시가화 건조지역, 농업지역, 산림지역, 초지, 습지, 나지, 수역으로 구분된다. 환경부 홈페이지로부터 37607097 도엽을 중심으로 주변 15개의 shape 파일을 다운로드한 후 병합하여 분석에 사용되었다.

3. FSIM (Feature Similarity) Index 소개

FSIM은 단일 채널 영상을 위해 디자인된 이미지 품질 평가 알고리즘이다(Zhang et al., 2011). 본 연구에서는 SAR 영상 정합 성능의 비교를 위하여 자동화된 성능 평가기법으로 FSIM 모델의 활용 및 분석을 수행하고자 한다. 이미지 품질평가 기법의 일종인 FSIM은 영상 경계부의 특징을 두드러지게 만들어주는 PC(Phase Congruency)와 경사도맵(Gradient Magnitude) 맵을 통하여 두 영상의 유사도를 측정한다. PC, GM, 그리고 이 두 가지 값에 기초한 유사도 계산은 다음과 같다.

1) PC(PhaseCongruency)

PC 기법은 영상의 특징들을 Fourier 주파수 변환을 통해서 나타난 위상 값이 최대인 지점으로 추정하기 때문에 밝기와 대비 변화에 영향을 받지 않는다(Kovesi, 1999). PC 값은 두 영상의 위상 합동정도를 뜻하며 신호의 크기 합과 로컬 에너지의 합의 비를 통해 나타낸다. 임의의 1차원 신호 s(x)에 대하여 우대칭(Even-symmetry, e(x))과 기대칭(Odd-symmetry, o(x)) 신호는 식 1과 같이 나타내며, x는 신호 값, n은 스케일, g(x)는 Field(1987)가 제안한 log-gabor 필터를 의미한다.

\(\left[e_{n}(x), o_{n}(x)\right]=\left[s(x) * g_{n}^{e}, s(x) * g_{n}^{o}\right]\)       (1)

E(x)는 로컬에너지로 신호의 우대칭과 기대칭의 벡터 합, ε는 상수, An은 신호의 크기를 의미한다(식 2).

\(P C(x)=\frac{E(x)}{\sum n A_{n}+\varepsilon}\)       (2)

1차원 PC 값을 2차원으로의 확장을 위해 방향을 고려하여 확장하면 식 3과 같이 표현된다.

\(P C_{2 D}(x)=\frac{\sum_{o} E(x)}{\sum_{n} \sum_{o} A_{n, \theta_{o}}+\varepsilon}\)       (3)

여기서 o는 방향의 수, θ는 2차원 확장 시 적용하는 각 방향에 대한 log-gabor 필터를 의미한다.

최종적으로 PC맵은 각 픽셀마다 0에서 1 사이의 값을 나타내며 1에 가까울수록 위상이 일치함을 의미한다.

2) GM(GradientMagnitude)

GM은 변화량의 크기로, 수평 방향과 수직 방향 성분의 크기로 표현된다. 수평 방향과 수직 방향의 변화량 크기는 일반적으로 마스크 필터를 통하여 얻는다. 본 논문에서는 Scharr 필터를 사용하여 수직 방향(Gx), 수평 방향(Gy) 성분 맵을 얻었으며, 식 4와 같이 표현된다 (Jähne et al., 1999).

\(\begin{aligned} &G_{x}(x)=\frac{1}{16}\left[\begin{array}{ccc} 3 & 0 & -3 \\ 10 & 0 & -10 \\ 3 & 0 & -3 \end{array}\right] * I(x) \\ &G_{y}(x)=\frac{1}{16}\left[\begin{array}{ccc} 3 & 10 & 3 \\ 0 & 0 & 0 \\ -3 & -10 & -3 \end{array}\right] * I(x) \end{aligned}\)       (4)

여기서 Gx는 수평방향, Gy는 수직방향 성분을 의미하며 I(x)는 이미지를 의미한다.

기울기 크기 GM은 Gx, Gy 통해 식 5와 같이 표현된다.

\(G M(x)=\sqrt{G_{x}^{2}+G_{y}^{2}}\)       (5)

3) 유사도 계산

FSIM은 기준영상과 대상영상의 PC맵과 GM맵을 통하여 최종 산출되며, 기준영상과 대상영상의 PC맵과 GM맵은 각각 PC₁, PC₂, GM₁, GM₂로 표현된다. PC맵의 유사도(식 6)와 GM맵의 유사도(식 7)를 통하여 최종 FSIM 값을 구하며, 이 때 PC맵을 가중치로 사용한다.

\(S_{p c}=\frac{2 P C_{1}(x) \cdot P C_{2}(x)+C_{p c}}{P C_{1}^{2}(x)+P C_{2}^{2}(x)+C_{p c}}\)       (6)

여기서 S_pc는 두 PC 영상 간의 유사도를 의미하고, C_pc 는 안정성을 위해 추가된 상수이다.

\(S_{G M}=\frac{2 G M_{1}(\mathrm{x}) \cdot G M_{2}(x)+C_{G M}}{G M_{1}^{2}(x)+G M_{2}^{2}(x)+C_{G M}}\)       (7)

S_GM은 두 GM 영상 간의 유사도를 의미하고, C_GM은 안정성을 위해 추가된 상수이다. S_pc과 S_GM과 PC맵을 가중치로 이용하여 최종 FSIM 값은 식 8과 같이 표현된다.

\(F S I M=\frac{\sum_{x} S_{p c}(x) \cdot S_{G M} \cdot P C_{\max }}{\sum_{x} P C_{\max }(x)} \)       (8)

여기서 PC_max 값은 각 픽셀에서 PC₁과 PC₂ 중 큰 값을 의미한다. FSIM 값은 구조정보에서 PC맵이 큰 영향을 준다는 것으로 보고 PC_max 값을 가중치로 사용하였다.

4. 연구방법

FSIM 값 계산에 영향을 주는 인자들에 대한 평가와, 수집된 TSX 영상을 이용한 FSIM 분석을 위해 선행되어야 할 영상 정합 방법에 대해 설명한다. 또한, 토지 피복 종류에 따른 FSIM 값 변화에 대한 분석을 위한 토지피복도 자료처리에 대한 과정을 포함한다. 정합 오차에 따른 FSIM 값 변화를 살펴보기 위해, 먼저 하나의 영상을 주영상과 부영상으로 사용하거나, 주영상과 정합과정을 통해 정합 된 부영상을 사용하였다. 부영상을 range 방향, azimuth 방향, 그리고 ra/az (range/azimuth, 대각선 방향) 방향으로 이동시키며 FSIM 값을 측정하였다. 정합오차에 따른 FSIM값 변화 실험을 위해 인위적으로 부여한 정합오차는 1/16, 1/8, 1/4, 1/2, 1, 2, 4, 8, 16, 32, 그리고 64 화소이다.

1) 영상 다운 샘플링에 따른 FSIM변화

FSIM 값은 앞서 소개한 바와 같이 경사도 맵과 더불어 PC 결과를 이용해 계산하기 때문에 연산에 많은 시간이 소요된다. 자료처리에 사용하는 시스템의 성능과 영상의 크기에 따라 다르겠지만, 개략적으로 5000·5000 화소 크기의 영상을 다운 샘플링 없이 FSIM을 계산하면 수십 초~일 분 정도의 시간이 소요된다. 단순한 영상자료의 다운샘플링을 통해 FSIM 값 연산 속도 문제는 개선될 수 있다. 그러나 다운샘플링을 너무 많이 하면 영상의 정합오차에 따른 FSIM 값의 변화가 발생하지 않아, 정합 오차에 대한 평가의 신뢰성이 낮아질 수 있다. 따라서, TSX 테스트 자료를 사용하여 영상 다운 샘플링정도에 따른 FSIM 값 변화에 대한 분석을 수행하였다.

다운 샘플링 정도를 1에서부터 10까지 수집된 5개의 TSX 영상 중 관측각이 서로 다른 4개의 영상(2018/04/24 제외)에 적용하여, 각각 FSIM 값을 구하였다. 다운샘플링값 1은 원 영상을, 2는 azimuth 및 range 방향으로 하나씩 건너 추출된 것을 의미한다. Ra/Az 방향의 정합 오차에 따라 계산된 FSIM 값은 Fig. 2와 같다. 사용된 4개 TSX 영상 FSIM 값은 거의 동일한 결과를 보이기 때문에, 4개 TSX 영상 분석결과를 각 다운 샘플링 별로 평균과 표준편차를 구한 후 Fig. 2로 제시하였다. 다운 샘플링 값이 커지면 정합오차에 따라 FSIM이 저하되는 정도가 크게 줄어든다. 경사도 맵과 PC는 영상 해상도에 따라 영향을 받는 것이기 때문에 당연한 결과이다. 위성 영상 정합에 있어서 주요 관심오차 범위는 10 화소 이상의 큰 값들이 아닌 수~10 화소 정도의 정합 오차가 대상이다. 따라서, 이 구간에서 FSIM 차이가 크게 발생하도록 하기 위해서는 너무 높은 다운 샘플링 값을 적용하지 않아야 한다. 다운 샘플링 값 4를 사용하였을 때 FSIM값 계산 시간은 대략 1-2초 정도 소요되었다. 따라서 이후 본 연구에서 제시되는 모든 FSIM 값은 다운 샘플링 정도로 4를 적용하여 제시하였다.

Fig. 2. FSIM index with respect to co-registration error along Ra/Az direction depending on down-sampling degree.

2) 영상 해상도에 따른 FSIM변화

SAR 영상의 공간해상도(화소 간격)에 따른 FSIM값의 영향을 분석하기 위해 4개의 TSX 자료를 이용하였다. 연구지역에서 수집된 SAR 영상은 모두 거의 동일한 공간해상도를 가지고 있기 때문에, 다양한 해상도의 영상 테스트를 위해 multibook 영상을 생성하여 분석에 사용하였다. Fig. 3(a)는 2018/04/03 영상에 11가지의 서로 다른 multi-look 적용을 통해 생성된 영상을 이용하여, Ra/Az 방향 정합오차에 따른 FSIM 값 변화를 보여주고 있다. 약 2 화소 이내의 정합오차에서는 해상도(multilook 정도)에 따른 차이가 0.02이며, 4~64 화소 구간에서도 해상도에 의한 차이가 크지 않음을 확인할 수 있다. 다른 3개의 TSX영상을 이용한 분석도 유사한 결과를 보였다. 따라서, TSX 4개 영상에서 구한 FSIM을 모두 통합하여, Ra/Az 이동에 따른 FSIM값의 평균과 표준편차를 구해 도시한 결과는 Fig. 3(b)와 같다. 결론적으로 영상 해상도에 따른 FSIM 값 변화에 대한 영향은 미미 한 것으로 판단할 수 있다. 특히 정합오차가 작은 경우에는 그 변화가 더욱 작음을 확인할 수 있다. 따라서, 공간해상도가 다른 영상에서 구한 FSIM 값이더라도 교차 비교가 가능하다.

Fig. 3. FSIM index with respect to co-registration error along Ra/Az direction depending on multi-look factor: (a) 2018/04/03 TSX image, (b) mean and std. dev. of four TSX images.

3) TSX자료의 영상 정합

다양한 관측 조건(관측방향, 관측각 등)에서 수집된 SAR 영상을 이용하여 FSIM값 계산을 위해서는 두 영상 간의 정밀 정합이 선행되어야 한다. SAR 위성은 특히 측면 관측 기하에 따라, 포어쇼트닝, 레이오버, 그림자가 발생하기 때문에, 서로 다른 관측 자료 간의 정합은 일반적으로 많은 오차를 내포할 수밖에 없다. 연구에 사용된 자료는 다른 관측각과 관측방향(ascending/descending)을 포함하고 있기 때문에, 지형고도를 고려한 기하보정을 수행하였다. TSX 메타데이터 파일에 포함되어 있는 위성의 궤도 정보와 1:5000 수치지도를 이용하여 제작된 10 m 간격의 DEM (Digital Elevation Model)을 사용하였다. Fig. 4는 기하정합 결과의 예로 2018/04/28 기준 영상과 재배열된 2018/04/03 영상을 보여주고 있다.

Fig. 4. Example of geometric co-registration: (a) 2018/04/28 TSX image, (b) resampled 2018/04/03 TSX image.

자동화된 기하보정 과정에서 위성궤도 오차 등에 의한 오정합을 추가적으로 줄이기 위해 GCPs를 추출하여 활용하였다. GCPs는 관측기하 차이에 의한 오정합영향이 상대적으로 작을 것으로 기대되는 평지지역으로만 선택해서 추출하였다. 각 영상조합에서 최대한 동일(유사)한 지점의 GCPs를 활용하기 위해, 세 개의 면이 접한 모서리에서 나타나는 강한 모서리(Corner) 산란을 보여주는 화소들 위주로 추출하였다. 추출된 21개 GCPs의 레이더 좌표계는 지리 좌표계로 변환되어 GCPs 데이터베이스로 구축되었다. 이후, 각 영상조합에 사용된 주영상의 레이더 좌표계로 GPSs 데이터베이스 좌표를 변환한 후, 이 좌표정보를 참조하여 최종 분석자가 육안으로 각 영상에서 최종 추출하여 분석에 사 용하였다. Fig. 5는 선정된 GCPs 근처를 확대한 TSX 영상 칩 예이다.

Fig. 5. Example of TSX image chips of selected GCPs (green cross).

Fig. 6은 각 영상조합에서 추출된 GCPs를 이용하여 구한 range 방향과 azimuth 방향 정합오차를 도시한 것이다. 좌측의 그림은 선정된 모든 GCPs로부터 계산된 dra(range 방향 정합오차: 재배열된 영상에서 GCP의 range 좌표에서 기준영상의 range 좌표를 차분한 값), daz(azimuth 방향 정합오차: 재배열된 영상에서 GCP의 azimuth 좌표에서 기준영상의 azimuth 좌표를 차분한 값)를 도시한 것이고, 오른쪽 그림은 dra와 daz의 평균, 표준편차를 이용하여 95% 신뢰구간 이상의 높은 오차를 보이는 점들을 제거하고 남은 GCPs를 보여준다. 이 때 dra와 daz의 평균값을 제거하였다. 평균 dra와 daz는 기하정합 과정의 정합오차로 간주될 수 있으므로, 이를 반영하여 부영상을 다시 재배열하였다. GCPs를 이용한 추가 보정한 부영상과 주영상의 조합에서 계산된 FSIM 값은 남은 GCP를 이용하여 계산된 RMSE (정합오차)에 서의 추정 값으로 간주될 수 있다. 각 영상조합별로 선 정된 GCPs의 수, 초기 RMSE, 그리고 평균값을 이용한 모델링 후 계산된 RMSE 값은 Table 2에 정리되어 있다.

Fig. 6. Examples of scatter plot of range and azimuth offset computed from selected GCPs: (a) 2018/04/28-2018/04/24 pair, (b) 2018/04/08-2018/04/24 pair. Left plots in (a) and (b): before modeling, right plots: after modeling.

Table 2. Summary of co-registration error using geometric co-registration and GCPs

4) 토지피복 자료 처리

환경부에서 제공하는 1:5000 shape 파일 형태의 토지 피복도를 5 m 공간해상도의 레스터 영상으로 변환하였다. 레이더 좌표계의 SAR 영상을 이용하여 토지 피복 종류에 따른 FSIM값의 영향을 분석하기 위해, TM(Transverse Mercator) 좌표계의 토지피복도를 앞서 정합에 사용된 DEM를 이용하여 지오코딩하여 SAR 좌표계로 변환하였다. Fig. 7은 각각 2018/04/03과 2018/04/28 TSX 영상좌표계로 변환된 토지피복도를 TSX 영상에 중첩하여 도시한 것이다. 서로 다른 토지피복도간의 경계 부(도심지와 수계, 도심지와 초지 경계 등)가 SAR 영상에서 관찰되는 해당 경계 부분들과 잘 일치하고 있는 것을 확인할 수 있다.

Fig. 7. Examples of land cover map overlaid on TSX image.

5. SAR 영상조합 별 FSIM 특성

SAR 영상의 정합 오차에 따른 이론적 FSIM 값 변화를 살펴보기 위해, 단일 영상을 이용한 분석을 수행하였다. 단일 영상이 아닌 정합 과정을 거쳐서 재배열된 영상을 이용한 분석은, 기본적으로 정합과정에서 발생한 오정합에 의한 RMSE 값을 추가적으로 고려하여야 한다. 즉, 인위적인 영상 이동에 의한 오 정합 값에 각 영상조합의 RMSE 오차를 더한 것을 실제 각 실험에 부여된 오 정합 정도로 간주하여야 한다. 단일 영상 조합, InSAR (Interferometric SAR) 영상 조합, 그리고 관측 각 또는 관측 방향이 다른 조합으로부터 분석된 오정합에 따른 FSIM 값 변화는 다음과 같다.

1) 단일 영상 분석

2018/04/13 TSX 영상과 동일한 관측 조건에서 수집된 2018/04/24자료를 제외하고 나머지 4개의 TSX 자료를 이용하여 정합오차(1/16, 1/8, 1/4, 1/2, 1, 2, 4, 8, 16, 32, 그리고 64 화소)에 따른 FSIM 변화를 구한 결과는 Fig. 8과 같다. 서로 다른 촬영 관측각을 가지고 있지만, FSIM 변화 양상은 거의 동일하다. Azimuth 방향이 정합오차에 비해 range 방향의 정합오차에 다소 영향을 크게 받는 것은 SAR 영상의 특성상 range 방향에 수직인 azimuth 방향의 영상 경계가 강조되어 나타나기 때문이다. 약 Ra/Az 방향으로 8화소의 정합오차에서 0.72-0.73 정도의 값을 보이고 있다.

Fig. 8. FSIM index with respect to co-registration error using single TSX image.

2) InSARpair를 이용한 정합

동일 궤도 및 관측조건에서 수집된 자료 간의 정합은 비교적 높은 정밀도로 수행될 수 있다. 실제로 정합된 영상으로부터 추출된 GCPs를 이용하여 계산된 RMSE는 0.39화소이다(Table 2). 따라서, 단일 영상으로 구한 이론치와 비교적 근접한 값을 보이고 있다. 2018/04/13- 2018/04/24 InSAR 쌍의 FSIM값은 정밀 정합 후 약 0.88정도이며 이후 ra/az 방향으로 8 화소 정도 이동했을 때 0.71정도의 값으로, 단일 영상 결과값 0.72~0.73과 거의 동일하다. 단일 자료를 이용한 결과에 근접하나, 시간차에 의한 영상 변화에 따른 FSIM 값 저하가 추가적으로 영향을 줄 수 있다.

Fig. 9. FSIM index with respect to co-registration error using TSX image of InSAR pair.

3) 다양한 pair별 FSIM값 변화

Ascending 궤도에서 수집된 4개의 TSX 영상으로 구성된 5개의 조합자료를 분석에 사용하였다. 관측 각 차이가 작은 쌍은 2018/04/08-2018/04/03, 2018/04/08-2018/04/13, 2018/04/08-2018/04/24이며,관측각차이가 큰 쌍은 2018/04/03-2018/04/13, 2018/04/03-2018/04/24이다. 관측 각 차이가 작은 조합의 결과가 관측 각 차이가 큰 조합의 결과에 비해 같은 정합오차에서 더 높은 FSIM 값을 보이고 있다. 관측 각 차이가 클 때 대략 Ra/Az 방향 8화소의 정합오차에서 0.66~0.69 정도의 FSIM값을 보이고 있으며, 작은 관측 각 차이 조합에서는 약 0.65 정도의 FSIM 값을 보인다.

Descending 궤도에서 수집된 영상(2018/04/2)을 기준으로 ascending 궤도에서 수집된 자료를 사용하여 4개의 조합을 구성하였다. 다른 조건의 정합쌍들과 다르게 range 방향의 정합오차가 5~12 화소인 구간에서 FSIM 값은 낮아지지 않거나 오히려 상승하는 구간이 존재한다. 이는 서로 다른 관측방향으로 인해 레이오버 및 그림자가 발생하는 지역이 역전되어 나타나는 것으로 해석된다. 도심지의 빌딩구조물은 일련의 방향성을 가지고 배치되는 경우가 많다. 따라서, 오히려 range 방향으로 영상을 약간 이동시켰을 때 두 영상의 밝기 값의 패턴이 유사하게 보이기 때문에 정합이 더 잘 되는 것처럼 분석된 것으로 판단된다. Ra/Az 방향으로 대략적으로 8화소 정도의 정합오차가 있을 때 FSIM은 0.65~0.66정도 의 값을 보인다.

Fig. 10. FSIM index with respect to co-registration error using TSX images with different incidence angle at same orbit track.

Fig. 11. FSIM index with respect to co-registration error using TSX images acquired at different orbit track.

4) 토지피복 종류 별 FSIM특성 분석

토지피복별(도심, 농경지, 산림, 초지, 나대지) FSIM 값의 변화를 구분하여 볼 필요가 있다. 각 TSX영상 좌표계로 변환된 토지피복도 자료를 이용하여, 각 토지별로 FSIM 값을 따로 구하여 분석에 사용하였다. 모든 토지 피복 종류에서 정합오차에 따라 FSIM 값이 감소하는 경향을 보였다(Fig. 12). 산림과 경작지가 대체적으로 정합 오차에 따른 변화 정도가 작고, 도심지, 나대지, 초지에서 정합 오차가 커짐에 따라 빠르게 FSIM 값이 저하되는 것을 볼 수 있다. PC정보가 가중치로 적용되기 때문에 경계 또는 뚜렷한 산란점이 많은 도심지뿐만 아니라, 산림/식생 지역에서도 존재할 수 있는 경계에 의한 영향이 가중치로 적용되어 있다. 그럼에도 불구하고 FSIM 값 계산에 사용되는 경사도맵의 값이 높은 지점이 도심지에서 밀집되어 잘 나타나는 반면 산림지에서는 출현 빈도가 낮다. 도심지의 FSIM값이 정합오차에 가장 민감하게 반응하기 때문에, FSIM 값으로 영상정합 정도를 판별하기 위해서는 도심지역에서의 신호들만을 이용하는 것이 더 바람직하다는 것을 확인할 수 있다

Fig. 12. FSIM index with respect to co-registration error along Ra/Az direction depending on land cover type.

6. 토의 및 결론

영상 정합 결과에 대한 정량적 평가는 일반적으로 두 영상에서 동일 지점으로 판단되는 GCPs를 추출하고, 이들 값의 좌표오차로부터 계산된 RMSE가 널리 활용 되고 있다. 그러나 영상으로부터 GCPs 추출은 일반적으로 분석가에 의해 직접 추출되어야 하기 때문에 자동화하기 어렵다는 단점이 있다. GCPs에 의존하지 않고, 비록 개략적이더라도 영상 정합 정확도를 평가할 수 있는 방안에 대한 필요성이 있어왔다.

본 연구에서는 SAR 영상 정합의 정확도 평가지표로, 단일채널 영상의 품질 평가 알고리즘으로 개발된 FSIM 값을 적용하는 것에 대한 타당성 분석을 수행하였다. 영상정합 오차에 대한 FSIM 값의 민감도는 다운 샘플링 정도에 반비례하기 때문에 원 영상을 사용하는 것이 가장 적합하나, 연산시간을 고려하여 적절하게 선택 사용 될 수 있었다. SAR 영상 공간 해상도에 따른 FSIM 값 변화에 대한 영향은 미미하며, 특히 정합오차가 작은 구간에서는 공간 해상도 차이에 영향이 더욱 작았다. 따라서, 다양한 공간해상도의 SAR 영상 간에도 동일한 척도를 가지고 FSIM 값을 이용하여 정합오차를 판단할 수 있다. 단일 영상을 이용하여 정합 오차에 따른 FSIM 값 변화를 분석하였으며, 이 값을 기준으로 서로 다른 관측조건에서 수집된 영상 간의 정합 오차에 따른 FSIM 값 변화를 분석하였다. 정합에 사용된 두 자료 획득에 시간차가 있다면 이 기간동안 발생한 변화는 추가적인 FSIM 값 저하를 야기시킬 수 있다. 따라서, 분석에 사용된 SAR 영상 간의 광범위한 변화가 예상되는 경우 FSIM 값 적용은 제한적이다.

서로 다른 관측 각 또는 관측 방향 자료 조합에서, 대략 ra/az 방향 8화소의 정합오차에서 0.65~0.7 정도의 FSIM값을 보였다. 단일 영상 분석에서 8 화소 정합오차는 0.72-0.73 정도의 FSIM 값을 보이고 있으며, 0.7 정도이면 10 화소, 그리고 0.65이면 15 화소 정합오차에 해당한다. 따라서, 관측기하 차이에 의한 영향은 다소 발생하는 것으로 보인다. 토지피복별 분석 결과에서, 도심지역에서 정합오차에 따른 FSIM 값의 변화가 가장 뚜렷하게 나타났다. 따라서, FSIM 값을 이용하여 영상정합의 정확도를 판별하기 위해서는 도심지역에서 산출된 FSIM 값을 이용하는 것이 더 바람직하다.

결론적으로 FSIM 값은 SAR 영상 정합 정확도에 대한 정보를 충분히 반영하는 것으로 판단된다. 따라서, 두 SAR 영상 정합 후 기준영상과 정합을 통해 재배열된 영상으로부터 산출된 FSIM 값을 이용하여 영상정합 정확도를 개략적으로 파악하는데 충분히 활용될 수 있다. FSIM 지표를 계산하는 과정은 분석자의 개입이 전혀 필요 없는 컴퓨터의 연산 작업을 통해 진행될 수 있기 때문에, 분석자의 개입없이 빠른 시간내에 영상정합 정확도에 대한 판별이 필요한 분야에서 매우 유용하게 사용될 수 있을 것이다.

추후 관측 기하 차이에 의한 FSIM 값 영향의 실험적 모델링을 통해 상대적인 보정기법을 개발 적용하여, SAR 영상정합 정확도에 대한 객관적인 평가 지표로써의 성능을 개선할 필요가 있다.