DOI QR코드

DOI QR Code

Registration Method between High Resolution Optical and SAR Images

고해상도 광학영상과 SAR 영상 간 정합 기법

  • Jeon, Hyeongju (Department of Civil and Environmental Engineering, Seoul National University) ;
  • Kim, Yongil (Department of Civil and Environmental Engineering, Seoul National University)
  • 전형주 (서울대학교 건설환경공학부) ;
  • 김용일 (서울대학교 건설환경공학부)
  • Received : 2018.06.28
  • Accepted : 2018.08.14
  • Published : 2018.10.31

Abstract

Integration analysis of multi-sensor satellite images is becoming increasingly important. The first step in integration analysis is image registration between multi-sensor. SIFT (Scale Invariant Feature Transform) is a representative image registration method. However, optical image and SAR (Synthetic Aperture Radar) images are different from sensor attitude and radiation characteristics during acquisition, making it difficult to apply the conventional method, such as SIFT, because the radiometric characteristics between images are nonlinear. To overcome this limitation, we proposed a modified method that combines the SAR-SIFT method and shape descriptor vector DLSS(Dense Local Self-Similarity). We conducted an experiment using two pairs of Cosmo-SkyMed and KOMPSAT-2 images collected over Daejeon, Korea, an area with a high density of buildings. The proposed method extracted the correct matching points when compared to conventional methods, such as SIFT and SAR-SIFT. The method also gave quantitatively reasonable results for RMSE of 1.66m and 2.45m over the two pairs of images.

다중센서 위성영상 간 통합 분석 및 융합과 관련된 연구가 활발히 진행되고 있다. 이를 위해서는 다중센서 영상 간 정합이 선행되어야 한다. 대표적인 정합 기법으로는 SIFT (Scale Invariant Feature Transform)와 같은 알고리즘이 존재한다. 그러나, 광학영상과 SAR (Synthetic Aperture Radar)영상은 취득 시 센서 자세와 방사 특성의 상이함으로 영상 간 분광적인 특성이 비선형성을 이뤄 기존 기법을 적용하기에 어렵다. 이를 해결하기 위해, 본 연구에서는 특징기반 정합기법인 SAR-SIFT (Scale Invariant Feature Transform)와 형상 서술자 벡터 DLSS (Dense Local Self-Similarity)를 결합하여 개선된 영상 정합기법을 제안하였다. 본 실험 지역은 대전 일대에서 촬영된 KOMPSAT-2 영상과 Cosmo-SkyMed 영상을 이용하여 실험하였다. 제안 기법을 비교평가하기 위해 특징점 및 정합쌍 추출에 대해 대표적인 기존 기법인 SIFT와 SAR-SIFT를 이용하였다. 실험 결과를 통해 제안 기법은 기존 기법들과 다르게 두 실험 지역에서 참정합쌍을 추출하였다. 또한 추출된 정합쌍을 통한 정합 결과 정성적으로 우수하게 정합되었으며, 정량적으로도 두 실험 지역에서 각각 RMSE (Root Mean Square Error) 1.66 m, 2.65 m로 우수한 정합 결과를 보였다.

Keywords

1. 서론

최근 방대한 양의 다중센서 위성영상이 상용화되면서, 영상 간 통합 분석이 중요시되고 있다(Byun et al., 2013). 이에 따라 이와 관련된 연구들이 활발이 진행되고 있으며, 이를 위해서는 다중센서 영상 간 정합 연구가 필수적으로 이루어져야 한다. 특히, 광학영상과 SAR (Synthetic Aperture Radar)영상은 영상 취득 시 위성센서 자세 및 취급하는 파장대의 상이함으로 기하 및 방사 정보의 차이가 존재하여 정합이 유독 어렵다(Han, 2013). 이러한 차이는 기복 변위가 발생하는 건물이 밀집된 도심지역에서 부각되며, 중저해상도 영상보다 고해상도 영상에서 더욱 두드러지게 나타난다(Merkle et al., 2015). 그러므로, 도심지역에서 고해상도 광학영상과 SAR영상 간 정합에 대한 연구가 더욱 필요시 된다.

대표적인 정합기법으로는 SIFT(Scale Invariant Feature Transform)이 있다(Lowe, 1999). 이 기법은 축척, 회전, 그리고 이동에 강건한 기법으로 컴퓨터 비전 분야 외에도 광학 위성영상 정합에도 활발히 이용되고 있다(Mikolajczyk and Schmid, 2005). 그러나, SIFT는 정합쌍을 추출할 경우, 차분영상을 이용하므로 SAR영상에 적용 시 스페클 노이즈 부분이 특징점으로 오추출되는 문제점이 발생한다. Dellinger et al.(2012)은 이러한 문제를 해결하기 위해 SIFT를 개선한 SAR-SIFT를 제안하였다. Dellinger et al.(2015)은 이 기법을 사용하여 SAR영상에서 특징점이 잘 추출됨을 보였으며, Jung et al.(2016)은 SAR-SIFT를 광학영상과 SAR영상 정합에 적용 시 특징점들 분포가 유사하게 추출됨을 보였다.

SIFT 또는 SAR-SIFT와 같은 기존 정합기법들은 분광정보를 활용하여 서술자를 생성하고, 특징점들 간 서술자 유사도를 계산하여 정합쌍을 추출한다. 그러나, 영상 간 분광적인 특성이 비선형성을 이룰 경우, 기존 정합기법들은 정합쌍이 다수 오추출되는 문제점이 발생한다(Ye et al., 2015). 이런 문제점을 개선하기 위해, Ye et al.(2015) 그리고 Ye et al.(2017a)은 비선형성에 강인한 형상 서술자 벡터 DLSS (Dense Local Self-Similarity)를 제안하였다. 그러나, DLSS 기법을 사용할 경우, 동일 지역에 대하여 두 영상 간 위치 차이가 10화소 이상 발생 시 적용하기 어렵다는 한계점이 존재한다. 또한 일정 영역 내에서 정합지점을 탐색하므로 영역이 증가할수록 계산량이 급증하는 문제점을 지닌다.

본 연구에서는 SAR-SIFT와 DLSS를 결합하여 두 기법 간 장단점을 상호보완한 개선된 정합 기법을 제안하였다. 제안 기법의 우수성을 검증하기 위해, 대전 지역 일대에서 취득된 광학영상과 SAR영상으로 CosmoSkyMed 영상과 KOMPSAT-2 영상을 사용하여 실험을 수행하였다.실험 영상 내에서 생성된 정합쌍을 활용하여 영상 상호정합을 수행하였다. 실험 결과는 추출된 정합쌍을 사용하여 정합된 결과를 평가하였으며, 모자이크 영상과 RMSE (Root Mean Square Error)를 사용하여 정성적 그리고 정략적 평가를 수행하였다.

2. 연구 방법

1) 전처리 과정

광학영상과 SAR영상은 취급하는 파장대 및 취득 시 센서 자세의 상이함으로 방사 및 기하 특성 차이가 발생한다. 두 영상 간 정합을 효율적으로 수행하기 위해서는 이를 최소화시키는 전처리 과정이 필수적이다(Han, 2013). 전처리과정은 공간 해상도를 일치시키는 과정과 방사 정보를 유사하게 만드는 과정으로 구성된다. 우선, 두 영상 간 위치 정보 차이를 최소화시키기 위해 UTM좌표계로 통일하고 영상 정합을 효율적으로 수행하기 위해 공간해상도를 1 m로 일치시킨다. 공간해상도를 일치 시키더라도 두 영상 간 방사 정보의 차이가 크기 때문에 정합에 어려움이 존재한다. 따라서, 이를 최소화시키기 위해 다음과 같은 과정이 필요하다. 첫 번째 과정으로 SAR영상의 밝기값을 데시벨(dB) 단위로 변환시킨다. 이는, SAR영상의 값 범위가 광학영상에 비해 매우 크므로 줄여 주기 위함이며, SAR영상의 밝기값 분포를 광학영상의 밝기값 분포와 유사하게 만들기 위함이다(Pellizzeri et al., 2003). 두 번째 과정으로, SAR영상에 존재하는 스페클잡음의 영향을 줄이기 위해 enhanced Lee 필터를 SAR영상에 적용한다. 이는, 광학영상에는 미흡한 영향을 미치는 스페클잡음이 SAR영상에서는 영상 전반에 걸쳐 존재하여 영상 해석에 악영향을 미치므로 스페클잡음의 영향을 최소화 시켜주기 위함이다. 마지막으로, 두 영상 간 방사 범위를 일치시키기 위해 두 영상을 2% 선형 스트레칭을 수행한 후 8비트(0-255)영상으로 변환시킨다.

2) SAR-SIFT를 이용한 특징점 추출

SAR-SIFT는 SAR-Harris 행렬을 이용하여 특징점을 추출한다. SAR-Harris 행렬은 기존 Harris 행렬에서 사용하는 밝기 값(I)을 스페클 잡음의 영향을 줄이기 위해 GR(Gradient by Ratio)로 대체하여 변형한 행렬이다(식 (1)). GR은 ROEWA(Ratio of Exponentially Weighted Averages)를 통해 계산되며, 방향성에 따라 Gx,α과 Gy,α로 표현된다(Fig. 1)(Fjortoft et al., 1998). ROEWA는 RO(Ratio Of Average)의 개선된 형태로, ROA에 지수형 필터를 가중치로 적용한 기법이다. GR은 화소 (a, b)를 중심으로 x, y방향에 따라 식 (3)으로 계산된다.

\(C_{S H}(x, y, \alpha)=g_{\sqrt{2} \cdot\alpha}\left[\begin{array}{cc} \left(G_{x, a}\right)^{2} & \left(G_{x, a}\right)\left(G_{y, \alpha}\right) \\ \left(G_{x, \alpha}\right)\left(G_{y, a}\right) & \left(G_{y, a}\right)^{2} \end{array}\right]\)       (1)

\(\begin{array}{l} M_{1, \alpha}=\int_{(x, y) \in R+} I(a+x, b+y) \cdot e^{-\frac{|x|+|y|}{\alpha}} \\ M_{2, \alpha}=\int_{(x, y) \in R-} I(a+x, b+y) \cdot e^{-\frac{|x|+|y|}{\alpha}} \end{array}\)       (2)

\(G_{x \text { ory }}=\log \left(\frac{M_{1, \alpha}}{M_{2, \alpha}}\right)\)       (3)

여기서, CSH(x, y, α)는 SAR-Harris 행렬을 의미하며, M은 영상 내에서 영역을 나타낸다(Fig. 1). α는 가중치를 의미한다.

피규어1.JPG 이미지

Fig. 1. GR (Gradient by Ratio) for the direction (a) Gx,α, (b) Gy,α.

식 (3)을 통해 계산된 GR을 이용하여 SAR-Harris 행렬이 식 (1)과 같이 표현된다. 이를 이용하여 특징점 추출에 사용되는 응답함수 RSH (x, y, α)를 생성한다(식 (4)).

\(R_{S H}(x, y, \alpha)=\begin{aligned} \operatorname{det}\left(C_{S H}(x, y, \alpha)\right)-d \cdot \operatorname{tr}\left(C_{S H}(x, y, \alpha)\right)^{2} \end{aligned}\)       (4)

여기서, d는 임의 변수 값을 가리킨다. det(CSH (x, y, α))은 CSH(x, y, α)의 행렬식을 의미하며 tr(CSH (x, y, &apha;))은 CSH(x, y, α)의 대각원소 합을 의미한다. 각 점에서 RSH(x, y, α)을 계산하여 3×3 크기의 윈도우 안에서 지역적 극점이면서 특정 임계값보다 높은 지점을 특징점으로 추출한다. SAR-SIFT에서 사용하는 변수값은 Dellinger et al.(2015)가 제안하는 변수값으로 설정하여 실험을 수행하였다.

3) DLSS을 이용한 서술자 생성

DLSS는 형상 서술자 LSS(Local Self-Similarity)를 연결하여 만든 벡터이다. LSS는 국부영역에서 영상 내 중심 패치를 기준으로 주변 패치들과의 유사성을 통해 형상 정보를 표현한다(Ye and Shan, 2014). LSS가 생성되는 예는 Fig. 2와 같은 과정을 통해 생성된다(Ye et al., 2015).

피규어2.JPG 이미지

Fig. 2. An example of the LSS (Local Self-Similarity) descriptor generation. (a) local image region, (b) correlation surface (c) log-polar translated LSS descriptor (Ye et al., 2015).

우선, correlation surface 이 일정 영역 안에서 중심 지점 패치와 영역 안 모든 주변 지점 패치들과의 차이의 제곱 합으로 계산된다. 그 후, 는 기 밝기 값 편차와 허용가능한 노이즈 값으로 정규화되어 식 (5)로 표현된다.

\(S_{q}(x, y)=\exp \left(-\frac{\operatorname{SSD}_{q}(x, y)}{\max \left(\operatorname{var}_{\text {noise }}, \operatorname{var}_{\text {auto }}(q)\right)}\right)\)       (5)

여기서, SSDq는 (x, y)에서의 SSD(sum ofsquare difference) 값을 의미하고, varnoise는 허용가능한 잡음값을 의미하며, varauto는 중심 패치 q의 분산값을 나타낸다.

정규화된 SSDq(x, y)은 log-polar 좌표계로 변환되고 Fig. 2 (c)와 같이 10개 각과 3개 반경으로 분할된다. 각 분할된 부분에서 최대 값이 LSS 서술자를 구성하는데 사용되며, 구성 요소들은 밝기 값 편차에 불변하게 하기 위해 [0 1] 범위의 값으로 선형 스트레칭된다.

광학영상과 SAR영상은 국부적인 부분에서 형상이 다를 수 있으므로 LSS가 두 영상 간 정합에 유용한 정보를 제공하는데 한계점이 존재한다(Ye et al., 017b). 이러한 한계점을 해결하기 위해 LSS 값들을 벡터 형태로 연결한 DLSS를 통해 보다 넓은 지역에 대한 정보를 제공할 수 있다.

DLSS는 세 과정을 통해 생성된다(Fig. 3). 우선, 사용자가 지정한 template라는 일정 크기 영역으로 영상을 나눈다. 그 다음으로 template 영역에서 특정 크기를 갖는 “cell”로 나눈다. 마지막으로 template 안에서 cell의 일정 간격 부분에 해당하는 LSS 값들을 벡터로 연결하여 DLSS를 생성한다. 본 연구에서는 template 크기로 120을 설정하였으며, cell 크기는 77화소 크기로 설정하였다.

피규어3.JPG 이미지

Fig. 3. Main processing chain for extracting the DLSS descriptor (Ye et al., 2017b).

4) 제안된 정합쌍 추출방법

기존 연구에서는 정합쌍을 추출하는 과정은 크게 세 과정으로 이루어진다. 첫째, 기준 영상이 되는 광학영상에서 특징점을 추출한다. 둘째, 추출된 특징점에서 DLSS 값을 계산한다. 마지막으로, 광학영상에서 추출된 특징점들의 좌표를 기준으로 x, y축 방향으로 10화소 영역을 SAR영상에 설정하고, 그 영역 안에 있는 모든 화소들과 DLSS 간 상관관계를 계산하여 최대값을갖는 지점을 정합지점으로 추출한다. 기존 방법은 광학 영상의 특징점과 영역 내 모든 화소들과 비교하므로 계산량이 많다는 단점이 있으며, 정합지점을 찾는 영역이 x, y축 방향으로 10화소로 국한되어 있다는 한계점이 존재한다. 광학영상과 SAR영상은 좌표계를 일치시키더라도 수십 m이상 차이가 발생하므로 1 m급 고해상도 위성영상 간 정합 시 수십 화소이상의 위치 차이가 발생하게 된다. 따라서 1 m급 고해상도 위성영상 간 정합에 기존 기법을 적하는데 어려움이 존재한다.

본 연구에서는 이러한 한계점들을 개선하기 위해 다음과 같은 과정을 통해 정합쌍 추출 기법을 제안하였다. 우선, 광학영상에서만 특징점을 추출하는 기존 기법과 다르게 SAR-SIFT를 이용하여 광학영상과 SAR영상 모두에서 각각 특징점을 추출한다. 각 영상에서 추출된 특징점에서는 DLSS를 계산한다.

그 후, 광학영상에서 추출된 특징점을 기준으로 x, y축 방향으로 탐색 영역 안에 있는 SAR영상에서의 추출된 특징점들과의 DLSS 간 상관관계를 측정한다. 본 연구에서 탐색 영역을 최대 130화소까지 확장하여 실험하였다. 측정된 상관관계 값이 특정 임계치를 넘으면서 최대값을 갖는 특징점들을 정합쌍으로 추출한다. 그러나 x, y축 방향으로 130화소에 해당하는 확장된 영역에서 정합쌍을 추출하여 오정합쌍이 다수 추출된다. 또한 동일 지역에서 특징점들이 두 영상에서 추출되지 않을 가능성이 존재하므로, 오정합쌍이 추출되는 문제점이 발생한다.

이를 해결하기 위해, 참정합쌍을 이루는 특징점 간 x, y 변위량은 유사하다는 점을이용하여 후보 정합쌍을 추출하였다(Kupfer et al., 2015; Ma et al., 2017). 추출된 정합쌍들의 x, y좌표 차를 2차원 그래프에 표현하였을 때, 참정합쌍을 이루는 특징점 간 변위량이 유사하므로 참정합쌍들이 그래프의 특정 영역 내에 밀집해 있을 것으로 가정한다. 이를 이용하여 정합쌍들 간 x, y좌표 차를 2차원 그래프에 표시하고 20×20영역 내에 가장 많은 점들이 분포하는 부분을 선정하여 그 영역에 해당하는 정합쌍들을 참정합쌍으로 간주한다. 이 과정에서 2020영역이라는 허용치를 부여했으므로, 보다 정밀한 정합쌍을 추출하기 위해 RANSAC(RANdom SampleConsensus) 기법을 적용한다(Kim and Im, 2003). 마지막으로, 추출된 정합쌍을 이용하여 SAR영상을 광학영상에 어핀변환식을 적용하여 정합을 수행한다.

3. 결과

1) 실험 지역 및 자료

본 연구에서는 고해상도 광학 및 SAR영상 간 정합을 수행하기 위해서 대전 지역 일대를 실험 지역으로 선정하였고, 광학영상과 SAR영상으로는 각각 1 m 공간해상도를 지니는 KOMPSAT-2 영상과 1 m 공간해상도를 가지는 Cosmo-SkyMed 영상이 사용되었다. KOMPSAT-2 영상은 16.82의 촬영각을 갖으며, 방사 범위가 10 비트(bit)이며, 2009년 4월 12일에 촬영되었다. Cosmo-SkyMed 영상은 평균 입사각 (Incidence angle) 29.23를 지니며, HH 편파로 위성진행방향은 ascending으로 2009년 7월 23일에 촬영되었다.

실험 대상지역은 대전의 두 지역을 선정하였고, 각 지역은 600×600화소의 크기로 Cosmo-SkyMed 영상과 KOMPSAT-2 영상의 중복되는 영역으로 구성하였다(Fig. 4). 첫 번째 실험 지역은 실험 지역 1로 도로와 건물 밀집된 지역으로 선정하였으며, 두 번째 실험 지역은 실험 지역 2로 도로, 건물, 식생 등 다양한 토지피복으로 구성된 지역으로 선정하였다. 영상 정합을 효율적으로 수행하기 위해, 전처리 과정을 통해 두 영상 모두 WGS84 타원체의 UTM 52N 좌표계로 통일시키고 공간 해상도를 1 m로 일치시켰다. 전처리 과정을 거쳤음에도 Fig. 4를 통해 광학영상과 SAR영상이 동일 지역에 대한 위치 차이가 크게 존재함을 확인할 수 있다.

피규어4.JPG 이미지

Fig. 4. Study area (a), (b): study area 1; (c), (d): study area 2.

2) 결과 및 토의

본 연구에서는 제안 기법을 비교평가하기 대표적인 기존 기법인 SIFT와 SAR-SIFT를 사용하였다. 특징점 추출을 위해 제안한 방법론에서는 SIFT는 SAR영상에서 스페클 잡음을 특징점으로 오추출하므로 SAR-SIFT를 사용하였다. Fig. 5(b)와 (d)를 보면 알 수 있듯이, 실험 지역 1, 2 모두에서 SIFT를 사하였을 때 스페클 잡음이 특징점으로 추출됨을 확인할 수 있다. 그에 비해 SAR-SIFT를 적용하였을 때에는 SAR영상에서 스페클 잡음이 특징점으로 오추출되지 않고 엣지 부분에서 특징점이 올바르게 추출되며, 광학영상과 SAR영상에서 특징점의 분포가 상당히 유사함을 Fig. 5(a)와 (c)를 통해 확인할 수 있다.

피규어5.JPG 이미지

Fig. 5. Results of feature extraction using (a), (c): SAR-SIFT and (b), (d): SIFT.

다수의 특징점이 오추출될 시 두 영상 간 공통된 특징점이 추출되어도, 오정합쌍이 다수 추출될 수 있다. 또한, 제안 기법을 적용하는데 계산량 또한 급증하는 단점을 유발한다. 따라서, SIFT를 통해 광학영상과 SAR영상 간 특징점을 추출하는 것은 적합하지 않으며, SARSIFT를 통해 특징점 추출하는 것이 보다 적합하다.

Fig. 6는 제안 기법, SAR-SIFT, 그리고 SIFT를 사용하여 두 실험 지역에서 각각 정합쌍을 추출한 결과를 보여준다. 기존 기법들은 참정합쌍 1쌍, 오정합쌍은 2쌍씩 총정합쌍 3쌍씩 추출하였다(Fig. 6(b)와 (c)). 이는 기존 기법들을 통해 광학영상과 SAR영상에서 정합쌍을 추출하기 어렵다는 것을 보여준다. 이에 비해, 제안 기법은 실험 지역 1, 2에서 각각 10, 11쌍의 참정합쌍을 추출함을 확인할 수 있다(Fig. 6(a)). 이는 제안 기법은 기존 기법들과 다르게 두 영상 간 분광적인 특성이 비선형성을 이룰 시에도 정합쌍을 유의미하게 추출함을 보여준다.

피규어6.JPG 이미지

Fig. 6. Matching points extraction by (a) the proposed method (b) SAR-SIFT, and (c) SIFT (Left: study area 1, Right: study area 2).

추출된 정합쌍을 기준으로 어핀변환을 적용하여 SAR영상을 광학영상에 정합하였다. 정합된 SAR영상과 광학영상을 이용하여 모자이크영상을 생성한 결과는 Fig. 7과 같다. 정성적인 평가를 위해 광학영상은 빨간색 격자로, 정합된 SAR영상은 회색 격자로 반복적으로 표현하였다. 두 영상의 격자 간 경계를 통해 정합 결과를 정성적으로 판단할 수 있다. 실험 지역 1에서 기복 변위가 발생하지 않는 도로지역과 같은 선형 특징이나 객체 특징이 자연스럽게 표현되는 것을 Fig. 7(a)에서 볼 수 있다. Fig. 7(b)에서는 실험 지역 2에서 도로와 같은 선형 특징 외에도 원형 객체에서도 자연스럽게 표현됨을 보여준다. 본 실험 결과를 통해 제안 기법 적용 시 건물이 밀집된 도심지역과 다양한 토지피복을 갖는 도심지역에서 1 m급 고해상도 광학영상과 SAR영상 간 정합이 제대로 이루어짐을 확인할 수 있다.

피규어7.JPG 이미지

Fig. 7. Mosaic images (a) study area 1, (b) study area 2.

정략적인 평가를 위해 제안 기법을 통해 정합된 SAR 영상과 기준이 되는 광학영상에서 GCP(Ground Control Point)점을 찍어 RMSE를 계산하였다. 실험 지역 1, 2에서 각각 2.65 m, 1.66 m로 높은 정확도를 보였다. 상대적으로 실험 지역 2에 비해 실험 지역 1에서 정확도가 낮게 측정되었으나, 이는 실험 지역 1이 건물이 밀집된 지역이기에 기복변위 차이로 인해 참정합쌍을 추출하여도 정합에 악영향을 미쳤을 것으로 판단된다.

4. 결론 및 요약

본 연구에서는 특징기반 정합기법인 SAR-SIFT와 형상 서술자 벡터 DLSS를 결합하여 광학영상과 SAR 영상 간 정합을 수행하였다. SAR-SIFT를 통해 두 영상에서 각각 특징점을 추출하고, 추출된 특징점들 간 DLSS를 계산하여 본 연구에서 제안하는 기법을 통해 정합쌍을 추출하였다. 건물이 포함된 대전 지역 일대에서 촬영된 KOMPSAT-2 영상과 Cosmo-SkyMed 영상을 활용하여 실험을 수행하였다. 실험 결과, 기존 기법들에 비해 정합쌍을 유의미하게 추출하였으며, 추출된 정합쌍을 통한 정합 결과 또한 정성적으로 우수한 정합 결과를 보였다. 뿐만 아니라, 두 실험 지역에서 각각 RMSE 2.65m, 1.66 m로 정략적으로 우수한 실험 결과를 보였다. 본 실험 결과를 통해 제안 기법이 기존 특징기반 및 강도기반 정합기법의 각 단점들을 상호보완함을 보여줬으며, 광학영상과 SAR영상이 분광 비선형성을 이룰 시에도 적용이 가능함을 보였다. 더 나아가, 1 m급 고해상도 광학영상과 SAR영상의 위치 차이가 100화소 이상 발생하였을 경우에도 적용가능하며, 복잡한 시가지에서도 영상정합이 가능하다는 의의를 보인다. 추후 다른 고해상도 영상들을 통해 제안 기법을 적용하여 추가적인 정량적 평가를 진행할 계획이다.

사사

본 논문은 국방광역감시 특화연구센터 프로그램의 일환으로 방사업청과 국방과학연구소의 지원으로 수행되었습니다.

References

  1. Brown, L. G., 1992. A survey of image registration techniques, ACM Computing Surveys, 24(4): 325-376. https://doi.org/10.1145/146370.146374
  2. Byun, Y., J. Choi, and Y. Han, 2013. An area-based image fusion scheme for the integration of SAR and optical satellite imagery, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 6(5): 2212-2220. https://doi.org/10.1109/JSTARS.2013.2272773
  3. Dellinger, F., J. Delon, Y. Gousseau, J. Michel, and F. Tupin, 2012. SAR-SIFT: A SIFT-like algorithm for applications on SAR images, Proc. of 2012 International Geoscience and Remote Sensing Symposium, Munich, Germany, Jul. 22-27, pp. 3478-3481.
  4. Dellinger, F., J. Delon, Y. Gousseau, J. Michel, and F. Tupin, 2015. SAR-SIFT: a SIFT-like algorithm for SAR images, IEEE Transactions on Geoscience and Remote Sensing, 53(1): 453-466. https://doi.org/10.1109/TGRS.2014.2323552
  5. Deutsches Zentrum fur Luft- und Raumfahrt e.V(DLR), 2008. TerraSAR-X ground segment basic product specification document, Cluster Applied Remote Sensing (CAF) Oberpfaffenhofen, Germany.
  6. Fjortoft, R., A. Lopes, P. Marthon, and E. Cubero-Castan, 1998. An optimal multiedge detector for SAR image segmentation, IEEE Transactions on Geoscience and Remote Sensing, 36(3): 793-802. https://doi.org/10.1109/36.673672
  7. Han, Y. K., 2013. Automatic image-to-image registration between high-resolution multisensor satellite data in urban areas, Doctor's Thesis, Seoul National University, Seoul, Korea.
  8. Han, Y. K. and J. W. Choi, 2015. Matching points extraction between optical and TIR images by using SURF and local phase correlation, Journal of the Korean Society for Geo-spatial Information Science, 23(1): 81-88. https://doi.org/10.7319/kogsis.2015.23.1.081
  9. Jung, M. Y., H. J. Jeon, and Y. I. Kim, 2016. Feature extraction from SAR and optic image using SAR-SIFT for image registration, Proc. of the 2016 KSRS Fall Conference, Chungju, Korea, Nov. 3-4, vol. 19, pp. 41-44.
  10. Kim, T. and Y. J. Im, 2003. Automatic satellite image registration by combination of matching and random sample consensus, IEEE Transactions on Geoscience and Remote Sensing, 41(5): 1111-1117. https://doi.org/10.1109/TGRS.2003.811994
  11. Kupfer, B., N. S. Netanyahu, and I. Shimshoni, 2015. An efficient SIFT-based mode-seeking algorithm for sub-pixel registration of remotely sensed images, IEEE Geoscience and Remote Sensing Letters, 12(2): 379-383. https://doi.org/10.1109/LGRS.2014.2343471
  12. Liu, J. Z. and X. C. Yu, 2008. Research on SAR image matching technology based on SIFT, Proc. of 2008 the International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Beijing, China, Jul. 3-11, vol. 37, pp. 403-408.
  13. Lowe, D. G., 1999. Object recognition from local scale-invariant features, Proc. of 1999 the Seventh IEEE International Conference on Computer Vision, Kerkyra, Greece, Sep. 20-27, vol. 2, pp. 1150-1157.
  14. Ma, W., Z. Wen, Y. Wu, L. Jiao, M. Gong, Y. Zheng, and L. Liu, 2017. Remote sensing image registration with modified sift and enhanced feature matching, IEEE Geoscience and Remote Sensing Letters, 14(1): 3-7. https://doi.org/10.1109/LGRS.2016.2600858
  15. Mikolajczyk, K. and C. Schmid, 2005. A performance evaluation of local descriptors, IEEE transactions on pattern analysis and machine intelligence, 27(10): 1615-1630. https://doi.org/10.1109/TPAMI.2005.188
  16. Merkle, N., R. Müller, P. Schwind, G. Palubinskas, and P. Reinartz, 2015. A new approach for optical and SAR satellite image registration, Proc. of 2015 ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Munich, Germany, Mar. 25-27, vol. 2, pp. 119.
  17. Pellizzeri, T. M., P. Gamba, P. Lombardo, and F. Dell'Acqua, 2003. Multitemporal/multiband SAR classification of urban areas using spatial analysis: Statistical versus neural kernel-based approach, IEEE Transactions on Geoscience and Remote Sensing, 41(10): 2338-2353. https://doi.org/10.1109/TGRS.2003.818762
  18. Suri, S. and P. Reinartz, 2010. Mutual-information-based registration of TerraSAR-X and Ikonos imagery in urban areas, IEEE Transactions on Geoscience and Remote Sensing, 48(2): 939-949. https://doi.org/10.1109/TGRS.2009.2034842
  19. Ye, Y. and J. Shan, 2014. A local descriptor based registration method for multispectral remote sensing images with non-linear intensity differences, ISPRS Journal of Photogrammetry and Remote Sensing, 90: 83-95. https://doi.org/10.1016/j.isprsjprs.2014.01.009
  20. Ye, Y. and L. Shen, 2016. HOPC: A novel similarity metric based on geometric structural properties for multi-modal remote sensing image matching, Proc. of 2016 ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Prague, Czech, Jul. 12-19, vol. 3-1, pp. 9-16.
  21. Ye, Y., J. Shan, L. Bruzzone, and L. Shen, 2017a. Robust registration of multimodal remote sensing images based on structural similarity, IEEE Transactions on Geoscience and Remote Sensing, 55(5): 2941-2958. https://doi.org/10.1109/TGRS.2017.2656380
  22. Ye, Y., L. Shen, J. Wang, Z. Li, and Z. Xu, 2015. Automatic matching of optical and SAR imagery through shape property, Proc. of 2015 IEEE International Geoscience and Remote Sensing Symposium, Milan, Italy, Jul. 26-31, pp. 1072-1075.
  23. Ye, Y., L. Shen, M. Hao, J. Wang, and Z. Xu, 2017b. Robust optical-to-SAR image matching based on shape properties, IEEE Geoscience and Remote Sensing Letters, 14(4): 564-568. https://doi.org/10.1109/LGRS.2017.2660067
  24. Zitova, B. and J. Flusser, 2003. Image registration methods: a survey, Image and Vision Computing, 21(11): 977-1000. https://doi.org/10.1016/S0262-8856(03)00137-9