Iterative Precision Geometric Correction for High-Resolution Satellite Images

고해상도 위성영상의 반복 정밀 기하보정

Abstract

Recently, the use of high-resolution satellites is increasing in many areas. In order to supply useful satellite images stably, it is necessary to establish automatic precision geometric correction technic. Geometric correction is the process that corrected geometric errors of satellite imagery based on the GCP (Ground Control Point), which is correspondence point between accurate ground coordinates and image coordinates. Therefore, in the automatic geometric correction process, it is the key to acquire high-quality GCPs automatically. In this paper, we proposed iterative precision geometry correction method. we constructed an image pyramid and repeatedly performed GCP chip matching, outlier detection, and precision sensor modeling in each layer of the image pyramid. Through this method, we were able to acquire high-quality GCPs automatically. we then improved the performance of geometric correction of high-resolution satellite images. To analyze the performance of the proposed method, we used KOMPSAT-3 and 3A Level 1R 8 scenes. As a result of the experiment, the proposed method showed the geometric correction accuracy of 1.5 pixels on average and a maximum of 2 pixels.

최근 많은 영역에서 고해상도 인공위성의 활용이 증가하고 있다. 안정적으로 유용한 위성영상을 공급하기 위해서는 자동 정밀 기하보정 기술이 필요하다. 일반적으로 위성영상의 기하보정은 정확한 지상좌표와 영상좌표와의 대응점으로 설정된 지상기준점을 이용하여 기하학적인 왜곡을 보정한다. 따라서 자동으로 정밀 기하보정을 수행하기 위해서는 높은 품질의 지상기준점을 자동으로 획득하는 것이 핵심이다. 본 논문에서는 처리할 고해상도 위성영상과 지상기준점 칩의 영상 피라미드를 구축하고 영상 피라미드의 각 층에서 위성영상과 지상기준점 칩 간 영상정합, 오정합점 탐지, 정밀 센서모델링을 반복적으로 수행하는 반복 정밀 기하보정 방안을 제시하였다. 해당 알고리즘을 통해 자동으로 높은 품질의 지상 기준점을 자동으로 획득하고 이를 바탕으로 고해상도 위성영상의 기하보정 성능을 향상시키고자 하였다. 제안한 알고리즘의 성능을 분석하기 위해 KOMPSAT-3 및 3A Level 1R 영상 8 Scene을 사용하였으며, 수동으로 추출한 검사점을 이용하여 정확도 분석을 수행한 결과 평균 1.5 pixel, 최대 2 pixel의 정확도의 기하보정 성능을 확인할 수 있었다.

1. 서론

지난 수십 년 동안 위성기술의 발전을 통해 많은 분야에서 위성영상의 활용이 증가하고 있다. 특히 위성영상의 공간해상도는 1972년 Landsat Multi-Spectral Scanner (MSS)의 80 m에서 2014년의 WorldView-3의 0.31 m에 이르기까지 약 250배 향상되었다(Kang and Lim, 2015). 위성의 공간해상도가 높아짐에 따라, 지도제작, 변화탐지에서부터 재해·재난 분석과 같은 각종 주제도 및 공간 정보 시스템 구축에 이르기까지 다양한 분야에서 그 활용도가 증가하고 있다(Lee et al., 2017). 우리나라는 고해상도 위성영상의 공급 및 활용을 증진시키기 위해 다목적 실용위성 시리즈 및 차세대 중형위성 시리즈의 꾸준한 개발을 추진하고 있다(Kang and Lim, 2015; Hwang et al., 2016).

고해상도 위성영상의 활용을 증가시키기 위해서는 먼저 위성영상의 기하학적 왜곡을 자동으로 보정하는 자동 기하보정 알고리즘 수립이 반드시 필요하다. 일반적으로 기하보정 과정은 크게 초기 센서모델링, 지상기준점 획득, 정밀 센서모델링의 3단계로 수행된다. 먼저 초기 센서모델링 과정에서는 위성에서 제공하는 위성 탑재체의 궤도 및 자세정보 등을 활용하여 위성영상 좌표계와 지상 좌표계간의 관계를 수립한다. 이때 사용되는 위성 탑재체의 궤도 및 자세정보 등에는 필연적으로 오차가 존재함으로 수립된 초기 센서모델은 많은 위치 오차를 포함하게 된다. 해당 오차를 보정하기 위해 위성영상에서 정확한 지상좌표를 알고 있는 지상기준점을 획득한다. 이후 획득한 지상기준점을 이용하여 초기 센서모델의 오차를 보정하는 정밀 센서모델링을 수행하고 기하보정을 완료한다. 일련의 과정에서 영상의 기하학적 왜곡은 지상기준점을 기준으로 보정되므로, 높은 정확도의 자동 기하보정을 수행하기 위해서는 무엇보다 획득된 지상기준점의 품질이 중요하다.

영상의 기하보정을 수행할 때마다, 매번 지상기준점을 수동으로 취득할 경우 시간적, 경제적 비용이 지나치게 많이 소요된다. 이를 보완하기 위해 많은 선행연 구에서는 위성영상과 정밀한 지상좌표 정보를 가지고 있는 지상기준점 칩을 구축하고, 칩과 입력영상간 정합을 통해 자동 지상기준점 추출 기술 개발을 활발히 수행해왔다. Kim and Dowman (2006)은 pushbroom 위성 영상의 센서모델링 방식으로 위치–회전각 모델과 궤 도–자세각 모델을 제시하고 두 센서모델의 성능을 비교하였다. Kim et al. (2007)은 정지궤도 기상위성의 자동 기 하보정 방안을 제안하였으며, 이를 위해 해안선 데이터 베이스를 활용하여 지상기준점 칩을 제작하고 자동 지상기준점 획득 및 정밀 센서모델링 기술을 개발하였다. Gianinetto and Scaioni (2008)는 항공정사영상을 이용한 QuickBird, SPOT-5, Ikonos 영상의 자동 기하보정기술을 제안하였다. Yoon (2019)은 고해상도 국토관측위성 의 자동 지상기준점 칩 정합 기술 개발을 수행하였다. 이를 위해 한반도 지역에 대해 지상기준점 칩을 구축하고 지상기준점 칩의 사양 및 영상 정합 기법에 따른 정합 성능을 분석하였다.

Kim et al. (2020)은 획득한 지상기준점 수가 부족할 때, 최소 지상기준점 수를 이용하여 RFM기반 기하보정 방안을 제안하였다.

본 논문에서는 지상기준점 칩 기반의 기하보정 기법 을 수행한다. 제안하는 기법은 영상 피라미드를 제작하고 지상기준점 정합 및 정밀 센서모델링을 반복적으로 수행하여 지상기준점의 품질을 향상시키는 방법이며, 이를 통해 최종적으로 고해상도 위성영상의 기하보정 성능의 향상을 시도했다.

2. 반복 정밀 기하보정 알고리즘

자동 지상기준점 획득을 위해 수행된 많은 영상정합 및 오정합점 탐지 연구에서는 성능 향상을 위해 초기 센서모델을 활용하고 있다(Kim et al., 2018; Kim et al., 2007; Son et al., 2019). 이 때 초기 센서모델은 모델 수립에 사용된 센서정보의 오차로 인해 활용에 제한이 있다. 따라서 본 논문에서는 영상 피라미드를 제작하고 영상 피라미드의 각 층에서 기하보정을 수행하여 상위층에서 획득한 센서모델을 다음 단계에서 활용하고자 하였다. 이를 통해 점진적으로 지상기준점의 품질을 향상시키고, 최종적으로 높은 성능의 센서모델을 획득하고자 하였다. 제안하는 알고리즘의 전반적인 흐름은 Fig. 1과 같다.

Fig. 1. Iterative geometric correction overall process.

먼저 초기 센서모델링을 수행하고 위성영상에 해당하는 지상기준점 칩을 입력한다. 이후 위성영상 및 지 상기준점 칩의 영상 피라미드를 구축한다. 이후 영상 피라미드의 각 층에서 검색영역 설정, 지상기준점 칩 기 하변환, 영역 기반 영상정합, 오정합점 탐지, 정밀 센서 모델링을 수행한다. 이 때 검색영역 설정, 지상기준점 칩 기하변환 과정은 센서모델을 기반으로 수행되는데, 영상 피라미드의 최상층에서는 초기 센서모델을 사용하고 그 외의 층에서는 상위층의 정밀 센서모델링 결과 수립된 센서모델을 사용한다. 따라서 센서모델이 점진적으로 개선되고 그에 따라 지상기준점의 품질 또한 점진적으로 개선되도록 하였다. 최종적으로는 지상기준 점의 품질이 향상됨에 따라 기하보정의 성능을 향상시키고자 하였다.

1) Rational Function Model

센서모델이란 촬영 당시의 영상 좌표계 또는 센서 좌표계와 지상 좌표계간의 기하학적 관계를 말한다. 센서모델은 크게 위성과 센서에 대한 상세한 정보를 요구하는 물리적 모델(Physical Model), 위성 및 센서의 상세 정보 없이 단순화된 모델을 기반으로 구축되는 추상적 모델(Abstract Model), 영상좌표와 지상좌표의 관계를 수학적으로 모델링하는 일반화 모델(Generalized Model)로 구분된다(McGlone, 1996; Kim et al., 2000). 정밀한 위성 및 센서의 물리적 정보를 알고 있는 경우에는 물리적 모델이 높은 성능을 제공하지만, 해당 정보들을 획득하지 못할 경우에는 모델링 수행이 어렵다는 단점이 존재한다. 또한 모델링에 활용한 위성 및 센서 정보가 불확실한 경우 오히려 다른 모델에 비해 낮은 성능을 가질 수 있다(Kim et al., 2000; Grodecki and Dial, 2003). 추상적 모델은 위성 및 센서의 매우 상세한 정보를 미리 확보되어 있지 못할 경우에 보다 단순화된 모델을 세워 쉽게 센서 모델을 수립하기 위해 제안되었다(Kim et al., 2000; Grodecki and Dial, 2003). 물리적 모델에 비해 많이 단순화되었지만 여전히 센서의 내부 파라미터 정보가 요구된다. 따라서 본 논문에서는 일반화 모델 중 Rational Function Model(RFM)을 이용하여 기하보정을 수행하였다. RFM은 투영 방정식과 매우 유사하여 좌표 계에 유연하며 실시간 구현에 용이하다는 장점을 가지고 있다(Tao and Hu, 2001). 영상좌표(x, y)와 지상좌표 (X, Y, Z)의 RFM 기본식은 아래와 같이 다항식 비례 모델로 분자, 분모가 고차 함수의 다 항식(PA, PB, PC, PD)으 로 구성되어 있다.

\(x_{n}=\frac{P_{1}\left(x_{n}, y_{n}, Z_{n}\right)}{P_{2}\left(x_{n}, y_{n}, Z_{n}\right)}=\frac{\sum_{i=0}^{I_{A}} \sum_{j=0}^{J_{A}} \sum_{k=0}^{K_{A}} a_{i j k} X_{n}^{i} Y_{n}^{j} Z_{n}^{k}}{\sum_{i=0}^{I_{B}} \sum_{j=0}^{J_{B}} \sum_{k=0}^{K_{B}} b_{i j k} X_{n}^{i} Y_{n}^{j} Z_{n}^{k}}\)        (1)

\(y_{n}=\frac{P_{3}\left(x_{n}, y_{n}, Z_{n}\right)}{P_{4}\left(x_{n}, y_{n}, Z_{n}\right)}=\frac{\sum_{i=0}^{I_{c}} \sum_{j=0}^{J_{c}} \sum_{k=0}^{K_{C}} a_{i j k} X_{n}^{i} Y_{n}^{j} Z_{n}^{k}}{\sum_{i=0}^{I_{D}} \sum_{j=0}^{J_{D}} \sum_{k=0}^{K_{0}} b_{i j k} X_{n}^{i} Y_{n}^{j} Z_{n}^{k}}\)        (2)

\(\begin{aligned} P_{1}\left(x_{n}, y_{n}, Z_{n}\right)=& a_{0}+a_{1} X+a_{2} Y+a_{3} Z+a_{4} X Y \\ &+a_{5} X Z+a_{6} Y Z+a_{7} X^{2}+a_{8} Y^{2} \\ &+a_{9} Z^{2}+a_{10} X Y Z+a_{11} X^{2} Y \\ &+a_{12} X^{2} Z+a_{13} Y^{2} X+a_{14} Y^{2} Z \\ &+a_{15} Z^{2} X+a_{16} Z^{2} Y+a_{17} X^{3} \\ &+a_{18} Y^{3}+a_{19} Z^{3} \\ &(0 \leq(i+j+k) \leq 3,0 \leq i, j, k \leq 3) \end{aligned}\)        (3)

RFM은 각 분자, 분모의 다항식에서 20개(a0~a19)씩, 총 80개의 계수를 가지고 있으며 이를 Rational Polynomial Coefficient(RPC)라고 명명한다. RPC를 직접 보정하기 위해서는 최소 39점의 지상기준점이 필요하다. 일반적으로 고해상도 위성영상 한 Scene에서 많은 지상기준점을 획득하기 어렵기 때문에, 초기 RFM에 다항식으로 구성된 보정 모델을 더하여 편위 수정을 먼저 수행한다. RFM 편위 수정 모델은 각 축 방향의 이동량(offset)만을 보정하는 2계수 모델에서부터 비선형 모델까지 다양하지만 본 논문에서는 많은 선행 연구에서 사용된 Affine 모델 기반의 1차 다항식 모델을 사용하였다(Teo, 2011; jeong and Kim, 2014; Erdenebaatar et al., 2017, Yoon and Kim, 2018).

\(\begin{aligned} &\Delta x=a_{0}+a_{x} \cdot x_{k}+a_{y} \cdot y_{k} \\ &\Delta y=b_{0}+b_{x} \cdot x_{k}+b_{y} \cdot y_{k} \end{aligned}\)

2) 지상기준점 칩

지상기준점 칩은 자동으로 지상기준점을 취득하기 위해 사용되는 자료로서, Fig. 2와 같이 영상정합을 위한 정사영상 조각과 정사영상 조각 중심점의 정확한 지 상좌표(X, Y, H) 정보로 구성된다. 위성영상과 지상기준 점 칩간 영상정합을 통해 지상기준점 칩 중심점에 대응 하는 위성영상 좌표(line, sample)를 획득하고 이를 통해 정확한 지상좌표(X, Y, H)와 영상좌표(line, sample)와의 대응점으로 설정된 지상기준점을 획득할 수 있다.

Fig. 2. Ground Control Point Chip.

3) 영상 피라미드

영상 피라미드(image pyramid)란 영상을 여러 스케일에 걸쳐 분석하기 위해 원본 영상의 해상도를 단계적으로 변화시켜 생성한 이미지 집합이다(Lindeberg, 1994). 영상 피라미드를 활용하여 영상정합을 수행할 경우, 상 위층의 정합 결과를 기준으로 하위층의 정합 검색영역을 줄여 나감으로써 영상정합의 정확도 및 처리시간을 향상시킬 수 있다(Yoon, 2019; Son et al., 2019). 하지만 상위층의 정합결과가 부정확한 경우, 이를 기준으로 수행되는 모든 하위층의 정합결과 역시 부정확할 확률이 높다. 또한 상위층의 오정합을 고려할 경우 하위층에서 검색영역이 비효율적으로 조정된다는 단점이 존재한다. 본 논문에서는 이러한 단점을 보완하기 위해, 8배, 4배, 2배 축소영상 및 원본영상으로 네 단계 층의 영상 피라미드를 구축한 이후, 영상 피라미드 각층에서 영 상정합 뿐만 아니라 오정합점 탐지 및 정밀 센서모델링 까지 수행하여 오정합점을 보정하였다. 각 층에서 오정 합점을 보정함에 따라 상위층의 부정확한 정합결과로 인한 하위층의 오정합 발생을 방지하였으며, 상위층의 오정합을 고려하지 않음에 따라, 검색영역을 효율적으로 조정할 수 있었다.

Fig. 3. Image pyramid.

4) 지상기준점 칩 정합

지상기준점 칩 정합 과정은 크게 검색영역 설정, 지상기준점 칩 기하변환, 영역 기반 영상정합의 3단계로 구성된다. 먼저 검색영역 설정은 상위층의 기하보정 과정을 통해 획득한 정합점 및 보정된 오정합점을 중심으로 일정 영역을 검색영역으로 설정한다. 최상층인 8배 축소 영상의 경우 선행된 기하보정 결과가 없음으로 초기 센서모델을 활용하여 지상기준점 칩에 대응되는 영상점을 중심으로 검색영역을 설정한다. 최상층의 경우 초기 센서모델의 오차를 고려하여 넓은 검색영역 설정 이 필요하지만, 그 외의 층의 경우 상위층에서 오정합점을 보정하였으므로 훨씬 더 정밀하게 탐색영역을 설 정할 수 있다.

본 논문에서는 영역 기반 영상정합 기법을 활용하여 영상정합을 수행한다. 영역 기반 영상정합 기법은 영상 내에 두드러지는 공간 특성 및 구조가 적은 경우에도 사용 가능하다는 장점이 존재하지만 정합을 수행할 두 영 상간 공간해상도와 촬영기하 차이를 고려하기 힘들다는 단점이 존재한다. 따라서 영역 기반 정합을 수행하기 전, 먼저 지상기준점 칩 영상을 위성영상의 기하에 맞도록 변환하는 과정이 필요하다. 먼저 상위층의 기하 보정 결과 획득한 센서모델을 활용하여 지상기준점 칩 의 각 꼭짓점의 지상좌표에 대응하는 영상 좌표를 산출한다. 산출된 영상 좌표들을 기준으로 기하변환된 지상 기준점 칩 영역을 선정하고 영역 내 각 픽셀 값을 센서 모델 및 공일차 보간법(Bilinear Interpolation)을 통해 산출하여 지상기준점 칩 기하변환을 완료하였다. 이를 통해 지상기준점 칩과 위성영상 간 공간해상도 및 촬영기하 차이를 최소화하였다.

Fig. 4. Geometry transformation of ground control point chip.

영역 기반 영상정합 기법은 정합 대상 영상간 유사성을 비교하여 정합을 수행하는 방식이다(Yoon, 2019). 지상기준점 칩의 영상이 단일밴드일 경우, 위성영상의 Panchromatic 밴드와 정합을 수행하였다. 지상기준점 칩 영상이 Red, Green, Blue의 다중밴드로 구성되어 있는 경우, 각 밴드영상을 정합 성능 향상을 위해 Pansharpening 수행된 위성영상의 Red, Green, Blue 밴드와 각각 정합을 수행하고, 정합 비용 함수의 값이 가장 높은 결과를 통해 정합점을 산출하였다(Shin et al., 2018).

최적의 정합점을 산출하기 위해서 다양한 정합비용 함수들이 연구되었지만 본 논문에서는 선행된 연구 결과에 따라 축소영상에서는 ZNCC(Zero Mean Normalized Correlation), 원본 영상에서는 local block방식의 Census 비용함수를 사용하였다.

ZNCC는 두 패치영상의 교차상관도(cross correlation) 을 이용하여 유사도를 산출하는 대표적인 기법으로 각 패치영상의 평균에 대해 정규화를 수행하여 밝기, 명암 및 잡음의 영향에 독립적이다(Stefano et al., 2005; Sun, 1997). ZNCC 정합 비용 함수는 아래와 같이 표현되며, 여기서 f, g는 각 패치 영상을 의미하며, f_i , g_i는 각 패치 영상의 i번째 화소값, \(\bar{f}, \bar{g}\)는 각 패치 영상의 화소값 평균을 의미한다.

\(Z N C C=\frac{\sum_{i=1}^{M N}\left(f_{i}-\bar{f}\right)\left(g_{i}-\bar{g}\right)}{\sqrt{\sum_{i=1}^{M N}\left(f_{i}-\bar{f}\right)^{2} \sum_{i=1}^{M N}\left(g_{i}-\bar{g}\right)^{2}}}\)

Census 변환은 패치의 각 화소값이 중심 화소값 보다 큰 경우 1, 그 외의 경우 0으로 변환하는 기법이다(Zabih and Woodfill, 1994). 변환된 두 패치의 일치율을 통해 정합비용을 산출할 수 있다. Census 변환은 비교적 계산이 간단하고 밝기 변화에 강건하다는 장점이 있지만, 중심 화소값만을 기준으로 변환이 수행되어 잡음에 민감한 단점이 존재한다. 따라서 본 논문에서는 영상 패치를 보조 블록으로 나누고 각 블록의 중심화소를 기준으로 각각 Census 변환을 수행하는 local block 방식 census 변환을 수행하였다. 보조 블록의 크기를 x, y 방향 모두 13 pixel로 선정하고 영상 패치를 해당 블록 크기에 맞게 나누어 각각 Census 변환 및 정합비용을 산출하였다.

Fig. 5. Census Transformation.

4) 오정합점 탐지 및 보정

각 층에서 수행된 지상기준점 칩 정합 결과에는 필연적으로 오정합점이 존재함으로 높은 품질의 지상 기준점을 획득하기 위해서는 반드시 오정합점 탐지 기술이 필요하다. 본 논문에서는 RANSAC(Random Sample Consensus) 강인 추정 기법을 통해 오정합점을 탐지하였다. RANSAC 강인 추정 기법은 모델 수립에 필요한 최소 크기의 표본을 임의로 반복 추출하여 모델을 수립 한다음, 가장 많은 수의 자료로부터 지지를 받은 모델을 최종 모델로 선정하는 기법이다(Fischler and Bolles, 1981). 본 논문에서는 앞서 서술한 affine 기반 RFM 편위 수정 모델기반 RANSAC을 수행하였다. 해당 모델을 수립하기 위한 최소 표본 수인 3개의 정합결과를 반복적으로 임의 추출하여 모델을 수립하였다. 이후 각 영상 정합 결과 자료에 대해 수립된 모델을 통해 산출한 영상점과 정합결과 영상점간 거리를 산출하고 이 거리가 일정 화소 이내인 자료를 해당 모델을 지지하는 자료로 판단하였다. 지지하는 자료의 수가 가장 많은 모델을 최종 모델로 산출하고 해당 모델을 통해 오정합을 검사하여 오정합점을 탐지하였다.

Fig. 6. RANSAC algorithm.

탐지된 오정합점을 제외한 나머지 정합점을 지상기준점으로 활용하여 정밀 센서모델링을 수행하여 해당 층의 기하보정을 완료한다. 최하층인 원본영상 층을 제외한 나머지 층에서는 해당 층의 정합 결과를 하위층의 검색영역 기준으로 재사용함으로, 오정합점의 보정이 반드시 필요하다. 오정합점 보정은 해당층에서 수립한 정밀 센서 모델을 활용하여 수행하였다. 오정합으로 탐지된 지상기준점 칩의 지상좌표(X, Y, Z)를 정밀센서 모델을 통해 영상좌표(C, R)로 산출하고 해당 영상좌표(C, R)를 오정합점의 영상점으로 대체하여 오정합점 보정을 완료하였다.

3. 실험자료 및 방법

1) 실험자료

본 논문에서 제안한 기하보정의 성능을 검증하기 위하여 한반도 남북한 지역을 촬영한 KOMPSAT(Korea Multi-Purpose Satellite)-3A 영상 6장 및 남한지역을 촬영한 KOMPSAT-3 영상 2장을 사용하였다. 선행된 연구 결과에 따라 영상정합에 유리한 pan-sharpening이 수행된 Red, Green, Blue 영상을 사용하였다(Shin, 2018). 실험에 사용한 위성영상의 자세한 사양은 Table 1, 2와 같다.

Table 1. The properties of South Korea satellite images

Table 2. The properties of North Korea satellite images

지상기준점 칩은 선행된 연구에 따라 기구축된 한반도 공간정보 자료를 활용하여 제작하였다. 남한지역은 통합기준점 및 국토지리정보원에서 제공하는 25 cm 공 간해상도를 가지는 항공정사영상을 이용하여 제작하였다. 북한지역의 경우 공간해상도 1 m의 CIB(Controlled Image base) 위성정사영상과 국토지리정보원에서 구축 한 공간해상도 10 m DEM(Digital Elevation Model)자료 를 통해 제작하였다(Yoon, 2019). 자세한 지상기준점 칩의 사양은 Table 3과 같다.

Table 3. The specification of GCP chips

지상기준점 칩은 각 영상에서 최대한 균등하게 분포하도록 구축하였으며, 총 209개의 지상기준점 칩을 제작하였다. Table 4는 영상 별 제작된 지상기준점 칩의 수이며 Fig. 7은 각 위성영사에서 지상기준점 칩의 분포를 나타낸다.

Table 4. Number of GCP chips

Fig. 7. South Korea satellite images used in this study, (a) South_Scene-1, (b) South_Scene-2, (c) South_Scene-3, (d) South_Scene-4 and (e) South_Scene-5.

Fig. 8. North Korea satellite images used in this study, (a) North_Scene-1, (b) North_Scene-2 and (c) North_Scene-3.

Fig. 9. Distribution of experimental satellite images.

Fig. 10. Example of GCP chips, (a), (b) GCP chips in North Korea and (c), (d) GCP chips in South Korea.

Fig. 11. Distribution of GCP chips.

2) 실험방법

제안한 반복 정밀 기하보정 방안의 성능 검증을 위해 본 논문에서는 제안한 알고리즘을 포함하여 총 세가지 방안으로 정밀기하보정을 수행하였다. 첫번째 단일 정합을 통한 기하보정 방안(Method 1)에서는 영상 피라미드를 구축하지 않고 원본 영상에서만 지상기준점 칩 정합을 수행하였다. 이에 따라 오정합 탐지 및 정밀 센서 모델링도 단일 수행하여 기하보정을 완료하였다. 두 번째 다중 정합을 통한 기하보정 방안(Method 2)에서는 영상 피라미드는 구축하지만 각 층에서 지상기준점 칩 정합만을 수행하고 오정합 탐지 및 정밀 센서모델링은 최종 정합결과에 대해 한번만 수행하였다. 마지막 반복 정밀 기하보정 방안(Method 3)에서는 앞서 2장에서 기술한바와 같이 영상 피라미드를 구축하고 각 층에서 지상기준점 칩 정합 및 오정합 탐지, 정밀 센서모델링을 수행하였다.

Table 5. Experiment Methods

세 방안 모두 초기 검색영역은 초기 센서모델의 오차를 고려하여 200×200 화소 영역으로 설정하였다. 영상 피라미드를 활용하는 Method 2, 3에서는 검색영역 조정 방안에 따라 발생하는 성능 차이가 발생할 수 있다. 이를 분석하기 위해 각각 두 가지 방안으로 검색영역을 조정하였다. 먼저 첫번째 방안(A)에서는 상위층의 정합결과에 오정합이 존재할 가능성을 고려하여 검색영역을 각 축 방향으로 절반씩 감소시켜 검색영역을 서서히 조정하였다. 두 번째 방안(B)에서는 상위층 정합결과에서 심각한 오정합이 발생할 가능성을 배제하여 각 축방향의 ‘상위층 영상의 축소배율 X 4’ 화소 영역으로 검색영 역을 빠르게 조정하였다.

각 기하보정 방안의 성능을 분석하기 위하여 수동으로 지상기준점 칩 정합을 수행하였으며 이를 바탕으로 정합 성능과 지상기준점 품질 및 기하보정 성능을 분석 하였다. 정합성능은 각 기하보정 방안의 최하층에서 수행된 정합 결과를 분석하였으며, 수동으로 추출한 정합점을 참값으로 오차가 2 pixel 이내일 경우 정합에 성공하였다고 판단하였다. 2009년 시행된 수치지도 작성작업내규(국토지리정보원고시 제2009-590호)에 따라, 1:5000 수치지도는 표준편차 1.0 m, 최대오차 2.0 m의 정확도를 충족해야 한다. 따라서 공간해상도가 0.5 m인 고 해상도 위성영상을 기준으로 1:5000 수치지도 제작을 위해서는 지상기준점의 정확도는 2 pixel 이내이어야 하며, 이를 기준으로 정합 성공 기준을 2 Pixel로 설정하였다. 이후 오정합점 제거를 완료하고 최종 획득된 지상 기준점의 수량과 오차를 분석하였다. 이때 지상기준점의 오차는 앞서 수행한 정합점의 오차분석 방안과 마찬 가지로 수동 추출한 정합점을 참값으로 가정하고 오차를 산출하였다. 최종적으로 각 기하보정 방안에서 추출한 지상기준점을 이용하여 정밀 센서모델링을 수행하고 각 정밀 센서모델의 정확도를 수동 정합점 기준으로 분석하였다.

4. 실험 결과

1) 정합 성능 분석

실험을 위해 구축한 KOMPSAT-3, 3A 고해상도 위성 영상과 지상기준점 칩을 활용하여 제안한 각 기하보정 방안을 수행하였다. 지상기준점 칩 정합의 처리시간, 정합 성공률, 정합 오차를 산출하고 이를 바탕으로 지상기준점 칩 정합 성능을 분석하였다. 먼저 처리시간 분석을 위해 각 기하보정 방안을 모두 10회씩 처리하고 처리시간의 평균을 산출하였다. 분석 결과는 Table 6과 같다.

Table 6. GCP chip Matching Processing Time

Method 1은 영상 피라미드를 구축하지 않고 원본영 상에서만 정합을 수행하는 방안으로, 넓은 초기 검색영 역에서 원본해상도로 정합을 수행하여 상당히 긴 처리 시간이 소요되었다. 이에 반해 Method 2 및 Method 3의 경우, 훨씬 더 적은 처리시간이 소요된 것을 확인할 수 있었다. 따라서 영상 피라미드를 활용하여 정합을 수행할 경우, 검색영역이 감소하여 처리 시간이 효율적으로 개선되는 것을 확인할 수 있었다. 또 피라미드 기반 정합에서도 검색영역을 빠르게 조정하는 Method B가 Method A보다 처리시간이 더 적게 소요된 것을 확인할 수 있었다. Method 2와 Method 3의 경우 처리시간에 큰 차이는 없었으나, Method 3의 경우 추가적으로 각 층에서 오정합점 탐지 및 정밀 센서모델링을 수행함으로 조금 더 처리시간이 증가한 것을 확인할 수 있었다.

이후 수동추출한 정합점을 참값으로 가정하고 정합 성공률 및 정합 오차를 분석하였다. Table 7은 남북한 지역에 따라 정합 성공률 및 정합 오차를 분석한 결과이다. 본 논문에서는 남한과 북한 지역에 따라 서로 다른 사양의 지상 기준점칩을 구축하였다. 남한 지역에 구축된 지상기준점 칩의 경우, 북한지역 지상기준점 칩 영상에 비해 공간해상도가 높으며, Red, Green, Blue의 3밴드 영상으로 구축되어 전반적으로 높은 정합 성능을 보여주었다. 특히 영상 피라미드를 활용하지 않은 Method 1의 경우 북한지역에 비해 정합 성공률이 40%p 이상 더 높았으며 정합점의 정확도도 평균 약 13.4 pixel 이상의 차이가 발생하였다. Method 2의 경우, 영상 피라미드를 활용함으로 영상정합 처리 시간은 효율적으로 감소시켰지만 산출된 정합점의 품질은 Method 1과 비슷하거나 오히려 더 감사하였다. 남한지역의 경우 정합 성공률 및 정합 정확도 모두 Method 1의 결과에 비해 떨어졌으며, 북한지역의 경우 정합성공률은 더 높았지만 획득한 정합점의 성능은 오히려 method 1의 정합점에 비해 떨어졌다. 본 논문에서 제안한 Method 3의 경우 영상 피라미드의 활용과 더불어 반복 기하보정을 수행함으로써, 남, 북한 지역 모두에서 가장 높은 정합 성공률 및 정확도를 획득하였다. 특히 북한 지역의 경우, 남한지역에 비해 성능이 낮은 지상기준점 칩을 사용하였음에도 최대 66.92% 정합성공률과 평균 1.7 pixel의 정합 정확도로 남 한지역의 정합성능과 근접한 결과를 보여주었다. Method 3-B는 Method 1에 비해 정합성공률 23.41%p, 정 합 정확도 약 7.8배 향상되었으며, Method 2-A에 비해 정합 성공률 23.41%p, 정합 정확도 약 10.9배 향상되었음을 확인할 수 있었다.

Table 7. GCP chip matching performance

Fig. 12. GCP chip matching result, (a) matching result in South Korea and (b) matching result in North Korea.

Method 2, Method 3 모두 영상 피라미드를 사용하였으나 큰 정합 성능 차이를 보여주었으며 영상 피라미드에서 검색영역 조정 방안에 따라서 그 성능차이가 존재하였다. 따라서 영상 피라미드를 사용하는 Method 2, Method 3에서 각 층별 영상정합 결과를 분석해 보았다.

Method 3의 경우 각 층에서 오정합점 탐지 및 정밀 센서모델링을 수행하고 이를 기반으로 각층의 오정합점을 보정한다. 따라서 하위층에서 상위층의 오정합점을 재사용하지 않게 됨으로 정합의 성능을 향상시킬 수 있었다. Table 7을 보면 Method 2, 3 모두 최상층에서는 동일한 20 pixel이상의 평균 정합 오차를 보여주었지만 Method 3의 경우 오정합점 보정을 통해 정합점의 평균 오차를 4.1 pixel까지 줄일 수 있었다. 이를 바탕으로 다음 층에서 정합을 수행한 결과, Method 3의 경우 하위층으로 내려갈수록 평균 정합 성능이 점점 향상되는 것을 확인할 수 있었다. 이에 반해 Method 2의 경우 하위층의 평균 정합 정확도는 상위층의 정합 정확도에 비해 크게 개선되지 않았다. 일반적으로 하위층으로 갈수록 원본영상 잡음의 영향이 강해짐으로 정합 성공률은 감소한다. 실험 결과 모든 Method에서 하위층으로 갈수록 정합 성공률이 감소하는 경향을 보여준다. 급격한 정합 성공률의 감소를 보여주는 Method 2에 비해 Method 3 의 경우 비교적 낮은 정합성공률 감소를 보여주었다.

Method 3의 경우 상위층에서 오정합점을 보정하였으므로 보다 빠르게 검색영역을 줄여나가는 Method 3-B에서 더 좋은 정합 성능을 보여주었다. 이에 반해 Method 2에서는 상위층의 오정합 결과가 하위층 정합에 그대로 영향을 줌으로, 빠르게 검색영역을 줄여나갈 경우 하위층으로 갈수록 점점 더 부정확한 정합점을 획득할 확률이 높아진다. Table 7에서 보이듯이 하위층으로 갈수록 Method 2-B가 Method-A에 비해 성능이 점점 더 감소하였다.

Table 8. GCP chip matching performance of each layer

2) 지상기준점 품질 및 기하보정 정확도

Table 9는 정합 결과에서 오정합점을 제거하여 획득한 지상기준점의 품질과 정밀 센서모델의 정확도를 분석한 결과이다. 앞서 가장 높은 정합 성공률을 보여준 Method 3-B를 수행한 경우, 모든 위성영상에서 가장 많은 지상기준점을 획득할 수 있었으며 평균 GCP 정확도 역시 대부분의 영상에서 가장 높았다. 지상기준점을 바탕으로 수립된 정밀 센서모델의 정확도 역시 Method 3-B가 가장 우수한 성능을 보여주었다. 모든 위성영상에서 2 pixel 미만의 정확도를 획득할 수 있었으며, 평균 1.5 pixel 정확도의 기하보정 결과를 획득할 수 있었다. 이는 Method 1에 비해 약 30%, Method 2-B에 비해 약 15% 향상된 결과이다.

Table 9. Quality of GCP and geometric correction

Method 1의 경우, Method 2와 거의 유사한 지상기준점 정확도를 보여주었지만, 해당 알고리즘은 원본영상 만을 이용하여 단일 정합 및 오정합 탐지를 수행함으로 안정성이 떨어져 South_Scene 5 영상에서는 가장 큰 오차의 기하보정 결과를 보여주었다.

5. 결론

본 논문에서는 고해상도 위성영상의 기하보정 성능을 향상시키기 위해 영상 피라미드를 구축하고 영상 피라미드의 각 층에서 영상정합 및 오정합점 제거, 정밀 센서모델링을 수행하는 반복 정밀 기하보정방안을 제안하였다. 제안 알고리즘과 더불어 영상 피라미드를 사용하지 않고 단일 지상기준점 칩 정합을 통해 지상기준점을 획득하는 방안과 영상 피라미드를 사용하지만 각 층에서 영상정합만을 수행하는 방안을 수행하여 제안 알고리즘의 성능을 분석하고자 하였다.

실험 결과 제안 알고리즘은 영상정합 성공률은 평균68.29% 였으며, 25 cm 공간해상도의 3밴드 정사영상으 로 제작된 남한지역 지상기준점 칩을 사용하였을 경우에는 70.67%, 1 m 공간해상도의 단일 밴드 정사영상으 로 제작된 북한지역 지상기준점 칩을 사용하였을 경우에는 66.92%의 정합 성공률을 보여주었다. 남한지역에 서도 단일 정합 방안(Method 1)이나, 다중 정합 방안 (Method 2)에 비해 그 성능이 우수하였지만, 북한지역 에서 그 성능차이가 두드러지게 나타났다. 단일 정합 방안(Method 1)의 경우, 지상기준점 칩의 성능에 따라 정합 성능 차이가 두드러지게 나타났으며, 한 번의 정합을 통해 기하보정을 수행함으로 안정적으로 높은 성능 의 기하보정 결과를 산출하지 못한다는 단점이 존재하였다. 다중 정합 방안(Method 2)의 경우, 상위층에서 발생한 오정합이 하위층에 재사용되어 전반적인 성능저하가 단점이었다. 이에 반해 본 연구진이 제안하는 반복 정밀기하보정(Method 3)은 남, 북한 지역 모두에서 안정적인 정합 성능을 보여주었고, 상위층의 오정합점을 보정하여 사용하기 때문에 전반적으로 높은 성능의 정합결과를 획득할 수 있었다.

높은 정합성공률로 인해 오정합점이 안정적으로 제거되어 높은 품질의 지상기준점을 획득할 수 있었으며, 이를 바탕으로 기하보정 성능을 향상시킬 수 있었다. 모든 실험 위성영상에서 제안한 반복 정밀 기하보정을 통해 평균 1.5 pixel, 최대 2 pixel 정확도의 기하보정 결과를 획득하였으며, 단순 정합 방안(Method 1)에 비해 약 30%, 다중 정합 방안(Method 2)에 비해 약 15% 향상된 성능을 보여주었다.

본 논문에서 제안한 기하보정 방안을 통해 고해상도 위성영상의 기하보정을 수행할 경우, 1:5000 수치지도 제작이 가능한 정밀 기하수립이 가능하며 이를 바탕으로 변화탐지, 객체탐지 등 다양한 활용산출물 제작이 가능할 것으로 기대된다. 이 논문의 실험에서는 지상기준점 칩당 단일 시기의 영상을 통해 정합을 수행하였으나 정합 대상의 객체 변화 및 시계열 변화로 인해 오정합이 많이 발생하였다. 따라서 추후 연구에서는 기하보정 수행과 동시에 지상기준점 칩을 지속적으로 갱신하고 시계열별 지상기준점 칩 자료를 구축하는 연구가 필요하다.