Analysis of Co-registration Performance According to Geometric Processing Level of KOMPSAT-3/3A Reference Image

KOMPSAT-3/3A 기준영상의 기하품질에 따른 상호좌표등록 결과 분석

Abstract

This study analyzed co-registration results according to the geometric processing level of reference image, which are Level 1R and Level 1G provided from KOMPSAT-3 and KOMPSAT-3A images. We performed co-registration using each Level 1R and Level 1G image as a reference image, and Level 1R image as a sensed image. For constructing the experimental dataset, seven Level 1R and 1G images of KOMPSAT-3 and KOMPSAT-3A acquired from Daejeon, South Korea, were used. To coarsely align the geometric position of the two images, SURF (Speeded-Up Robust Feature) and PC (Phase Correlation) methods were combined and then repeatedly applied to the overlapping region of the images. Then, we extracted tie-points using the SURF method from coarsely aligned images and performed fine co-registration through affine transformation and piecewise Linear transformation, respectively, constructed with the tie-points. As a result of the experiment, when Level 1G image was used as a reference image, a relatively large number of tie-points were extracted than Level 1R image. Also, in the case where the reference image is Level 1G image, the root mean square error of co-registration was 5 pixels less than the case of Level 1R image on average. We have shown from the experimental results that the co-registration performance can be affected by the geometric processing level related to the initial geometric relationship between the two images. Moreover, we confirmed that the better geometric quality of the reference image achieved the more stable co-registration performance.

본 연구는 KOMPSAT-3 및 KOMPSAT-3A호에서 전처리 단계에 따라 구분하여 제공하는 Level 1R 영상과 Level 1G 영상을 이용하여 기준영상의 기하품질에 따른 상호좌표등록 결과 분석을 수행하였다. 기준영상으로 Level 1R 영상 및 1G 영상 각각을 사용하고 대상영상은 Level 1R 영상을 사용하여 상호좌표등록을 수행하였다. 실험을 위해 대전지역에서 촬영된 KOMPSAT-3 및 3A호의 Level 1R, 1G 영상 총 7장을 이용하였다. 상호좌표등록을 수행하기 위해, 우선적으로 특징기반 정합기법인 SURF (Speeded-Up Robust Feature) 기법과 영역기반 정합기법인 위상상관 (Phase Correlation) 기법을 함께 이용한 반복적 정합기법을 통해 두 영상의 기하학적 위치를 개략적으로 일치시켜 주었다. 개략적으로 일치된 영상에서 SURF 기법을 이용하여 정합쌍을 추출하고 Affine 변환모델과 Piecewise Linear 변환모델을 각각 구성하여 상호좌표등록을 수행하였다. 실험결과, 기하오차가 보정된 Level 1G 영상을 기준영상으로 선정하였을 경우, Level 1R 영상을 이용하였을 때보다 상대적으로 많은 수의 정합쌍을 추출하였다. 또한, 기준영상이 Level 1G 영상일 때의 상호좌표등록 RMSE (Root Mean Square Error) 값이 평균 5화소 미만으로 Level 1R 영상을 이용하였을 때보다 더 낮은 것을 확인하였다. 이는 상호좌표등록 수행 시 두 위성영상 간의 초기위치관계가 상호좌표등록 결과에 영향을 끼칠 수 있음을 의미하며, 기준영상의 기하품질이 우수할수록 안정적인 상호좌표등록 정확도를 나타내는 것을 확인하였다.

1. 서론

국내 고해상도 지구관측 위성인 다목적실용위성 (KOMPSAT)은 1999년 1호 발사를 시작으로 총 5기가 발사되었으며 현재는 3호와 3A호 그리고 5호가 운용 되고 있다. 그 중에서도 광학센서가 탑재되어 있는 KOMPSAT-3호 및 3A호는 흑백영상 기준 각각 공간해상도 0.7 m와 0.55 m의 영상을 취득하며, 취득된 영상은 전처리 단계에 따라 Level 1R과 Level 1G로 구분되어 사용자에게 제공된다(KARI and SIIS, 2019a; KARI and SIIS, 2019b). Level 1R은 센서에 의한 왜곡과 방사왜곡이 보정된 영상자료로 취득 당시 플랫폼의 자세 및 고도, 촬영 각도, 지구의 자전 등 다양한 외부요인으로 인한 기하오차가 영상 내에 포함되어 있다. 반면 Level 1G는 Level 1R 영상의 초기 RPC (Rational Polynomial Coefficient) 정보와 SRTM (Shuttle Radar Topography Mission)의 DEM (Digital Elevation Model)을 기반으로 기하오차가 보정된 영상자료로 제공된다. 이처럼 Level 1R 영상에 비해 Level 1G 영상은 초기 전처리 과정을 간소화할 수 있다는 장점이 있어 다양한 분야에서 보편적으로 활용되고 있다. 이에 비해 Level 1R 영상은 위성영상 활용을 위한 전처리 연구에 많이 활용되고 있으며 1R 영상의 기하 품질 향상을 통해 영상 활용 가능성을 높이고자 하는 목적의 연구가 많이 진행되고 있다(Jung et al., 2020). 이처럼 KOMPSAT-3/3A 위성영상은 전처리 단계에 따른 각 영상자료의 특성을 바탕으로 활용 목적에 부합하는 연구 데이터로 다양하게 활용되고 있다.

일반적으로 위성영상의 기하품질 및 다시기 위성영상 간 존재하는 상대적인 기하오차는 다양한 산출물의 정확도에 직접적인 영향을 미치는 요소로 작용한다 (Jeong et al., 2014). 이 때문에 위성영상의 기하정확도 분석에 관한 연구뿐만 아니라 이를 향상시키고자 하는 연구가 진행되어 왔다. Jeong et al. (2014)은 KOMPSAT-3호 영상의 초기센서모델, 정밀센서모델, 스테레오 및 다중영상모델의 위치 정확도 평가를 수행하여 기하정확도를 분석하였고, Lee et al. (2013)는 KOMPSAT-3호 영상에 총 6가지 조정모델을 적용하여 RPC 블록조정법 기반의 적합한 RPC 조정계수를 제안하였다. 또한, Seo et al. (2014)는 KOMPSAT-2 영상의 기하품질을 개선하기 위해 RFM (Rational Function Model) 주변환식과 역변환식으로 계산된 영상좌표, 지상좌표의 오차를 분석하고 그 결과를 이용한 1차 다항식 모델 기반 보정 방법을 제안하였다. Jung et al. (2020)은 PlanetScope 정사영상과 KOMPSAT-3/3A 영상에 격자기반 SIFT (Scale Invariant Feature Transform) 기법을 적용하여 RPC 보정에 필요한 GCP (Ground Control Point)를 취득하는 기법을 제안하였다.

위성영상을 이용한 연구가 고도화됨에 따라 시계열 위성영상의 효율적 활용을 위해 영상 자체의 기하정확도와 더불어 영상 간 상호좌표등록의 필요성 또한 대두되었다. 영상 간 상호좌표등록은 두 영상 간 존재하는 기하오차를 최소화하는 과정으로 특징요소 추출 단계, 특징요소 간 정합을 통한 정합쌍 추출 단계, 그리고 변환모델 구성을 통한 좌표등록 단계로 이루어진다. 이 과정 중 핵심 단계인 정합쌍 추출 및 정합의 자동화된 기법에 관한 다양한 연구가 진행되었으며, 상호좌표등록 과정에서 정확도에 영향을 미치는 여러 요인에 대한 분석 연구 또한 수행되고 있다. Gong et al. (2013)은 정합쌍 추출과정에서 SIFT 기법과 상호정보 기법을 함께 활용하는 Coarse-to-fine 기법을 제안하였다. Jeong (2016) 은 스테레오 위성자료의 효율적 활용을 위한 위성 기하요소 간 상관성을 분석하였으며, Han et al. (2019)은 KOMPSAT-3 및 3A호 영상 간 상호좌표등록 수행 시 두 영상 간 수렴각의 크기에 따른 상호좌표등록의 정확도를 분석하였다.

선행연구에 따르면 고해상도 위성영상 간 상호좌표 등록 정확도는 위성의 센서 자세 및 기하요소, 촬영 시간 등의 외부요소의 영향을 받는 것으로 알려져 있다. 이에 본 논문에서는 상호좌표등록 정확도 및 위성영상의 기하품질 간의 연관성을 분석하여 기준영상의 기하품질이 상호좌표등록 정확도에 미치는 영향과 기하품질 향상의 필요성을 확인하고자 하였다. 이를 위해 KOMPSAT-3호 및 KOMPSAT-3A호의 Level 1R 및 1G 영상을 각각 기준영상으로 선정한 후, 1R 영상과의 상호좌표등록을 수행하여 기준영상의 기하정확도에 따른 상호좌표등록 결과 정확도를 분석하고자 한다. 실험을 위해 대전지역에서 촬영된 KOMPSAT-3 및 3A호의 Level 1R, 1G 영상총 7장을 이용하였으며 이 중 기준영상으로 Level 1R, 1G 각 한 장, 나머지 1R 영상 5장을 대상영상으로 이용 하였다. 제안기법을 기반으로 상호좌표등록을 수행한 결과를 정합쌍의 개수와 분포, 변환모델의 종류, 영상 간 촬영각 관계 등에 초점을 맞추어 분석을 진행하였다.

2. 연구방법

본 논문에서는 기준영상의 기하품질이 상호좌표등록 정확도에 미치는 영향을 분석하고자 한다. 이를 위해 KOMPSAT-3 및 3A호에서 취득된 Level 1R 영상과 Level 1G 영상 각각을 기준영상으로, Level 1R 영상을 대상영상으로 하여 두 영상 간 존재하는 기하오차를 보정하기 위한 Fig. 1과 같은 상호좌표등록 방법론을 제안한다. 먼저 KOMPSAT-3·3A호의 위성영상에서 제공되는 RPC 정보를 활용하여 각 위성영상 간 중첩되는 지역을 탐색한다. 그리고 각 영상의 중첩지역에 대하여 피라미드 영상을 생성한 다음 영상을 일정 크기로 분할하여 SURF 기법과 위상상관 기법을 함께 활용하여 정합 쌍을 추출한다. 해당과정을 피라미드 영상 단계에 따라 반복적으로 적용하는 방식으로 정합쌍을 추출한 후, 원 영상 간의 상호좌표등록을 진행한다.

Fig. 1. Methodology of image co-registration.

1) RPC 정보를 활용한 중첩지역 선정

KOMPSAT-3·3A호의 Level 1R 과 Level 1G 영상 각각을 기준영상, 그리고 Level 1R 영상을 대상영상으로 설정하여 영상 간 상호좌표등록을 위한 첫 번째 단계로 RPC 정보를 활용하여 두 영상 간 중첩지역을 선정 하였다. RPC는 위성영상의 2차원 영상좌표와 실제 지상 좌표 간의 관계를 규명하기 위한 방법 중 하나인 RFM에 활용되는 계수이다(Seo et al., 2014). 일반적으로 RPC를 활용하여 영상좌표와 대응되는 위치의 지상좌표를 추정하기 위해서는 표고정보를 포함한 3차원 좌표정보가 필요하다(Oh et al., 2013). 이에 본 연구에서는 KOMPSAT-3·3A호 위성영상이 포함하는 범위 내에서의 높이 변화는 크지 않다는 가정 하에 높이 값을 동일 하게 설정하였다. 동일한 높이값과 기준영상의 RPC 정보를 이용하여 영상의 좌상단, 좌하단, 우상단 그리고 우하단 지상좌표를 추정하였다. 그리고 수식 (1)과 같이 입력영상의 RPC 정보와 높이값을 활용하여 기준영상의 좌상단, 좌하단, 우상단 그리고 우하단의 지상좌표를 입력영상의 영상좌표로 변환하여 두 영상 간 중첩되는 지역을 선정하였다.

\(\begin{aligned} r_{n} &=\frac{P_{1}\left(X_{n}, Y_{n}, Z_{n}\right)}{P_{2}\left(X_{n}, Y_{n}, Z_{n}\right)} \\ c_{n} &=\frac{P_{3}\left(X_{n}, Y_{n}, Z_{n}\right)}{P_{4}\left(X_{n}, Y_{n}, Z_{n}\right)} \end{aligned}\)       (1)

where,r_n and c_n are normalized image coordinates, X_n, Y_n, Z_n are normalized ground coordinates and P₁, P₂, P₃, P₄ are polynomial coefficients comprising RFM.

2) 정합쌍 추출

RPC 정보를 통해 추정된 초기 위치관계를 기반으로 두 위성영상 간 중첩되는 지역을 탐색하고 각 영상의 중첩지역에 대하여 피라미드 영상을 단계별로 생성하였다. 생성된 피라미드 영상을 Fig. 2와 같이 일정 크기의 Block 별로 지역적 탐색영역을 선정하였다.

Fig. 2. Determination of local overlapping area using RPC.

영상 내 정합쌍 추출을 위한 기법은 대표적으로 영역 기반 정합기법과 특징기반 정합기법으로 구분된다(Ma et al., 2015). 영역기반 정합기법은 영상 간 일정 크기로 설정한 Block을 중심으로 유사도 분석을 수행하여 측정된 유사도가 가장 높은 위치의 중심점을 정합쌍으로 추출한다. 이 때문에 위성영상 내에 두드러지는 특징적 요소가 없는 경우에도 적용 가능한 장점이 있지만, 초기 위치관계에 대한 정보가 없는 경우 정합쌍 탐색영역이 넓어져 신뢰할만한 결과를 얻기 어렵다(Chen et al., 2003). 따라서 정합쌍 추출과정에 앞서 영상 간 지역적 중첩 영역을 정의하여 두 영상 간의 탐색영역을 최소화하는 과정이 필요하다. 반면, 특징기반 정합기법은 전체 영역에 대하여 특징점을 추출한 후, 이들 간의 유사도 분석을 통해 정합쌍을 추출한다. 해당 기법은 영상 간 초기 위치관계에 대한 정보 없이도 적용 가능하며 상대적으로 많은 수의 정합쌍 추출이 가능하다. 하지만 유사한 특징점이 다수 추출됨에 따른 오정합쌍 추출 확률이 높다는 단점이 있다(Li et al., 2019). 이에 본 연구에서는 영역 기반 정합기법과 특징기반 정합기법의 장점을 결합하여 더욱 효과적으로 정합쌍을 추출하고자 하였다. Oh and Han (2020)의 연구에 따르면 특징기반 정합기법인 SURF 기법과 영역기반 정합기법인 위상상관 기법을 결합하여 정합쌍을 추출할 경우 안정적으로 다수의 정합쌍 추출이 가능하다고 명시되어 있다. 이에 본 연구에서는 SURF 기법과 위상상관 기법을 결합하여 영상 내 정합쌍을 추출하고자 하였다. 기준영상의 지역적 영역에서 SURF 기법을 통해 추출된 가장 강인한 특징점을 중심으로 대상영상에서 대응되는 중첩영역을 결정 하여, 대응되는 중첩영역에 대해 위상상관 정합기법을 적용하였다.

SURF 기법은 크게 특징점 추출, 주 방향(orientation) 결정, 서술자 생성 단계로 진행되며 다른 특징기반 정합기법에 비해 계산효율이 높아 신속하게 정합쌍을 추출할 수 있다(Bay et al., 2008). 특징점 추출을 위해 사각형의 필터를 이용하여 픽셀 주변을 회선하는 적분 영상을 생성하고 이 적분 영상의 세부 영역에 대해 근사화된 헤이시안 검출기를 적용한다. 특징점 추출에 기반이 되는 헤이시안 검출기는 수식 (2)와 같이 정의된 헤이시안 행렬을 기반으로 가우시안 2차 미분을 수행하고, 행렬식이 최댓값이 되는 위치를 특징점으로 지정한다.

\(H(p, \sigma)=\left[\begin{array}{l} L_{x x}(p, \sigma) L_{x y}(p, \sigma) \\ L_{x y}(p, \sigma) L_{y y}(p, \sigma) \end{array}\right]\)       (2)

where H(p, σ) is Hessian matrix, L_xx(p, σ) is the convolution of the Gaussian second order derivative with the image L in point p = (x, y) and same definition about L_xy(p, σ) and L_yy(p, σ).

위상상관 기법은 영상 간의 변위 및 회전, 축척을 고려하여 영상 간 정합쌍을 추출하는 기법으로 위상상관도 C는 수식 (3)을 이용하여 계산할 수 있다. 수식 (3)을 통해 계산된 값이 최대일 때의 위치를 이용하여 SURF 를 통해 추출된 특징점에 대응되는 정합쌍 위치를 추정한다.

\(C=F^{-1}\left(\frac{F\left(g_{c}\right) F\left(g_{b}\right)^{*}}{\left|F\left(g_{c}\right) F\left(g_{b}\right)^{*}\right|}\right)\)       (3)

where g_c and g_b are input images, F and F^–1 are 2D Fourier transformation and 2D inverse Fourier transformation and C is phase correlation that can obtain the normalized cross-corrlation by applying the inverse Fourier transform.

본 연구에서는 Fig. 3과 같이 기준영상에서 구성된 지역적 중첩영역에 SURF 기법을 통해 추출된 특징점 중 가장 강인한 1개의 특징점을 선정하였다. 그리고 RPC 를 활용하여 특징점의 지상좌표를 추정한 다음 대상영상 내에 대응되는 중첩영역을 선정하였다. 그 후, 중첩 영역간의 정밀한 정합쌍 위치를 추정하기 위해 위상상관 기법을 활용하여 최종적으로 정합쌍을 추출하였다. 추출된 정합쌍 중 오정합쌍 제거를 위해 변환모델식 구성 과정에서 RMSE(Root Mean Square Error)가 큰 값을 반복적으로 제거하였다(수식 (4)).

Fig. 3. Determination of local overlapping area using proposed method.

\(R M S E=\sqrt{\frac{\sum_{i=1}^{n}\left\|\left(x_{i}^{\prime}, y_{i}^{\prime}\right)-\left(x_{i}, y_{i}\right)\right\|^{2}}{n}}\)       (4)

where (\(x_{i}^{\prime}\), \(y_{i}^{\prime}\)) is reference image coordinate, (x_i, y_i) is sensed image coordinate, and n is the total number of checkpoints in the image.

3) 반복적 정합 기법

앞서 설명한 SURF 및 위상상관 기법이 결합된 형태의 알고리즘을 통해 추출된 정합쌍을 이용하여 Affine 변환식을 생성하며, 생성된 변환식을 기준으로 대상영상을 기준영상의 좌표로 변환한다. 이러한 영상정합 과정을 생성된 피라미드 영상의 개수만큼 반복적으로 수행하였으며, 본 연구에서는 피라미드 영상을 3회에 걸쳐 생성하였다. 이후 기하 위치가 개략적으로 일치된 원 영상을 통해 서로 대응되는 지역적 중첩영역 각각에 대해서 SURF 기법을 이용하여 정합쌍을 추출하였다. 추출된 정합쌍을 이용하여 Affine 변환모델과 Piecewise Linear 변환모델에 따른 상호좌표등록을 각각 수행하여 변환모델에 따른 결과 정확도를 분석하였다.

3. 실험 결과 및 분석

1) 연구지역 및 데이터

본 연구에서 제안하는 상호좌표등록 기법의 검증과 동시에 기준영상의 기하품질과 정확도 간의 연관성 분석을 위해 도심지, 수계, 산림 등 다양한 피복으로 구성 되어 있는 대전광역시 일대를 관심지역으로 선정하였다(Fig. 4). 실험영상으로는 KOMPSAT-3·3A호에서 취득된 Level 1R 및 Level 1G 영상 총 7장을 활용하였다. 실험을 위해 그 중 경사각(Off-nadir angle)이 가장 작은 2014년 3월 3일에 취득된 Level 1R 및 Level 1G 영상을 기준영상으로 선정하였으며 이를 제외한 나머지 5장의 KOMPSAT-3·3A호 Level 1R 영상을 대상영상으로 선정하였다. 실험에 활용된 KOMPSAT-3·3A호 위성에 대한 재원은 Tabel 1과 같으며 시계열 영상에 대한 취득 날짜, 전처리 단계, 촬영각 등 세부적인 내용은 Table 2에 정리하였다.

Table 1. Specification of KOMPSAT-3 and KOMPSAT-3A satellites

Table 2. Dataset used for experiments

Fig. 4. Study area (Daejeon, SouthKorea).

2) 실험 결과 및 분석

본 연구에서는 기준영상의 기하품질과 상호좌표등록 정확도 간의 연관성을 파악하기 위해 추출된 정합쌍 개수와 분포, 변환모델 종류, 영상 간 촬영각 관계 등에 초점을 맞추어 분석을 진행하였다(Fig. 5). 우선, 상호좌표등록 수행 결과를 시각적으로 분석하기 위해 Fig. 6과 같이 특정 영상 조합을 통해 수행된 상호좌표등록 결과를 모자이크 영상을 생성하여 비교 평가하였다. Fig. 6(a) 는 기준영상으로 2014년 3월 3일 촬영된 KOMPSAT-3호 Level 1G 영상을, (b)는 기준영상으로 동일한 시기에 촬영된 Level 1R 영상을 활용하였고, 대상영상은 모두 2014년 10월 23일에 취득된 KOMPSAT-3호 영상으로 선정하여 상호좌표등록을 수행한 결과 영상이다. Fig. 6(b)의 모자이크 영상 내 표시된 원의 위치에서 기준영상과 상호좌표 등록된 대상영상 간 기하오차가 심하게 나타난 반면, Fig. 6(a) 모자이크 영상은 눈에 띄는 기하 오차가 존재하지 않았다. 또한 Level 1R과 Level 1G 기준영상의 초기 위치 차이로 인해 두 모자이크 영상의 세부위치가 상이하게 나타나는 것을 확인하였다. Fig. 6에 나타난 모자이크 영상 조합 외 다른 영상 조합에서도 이와 유사한 결과를 나타내었으며 Level 1G를 기준영상으로 수행한 상호좌표등록 결과가 더 우수함을 시각적으로 확인하였다.

Fig. 5. Flowchart of the co-registration performance analysis according to preprocessing level of reference image.

Fig. 6. Mosaic images generated from co-registered images: (a) Level 1G reference image, (b) Level 1R reference image (yellow circles represent severe geometric error).

기준영상의 전처리 단계에 따라 상호좌표등록 수행 시 추출되는 정합쌍 위치와 분포 형태를 분석한 결과 두 가지의 실험 결과에서 큰 차이를 보이지 않았다. 반면, 추출된 정합쌍 개수를 비교하였을 때, Table 3와 같이 기준영상이 Level 1G 영상일 때가 Level 1R일 때보다 상대적으로 많은 정합쌍이 추출되었다. 이는 상호좌표등록 수행 시 두 위성영상간의 초기위치관계가 상호좌표등록 결과에 영향을 끼칠 수 있음을 의미하며, 이 때문에 기하오차가 보정된 Level 1G 영상을 기준영상으로 상호좌표등록을 수행하였을 때 상대적으로 정합쌍 개수가 많이 추출된 것으로 판단된다. 이러한 결과는 상호 좌표등록 수행 시 정합쌍 개수 및 기준영상의 기하품질이 정확도에 영향을 미치는 요인 중 하나임을 보여준다.

Table 3. Number of extracted tie-points

실험결과에 대한 정확도 및 제안기법 성능을 정량적으로 검증하기 위해 총 7장의 영상이 중첩되는 지역 내 시계열 영상 간 불변특성을 보이는 평탄한 지역을 중심으로 총 17개의 검사점을 육안으로 판독하여 추출하였다(Fig. 7). 추출된 검사점을 기반으로 상호좌표등록 수행 전후에 대한 RMSE 값을 산출하였다. 기준영상의 전처리 수행 단계에 따른 분석뿐만 아니라 변환모델 종류 따른 상호좌표등록 정확도 결과를 분석하기 위하여 영상 간 정합쌍을 추출한 다음 Piecewise Linear 변환모델과 Affine 변환모델을 개별적으로 활용하여 상호좌표 등록을 수행하였다. 결과에 대한 직관적인 비교분석을 위해 산출된 RMSE를 기반으로 Fig. 8과 같이 그래프를 생성하였다. Level 1G-1R 영상 조합 간 상호좌표등록을 수행한 결과, 변환모델 종류에 상관없이 약 5화소 미만의 정확도가 도출되었다. 반면 Level 1R-1R 영상 조합 간 상호좌표등록을 수행한 경우, 변환모델 종류에 따라 정확도가 상이하게 도출되었다. Piecewise Linear 변환모델을 기반으로 Level 1R-1R 영상 조합 간 상호좌표등록을 수행한 결과 평균 약 8화소, 최대 약 13화소의 RMSE가 산출되었으며, Affine 변환모델을 활용한 경우 평균 약 16화소, 최대 약 27화소의 RMSE가 산출되었다. 기준영상이 Level 1R일 때는 평균적으로 Piecewise Linear 변환 모델을 이용한 경우가 Affine 변환모델을 이용한 경우보다 더 낮은 오차값을 나타내었다. 이는 각 변환모델의 정합방식 차이에서 나타나는 결과로 판단된다. Affine 변환모델은 추출된 정합쌍을 기반으로 영상을 전역적으로 보정하는 반면, Piecewise Linear 변환모델은 추출된 정합쌍을 기반으로 델로니 삼각망을 구성하여 각 영상에서 구성된 삼각망 간 정합을 통해 지역적으로 정합한다(Han et al., 2019). 즉, 영상 전역에 걸쳐서 고르게 분포된 정합쌍이 존재한다면, Piecewise Linear 변환 모델을 적용하였을 경우 Affine 변환모델을 적용하였을 때보다 우수한 상호좌표등록 결과를 얻을 수 있음을 의미한다. 이에 반해 기준영상이 Level 1G인 경우, 변환모델 종류와는 상관없이 Level 1R 영상이 기준영상일 때보다 우수한 결과값이 도출되었다. 이와 같은 결과를 기반으로 기준영상의 기하품질이 우수할수록 안정적인 상호좌표등록 정확도를 나타내는 것을 확인하였다.

Fig. 7. Distribution of checkpoints forquantitative assessment.

Fig. 8. Co-registration error with Level 1G-1R and Level 1R-1R image pairs: (a) Piecewise linear transformation, (b) Affine transformation.

Level 1G-1R 영상 조합 간 상호좌표등록 결과 오차값이 평균 약 5화소 미만으로 모두 유사한 값을 나타내었지만 Level 1R-1R 영상 조합 간 상호좌표등록 결과는 대상영상에 따라 큰 편차를 나타내었다. 이에 Level 1R-1R 영상 조합에 대해 여러 촬영각 요소를 고려하여 상호좌표등록 결과를 분석하였다. 영상 조합 간 보이는 촬영각 관계에 따른 상호좌표등록 결과를 분석하기 위해, 영상 촬영각인 경사각, 고도각(Elevation angle), 방위각 (Azimuth angle)과스테레오기하를표현하는대표적인촬영각인 수렴각(convergence angle)을 고려하였다(Table 4). 수렴각(δ)은 스테레오를 구성하는 각 센서에서 지상점으로 향하는 두 벡터가 이루는 사이각을 의미하며 수식 (5)를 통해 계산할 수 있다(Jeong et al., 2015). 분석 결과, 수렴각이 Affine 변환모델 상호좌표등록 결과 정확도와 상관성을 가지는 것을 확인하였다. 기준영상과 대상영상 간의 수렴각이 클수록 정확도가 낮아지는 경향을 보였으며 이는 Affine 변환모델 적용 시에만 보이는 결과로 Piecewise Linear 변환모델 적용 결과에는 영향을 주지 않는 것을 확인하였다. 이에 따라 Affine 변환모델 기반으로 상호좌표등록 수행 시 수렴각의 크기를 고려할 필요가 있다고 판단된다. 또한, Fig. 8에서 나타난 것과같이 변환모델의 종류와 무관하게 대상영상이 2015년 12월 29일 영상일 때의 결과 오차값이 가장 높게 산출되었다. 여러 촬영각 요소를 고려해본 결과 해당 영상의 경사각 크기가 5장의 대상영상 중 가장 큰 값을 나타내었다. 경사각은 센서 방향의 촬영각으로, 작을수록 영상이 수직방향으로 촬영된 것을 의미하며, 클수록 촬영 시 센서 방향과 지면이 이루는 경사도가 컸음을 나타낸다. 경사도가 클수록 카메라의 자세 및 지형기복에 의해 발생하는 변위량이 커지게 되는데 이로 인해 두 변환모델 모두에서 오차값이 크게 산출된 것으로 판단된다(Jang et al., 2020). 이에 반해 Level 1G-1R 영상 조합 간 상호좌표등록 수행 시 Level 1R-1R 영상 조합보다 낮은 오차값이 산출될 뿐만 아니라 대상영상의 경사각에 상관없이 상호좌표등록 결과 오차가 일정한 값을 나타내었다. 이는 상호좌표등록 결과가 대상영상의 경사각 영향보다 기준영상의 기하학적 위치 정확도 영향을 크게 받아 나타나는 결과로 판단된다. 즉, 상호좌표등록 수행시 대상영상의 조건보다 기준영상의 조건이 더 중요하게 작용하다는 것을 의미하며 이와 동시에 기준영상의 기하품질이 우수할수록 대상영상의 조건과 무관하게 안정적인 상호좌표등록 정확도를 도출할 수 있음을 나타낸다.

Table 4. Co-registration performance according to acquisition angles

\(\begin{aligned} \cos (\delta)=& \sin \left(E_{1}\right) \sin \left(E_{2}\right)+\\ & \cos \left(E_{1}\right) \cos \left(E_{2}\right) \cos \left(A_{1}-A_{2}\right) \end{aligned}\)       (5)

where E₁ is an Elevation angle of satellite 1, E₂ is an Elevation angle of satellite 2, A₁ is an Azimuth angle of satellite 1, and A₂ is an Azimuth angle of satellite 2.

4. 결론

본 연구에서는 전처리 수행단계에 따라 각각 다른 영상을 기준영상으로 선정하여 수행한 상호좌표등록 결과 분석을 통해 상호좌표등록 수행 시 기준영상 기하정확도의 중요성을 확인하고자 하였다. 이를 위해 KOMPSAT-3 및 KOMPSAT-3A호의 영상 제품 중 기하오차가 보정된 Level 1G 영상과 기하오차를 포함하고 있는 Level 1R 영상 각각을 기준영상으로, 대상영상은 Level 1R 영상으로 선정하여 상호좌표등록을 수행하였다. 우선, 효과적으로 정합쌍을 추출하기 위해 특징 기반 정합기법과 영역기반 정합기법의 장점을 결합한 기법을 제안하였다. SURF 기법과 PC 기법을 함께 이용하여 정합쌍을 추출하였으며 추출된 정합쌍을 기반으로 Affine 변환모델 구성을 통해 대상영상을 기준영상의 좌표로 변환하였다. 이러한 정합 과정을 생성된 피라미드 개수만큼 반복적으로 수행하여 두 영상의 좌표를 개략적으로 일치시켜 주었다. 이후 정밀한 상호좌표 등록을 위해 SURF 기법을 적용하여 정합쌍을 추출하고 Affine 변환모델과 Piecewise Linear 변환모델을 각각 구성하여 상호좌표등록을 수행하였다. 상호좌표등록 결과에 기반하여 기준영상의 기하품질과 상호좌표등록 정확도 간의 연관성을 파악하기 위해 추출된 정합쌍 개수와 분포, 변환모델 종류, 영상 간 촬영각 관계 등에 초점을 맞춰서 분석을 진행하였다.

먼저, Level 1G 및 1R 각각을 기준영상으로 상호좌표 등록을 수행한 결과에 대해 모자이크 영상을 생성하여 시각적으로 평가하였다. 그 결과 Level 1G 영상을 기준 영상으로 활용한 경우 Level 1R 영상보다 안정적으로 상호좌표등록이 수행된 것을 확인하였다. 그리고 추출된 정합쌍을 분석한 결과, 정합쌍 분포 측면에서는 Level 1G 및 1R 모두 유사하였다. 반면 정합쌍 개수는 Level 1G 영상을 기준영상으로 상호좌표등록을 수행 하였을 때 Level 1R 영상보다 상대적으로 많이 추출되었다. 기준영상의 기하정확도에 따라 두 위성영상 간 초기 위치관계가 다르게 정의되며 이로 인해 정합쌍 개수 차이가 발생한 것으로 판단된다. 이는 정합쌍 개수 및 기준영상의 기하품질이 상호좌표등록 결과에 영향을 미치는 요인임을 보여준다. 상호좌표등록 결과를 정량적으로 평가하기 위해 17개의 검사점을 추출하였으며 각 영상조합에 대한 RMSE 값을 산출하였다. Level 1R1R 영상 조합은 Affine 변환모델의 경우 평균 약 16화소, Piecewise Linear 변환모델의 경우 평균 약 8화소의 RMSE가 산출되었다. 반면 Level 1G-1R 영상 조합은 변환모델 종류에 상관없이 약 5화소 이하의 정확도가 도출되었다.

본 논문에서는 다양한 분석을 통해 상호좌표등록 수행 시 기준영상 선정에 고려해야 할 요소들을 평가하였다. 기준영상의 기하품질 및 경사각 요소가 상호좌표 등록 정확도에 영향을 미치는 것을 확인하였으며 안정적인 상호좌표등록 수행을 위해서는 기하품질이 우수한 영상을 기준영상으로 활용하는 것이 가장 효과적이라는 결론을 도출하였다. 향후 본 연구를 기반으로 다양한 지역 및 데이터에 대한 추가적인 실험을 진행한다면 안정적인 상호좌표등록을 위한 기준영상 선정 기준을 확고히 마련할 수 있을 것으로 사료된다.