DOI QR코드

DOI QR Code

Performance Comparison of Matching Cost Functions for High-Quality Sea-Ice Surface Model Generation

고품질 해빙표면모델 생성을 위한 정합비용함수의 성능 비교 분석

  • Kim, Jae-In (Unit of Arctic Sea-ice Prediction, Korea Polar Research Institute) ;
  • Kim, Hyun-Cheol (Unit of Arctic Sea-ice Prediction, Korea Polar Research Institute)
  • 김재인 (극지연구소 북극해빙예측사업단) ;
  • 김현철 (극지연구소 북극해빙예측사업단)
  • Received : 2018.11.19
  • Accepted : 2018.12.17
  • Published : 2018.12.31

Abstract

High-quality sea-ice surface models generated from aerial images can be used effectively as field data for developing satellite-based remote sensing methods but also as analysis data for understanding geometric variations of Arctic sea-ice. However, the lack of texture information on sea-ice surfaces can reduce the accuracy of image matching. In this paper, we analyze the performance of matching cost functions for homogeneous sea-ice surfaces as a part of high-quality sea-ice surface model generation. The matching cost functions include sum of squared differences (SSD), normalized cross-correlation (NCC), and zero-mean normalized cross-correlation (ZNCC) in image domain and phase correlation (PC), orientation correlation (OC), and gradient correlation (GC) in frequency domain. In order to analyze the matching performance for texture changes clearly and objectively, a new evaluation methodology based on the principle of object-space matching technique was introduced. Experimental results showed that it is possible to secure reliability and accuracy of image matching only when optimal search windows are variably applied to each matching point in textureless regions such as sea-ice surfaces. Among the matching cost functions, NCC and ZNCC showed the best performance for texture changes.

항공영상으로 제작한 고품질의 해빙표면모델은 인공위성 기반 원격탐사 기술 개발을 위한 현장자료 뿐만 아니라 북극 해빙의 정밀한 형상학적 변동 특성 분석에도 효과적으로 사용될 수 있다. 그러나 해빙 표면의 부족한 텍스쳐 정보는 영상정합을 어렵게 만드는 요인으로 작용한다. 이에 본 논문에서는 고품질 해빙표면 모델 생성을 위한 일환으로 균질한 해빙 표면에 대한 정합비용함수들의 성능 비교 분석을 수행한다. 정합비용함수로는 영상 도메인의 SSD(sum of squared differences), NCC(normalized cross-correlation), ZNCC(zero-mean normalized cross-correlation), 주파수 도메인의 PC(phase correlation), OC(orientation correlation), GC(gradient correlation)를 분석하였다. 텍스쳐 정보량에 따른 정합 성능을 보다 명확하고 객관적으로 분석하기 위해 객체 공간 기반 정합 기법의 원리를 바탕으로 하는 새로운 평가 방법을 도입하였다. 실험결과는 해빙 표면과 같이 텍스쳐 정보가 희박한 지역에 대해서는 정합 지역에 따라 적합한 크기의 탐색창을 가변적으로 적용해야만 정합의 신뢰성 및 정확도 확보가 가능함을 보여주었다. 정합비용함수들 사이에서는 NCC와 ZNCC가 텍스쳐 정보 변화에 대해서 가장 우수한 성능을 나타냈다.

Keywords

1. 서론

북극 해빙에 대한 정보는 북극의 기후변화 예측과 북극 항로 개척을 이유로 매우 중요하게 다뤄진다(Vihma,2014; Aksenov et al., 2017). 일반적으로 해빙 정보 산출에는 인공위성 자료를 이용한 원격탐사 기술이 널리 활용되고 있다(Karvonen et al., 2012). 이는 해빙이 북극 전역에 걸쳐 광범위하게 분포하고 있기 때문이다. 그러나 인공위성 기반 원격탐사를 통해 산출 가능한 해빙 정보는 농도, 면적 등으로 다소 제한적이다. 이는 원격탐사 기술 개발에 있어 정확한 현장 검증자료가 요구된다는 점이 크게 작용한다(Tschudi et al., 2008). 북극의 혹독한 날씨와 한정된 인력은 현장 관측에 의한 자료 획득을 매우 어렵게 만든다.

현장 관측에 의한 자료 획득의 어려움으로 인해 최근에는 유/무인 항공기를 이용한 자료 획득 방식이 고려되고 있다(Hagen et al., 2014; Divine et al., 2016). 이러한 방식은 직접적인 현장조사와 비교하여 광역적이고 조밀한 현장자료 획득이 가능하다. 또한 광학위성과는 달리,구름에 의한 제약이 없고 자료 획득시기 선정에도 유연한 장점을 가진다. 특히, 항공영상으로 얻을 수 있는 해빙의 수치표고모델은 해빙의 다양한 정보를 산출하기 위한 인공위성 기반 원격탐사 기술 개발은 물론 해빙의 정밀한 형상학적 변동 특성 분석에도 효과적으로 사용될 수 있다. 그러나 문제는 해빙이 눈과 얼음으로 뒤덮여 있기 때문에 표면에 텍스쳐 정보가 극히 부족하다는 점이다. 이러한 해빙의 표면 특성은 수치표고모델 생성을 위한 영상정합을 어렵게 만든다(Veksler, 2003).

이에 본 논문에서는 고품질 해빙표면모델 생성의 일환으로 여러 정합비용함수들의 성능을 비교 분석한다. 물론, 정합비용함수들의 성능은 기존에 이미 많은 연구가 이루어진 바 있다(Hirschmuller and Scharstein, 2009;Heid and Kaab, 2012). 그러나 기존 연구들은 주로 텍스쳐 정보가 많은 지표 또는 대상에 초점을 맞추어 성능분석이 이루어졌다. 따라서 본 논문에서는 해빙 표면의 특성을 고려하여 텍스쳐 정보량 부족에 대한 강인성에 초점을 맞추어 분석을 수행한다. 또한 텍스쳐 정보량에 따른 정합 성능을 보다 명확하고 객관적으로 분석하기 위해 객체공간 기반 정합기법의 원리를 바탕으로 하는 새로운 평가 방법을 제시하고자 한다.

2. 실험자료

1) 항공영상 자료

성능분석을 위한 영상 자료로는 2017년도 8월, 동시베리아해와 보퍼트해 사이에서 이루어진 북극 해빙 현장조사(북위 77.5879°, 동경 179.2901°)를 통해 취득한 드론 영상 25장을 사용하였다. Fig. 1은 해빙 현장조사 위치와 영상 촬영 지점들을 나타낸 것이다. 영상 촬영에 사용된 카메라는 DJI Phantom 4에 탑재된 FC330으로써, 영상 크기 4000(3000, 초점거리 3.6 mm,화소 크기 1.58 micro;m의 제원을 가진다.

OGCSBN_2018_v34n6_2_1251_f0008.png 이미지

Fig. 1. (a) Location of sea-ice camp and (b) image acquisition position on the sea-ice

본 논문에서 정합비용함수들의 비교 분석은 객체공간 기반 정합 기법의 원리를 바탕으로 성능을 측정하여 이루어지기 때문에 각 영상의 내부 및 외부 표정요소가 요구된다. 일반적으로 영상들의 표정요소는 대응점과 지상기준점 모두를 이용하여 번들블록조정을 통해 추정돼야 한다. 그러나 해빙은 끊임없이 바다 위를 움직이고 있기 때문에 지상기준점을 이용한 정밀 지오레퍼런싱은 현실적으로 이루어지기 어렵다. 이에 본 논문에서는 영상들 사이의 대응점만을 이용하여 영상 표정을 수행하였다. 영상의 표정 작업은 드론 영상처리전문 소프트웨어 Pix4D(ver. 4.1.24)를 이용하였다.

2) 해빙표면모델 자료

정합비용함수의 성능분석에는 영상들의 표정요소와 더불어 정확한 3차원 객체점 또한 필요하다. 드론 영상으로 생성한 해빙표면모델은 부족한 텍스쳐 정보에 기인하여 많은 오정합점들을 내포할 수 있다. 이 때문에 분석을 위한 객체점 선정은 동일 시기에 취득된 레이져 스캐너 포인트클라우드 자료를 이용하여 이루어졌다. 포인트클라우드 취득에 사용된 스캐너는 FAROFocus3D X130 제품으로 적용 거리 0.6~130 m, 정밀도 2mm, 수직 범위 300°, 수평 범위 360°의 제원을 가진다. Fig. 2는 스캐너 운영 작업과 포인트클라우드의 격자화로 취득한 해빙표면모델을 보여준다.

OGCSBN_2018_v34n6_2_1251_f0009.png 이미지

Fig. 2. (a) Laser scanner operation and (b) sea-ice surface model from scanner point cloud.

분석점의 높이값을 스캐너 해빙표면모델로부터 대체하기 위해서는 먼저 영상의 외부표정요소가 정의된 좌표계와 해빙표면모델이 정의된 좌표계를 서로 일치시키는 작업이 필요하다. 이를 위해 드론 모자이크 영상과 스캐너 모자이크 영상 사이에 대응점을 추출하여 좌표계 정렬을 수행하였다. 대응점은 총 10점이 사용되었으며, 그에 따른 3차원 변환오차는 X, Y, Z축 각각에 대해서 약 0.04, 0.03, 0.04 m로 나타났다.

3. 성능분석 방법

영상정합의 정확도는 적용한 정합비용함수와 탐색창 크기에 좌우된다. 정합비용함수는 대상지역의 표면 특성에 높은 분별력을 가져야 하며, 탐색창은 내부에 표고 변이가 발생하지 않는 선에서 충분히 많은 텍스쳐 정보를 포함할 수 있도록 크게 설정되어야 한다. 이러한 배경으로 본 논문에서는 텍스쳐 정보량 변화에 대한 여러 정합비용함수들의 성능을 비교 분석한다. 텍스쳐 정보량은 정합을 위한 탐색창의 크기를 다르게 적용함으로써 조절된다. 정합 정확도는 사전에 정의한 정합 오차 지표를 이용하여 측정된다. 그런 다음는 탐색창 크기별 정합 오차 측정 결과를 바탕으로 정합에 요구되는 최소 크기의 탐색창(또는 최적 탐색창)을 규정한다. 즉, 텍스쳐 정보량에 대한 정합 성능 분석은 최적 탐색창 크기에서 측정된 정합 오차 비교를 통해 이루어지게 된다. 본 장에서는 분석할 정합비용함수, 오차 지표 측정 방법, 그리고 최적 탐색창 결정 방법에 대해 기술한다.

1) 정합비용함수

정합비용함수는 두 영상 사이의 유사성을 나타내는 지표로써 영상 도메인 방식과 주파수 도메인 방식으로 분류할 수 있다. 영상 도메인 지표들은 시차맵(disparity map) 또는 수치표고모델(digitalsurface model) 생성에 주로 사용되며, 주파수 도메인 지표들은 영상등록(image registration)에 주로 사용된다. 본 논문에서는 각 도메인의 대표적인 몇 가지 정합비용함수에 대해 성능을 비교한다.

영상 도메인에서는 SSD(sum of squared differences),NCC(normalized cross-correlation), ZNCC(zero-mean normalized cross-correlation)가 고려된다. SSD는 M(N 크기의 두 패치영상에 대해 동일 위치에 놓인 화소값의 차이를 제곱하고 이들을 모두 더해 유사성을 표현한다. 따라서 SSD는 0에 가까울수록 높은 유사도를 가진다. 그러나, 일반적으로 SSD는 두 패치영상 사이의 명암(contrast) 및 밝기(constant offset)의 차이와 잡음에 민감하다고 알려져 있다. SSD를 수식으로 표현하면 다음 식(1)과 같다. 여기서 fi와 gi는 두 패치영상 f, g, 각각에 대한 i번째 화소값을 의미한다.

\(S S D=\sum_{i=1}^{M N}\left(f_{i}-g_{i}\right)^{2}\)       (1)

반면, NCC는 정규화를 통해 명암 차이와 잡음에 대해 불변성을 가진다. 이런 이유로, NCC는 정합비용함수로서 널리 사용되고 있다. NCC는 1에 가까울수록 높은 유사도를 가진다. 다음은 NCC를 수식으로 나타낸 것이다.

\(\mathrm{NCC}=\frac{\sum_{i=1}^{M N} f_{i} g_{i}}{\sqrt{\sum_{i=1}^{M N} f_{i}^{2} \sum_{i=1}^{M N} g_{i}^{2}}}\)       (2)

ZNCC는 NCC로 해결할 수 없는 밝기 차이에 의한 영향까지 완화시켜준다. 따라서, ZNCC는 두 패치영상 사이의 명암과 밝기의 차이, 그리고 잡음에 대해 불변성을 가진다고 할 수 있다. ZNCC 역시도 1에 가까울수록 은 유사도를 가진다. 다음의 식(3)은 ZNCC를 나타낸 것이다. 여기서 [구현필요]는 두 패치영상 각각의 화소값 평균을 의미한다

\(\mathrm{ZNCC}=\frac{\sum_{i=1}^{M N}\left(f_{i}-\bar{f}\right)\left(g_{i}-\bar{g}\right)}{\sqrt{\sum_{i=1}^{M N}\left(f_{i}-\bar{f}\right)^{2} \sum_{i=1}^{M N}\left(g_{i}-\bar{g}\right)^{2}}}\)       (3)

주파수 도메인에서는 PC(phase correlation), OC(orientation correlation), GC(gradient correlation)가 고려된다. PC는 주파수 도메인에서의 NCC로 간주할 수 있. 주파수 도메인에서 CC(cross-correlation)는 푸리에 추이 정리(Fourier shift theorem)를 바탕으로 두 영상 각각의 푸리에 변환(Fourier transform)들을 곱하여 얻을 수 있다(Reddy and Chatterji, 1996). 이때, PC는 진폭(amplitude)의 영향을 상쇄시켜 위상 정보만을 고려함으로써 정규화의 목적을 달성한다. 이는 식 (4)와 같이 나타낼 수 있다. 여기서 F와 G는 영상 f와 g 각각의 푸리에 변환, *표시는 켤레 복소수, IFFT는 역푸리에 변환(inverse Fourier transform)을 의미한다.

\(\mathrm{PC}=\operatorname{IFFT}\left(\frac{F G^{*}}{\left|F G^{*}\right|}\right)\)       (4)

OC는 영상의 화소값이 아닌 그래디언트 영상의 방향 성분을 이용한다(Fitch et al., 2002). 즉, OC는 식(5)와같이 변환된 그래디언트 방향영상(orientation image)을이용하여 식(7)과 같이 유사도를 산출한다. 여기서 sgn는 식(6)과 같은 부호함수(signum function), i는 허수부를 의미한다.

\(f_{o}=\operatorname{sgn}\left(\frac{\partial f}{\partial x}+i \frac{\partial f}{\partial y}\right), \quad g_{o}=\operatorname{sgn}\left(\frac{\partial g}{\partial x}+i \frac{\partial g}{\partial y}\right)\)       (5)

\(f_{o}=\operatorname{sgn}\left\{\begin{array}{ll} 0 & \text { if }|x|=0 \\ \frac{x}{|x|} & \text { otherwise } \end{array}\right.\)       (6)

\(\mathrm{OC}=I F F T\left(F_{o} G_{o}^{*}\right)\)       (7)

OC는 식 (7)에서 볼 수 있듯이 주파수 진폭의 영향을 제거하지 않는다. 이는 방향영상을 생성하는 과정에서 이미 정규화가 이루어지기 때문이다. 만약, 두 종류의 정규화를 모두 적용할 경우, 오히려 신호 특성의 손실이 발생할 수 있다(Heid and Kaab, 2012).

GC는 OC와는 다르게 영상의 그래디언트 성분을 이용한다(Argyriou and Vlachos, 2003). 그래디언트 영상으로의 변환은 식 (8)과 같으며, 유사도는 OC와 동일하게 식 (9)와 같이 계산된다.

\(f_{t}=\frac{\partial f}{\partial x}+i \frac{\partial f}{\partial y}, \quad g_{t}=\frac{\partial g}{\partial x}+i \frac{\partial g}{\partial y}\)       (8)

\(\mathrm{GC}=I F F T\left(F_{t} G_{t}^{*}\right)\)       (9)

2) 정합거리오차

주어진 3차원 객체점이 참값이라면, 이에 대한 영상별 역투영점은 모두 동일 지점을 나타내야 한다. 이는 객체공간 기반 정합 기법의 기본 원리에 해당한다. 따라서 이상적으로는 역투영점을 중심으로 각 영상별 패치영상을 추출하고, 상호간에 영상정합을 수행한다면, 최대 유사도를 나타낸 지점들은 패치영상의 중심점과 일치해야 한다. 그러나 실제 정합된 지점과 패치영상의 중심점 사이에는 리 오차가 발생할 수 있다. 이는 패치영상(또는 탐색창)의 크기와 정합비용함수의 특성에 기인한다. 본 논문에서 이와 같이 산출된 오차를 정합 거리오차라 정의한다. 이 오차 지표를 이용하면 참값의 객체점과 특정 크기의 패치영상들이 주어졌을 때, 정합비용함수들 사이의 객관적인 성능 비교가 가능해진다. Fig. 3은 정합거리오차의 개념를 도식화한 것이다.

OGCSBN_2018_v34n6_2_1251_f0010.png 이미지

Fig. 3. Definition of matching distance errr.

정합거리오차는 정합영상 검색, 기준영상 결정, 패치 영상 생성, 정합점 추출 단계를 거쳐 측정된다. 정합영상 검색 단계에서는 공선조건(collinearity condition)을이용하여 주어진 객체점이 촬영된 모든 영상들을 검색한다. 이들 영상은 이후 정합영상으로 명명한다.

기준영상 결정 단계에서는 검색된 영상들 중에서 정합의 기준을 결정한다. 일반적으로 영상 정합이 제대로 이루어지기 위해서는 두 영상 사이에 기복 변위(relief displacement)의 차이가 작아야 한다. 따라서 기준영상은 주어진 객체점 상공에서 가장 연직 촬영된 영상으로 선정하는 것이 가장 적합할 것이다. 이런 조건에 부합하는 영상을 찾기 위해 객체점(P), 지상 주점(M), 지상연직점(N)으로부터 식 (10)과 같이 비용함수를 정의하였다.

\(d_{i}=\left|\overrightarrow{P_{i} M_{i}}\right|+\left|\overrightarrow{P_{i} N_{i}}\right|\)       (10)

여기서  [구현필요]과 [구현필요]은 객체점에 대한 카메라의 자세 및 위치와 밀접한 관계를 가진다. 즉, [구현필요]과  [구현필요]가 작아질수록 객체점에 대한 영상의 정사투영성은 높아진다. 따라서 기준영상은 식 (10)의 결과를 최소화 시키는 영상으로 결정할 수 있다. Fig. 4는 기준영상 결정에 필요한 객체점, 지상 주점, 지상 연직점 사이의 관계를 보여준다.

OGCSBN_2018_v34n6_2_1251_f0003.png 이미지

Fig. 4. Relationship between the object point, ground principal point, and ground nadir points.

패치영상 생성 단계에서는 각 영상별로 정합에 사용할 패치영상을 생성한다. 패치영상은 주어진 객체점을 중심으로 그리드 평면을 설정하고, 각 그리드마다 화소값을 역투영하여 생성된다. 따라서 모든 패치영상들의 방향과 축척은 근사적으로 동일하다. 이때, 기준 패치영상은 템플릿 패치영상 보다 더 넓은 영역에 대해서 생성된다(Fig. 3 참조).

마지막 정합점 추출 단계에서는 기준 패치영상에 대해서 템플릿 패치영상들의 정합점을 추출한다. 정합점은 기준 패치영상 위에서 moving window 방식으로 유사도를 측정할 때, 템플릿 패치영상과의 유사도가 최대인지점으로 결정한다. 즉, 기준 패치영상은 탐색영역, 템플릿 패치는 탐색창으로 간주된다. 정합 거리 오차는 기준 패치영상의 중심점과 템플릿 패치영상로 추출된정합점들 사이의 이격거리를 모두 평균하여 계산한다.

3) 최적 탐색창 결정

최적 탐색창은 영상정합의 신뢰성이 보장되는 최소크기의 탐색창(또는 템플릿 패치영상)을 의미한다. 본 논문에 최적 탐색창은 정합거리오차 기준과 정합 신뢰성 기준을 동시에 만족하는 가장 작은 크기의 탐색창으로 결정한다. 정합거리오차 기준과 정합 신뢰성 기준은 참값의 객체점들을 분석하여 결정한다.

정합거리오차의 기준은 탐색창의 크기를 늘려가며 오차를 측정했을 때, 객체점별 오차의 최소값들이 가지는 통계 분포에서 3σ에 해당하는 값으로 결정한다.

정합의 신뢰성 기준은 탐색창과 함께 탐색영역의 크기 또한 늘려가며 정합거리오차를 측정했을 때, 각 탐색창에서 탐색영역 크기별로 발생하는 정합거리오차의 변동성으로부터 결정한다. 이는 영상정합의 신뢰성이 보장되도록 적절한 탐색창 크기가 적용된다면, 탐색영역의 크기가 변하더라도 매번 동일한 정합 결과를 나타내야 한다는 가정을 전제로 한다. 따라서 정합 신뢰성 기준은 정합거리오차의 표준편차들에 대한 제3 사분위수(Q3)와 사분위수 범위(inter quantile range, IQR)로부터 Q3 + 1.5 × IQR로 결정하였다.

4. 성능분석 결과

정합비용함수들의 성능분석을 위해 좌표계가 일치된 드론 모자이크 영상과 스캐너 해빙표면모델을 이용하여 총 20점의 분석점을 추출하였다. 드론 모자이크 영상의 육안분석을 통해 분석점들은 상대적으로 텍스쳐가 많은 지역과 적은 지역으로 구분되어 추출되었다. 1~9번 분석점은 텍스쳐가 많은 지역에서 추출되었으며,10~20번 분석점은 텍스쳐가 희박한 지역에서 추출되었다. Fig. 5는 대상영역에서 추출된 전체 분석점들을 보여주며, Fig. 6은 텍스쳐 정보량이 다른 분석점들의 예시를 보여준다.

OGCSBN_2018_v34n6_2_1251_f0004.png 이미지

Fig. 5. Analysis points extracted for performance evaluation.

OGCSBN_2018_v34n6_2_1251_f0005.png 이미지

Fig. 6. Examples of textured (top) and textureless (bottom) points.

20개 분석점에 대해 정합비용함수별로 최적 탐색창 크기를 도출하였다. Fig. 7은 각 분석점별 최적 탐색창도출 결과를 보여주며, Table 1은 텍스쳐 정보량에 따라 분석점을 나누어 최적 탐색창 크기의 평균을 계산한 것이다.

Table 1. Mean optimal window sizes for the analysis points (unit : pixels)

OGCSBN_2018_v34n6_2_1251_t0001.png 이미지

OGCSBN_2018_v34n6_2_1251_f0006.png 이미지

Fig. 7. Optimal window sizes derived for the analysis points.

실험결과에서 최적 탐색창의 크기는 텍스쳐 정보가 상대적으로 적은 지점들(10~20번점)에서 더 크게 나타났다. 이는 신뢰성 있는 영상정합 위해서는 정합지점의 텍스쳐량을 고려하여 가변적으로 적절한 크기의 탐색창을 적용해야 함을 보여준다.

다음 Fig. 8은 각 분석점별 최적 탐색창 크기에서의 정합거리차 측정 결과이며, Table 2는 텍스쳐 정보량에 따라 분석점을 나누어 정합거리오차의 평균을 계산한 것이다.

OGCSBN_2018_v34n6_2_1251_f0007.png 이미지

Fig. 8. Matching distance errors at the optimal window sizes for the analysis points.

Table 2. Mean matching distance errors for the analysis points (unit : pixels)

OGCSBN_2018_v34n6_2_1251_t0002.png 이미지

실험결과에서는 최적 탐색창 도출 결과에서와는 달리 텍스쳐 정보량에 따른 차이가 관측되지 않았다. 이는 적절한 크기의 탐색창이 적용된다면 일관적인 영상정합 정확도 확보가 가능함을 보여준다. 따라서 위의 두 실험결과를 종합해 보면, 영상정합의 신뢰성 및 정확도 모두를 확보하기 위해서는 정합지점의 텍스쳐 정보량을 고려하여 가변적으로 탐색창 크기를 적용해야 한다는 결론을 도출할 수 있다.

영상 도메인과 주파수 도메인의 정합비용함수 비교에 있어서는 영상 도메인의 정합비용함수들이 더 작은탐색창 크기를 나타냈다. 이는 주파수 도메인 정합비용함수들의 정합 특성에 기인한 것으로 판단된다. 주파수도메인 정합비용함수는 영상을 주파수 성분으로 변환하고 모든 주파수 성분에서 가장 우세하게 나타나는 위상 차이를 바탕으로 정합점을 결정한다. 그러나 문제는 텍스쳐 정보가 적은 해빙 표면의 경우, 저주파 성분들 위주로 구성된다는 점이다. 이는 영상 잡음이 푸리에 변환 결과에 side effect를 증폭시킴으로써 결과적으로 부정확한 정합 결과를 유발할 수 있게 만든다. 이 때문에 주파수 도메인 비용함수들은 푸리에 변환 결과의 신뢰성 확보를 위해 영상 도메인 정합비용함수들과 비교하여 더 큰 탐색창이 요구되었을 것으로 판단된다.

한편, NCC와 ZNCC는 텍스쳐 정보량이 많은 지점과적은 지점 모두에서 다른 정합비용함수들과 비교하여 가장 작은 크기를 나타냈다. 또한 텍스쳐 정보량이 많은 지점들과 적은 지점들 사이에 탐색창 크기의 증가 폭 또한 가장 작게 나타났다. 그런 반면, 최적 탐색창에서의 영상정합 정확도는 정합비용함수들 사이에서 큰 차이를 발견할 수 없었다. 이는 NCC 및 ZNCC가 텍스쳐정보가 적은 표면에 대해 높은 분별력을 가질 수 있음을 보여준다.

또한, 본 연구에서는 NCC와 ZNCC의 결과 차이가 극히 작게 나타났다. 이는 분석에 사용한 드론 영상이 단시간 동안에 취득됨에 따라 서로간에 gain과 offset 차이가 적었기 때문이라 판단된다. 이는 한편으로 SSD의 성능 저하의 원인이 주로 영상 잡음에 기인했음을 보여주는 결과라고도 할 수 있다. 따라서 해빙표면모델 생성을 위한 영상정합 측면에서는 영상 도메인의 NCC와ZNCC가 가장 효과적이라 판단되며, 연산효율성까지 고려한다면 이들 중에서는 NCC가 가장 우수하다고 할 수 있을 것이다.

5. 결론

본 논문에서는 다중 항공영상으로부 고품질의 해빙표면모델을 생성하기 위한 일환으로 여러 정합비용함수들의 성능을 비교 분석하였다. 성능 분석은 해빙 표면의 특성을 고려하여 텍스쳐 정보량 부족에 대한 강인성에 초점을 맞추었다. 텍스쳐 정보량에 따른 정합성능을 보다 명확하고 객관적으로 평가하기 위해 정합 거리오차 측정 방법과 최적 탐색창 결정 방법을 도출하였다. 성능분석 실험결과에서 최적 탐색창의 크기는 텍스쳐 정보량이 적은 지점들에서 상대적으로 더 크게 측정된 반면, 이 때의 정합거리오차는 텍스쳐 정보량에 상관없이 서로 유사하게 나타났다. 이 결과는 해빙표면과 같이 텍스쳐 정보량이 희박한 지역에 대해서는 정합지역에 따라 적합한 크기의 탐색창을 가변적으로 적용해야 정합의 신뢰성 및 정확도 확보가 가능함을 보여준다. 영상 도메인과 주파수 도메인 정합비용함수들 사이의 비교에서는 영상 도메인 정합비용합수들이 정합 정확도 저감없이 더 작은 크기의 최적 탐색창을 나타냈다. 특히, NCC와 ZNCC는 다른 정합비용함수들 보다 월등히 뛰어난 성능을 나타냈다. 이는 적은 텍스쳐량에 대한 NCC와 ZNCC의 높은 분별력을 보여준다. 본 논문의 분석결과는 텍스쳐 정보량이 적은 빙권지역을 대상으로 하는 영상정합 기반 활용연구에 있어 정합비용함수 선정과 최적 탐색창 도출에 기여할 수 있을 것이다. 특히, 본 논문의 성과는 고품질 해빙표면모델 생성 방법을 개발함에 있어 이론적 및 기술적으로 중요한 토대가 될 수 있을 것이다. 따라서 향후 연구에서는 본 논문의 방법론과 분석결과를 바탕으로 가변적 탐색창을 이용한 고품질 해빙표면모델 생성 방법을 연구할 계획이다.

사사

본 연구는 극지연구소의 북극 해빙 위성관측을 위한 분석 기술 개발(PE18120) 연구과제의 지원으로 수행되었습니다.

References

  1. Aksenov, Y., E. E. Popova, A. Yool, A. J. G. Nurser, T. D. Williams, L. Bertino, and J. Bergh, 2017. On the future navigability of Arctic sea routes: High-resolution projections of the Arctic Ocean and sea ice, Marine Policy, 75(2017): 300-317. https://doi.org/10.1016/j.marpol.2015.12.027
  2. Argyriou, V. and T. Vlachos, 2003. Motion measurement using gradient-based correlation, Proc. of International Conference on Visual Information Engineering, Guildford, UK, Jul. 7-9, pp. 81-84.
  3. Divine, D. V., C. A. Pedersen, T. I. Karlsen, H. F. Aas, M. A. Granskog, S. R. Hudson, and S. Gerland, 2016. Photogrammetric retrieval and analysis of small scale sea ice topography during summer melt, Cold Regions Science and Technology, 129: 77-84. https://doi.org/10.1016/j.coldregions.2016.06.006
  4. Fitch, A. J., A. Kadyrov, W. J. Christmas, and J. Kittler, 2002. Orientation correlation, Proc. of British Machine Vision Conference, Cardiff, Wales, UK, Sep. 2-5, pp. 133-142.
  5. Hagen, R., M. Peters, R. Liang, D. Ball, and J. Brozena, 2014. Measuring Arctic sea ice motion in real time with photogrammetry, IEEE Geoscience and Remote Sensing Letters, 11(11): 1956-1960. https://doi.org/10.1109/LGRS.2014.2314958
  6. Heid, T. and A. Kaab, 2012. Evaluation of existing image matching methods for deriving glacier surface displacements globally from optical satellite imagery, Remote Sensing of Environment, 118(15): 339-355. https://doi.org/10.1016/j.rse.2011.11.024
  7. Hirschmuller, H. and D. Scharstein, 2009. Evaluation of stereo matching costs on images with radiometric differences, IEEE transactions on pattern analysis and machine intelligence, 31(9): 1582-1599. https://doi.org/10.1109/TPAMI.2008.221
  8. Karvonen, J., B. Cheng, T. Vihma, M. Arkett, and T. Carrieres, 2012. A method for sea ice thickness and concentration analysis based on SAR data and a thermodynamic model, The Cryosphere, 6(6): 1507-1526. https://doi.org/10.5194/tc-6-1507-2012
  9. Reddy, B. S. and, B. N. Chatterji, 1996. An FFT-based technique for translation, rotation, and scale-invariant image registration, IEEE Transactions on Image Processing, 5(8): 1266-1271. https://doi.org/10.1109/83.506761
  10. Tschudi, M. A., J. A. Maslanik, and, D. K. Perovich, 2008. Derivation of melt pond coverage on Arctic sea ice using MODIS observations, Remote Sensing of Environment, 112(5): 2605-2614. https://doi.org/10.1016/j.rse.2007.12.009
  11. Veksler, O., 2003. Fast Variable Window for Stereo Correspondence using Integral Images, Proc. of IEEE Conference on Computer Vision and Pattern Recognition, Madison, WI, USA, Jun. 18-20, vol. 1, pp. 556-561.
  12. Vihma, T., 2014. Effect of Arctic sea ice decline on weather and climate: a review, Surveys in Geophysics, 35(5): 1175-1214. https://doi.org/10.1007/s10712-014-9284-0

Cited by

  1. 농림위성용 GCP 칩 매칭 성능 향상을 위한 위성영상 공간해상도 결정 vol.37, pp.6, 2021, https://doi.org/10.7780/kjrs.2021.37.6.1.3