A Study on the Seamline Estimation for Mosaicking of KOMPSAT-3 Images

KOMPSAT-3 영상 모자이킹을 위한 경계선 추정 방법에 대한 연구

Abstract

The ground sample distance of KOMPSAT-3 is 0.7 m for panchromatic band, 2.8 m for multi-spectral band, and the swath width of KOMPSAT-3 is 16 km. Therefore, an image of an area wider than the swath width (16 km) cannot be acquired with a single scanning. Thus, after scanning multiple areas in units of swath width, the acquired images should be made into one image. At this time, the necessary algorithm is called image mosaicking or image stitching, and is used for cartography. Mosaic algorithm generally consists of the following 4 steps: (1) Feature extraction and matching, (2) Radiometric balancing, (3) Seamline estimation, and (4) Image blending. In this paper, we have studied an effective seamline estimation method for satellite images. As a result, we can estimate the seamline more accurately than the existing method, and the heterogeneity of the mosaiced images was minimized.

KOMPSAT-3의 지상해상도는 전정색 밴드: 0.7 m, 다중 스펙트럴 밴드: 2.8 m이며, 관측 폭의 경우 16 km이다. 따라서 관측 폭(16 km) 보다 넓은 지역의 영상을 한 번의 촬영으로 획득할 수 없으며, 관측 폭 단위로 넓은 지역을 겹치게 촬영 한 후에 획득한 영상들을 하나의 영상으로 만들어야 주어야 한다. 이때 필요한 알고리즘을 영상 모자이킹 또는 영상 스티칭이라고 하며, 지도 제작, 국토관리 분야 등에 사용된다. 모자이킹 알고리즘은 일반적으로 (1) 특징점 추출 및 매칭, (2) 복사 평형, (3) 경계선 추정, (4) 영상 블렌딩의 4단계로 이루어져 있다. 본 논문에서는 위성 영상에서 효과적으로 경계선 추정할 수 있는 방법에 대해 연구하였다. 그 결과 기존의 방법에 비하여 더 정확하게 경계선을 추정할 수 있었으며, 모자이킹이 된 영상도 경계선 부분의 이질감이 최소화 되었다.

요약

KOMPSAT-3의 지상해상도는 전정색 밴드: 0.7 m, 다중 스펙트럴 밴드: 2.8 m이며, 관측 폭의 경우 16 km 이다. 따라서 관측 폭(16 km) 보다 넓은 지역의 영상을 한 번의 촬영으로 획득할 수 없으며, 관측 폭 단위로 넓은 지역을 겹치게 촬영 한 후에 획득한 영상들을 하나의 영상으로 만들어야 주어야 한다. 이때 필요한 알고리즘을 영상 모자이킹 또는 영상 스티칭이라고 하며, 지도 제작, 국토관리 분야 등에 사용된다. 모자이킹 알고리즘은 일반적으로 (1) 특징점 추출 및 매칭, (2) 복사 평형, (3) 경계선 추정, (4) 영상 블렌딩의 4단계로 이루어져 있다. 본 논문에서는 위성 영상에서 효과적으로 경계선 추정할 수 있는 방법에 대해 연구하였다. 그 결과 기존의 방법에 비하여 더 정확하게 경계선을 추정할 수 있었으며, 모자이킹이 된 영상도 경계선 부분의 이질감이 최소화 되었다.

1. 서론

KOMPSAT-3(Korea Multi-Purpose Satellite-3)는 2012년 5월 발사 이후로 현재까지 정상 운영 중에 있다. KOMPSAT-3의 지상해상도(Ground sample distance, GSD)는 전정색 밴드(Panchromatic band, PAN): 0.7 m, 다중 스펙트럴 밴드(Multi-spectral band, MS): 2.8 m이며, 관측폭(Swath width)의 경우 16 km이다. 따라서 관측폭(16 km)보다 넓은 지역의 영상을 한 번의 촬영으로 획득할 수 없으며, 관측 폭 단위로 넓은 지역을 겹치게 촬영한 후에 획득한 영상들을 하나의 영상으로 만들어야 주어야 한다. 이때 필요한 알고리즘을 영상 모자이킹 또는 영상 스티칭이라고 하며, 지도 제작, 국토관리 분야 등에 사용된다. 모자이킹 알고리즘의 경우 일반적으로 Fig. 1과 같은 순서로 이루어져 있다.

Fig. 1. General Mosaicking Algorithm Workflow.

영상 모자이킹의 첫 단계는 서로 다른 두 영상을 하나의 좌표계로 변환하는 것이다. 해당 작업을 위해서 첫 번째 영상(기준 영상)과 두 번째 영상(소스영상)의 특징점을 추출한다. 영상의 특징점을 추출하는 알고리즘은 SIFT(Lowe, 2004), SURF(Bay et al., 2006), DAISY(Tola et al., 2010). DASC(Kim et al., 2015) 등 다양한 방법이 연구되어 왔으나 환경에 따라 정확도가 저하되는 한계점이 존재한다. 또한, 특징점을 추출하는 데 높은 계산복잡도를 요구하기 때문에 시간이 매우 오래 걸리는 단점이 있다. 다음으로 이렇게 추출한 특징점을 Homography 방법과 같은 상대기하보정 방법을 이용해서 두 영상이 모자이킹이 될 수 있도록 같은 좌표계로 변환시킨다.

모자이킹의 세 번째 단계는 다른 두 영상의 밝기를 같게 만들어주기 위하여 상대 복사보정의 한 종류인 복사 평형(Radiometric balancing)을 수행하는 것이다. 이때 기준 영상의 밝기를 기준으로 두 번째 영상의 밝기를 같게 만들어주면 된다. 일반적으로 밝기를 같게 만들기 위해서는 두 영상의 중복 영역을 구한 후에 중복 영역을 구한 후 중복 영역의 평균과 표준편차 등을 이용해서 두 영상간의 전역 복사 평형(Global radiometric balancing)(Liu et al., 2014; Reinhard et al., 2001; Gadallah et al., 2000)을 수행하거나. 모델링을 이용해서 국소복사 평형(Local radiometric balancing) (Tai et al., 2005; Oliveira et al., 2015)을 수행한다. 전역 복사 평형의 경우 계산복잡도가 적으면서 영상 전반의 밝기 균형이 잘 맞는 장점이 있으나, 국소영역에 대해서는 밝기가 잘 맞지 않는 단점이 있다. 반면 국소 복사평형의 경우 국소영역에 대해서도 밝기 균형을 맞출 수 있는 장점이 있지만, 계산복잡도가 매우 높으며, 복사평형이 올바르게 되지 않는 경우가 종종 발생하는 단점이 있다.

모자이킹의 네 번째 단계로는 두 영상 간의 경계선(Seamline)을 추정하는 단계이다. 이 단계가 필요한 이유는 두 영상의 특징점 및 중복 영역을 정확하게 결정하였다 하더라도 영상 취득 시점의 위성관측 각, 태양의 위치, 위성의 기하학적 특성 등이 다르기 때문에 두 영상이 기하학적으로 일치하지 않는 불일치성이 존재하기 때문이다. 본 논문에서는 Fast and robust seam estimation to seamless image stitching(Hejazifar et al., 2018) 알고리즘을 기반으로 알고리즘을 개발하였으며, 위성영상에 적합한 손실 함수를 제안하였다. 해당 내용은 2절에서 보다 자세하게 다루도록 하겠다.

모자이킹의 마지막 단계는 영상 연결(Image blending)이다. 경계선을 추정한 후에 경계선을 기반으로 두 영상을 단순히 연결시킬 경우에는 경계선에서 이질감이 존재하게 된다. 또한, 전역 복사 평형을 이용해서 두 영상 간의 밝기를 맞춰 주었을 경우에는 국소영역에 대해서 밝기가 정확하게 맞지 않기 때문에 이는 영상간 경계선에서 더욱 두드러지게 보이게 한다. 이러한 현상을 방지하기 위해서 두 영상 간의 밝기가 급격하게 변하지 않게 해야 하며, 이러한 방법으로는 Pan et al. (2016), Li et al. (2015), Shao et al. (2012) 등이 존재한다.

2. 알고리즘 순서 및 설명

본 연구에서 사용한 모자이킹 알고리즘의 순서는 앞서 설명한 Fig. 1과 유사하며, 모자이킹의 첫 번째 단계인 특징점 추출 및 매칭과 두번째 단계인 Homography가 삭제되고 영상기하보정 단계가 추가된 것이 바뀐 것이 특징이다. 본 논문에서의 알고리즘 순서도는 다음 Fig. 2와 같다.

Fig. 2. Proposed Mosaicking Algorithm Workflow.

1) 기하 보정 (Geometric Correction)

먼저 알고리즘의 첫 단계는 기하보정이다. 기존의 영상의 특징점을 이용한 방법의 경우 특징점을 추출하는 데 높은 계산복잡도를 요구하기 때문에 계산 시간이 매우 오래 걸리는 단점이 있으며, 영상 간의 계절이나 시점이 달라짐에 따라 특징점의 정확도가 저하되는 문제가 있다. 이러한 문제점을 개선하기 위하여 본 논문에서는 상대 기하 보정을 사용하였다. 상대 기하 보정의 경우 동일점 해석을 통해서 결정된 기준점의 지상 좌표와 DEM(Digital elevation model)에서 추출한 표고값, Level 1R의 RPC정보를 이용하여 2차 다항식 형태의 refineRPC 모델을 통해서 수행하였다. 상대 기하 보정이 가능한 이유는 다목적실용위성 3호 Level1R 제품군은 RPC(Rational polynomial coefficient) 자료를 제공하며, strip imaging mode의 위치 정확도가 15m RMSE수준이기 때문이다.

2) 상대 복사 보정

다음으로 복사 평형(Radiometric balancing)의 경우 moment matching(Gadallah et al., 2000)을 이용한 전역 복사 평형 방법을 개선해서 사용하였다. moment matching 의 식은 다음과 같다.

\(I_{1}=I_{2} \frac{\sigma_{2}}{\sigma_{1}}+\mu_{2}-\mu_{1} \frac{\sigma_{2}}{\sigma_{1}}\)      (1)

여기서 I₁은 기준 영상, I₂는 소스영상을나타내며, μ₁, σ₁, μ₂, σ₂는 각각 기준 영상의 평균과 표준편차, 소스 영상의 평균과 표준편차를 나타낸다. 여기서 μ₁, σ₁, μ₂, σ₂ 를 구할 때 단순히 중복 영역에서의 μ₁, σ₁, μ₂, σ₂을 구해서 사용할 경우에 올바르게 복사 평형된 영상을 획득할 수 없다. 왜냐하면 획득한 영상의 촬영 시점의 차이가 존재하기 때문이다. 예를 들어 기준 영상에서는 구름이나 눈 등이 존재하지 않지만, 소스 영상과의 중복 영역에서는 구름이나 눈 등이 존재하기 때문이다. 따라서 중복 영역에서 구름이나 눈, 또는 새로 생긴 물체 등에 대한 것들은 제외한 후에 μ₁, σ₁, μ₂, σ₂를 계산해서 사용해야 올바르게 복사 평형된 영상을 획득할 수 있다. 구름, 눈, 새로 생긴 물체 등을 제외하는 방법의 경우 3)–(2)절의 ‘제안하는 경계선 추정 알고리즘’에서 사용한 것과 동일한 방법을 사용하였으며, 자세한 내용은 3)–(2)절에서 다루도록 하겠다.

3) 경계선 추정 (Seamline Estimation)

(1) 기존의 경계선 추정 알고리즘

제안하는 경계선 추정 알고리즘의 경우 Fast and robust seam estimation to seamless image stitching(Hejazifar et al., 2018)(FR Seam) 알고리즘에 새로운 비용함수를 추가하여 KOMPSAT-3에 특화된 알고리즘을 개발하였다. FR Seam알고리즘의 경우GrDistmatrix와 Value matrix를 이용해서 비용(Cost)이 낮은 방향으로 경계선을 찾을 수 있게 고안되었다. GrDistmatrix의 경우 경계선의 시작점으로부터 종료점까지의 진행 방향을 결정할 가이드 역할을 한다. GrDist함수는다음과같다.

\(\text { GrDist }=\text { graydist }(\text { GrImg, } x, y, \text { 'citiblock' })\)       (2)

여기서 graydist는 Gray-weighted distance transform (Soille, 1994)를 말하며, GrImg를 이용해서 x, y점(시작점)으로부터의 특정 지점까지의 거리를 City Block distance를이용해서 계산하는 것을 나타낸다. GrImg는 Gray-weighted distance transform을 계산할 때 비용함수 역할을 한다. GrImg식은 다음과 같다.

\(G r I m g=\left|g r I m g_{1}-g r I m g_{2}\right|+\text { mask }\)       (3)

grImg₁과 grImg₂는 기준 영상과 소스 영상을 흑백 영상으로 만든 후에 x와 y방향의 기울기(gradient)를 계산한 기울기 영상(gradient image)을 나타낸다. 이 때 GrImg 의값이 클 경우에 경계선의 한 점으로 채택될 확률이 낮으며, 값이 작은 경우 경계선의 한 점으로 채택될 확률이 높아진다. Mask의 경우 경계선이 선택되지 않아야 될 영역을 의미한다.

GrDist matrix가 경계선의 시작점으로부터 어떤 방향으로 가야 될지에 대해 알려주는 matrix라면, 어떤 방향이 가장 비용이 작아지는지에 대해 나타내는 것은 Value matrix이다. Value matrix의 식은 다음과 같다.

\(\text { Value }=\sum_{c h=1}^{4}\left|\operatorname{ImgDif}_{c h}-\min _{c h}\left(\operatorname{ImgDif}_{c h}\right)\right| / 2\)       (4)

\(\operatorname{ImgDif}=\left|\operatorname{Img}_{1}-\operatorname{Img}_{2}\right|\)       (5)

Value matrix의 경우 기준 영상과 타겟 영상 간의 채널별로의 차이값과 그 차이값의 최소 값을 빼준 값의 절대 값의 합으로 계산된다. 이렇게 구한 Value Matrix는 GrDist와 함께 비용이 최소가 되는 방향으로 경계선을 추정하게 된다.

이 알고리즘의 경우 동일 시점의 영상에서 경계선을 찾을 때는 올바르게 적용될 수 있으나, 촬영 시기가 다른 영상에 대해서는 올바르게 경계선을 찾을 수 없는 한계점을 가지고 있다. 이러한 이유는 비용함수에서 촬영 시점과 계절적으로 다른 영상들에 대한 고민 없이 단순히 영상의 기울기 정보와 색감 정보만을 사용하기 때문이다. Fig. 3을 보면 해당 알고리즘이 경계선을 올바르게 찾지 못한 것을 확인할 수 있다.

Fig. 3. The Seamline of FR seam.

(2) 제안하는 경계선 추정 알고리즘

FR Seam 알고리즘이 빠르고 효과적으로 경계선을 찾을 수 있지만, 단순히 영상의 기울기(Gradient) 정보만을 사용하였기 때문에 촬영 시점이 다른 영상에서는 기울기 정보만 가지고 올바르게 경계선을 찾지 못하는 문제가 발생하였다. 이러한 문제를 해결하기 위하여 다음과 같은 추가적인 손실항을 제안하였다.

\(\text { GrDist }_{s a t}=\text { graydist }\left(\text { Cost }_{\text {lmg }}, x, y,\right. \text { 'citiblock') }\)       (6)

\(\begin{aligned} \operatorname{Cost}_{I m g}=& 10 \cdot \text { Cloud } \& \text { Snow }_{i d x}+3 \cdot D i f_{i d x}+3 \cdot G r I m g+\operatorname{Veget} _{I d x} \end{aligned}\)       (7)

손실항 Cost_Img를 살펴보면 총 4개의 세부함수로 이루어져 있다. 각 세부함수의 가중치는 우선순위를 나타내는 것이며, Cloud&Snow_idx가 가장 우선순위가 높은 함수를 나타낸다.

식 (7)에서의 첫 번째 함수인 Cloud&Snow_idx의 경우 기준영상과 소스영상 중에 하나의 영상에만 구름이나 눈이 존재할 경우에 해당 영역을 피해서 경계선을 추정하게 하기 위한 함수이다. Cloud&Snow_idx의 식은 다음과 같다.

\(\begin{aligned} \text { Cloud } \& \text { Snow }_{i d x}=\left[\sum_{c h=r g, b}\left(\operatorname{ImgDif}_{c h}>1.5 *\operatorname{median}\left(\operatorname{ImgDif}_{c h}\right)\right)\right] \geq 2 \end{aligned}\)       (8)

식 (7)을 살펴보면 Red, Green, Blue 밴드 각각에 대하여 기준영상과 소스영상의 차분값(ImgDif_ch)을 계산한 후에 ImgDif_ch값이 ImgDif_ch값의 절대값의 중간*1.5배 값보다 큰 채널이 2개 이상 있는 경우 구름이나 눈이 존재하는 영역이라고 판단한다. 이러한 이유는 구름이나 눈의 경우 일반 지표면보다 높은 DN값으로 나타나는 경우가 많기 때문이다. 이러한 눈이나 구름이 경계선으로 추정될 경우 영상 블렌딩 과정에서 주변과의 이질감이 두드러지게 나타나기 때문에 해당 부분이 제외해야 될 우선순위가 가장 높다.

식 (7)의 두 번째함수인Dif_idx는 특정 픽셀값이 빛의 반사 등에 의하여 기준영상과 소스영상 간의 값의 차이가 큰 경우를 필터링 해주는 함수이다. 따라서 Red, Green, Blue, NIR밴드를 모두 사용하였으며, 해당 함수는 다음과 같이 이루어져 있다.

\(\begin{aligned} \text { Dif }_{\text {fidx }}= \text { Dilate }\left(\sum_{ch =r, g, b, n} I m g D i f_{c h}>1.5 * \text { median } \left(\sum_{c h=r g, b, n} I m g D i f_{c h}\right)\right) \end{aligned}\)       (9)

Dilate의 경우 1로 이루어진 3×3 matrix를 사용하였다. Dilate를 사용한 이유는 특정 픽셀의 DN값의 차이가 큰 경우 일반적으로 해당 픽셀 주변 값들의 DN값도 영향을 받기 때문에 주변 픽셀도 제외하기 위함이다.

식 (7)의 세 번째 함수인 GrImg은 식 (3)에 가중치를 3을 곱해준 함수이다. 가중치를 3곱해준 이유는 식 (9)함수와 마찬가지로 영상간의 기울기 차이가 크게 날 경우 역시 제외해야 하기 때문이다.

식 (7)의 마지막함수인Veget_idx는 산이나 들과 같이 식생인 지역에 가중치를 작게 주어 해당 지역으로 경계선을 구할 수 있게 하기 위한 함수이며 수식은 다음과 같다.

\(\operatorname{Veget}_{i d x}=\sum_{c h=r, g, b}\left(\operatorname{ImgDif}_{c h}>\operatorname{ImgDif}_{N I R}\right)\)       (10)

위 함수를 살펴보면 Red, Green, Blue밴드 각각에 대하여 기준영상과 소스영상의 차분값(ImgDif_ch)을계산한 후에 ImgDif_ch값이 NIR밴드의 기준영상과 소스영상의 차분값(ImgDif_NIR)보다 큰 경우를 인덱스 값을 계산한 후에 채널들마다 계산된 인덱스 값들을 모두 합해준다. NIR밴드를 기준으로 한 이유는 NIR밴드 값보다 R, G, B 밴드 값이 클수록 식생이 아닌 지역일 확률이 크기 때문이다. 따라서 해당 함수가 클수록 식생이 아닌 지역이기 때문에, 해당 함수가 작아지는 방향으로 경계선을 추정하게 된다.

다음으로 Value matrix의 경우 GrDistmatrix와 마찬가지로 식(4)에 (8)~(10)항을 추가하였다. 수식은 다음과 같다.

\(\begin{array}{c} \text { Value }_{s a t}=\text { Value }+10 \cdot \text { Cloud\&Snow }_{i d x}+ 3 \cdot D i f_{i d x}+\text { Veget }_{l d x} \end{array}\)       (11)

이렇게 우리가 제안한 GrDist_sat와 Value_sat를 이용하여 영상의 경계선을 추정할 경우에 기존의 방법보다 더 정확한 경계선을 추정할 수 있었다.

4) 영상 블렌딩(Image Blending)

영상 블렌딩의 경우 본 논문의 1절에 설명한 것과 같이 다양한 방법이 존재한다. 간단한 방법으로는 다음과 같은 방법(Li et al., 2015)이 있다.

\(L_{1}^{\prime}=w_{1} L_{1}+w_{2} L_{2}\left(w_{1}+w_{2}=1\right)\)        (12)

여기서\(L_1^{'}\)는 블렌딩한 기준영상의 밝기이며, w₁은 기준영상의 밝기 가중치 w₂는 소스영상의 밝기 가중치, L₁과 L₂는 각각 기준영상과 소스영상의 밝기를 나타낸다. w₁의경우 앞서 획득한 경계선에서 0.5가 되며, 경계선에서 기준영상으로 갈수록 1에 가까워지고, 소스영상으로 갈수록 0에 가까워진다. w₂ 역시 경계선에서 0.5이며, 경계선에서 소스영상으로 갈수록 1에 가까워지고, 기준영상으로 갈수록 0에 가까워진다. 본 연구에서는 가우시안 형태를 사용하였다.

3. 실험 결과

실험결과는 총 3가지 세트의 영상들로 이루어져 있다. 3가지 세트의 전체 영상의 경우 Fig. 4~Fig. 6과 같으며 상세 영상의 상세사항은 Table1과 같다.

Fig. 4. Test data Set1.

Fig. 5. Test data Set2.

Fig. 6. Test data Set3.

Table 1. The specification of experimental data

Set1의 경우 Roll, Pitch, Yaw값이 비교적 일정하며 계절적으로 큰 차이가 없는 비교적 모자이킹하기 쉬운 영상들로 구성되어 있으며, 일반적인 영상에서의 모자이킹 성능을 확인할 수 있다. 실험 결과는 다음과 같다. Fig. 7을 살펴보면 기존 방법의 경우 경계선을 구할 때 운동장과 건물 사이로 경계선이 결정되어 경계영역의 모자이킹 결과 영상에서도 시각적 이질감이 매우 크게 발생하였다. 반면에 Fig. 8을 살펴보면 제안하는 방법의 경우 식생이나 도로 위주로 경계선을 구하였기 때문에 해당 문제가 발생하지 않았다.

Fig. 7. (a) Mosaicking result of FR seam, (b) The seamline of FR seam.​

Fig. 8. (a) Mosaicking result of proposed method, (b) The seamline of proposed method.​​​​​​

Fig. 9의 경우 건물과 도로의 구분 없이 경계선을 추정하였기 때문에 모자이킹된 영상에서 도로가 잘린 현상을 볼 수 있었다. 반면에 제안하는 방법의 결과인 Fig.10의 경우 도로 위주로 경계선을 추정하였기 때문에 영상 블렌딩 부분에서의 이질감이 없으며 도로가 끊겨 보이는 현상도 보이지 않았다.

Fig. 9. (a) Mosaicking result of FR seam, (b) The seamline of FR seam.

Fig. 10. (a) Mosaicking result of proposed method, (b) The seamline of proposed method.

Set2의 경우 위성의 Roll tilt 값이-24°~24°까지 차이가 나며, 촬영 날짜는 2016년 12월부터 2019년 2월로 계절적으로 다르게 촬영된 영상들로 구성되어있다. 따라서 Set1에 비해서 모자이킹의 난이도가 높은 영상들로 구성되어 있다.

Fig. 11를 살펴보면 기존 방법의 경우 건물 중심을 가로질러 경계선을 추정한 모습을 볼 수 있다. 반면에 제안하는 방법의 경우 Fig. 12를 보면 알 수 있듯이 도로위주로 경계선을 추정하였으며, Fig. 11의 결과보다 자연스럽게 영상 합성을 하였음을 알 수 있다.

Fig. 11. (a) Mosaicking result of FR seam, (b) The seamline of FR seam.

Fig. 12. (a) Mosaicking result of proposed method, (b) The seamline of proposed method.

Fig. 13의 경우 건물, 도로, 강의 구분 없이 경계선을 추정하였기 때문에 모자이킹 된 영상에서 이질감이 크게 나타나는 것을 볼 수 있었다. 반면에 Fig. 14의 경우 강과 도로를 중심으로 경계선을 추정하였기 때문에 영상 블렌딩 부분에서 자연스럽게 영상이 블렌딩되었다. Set3의 경우 위성의 비슷한 촬영시점을 가질 때 Roll tilt 값들에 따라모자이킹의 성능이 어떻게 변하는지 확인하기 위한 데이터셋으로 구성되어 있다. Set3의 실험 결과는 다음과 같다.

Fig. 13. (a) Mosaicking result of FR seam, (b) The seamline of FR seam.

Fig. 14. (a) Mosaicking result of proposed method, (b) The seamline of proposed method.

Fig. 15의 경우 추정된 경계선을 기준으로 왼쪽 영상이 오른쪽 영상에 비해 시점적으로 나중에 촬영된 영상이다. 따라서 왼쪽의 도로가 나중에 생긴 도로이기 때문에 오른쪽 영상에서는 해당 도로가 존재하지 않는다. 이러한 영상들을 자연스럽게 연결하기 위해서는 새로 생긴 도로를 피해서 경계선을 구한 후에 영상 블렌딩을 수행해야 한다. 그러나 Fig. 16의 경우 이러한 것들을 고려하지 않고 경계선을 구한 후 블렌딩하였기 때문에 영상에서 이질감이 존재하게 된다. 반면에 제안하는 방법의 경우 Fig. 16에서 볼 수 있듯이 새로 생긴 도로를 피해서 경계선을 추정하였기 때문에 Fig. 15보다 자연스럽게 경계선을 추정하였음을 확인할 수 있다.

Fig. 15. (a) Mosaicking result of FR seam, (b) The seamline of FR seam.

Fig. 16. (a) Mosaicking result of proposed method, (b) The seamline of proposed method.

Fig. 17의 경우 건물과 도로의 구분 없이 경계선을 추정하였기 때문에 모자이킹된 영상에서 이질감이 나타나는 것을 볼 수 있었다. 반면에 Fig. 18의 경우 도로를 중심으로 경계선을 추정하였기 때문에 영상 블렌딩부분에서 자연스럽게 영상이 블렌딩되었다.

Fig. 17. (a) Mosaicking result of FR seam, (b) The seamline of FR seam.

Fig. 18. (a) Mosaicking result of proposed method, (b) The seamline of proposed method.

4. 결론

본 논문에서는 위성영상에서 효과적으로 경계선 추정을 있는 방법에 대해 연구하였다. 그 결과 기존의 시점적으로 다르게 촬영된 영상들 사이에서 기존의 방법에 비해서 효과적이고 정교하게 경계선을 추정할 수 있게 되었다. 이렇게 추정한 경계선을 이용해서 영상 블렌딩을 하였을 때 경계선 부분의 이질감이 최소화되면서 모자이킹 된 영상을 획득할 수 있었다. 하지만 기준영상과 소스영상의 중복 영역이 적은 불가피하게경계선이 눈이나 구름 영역을 지나가게 되고, 이러한 경우에 블렌딩한 영상의 결과가 좋지 못한 단점이 존재한다. 따라서 추후 연구의 경우에는 이러한 문제를 해결하기 위하여 영상 블렌딩을 개선할 수 있는 방법에 대해 연구할 계획이다.