Combining Conditional Generative Adversarial Network and Regression-based Calibration for Cloud Removal of Optical Imagery

광학 영상의 구름 제거를 위한 조건부 생성적 적대 신경망과 회귀 기반 보정의 결합

Abstract

Cloud removal is an essential image processing step for any task requiring time-series optical images, such as vegetation monitoring and change detection. This paper presents a two-stage cloud removal method that combines conditional generative adversarial networks (cGANs) with regression-based calibration to construct a cloud-free time-series optical image set. In the first stage, the cGANs generate initial prediction results using quantitative relationships between optical and synthetic aperture radar images. In the second stage, the relationships between the predicted results and the actual values in non-cloud areas are first quantified via random forest-based regression modeling and then used to calibrate the cGAN-based prediction results. The potential of the proposed method was evaluated from a cloud removal experiment using Sentinel-2 and COSMO-SkyMed images in the rice field cultivation area of Gimje. The cGAN model could effectively predict the reflectance values in the cloud-contaminated rice fields where severe changes in physical surface conditions happened. Moreover, the regression-based calibration in the second stage could improve the prediction accuracy, compared with a regression-based cloud removal method using a supplementary image that is temporally distant from the target image. These experimental results indicate that the proposed method can be effectively applied to restore cloud-contaminated areas when cloud-free optical images are unavailable for environmental monitoring.

구름 제거는 식생 모니터링, 변화 탐지 등과 같은 광학 영상이 필요한 모든 작업에서 필수적인 영상 처리 과정이다. 이 논문에서는 조건부 생성적 적대 신경망(conditional generative adversarial networks, cGANs)과 회귀 기반 보정을 결합하여 구름이 없는 시계열 광학 영상 세트를 구성하는 2단계의 구름 제거 기법을 제안하였다. 첫 번째 단계에서는 광학 영상과 synthetic aperture radar 영상 간 정량적 관계를 이용하는 cGANs을 이용하여 초기 예측 결과를 생성한다. 두 번째 단계에서는 구름이 아닌 영역에서 예측 결과와 실제 값과의 관계를 random forest 기반 회귀 모델링을 통해 정량화한 후에 cGANs 기반 예측 결과를 보정한다. 제안 기법은 김제의 벼 재배지에서 Sentinel-2 영상과 COSMO-SkyMed 영상을 이용한 구름 제거 실험을 통해 적용 가능성을 평가하였다. cGAN 모델은 구름 영역에서 지표면 상태의 급격한 변화가 발생하는 논 재배지를 대상으로 반사율 값을 효과적으로 예측할 수 있었다. 또한 두 번째 단계의 회귀 기반 보정은 예측 대상 영상에서 시간적으로 떨어진 보조 영상을 이용하는 회귀 기반 구름 제거 기법에 비해 예측 정확도를 향상시킬 수 있었다. 이러한 실험 결과는 구름이 없는 광학 영상을 환경 모니터링에 이용할 수 없는 경우 제안된 방법이 구름 오염 지역을 복원하는데 효과적으로 적용될 수 있음을 나타낸다.

1. 서론

주기적으로 광범위한 지역을 촬영할 수 있는 원격탐사 영상은 지구관측 모니터링을 위한 주요 자료원 중 하나이다. 최근에는 전 세계적으로 가용할 수 있는 위성의 증가로 인해 다양한 분야에서 원격탐사 영상에 대한 활용이 지속적으로 증가하고 있다(Moon and Lee, 2019). 그러나 광범위한 지역에서 Landsat 영상과 moderate resolution imaging spectroradiometer 영상을 이용한 장기적인 관측 결과를 살펴보면, 평균적으로 하루에 지표면의 약 35% 이상이 구름으로 가려지는 것으로 나타났다(Ju and Roy, 2008; King et al., 2013). 특히 우리나라에서 장마와 태풍이 발생하는 7월부터 9월까지의 기간은 구름의 영향을 더 크게 받기 때문에, 광학 센서를 갖는 원격탐사 영상의 시계열 구성이 어려워진다(Kim and Eun, 2021). 또한 광학 영상의 정보 손실을 야기하는 구름의 영향으로 인해 식생 모니터링, 변화 탐지 등과 같은 추가적인 응용이 제한된다.

원격탐사 영상의 가용성을 높이기 위해서는 구름에 의해 손실된 정보를 복원하는 구름 제거(cloud removal) 기법을 적용할 필요가 있다. 현재까지 적용되어 온 구름 제거 기법은 공간기반 기법(spatial-based methods), 시간기반 기법(temporal-based methods)과 다중소스기반 기법(multi-source-based methods)으로 구분할 수 있다(Shen et al., 2015; Li et al., 2020). 공간기반 기법은 동일한 영상에서 구름이 아닌 영역에서 얻는 화소 정보를 이용하여 구름 영역의 화소값을 추정한다. 공간적 관계성을 정량화 하기 위해, 크리깅(kriging)과 같은 공간보간 기법이나 구름이 없는 지역에서의 분광 정보와 기하학적 구조를 함께 이용하는 변형기반 기법(variation-based methods)이 대표적으로 이용되어 왔다(Zhang et al., 2007; Shen and Zhang, 2009). 그러나 공간기반 기법들은 주변 화소 정보를 이용하기 때문에 공통적으로 구름이 큰 경우 효과적으로 구름 영역을 복원하기가 어렵다.

시간기반 기법은 동일한 지리적 영역에 대해 다른 시간에서 획득한 구름이 없는 영상을 부가자료로 이용한다(Zeng et al., 2013; Shen et al., 2015; Park and Park, 2022).부가자료와 예측 시기의 영상 간 시간적 관계성을 정량화 하기 위해 주로 회귀 모형을 이용하는데, 이 방법은 두 영상 간 구름이 아닌 영역에서 모델을 학습한 후에 구름 영역의 화소값을 예측하여 복원한다. 다른 시기의 영상 정보를 이용하여 구름 영역의 화소값을 복원하기 때문에 공간기반 기법과는 다르게 구름 크기에 큰 영향을 받지 않는다. 다만 여름철 장마 혹은 태풍으로 인해 예측 시기와 이웃한 시간대에 구름이 없는 부가자료를 획득하기가 어렵다. 따라서 긴 시간 간격에 의해 발생하는 지표면 상태의 변화로 인해 두 영상 간 낮은 상관성을 보일 수 있으며, 이는 모델의 예측 성능에 큰 영향을 미친다(Park and Park, 2022).

최근에는 구름 영역의 화소값을 복원하기 위해 다른 센서로부터 얻어진 자료를 활용하는 다중소스기반 기법이 제안되었다(Meraner et al., 2020; Darbaghshahi et al., 2021; Gao et al., 2021). 이 방법은 다른 센서로부터 얻어진 영상을 부가자료로 이용하는데, 기상조건에 영향을 받지 않기 때문에 예측 시기와 동일한 날짜에 자료 획득이 가능한 synthetic aperture radar (SAR) 영상이 다중소스 기반 기법에 대표적으로 이용되고 있다(Darbaghshahi et al., 2021; Gao et al., 2021). SAR 영상을 부가자료로 이용하는 것은 긴 시간 간격을 갖는 광학 영상을 부가자료로 이용하는 것에 비해 지표면 상태의 변화에 영향을 받지 않는다는 시간적인 이점을 갖는다. 그러나 능동형 마이크로파를 이용하여 지표면의 물리적, 구조적인 특성을 영상화 하는 SAR 영상은 기하학적 왜곡, 스펙클 잡음(speckle noise) 등과 같은 고유한 특징으로 인해 광학 영상과 서로 비선형관계를 보일 가능성이 높다.

최근 다중 센서로 얻어진 원격탐사 영상 간 비선형관계를 학습하기 위해 딥러닝 모델에 대한 관심이 증가하고 있다(Lee et al., 2019). 딥러닝의 가장 큰 장점은 특정입력자료로부터 자체적으로 예측에 유용한 특징을 추출함으로써 비선형관계를 효과적으로 학습할 수 있다는 점이다. 딥러닝 모델 중에서, 생성자(generator)와 판별자(discriminator)라고 불리는 두 개의 신경망으로 구성된 generative adversarial networks (GANs)은 가상 영상의 생성을 목적으로 제안되었다. 다만 GANs은 영상 생성 과정을 분석자가 제어할 수 없기 때문에 임의의 가상 영상만 생성할 수 있다. 따라서 분석자가 원하는 가상영상을 생성하기 위해 조건부로 추가 정보를 이용하는 conditional GANs (cGANs)이 제안되었다. 영상 간 변환이라고도 불리는 cGANs은 원격탐사 분야에서 SAR 영상을 광학 영상으로 변환하는데 이용되었으며(Fuentes Reyes et al., 2019), 최근에는 이를 변형하여 구름 제거에도 활용하고 있다(Meraner et al., 2020; Darbaghshahi et al., 2021; Gao et al., 2021). 그러나 SAR 영상의 고유한 특징으로 인해 광학 영상의 분광학적인 특성을 실제와 유사하게 재현하는 데에는 한계를 갖는다(Fuentes Reyes et al., 2019). 따라서 cGANs을 이용한 구름 제거에서 실제 광학 영상의 분광학적인 특성을 반영할 수 있는 특화된 절차를 포함할 필요가 있다. 그럼에도 불구하고 cGANs을 이용한 구름 제거에서 이러한 특화된 절차를 포함한 연구 사례는 거의 없는 실정이다.

이 연구에서는 광학 영상에서 구름 영역의 화소값을 예측하기 위해 cGANs과 회귀 기반 보정을 결합하는 새로운 구름 제거 기법을 제안하였다. 먼저 SAR 영상과 구름이 없는 광학 영상의 한 쌍으로 구성된 훈련 영상을 이용하여 cGANs을 학습하고, 구름 영역의 화소값을 예측한다. 이후 random forest (RF) 회귀 모형을 이용하여 구름이 아닌 영역에서 cGANs으로부터 예측된 광학 영상과 실제 광학 영상 간 관계성을 모델링하고, 구름 영역에서 예측된 광학 영상의 화소값을 보정한다. 제안 기법의 예측 성능은 단계별 적용 결과와 함께 RF 모델을 이용하는 회귀 기반 기법과의 비교를 통해 평가하였다. 제안 방법론의 적용 가능성을 살펴보기 위해 우리나라 전라북도 벼 재배지 일대에서 광학 영상과 SAR 영상으로 각각 Sentinel-2와 COSMO-SkyMed (CSK)를 이용한 구름 제거 사례 연구를 수행하였다.

2. 연구지역 및 자료

작황 모니터링을 수행하기 위해서는 구름이 없는 시계열 영상을 필요로 하는데, 우리나라에서는 작물의 식생 활력도가 높은 시기인 여름철에 구름이 없는 영상을 획득하기가 매우 어렵다. 따라서 구름 제거는 작황 모니터링을 위해 구름이 없는 시계열 영상을 구성하기 위한 필수 작업이다. 이러한 이유로 이 연구에서는 전라북도 김제시의 벼 재배지 일대를 사례연구 지역으로 선정하였다(Fig. 1). 이 지역의 평지에서는 대부분 벼가 재배되고 있으며, 벼 재배지 외에는 일부 시가지와 도로를 포함하고 있다.

Fig. 1. True color composite of Sentinel-2 imagery and HH polarization of COSMO-SkyMed imagery. Yellow line marked in the Sentinel-2 imagery represents the synthetic cloud mask.

SAR 영상은 기상 조건에 관계없이 전천후로 획득이 가능하기 때문에 구름이 존재하는 광학 영상과 동일한 날짜에 촬영된 영상을 구름 제거에 이용할 수 있다. 이 지역에서 벼 재배지의 필지 크기와 사례연구 지역의 공간 규모 등을 종합적으로 고려하여 구름 제거를 위한 입력 자료로 Sentinel-2 영상과 CSK 영상을 이용하였다(Table 1). 구체적으로 Sentinel-2는 bottom of atmosphere 반사율로 제공되는 level-2A 영상에서 10 m의 공간해상도를 갖는 red, green, blue, near infrared (NIR)의 4개 밴드를 이용하였다. X 밴드로 제공되는 CSK는 single-look complex인 level-1A 영상에서 StripMap HIIMAGE 모드로 획득된 3 m 공간해상도의 HH의 단일 편파를 이용하였다(Covello et al., 2010). CSK 영상은 10 m 공간 해상도를 갖는 dB 스케일의 σ₀ 후방 산란 계수로 변환하기 위해 Fig. 2와 같이 multi-looking, 지형 보정(terrain correction), 잡음 필터링(speckle filtering) 등의 전처리를 수행하였다(Filipponi, 2019). 전처리 수행에는 European SpaceAgency (ESA)의 SentinelApplication Platform(SNAP) software를 이용하였다. 마지막으로 전처리된 영상은 cGANs의 입력으로 이용하기 위해 값이 0~1의 범위를 갖도록 정규화를 수행하였다.

Table 1. Summary of Sentinel-2 and COSMO-SkyMed images used in this study

Fig. 2. Preprocessing workflow of COSMO-SkyMed single-look complex product.

실제 구름을 포함하는 Sentinel-2 영상을 구름 제거 실험에 이용하는 경우 구름 마스크 영역에서 실제 화소값을 얻을 수 없기 때문에 구름 제거 기법의 성능을 평가하는 것은 불가능하다. 따라서 성능 평가를 목적으로 이 연구에서는 구름이 없는 Sentinel-2 영상을 이용하였으며, 다량의 구름을 포함하는 다른 시기의 Sentinel-2 영상으로부터 획득한 구름 마스크를 합성 구름 마스크로 이용하였다(Fig. 1). 이와 같이 합성 구름 마스크를 이용하는 것은 구름 제거 실험에서 가장 일반적인 방법이다(Gao et al., 2021). 합성 구름 마스크는 예측 성능 평가와 더불어 cGAN 모델의 예측 결과와 실제 광학 영상 간 회귀 기반 보정을 적용하기 위한 부가자료로 이용하였다.

3. 연구 방법

1) 제안한 구름 제거 기법

이 연구에서 제안한 구름 제거 기법은 광학 영상과 SAR 영상의 관계성을 기반으로 광학 영상을 예측하고, 구름이 아닌 영역의 분광학적 특성을 구름 영역에 반영하는 총 2단계의 분석 절차로 구성된다(Fig. 3).

Fig. 3. Workflow for cloud removal proposed in this study.

제안 기법의 첫 번째 단계는 광학 영상과 SAR 영상을 입력으로 이용하는 영상 간 변환 딥러닝 모델인 cGANs을 이용하였다. cGANs은 SAR 영상에 대응하는 광학 영상을 생성하기 때문에 구름 영역 뿐만 아니라 구름이 아닌 영역에서도 화소값을 복원한다. 그러나 구름이 아닌 영역에서는 실제 광학 영상의 화소값을 이용할 수 있기때문에 cGAN 모델의 예측 결과는 구름이 아닌 영역을 실제 광학 영상의 화소값으로 대체한다. 이와 같이 생성된 cGAN 모델의 예측 결과는 구름 내부와 외부에서 급격한 반사율 차이를 보일 수 있다. 지금까지 적용되어 온 cGANs은 SAR 영상으로부터 광학 영상의 화소값을 재현하기 위해 실제 광학 영상에서 구름이 아닌 영역의 분광학적 특성을 반영하는 특화된 절차를 포함하지 않았다. 실제 광학 영상의 분광학적 특성을 반영하기 위해 두 번째 단계에서는 구름이 아닌 영역에서 cGAN 모델의 예측 결과와 실제 광학 영상 간의 관계를 RF 기반 회귀 모델링을 통해 정량화한 후에 구름 영역에서 cGAN 모델의 예측 결과를 보정하였다.

2) cGANs

이 연구에서는 구름 제거를 위한 첫 번째 단계로 영상 간 변환에 특화된 딥러닝 모델로 cGANs 중 하나인 pix2pix를 이용하였다. Pix2pix는 새로운 영상을 생성하는 생성자(G)와 생성된 영상과 실제 영상을 구분하는 판별자(D)로 구성되어 있다(Fig. 4). 생성자는 특정 조건에 해당하는 입력 영상 x와 무작위 노이즈 영상인 z를 이용하여 새로운 영상 G(x, z)를 생성한다. 여기서 pix2pix는 생성자가 실제 영상인 y와 최대한 유사하게 G(x, z)를 생성하기 위해 적대적 학습을 차용한다. 적대적 학습을 위해 판별자는 x와 y의 쌍을 1로 구별(D(x, y)=1)하고 x와 G(x, z)의 쌍을 0으로 구별(D(x, G(x, z))=0)한다. 다른 관점에서 생성자는 x와 G(x, z)의 쌍을 1로 구별(D(x, G(x, z))=1)함으로써, 판별자를 속이고 실제와 유사한 G(x, z)를 생성하도록 학습한다. 판별자가 실제 영상과 생성된 영상을 서로 구분할 수 없게 학습이 된다면 생성된 G(x, z)는 실제 영상 y와 유사하다고 간주할 수 있다. 이를 위한 pix2pix의 손실함수는 다음과 같이 정의된다:

L_cGAN(G,D) = E_{x, y}[logD(x,y)] + E_x,z[1 – logD(x,G(x,z))]       (1)

Fig. 4. cGAN architectures employed in this study.

E[·]는 기대값을 의미하며, pix2pix는 훈련 초기에 불충분한 기울기를 완화하기 위해 로그 함수를 채택한다(Goodfellow et al., 2020). 생성자의 목표는 판별자를 속이면서 y와 유사한 영상을 생성하는 것이다. 이를 위해 pix2pix 손실함수에는 L1 거리가 추가된다:

L_L1(G) = E_{x, y,z} || y – G(x,z) ||₁       (2)

L_cGAN(G, D)와 L_L1(G)을 결합한 pix2pix에 대한 최종 손실함수 G*는 다음과 같다:

G* = arg min_Gmax_DL_cGAN(G, D) + λL_L1(G)       (3)

여기서, λ는 L_L1(G)의 가중치를 나타내며, 생성할 영상의 선명도를 조정할 수 있다(Isola et al., 2017).

딥러닝 모델은 입력 자료로부터 유용한 특징 정보를 추출하기 위해 다양한 하이퍼파라미터의 영향을 분석할 필요가 있다. 다만 이 연구에서는 pix2pix 모델이 영상 간 변환에서 범용적으로 적용이 가능한 것으로 알려져 있기 때문에, Isola et al. (2017)에서 정의한 모델 구조와 하이퍼파라미터를 그대로 이용하였다(Table 2). 먼저 생성자는 SAR 영상을 입력으로 이용하여 광학 영상을 생성하기 위해 U-Net 모델 구조를 이용한다. 이 모델은 입력 영상을 잠재 기능(latent feature)으로 매핑하기 위해 컨볼루션 필터(convolution filter), 배치 정규화(batch normalization), Leaky ReLU (rectified linear unit) 활성화 함수(activation function)로 구성된 컨볼루션 계층(layer)의 인코더(encoder)와 잠재 기능으로부터 영상을 재구성하기 위해 디컨볼루션(deconvolution) 필터, 배치 정규화, ReLU와 드롭아웃(dropout)으로 구성된 디컨볼루션(deconvolution) 계층의 디코더(decoder)로 구성되어 있다. 많은 수의 계층으로 이루어진 생성자는 학습과정에서 기울기 손실(gradient vanishing) 문제를 해결하기 위해 인코더의 정보를 대응하는 디코더에 전달하는 skip connection을 적용한다(Fig. 4).

Table 2. Hyper-parameter and model structure of cGANs (N denotes the number of bands of optical image)

Conv: Convolution layer R: ReLU

DeConv: Deconvolution layer D: Dropout

BN: Batch normalization Z: Zero padding

LR: Leaky ReLU S: Sigmoid

판별자는 생성자로부터 생성된 영상과 실제 영상을 구분하는 분류 모델로 정의할 수 있다. 판별자의 구조는 영상으로부터 공간적인 특징을 추출하기 위해 컨볼루션 필터와 배치 정규화로 조합된 컨볼루션 계층으로 구성되어 있다. 그리고 두 영상을 구분하기 위해 마지막 계층은 sigmoid 활성화 함수를 적용하고, 손실함수로 binary cross entropy를 이용한다. 판별자는 두 영상을 구분하는 마지막 계층에서 영상 전체 영역이 아닌 특정 크기의 패치(patch) 단위를 이용하며, 이를 patchGAN이라고 한다. 화소 간 연관성은 거리가 멀어질수록 작아지는 경향으로 인해 전체 영상보다 화소간 연관성이 유지되는 적절한 크기의 패치를 이용한다면, 판별자는 생성된 영상과 실제 영상을 구분하기 어려울 것이고 생성자는 실제와 유사한 선명한 영상을 생성할 수 있다(Isola et al., 2017). 마지막으로 영상의 선명도를 조정하는 파라미터인 λ는 100으로 설정하였다.

3) 회귀 기반 보정

이 연구에서는 cGAN 모델의 예측 결과가 구름 영역에서 실제 영상과 유사한 반사율 특성을 갖도록 회귀 기반 보정을 수행하였다. 이때 회귀 모형으로 기계학습 기법인 RF를 이용하였다. RF는 여러 개의 의사결정 트리(decision tree)로 확장시켜 회귀를 수행하는 앙상블 기법으로 비선형 관계를 적절하게 정량화 할 수 있다. 이 기법은 개별 트리에서 일부 입력 변수를 무작위로 선택하는 앙상블을 통해 다양성을 극대화할 수 있기 때문에 훈련 자료로의 과적합 문제를 해결할 수 있고 높은 예측 성능을 갖는 것으로 알려져 있다. 특히 RF 회귀는 여러 개의 의사결정 트리에서 예측값의 평균을 이용하기 때문에 예측 결과는 높은 안정성을 갖는다. RF 회귀는 하이퍼파라미터로 개별 트리에서 노드 분할을 위한 특징수와 전체 트리 수를 설정해야 하는데, 이 연구에서는 grid search를 적용하여 두 하이퍼파라미터의 최적값을 결정하였다.

4) 실험 설계

cGANs의 학습을 목적으로 훈련 영상을 구축하기 위해 2019년과 2020년에서 벼의 생육주기를 고려하여 5월부터 10월까지 총 8개의 pair로 구성된 Sentinel-2 영상과 CSK 영상을 획득하였다(Table 3). 벼의 생장은 약 1주 단위로 변화를 보이기 때문에, pair를 이루는 두 영상 간의 시간 차이는 최대 5일을 초과하지 않도록 하였다. 두 영상의 공간 범위는 전라북도 김제시, 군산시, 서천군과 부안군의 벼 재배지 일대로 서로 중첩되는 면적은 23,860 m × 38,980 m에 해당한다. cGANs의 훈련 영상은 Fig. 5의 노란색 박스와 같이 2,560 m × 2,560 m의 크기를 갖는 24개의 관심 영역에서 수집하였다. 관심 영역은 벼 재배지를 최대한 포함하며 SAR 영상에서 기하학적 왜곡을 고려하여 산림지역을 포함하지 않았다. 또한 개별 관심 영역은 cGANs에 대한 훈련 영상의 독립성을 보장하기 위해 서로 중복되지 않도록 하였다. 특정 날짜에 Sentinel-2 영상에서 구름을 포함하는 일부 관심 영역을 제외하고 훈련 영상은 Sentinel-2 영상과 CSK 영상으로부터 총 178개의 pair로 구성하였다. 그리고 2단계 과정인 RF 회귀 모형을 학습하기 위해 훈련 자료는 관심 지역에 구름이 많은 경우를 감안하여 전체 화소의 약 3%인 총 2,000개의 화소를 임의 추출하여 이용하였다.

Table 3. List of Sentinel-2 and COSMO-SkyMed image pairs

Fig. 5. Sentinel-2 and COSMO-SkyMed images. Yellow boxes represent training patch images for training the cGANs model.

벼의 영양생장이 정점에 다다른 시기인 8월과 벼가 노랗게 익기 시작하는 시기인 9월은 영상에서 서로 상이한 특성을 보이므로 예측 대상 영상의 특성에 따른 cGANs의 적용 가능성을 평가할 필요가 있다. 여름철 구름이 많이 발생하는 실질적인 경우를 고려하여 이 연구에서는 Table 3에서 7번과 8번의 pair에 해당하는 2020년 8월과 9월을 대상으로 구름 제거 실험을 수행하였다. 예측 대상 영상을 제외하고 벼 재배지의 생육 주기에 포함되는 다른 영상들은 cGAN 모델을 학습하기 위한 훈련 영상으로 이용하였다.

제안 기법의 우수성을 평가하기 위해 예측 시기의 영상과 이웃한 시기의 광학 영상을 부가자료로 이용하는 회귀 기반 기법과 비교하였다. 여기서 예측 시기의 영상과 부가자료 간의 관계성은 RF 회귀를 이용하여 모델링하였다. 부가자료는 구름으로 인해 영상 획득이 어려운 실제 상황을 고려하여 예측 시기의 영상과 긴 시간 간격을 갖는 5월에 획득된 영상을 이용(RF1)하거나 예측 시기의 영상과 이웃한 시기에 얻어진 8월 혹은 9월 영상을 이용(RF2)하는 경우로 정의하였다. 다시 말하자면, 예측 시기의 영상이 8월인 경우에는 부가자료로 9월 영상을 이용하고, 예측 시기의 영상이 9월인 경우에는 부가자료로 8월 영상을 이용하였다.

제안 기법의 정확도 통계는 예측 정확도와 공간 유사성에 대한 정량적인 측정 결과인 평균 제곱근 오차(root mean square error, RMSE)와 structural similarity (SSIM)을 이용하였다. 이를 계산하기 위해 예측 시기의 영상에서 구름 마스크 내 실제 화소값을 이용하였다. RMSE와 SSIM의 두 가지 지표는 모두 0~1의 값을 가지며, SSIM은 1에 가까울수록 예측 결과와 실제 반사율 값 간에 공간적 유사도가 더 높다는 것을 의미한다.

4. 결과 및 토의

Fig. 6과 7은 제안한 구름 제거 기법의 단계별로 예측된 결과와 함께 비교 대상으로 적용한 회귀 기반 구름 제거 기법의 예측 결과를 시각적으로 보여준다. 이때 시각적 분석에서는 식생지수 산출에 주로 이용되는 red 밴드와 NIR 밴드를 이용하였다. 먼저 cGAN 모델의 예측 결과에서는 NIR 밴드에서 낮은 반사율을 보이는 두 필지에서 화소값이 실제와 유사하게 나타났다. 이는 RF1이 예측 시기의 영상과 부가자료의 긴 시간 간격으로 인해 토지피복 변화를 고려하지 못하는 한계를 SAR 영상을 이용하여 보완할 수 있다는 것을 보여준다. 반면 cGAN 모델의 예측 결과는 몇 가지 한계점을 보였다. 두 밴드에서 모두 실제 광학 영상의 화소값과 cGANs의 예측값 간의 차이가 두드러졌다. 그리고 cGAN 모델의 예측 결과는 실제 광학 영상에서 나타난 서로 다른 필지 간 반사율 차이와 농로 등의 소규모 객체를 재현해 내지 못하는 것으로 나타났다. 광학 영상에서 나타나는 개별 필지의 반사율 차이와 소규모 객체들이 SAR 영상에서는 나타나지 않기 때문에 이러한 결과를 보인 것으로 판단된다.

Fig. 6. Comparison of prediction results with actual optical and SAR images for August 2022. Black box marked in the top images is enlarged.

Fig. 7. Comparison of prediction results with actual optical and SAR images for September 2022. Black box marked in the top images is enlarged.

구름 영역에서 화소값을 보정하기 위해 cGAN 모델의 예측 결과와 실제 광학 영상을 이용하여 RF 기반 회귀 모델링을 적용하였다. RF 기반 회귀 모델링을 적용하는데 앞서 선형 회귀 모형을 적용하는 사전 실험을 수행하였다. cGAN 모델의 예측 결과는 서로 다른 필지 간 반사율 차이를 재현해내지 못했는데, 이에 따라 예측 시기가 8월인 경우 cGAN 모델의 예측 결과와 실제 화소값 사이의 결정 계수를 계산한 결과에서 red와 NIR 밴드는 각각 42%와 50%의 낮은 설명 능력을 나타냈다. 낮은 설명 능력으로 인해 선형 회귀 모형을 이용한 보정 결과는 RF 기반 회귀 모델링에 비해 낮은 예측 성능을 보여 비선형 회귀 모형을 적용할 필요가 있음을 보여주었다. RF 기반 회귀 모델링을 적용하는 제안 기법은 적용 목적에 맞게 구름 영역과 구름이 아닌 영역의 화소값 차이를 크게 완화하는 것으로 나타났다. 또한 cGAN 모델의 예측 결과와 마찬가지로 실제 광학 영상에서 나지 형태의 두 필지는 화소값이 여전히 실제와 유사한 것으로 나타났다. 다만 cGAN 모델의 예측 결과를 기반으로 화소값을 보정하기 때문에 cGAN 모델의 예측 결과에서 나타난 서로 다른 필지 간 반사율 차이, 농로 등의 소규모 객체 재현 등의 한계점은 개선되지 않았다. 이러한 한계점에도 불구하고 제안 기법은 기상 조건으로 인해 장기간 광학 영상을 이용할 수 없더라도 토지피복의 급격한 변화를 보이는 지역에서도 적용할 수 있다는 점에서 의의를 갖는다.

cGAN 모델의 예측 결과에서 나타난 구름 영역과 구름이 아닌 영역에서의 화소값 차이가 제안 기법을 통해 개선되었는데, 이를 살펴보기 위해 NIR 밴드에서 구름 제거 기법별 참값과 예측된 값 사이의 산점도를 비교하였다(Fig. 8). cGAN 모델의 예측 결과는 예측 시기가 8월인 실험에서 모든 예측값이 과추정되는 양상을 보였다. 그리고 예측 시기가 9월인 실험에서는 낮은 값의 과추정 양상과 높은 값의 저추정 양상이 나타났다. 이러한 양상으로 인해 cGAN 모델의 예측 결과는 실제 광학 영상의 화소값과 큰 차이를 보인 것으로 판단된다. 또한 cGAN 모델의 예측 결과는 다른 구름 제거 기법들에 비해 예측값의 밀집도가 상대적으로 낮은 것으로 나타났다. 반면 회귀 기반 보정을 수행한 제안 기법의 결과는 cGAN 모델의 예측 결과에서 나타난 저추정과 과추정 양상이 크게 완화되었다. 그리고 제안 기법의 결과는 특정값에 밀집되어 있는 양상이 두드러지게 나타났다. 예를 들어, 예측 대상 시기가 8월과 9월인 경우 각각 예측값은 0.4와 0.5에 밀집되어 있는 것을 확인할 수 있다. 이러한 양상은 시각적 분석에서 서로 다른 필지 간 반사율 차이를 재현하지 못하는 한계에 기인한 것으로 보인다.

Fig. 8. Scatter density plots of actual values and prediction results in NIR band for different prediction dates.

Fig. 9는 제안 기법과 회귀 기반 구름 제거 기법에 대한 오차 통계를 보여준다. RMSE를 살펴보면 예측 시기와 관계없이 제안 기법의 예측 성능은 cGANs의 예측 성능보다 우수하였다. 이러한 결과는 구름 제거에서 cGANs을 이용할 때 실제 광학 영상의 분광학적인 특성을 반영하는 구름 영역의 화소값 보정이 필요하다는 것을 의미한다. 제안 기법의 예측 성능은 회귀 기반 구름 제거 기법과 비교했을 때 밴드별로 상이하게 나타났다. 제안 기법은 RGB 밴드에서 RF1 보다 더 낮은 예측 성능을 보였으나, NIR 밴드에서는 RF1 보다 더 우수한 것으로 나타났다. 이러한 결과는 제안 기법이 지표면의 구조적인 특성을 영상화 하는 SAR 영상을 입력으로 이용하기 때문에 식생의 생장과 관련이 높은 NIR 밴드의 예측 성능이 상대적으로 우수한 반면에 색상 정보를 나타내는 RGB 밴드는 예측하기 어렵다는 것을 의미한다. RF2는 부가자료로 예측 시기와 이웃한 시기의 획득된 상관성이 높은 광학 영상을 이용하기 때문에 가장 우수한 성능을 보였다. 이러한 구름 제거 기법별 예측 성능 비교 결과는 공간 유사도를 나타내는 SSIM에서도 동일한 양상을 보였다.

Fig. 9. RMSE and SSIM values of four cloud removal results for different prediction dates.

실험 결과를 종합하면, 여름철 예측 시기와 이웃한 시간대에 부가자료의 획득이 어려운 경우 구름에 영향을 받지 않는 SAR 영상을 입력으로 이용하는 제안 기법이 유용하게 적용될 수 있다. 특히 cGANs은 벼의 생육 주기 동안 획득된 훈련 영상을 이용하여 학습하였는데, 구름 제거 실험에서 예측 시기에 관계없이 우수한 성능을 보인다는 점에서 확장성 측면에서도 우수하다고 볼 수 있다. 이러한 관점에서 이 연구에서 제안한 구름 제거 기법은 기상 조건으로 인한 광학 영상의 자료 구축의 한계를 극복함으로써 시계열 모니터링에 유용한 정보를 제공할 수 있을 것으로 판단된다. 다만 제안 기법의 2 단계인 회귀 기반 보정은 구름이 아닌 영역의 실제 화소값을 부가자료로 이용하기 때문에 예측 시기의 광학 영상이 모두 구름으로 덮인 경우 적용이 불가능하다는 일부 한계를 갖고 있다. 광학 영상의 가용성 문제는 장마와 태풍이 발생하는 여름철에 집중적으로 발생할 수 있으며, 이러한 경우 구름 제거에 제안 기법의 1단계인 cGAN 모델의 예측 결과를 최종 예측 결과로 이용해야 한다.

5. 결론

이 연구에서는 여름철 기상 조건으로 인해 광학 영상의 획득이 어려운 경우 구름 영역의 화소값을 예측하기 위해 cGAN 모델과 회귀 기반 보정을 결합하는 구름 제거 기법을 제안하였다. 제안된 구름 제거 기법은 기상 조건으로 인한 자료 획득의 한계를 보완하기 위해 먼저 SAR 영상을 입력으로 이용하는 cGAN 모델을 통해 구름 영역을 예측하고, 구름이 아닌 영역에서 cGAN 모델의 예측 결과와 실제 광학 영상 간의 관계성을 모델링함으로써 구름 영역의 화소값을 보정하였다.

우리나라 대표적인 벼 재배지 중 하나인 전라북도 김제시를 대상으로 구름 제거 사례연구를 수행한 결과, cGAN 모델의 예측 결과는 급격한 토지피복 변화를 보이는 작물 재배지에서 효과적으로 구름 영역을 복원할 수 있음을 확인하였다. 다만 구름 영역과 구름이 아닌 영역에서의 화소값 차이가 발생하였는데, 회귀 기반 보정을 추가적으로 수행함으로써 완화되는 것을 확인할 수 있었다. 그리고 예측 시기의 영상과 부가자료 간 긴시간 간격을 갖는 회귀 기반 구름 제거 기법과 비교했을 때 SAR 영상의 특성으로 인해 NIR 밴드에서 상대적으로 높은 예측 성능을 나타냈다. 특히 제안 기법은 예측 시기에 관계없이 우수한 성능을 보이기 때문에 확장성 측면에서도 우수한 것으로 나타났다.

이 연구에서 제안한 구름 제거 기법은 입력 자료의 가용성과 모델 적용 측면에서 일부 개선될 사항이 존재한다. 먼저 제안 기법의 성능 평가를 위해 예측 시기에 따른 영향을 살펴봤지만, 가용할 수 있는 훈련 영상 수의 한계로 인해 cGANs의 학습에 이용하는 훈련 영상의 획득 시기에 따른 영향을 추가로 분석할 필요가 있다. 그리고 제안 기법은 식생과 관련된 NIR 밴드에서 우수한 예측 성능을 보였음에도 불구하고 상대적으로 낮은 공간해상도 문제로 인해 Sentinel-2 영상에서 제공하는 식생과 관련된 red-edge 밴드와 SWIR 밴드를 cGAN 모델의 입력으로 이용하지 못하는 한계가 있다. 마지막으로 회귀 기반 보정에서 회귀 모델링에 사용된 훈련자료로부터 잔차를 계산할 수 있으며, 이는 공간 내삽 기법을 통해 잔차맵을 생성함으로써 구름 영역을 보정하는데 부가 정보로 이용할 수 있다. 향후에는 cGANs을 이용한 구름 제거의 성능 향상을 목적으로 훈련 영상의 획득 시기에 따른 영향 분석과 함께 red-edge 밴드와 SWIR 밴드를 입력으로 이용 가능하도록 cGANs의 모델 구조를 개선하고, 잔차맵을 통해 회귀 기반 보정 결과를 보완할 예정이다.