Development of Artificial Intelligence-Based Remote-Sense Reflectance Prediction Model Using Long-Term GOCI Data

장기 GOCI 자료를 활용한 인공지능 기반 원격 반사도 예측 모델 개발

Abstract

Recently, the necessity of predicting changes for monitoring ocean is widely recognized. In this study, we performed a time series prediction of remote-sensing reflectance (Rrs), which can indicate changes in the ocean, using Geostationary Ocean Color Imager (GOCI) data. Using GOCI-I data, we trained a multi-scale Convolutional Long-Short-Term-Memory (ConvLSTM) which is proposed in this study. Validation was conducted using GOCI-II data acquired at different periods from GOCI-I. We compared model performance with the existing ConvLSTM models. The results showed that the proposed model, which considers both spatial and temporal features, outperformed other models in predicting temporal trends of Rrs. We checked the temporal trends of Rrs learned by the model through long-term prediction results. Consequently, we anticipate that it would be available in periodic change detection.

해양의 모니터링을 위해서는 변화를 예측하는 과정이 필요하다는 것은 널리 인정되고 있다. 이 연구에서는 Geostationary Ocean Color Imager (GOCI) 자료를 이용하여 해양의 변화를 지시할 수 있는 반사도의 시계열 예측을 수행하였다. 이를 위해 다중 규모 Convolutional Long-Short-Term-Memory (ConvLSTM) 모델을 제안하였으며, GOCI-I 자료를 이용하여 모델을 학습하였다. 취득 기간이 다른 GOCI-II 자료를 이용하여 모델의 성능을 검증하였으며, 기존의 ConvLSTM 모델과 성능을 비교하였다. 비교 결과, 제안한 모델은 시공간적 특성을 모두 고려하여 반사도의 변화 경향성을 파악하는데 있어 가장 우수한 결과를 보였다. 장기 예측 결과를 통해 모델이 학습한 반사도의 시간적 변화 경향을 확인하였으며, 이를 이용한 주기적 변화 탐지가 가능할 것으로 기대된다.

1. 서론

최근 이상기후의 발생으로 환경에 대한 지속적인 모니터링의 필요성이 증가하고 있다. 특히 지구 표면의 70% 이상을 덮고 있는 해양의 변화는 전 지구적 기후 변화에 영향을 미칠 수 있기 때문에 해양을 지속적으로 모니터링하는 것은 매우 중요하다(Visbeck, 2018). 광범위한 지역에서 주기적으로 자료를 획득할 수 있는 위성 영상은 해양의 단기적인 현상 분석뿐만 아니라 중장기적 변화를 모니터링하는데 유용하게 활용될 수 있다.

해양의 중장기적 모니터링을 위해 해양의 수질을 지시하는 위성 기반 Chlorophyll-a (Chl-a)를 이용한 연구들이 수행되고 있다. Park et al. (2022a)은 Moderate Resolution Imaging Spectroradiometer (MODIS)의 Chl-a 자료를 이용하여 2003년부터 2020년까지 대한민국 동해의 장기 경향성과 계절 변화 및 기후 지수에 대한 영향을 파악하였다. Chen et al. (2017)은 Sea-viewing Wide Field-of-view Sensor (SeaWiFS)와 MODIS의 Chl-a 자료를 이용하여 장강 하구의 동중국해에서 1998년부터 2013년까지의 산소 농도 변화 경향을 관찰하였다. Kim et al. (2009)은 1998년부터 2007년까지의 SeaWiFS Chl-a 자료를 이용하여 장강 유출로 인한 동중국해의 저염분수 변화 경향을 파악하였다. Park et al. (2022b)은 Chl-a 장기 경향성을 분석하는데 Geostationary Ocean ColorImager (GOCI)와 MODIS, Visible Infrared Imaging Radiometer Suite (VIIRS)의 적용성을 평가하였다. 위와 같은 위성영상의 산출물인 Chl-a를 이용한 해양의 중장기적 모니터링은 환경의 변화에 미치는 요인을 직접적으로 분석할 수 있다는 장점이 있다. 하지만, 광학적으로 복잡한 해역에서 위성영상으로부터 Chl-a를 계산하는 방법은 쉽지 않은 과정으로 지역마다 다르게 적용되어야 하기 때문에 광역적인 모니터링에 적용하기에는 어려움이 있으며(Yoon et al., 2019), 위성영상의 반사도로부터 Chl-a를 산출하는 과정에서 오차 전파(error propagation) 문제를 겪을 수도 있다(Zheng and DiGiacomo, 2017).

위성영상의 산출물인 Chl-a는 기본적으로 반사도를 이용하여 산출한다. O’Reilly et al. (1998)의 ocean color chlorophyll (OC) 알고리즘은 녹색광 밴드의 반사도를 이용하여 계산되었으며, Hu et al. (2012)의 color index (CI) 알고리즘과 Cannizzaro and Carder 알고리즘(Carder et al., 2004)에는 청색, 녹색, 적색광의 반사도, Al Shehhi et al. (2017)에서는 근적외(near infra-red, NIR)와 적색 파장대의 반사도가 사용되었다. 이처럼 반사도는 우주 관측 기관들이 제공하는 표준 생산물로 광학적 특성을 지닌 모든 요인에 대한 변화를 포함하기 때문에 변화에 대한 지표가 될 수 있다(Dutkiewicz et al., 2019).

최근 인공지능 관련 기술의 발달과 함께 딥러닝 모델 중 시계열 자료의 처리가 가능한 Long-Short Term Memory (LSTM)를 활용한 중장기 예측 모델 연구들이 수행되고 있다. Yu et al. (2020)은 Wavelet Domain Threshold Denoising (WDTD)과 Wavelet Mean Fusion (WMF)이 적용된 LSTM인 WDTD-LSTM-WMF를 이용하여 Chl-a를 예측하는 방법을 제안하였다. Na et al. (2022)은 합성곱(convolution) 네트워크가 추가된 LSTM을 이용하여 시공간적 정보를 함께 고려함으로써 Chl-a를 예측하는 보다 개선된 방법을 제안하였다. 인공지능 기반의 중장기 경향성 예측을 수행하는 기존의 연구들은 위성영상의 산출물인 Chl-a을 이용하여 경향성 예측을 수행하였으나, 다중 밴드의 반사도를 예측하는 연구는 아직 수행되지 않았다. 또한, Chl-a를 예측하는데 적용된 기존의 LSTM 기반 모델은 단일 차원인 Chl-a 예측에는 적합하였으나, 모델의 파라미터 수가 적어 고차원 정보인 다중 밴드 원격 반사도를 예측하기엔 어려움이 있다.

본 연구에서는 인공지능을 이용하여 원격 반사도의 중장기 경향성을 예측하는 방법을 제안하였다. 단일 밴드의 자료보다 고차원 정보를 보유한 다중 밴드 원격 반사도의 시계열 예측을 위해 GoogLeNet (Szegedy et al., 2015)의 인셉션(Inception) 모듈 구조와 어텐션(Attention) 구조를 결합한 다중 규모(Multi-scale) Convolutional Long-Short-Term-Memory (ConvLSTM) 모델을 개발하였다. 사례연구로 한반도 주변 영역을 대상으로 약 10년간 획득된 GOCI-I 반사도의 월 평균 자료를 이용하여 모델을 학습하고, GOCI-II 자료를 검증에 활용하였다.

2. 연구자료 및 방법

2.1. 연구 지역

본 연구에서는 대한민국의 동해, 서해, 남해를 포함하며 동중국해와 일본 남부 북태평양을 일부 포함하는 한반도 주변 영역을 대상으로 실험을 수행하였다. Fig. 1은 GOCI-II의 슬롯 4와 7 구역에 속하는 영역을 나타낸 것으로 이 연구의 대상 지역을 그림에 표시하였으며, 위도 31°–39°, 경도 124°–137°E 범위이다. Fig. 1에 나타낸 A와 B 영역은 모델 검증 결과를 분석하기 위해 사용된 영역이다.

Fig. 1. Study area of this study. The blue dotted line represents the area for training and validation data, and the red solid line represents the area used for analysis.

2.2. 연구 자료

2.2.1. GOCI 원격반사도 자료

GOCI-I은 한국해양과학기술원(Korea Institute of Science and Technology, KIOST)이 개발한 세계 최초의 정지궤도 해양관측 위성으로 KIOST 해양위성센터 웹사이트에서 영상 파일을 제공한다(Korea Ocean Satellite Center, 2023). GOCI-I은 2011년 4월부터 2021년 3월까지 500 m의 공간해상도를 갖는 가시광 및 근적외선 파장대역에서 한반도를 중심으로 한 동아시아 해역(경도 130°E, 위도 36° 중심 2,500 × 2,500 km 영역)을 관측하였다(Table 1). 이러한 GOCI-I은 UTC 0시부터 7시까지 1시간 간격으로 하루에 8번 촬영하기 때문에 극궤도 위성보다 더 자세한 해양 변화를 관찰할 수 있다. 본 연구에서는 방사보정과 기하보정을 수행한 후에 표준 대기 보정 알고리즘이 적용된 GOCI-I Level 2 반사도 자료를 이용하였다(Ahn et al., 2012). GOCI-I 자료는 2012년 1월부터 2021년 3월까지의 자료를 사용하였으며, 모델의 학습을 위한 훈련 자료로 이용하였다(Table 2).

Table 1. Information of GOCI

Table 2. The data used in this study

GOCI-II는 GOCI-I의 후속 임무 수행을 위해 2020년 2월에 발사된 인공위성으로, 2020년 10월부터 정규 임무 수행을 시작하였다. 국립해양조사원 국가 해양위성 센터 및 한국해양과학기술원 해양위성센터 웹사이트(National Ocean Satellite Center, 2023; Korea Ocean Satellite Center, 2023)를 통해 2021년 1월부터의 GOCI-II 영상을 다운로드 받을 수 있다. GOCI-II는 250 m의 공간 해상도로 매일 UTC 기준 23시부터 한 시간 간격으로 10 번의 영상을 촬영하며, 분광밴드는 총 13개(Table 1)로 GOCI-I보다 더 많은 밴드를 갖추고 있다. 이 연구에서는 GOCI-II의 2021년 1월부터 2023년 7월까지의 반사도 자료를 활용하였으며, 불량 자료인 2021년 11월과 12월 영상을 제외한 나머지를 모델의 성능 평가를 위한 검증 자료로 사용하였다.

GOCI-II는 GOCI-I보다 높은 해상도와 많은 분광 밴드의 자료를 제공하므로 두 위성 자료를 동시에 활용하기 위해 GOCI-II 자료에 재투영 및 리샘플링(resampling)을 수행하였다. 2,780 × 2,780 화소 크기로 분할된 12개 슬롯 영상을 따로 제공하는 GOCI-II는 연구 지역을 포함하도록 슬롯 4와 7의 영상을 모자이크한 후 GOCI-I 영역과 동일하게 마스킹(masking) 하였다. 이후 동일한 공간해상도를 갖도록 리샘플링을 수행하였다. GOCI-I과 II의 반사도는 서로 다른 대기 보정 기법을 이용하지만, 동일한 파장대역에서 동일한 반사율을 갖는다고 가정하여 두 영상을 일치시키는 전처리 과정을 별도로 수행하지 않았다.

2.2.2. 영상 전처리

위성영상은 지표면을 가리는 구름이나 기상 상황 등에 의해 결측 자료가 발생할 수 있다. 시계열 분석 연구에 자주 사용되는 MODIS 자료와 같은 경우 많은 노이즈 자료나 미관측 자료로 일일 자료 사용이 어려워 8일, 1개월의 합성 자료를 사용하고 있지만, 1개월의 합성 자료에도 여전히 많은 결측치가 존재한다. 이러한 결측치는 자료가 보유한 시공간적 연속성을 해치며 일정 수준 이상의 결측 시 시계열 예측을 수행하는 기계 학습에서 불리하게 작용할 수 있다(Appel, 2022).

GOCI는 정지궤도 위성으로 1일 8회(GOCI-II: 10회)의 촬영을 수행하여 극궤도 위성보다 동일기간에 보다 많은 영상을 제공하여 합성 자료 생성 시 결측치를 개선할 수 있다. 연구에서는 인공지능 모델 학습 시 영향을 줄 수 있는 결측치를 개선하기 위해 1개월 합성 영상을 이용하였다. GOCI 자료의 하루 4 시간(UTC 1–4) 영상을 영상 합성에 이용하였으며, 1개월 동안의 평균 원격반사도 값을 구하였다. GOCI-I 자료는 9년 3개월의 자료로 총 111개의 월 평균 합성 영상을 생성할 수 있었고, GOCI-II 자료는 2개월의 불량 자료를 제외한 나머지를 이용하여 29개의 월 평균 합성영상을 생성하였다.

대기 보정 과정에서의 오류로 일부 밴드에서 반사도가 음의 값을 갖거나, 영상의 공간 샘플링 시 수행한 스플라인(spline) 보간의 영향으로 1보다 큰 값을 가질 수 있다. 반사도는 0과 1 사이의 값을 갖기 때문에 각 영상에서 값이 0보다 작은 값은 0으로, 1보다 큰 값은 1로 변경하였다. 그리고, 마스크(mask) 영역을 따로 생성하여 모델의 훈련 시 손실 계산에는 사용되지 않도록 하였다. 마찬가지로 영상 내 육상 영역은 마스킹하여 모델 훈련에 적용되지 않도록 하였다.

해양의 반사율은 육지에 비해 변화가 크지 않으며, 상대적으로 작은 값에서의 변화가 잦아 자료의 정규화가 필요하며, 정규화는 식(1)을 이용하여 수행하였다.

Log-scaled Rrs = log₁₀ (9 × Rrs + 1)       (1)

로그 정규화는 상대적으로 작은 값에서의 변화를 강조할 수 있는 방법으로 위 식을 이용하면 반사도는 [0, 1]의 범위를 지니며, 정규화 된 값 또한 [0, 1]의 범위를 유지할 수 있다. Fig. 2는 정규화 전 후의 해양 반사도 자료의 히스토그램을 나타낸 것으로 정규화를 통해 작은 값에 집중되어 있는 분포가 보다 넓은 영역으로 변하는 것을 확인할 수 있다.

Fig. 2. Histogram of reflectance and log-scaled reflectance. Through scaling, the distribution of values becomes wider.

인공지능 모델의 예측 결과를 반사도 자료로 만들 때에는 역변환이 필요하며, 이는 식(2)를 이용하여 수행한다.

\(\begin{aligned}R r s=\frac{10^{\text {Log-scaled Rrs }}-1}{9}\end{aligned}\)       (2)

2.2.3. 훈련 및 검증 자료

앞에서 언급한 바와 같이 모델의 훈련에는 GOCI-I 자료를 이용하였으며, GOCI-II 자료는 검증에 이용하였다. 연구 지역에 해당하는 개별 월 평균 영상의 크기는 1,680 × 2,480 화소 크기로, 8개의 밴드로 구성되었다. 모델 학습에 사용되는 하나의 데이터세트는 연속된 7개월 영상으로 6개월의 입력 자료와 마지막 라벨 자료로 구성된다. 이와 같은 방법으로 111개의 GOCI-1 자료는 105개의 훈련 데이터세트로 구성되었으며, 29개의 GOCI-2 자료는 불량 자료로 비어 있는 기간으로 인해 17개의 검증 데이터세트로 생성되었다.

2.3. 연구 방법

2.3.1. 다중 규모 ConvLSTM

이 논문에서 제안하는 모델은 다중 규모 ConvLSTM으로 GoogLeNet의 Inception 모듈에서 착안하였다. 모델은 특성을 추출하는 인코더(Encoder) 부분과 시계열 정보를 분석하는 Long-Short Term Memory (LSTM) 블록, 추출된 특성을 이용하여 예측을 수행하는 디코더(Decoder)로 구성되며(Fig. 3), 모델의 주요 특징은 다중 규모 특성 추출 방법, 시공간적 정보를 고려할 수 있는 ConvLSTM과 광역 정보를 고려할 수 있는 어텐션의 도입이다.

Fig. 3. Structure of proposed model in this study. Encoder includes an inception module-like structure. Each feature passes through the ConvLSTM loop separately.

넓은 영역에 대해 다중 분광 밴드를 동시에 예측을 수행하는 모델의 개발을 위해서는 영상을 분할하여 사용하거나, 효율적으로 특성을 추출할 수 있는 네트워크가 필요하다. 제안하는 모델은 초기 영상을 stride 5의 합성곱 레이어를 이용하여 1/5로 줄이는 과정을 수행한다. 이 때 결과에서의 알리아싱(aliasing)을 막기 위해 합성곱 커널 크기는 7을 적용하였다. 이후 공간적으로 압축된 특성으로부터 효율적으로 정보를 추출하기 위해 Inception 모듈과 같은 방식의 다중 규모 특성 추출 과정을 수행한다. Inception 모듈은 1 × 1 합성곱을 이용한 bottle-neck 구조의 특성 추출을 다양한 규모의 경로로 수행함으로써 메모리 점유율은 줄이면서 효율적으로 특성을 추출할 수 있는 방법으로 제안 모델에서는 1 × 1 합성곱, 5 × 5 합성곱, 5 × 5 평균 풀링(pooling) 세가지 경로를 사용하였다. 각 특성 추출 경로에서 1 × 1 합성곱은 세부적인 공간 변화에 대한 정보를 추출하고, 5 × 5 합성곱은 보다 넓은 범위의 변화를 고려하며, 평균 풀링은 공간적 분포의 전체적인 변화를 추출할 수 있다. 세 가지 규모로 추출된 특성은 각각의 ConvLSTM 레이어를 통과한 뒤 업샘플링(UpSampling) 및 1 × 1 합성곱 연산을 통해 원본 영상의 크기로 복구되며, 세 결과를 이용하여 최종 예측 결과를 도출할 수 있다.

LSTM은 시계열 자료나 자연어 처리 등에 적합한 딥러닝 모델인 Recurrent Neural Networks (RNN)의 일종으로, RNN의문제점인장기의존성(Long-Term Dependency)을 해결하기 위해 고안되었다(Kwak et al., 2019). LSTM은 셀 상태(Cell State)라는 기억 구조를 가지고 있으며, 이를 통해 과거의 정보를 현재의 출력에 반영할 수 있다. LSTM의 셀 상태는 세 가지 게이트(Input Gate, Forget Gate, Output Gate)를 통해 갱신할 수 있으며, 이러한 게이트들은 각각 셀 상태에 어떤 정보를 추가하거나 삭제, 출력할지를 결정하는 역할을 한다. ConvLSTM은 Shi et al. (2015)이 제안한 방법으로 기존의 LSTM이 공간적 특성을 반영하기 어렵다는 단점을 보완하기 위해 고안된 방법으로 기존의 LSTM의 동작 방식과 동일하지만 내부 행렬곱 연산을 합성곱으로 변경한 모델이다.

어텐션(Attention)은 특정 부분에 집중하여 그 부분의 정보를 강조하는 방법으로 자연어 처리의 기계 번역에서 많이 사용되어왔다. 어텐션은 참조할 정보인 쿼리(Query)에 대해 입력되는 자료의 키(Key)와의 유사도를 구해 키와 대응되는 값(Value)에 유사도를 반영하여 중요 정보가 강조된 어텐션값(Attention value)을 구하는 방법이다. 이 때, 참조되는 정보인 쿼리와 입력되는 자료인 키가 동일한 자료에서 생성된 경우를 self-attention, 다른 자료에서 생성된 경우를 cross-attention이라고 한다. Wang et al. (2017)은 자연어 처리의 attention을 영상 분류 모델인 Residual Network (ResNet)과 결합하였고, 이후 영상 분류 state-of-the-art (SOTA) 성능을 보유한 많은 모델에 어텐션이 적용되어왔다.

연구에서 사용된 어텐션 모듈인 CBAM은 Woo et al. (2018)이 제안한 방법으로 합성곱 연산을 대체할 수 있는 어텐션 모듈이다. CBAM은 입력되는 특성에 대해 두 단계의 어텐션 과정을 거치는데 첫 번째로 입력 특성의 채널 방향의 어텐션이 수행된 후, 공간 방향의 어텐션을 수행하여 채널 특성과 공간 특성의 중요도를 반영한다. 연구에서는 ConvLSTM 셀(cell)의 합성곱 연산을 CBAM으로 대체하였다(Fig. 4). 입력되는 자료에 대해 self-attention을 적용하여 보다 중요한 자료에 대한 입력을 강조하였고, 이전 시간의 LSTM 셀에서 출력되는 은닉 상태(hidden state)와 입력되는 자료의 cross-attention을 구하여 전달되는 은닉 상태가 입력되는 자료와 관련이 높은 것에 집중할 수 있도록 하였다.

Fig. 4. The ConvLSTM module used in this study. Attention mechanism is included before linear operations.

2.3.2. 훈련 및 검증 방법

모델의 학습은 6개의 LSTM Block을 쌓아 수행하였으며, 6개월치의 영상이 입력되고 7개월째의 반사도를 예측하는 형태로 진행된다(Fig. 5). 손실 함수는 mean squared error (MSE)를 사용하였으며, 마스크를 이용하여 결측치와 육상영역에 대한 손실 값은 무시하였다. 과적합 문제를 완화할 수 있는 선형 스케줄러와 exponential moving average (EMA) 방식을 적용하였다. 학습에 사용된 하이퍼파라미터(hyperparameter)는 초기 학습률 0.01, 감소율은 0.666이며 총 300회 반복 학습을 수행하였다.

Fig. 5. Prediction process: images from six consecutive months are input, and images for the next month are predicted.

학습 결과의 검증을 위해 GOCI-I 자료와는 다른 시기에 획득된 GOCI-II 자료를 이용하였으며, MSE 값을 이용해 모델의 성능을 평가하였다. 또한, 논문에서 제안한 모델의 성능을 비교하기 위해 세 종류의 기존 ConvLSTM 모델을 추가로 학습하였다. 추가로 학습한 모델은 각각 커널 크기가 1인 모델(Conv1x1), 영상 축소 합성곱 모델(ConvLSTM), 어텐션이 없는 모델(Proposed model w/o attention)이다. Conv1x1 모델은 화소기반 예측 모델로 볼 수 있으며 공간 분포에 대한 정보를 이용하지 않는 일반 LSTM을 이용한 모델이다. 영상 축소 합성곱 모델은 LSTM에 합성곱이 추가된 형태로 일반적인 ConvLSTM과 동일하며, 어텐션이 없는 모델은 제안한 모델에서 어텐션의 효과를 제거한 모델이다.

3. 연구결과 및 토의

3.1. 학습 및 검증 결과

Fig. 6(a, b)는 각각 학습 시 훈련자료와 검증자료의 손실 곡선을 나타낸 것이다. 네 가지 모델 모두 학습 시 적용한 선형 스케줄러와 EMA로 인해 과적합은 발생하지 않는 것으로 보인다. ConvLSTM 모델의 경우 손실 값이 크게 나타나며, 이는 공간적으로 압축된 특성에 대해 단일의 LSTM만으로 주기성을 학습하기 어려움으로 볼 수 있다. 손실 곡선을 통해 훈련 자료와 검증 자료에서 모두 최소 손실 값을 보이는 제안 모델이 가장 좋은 성능을 보여줌을 알 수 있다.

Fig. 6. Loss plot of four models. (a) The plots represent training loss and (b) validation loss.

Fig. 7과 8은 검증 자료의 손실 곡선에서 가장 낮은 값을 보인 Conv1x1과 제안 모델을 비교 하기 위해 나타낸 그림으로, 검증 자료를 예측한 결과에서 Fig. 1의 A, B 영역의 평균 반사도를 시간에 따라 나타낸 것이다. Fig. 7은 A 영역의 평균 반사도를 나타낸 것으로 두 모델 모두 412 nm의 자료를 제외하고 라벨의 경향성을 잘 따르는 것으로 보이나, 제안 모델을 이용한 경우 보다 정확한 예측을 할 수 있었다. Fig. 8은 B 영역의 평균 반사도를 나타낸 것으로 Conv1x1 모델의 경우 660 nm, 745 nm, 865 nm 세 개의 밴드 예측 결과가 상당히 다르다. 제안한 모델을 이용한 예측의 경우 660 nm의 자료를 제외하고 예측이 잘 수행되는 것을 확인할 수 있다.

Fig. 7. Time series of averaged Rrs prediction results in patch A for 8 bands. The green solid line represents validation data, and the blue and the yellow solid lines represent the predicted result of Conv1x1 and the proposed model, respectively.

Fig. 7의 412 nm 밴드와 Fig. 8의 660 nm 밴드의 오차 원인은 훈련 자료와 검증 자료의 차이가 큰 것으로 예상되며, Fig. 9에서 이를 확인할 수 있다. Fig. 9는 A 영역의 412 nm 밴드와 B 영역의 660 nm 밴드에 대해 훈련자료와 검증자료를 시간에 따라 나타낸 것으로, 660 nm에 노란색으로 표시된 부분은 해당 영역의 결측 자료로 인해 자료가 없는 경우이다. 해당 위치에서 검증 자료는 훈련 자료의 반사도와는 다른 경향을 보이며, 이로 인해 예측 결과는 검증자료와는 다른 결과를 보인다.

Fig. 8. Time series of averaged Rrs prediction results in patch B for 8 bands. The green solid line represents validation data, and the blue and the yellow solid lines represent the predicted result of Conv1x1 and the proposed model, respectively.

Fig. 9. Whole period time series of averaged Rrs prediction result for center wavelength 412 nm band in patch A and 660 nm band in patch B, respectively. The yellow circle represents the existence of missing values in that period.

Fig. 10에는 가장 최근 영상인 2023년 7월 자료와 예측한 결과를 412 nm, 660 nm, 865 nm에 대해 나타냈다. 훈련 자료와 시간적 거리가 가장 먼 자료임에도 제안 모델은 검증 자료와 거의 유사한 예측 결과를 보여준다.

Fig. 10. Validation data and prediction results in July 2023 for center wavelength 412 nm band, 660 nm band, and 865 nm band.

Fig. 11은 검증 자료 전체 기간에서 세 개 밴드의 모델 예측 결과에 대한 root mean squared error (RMSE)를 나타낸 것이다. 제안 모델의 예측 오차는 Conv1x1 모델의 예측 오차와 비교해서 전반적으로 작은 것을 확인할 수 있다. 앞에서 언급한 바와 같이 패치 A 영역에서 412 nm의 검증 자료는 훈련 자료와 차이가 크며, 그림에서도 해당 부분의 오차가 상대적으로 크게 나타난다. 패치 B영역의 경우 Fig. 8에서 660 nm 자료와 예측결과의 차이가 크게 나타났으나, 오차 그림에서는 해당 현상을 확인하기 어렵다. 이는 B 영역에서 660 nm의 반사도가 A영역이나 해안영역 보다 작아 하나의 그림에서는 관찰하기 어렵기 때문이다. 주목할 부분은 대한민국 서부 해안 영역으로 강의 영향을 크게 받는 영역에서 Conv1x1 모델보다 제안한 모델의 예측 결과 오차가 눈에 띄게 줄었다는 점이다. 해당 영역은 강에서 유입되는 부유물로 인해 장파장 밴드의 반사도가 크게 나타나는 지역으로 육지에서 먼 해양과 다른 특성을 보인다. 이와 같은 영역에서 Conv1x1 모델의 경우 다른 변화 양상을 학습할 수 없었지만, 제안한 모델은 많은 파라미터를 통해 보다 다양한 해역에 대해 학습할 수 있었다.

Fig. 11. RMSE image for validation data of Conv1x1 model and proposed model.

3.2. 장기 예측 결과

시계열 자료를 학습한 모델은 예측 결과를 입력 자료로 다시 활용함으로써 보다 먼 미래를 예측할 수 있다. Fig. 12는 훈련 자료인 GOCI-I을 이용하여 4개월 뒤를 예측 한 후 패치 A 영역의 평균 반사도를 시간에 따라 나타낸 것으로 모델이 학습한 자료의 경향성을 파악할 수 있다. 입력 자료에서 6개월치 자료는 실제 자료를 이용하였으며, 이후 3개월치 자료는 예측된 결과를 다시 입력하였다. Fig. 12에서 Conv1x1 모델은 GOCI-I자료의 변화 경향과 상당히 다른 모습을 보여주며, 제안 모델의 경우 4개월 뒤의 예측 결과임에도 GOCI-I 자료의 경향성을 잘 따르고 있음을 확인할 수 있다. 하지만 그림에 표시된 부분처럼 이전 시기와 다른 경향을 보이는 부분에 대해서는 자료와 다른 예측 결과를 보여주었으며, 경향이 변한 원인을 분석한다면 이를 활용한 변화탐지가 가능할 것으로 보인다.

Fig. 12. Time series prediction and label of average Rrs in patch A. This result is a forecast 4 months later using 6 months of input data. After using the 6-month data, the predicted results were used recurrently for the 3-month. The GOCI-I data shows a distinctly different trend in the red circle.

3.3. 결측 자료 영향

앞에서 언급한 바와 같이 시계열 자료의 분석에서 결측 자료는 자료의 시공간적 연속성을 해칠 수 있다. 이 연구에서는 정지궤도 위성 영상인 GOCI 자료를 이용하였고, 구름 혹은 센서의 이상으로 인한 영상 내 결측치를 고려하여 월 평균 합성 자료를 이용해 학습자료를 구축하였다. 그럼에도 불구하고 모든 결측 자료 영역을 제거할 수는 없었으며, 모델의 학습 시 결측 자료 영역의 영향을 확인하였다. Fig. 13은 넓은 결측 자료 영역이 존재하는 2013년 1월의 GOCI-I 자료와 이를 이용해 예측한 2월의 결과, 비교를 위한 2월의 자료 영상을 443 nm에 대해 나타낸 것이다. 1월의 영상에서 대한민국 서해에서 결측 자료 영역을 확인할 수 있으며, Conv1x1의 2월 자료 예측에서 동일한 형상의 예측 결과를 확인할 수 있다. 제안 모델의 경우 결측 자료의 영향이 없지는 않으나, 2월 자료에 근접한 형태의 예측을 수행한다. 이는 공간적 정보를 고려하지 않는 모델의 경우 입력되는 자료의 상태에 따라 예측이 크게 달라질 수 있으나, 제안한 모델은 영상에서 특성 추출 시 보다 넓은 영역을 참조하고, 어텐션을 통해 광역적인 정보를 고려하기 때문에 결측 자료에 의한 영향을 줄일 수 있음을 의미한다.

Fig. 13. Images of center wavelength 443 nm in Jan. 2013 and Feb. 2013. In Jan. 2013 missing values are shown in the Yellow Sea area and the Conv1x1 model is affected by missing values.

4. 결론

이번 연구에서는 인공지능을 이용한 시계열 원격반사도 예측을 위해 다중규모 ConvLSTM 모델을 제안하였다. 제안한 모델은 영상 축소 레이어, GoogLeNet의 Inception 모듈에서 착안한 특성 추출 레이어로 구성된 인코더와 서로 다른 규모의 특성의 ConvLSTM이 각각 수행되는 LSTM 블록, 추출 특성을 이용해 반사도를 예측하는 디코더로 구성되며 광역적인 정보를 고려할 수 있도록 ConvLSTM에 어텐션이 추가되었다. 학습을 위한 자료로 약 10년치의 GOCI-I과 GOCI-II 월평균 반사도 자료를 이용하였으며, GOCI-I 자료는 모델의 훈련에 사용하고 GOCI-II 자료를 모델의 성능 평가를 위한 검증자료로 활용하였다.

검증자료 예측 결과를 통해 자료 취득 위성이 다름에 도 불구하고 GOCI-I으로 학습한 모델이 GOCI-II 자료의 시간적 변화를 잘 예측할 수 있는 것을 확인하였다. 기존 모델과 제안 모델의 성능 비교를 위해 화소기반 예측 LSTM 모델과 검증 자료 예측결과, 장기 예측 결과, 입력 자료에 결측 자료 영역이 있는 경우의 예측 결과를 비교하였으며, 공간적 정보를 효율적으로 활용할 수 있는 제안 모델이 화소기반 예측형 모델보다 우수함을 확인할 수 있었다. 장기 예측에서는 자료 입력 시 예측된 자료를 다시 입력함으로써 모델이 학습한 자료의 시간적 변화 경향을 확인하였다. 예측 결과에서는 자료가 이전 시간대와 다른 변화 양상을 보이는 경우 자료와 예측 결과의 차이가 커짐을 확인할 수 있었으며, 이를 통해 예측 모델을 활용한 주기적 변화에 대한 탐지가 가능할 것으로 기대된다.