Artificial Intelligence-Based Detection of Smoke Plume and Yellow Dust from GEMS Images

인공지능 기반의 GEMS 산불연기 및 황사 탐지

Abstract

Wildfires cause a lot of environmental and economic damage to the Earth over time. Various experiments have examined the harmful effects of wildfires. Also, studies for detecting wildfires and pollutant emissions using satellite remote sensing have been conducted for many years. The wildfire product for the Geostationary Environmental Monitoring Spectrometer (GEMS), Korea's first environmental satellite sensor, has not been provided yet. In this study, a false-color composite for better expression of wildfire smoke was created from GEMS and used in a U-Net model for wildfire detection. Then, a classification model was constructed to distinguish yellow dust from the wildfire smoke candidate pixels. The proposed method can contribute to disaster monitoring using GEMS images.

산불은 오랜 기간동안 사회 및 경제적으로 지구에 많은 피해를 야기하며, 이러한 산불은 자연적 혹은 인위적으로 발생되어왔다. 이로 인해 여러 실험들에서 산불로 인한 악영향에 관한 연구들을 진행하였으며, 동시에 산불 발생 시 빠른 대처를 위한 산불탐지 및 오염배출 물질 탐지 등과 같은 연구들도 수행되었다. 그러나 현재까지 한국 및 동아시아 영역을 배경으로 한 연구는 부족한 실정이고 산불 탐지에 활용되는 자료들의 정확도에 한계가 있었다. 본 연구에서는 정지궤도 환경위성(Geostationary Environment Monitoring Spectrometer, GEMS) 영상에 위색합성기법을 활용해 새로운 산불연기 탐지 산출물을 생성하고 해당 영상을 U-Net 모델링에 활용해 기존의 연구들에서 산불 탐지시에 활용했던 가시광선 채널 영상의 한계를 보완하였다. 그리고 U-Net 모델링을 통해 산출된 산불연기 영역으로부터 황사 픽셀 필터링을 수행하는 분류모델을 구축하여 순수 산불연기 탐지 영상을 산출하였으며, 이는 GEMS 기반의 재난감시에 활용될 수 있을 것으로 기대한다.

1. 서론

최근 전 세계적으로 산불 활동이 급격하게 증가함에 따라 산불의 원인과 산불로 인한 위험을 완화하고 효과적으로 대처할 수 있는 방법에 대한 관심이 증가하고 있다(Burke et al., 2021). 다양한 연구들에서 산불로 인한 문제들을 밝히고 있다. 대표적으로 산불은 사회와 자연환경에 악영향을 미친다. 산불 발생이 인간 건강에 미치는 영향은 오랜 연구를 통해 입증되었다. 산불과 기타 바이오매스(biomass)로 인한 연기의 노출은 점점 중요한 공중 보건 문제로 인식되고 있으며, 미국의 경우 엄격한 규제를 통해 대기질 개선을 목적하고 있지만, 산불로 인한 바이오매스 배출은 증가하는 추세이다. 또한 유럽의 경우 연간 40,000명 이상의 사망자가 바이오매스 배출에 영향을 받았을 것으로 추정된다. 즉, 산불로 인한 바이오매스 발생 및 배출은 인간의 호흡기 및 심혈관 건강에 부정적인 영향을 미친다(Sigsgaard et al., 2015; Black et al., 2017; Knorr et al., 2017).

산불로 인한 생태계 파괴는 생물 다양성의 감소, 토양의 파괴, 오랜 회복 시간의 필요, 탄소 배출로 인한 기후 변화 야기 등이 있다. 산불 발생으로 인한 에어로졸(Aerosol)의 생성은 대기의 복사량의 변화를 야기하고 이로 인한 강수 패턴의 변화와 기온 증가로 인해 산불 발생 확률을 다시 높이는 등의 악순환을 발생하게 한다. 또한 산불은 생물의 서식지를 파괴하고 많은 동물과 식물에 직접적인 영향을 미치며, 토양을 고온으로 가열함으로 통해 수분 보유 능력이 감소시키고 토양 침식과 오염을 발생시킨다(Prosser and Williams, 1998; Lindsey and Fromm, 2008).

기후변화로 인한 전 세계 산불 발생의 빈도와 강도가 변해가고 있다. 전세계적으로 대형 산불이 계속해서 발생하고 있으며, 실제로 과거보다 화재로 인한 생태학적, 사회 경제적 영향이 급속도록 증가하고 있다(Zhang et al., 2019). 전 세계에서 동시다발적으로 대형 산불들이 발생하고 있는데, 비교적 최근 발생한 대형 산불들이 21st에 발생한 산불들 중 상위권에 위치한다. 대표적으로 2019년 시베리아에서 발생한 산불은 피해면적이 388만 ha에 달한다(Riley and Loehman, 2016; Safford et al., 2022). 또한 2023년 동아시아 지역의 대규모 산불들이 발생하고 있으며, 국내에서도 산불 사례 증가와 동시에 피해면적 비율이 증가하고 있다(Korea Forest Service, 2022). 최근 2022년 3월 울진에서 발생한 산불은 대한민국 역사상 가장 큰 규모의 산불로 많은 피해를 남겼다. 따라서 산불의 지속적인 발생으로 인한 피해를 최소화하고 2차적인 피해에 효과적으로 대처하기 위하여 다양한 산불 및 산불로 인한 대기오염 탐지 연구들이 수행되고 있다.

산불을 탐지하는 방식에는 다양한 접근법들이 존재한다. 산림 감시원의 수동관찰이나 화재 감시탑, 항공 모니터링 등의 방식들을 활용할 수 있지만, 넓은 공간에 대해 가장 높은 접근성과 효율성을 가지는 인공위성을 활용한 산불 탐지 연구가 가장 활발하게 진행되어져 왔다(Wang et al., 2022). 초기에 위성을 활용한 산불 탐지에는 위성 이미지의 픽셀 분석 수준으로 화재나 산불연기를 다른 물체(물, 눈, 구름 등)들과의 구별을 수행하였으나, 최근에 들어 컴퓨팅 파워의 발전과 많은 위성 데이터들이 확보됨에 따라 점차적으로 활성화재나 산불 연기의 직접적인 탐지를 수행하고 더 나아가 인공지능 모델들을 접목시킴으로 더욱 빠른 산불 탐지를 연구하고 있다(Zhao et al., 2022).

초기의 위성 영상을 활용한 산불 탐지 실험들로는 영상 처리기법들을 활용하거나, 산불 픽셀의 컨텍스처(contextual) 정보 기반의 분석을 수행하여 실험을 수행하였다(Mohapatra and Trinh, 2022). Matson and Dozier(1981)는National Oceanic and Atmospheric Administration(NOAA)-6 위성을 활용하여 활성 화재를 식별하는 것에 사용되는 중적외 및 장파적외 채널을 활용하여 실험을 수행하였다. 각각의 채널에서 화재 시 픽셀의 밝기온도가 다른 특성을 활용해 3.8 μm 중적외(BT_3.8)와 11 μm 열적외(BT₁₁) 채널의 픽셀 밝기차이를 계산하여 미리 결정된 임계값을 적용해 선별된 지역을 화재 지역으로 매핑(mapping)하였다. Flasse and Ceccato (2007)는 NOAA의 Advanced Very High-Resolution Radiometer (AVHRR) 센서를 이용하여 상황 별 화재 감지 알고리즘을 개발하였다. 이 방식은 전통적인 다중 채널 임계 값을 활용한 기법과 달리 화재 픽셀의 결정을 화재 예정 픽셀과 이웃한 픽셀을 비교하여 화재 픽셀 결정을 진행한다. 이러한 방식을 통해 화재 픽셀 탐지 시간을 단축시키고 다양한 환경에서 화재 픽셀 감지를 가능하게 하였다. 최근에는 카메라의 성능이 발전함에 따라 위성 센서의 해상도가 높아지고 이를 통해 고해상도 위성 영상을 활용해 공간맥락 기반의 산불 탐지를 수행하였다. Schroeder et al. (2016)은 Landsat-8의 Operational Land Imager (OLI)센서를 활용해 활성 화재 감지 알고리즘을 개발하였다. 가시 및 근적외선 채널과 단파 적외채널을 기반으로 하여 픽셀 분류를 통해 화재 영향 픽셀을 결정하였다. 이를 통해 다중 시간 분석 테스트 결과로 평균 0.2% 미만의 오차의 성능을 보여주었다.

높은 시공간 해상도를 가지는 위성 영상들과 비선형성에 강한 성능을 보이는 인공지능 기법을 적용하여 실시간 화재 픽셀 탐지를 수행하는 실험들도 진행되었다. de Almeida Pereira et al. (2021)은 Landsat-8 위성으로부터 추출한 약 150,000장의 이미지를 활용하여, 활성산불 탐지 알고리즘으로 잘 알려진 3가지 알고리즘으로 학습이미지를 생성하여 Convolution Neural Network (CNN) 모델을 활용하여 모델의 학습 및 평가를 진행하였다. 그 결과 Precision 87.2%, Recall 92.4%의 성능을 가지는 효과적인 활성 화재 탐지 모델을 구축하였다. Kang et al.(2022)은 Himawari-8의 Advanced Himawari Imager (AHI)센서 자료를 이용해 CNN 모델과 머신러닝 기법 중 비선형성에 효과적으로 대처하는 랜덤 포레스트(Random Forest) 모델에 적용시킴으로써 각 모델 별 활성 화재 정확도를 평가하고 탐지 지연시간을 줄이는 실험을 진행하였다. 실험 시 입력자료의 유형을 다각도로 바꿔 실험함으로써 입력자료 최적화를 모의하였다. 그 결과 2D 입력자료의 특성을 빠르게 파악할 수 있는 CNN 모델의 성능이 랜덤 포레스트 모델에 비해 높게 나타났으며, CNN 모델의 평균 탐지 시간이 12분으로 초기 탐지의 긍정적인 가능성을 보였다.

또한, 산불 탐지의 지연시간을 줄이고 대기 오염 물질의 2차 피해 예방을 동시에 가능하게 하기 위해 위성영상으로부터 산불연기 탐지를 수행하는 다수의 실험들도 진행되었다. 이 때 인공지능 모델을 활용함으로써 산불연기탐지 시, 경계면 결정의 모호함과 다양한 대기현상으로부터 구분 가능성을 높였다. Mo et al. (2021)은 Landsat-8 위성의 30 m 해상도 영상을 이용하여 산불연기 탐지 모델을 구축하였다. 모델은 Squeeze and Excitation(SE) block 기반의 Attention 메커니즘을 융합한 U-Net 모델 기반의 딥러닝 모델을 구축하였다. 구성된 모델의 결과와 여타의 산불연기 탐지모델들과의 비교 분석을 수행하였다. 그 결과 가시광선 채널에 단파 적외채널을 결합한 입력 영상이 산불연기 분할을 가장 효과적으로 수행하는 것으로 평가되었다.

인공지능 기반의 산불 탐지는 활성 화재의 실시간 탐지 및 산불연기 탐지를 통한 현황파악을 가능하게 한다. 앞선 연구들에서는 딥러닝의 입력 자료로 주로 가시광선 채널을 활용하였는데 이때 자료의 특성상 연기와 흐린 대기 현상들과의 구분에 어려움이 있다. 선행 연구를 바탕으로 한계점들을 보완하고 개선된 산불 모니터링을 위하여 본 연구에서는 정지궤도 환경위성(Geostationary Environment Monitoring Spectrometer, GEMS) 영상에서 효과적으로 산불연기를 탐지하는 artificial intelligence (AI) 모델을 개발하고, 또한 산불연기와 황사를 구별하여 오염원을 분별하는 정보를 함께 제공하고자 한다. False color composite (FCC)을 통해 시인성이 향상된 영상을 생성하고, 해당 영상에 대해 CNN 기반의 U-Net 모델을 적용하여 산불연기 의미론적 분할(semantic segmentation)을 수행하여 후보 픽셀을 도출하며, 연기와 황사의 분광특성 차이를 활용하여 산불연기와 황사의 분류를 수행한다(Fig. 1).

Fig. 1. Flow chart for the study.

2. 연구자료 및 방법

본 연구에서는 국립환경과학원(National Institute of Environmental Research)에서 운영 중인 GEMS 영상을 활용하였다. GEMS는 동아시아 및 동남아시아 지역의 대기질 및 기후변화에 대한 모니터링 및 예측 역량을 강화하기 위해 개발된 한국 최초의 정지궤도 위성이다(Fig. 2). GEMS는 자외선-가시광선 초분광계(UV-visible hyper-spectrometer)를 이용하여 대기중 SO₂, NO₂, O₃, HCHO, 에어로졸 등 대기오염물질 및 기후변화 유발물질을 관측한다(Environmental Satellite Center, 2023).

Fig. 2. GEMS scan profiles (Kim et al., 2020).

2.1. GEMS Level 1C 영상

GEMS L1C는 자외선 및 가시광선 채널인 300–500 nm 파장대를 0.6 nm 간격으로 관측하는 초분광 영상이다. 대기 중에 산불연기가 존재할 때, 380 nm 반사도와 340 nm 반사도의 차이에서 평소와 크게 달라지는 특성을 이용하여(Hsu et al., 1996) GEMS L1C 자료에서 380 nm와 340 nm 반사도 값을 추출하였다. 이 자료를 FCC 기법을 활용하여 Red 밴드 영역에 차 영상(380–340 nm), Green 밴드 영역에 380 nm영상, Blue 밴드 영역에 340 nm 영상을 넣음으로써 산불연기 탐지 영상을 생성하였다. 380 nm와 340 nm의 반사율 이상은 산불, 화산재, 사막먼지 에어로졸 등과 같이 대기 입자상 오염물질에 매우 민감한 반사도 차이를 가진다. 이로 인해 생성된 산불연기 탐지 영상은 다른 유형의 에어로졸과 구분의 필요성이 요구된다. 이러한 영상의 한계에 대처하기 위해 본 논문에서는 동아시아 지역에서 가장 주요한 이동형 대기 오염물질인 황사와 산불연기 분류 실험 및 평가를 진행하였다.

2.2. GEMS Level 2 영상

GEMS L2 영상의 경우, 초분광 센서의 특성으로 인해 대기 오염 물질 추정에 특화되어 다양한 대기 오염물질들을 탐지한다. 실험에 활용된 GEMS L2 자료들은 visible aerosol index (VISAI), 글리옥살(CHOCHO)이며, 이 자료들은 산불연기와 황사 픽셀을 분류하기위해 사용되었다. 먼저 VISAI 변수는 에어로졸의 성질을 나타내는 지수로 에어로졸의 크기에 대한 정보를 나타낸다. 에어로졸의 흡수 및 크기 정보를 활용하여 high absorbing fine (HAF), dust, non-absorbing (NA) 3가지로 입자 특성을 구분한다. 아래의 식은 aerosol index 값을 계산하는 식을 나타낸다.

\(\begin{aligned}A I=-100\left[\log \left(\frac{N_{\lambda 477}}{N_{\lambda 490}}\right)-\log \left(\frac{N_{\lambda 477}\left(L E R_{\lambda 477}\right)}{N_{\lambda 490}\left(L E R_{\lambda 490}\right)}\right)\right]\end{aligned}\)       (1)

N_λ490와 N_λ477은 두 파장에서 정규화된 방사조도이며, LER_λ490과 LER_λ477은 에어로졸이 없다는 가정하에 레일리(Rayleigh) 산란을 보정하여 추정된 표면 반사율을 나타낸다. 위의 식을 활용하여 VISAI를 산출해 에어로졸의 입자유형을 결정한다. 자외선 채널에 비해 파장이 긴 가시광선 채널은 에어로졸의 입자 크기 분포에 따라 반사도가 달라지기 때문에 황사와 산불연기의 분류가 가능해진다. 이에 대해 Ogunjobi et al. (2004)은 aerosol optical depth (AOD) 농도가 높은 사례에 대해 입자 크기 차이를 비교하는 실험을 진행하였다. 그 결과 황사 입자의 경우 거친 모드에서 높은 비율을 나타내고, 바이오매스 입자는 미세 모드에서 높은 비율을 나타내는 것으로 평가하였다(Fig. 3).

Fig. 3. Difference in reflectance depending on aerosol particle size distribution: (a, c) dust and (b) biomass (Ogunjobi et al., 2004).

글리옥살은 Non-Methane Volatile Organic Compounds(NMVOCs)의 산화에 의해 생성되는 물질이다. 즉, 글리옥살은 2차 과정을 통해 생산되며 이는 공간적 확산을 크게 확장하는데 기여한다. 산불 발생 시 다량의 미량 기체가 생성되는데, 이 때 글리옥살의 농도가 산불연기와 황사 간에 큰 차이를 보여 산불연기와 황사를 분류할 때 활용하였다.

Table 1. Used data in the study

2.3. Study Area

본 연구에서는 GK-2B의 관측영역인 동아시아의 대형 산불 사례를 활용해 실험을 진행하였다. 연구에 사용된 산불 사례는 (1) 2022년 3월 한국 울진-강원산불, (2) 2022년 4월 몽골 산불, (3) 2023년 3~4월 미얀마·라오스 산불 사례를 채택하였다. Fig. 4는 연구 지역을 나타낸다. 한국 산불은 3월 4일 발화를 시작하여 약 10일 간 산불이 지속되었으며, 피해 면적은 20,923 ha로 한국의 산불 관측 이래로 가장 큰 산불로 평가된다. 몽골 산불은 4월 18일 발화를 시작하여 약 일주일 간 지속되었으며, 170,539 ha의 피해 면적을 남겼다. 마지막으로 2023년 3~4월 동안 발생한 동아시아 전역의 대형 산불은 피해 면적을 정확히 산정하기에 한계가 있고 정확한 피해지를 규명하기도 어려운 대형 산불이다. 산불 발생기간은 약 30일 정도로 진화에 어려움이 있었다. 이렇게 세 지역의 산불 사례에 대한 산불연기 탐지 영상을 생성하고 실험을 수행하였다.

Fig. 4. Study area.

2.4. False Color Composite Method

FCC 기법은 영상을 시각화 할 때, 영상의 RGB 구성 요소를 실제 가시광선 채널의 분광밴드 값이 아닌 기타 다른 분광 밴드를 입력하여 생성된 다중 스펙트럼영상을 표현하는 기법이다. FCC 기법을 사용하면 각 밴드들의 고유의 특성을 효과적으로 표현할 수 있어 이상치 탐지 등과 같은 영상 속 특별한 정보를 시각화 할 수 있다는 장점이 존재한다(Fig. 5).

Fig. 5. Example of false color composites.

이러한 FCC 기법은 인공위성 자료를 활용하여 다양한 분야에서 효과적으로 사용되어지고 있다. Sun et al.(2007)은 가시광선 채널과 적외선 채널을 선형 결합하여 이미지 내에 배경과 사람을 다채로운 색으로 분별할 수 있는 실험을 진행하였다. Toet and Walraven (1996)은 채널 영상의 융합을 통해 밴드 조합을 통해 특정 세부 사항의 가시성을 향상시키고 각 채널 정보의 특이성을 유지할 수 있다고 평가하였다.

현재 진행된 대부분의 인공위성 기반 산불탐지 기법은 주로 인간의 눈으로 관측하는 것과 유사한 방식인 빨강(Red)-녹색(Green)-파랑(Blue)색에 해당하는 분광채널들의 조합인 천연 칼라(true color) 영상을 사용하였다. 그러나 본 연구에서는 380 nm와 340 nm 분광 밴드가 산불연기에 반응하는 특성을 활용해 FCC 기법을 적용하여 산불연기는 주황색, 구름은 흰색, 다른 영역들은 짙은 청록색으로 표현되는 새로운 산불연기 탐지 영상을 생성하였다.

2.5. U-Net

U-Net은 이미지 segmentation을 위한 딥러닝 아키텍처(architecture) 중 하나로 영상으로부터 모든 픽셀에 대한 의미론적 분할을 수행하는 모델이다. 초기 U-Net은 의료분야에서 종양, 조직 등을 정확하게 분할하는데 적합한 모델로 개발되었다. 위성 영상의 세밀한 분석 또한 가능하다는 장점이 존재해 최근 원격탐사 분야에서 자주 사용되는 모델이다.

U-Net은 fully convolutional network (FCN) 기반의 모델로 기존의 convolution 방식을 통한 학습을 진행하던 CNN 모델의 경우, 학습 최종 단계에서 픽셀의 위치정보를 소실한 채 학습을 진행하기 때문에 이미지 segmentation에 더 효과적으로 적용할 수 있는 FCN 방식의 모델이 개발되었다(Fig. 6).

Fig. 6. U-Net architecture used in this study.

이후 더 발전된 딥러닝 모델인 U-Net은 네트워크의 구성 형태가 U자 형태이기 때문에 U-Net으로 불리며 차원 압축 부분인 contracting path와 특징 추출 및 확장 영역인 expanding path로 구성된다. Contracting path는 입력 영상의 context 정보를 얻기 위해 영상의 수축을 통해 feature 추출 부분으로 구성되고, expanding path에서는 contracting path의 최종 feature map으로부터 prediction 결과를 산출하기 위해 팽창과정을 나타낸다. 이 때, expanding path에서는 skip connection 구조를 사용하여 특징 정보에 위치 정보를 연결함으로써 정확한 출력을 가능하도록 하는 특징이 있다. 최종적으로 U-Net은 입력 영상을 일련의 수축과 팽창과정을 거치게 함으로써 이미지의 픽셀별 분류를 수행하는 것에 효과적인 모델이다.

본 실험에서는 이러한 U-Net 모델에 degradation 문제를 해결하는 (1) residual block과 모델이 적절한 feature에 집중하도록 하는 (2) attention mechanism 기법을 적용한 모델을 구성하고, 기본 U-Net과 attention mechanism 기법만 적용된 attention U-Net, residual block과 attention mechanism 기법을 모두 적용한 attention residual U-Net, 총 3가지를 구성하고 성능을 평가하였다(Figs. 7, 8).

Fig. 7. Residual block architecture.

Fig. 8. Attention mechanism module.

Residual block은 모델의 깊이가 깊어질 때, 입력 신호를 보존함으로써 모델이 효율적인 학습이 가능하도록 도움을 주는 방법이다. 즉, residual block을 사용하면 네트워크의 깊이를 증가시키기에 용이해지는 장점이 있다. 일반적으로 깊은 네트워크는 더 복잡한 특징을 학습할 수 있으며, 더 높은 수준의 추상화를 달성할 수 있다. 전통적인 neural network들의 경우, 순차적 학습을 수행하지만 residual block를 이용하면 여러 단계를 뛰어넘고 학습할 수 있다는 특징이 있다. U-Net의 attention mechanism은 훈련 중에 모델이 데이터와 더 관련 있는 정보가 활성화되도록 하는 방법론이다. 이를 통해 연관성이 낮은 정보에 낭비되는 계산 시간을 줄이고 네트워크가 더 효과적으로 일반화할 수 있도록 돕는다.

본 논문에서는 이러한 3가지 U-Net 모델을 활용해 FCC 기법을 통해 만들어진 산불연기 탐지 영상으로부터 산불연기 후보 픽셀 산출을 수행했다.

2.6. 랜덤 포레스트(Random Forest)

랜덤 포레스트는 기계 학습의 앙상블(ensemble) 학습 알고리즘 중 하나로 분류 및 회귀 문제를 해결하기 위한 모델이다. 이 모델은 랜덤한 결정 트리(decision tree)를 생성하고 이들의 결과를 조합하여 변동성에 강한 예측 모델을 만든다. 랜덤 포레스트는 다중 결정 트리를 형성하여 이들의 평균 또는 다수결 투표를 통해 최종 예측을 결정하는 앙상블 모델이다. 이를 통해 단일 결정 트리의 과적합(overfitting) 문제를 완화하고 모델의 일반화 능력을 향상시킨다. 랜덤 포레스트를 구성하는 결정 트리는 데이터 셋으로부터 무작위 샘플링을 통해 생성되고 이를 부트스트랩(bootstrap)이라 한다. 부트스트랩 기법을 기반으로 하여 생성된 결과를 평균해 산출하는 것을 배깅(bootstrap aggregating)이라고 한다. 배깅(bagging)은 모든 결정 트리의 최종 앙상블 결과를 나타내며, 이러한 배깅 기법은 높은 분산 특성을 가지는 결정 트리들의 결과를 크게 줄이는 메커니즘을 제공한다.

2.7. AutoML

AutoML은 머신러닝을 적용할 때 과정을 최대한 자동화하여 생산성과 효율을 높이기 위하여 등장한 기법이다. AutoML은 랜덤 포레스트, gradient boosting machine(GBM), deep neural network (DNN) 등의 AI 모델들에 대해 각각 파라미터(parameter) 최적화를 수행한 후 리더보드(leader board)의 상위 N개 모델을 앙상블하여 정확도를 향상시키는 기법이다. 데이터 전처리부터 알고리즘 선택 및 튜닝까지의 과정에서 모델 개발자의 개입을 최소화하는 특징이 있다.

머신러닝 모델을 구성할 때 해당 분야에 전문지식을 가진 인간의 개입이 필수적이다. 하지만 AutoML은 어떤 유형의 자료를 사용할지(data preparation)부터 어떤 알고리즘을 사용할 것인지(model generation), 모델 평가는 어떻게 할 것인지(model evaluation)까지 자동화하도록 만들어진 모델이다. 각각의 과정들은 다양한 방식들을 통해 진행된다(Fig. 9). 이로 인해 인위적인 개입 없이 특수한 목적을 가지고 고품질의 딥러닝 시스템을 구축하기 위한 솔루션이 되고 있다(He et al., 2021).

Fig. 9. AutoML flow chart.

현재 AutoML을 활용하여 해결하고자 하는 두 가지는 combined algorithm selection and hyper-parameter optimization (CASH)와 neural architecture search (NAS) 문제이다. 이것들은 앞서 언급했듯 다른 모델들을 사용할 때의 한계점을 개선하기 위한 목적으로 연구되고 있다. CASH의 경우, 모델을 최적화(optimization) 할 때 개발자가 최상의 모델을 찾기 위해 파라미터를 조정하는 것이 아닌 모델이 자료에 적합한 알고리즘을 찾고, 성능을 극대화할 수 있는 파라미터를 결정하도록 하는 방법이다. NAS는 object detection이나 segmentation과 같은 신경망 기반의 머신러닝 알고리즘을 활용할 때, 모델이 적절한 레이어(layer)의 사이즈나 깊이 등과 같은 최적의 search space를 찾도록 하는 방법이다. 본 연구에서는 이러한 AutoML 방식을 활용해 산불연기와 황사의 특성에 대해 적절히 학습하고 효과적으로 분류하는 모델을 구성하였다.

3. 연구결과 및 토의

3.1. 산불연기 탐지 영상

본 논문에서는 기존 가시광선 채널을 활용하여 산불연기를 탐지하는 선행 연구들의 한계를 개선하고자 산불연기가 380 nm, 340 nm 복사휘도 값의 차이에 영향을 미치는 특성을 활용해 새로운 산불연기 탐지 영상을 생성하였다. 해당 영상을 딥러닝 모델의 입력자료로 활용하여 모델이 보다 효과적으로 산불연기를 탐지하도록 연구를 수행하였다. FCC 영상을 구성할 때 Red 밴드에는 차 영상(380–340 nm), Green 밴드에는 380 nm영상, Blue 밴드에는 340 nm 영상을 배치하였다. Fig. 10은 FCC 기법을 적용해 생성된 새로운 산불연기 탐지 영상을 보여준다.

Fig. 10. Examples of false color composites: (a–c) true color images and (d–f) false color images.

Fig. 10에서 알 수 있듯이 true color 영상(가시광선 채널)에 비해 false color 영상이 효과적으로 연기와 기타 대기현상과의 대조를 보여주는 것을 알 수 있다. False color 영상의 경우 연기는 주황색, 구름은 흰색, 기타 청천 영역은 짙은 암청색으로 표현하는 것을 알 수 있다. 이러한 산불연기 탐지 영상을 활용해 산불연기 영역 추출 실험을 진행하였다.

3.2. 산불 후보 픽셀 구분

산불연기 탐지 영상을 세 가지 유형의 U-Net 모델에 입력하였다. U-Net 모델은 U자 형태의 FCN 기반의 모델로 이미지 segmentation 분야에서 높은 정확도 수준을 보인다. U-Net 모델에 attention 구조와 residual block을 활용하여 모델을 구성할 때, 모델이 학습 과정에서 중요한 정보에 더 집중함과 동시에 모델의 깊이가 깊어지더라도 높은 일반화 성능을 가질 수 있도록 구성하였다. U-Net 모델의 학습 및 검증 평가에 사용된 산불연기 탐지 영상은 총 198장으로 학습에 158장, 검증 20장, 평가 20장으로 8:1:1의 비율로 실험하였다.

세 가지 U-Net 모델의 결과는 Table 2에 표시되었다. 기본 U-Net은 세 가지 모델 중 가장 일반적인 결과를 보여준다. 세 가지 모델 중 가장 높은 정확도를 보여준 모델은 mean intersection over union (mIoU)=0.822, F1-Score=0.857로Attention 구조와Residual block을 결합한 Attention Residual U-Net이다. 이는 모델이 중요한 정보를 중점적으로 학습하면서 Residual 학습을 통해 입력 신호를 보존함으로써 효과적인 탐지모델을 생성한 것으로 평가된다. 가장 성능이 낮은 모델은 Attention U-Net 모델로 이는 모델이 학습을 통해 점점 중요한 Feature만을 학습해 모델이 연기에 대해 과소 추정하는 것으로 사료된다. Fig. 11에서는 세 가지 U-Net 모델의 평가 결과 영상을 나타낸다. 세 가지 모델 중 Attention Residual U-Net의 영상이 비교적 부스러기 없이 실제 레이블(label) 영상을 따르는 것을 알 수 있다. Attention U-Net의 경우, 세 가지 모델 중 가장 연기 영역을 과소 추정한 것을 볼 수 있다.

Table 2. Results of U-Net model

Fig. 11. Plot of results from three U-Net models.

3.3. 산불연기와 황사의 분류

대기 중의 에어로졸은 380 nm와 340 nm 밴드에서 상이한 흡수 특성을 가짐으로 여러 연구들에서 에어로졸의 흡수 특성 산출을 위해 해당 파장 영역을 활용하고 있다(Kayetha et al., 2022). 이로 인해 산출된 산불연기 후보 픽셀로부터 다른 에어로졸, 특히 동아시아 지역에서 빈번하게 발생하는 황사의 분류가 필수적이다. 이 때 바이오매스 에어로졸과 황사 에어로졸의 가장 큰 분류 기준이 되는 것은 입경 분포의 차이이다(Fig. 12). 따라서 본 연구에서는 바이오매스와 황사의 입경 분포를 기준으로 하여 분류를 수행하기 위해 VISAI 자료와 글리옥살 자료를 활용해 산불연기와 황사 분류 모델을 구성하고 분류 실험을 진행하였다.

Fig. 12. Scatter plot comparing smoke and yellow dust using VISAI and CHOCHO.

분류 모델에는 랜덤 포레스트 모델과 AutoML 모델을 사용하여 각 모델의 분류성능을 평가하였다. 모델에 사용된 매치업은 동일 매치업을 사용해 모델링을 수행하였다. 총 매치업의 수는 10,018건으로 산불연기 사례가 3,913건, 황사 사례가 6,105건으로 약 6:4의 비율로 구성되었다. Table 3는 랜덤 포레스트 분류기의 결과를 혼동행렬로 나타낸다. Table 4는 혼동행렬로 계산된 검증 통계량을 보여준다. 랜덤 포레스트 분류 모델의 결과 F1-Score는 0.967로 높은 수준으로 평가되지만, mIoU는 0.640으로 분류 문제에 있어서 모든 클래스에 일관되게 예측한 것으로 보이지 않는다. Table 5는 랜덤 포레스트 모델의 변수 중요도를 나타낸다. 변수 중요도 평가결과 글리옥살에 비해 VISAI 자료의 중요도가 월등히 높게 평가되었다. 이는 산불연기와 황사 분류 시에 가장 중요하게 작용하는 인자가 VISAI 자료이기 때문인 것으로 사료된다. 그러나 대형산불 사례에 대해 황사와 분류를 수행할 때, 2차 오염물질의 유무는 분류 시에 매우 중요한 인자로 작용되기 때문에 분류모델의 구성에서 제외되기 어렵다.

Table 3. Confusion matrix of random forest modeling results

Table 4. Verification statistics of random forest

Table 5. Variable importance of random forest

AutoML 모델의 경우, 매치업을 8:2 (8,052:1,966)로 나눠 모델링과 암맹평가를 수행하였다. Table 6는 AutoML 모델링 결과에서 leader board를 나타낸다. Leader board 결과를 바탕으로 가장 효과적인 모델을 결정하고 최상단에 위치한 StackEnsemble_AllModels_1 모델을 활용해 암맹평가를 수행하였다. Table 7에는 StackEnsemble_AllModels_1 모델로 모델링 된 결과를 혼동행렬로 나타낸다. Table 8에는 StackEnsemble_AllModels_1 모델로 암맹평가를 수행한 결과를 혼동행렬로 나타내며, Table 9에는 혼동행렬로 계산된 검증통계량을 나타낸다.

Table 6. Results of AutoML leader board

RMSE: root mean square deviation, MSE: mean squared error.

Table 7. Confusion matrix of AutoML modeling results

Table 8. Confusion matrix of AutoML blindness assessment results

Table 9. Verification statistics of AutoML

분류 모델을 비교한 결과, 랜덤 포레스트 모델보다 AutoML 모델의 성능이 월등히 뛰어난 것을 알 수 있다. AutoML 모델은 Precision과 Recall이 각각 0.997과 0.993으로 모델이 산불연기와 황사를 효과적으로 분류하였음을 알 수 있다. 또한 mIoU 값이 0.993으로 예측 결과와 실제 자료가 높은 일치를 보임을 알 수 있다. 그러나 랜덤 포레스트 모델의 경우 Precision과 Recall 은 0.9 이상으로 높은 값을 나타내지만 mIoU는 0.640으로 비교적 낮은 값을 나타낸다. 이는 학습 자료의 클래스 불균형의 문제이거나 예측 영역과 실제 영역을 정확하게 분류하지 못했을 경우에 나타날 수 있다. 앞선 AutoML 모델의 결과를 바탕으로 판단되는 것은 이러한 현상은 랜덤 포레스트 모델 자체의 한계로 인해 좋지 못한 성능을 보이는 것으로 사료된다.

또한 AutoML 모델의 검증통계량이 암맹평가 결과로 산출되었음을 볼 때, 본 연구의 산불연기와 황사 픽셀 분류 모델이 분류를 편향 없이 수행하는 것을 알 수 있다. Fig. 13은 본 연구의 흐름대로 진행된 실험 과정을 보여준다.

Fig. 13. Example results following the research flow chart.

4. 결론

본 연구에서는 동아시아 영역을 고시간해상도로 관측하는 GEMS 센서를 활용해 자연 재해 중 하나인 대규모 산불에 대한 관찰과 유의미한 산출물 생성을 모의하였다. 먼저 GEMS 센서에서 제공하는 UV-VIS 채널로부터 380 nm, 340 nm 복사휘도 값을 추출하여 FCC 기법을 활용해 새로운 산불연기 탐지 영상을 생성하였다. 그리고 영상의 특징을 효과적으로 추출할 수 있는 FCN 기반의 U-Net 모델을 활용해 산불연기 영역을 추출하였다. 최종적으로 에어로졸 분류 모델을 구축하여 산불연기와 황사의 분류를 수행하여 불순물을 필터링한 산불연기 영역 추출을 목적하였다. 새로운 산불연기 탐지 영상은 기존 연구들에서 사용되었던 RGB 영상과 달리 연기 픽셀을 쉽게 판별할 수 있게 하였으며, 최근 연산 효율을 높이고 U-Net에 적용하였을 때 긍정적인 평가를 받는 attention mechanism과 residual block을 활용해 모델이 의미론적 분할을 효과적으로 수행할 수 있도록 하였다.

U-Net 모델은 세 가지 유형의 모델을 구성하여 산불연기 영역 추출을 수행하고 각 모델의 성능을 평가하였다. 모델의 정량적 평가와 정성적 평가를 수행하였다. 그 결과 세 가지 모델 중 모든 연산 구조를 활용한 U-Net의 결과가 뛰어난 것을 알 수 있었고 그 편차는 정성적 비교에서 더욱 확연히 보였다. 이후 해당 모델을 통해 산출된 산불연기 후보 픽셀들 중 황사 에어로졸과 바이오매스 에어로졸이 혼동될 수 있는 가능성을 없애고자 산불연기·황사 분류기를 만들어 필터링을 수행하였다. 분류 모델은 두 가지의 모델을 구성해 동일한 자료에 대해 모델링을 수행하였다. AutoML 모델이 랜덤 포레스트 모델에 비해 월등히 높은 성능을 보였고, 이는 자료의 특성에 맞는 적절한 알고리즘 선택과 다양한 파라미터 구성을 통한 최적의 모델 선정이 이유로 판단된다.

향후에는 U-Net 모델의 파라미터 조정과 입력자료의 증대로 더 효과적인 산불연기 픽셀 추출을 수행하고, 분류모델의 클래스를 바이너리(binary)가 아닌 멀티 클래스에 대한 분류를 수행해 동아시아 전역에 대해 다양한 대기 오염물질(산불, 황사, 화산 등)에 대처가 가능하도록 개선이 필요하다. 이 때, 각각의 현상 별 분석을 통해 분류에 최적의 기준들에 대한 추가 실험 및 조사가 수반되어야 할 것이다.