Journal of Korea Multimedia Society (한국멀티미디어학회논문지)

Korea Multimedia Society (한국멀티미디어학회)
권호 표지
DOI QR코드

DOI QR Code

Analysis of Input Factors and Performance Improvement of DNN PM2.5 Forecasting Model Using Layer-wise Relevance Propagation

계층 연관성 전파를 이용한 DNN PM2.5 예보모델의 입력인자 분석 및 성능개선

  • Yu, SukHyun (Dept. of Information, Electrical & Electronic Eng., Anyang University)
  • Received : 2021.09.23
  • Accepted : 2021.10.20
  • Published : 2021.10.30
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, the importance of input factors of a DNN (Deep Neural Network) PM2.5 forecasting model using LRP(Layer-wise Relevance Propagation) is analyzed, and forecasting performance is improved. Input factor importance analysis is performed by dividing the learning data into time and PM2.5 concentration. As a result, in the low concentration patterns, the importance of weather factors such as temperature, atmospheric pressure, and solar radiation is high, and in the high concentration patterns, the importance of air quality factors such as PM2.5, CO, and NO2 is high. As a result of analysis by time, the importance of the measurement factors is high in the case of the forecast for the day, and the importance of the forecast factors increases in the forecast for tomorrow and the day after tomorrow. In addition, date, temperature, humidity, and atmospheric pressure all show high importance regardless of time and concentration. Based on the importance of these factors, the LRP_DNN prediction model is developed. As a result, the ACC(accuracy) and POD(probability of detection) are improved by up to 5%, and the FAR(false alarm rate) is improved by up to 9% compared to the previous DNN model.

Keywords

1. 서론

최근 들어 인공신경망의 음성, 화상, 자연어처리 및 예측 성능이 검증되어 의료, 교육, 금융, 자동차를 비롯한 산업 전반에 활용되고 있다. 또한, 기상 및 대기 질 예측과 같은 기상 분야에도 인공신경망을 이용한 연구가 활발히 진행되고 있다. 이중, 근래 들어 주목받고 있는 미세먼지 예보 문제는 인공신경망을 활용하여 성능이 크게 향상된 사례 중 하나이다.

미세먼지 예보 연구는 CMAQ(The Community Multiscale Air Quality) 등과 같은 화학수송 모델을 기반으로 하는 기존 수치모델에서 인공신경망을 이용한 연구로 확대되고 있다. 수치모델을 이용한 예보는 입력 자료에 내포된 불확실성과 수치모델 자체가 복잡한 대기현상을 완전하게 반영하지 못하는 근본적인 한계를 가지고 있다[1]. 이러한 문제를 개선하고자 DNN(Deep Neural Network), CNN(Convolu- tion Neural Network), RNN(Recurrent Neural Net- work), LSTM(Long Short-Term Memeory) 등의 인공신경망을 활용한 연구[2-12]가 진행되고 있다. 그 결과 모델 및 권역별 편차가 있지만, 평균 예보적중률 및 감지 확률이 70% 이상, 오경보율이 30% 이하에 도달하는 성과를 보이고 있다[1].

하지만, 인공신경망을 적용한 예보모델은 높은 성능에도 불구하고 내부가 은닉된 블랙박스와 같아 결과에 대한 설명이 어렵다는 단점을 가지고 있다. 예보의 신뢰도 확보와 성능 향상을 위해서는 예보모델의 의사결정 과정과 도출된 결과에 대한 설명이 필요하다.

이러한 필요성에 의해서 인공지능 모델의 내부를 분해하여 결과에 대한 근거를 찾고자 하는 연구들이 대두되었고, 이를 설명 가능한 인공지능이라는 의미의 XAI(Explainable Artificial Intelligence)라고 부른다[13-14].

XAI는 블랙박스로 여겨졌던 인공신경망의 의사결정 과정을 사람이 이해할 수 있는 수준으로 분해하는 기술로 대표적인 기법으로는 피처 중요도(Feature Importance) 및 필터 시각화(Filter Visualization) [15], LRP(Layer-wise relevance Propagation)을 들 수 있다[16].

본 연구에서는 이러한 여러 가지 XAI 기법 중 예보모델의 미세먼지 예측 결과에 대한 입력 인자의 기여도를 분석하고 시각적으로 표현하기 위해서 LRP 를 이용했다.

피처 중요도는 입력 인자의 중요도를 파악할 수는 있으나 입력 데이터 전체에 대해 히트맵으로 밀집하여 표현하기 어렵고, 필터 시각화 기법은 신경망을 순방향으로 진행시키며 모델의 은닉층을 관찰할 수는 있으나 시각화를 위해 은닉층을 2차원 행렬로 고정해야 하는 제약과 해석에 주관성이 개입될 여지가 있다. 이에 비해 LRP는 출력층부터 역방향으로 모델을 탐지하며 입력층에 이르기까지 분해하고, 연관성 (relevance)를 전파하는 방법으로 수행되기 때문에 결과에 대한 입력 인자의 기여도를 객관적으로 파악할 수 있고, 히트맵으로 시각화할 수 있다.

인자의 중요도를 판단하여 예보 성능에 기여할 수 있는 인자를 선정하는 것은 매우 중요하다. 이와 관련된 기존 연구는 미세먼지와 인자들의 상관도를 구하거나 민감도 분석을 통해 인자들의 중요도를 파악한 경우가 주를 이룬다.

미국 환경청의 예보지침서[17]에 의하면 지역별 차이는 존재하지만, PM2.5와 상관관계가 높은 인자들은 500mb 기압에서 고도, 전날의 PM2.5 최대농도, 850mb 기압에서의 온도, 습도이다. 관련 국내 연구로는 서울 지역을 대상으로 PM2.5와 기상인자 및 대기 질 인자들 간의 상관관계를 분석한 사례가 있다 [18-19]. 이 연구들에서 PM2.5와 상관도가 높은 대기 질 인자는 NO2, CO, SO2, 예보 PM2.5 등이고, 기상인자는 지상과 고층의 온도, 압력, 상대습도, U, V 등이다. 그 밖에 CMAQ 모델링과 민감도 분석을 이용하여 입력 인자의 중요도를 분석한 연구[20]에서는 기온과 바람에 대해 민감도 분석을 수행했는데, 풍속을 민감도가 높은 인자로 판단하였다. 하지만, 상관도나 민감도를 이용한 분석으로는 다양한 시간별, 농도별 패턴에 대한 인자 기여도를 입체적으로 분석하기 어렵다. 본 논문에서는 LRP를 이용하여 시간별, 농도별로 서로 다른 특징을 가지는 패턴들 각각에 적합한 입력 인자를 분석했다. 이를 토대로 예보모델 운용의 효율성 및 성능 향상을 위한 LRP_DNN 예보모델을 제안했다.

현재 미세먼지 단기 예보모델은 향후 60시간 동안의 예보 값을 6시간 단위로 10개 생성한다. 이러한 예보를 전국 19개 권역에 대해서 하루 4회 시행하는 것을 목표로 하고 있기 때문에 10 × 19 × 4 × 2(PM2.5, PM10) = 1520개의 모델을 운용해야 한다. 이렇게 수많은 예보모델을 운용해야 하는 상황에서 현재의 예보 성능을 유지하면서도 입력 차원을 축소할 수 있다면 현업 효율성을 높일 수 있다. 이를 위해 본 연구에서는 LRP를 이용하여 기존 42개의 입력 인자 중 기여도가 높은 인자들을 선별하여 입력 차원을 축소했다.

제안한 모델은 먼저 DNN 예보 모델을 이용하여 학습하고, 동일 데이터에 대해 평가한다. 다음으로 모델의 결과에 대한 인자들의 기여도를 파악하기 위해 LRP를 수행한다. LRP 수행 결과에 대해 시간별, 농도별 인자들의 중요도를 구하고, 중요도가 높은 인자들을 선별하여 다시 학습 및 평가를 수행한다. 이러한 일련의 과정을 통해 시간별, 농도별로 어떤 인자가 중요한 역할을 하는지 파악할 수 있고, 입력 차원을 축소할 수 있으며 이를 예보모델에 반영하면 운용효율 및 성능 향상을 기대할 수 있다.

본 연구를 소개하기 위해서 2장에서는 LRP를 이용한 입력인자 분석에 대해 설명하고, 3장에서는 제안한 LRP_DNN 예보모델을 기술하고, 4장에서는 실험 결과를 제시하고, 5장에서는 결론을 맺는다.

2. LRP를 이용한 입력인자 분석

2.1 LRP 개요

LRP(Layer-wise relevance Propagation)는 계층별 연관성(relevance)를 탑-다운 방식으로 출력층에서 입력층으로 재분배하는 방법이다. 이를 통해 딥러닝 모델이 입력 인자를 어떻게 바라보는지 히트맵 (heatmap)으로 출력한다. 히트맵은 딥러닝 모델이 어느 입력 인자를 주목하는지 나타내기 때문에 출력 결과에 대한 입력 인자의 기여도를 직관적으로 파악할 수 있다.

이러한 LRP의 수행과정을 Fig. 1에 나타냈다. Fig. 1에 나타낸 심층 신경망은 픽셀 집합 {xp}을 입력받아 순방향 전파를 통해 “고양이” 클래스에 속하는 정도를 점수(xf)로 출력한다. 출력층의 \(x_{f}\)는 다시 연관성(relevance) 값(Rf)으로 할당되고 연결된 하위계층의 뉴런에 전달되고, 최종적으로 입력층으로 역전파 된다. 그림에서 {Rp}는 모든 픽셀에 대한 연관성 (relevance) 점수로 히트맵으로 표현된다. 예를 들어, 입력층과 연결된 은닉층의 마지막 뉴런은 상위 계층으로부터 높은 연관성(relevance) 점수를 전달받고, 이 값을 연결된 입력층의 픽셀로 재배포한다. 그에 반해 같은 층의 다른 뉴런들은 상대적으로 낮은 연관성(relevance) 점수를 전달받았기 때문에 히트맵에 대한 기여도가 현저히 낮다.

MTMDCW_2021_v24n10_1414_f0001.png 이미지

Fig. 1. The concept of Layer-wise relevance Propagation [16].

연관성(relevance) 계산 과정은 Fig. 2에 나타낸 바와 같이 한 개의 은닉층으로 구성된 네트워크를 예를 들어 간단히 설명할 수 있다.

MTMDCW_2021_v24n10_1414_f0002.png 이미지

Fig. 2. One-layer neural network for LRP [16].

Fig. 2에서 xi는 d 차원의 입력이고, xj는 은닉층의 활성화 값, wij는 가중치, bj는 바이어스, xk는 출력이며, 이들의 관계를 수식 1과 수식 2와 같이 정의한다.

\(x_{j}=\max \left(0, \sum_{i} x_{i} w_{i j}+b_{j}\right)\)       (1)

\(x_{k}=\sum^{j} x_{j}\)       (2)

연관성(relevance) 전파는 수식 (3)과 같이 출력값 xk를 연관성(relevance) 점수의 총계인 Rk로 할당하는 것으로 시작한다. 모든 계층의 연관성(rele- vance)은 동량이어야 하기 때문에 활성화 값과 동일한 비율로 하위계층의 뉴런들에 재분배되어야 한다. 수식 (4)에 이러한 연관성(relevance) 전파 규칙을 기술했다. 수식 (4)에서 Rj는 은닉층의 연관성(rele- vance)이고, \(R_{k}\)는 출력층의 연관성(relevance)이며, j는 은닉층 뉴런의 개수, k는 출력층 뉴런의 개수이며, ​\(Z^{+_{j k}}=x_{j} w^{+_{j k}}\)이다.

\(R_{k}=\sum_{j} x_{j}\)       (3)

\(R_{j}=\sum_{k} \frac{Z^{+j k}}{\sum_{j} Z^{+j k}} R_{k}\)       (4)

2.2 LRP를 이용한 입력 인자의 기여도 분석

본 연구에서는 PM2.5 농도를 예측하기 위해 Fig. 3과같이 입력층과 4개의 은닉층, 출력층으로 이루어진 DNN 예보모델을 사용했고, 학습 파라메타는 Table 1에 제시했다.

Table 1. Network parameter of DNN model.

MTMDCW_2021_v24n10_1414_t0001.png 이미지

입력 인자는 기상 및 대기질 측정 값과 예보 값, 날짜 데이터로 구성되어 있고, 자세한 내용은 Table 2에 기술했다. 기상 및 대기질 데이터는 6시간 평균치를 이용했고, 날짜는 선행연구에서 제안한 Julian Membership Function에 의해 12개의 인자로 나타냈다.

Table 2. Input Data.

MTMDCW_2021_v24n10_1414_t0002.png 이미지

입력 인자들의 기여도를 분석하기 위해서 먼저 DNN 예보모델을 학습시키고, 동일한 데이터에 대해서 평가했다. 평가 결과인 PM2.5 예보농도에 대한 입력 인자들의 기여도를 분석하기 위해서 tensorflow 로 구현한 LRP 함수를 적용했다.

LRP 함수는 연관성(relevance)을 계산하고자 하는 계층의 활성화 노드들인 act와 현재 계층과 위의 계층을 연결해주는 가중치 벡터 w, 상위 계층의 연관성(relevance)과 바이어스 b를 입력으로 받아 현재 계층의 연관성(relevance)을 계산하고 반환한다. z는 수식 (4)에서 분모에 해당하고, 활성화 뉴런들과 가중치의 곱을 합산한 결과이다. a는 수식(4)의 분자에 해당하는 값으로 각 뉴런의 활성화 값과 가중치의 곱이다. c는 상위계층의 연관성(relevance)을 각 뉴런에게 전파하는 과정이고, 이것을 z로 나누면 각 뉴런의 연관성(relevance)을 구할 수 있다. 계산된 현재 계층의 연관성(relevance)은 cur_relevance에 저장되고 함수의 결과로 반환된다.

Fig. 3에 나타낸 DNN 예보모델의 경우 미세먼지예보 값인 predict가 출력층의 연관성(relevance)이 되고 이것을 R5로 정의할 수 있다. R5는 4개의 은닉층을 거쳐 최종적으로 입력층에 전파되고, 입력 인자별로 예보 결과에 미친 기여도를 분석할 수 있게 된다.

MTMDCW_2021_v24n10_1414_f0003.png 이미지

Fig. 3. Architecture of DNN Forecasting model.

3. 제안한 LRP_DNN 예보모델

제안한 LRP_DNN 예보모델은 LRP를 이용해 시간별, 농도별로 중요한 인자를 추출하고, 이를 반영하여 예보모델 운용의 효율성 및 성능 향상을 위해 개발되었다.

현재 운용되고 있는 단기 예보모델은 향후 60시간 동안의 예보 값을 6시간 단위로 10개 생성한다. 이러한 예보를 하루 4번 하는 것을 목표로 하기 때문에 한 권역의 예보를 하기 위해 운용되어야 하는 모델이 10(시간별 모델) × 4(예보횟수) × 2(PM2.5, PM10)로 80개이다. 그런데, 전국을 19개 권역으로 나누어 예보를 수행하기 때문에 이를 위해서는 19(권역수) × 80 = 1520개의 예보모델을 운용해야 한다. 따라서, 현재의 예보 성능을 유지하면서도 입력 차원을 줄일 수 있다면 현업 운용의 효율성을 높일 수 있다. 이를 위해서 본 연구에서는 LRP를 적용하여 기존 42개 인자에서 기여도가 높은 중요한 인자를 선별하여 입력 차원을 축소했다.

LRP_DNN 모델은 Fig. 5에 기술한 과정대로 수행된다.

MTMDCW_2021_v24n10_1414_f0004.png 이미지

Fig. 4. LRP function.

MTMDCW_2021_v24n10_1414_f0005.png 이미지

Fig. 5. LRP_DNN forecasting model.

1. 기존의 DNN 예보모델로 데이터를 학습시킨다.

2. 동일 데이터에 대해 평가한다.

3. LRP를 수행하여 평가 결과에 대한 인자별 연관성(relevance)을 계산한다.

4. 농도별 대표 연관성(relevance) 패턴을 생성하기 위해서 평가한 데이터를 타겟인 측정 PM2.5 기준으로 좋음(<=15), 보통(<=35), 나쁨(<=75), 매우 나쁨(>75)으로 구분하고, 이 중 정확하게 예보한 데이터만 선택한다. 정확하게 예보한 데이터란 좋음을 좋음으로, 보통을 보통으로, 나쁨을 나쁨으로, 매우 나쁨을 매우 나쁨으로 예보한 데이터를 의미한다.

농도별로 구분된 데이터들에 대해 인자별 연관성 (relevance) 평균을 구하고 이를 4개 농도의 대표 연관성(relevance) 패턴으로 결정한다. 시간별, 농도별로 중요한 인자가 다르므로 이를 판단하기 위해서 날짜 인자 12개를 제외한 30개 인자의 연관성(rele- vance)에 대해 순위를 매긴다. 날짜 인자는 미세먼지의 계절적 추이를 가장 직관적으로 나타내는 중요도가 높은 인자임을 선행연구[22]를 통해 확인한 바 있다. 때문에 날짜는 순위와 무관하게 중요한 인자로포함시키고, 나머지 대기질 및 기상인자 30개에 대해서만 순위를 매긴다. 중요한 인자는 각 농도 패턴별로 상위 18위까지의 인자로 결정한다.

중요인자의 수를 상위 18개로 결정한 것은 선행연구[1, 17-20]의 내용을 기준으로 했다. 일반적으로 PM2.5 예보에 중요한 역할을 하는 기상 인자는 온도, 습도, 기압, 일사 등이고, 대기질 인자는 PM2.5, PM10, CO, NO2, SO2 등이다. 이 항목들을 PM2.5 예보의 필수 인자로 판단할 때, 이들의 측정 인자와 예보 인자, 고층 인자를 포함한 수가 18개 이내이므로 중요 인자 수의 범위를 상위 18위로 결정했다.

이렇게 결정된 중요인자는 시간별, 농도별로 서로 상이할 수 있다. 기존의 예보 모델은 모든 시간, 모든 농도에 대해 동일한 인자로 구성된 데이터를 사용했기 때문에 시간 및 농도 차이에 따른 중요 인자를 반영하기 어려웠지만, 본 연구에서는 이런 점을 개선했다.

5. 인자 중요도를 기준으로 시간별, 농도별 데이터를 재생성한다.

6. 새로 생성한 데이터를 학습한다.

7. 평가 데이터에 대해 PM2.5 예보를 수행한다.

4. 실험 및 결과

제안한 예보모델의 학습 및 평가와 인자 중요도 실험은 서울 권역의 PM2.5 데이터를 대상으로 했다. 학습기간은 2015년 01월 01일부터 2019년 12월 31일까지이며, 평가기간은 2020년 1월 1일부터 2021년 2 월 26일까지이다.

4.1 인자 중요도

학습 데이터를 대상으로 입력인자의 중요도를 구하기 위해 먼저 DNN 예보모델을 이용해 학습하고, 셀프 평가한 결과에 대해 LRP를 수행했다. LRP 수행 결과는 42개 인자들의 연관성(relevance) 값으로 이는 평가 결과에 대한 입력 인자들의 기여도를 의미한다. 이 연관성(relevance) 데이터를 타겟 PM2.5를기준으로 4 단계의 농도별로 구분하고, 타겟 PM2.5의지수구간(좋음, 보통, 나쁨, 매우 나쁨)과 일치하는 데이터만 추출했다. Fig. 6에 당일의 첫 예보구간인 T06의 히트맵을 나타냈다.

MTMDCW_2021_v24n10_1414_f0006.png 이미지

Fig. 6. LRP results of T06 by concentration. (a) L1:good, (b) L2:moderate, (c) L3:bad, and (d) L4:very bad.

Fig. 6에서 x축은 42개 입력인자로 측정 인자는 ‘O’로 시작하고, 예보 인자는 ‘F’로 시작하며, J1∼J12 는 날짜 데이터이다. y축은 해당 농도 구간에 포함된 데이터들의 번호로 Fig. 6의 (a)는 타겟(OBS)이 좋음(L1)일 때, 평가 결과(OUT)도 좋음(L1)으로 예보한 데이터들의 히트맵이다. 나머지 (b)∼(d)도 동일하게 보통(L2), 나쁨(L3), 매우 나쁨(L4) 구간에 속하는 데이터들의 히트맵을 나타냈다. 그림을 살펴보면 저농도 패턴인 L1과 L2에서는 대기질 인자보다는 기상인자인 온도(O_TA, O_TD, f_850hpa_TA), 일사 (O_rad), 기압(O_PA, f_PA), 습도(O_RH, f_850hpa_ RH), 혼합고(f_MH) 등이 기여도가 큰 것을 확인할 수 있다. 고농도 패턴인 L3와 L4에서는 다른 인자들에 비해 f_PM2.5와 O_PM2.5가 큰 기여도를 가짐을 알 수 있고, CO, SO2, NO2등의 대기질 인자들의 기여도가 높았다.

그 밖에 온도, 습도, 기압 등의 기상인자와 날짜 인자인 J1∼J12는 모든 패턴에서 높은 기여도를 가짐을 확인할 수 있다.

Fig. 7에는 각 예보일의 첫 구간인 T06(당일), T08 (내일), T12(모레)의 농도별 인자 중요도 순위와 상위 18개의 중요한 인자들을 나타냈다. 농도별 인자 중요도는 Fig. 6과 같은 연관성(relevance) 데이터에 대해 인자별 평균을 구한 후 기여도가 높은 순서대로 선택했다. 그래프에서 x축은 입력인자, y축은 4개의 농도 구간이고, 각 요소에 표기된 레이블은 농도별 해당 인자의 순위를 의미한다. Fig. 7에는 총 6개의 그래프를 나타냈는데, 상단은 T06, 중간은 T08, 하단은 T12로 왼쪽에는 전체 인자의 순위를 나타내고, 오른쪽에는 중요인자로 선택된 인자들만 나타냈다.

MTMDCW_2021_v24n10_1414_f0007.png 이미지

Fig. 7. Input factor importance ranking. (a) T06(all factor), (b) T06(important factor), (c) T08(all factor), (d) T08(im- portant factor), (e) T12(all factor), and (f) T12(important factor).

Fig. 7의 6개의 그래프를 상호 비교해보면, Fig. 6에서 이미 확인한 바와 같이 저농도에서는 온도, 일사, 습도, 기압 등의 기상인자의 중요도가 높고, 고농도에서는 f_PM2.5, O_PM2.5, CO, NO2, SO2 등의 대기 질 인자의 중요도가 높음을 각 그래프(T06, T08, T12)에서 공통적으로 확인할 수 있다. 시간에 따른 특성으로는 당일 예보인 T06에서는 측정값이 높은 기여도를 가지고, T08(내일)과 T12(모레) 예보에서는 점차 예보인자들의 순위가 상향되고, T12에서는 특히 고층인자들의 순위가 올라가는 것을 확인할 수 있다. 인자의 중요도는 시간별 농도별로 상이하다. 이러한 차이를 예보모델에 반영한다면 예보 성능의 향상을 기대할 수 있고, 입력 차원을 축소시킴으로써모델 운영의 효율성을 높일 수 있다.

4.2. 예보 결과

Table 3과 Fig. 8에는 제안한 LRP_DNN의 예보 결과를 수치모델인 CASE04 및 선행연구 모델인 DNN과 비교하여 제시했다. Table 3에서 첫 번째 행은 3가지 예보 모델명을 기술했고, 두 번째 행에는 예보모델의 평가지표[22]로 사용되는 지수적중률(ACC: Accuracy), 감지확률(POD: Probability of Detection), 오경보율(FAR: False Alarm Rate)을 나타냈으며, 첫 번째 열은 각각 당일, 내일, 모레 예보의 첫 시간 구간을 나타냈다. ACC는 4 단계의 농도 지수(좋음, 보통, 나쁨 매우 나쁨) 각각을 정확히 예측한 확률, POD는 고농도 지수(나쁨, 매우 나쁨)를 예측한 확률, FAR은 저농도를 고농도로 잘못 예측한 확률이다.

Table 3. PM2.5 forecast results in Seoul area.

MTMDCW_2021_v24n10_1414_t0003.png 이미지

MTMDCW_2021_v24n10_1414_f0008.png 이미지

Fig. 8. Scatter of PM2.5 forecast results in Seoul area. (a) T06, (b) T08, and (c) T12.

예보결과를 상호 비교해보면, 제안한 LRP_DNN 모델이 가장 좋은 성능을 보임을 알 수 있다. 물론 단순히 POD 기준으로 보자면 CASE04가 84%∼ 89%로 가장 좋은 결과를 보이나, FAR이 56%∼67% 에 달하는 높은 수치임을 감안할 때, 단순한 수치만으로 POD의 성능은 좋다고 판단할 수 없다.

선행연구 모델인 DNN이 이미 CASE04의 예보 성능을 넘어서서 당일 기준으로 ACC와 POD가 70% 이상, FAR이 30%이내의 성과를 달성했다. 때문에 제안한 LRP_DNN 모델의 우선 목표는 입력차원을 축소하여 기존 DNN과 비슷한 성능을 유지하면서도 1520개에 달하는 예보 모델 운용의 효율을 개선하고자 하는 것이었다. 이러한 목표는 LRP를 이용하여 시간별, 농도별 중요 인자를 선택함으로써 달성하였고, 예보 성능 또한 향상되었다. 제안한 LRP_DNN 모델은 DNN 예보모델 대비 지수적중률과 감지 확률은 최대 5%, 오경보율은 최대 9% 향상되었다.

Fig. 8에는 3가지 예보모델의 산포도를 나타냈다. 각 줄마다 T06, T08, T12에 해당하는 3개의 산포도를 보이고 있는데, 상단은 CASE04, 중간은 DNN, 하단은 LRP_DNN의 산포도들이다. 각 산포도에서 x축은 예보모델, y축은 타겟인 PM2.5 측정값이다.

5. 결론

본 연구에서는 예보모델 운용의 효율성을 높이 고성능을 개선하기 위해 LRP_DNN 모델을 제안했다. 제안한 LRP_DNN 모델은 LRP를 이용해 시간별, 농도별 중요한 인자를 분석했고, 이를 예보모델에 반영해 운용효율 및 성능을 개선했다.

인자중요도 분석 결과, 저농도 패턴에서는 온도, 습도, 일사 기압 등의 기상 인자의 중요도가 높았고, 고농도 패턴에서는 예보 PM2.5가 가장 높은 중요도를 보였으며, CO, NO2, SO2 등의 대기질 인자도 중요한 인자로 파악되었다. 시간별 인자 중요도는 당일의 경우 측정 인자들의 중요도가 높았고, 내일과 모레의 경우 점차 고층 예보 인자들의 중요도가 높아졌다. 이를 반영한 LRP_DNN 모델의 예보 결과는 기존의 DNN 예보모델 대비 지수적중률과 감지확률은 최대 5%, 오경보율은 최대 9% 향상되었다.

향후계획으로 연관성(relevance) 전파 이론을 기반으로 하는 CAM(Class Activation Map), LIFT (Learn Invariant Feature Transform) 등의 다양한 기법을 이용해서 예보 결과를 분석하고, 이를 통해 모델 성능을 향상시키고자 한다.

References

  1. NIER, A Study of Construction of Air Quality Forecasting System Using Artificial Intelligence(I), 11-1480523-0003221-01: NIER-SP 2017-148, 2017.
  2. G. Yang, H. Lee, and G. Lee, "A Hybrid Deep Learning Model to Forecast Particulate Matter Concentration Levels in Seoul, South Korea," Atmosphere, Vol. 11, Issue 4, No. 348, 2020.
  3. T. Xayasouk, H. Lee, and G. Lee, "Air Pollution Prediction Using Long Short-Term Memory (LSTM) and Deep Autoencoder (DAE) Models," Sustainablility, Vol 12, Issue 6, No. 2570, 2020.
  4. S. Yu and Y. Jeon, "Improvement of PM10 Forecasting Performance Using DNN and Secondary Data," Journal of Korea Multimedia Society, Vol. 22, No. 10, pp. 1187-1198, 2019.
  5. S. Yu, "Development of PM10 Forecasting Model for Seoul Based on DNN Using East Asian Wide Area Data," Journal of Korea Multimedia Society, Vol. 22, No. 11, pp. 1300-1312, 2019.
  6. S. Park, M. Kim, M. Kim, H. Namgung, K. Kim, K. Cho, et al., "Predicting PM10 Concentration in Seoul Metropolitan Subway Stations Using Artificial Neural Network (ANN)," Journal of Hazardous Materials, Vol. 341, pp. 75-82, 2018. https://doi.org/10.1016/j.jhazmat.2017.07.050
  7. B.S. Freeman, G. Taylor, B. Gharabaghi, and J. The, "Forecasting Air Quality Time Series Using Deep Learning," Journal of the Air & Waste Management Association, Vol. 68, No. 8, pp. 866-886, 2018. https://doi.org/10.1080/10962247.2018.1459956
  8. F. Biancofiore, M. Busilacchio, M. Verdecchia, B. Tomassetti and E. Aruffo, et al, "Recursive Neural Network Model for Analysis and Forecast of PM10 and PM2.5," Atmospheric Pollution Research, Vol. 8, Issue. 4, pp. 652-659, 2017. https://doi.org/10.1016/j.apr.2016.12.014
  9. W. Lu, W. Wang, X. Wang, S. Yan, and J.C. Lam, "Potential Assessment of A Neural Network Model with PCA/RBF Approach for Forecasting Pollutant Trends in Mong Kok Urban Air, Hong Kong," Environmental Research, Vol. 96, No. 1, pp. 79-87, 2004. https://doi.org/10.1016/j.envres.2003.11.003
  10. J. Fan, Q. Li, J. Hou, X. Feng, H. Karimian, and S. Lin, "A Spatiotemporal Prediction Framework for Air Pollution Based on Deep RNN," Proceeding of ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume IV-4/W2, 2017 2nd International Symposium on Spatiotemporal Computing, pp. 15-22, 2017.
  11. S. Yu, Y. Koo, and H. Kwon, "Inverse Model Parameter Estimation Based on Sensitivity Analysis for Improvement of PM10 Forecasting," Journal of Korea Multimedia Society, Vol. 18, No. 7, pp. 886-894, 2015. https://doi.org/10.9717/KMMS.2015.18.7.886
  12. H. Bae, S. Yu, and H. Kwon, "Fast Data Assimilation Using Kernel Tridiagonal Sparse Matrix for Performance Improvement of Air Quality Forecasting," Journal of Korea Multimedia Society, Vol. 20, No. 2, pp. 363-370, 2017. https://doi.org/10.9717/KMMS.2017.20.2.363
  13. E.H. Shortliffe and B.G. Buchanan, "A Model of Inexact Reasoning in Medicine," Mathematical Biosciences, Vol. 23, Issues 3-4, pp. 351-379, 1975. https://doi.org/10.1016/0025-5564(75)90047-4
  14. M.V. Lent, W. Fisher, and M. Mancuso, "An Explainable Artificial Intelligence System for Small-Unit Tactical Behavior," Proceedings of the 16th Conference on Innovative Applications of Artificial Intelligence, pp. 900-907, 2004.
  15. M.D. Zeiler and R. Fergus, "Visualizing and Understanding Convolution Networks," Proceeding of 13th European Conference on Computer Vision, pp. 818-833, 2014.
  16. G. Montavon, S. Lapuschkin, A. Binder, W. Samek, and K.R. Muller, "Explaining Nonlinear Classification Decisions with Deep Taylor Decomposition," Pattern Recognition, Vol. 65. pp. 211-222, 2017. https://doi.org/10.1016/j.patcog.2016.11.008
  17. U.S. EPA, Guidelines for Developing an Air Quality(Ozone and PM2.5) Forecasting Program, EPA-456/R-03-002, 2003.
  18. Y. Koo, H. Yun, H. Kwon, and S. Yu, "A Development of PM10 Forecasting System," Journal of Korean Society for Atmospheric Environment, Vol. 26, No. 6, pp. 666-682, 2010. https://doi.org/10.5572/KOSAE.2010.26.6.666
  19. NIER, A Development of Short-term Prediction Tool for PM10 and PM2.5 Concentrations using Artificial Intelligence (I), 11-1480523-0003767-01: NIER-SP2018-289, 2019.
  20. Y. Jo, H. Lee, L. Chang, and C. Kim, "Sensitivity Study of the Initial Meteorological Fields on the PM10 Concentration Prediction Using CMAQ Modeling," Journal of Korean Society for Atmospheric Environment, Vol. 33, No. 6, pp. 554-569, 2017. https://doi.org/10.5572/KOSAE.2017.33.6.554
  21. S. Yu, Y. Jeon, and H. Kwon, "Improvement of PM10 Forecasting Performance Using Membership Function and DNN," Journal of Korea Multimedia Society, Vol. 22, No. 9, pp. 1069-1079, 2019. https://doi.org/10.9717/KMMS.2019.22.9.1069
  22. U.S. EPA, Guidance on the Use of Models and Other Analyses for Demonstrating Attainment of Air Quality Goals for Ozone, PM2.5, and Regional Haze, EPA-454/B-07-002, 2007.