• Korean Journal of Agricultural Science
• /
• v.49 no.2
• /
• pp.193-202
• /
• 2022

The recurrent neural network (RNN) algorithm has been widely used in water-related research areas, such as water level predictions and water quality predictions, due to its excellent time series learning capabilities. However, studies on water quality predictions using RNN algorithms are limited because of the scarcity of water quality data. Therefore, most previous studies related to water quality predictions were based on monthly predictions. In this study, the quality of the water in a reservoir in Nonsan, Chungcheongnam-do Republic of Korea was predicted using the RNN-LSTM algorithm. The study was conducted after constructing data that could then be, linearly interpolated as daily data. In this study, we attempt to predict the water quality on the 7th, 15th, 30th, 45th and 60th days instead of making daily predictions of water quality factors. For daily predictions, linear interpolated daily water quality data and daily weather data (rainfall, average temperature, and average wind speed) were used. The results of predicting water quality concentrations (chemical oxygen demand [COD], dissolved oxygen [DO], suspended solid [SS], total nitrogen [T-N], total phosphorus [TP]) through the LSTM algorithm indicated that the predictive value was high on the 7th and 15th days. In the 30th day predictions, the COD and DO items showed R² that exceeded 0.6 at all points, whereas the SS, T-N, and T-P items showed differences depending on the factor being assessed. In the 45th day predictions, it was found that the accuracy of all water quality predictions except for the DO item was sharply lowered.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2023.05a
• /
• pp.520-520
• /
• 2023

제주도 동부 중산간 지역은 화산암으로 구성된 지하지질로 인해 지하수위의 변동폭이 크고 변동양상이 복잡하여 인공신경망(Artificial Neural Network, ANN) 모델 등을 활용한 지하수위의 예측이 어렵다. ANN에 적용되는 활성화함수에 따라 지하수의 예측성능은 달라질 수 있으므로 활성화함수의 비교분석 후 적절한 활성화함수의 사용이 반드시 필요하다. 본 연구에서는 5개 활성화함수(sigmoid, hyperbolic tangent(tanh), Rectified Linear Unit(ReLU), Leaky Rectified Linear Unit(Leaky ReLU), Exponential Linear Unit(ELU))를 제주도 동부 중산간지역에 위치한 2개 지하수 관정에 대해 비교분석하여 최적 활성화함수 도출을 목표로 한다. 또한 최적 활성화함수를 활용한 ANN의 적용성을 평가하기 위해 최근 널리 사용되고 있는 순환신경망 모델인 Long Short-Term Memory(LSTM) 모델과 비교분석 하였다. 그 결과, 2개 관정 중 지하수위 변동폭이 상대적으로 큰 관정은 ELU 함수, 상대적으로 작은 관정은 Leaky ReLU 함수가 지하수위 예측에 적절하였다. 예측성능이 가장 낮은 활성화함수는 sigmoid 함수로 나타나 첨두 및 최저 지하수위 예측 시 사용을 지양해야 할 것으로 판단된다. 도출된 최적 활성화함수를 사용한 ANN-ELU 모델 및 ANN-Leaky ReLU 모델을 LSTM 모델과 비교분석한 결과 대등한 지하수위 예측성능을 나타내었다. 이것은 feed-forward 방식인 ANN 모델을 사용하더라도 적절한 활성화함수를 사용하면 최신 순환신경망과 대등한 결과를 도출하여 활용 가능성이 충분히 있다는 것을 의미한다. 마지막으로 LSTM 모델은 가장 적절한 예측성능을 나타내어 다양한 인공지능 모델의 예측성능 비교를 위한 기준이 되는 참고모델로 활용 가능하다. 본 연구에서 제시한 방법은 지하수위 예측과 더불어 하천수위 예측 등 다양한 시계열예측 및 분석연구에 유용하게 사용될 수 있다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2023.05a
• /
• pp.150-150
• /
• 2023

기작기반의 역학적 모델과 자료기반의 딥러닝 모델은 수질예측에 다양하게 적용되고 있으나, 각각의 모델은 고유한 구조와 가정으로 인해 장·단점을 가지고 있다. 특히, 딥러닝 모델은 우수한 예측 성능에도 불구하고 훈련자료가 부족한 경우 오차와 과적합에 따른 분산(variance) 문제를 야기하며, 기작기반 모델과 달리 물리법칙이 결여된 예측 결과를 생산할 수 있다. 본 연구의 목적은 주요 상수원인 댐 저수지를 대상으로 수심별 수온과 탁도를 예측하기 위해 기작기반과 자료기반 모델의 장점을 융합한 PGDL(Process-Guided Deep Learninig) 모델을 개발하고, 물리적 법칙 만족도와 예측 성능을 평가하는데 있다. PGDL 모델 개발에 사용된 기작기반 및 자료기반 모델은 각각 CE-QUAL-W2와 순환 신경망 딥러닝 모델인 LSTM(Long Short-Term Memory) 모델이다. 각 모델은 2020년 1월부터 12월까지 소양강댐 댐 앞의 K-water 자동측정망 지점에서 실측한 수온과 탁도 자료를 이용하여 각각 보정하고 훈련하였다. 수온 및 탁도 예측을 위한 PGDL 모델의 주요 알고리즘은 LSTM 모델의 목적함수(또는 손실함수)에 실측값과 예측값의 오차항 이외에 역학적 모델의 에너지 및 질량 수지 항을 제약 조건에 추가하여 예측결과가 물리적 보존법칙을 만족하지 않는 경우 penalty를 부가하여 매개변수를 최적화시켰다. 또한, 자료 부족에 따른 LSTM 모델의 예측성능 저하 문제를 극복하기 위해 보정되지 않은 역학적 모델의 모의 결과를 모델의 훈련자료로 사용하는 pre-training 기법을 활용하여 실측자료 비율에 따른 모델의 예측성능을 평가하였다. 연구결과, PGDL 모델은 저수지 수온과 탁도 예측에 있어서 경계조건을 통한 에너지와 질량 변화와 저수지 내 수온 및 탁도 증감에 따른 공간적 에너지와 질량 변화의 일치도에 있어서 LSTM보다 우수하였다. 또한 역학적 모델 결과를 LSTM 모델의 훈련자료의 일부로 사용한 PGDL 모델은 적은 양의 실측자료를 사용하여도 CE-QUAL-W2와 LSTM 보다 우수한 예측 성능을 보였다. 연구결과는 다차원의 역학적 수리수질 모델과 자료기반 딥러닝 모델의 장점을 결합한 새로운 모델링 기술의 적용 가능성을 보여주며, 자료기반 모델의 훈련자료 부족에 따른 예측 성능 저하 문제를 극복하기 위해 역학적 모델이 유용하게 활용될 수 있음을 시사한다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2023.05a
• /
• pp.358-358
• /
• 2023

본 연구에서는 그동안 수자원분야 강우유출 해석분야에 활용되었던 대표적인 머신러닝&딥러닝(ML&DL) 모델을 활용하여 모델의 하이퍼파라미터 튜닝뿐만 아니라 모델의 특성을 고려한 기상 및 수문데이터의 조합과 전처리(lag-time, 이동평균 등)를 통하여 데이터 특성과 ML&DL모델의 조합시나리오에 따른 일 유입량 예측성능을 비교 검토하는 연구를 수행하였다. 이를 위해 소양강댐 유역을 대상으로 1974년에서 2021년까지 축적된 기상 및 수문데이터를 활용하여 1) 강우, 2) 유입량, 3) 기상자료를 주요 영향변수(독립변수)로 고려하고, 이에 a) 지체시간(lag-time), b) 이동평균, c) 유입량의 성분분리조건을 적용하여 총 36가지 시나리오 조합을 ML&DL의 입력자료로 활용하였다. ML&DL 모델은 1) Linear Regression(LR), 2) Lasso, 3) Ridge, 4) SVR(Support Vector Regression), 5) Random Forest(RF), 6) LGBM(Light Gradient Boosting Model), 7) XGBoost의 7가지 ML방법과 8) LSTM(Long Short-Term Memory models), 9) TCN(Temporal Convolutional Network), 10) LSTM-TCN의 3가지 DL 방법, 총 10가지 ML&DL모델을 비교 검토하여 일유입량 예측을 위한 가장 적합한 데이터 조합 특성과 ML&DL모델을 성능평가와 함께 제시하였다. 학습된 모형의 유입량 예측 결과를 비교·분석한 결과, 소양강댐 유역에서는 딥러닝 중에서는 TCN모형이 가장 우수한 성능을 보였고(TCN>TCN-LSTM>LSTM), 트리기반 머신러닝중에서는 Random Forest와 LGBM이 우수한 성능을 보였으며(RF, LGBM>XGB), SVR도 LGBM수준의 우수한 성능을 나타내었다. LR, Lasso, Ridge 세가지 Regression모형은 상대적으로 낮은 성능을 보였다. 또한 소양강댐 댐유입량 예측에 대하여 강우, 유입량, 기상계열을 36가지로 조합한 결과, 입력자료에 lag-time이 적용된 강우계열의 조합 분석에서 세가지 Regression모델을 제외한 모든 모형에서 NSE(Nash-Sutcliffe Efficiency) 0.8이상(최대 0.867)의 성능을 보였으며, lag-time이 적용된 강우와 유입량계열을 조합했을 경우 NSE 0.85이상(최대 0.901)의 더 우수한 성능을 보였다.

• International Journal of Computer Science & Network Security
• /
• v.23 no.8
• /
• pp.177-189
• /
• 2023

Malware detection is an increasingly important operational focus in cyber security, particularly given the fast pace of such threats (e.g., new malware variants introduced every day). There has been great interest in exploring the use of machine learning techniques in automating and enhancing the effectiveness of malware detection and analysis. In this paper, we present a deep recurrent neural network solution as a stacked Long Short-Term Memory (LSTM) with a pre-training as a regularization method to avoid random network initialization. In our proposal, we use global and short dependencies of the inputs. With pre-training, we avoid random initialization and are able to improve the accuracy and robustness of malware threat hunting. The proposed method speeds up the convergence (in comparison to stacked LSTM) by reducing the length of malware OpCode or bytecode sequences. Hence, the complexity of our final method is reduced. This leads to better accuracy, higher Mattews Correlation Coefficients (MCC), and Area Under the Curve (AUC) in comparison to a standard LSTM with similar detection time. Our proposed method can be applied in real-time malware threat hunting, particularly for safety critical systems such as eHealth or Internet of Military of Things where poor convergence of the model could lead to catastrophic consequences. We evaluate the effectiveness of our proposed method on Windows, Ransomware, Internet of Things (IoT), and Android malware datasets using both static and dynamic analysis. For the IoT malware detection, we also present a comparative summary of the performance on an IoT-specific dataset of our proposed method and the standard stacked LSTM method. More specifically, of our proposed method achieves an accuracy of 99.1% in detecting IoT malware samples, with AUC of 0.985, and MCC of 0.95; thus, outperforming standard LSTM based methods in these key metrics.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2022.05a
• /
• pp.353-353
• /
• 2022

본 연구에서는 CMIP5(The fifth phase of the Couple Model Intercomparison Project) 미래기후시나리오와 LSTM(Long Short-Term Memory) 모형 기반의 딥러닝 기법을 이용하여 하천유량 예측을 위한 최적 학습 기간을 제시하였다. 연구지역으로는 진안군(성산리) 지점을 선정하였다. 보정(2000~2002/2014~2015) 및 검증(2003~2005/2016~2017) 기간을 설정하여 연구지역의 실측 유량 자료와 LSTM 기반 모의유량을 비교한 결과, 전체적으로 모의값이 실측값을 잘 반영하는 것으로 나타났다. 또한, LSTM 모형의 장기간 예측 성능을 평가하기 위하여 LSTM 모형 기반 유량을 보정(2000~2015) 및 검증(2016~2019) 기간의 SWAT 기반 유량에 비교하였다. 비록 모의결과에일부 오차가 발생하였으나, LSTM 모형이 장기간의 하천유량을 잘 산정하는 것으로 나타났다. 검증 결과를 기반으로 2011년~2100년의 CMIP5 미래기후시나리오 기상자료를 이용하여 SWAT 기반 유량을 모의하였으며, 모의한 하천유량을 LSTM 모형의 학습자료로 사용하였다. 다양한 학습 시나리오을 적용하여 LSTM 및 SWAT 모형 기반의 하천유량을 모의하였으며, 최적 학습 기간을 제시하기 위하여 학습 시나리오별 LSTM/SWAT 기반 하천유량의 상관성 및 불확실성을 비교하였다. 비교 결과 학습 기간이 최소 30년 이상일때, 실측유량과 비교하여 LSTM 모형 기반 하천유량의 불확실성이 낮은 것으로 나타났다. 따라서 CMIP5 미래기후시나리오와 딥러닝 기반 LSTM 모형을 연계하여 미래 장기간의 일별 유량을 모의할 경우, 신뢰성 있는 LSTM 모형 기반 하천유량을 모의하기 위해서는 최소 30년 이상의 학습 기간이 필요할 것으로 판단된다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2022.05a
• /
• pp.491-493
• /
• 2022

Flood damage due to torrential rains and typhoons is occurring in many parts of the world. In this paper, we propose a water level prediction model using water level, precipitation, and humidity data, which are key parameters for flood prediction, as input data. Based on the LSTM and GRU models, which have already proven time-series data prediction performance in many research fields, different input datasets were constructed using the ASOS(Automated Synoptic Observing System) data and AWS(Automatic Weather System) data provided by the Korea Meteorological Administration, and performance comparison experiments were conducted. As a result, the best results were obtained when using ASOS data. Through this paper, a performance comparison experiment was conducted according to the input data, and as a future study, it is thought that it can be used as an initial study to develop a system that can make an evacuation decision in advance in connection with the flood risk determination model.

• Journal of Industrial Convergence
• /
• v.21 no.1
• /
• pp.167-173
• /
• 2023

As research has been published to predict future data using regression analysis or artificial intelligence as a method of analyzing economic indicators. In this study, we designed a system that predicts prospective futures prices using artificial intelligence that utilizes topic probability data obtained from past news articles using topic modeling. Topic probability distribution data for each news article were obtained using the Latent Dirichlet Allocation (LDA) method that can extract the topic of a document from past news articles via unsupervised learning. Further, the topic probability distribution data were used as the input for a Long Short-Term Memory (LSTM) network, a derivative of Recurrent Neural Networks (RNN) in artificial intelligence, in order to predict prospective futures prices. The method proposed in this study was able to predict the trend of futures prices. Later, this method will also be able to predict the trend of prices for derivative products like options. However, because statistical errors occurred for certain data; further research is required to improve accuracy.

• Computers and Concrete
• /
• v.31 no.5
• /
• pp.405-417
• /
• 2023

The submerged floating tunnel (SFT) is tethered by mooring lines anchored to the seabed, therefore, the structural integrity of the anchor should be sensitively managed. Despite their importance, reaction forces cannot be simply measured by attaching sensors or load cells because of the structural and environmental characteristics of the submerged structure. Therefore, we propose an effective method for estimating the reaction forces at the seabed anchor of a submerged floating tunnel using a structural pattern model. First, a structural pattern model is established to use the correlation between tunnel motion and anchor reactions via a deep learning algorithm. Once the pattern model is established, it is directly used to estimate the reaction forces by inputting the tunnel motion data, which can be directly measured inside the tunnel. Because the sequential characteristics of responses in the time domain should be considered, the long short-term memory (LSTM) algorithm is mainly used to recognize structural behavioral patterns. Using hydrodynamics-based simulations, big data on the structural behavior of the SFT under various waves were generated, and the prepared datasets were used to validate the proposed method. The simulation-based validation results clearly show that the proposed method can precisely estimate time-series reactions using only acceleration data. In addition to real-time structural health monitoring, the proposed method can be useful for forensics when an unexpected accident or failure is related to the seabed anchors of the SFT.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• v.17 no.5
• /
• pp.1396-1412
• /
• 2023

Conversation modeling is an important and challenging task in the field of natural language processing because it is a key component promoting the development of automated humanmachine conversation. Most recent research concerning conversation modeling focuses only on the current utterance (considered as the current question) to generate a response, and thus fails to capture the conversation's logic from its beginning. Some studies concatenate the current question with previous conversation sentences and use it as input for response generation. Another approach is to use an encoder to store all previous utterances. Each time a new question is encountered, the encoder is updated and used to generate the response. Our approach in this paper differs from previous studies in that we explicitly separate the encoding of the question from the encoding of its context. This results in different encoding models for the question and the context, capturing the specificity of each. In this way, we have access to the entire context when generating the response. To this end, we propose a deep neural network-based model, called the Context Model, to encode previous utterances' information and combine it with the current question. This approach satisfies the need for context information while keeping the different roles of the current question and its context separate while generating a response. We investigate two approaches for representing the context: Long short-term memory and Convolutional neural network. Experiments show that our Context Model outperforms a baseline model on both ConvAI2 Dataset and a collected dataset of conversational English.