• Geomechanics and Engineering
• /
• v.31 no.6
• /
• pp.545-556
• /
• 2022

Evaluation and optimization of tunnel wall convergence (TWC) plays a vital role in preventing potential problems during tunnel construction and utilization stage. When convergence occurs at a high rate, it can lead to significant problems such as reducing the advance rate and safety, which in turn increases operating costs. In order to design an effective solution, it is important to accurately predict the degree of TWC; this can reduce the level of concern and have a positive effect on the design. With the development of soft computing methods, the use of deep learning algorithms and neural networks in tunnel construction has expanded in recent years. The current study aims to employ the long-short-term memory (LSTM) deep neural network predictor model to predict the TWC, based on 550 data points of observed parameters developed by collecting required data from different tunnelling projects. Among the data collected during the pre-construction and construction phases of the project, 80% is randomly used to train the model and the rest is used to test the model. Several loss functions including root mean square error (RMSE) and coefficient of determination (R²) were used to assess the performance and precision of the applied method. The results of the proposed models indicate an acceptable and reliable accuracy. In fact, the results show that the predicted values are in good agreement with the observed actual data. The proposed model can be considered for use in similar ground and tunneling conditions. It is important to note that this work has the potential to reduce the tunneling uncertainties significantly and make deep learning a valuable tool for planning tunnels.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2021.06a
• /
• pp.333-333
• /
• 2021

최근 전 지구적인 기후변화 및 온난화의 영향으로 태풍 및 집중호우가 빈번하게 일어나고 있으며, 이로 인한 한천범람 등 홍수재해로 인명 및 재산 피해가 크게 증가하고 있다. 우리나라에서도 태풍 및 집중호우로 인한 호수피해는 매년 발생하고 있으며, 피해 빈도와 강도가 증가하고 있는 실정이다. 이러한 현실을 고려하였을 때에 하천 인근 주민의 생명과 재산을 보호하기 위하여 실시간으로 홍수위 예측을 수행하는 것은 매우 중요하다 할 수 있다. 국내에서 수위예측을 위하여 대표적으로 저류함수모형(Storage Function Model, SFM)을 채택하고 있지만, 유역면적이 작아 홍수 도달시간이 짧은 중소하천에서는 충분한 선행시간과 정확도를 확보하기 어려운 문제점이 있다. 이는 유역면적이 작은 중소하천에서는 유역 및 기상 특성과 관련된 여러 인자 사이의 비선형성이 대하천 유역에 비해 커지는 문제점이 있기 때문이다. 본 연구에서는 위와같은 문제를 해결할 수 있도록, 수문자료와 딥러닝 기법을 적용하여 실시간으로 홍수위를 예측할 수 있는 방법론을 제시하였다. 지난 태풍 및 집중호우로 인하여 급격한 수위상승이 있던 낙동강 지류하천에 대하여 LSTM(Long-Short Term Memory) 모형 기반 실시간 수위예측 모형을 개발하였으며, 선행시간 30~180분 별로 홍수위를 예측하고 관측 수위와 비교함으로써 모형의 적용성을 검증하였다. 선행시간 180분 기준으로 영강 유역 수위예측 결과와 실제 관측치의 평균제곱근 오차는 0.29m, 상관계수는 0.92로 나타났으며, 밀양강 유역의 경우 각각 0.30m, 0.94로 나타났다. 본 연구에서 제시된 딥러닝 기반모형에 10분 단위 실시간 수문자료가 입력된다면, 다음 관측자료가 입력되기 전 홍수예측 결과가 산출되므로 실질적인 홍수예경보체계에 유용하게 사용될 수 있을 것이라 보인다. 모형에 적용할 수 있는 더욱 다양한 수문자료와 매개변수 조정을 통하여 예측결과에 대한 신뢰성을 더욱 높일 수 있다면, 기존의 저류함수모형과 연계하여 홍수대응 능력을 향상시키는데 도움이 될 수 있다.

• Journal of the Korea Society of Computer and Information
• /
• v.28 no.11
• /
• pp.43-52
• /
• 2023

Rubber produced by rubber companies is subjected to quality suitability inspection through rheometer test, followed by secondary processing for automobile parts. However, rheometer test is being conducted by humans and has the disadvantage of being very dependent on experts. In order to solve this problem, this paper proposes a deep learning-based rheometer quality inspection system. The proposed system combines LSTM(Long Short-Term Memory) and CNN(Convolutional Neural Network) to take advantage of temporal and spatial characteristics from the rheometer. Next, combination materials of each rubber was used as an auxiliary input to enable quality conformity inspection of various rubber products in one model. The proposed method examined its performance with 30,000 validation datasets. As a result, an F1-score of 0.9940 was achieved on average, and its excellence was proved.

• Journal of Information Processing Systems
• /
• v.20 no.3
• /
• pp.375-390
• /
• 2024

Edge computing architecture has effectively alleviated the computing pressure on cloud platforms, reduced network bandwidth consumption, and improved the quality of service for user experience; however, it has also introduced new security issues. Existing anomaly detection methods in big data scenarios with cloud-edge computing collaboration face several challenges, such as sample imbalance, difficulty in dealing with complex network traffic attacks, and difficulty in effectively training large-scale data or overly complex deep-learning network models. A lightweight deep-learning model was proposed to address these challenges. First, normalization on the user side was used to preprocess the traffic data. On the edge side, a trained Wasserstein generative adversarial network (WGAN) was used to supplement the data samples, which effectively alleviates the imbalance issue of a few types of samples while occupying a small amount of edge-computing resources. Finally, a trained lightweight deep learning network model is deployed on the edge side, and the preprocessed and expanded local data are used to fine-tune the trained model. This ensures that the data of each edge node are more consistent with the local characteristics, effectively improving the system's detection ability. In the designed lightweight deep learning network model, two sets of convolutional pooling layers of convolutional neural networks (CNN) were used to extract spatial features. The bidirectional long short-term memory network (BiLSTM) was used to collect time sequence features, and the weight of traffic features was adjusted through the attention mechanism, improving the model's ability to identify abnormal traffic features. The proposed model was experimentally demonstrated using the NSL-KDD, UNSW-NB15, and CIC-ISD2018 datasets. The accuracies of the proposed model on the three datasets were as high as 0.974, 0.925, and 0.953, respectively, showing superior accuracy to other comparative models. The proposed lightweight deep learning network model has good application prospects for anomaly traffic detection in cloud-edge collaborative computing architectures.

• Journal of Korea Society of Industrial Information Systems
• /
• v.29 no.4
• /
• pp.13-24
• /
• 2024

In this paper, we analyzed the performance of normalization according to various neural network models and input-output structures. For the analysis, a simulation-based dataset for noise environments with homogeneous and up to three interfering signals was used. As a result, the end-to-end structure that directly outputs noise variance showed superior performance when using a 1-D convolutional neural network and BiLSTM model, and was analyzed to be particularly robust against interference signals. This is because the 1-D convolutional neural network and bidirectional long short-term memory models have stronger inductive bias than the multilayer perceptron and transformer models. The analysis of this paper are expected to be used as a useful reference for future research on deep learning-based normalization.

• Journal of Korea Water Resources Association
• /
• v.54 no.5
• /
• pp.301-309
• /
• 2021

In this study, we tried to improve the performance of the existing U-net-based deep learning rainfall prediction model, which can weaken the meaning of time series order. For this, ConvLSTM2D U-Net structure model considering temporal consistency of data was applied, and we evaluated accuracy of the ConvLSTM2D U-Net model using a RainNet model and an extrapolation-based advection model. In addition, we tried to improve the uncertainty in the model training process by performing learning not only with a single model but also with 10 ensemble models. The trained neural network rainfall prediction model was optimized to generate 10-minute advance prediction data using four consecutive data of the past 30 minutes from the present. The results of deep learning rainfall prediction models are difficult to identify schematically distinct differences, but with ConvLSTM2D U-Net, the magnitude of the prediction error is the smallest and the location of rainfall is relatively accurate. In particular, the ensemble ConvLSTM2D U-Net showed high CSI, low MAE, and a narrow error range, and predicted rainfall more accurately and stable prediction performance than other models. However, the prediction performance for a specific point was very low compared to the prediction performance for the entire area, and the deep learning rainfall prediction model also had limitations. Through this study, it was confirmed that the ConvLSTM2D U-Net neural network structure to account for the change of time could increase the prediction accuracy, but there is still a limitation of the convolution deep neural network model due to spatial smoothing in the strong rainfall region or detailed rainfall prediction.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2020.06a
• /
• pp.291-291
• /
• 2020

제주도는 강수의 지표침투성이 좋은 화산섬의 지질특성상 지표수의 개발이용여건이 취약한 관계로 용수의 대부분을 지하수에 의존하고 있다. 따라서 제주도는 정책 및 연구적으로 오랜 기간동안 지하수의 보전관리에 많은 노력을 기울여 오고 있다. 하지만 최근 기후변화로 인한 강수의 변동성 증가로 인해 지하수위의 변동성 또한 증가할 가능성이 있으며 따라서 지하수위의 급격한 하강에 대비하여 지하수위의 예측 및 지하수 취수량 관리의 필요성이 요구되고 있다. 지하수에 절대적으로 의존하고 있는 제주도의 수자원 이용 여건을 고려할 때, 지하수의 취수량 관리를 위한 지하수위의 실시간 예측이 필요한 실정이다. 하지만 기존의 예측방법에 의한 제주도 지하수위 예측기간은 충분히 길지 않으며 예측기간이 길어지면 예측성능이 낮아지는 문제점이 있었다. 본 연구에서는 이러한 단점을 보완하기 위해 딥러닝 알고리즘인 Long Short Term Memory(LSTM)를 활용하여 제주도 남동쪽 표선유역 중산간지역의 1개 지하수위 관측정에 대해 지하수위를 예측하고 분석하였다. R 기반의 Keras 패키지에 있는 LSTM 알고리즘을 사용하였고, 입력자료는 인근의 성판악 및 교래 강우관측소의 일단위 강수량자료와 인근 취수정의 지하수 취수량자료 및 연구대상 관측정의 지하수위 자료를 사용하였으며, 사용된 자료의 기간은 2001년 2월 11일부터 2019년 10월 31일까지 이다. 2001년부터 13년의 보정 및 3년의 검증용 시계열자료를 사용하여 매개변수의 보정 및 과적합을 방지하였고, 3년의 예측용 시계열자료를 사용하여 LSTM 알고리즘의 예측성능을 평가하였다. 목표 예측일수는 1일, 10일, 20일, 30일로 설정하였으며 보정, 검증 및 예측기간에 대한 모의결과의 평가지수로는 Nash-Sutcliffe Efficiency(NSE)를 활용하였다. 모의결과, 보정, 검증 및 예측기간에 대한 1일 예측의 NSE는 각각 0.997, 0.997, 0.993 이었고, 10일 예측의 NSE는 각각 0.993, 0.912, 0.930 이었다. 20일 예측의 경우 NSE는 각각 0.809, 0.781, 0.809 이었으며 30일 예측의 경우 각각 0.677, 0.622, 0.633 이었다. 이것은 LSTM 알고리즘에 의한 10일 예측까지는 관측 지하수위 시계열자료를 매우 적절히 모의할 수 있다는 것을 의미하며, 20일 예측 또한 적절히 모의할 수 있다는 것을 의미한다. 따라서 LSTM 알고리즘을 활용하면 본 연구대상지점에 대한 2주일 또는 3주일의 안정적인 지하수위 예보가 가능하다고 판단된다. 또한 LSTM 알고리즘을 통한 실시간 지하수위 예측은 지하수 취수량 관리에 활용할 수 있을 것이다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2021.06a
• /
• pp.267-267
• /
• 2021

제주도는 화산섬의 지질특성상 강수의 지표침투성이 높아 지표수의 개발이용여건이 취약한 관계로 용수의 대부분을 지하수에 의존하고 있다. 따라서 지하수의 보전관리는 매우 중요한 사항이며 특히 지하수의 안정적인 이용을 위해서는 지하수 취수가 주변지역 지하수위에 미치는 영향 분석이 반드시 필요하다. 본 연구는 딥러닝 알고리즘인 Long Short-Term Memory(LSTM)를 활용하여 제주도 남동쪽 표선유역 중산간지역에 위치한 2개 지하수위 관측정을 대상으로 지하수 취수영향을 분석하였다. 입력자료로써 인근 2개 강우관측소의 일단위 강수량자료와 인근 6개 취수정의 지하수 취수량자료 및 연구대상 관측정의 지하수위 자료(2001. 2. 11. ~ 2019. 10. 31.)를 사용하였다. 지하수위 변동특성을 최대한 반영하기 위해 LSTM의 예측일수를 1일로 설정하였다. 보정 및 검증 기간을 사용하여 매개변수의 과적합을 방지하였으며, 테스트 기간을 사용하여 LSTM의 예측성능을 평가하였다. 평가지수로써 Nash-Sutcliffe Efficiency(NSE)와 평균제곱근오차(RMSE)를 사용하였다. 그리고 지하수 취수가 주변 지하수위 변동에 미치는 영향을 분석하기 위해 취수량을 최대취수량인 2,300 m³/일, 최대취수량의 2/3인 1,533 m³/일 및 0 m³/일로 설정하여 모의하였다. 모의결과, 2개 감시정의 보정, 검증 및 예측기간에 대한 NSE는 최대 0.999, 최소 0.976의 범위를 보였으며, RMSE는 최대 0.494 m, 최소 0.084 m를 보여 LSTM은 우수한 예측성능을 나타내었다. 이것은 LSTM이 지하수위 변동특성을 적절히 학습하였다는 것을 의미하며 따라서 추정된 매개변수를 활용하여 지하수 취수영향을 모의 및 분석하였다. 그 결과, 지하수위 하강량은 최대 0.38 m 였으며 이것은 대상지점에 대한 취수량은 지하수위 하강에 거의 영향을 주지 않는다는 것을 의미한다. 또한 취수량과 지하수위 하강량과의 관계는 한 개 관측정에 대해 선형적인 관계를 보인 반면 나머지 한 개 관측정에 대해서는 비선형적인 관계를 나타내는 것을 확인하였다. 따라서 LSTM 알고리즘을 활용하여 제주도 표선유역 중산간지역의 지하수위 변동특성을 분석할 수 있다.

• Smart Media Journal
• /
• v.11 no.10
• /
• pp.65-75
• /
• 2022

Deep learning is used as a creative tool that could overcome the limitations of existing analysis models and generate various types of results such as text, image, and music. In this paper, we propose a method necessary to preprocess audio data using the Niko's MIDI Pack sound source file as a data set and to generate music using Bi-LSTM. Based on the generated root note, the hidden layers are composed of multi-layers to create a new note suitable for the musical composition, and an attention mechanism is applied to the output gate of the decoder to apply the weight of the factors that affect the data input from the encoder. Setting variables such as loss function and optimization method are applied as parameters for improving the LSTM model. The proposed model is a multi-channel Bi-LSTM with attention that applies notes pitch generated from separating treble clef and bass clef, length of notes, rests, length of rests, and chords to improve the efficiency and prediction of MIDI deep learning process. The results of the learning generate a sound that matches the development of music scale distinct from noise, and we are aiming to contribute to generating a harmonistic stable music.

• Journal of the Korea Society of Computer and Information
• /
• v.25 no.11
• /
• pp.27-40
• /
• 2020

In this paper, we investigate the correlation between the amount of English sentences that Korean English learners (L2ers) are exposed to and their sentence processing patterns by examining what Long Short-Term Memory (LSTM) language models (LMs) can learn about implicit syntactic relationship: that is, the filler-gap dependency. The filler-gap dependency refers to a relationship between a (wh-)filler, which is a wh-phrase like 'what' or 'who' overtly in clause-peripheral position, and its gap in clause-internal position, which is an invisible, empty syntactic position to be filled by the (wh-)filler for proper interpretation. Here to implement L2ers' English learning, we build LSTM LMs that in turn learn a subset of the known restrictions on the filler-gap dependency from English sentences in the L2 corpus that L2ers can potentially encounter in their English learning. Examining LSTM LMs' behaviors on controlled sentences designed with the filler-gap dependency, we show the characteristics of L2ers' sentence processing using the information-theoretic metric of surprisal that quantifies violations of the filler-gap dependency or wh-licensing interaction effects. Furthermore, comparing L2ers' LMs with native speakers' LM in light of processing the filler-gap dependency, we not only note that in their sentence processing both L2ers' LM and native speakers' LM can track abstract syntactic structures involved in the filler-gap dependency, but also show using linear mixed-effects regression models that there exist significant differences between them in processing such a dependency.