• 제목/요약/키워드: LSTM/GRU learning model

검색결과 52건 처리시간 0.029초

군집 별 표준곡선 매개변수를 이용한 치밀오일 생산성 예측 순환신경망 모델 (Recurrent Neural Network Model for Predicting Tight Oil Productivity Using Type Curve Parameters for Each Cluster)

  • 한동권;김민수;권순일
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 추계학술대회
    • /
    • pp.297-299
    • /
    • 2021
  • 치밀오일 미래 생산성 예측은 잔류오일 회수량 및 저류층 거동 분석을 위해 중요한 작업이다. 일반적으로 석유공학적 관점에서 감퇴곡선법을 이용하여 생산성 예측이 이루어지는데, 최근에는 데이터기반의 머신러닝 기법을 이용한 연구도 수행되고 있다. 본 연구에서는 딥러닝 기반 순환신경망과 LSTM, GRU 알고리즘을 이용하여 미래 생산량 예측을 위한 효과적인 모델을 제안하고자 한다. 입력변수로는 치밀오일 생산 시 산출되는 오일, 가스, 물과 이와 더불어 다양한 군집분석을 통해 산출된 표준곡선이 주요 매개변수이고, 출력변수는 월별 오일 생산량이다. 기존의 경험적 모델인 감퇴곡선법과 순환신경망 모델들을 비교하였으며, 모델의 예측성능을 향상시키기 위해 하이퍼파라미터 튜닝을 통해 최적 모델을 도출하였다.

  • PDF

Blind Drift Calibration using Deep Learning Approach to Conventional Sensors on Structural Model

  • Kutchi, Jacob;Robbins, Kendall;De Leon, David;Seek, Michael;Jung, Younghan;Qian, Lei;Mu, Richard;Hong, Liang;Li, Yaohang
    • 국제학술발표논문집
    • /
    • The 9th International Conference on Construction Engineering and Project Management
    • /
    • pp.814-822
    • /
    • 2022
  • The deployment of sensors for Structural Health Monitoring requires a complicated network arrangement, ground truthing, and calibration for validating sensor performance periodically. Any conventional sensor on a structural element is also subjected to static and dynamic vertical loadings in conjunction with other environmental factors, such as brightness, noise, temperature, and humidity. A structural model with strain gauges was built and tested to get realistic sensory information. This paper investigates different deep learning architectures and algorithms, including unsupervised, autoencoder, and supervised methods, to benchmark blind drift calibration methods using deep learning. It involves a fully connected neural network (FCNN), a long short-term memory (LSTM), and a gated recurrent unit (GRU) to address the blind drift calibration problem (i.e., performing calibrations of installed sensors when ground truth is not available). The results show that the supervised methods perform much better than unsupervised methods, such as an autoencoder, when ground truths are available. Furthermore, taking advantage of time-series information, the GRU model generates the most precise predictions to remove the drift overall.

  • PDF

Electroencephalography-based imagined speech recognition using deep long short-term memory network

  • Agarwal, Prabhakar;Kumar, Sandeep
    • ETRI Journal
    • /
    • 제44권4호
    • /
    • pp.672-685
    • /
    • 2022
  • This article proposes a subject-independent application of brain-computer interfacing (BCI). A 32-channel Electroencephalography (EEG) device is used to measure imagined speech (SI) of four words (sos, stop, medicine, washroom) and one phrase (come-here) across 13 subjects. A deep long short-term memory (LSTM) network has been adopted to recognize the above signals in seven EEG frequency bands individually in nine major regions of the brain. The results show a maximum accuracy of 73.56% and a network prediction time (NPT) of 0.14 s which are superior to other state-of-the-art techniques in the literature. Our analysis reveals that the alpha band can recognize SI better than other EEG frequencies. To reinforce our findings, the above work has been compared by models based on the gated recurrent unit (GRU), convolutional neural network (CNN), and six conventional classifiers. The results show that the LSTM model has 46.86% more average accuracy in the alpha band and 74.54% less average NPT than CNN. The maximum accuracy of GRU was 8.34% less than the LSTM network. Deep networks performed better than traditional classifiers.

A Systems Engineering Approach for Predicting NPP Response under Steam Generator Tube Rupture Conditions using Machine Learning

  • Tran Canh Hai, Nguyen;Aya, Diab
    • 시스템엔지니어링학술지
    • /
    • 제18권2호
    • /
    • pp.94-107
    • /
    • 2022
  • Accidents prevention and mitigation is the highest priority of nuclear power plant (NPP) operation, particularly in the aftermath of the Fukushima Daiichi accident, which has reignited public anxieties and skepticism regarding nuclear energy usage. To deal with accident scenarios more effectively, operators must have ample and precise information about key safety parameters as well as their future trajectories. This work investigates the potential of machine learning in forecasting NPP response in real-time to provide an additional validation method and help reduce human error, especially in accident situations where operators are under a lot of stress. First, a base-case SGTR simulation is carried out by the best-estimate code RELAP5/MOD3.4 to confirm the validity of the model against results reported in the APR1400 Design Control Document (DCD). Then, uncertainty quantification is performed by coupling RELAP5/MOD3.4 and the statistical tool DAKOTA to generate a large enough dataset for the construction and training of neural-based machine learning (ML) models, namely LSTM, GRU, and hybrid CNN-LSTM. Finally, the accuracy and reliability of these models in forecasting system response are tested by their performance on fresh data. To facilitate and oversee the process of developing the ML models, a Systems Engineering (SE) methodology is used to ensure that the work is consistently in line with the originating mission statement and that the findings obtained at each subsequent phase are valid.

섬진강 댐의 수문학적 예측을 위한 딥러닝 모델 활용 (Utility of Deep Learning Model for Improving Dam and Reservoir Operation: A Case Study of Seonjin River Dam)

  • 이은미;감종훈
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.483-483
    • /
    • 2022
  • 댐과 저수지의 운영 최적화를 위한 수문학적 예보는 현재 수동적인 댐 운영이 주를 이루면서 활용도가 높지 않다. 불확실한 기후변화나 기후재난 상황에서 우리 사회에 악영향을 최소화하기 위해 선제적으로 대응/대비할 수 있는 댐 운영 방안이 불가피하다. 강우량 예측 기술은 기후변화로 인해 제한적인 상황이다. 실례로, 2020년 8월에 섬진강의 댐이 극심한 집중 강우로 인해 무너지는 사태가 발생하였고 이로 인해 지역사회에 막대한 경제적 피해가 발생하였다. 선제적 댐 방류량 운영 기술은 또한 환경적인 변화로 인한 영향을 완화하기 위해 필요한 것이다. 제한적인 기상 예보 기술을 극복하고자 심화학습이나 강화학습 같은 인공지능 모델들의 활용성에 대한 연구가 시도되고 있다. 따라서 본 연구는 섬진강 댐의 시간당 수문 데이터를 이용하여 댐 운영을 위한 심화학습 모델을 개발하고 그 활용도를 평가하였다. 댐 운영을 위한 심화학습 모델로서 시계열 데이터 예측에 적합한 Long Sort Term Memory(LSTM)과 Gated Recurrent Unit(GRU) 알고리즘을 구축하고 댐 수위를 예측하였다. 분석 자료는 WAMIS에서 제공하는 2000년부터 2021년까지의 시간당 데이터를 사용하였다. 입력 데이터로서 시간당 유입량, 강우량과 방류량을, 출력 데이터로서 시간당 수위 자료를 각각 사용하였으며. 결정계수(R2 Score)를 통해 모델의 예측 성능을 평가하였다. 댐 수위 예측값 개선을 위해 하이퍼파라미터의 '최적값'이 존재하는 범위를 줄여나가는 하이퍼파라미터 최적화를 두 가지 방법으로 진행하였다. 첫 번째 방법은 수동적 탐색(Manual Search) 방법으로 Sequence Length를 24, 48, 72시간, Hidden Layer를 1, 3, 5개로 설정하여 하이퍼파라미터의 조합에 따른 LSTM와 GRU의 민감도를 평가하였다. 두 번째 방법은 Grid Search로 최적의 하이퍼파라미터를 찾았다. 이 두가지 방법에서는 같은 하이퍼파라미터 안에서 GRU가 LSTM에 비해 더 높은 예측 정확도를 보였고 Sequence Length가 높을수록 정확도가 높아지는 경향을 보였다. Manual Search 방법의 경우 R2가 최대 0.72의 정확도를 보였고 Grid Search 방법의 경우 R2가 0.79의 정확도를 보였다. 본 연구 결과는 가뭄과 홍수와 같은 물 재해에 사전 대응하고 기후변화에 적응할 수 있는 댐 운영 개선에 도움을 줄 수 있을 것으로 판단된다.

  • PDF

Comparative Analysis of Baseflow Separation using Conventional and Deep Learning Techniques

  • Yusuff, Kareem Kola;Shiksa, Bastola;Park, Kidoo;Jung, Younghun
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.149-149
    • /
    • 2022
  • Accurate quantitative evaluation of baseflow contribution to streamflow is imperative to address seasonal drought vulnerability, flood occurrence and groundwater management concerns for efficient and sustainable water resources management in watersheds. Several baseflow separation algorithms using recursive filters, graphical method and tracer or chemical balance have been developed but resulting baseflow outputs always show wide variations, thereby making it hard to determine best separation technique. Therefore, the current global shift towards implementation of artificial intelligence (AI) in water resources is employed to compare the performance of deep learning models with conventional hydrograph separation techniques to quantify baseflow contribution to streamflow of Piney River watershed, Tennessee from 2001-2021. Streamflow values are obtained from the USGS station 03602500 and modeled to generate values of Baseflow Index (BI) using Web-based Hydrograph Analysis (WHAT) model. Annual and seasonal baseflow outputs from the traditional separation techniques are compared with results of Long Short Term Memory (LSTM) and simple Gated Recurrent Unit (GRU) models. The GRU model gave optimal BFI values during the four seasons with average NSE = 0.98, KGE = 0.97, r = 0.89 and future baseflow volumes are predicted. AI offers easier and more accurate approach to groundwater management and surface runoff modeling to create effective water policy frameworks for disaster management.

  • PDF

순환신경망 모델을 활용한 팔당호의 단기 수질 예측 (Short-Term Water Quality Prediction of the Paldang Reservoir Using Recurrent Neural Network Models)

  • 한지우;조용철;이소영;김상훈;강태구
    • 한국물환경학회지
    • /
    • 제39권1호
    • /
    • pp.46-60
    • /
    • 2023
  • Climate change causes fluctuations in water quality in the aquatic environment, which can cause changes in water circulation patterns and severe adverse effects on aquatic ecosystems in the future. Therefore, research is needed to predict and respond to water quality changes caused by climate change in advance. In this study, we tried to predict the dissolved oxygen (DO), chlorophyll-a, and turbidity of the Paldang reservoir for about two weeks using long short-term memory (LSTM) and gated recurrent units (GRU), which are deep learning algorithms based on recurrent neural networks. The model was built based on real-time water quality data and meteorological data. The observation period was set from July to September in the summer of 2021 (Period 1) and from March to May in the spring of 2022 (Period 2). We tried to select an algorithm with optimal predictive power for each water quality parameter. In addition, to improve the predictive power of the model, an important variable extraction technique using random forest was used to select only the important variables as input variables. In both Periods 1 and 2, the predictive power after extracting important variables was further improved. Except for DO in Period 2, GRU was selected as the best model in all water quality parameters. This methodology can be useful for preventive water quality management by identifying the variability of water quality in advance and predicting water quality in a short period.

자연어처리와 기계학습을 통한 우울 감정 분석과 인식 (Analysis and Recognition of Depressive Emotion through NLP and Machine Learning)

  • 김규리;문지현;오유란
    • 문화기술의 융합
    • /
    • 제6권2호
    • /
    • pp.449-454
    • /
    • 2020
  • 본 논문에서는 SNS에 게시된 글의 내용을 통해 사용자의 우울함을 검출하는 기계학습 기반 감성 분석 시스템을 제안한다. 게시한 글의 작성자가 기분을 파악하는 시스템을 구현하기 위해 먼저 감정 사전에서 우울한 감정의 단어와 그렇지 않은 감정과 관련된 단어를 목록화하였다. 그 후, SNS를 대표하는 서비스 중 하나인 트위터의 텍스트 자료에서 검색 키워드를 선정하고 크롤링을 시행하여 우울한 감정을 띤 문장 1297개와 그렇지 않은 문장 1032개로 이뤄진 학습 데이터셋을 구축하였다. 마지막으로 텍스트 기반 우울감 검출 목적에 가정 적합한 기계학습 모델을 찾기 위해 수집한 데이터셋을 바탕으로 순환신경망, 장단기메모리, 그리고 게이트 순환 유닛을 비교 평가하였고, 그 결과 GRU 모델이 다른 모델들보다 2~4%가량의 높은 92.2%의 정확도를 보임을 확인하였다. 이 연구 결과는 SNS상의 게시글을 토대로 사용자의 우울증을 예방하거나 치료를 유도하는 데 활용될 수 있을 것이다.

영농형 태양광 발전소에서 순환신경망 기반 발전량 예측 시스템 (Recurrent Neural Network based Prediction System of Agricultural Photovoltaic Power Generation)

  • 정설령;고진광;이성근
    • 한국전자통신학회논문지
    • /
    • 제17권5호
    • /
    • pp.825-832
    • /
    • 2022
  • 본 논문은 영농형 태양광 발전 시스템의 전력 생산량을 수집·저장하여 지능적인 예측 모델을 구현하기 위한 예측 및 진단 모델의 설계와 구현에 대해 논한다. 제안된 모델은 시계열 데이터에 특화된 순환신경망 기법인 RNN, LSTM, GRU 모델을 이용하여 태양광 발전량을 예측하고 각 모델의 하이퍼 파라미터를 다르게 주어 비교 분석하고, 성능을 평가했다. 그 결과 세 모델 모두 MSE, RMSE 지표는 0에 매우 가까우며, R2 지표는 1에 가까운 성능을 보였다. 이를 통해 제안하는 예측 모델은 태양광 발전량을 예측하기에 적합한 모델임을 알 수 있고, 이러한 예측을 이용하여 영농형 태양광 시스템에서 지능적인 운영관리 기능에 적용될 수 있음을 보였다.

FitRec 기반 달리기 심박수 예측 시스템 (Prediction System of Running Heart Rate based on FitRec)

  • 김진욱;김광현;선준호;이승우;김수현;김진영
    • 한국인터넷방송통신학회논문지
    • /
    • 제22권6호
    • /
    • pp.165-171
    • /
    • 2022
  • 사람의 심박수는 운동 강도 측정의 기준으로 사용되는 중요한 지표이다. 만약 심박수를 예측한다면 운동 중 운동 강도를 미리 조절하여 효율적으로 운동할 수 있다. 본 논문에서는 FitRec 기반 달리기 운동을 수행하는 사용자의 심박수를 예측하는 모델을 제안한다. 학습을 위해 Endomondo의 데이터를 사용하여 예측 모델에 적용한다. 성능 비교를 위해 시계열 데이터 처리 알고리즘 LSTM(long short term memory)과 GRU(gated recurrent unit)를 사용하였다. FitRec에 유산소 운동 중 달리기 데이터만 학습한 결과 여러 유산소 운동 데이터를 모두 학습한 모델보다 MAE(mean absolute error)와 RMSE(root mean squared error) 둘 다 성능이 향상됨을 확인하였다.