• 제목/요약/키워드: LSTM-RNN

검색결과 206건 처리시간 0.035초

RNN 알고리즘을 이용한 온천천의 하천수질 인자 예측 (Prediction of river water quality factor at Oncheoncheon Basin using RNN algorithm)

  • 임희성;안현욱
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2019년도 학술발표회
    • /
    • pp.39-39
    • /
    • 2019
  • 인구의 도시 집중화로 인하여 다량의 생활용수의 사용에 따라 하천의 자정능력을 초과하여 오염을 유발시키고 있다. 이에 도시하천들의 오염은 점점 심해져 경제적으로 많은 문제를 유발하고 있다. 이러한 하천오염 문제를 과학적으로 대응하기 위해서는 오염물질의 농도 측정 및 데이터 축척을 통한 오염예측이 필수적이라 할 수 있으며, 부산광역시 보건환경정보 공개시스템에서는 하천수질 자동측정망을 설치하여 시간 단위로 오염물질을 측정하고 있다. 그러나 온천천의 하천수질 데이터는 계속 쌓여가고 있는데 이 데이터를 활용해서 하천수질 인자 예측이 거의 이뤄지지 않고 있다. 본 연구에서는 순환신경망 알고리즘을 활용하여 일 단위의 하천수질 인자 예측을 시도하였다. 순환신경망은 인공신경망의 발전된 형태인 시계열 학습에 강한 RNN, LSTM 알고리즘을 활용한 일단위 하천수질 인자 예측을 하고자 하였다. 연구에 앞서 시간 단위로 쌓여있는 데이터를 평균 내어 일 단위로 변경하였고 이 데이터를 가지고 일 단위 하천수질 인자 예측을 진행하였다. 연구에는 Google에서 개발한 딥러닝 오픈소스 라이브러리인 텐서플로우를 활용하여 DO, 탁도 등 항목을 예측하였다. 하천오염의 학습과 예측을 위해 대상지로는 부산지역 온천천의 부곡교, 세병교, 이섭교 관측소를 선택하였다. 연구를 위해 DO, 탁도 등 자료 수집은 부산광역시 보건환경정보 공개시스템의 자료를 활용하였다. 모형의 학습을 위해 입력자료로는 하천수질 인자 자료를 이용하였고, 자료의 학습에는 2014년~2017년 4년간의 자료를 학습자료로 사용하였고, 2018년 1년간의 자료는 모형의 검증을 위해 사용하였다. RNN, LSTM 알고리즘을 활용하여 분석 시 은닉층의 개수, 반복시행횟수, sequence length 등의 값을 조절하여 하천수질 인자 예측을 하였다. 모형의 검증을 위해 $R^2$(r square)와 RMSE(root mean square error)을 이용하여 통계분석을 실시하였다.

  • PDF

LSTM을 활용한 고위험성 조류인플루엔자(HPAI) 확산 경로 예측 (Prediction of Highy Pathogenic Avian Influenza(HPAI) Diffusion Path Using LSTM)

  • 최대우;이원빈;송유한;강태훈;한예지
    • 한국빅데이터학회지
    • /
    • 제5권1호
    • /
    • pp.1-9
    • /
    • 2020
  • 이 연구는 2018년도 정부(농림축산식품부)의 재원으로 농림식품기술기획평가원 지원을 받아 수행된 연구이다. 최근 시계열 및 텍스트 마이닝에서 활발히 사용되는 모델은 딥러닝(Deep Learning) 모델 구조를 활용한 LSTM(Long Short-Term Memory models) 모델이다. LSTM 모델은 RNN의 BPTT(Backpropagation Through Time) 과정에서 발생하는 Long-Term Dependency Problem을 해결하기 위해 등장한 모델이다. LSTM 모델은 가변적인 Sequence data를 활용하여 예측하는 문제를 굉장히 잘 해결했고, 지금도 널리 사용되고 있다. 본 논문 연구에서는 KT가 제공하는 CDR(Call Detailed Record) 데이터를 활용하여 바이러스와 밀접한 관계가 있을 것으로 예측되는 사람의 이동 경로를 파악하였다. 해당 사람의 경로를 활용하여 LSTM 모델을 학습시켜 이동 경로를 예측한 결과를 소개한다. 본 연구 결과를 활용하여 HPAI가 전파되는 경로를 예측하여 방역에 중점을 둘 경로 또는 지역을 선정해 HPAI 확산을 줄이는 데 이용될 수 있을 것이다.

Forecasting realized volatility using data normalization and recurrent neural network

  • Yoonjoo Lee;Dong Wan Shin;Ji Eun Choi
    • Communications for Statistical Applications and Methods
    • /
    • 제31권1호
    • /
    • pp.105-127
    • /
    • 2024
  • We propose recurrent neural network (RNN) methods for forecasting realized volatility (RV). The data are RVs of ten major stock price indices, four from the US, and six from the EU. Forecasts are made for relative ratio of adjacent RVs instead of the RV itself in order to avoid the out-of-scale issue. Forecasts of RV ratios distribution are first constructed from which those of RVs are computed which are shown to be better than forecasts constructed directly from RV. The apparent asymmetry of RV ratio is addressed by the Piecewise Min-max (PM) normalization. The serial dependence of the ratio data renders us to consider two architectures, long short-term memory (LSTM) and gated recurrent unit (GRU). The hyperparameters of LSTM and GRU are tuned by the nested cross validation. The RNN forecast with the PM normalization and ratio transformation is shown to outperform other forecasts by other RNN models and by benchmarking models of the AR model, the support vector machine (SVM), the deep neural network (DNN), and the convolutional neural network (CNN).

전력 거래량 예측에서의 머신 러닝 성능 비교 (Performance Comparison of Machine Learning in the Prediction for Amount of Power Market)

  • 최정곤
    • 한국전자통신학회논문지
    • /
    • 제14권5호
    • /
    • pp.943-950
    • /
    • 2019
  • 머신 러닝은 인력을 대체함으로써 업무 효율성을 크게 높일 수 있다. 특히 4차 산업혁명 시대의 요청에 따라 인공지능을 포함한 머신 러닝의 중요성은 점점 커지고 있다. 본 논문은 MLP, RNN, LSTM, ANFIS 신경망 알고리즘 이용하여, 월별 전력 거래량을 예측한다. 본 논문에서는 통계청에서 제공하는 월별 전력 거래량과 월별 전력 거래금액, 최종에너지 소비량, 자동차용 경유 가격에 대한 2001~2017년까지의 공공 데이터를 사용하였다. 본 논문은 제시하는 각각의 알고리즘들을 학습시키고, 알고리즘이 예측하는 시계열 그래프를 이용하여 예측 결과를 보여주고 RMSE를 이용하여 이들 중에서 가장 우수한 알고리즘 제시한다.

양방향 LSTM기반 시계열 특허 동향 예측 연구 (A patent application filing forecasting method based on the bidirectional LSTM)

  • 최승완;김광수;곽수영
    • 전기전자학회논문지
    • /
    • 제26권4호
    • /
    • pp.545-552
    • /
    • 2022
  • 특정 분야의 특허출원수는 기술의 수명주기 및 산업의 활성화 정도와 밀접한 관계를 가지고 있다. 따라서 사전에 사업을 준비하는 기업들과 미래 유망 기술을 초기 단계에서 선발하여 투자하고자 하는 정부 기관들은 미래의 특허 출원수 예측에 대해 큰 관심을 가지고 있다. 본 논문에서는 시계열 데이터에 적합한 RNN의 기법 중 하나인 양방향 LSTM 기법을 이용하여 기존 예측 방법들보다 정확도를 높이는 방법을 제안한다. 5개 분야의 대한민국 특허 출원 데이터에 대해서 제안된 방법은 기존에 사용되던 확산 모델 중 하나인 Bass 모델과 비교하여 평균 절대 백분율 오차(MAPE)의 값이 약 16퍼센트 향상된 결과를 보여준다.

전력 부하 분석을 통한 절삭 공정 이상탐지 (Anomaly Detection of Machining Process based on Power Load Analysis)

  • 육준홍;배성문
    • 산업경영시스템학회지
    • /
    • 제46권4호
    • /
    • pp.173-180
    • /
    • 2023
  • Smart factory companies are installing various sensors in production facilities and collecting field data. However, there are relatively few companies that actively utilize collected data, academic research using field data is actively underway. This study seeks to develop a model that detects anomalies in the process by analyzing spindle power data from a company that processes shafts used in automobile throttle valves. Since the data collected during machining processing is time series data, the model was developed through unsupervised learning by applying the Holt Winters technique and various deep learning algorithms such as RNN, LSTM, GRU, BiRNN, BiLSTM, and BiGRU. To evaluate each model, the difference between predicted and actual values was compared using MSE and RMSE. The BiLSTM model showed the optimal results based on RMSE. In order to diagnose abnormalities in the developed model, the critical point was set using statistical techniques in consultation with experts in the field and verified. By collecting and preprocessing real-world data and developing a model, this study serves as a case study of utilizing time-series data in small and medium-sized enterprises.

카드산업에서 휴면 고객 예측 (Prediction of Dormant Customer in the Card Industry)

  • 이동규;신민수
    • 서비스연구
    • /
    • 제13권2호
    • /
    • pp.99-113
    • /
    • 2023
  • 고객 기반의 산업에서 고객 Retention은 기업의 경쟁력이라 할 수 있으며, 고객 Retention을 높이는 것은 기업의 경쟁력을 높이는 것이라 할 수 있다. 따라서, 미래 휴면 고객을 잘 예측하여 관리하는 것은 기업의 경쟁력을 높이는데 무엇보다 중요하다. 왜냐하면, 신규 고객을 유치하는데 필요한 비용이 기존 고객을 Lock-in 시키는데 드는 비용 보다 많은 것으로 알려져 있기 때문이다. 특히, 수 많은 카드사가 존재하는 국내 카드 산업의 휴면 카드를 관리하고자 정부에서 휴면 카드 자동 해지 제도를 도입하고 있으며, 카드 산업에서 휴면 고객을 관리하는 것이 무엇보다 중요한 과제로 떠오르고 있다. 본 연구에서는 카드 산업에서 휴면 고객을 예측하기 위해 Recurrent Neural Network (RNN)방법론을 사용하였으며, RNN방법론 중에서 긴 시간을 효율적으로 학습할 수 있는 Long-Short Term Memory (LSTM)을 활용하였다. 또한, 통합기술수용이론 (UTAUT)을 입각하여 카드 산업에서 휴면 고객을 예측하는데 필요한 변수를 재정의하였다. 그 결과 안정된 모형의 정확도와 F-1 score를 얻을 수 있었으며, Hit-Ratio를 통하여 모형의 안정된 결과를 입증하였다. 기존 연구에서 지적된 통합기술수용이론 (UTAUT)에서 발생 될 수 있는 인구통계학적 정보의 조절 효과도 발생 되지 않은 것을 보였으며, 이로 인해 통합기술수용이론(UTAUT)를 이용한 변수 선정 모형에서 LSTM을 이용한 휴면 고객 예측 모형은 편향되지 않고 안정된 결과를 가져다 줄 수 있다는 것을 입증하였다.

An accident diagnosis algorithm using long short-term memory

  • Yang, Jaemin;Kim, Jonghyun
    • Nuclear Engineering and Technology
    • /
    • 제50권4호
    • /
    • pp.582-588
    • /
    • 2018
  • Accident diagnosis is one of the complex tasks for nuclear power plant (NPP) operators. In abnormal or emergency situations, the diagnostic activity of the NPP states is burdensome though necessary. Numerous computer-based methods and operator support systems have been suggested to address this problem. Among them, the recurrent neural network (RNN) has performed well at analyzing time series data. This study proposes an algorithm for accident diagnosis using long short-term memory (LSTM), which is a kind of RNN, which improves the limitation for time reflection. The algorithm consists of preprocessing, the LSTM network, and postprocessing. In the LSTM-based algorithm, preprocessed input variables are calculated to output the accident diagnosis results. The outputs are also postprocessed using softmax to determine the ranking of accident diagnosis results with probabilities. This algorithm was trained using a compact nuclear simulator for several accidents: a loss of coolant accident, a steam generator tube rupture, and a main steam line break. The trained algorithm was also tested to demonstrate the feasibility of diagnosing NPP accidents.

재귀 신경망에 기반을 둔 트래픽 부하 예측을 이용한 적응적 안테나 뮤팅 (Adaptive Antenna Muting using RNN-based Traffic Load Prediction)

  • Ahmadzai, Fazel Haq;Lee, Woongsup
    • 한국정보통신학회논문지
    • /
    • 제26권4호
    • /
    • pp.633-636
    • /
    • 2022
  • The reduction of energy consumption at the base station (BS) has become more important recently. In this paper, we consider the adaptive muting of the antennas based on the predicted future traffic load to reduce the energy consumption where the number of active antennas is adaptively adjusted according to the predicted future traffic load. Given that traffic load is sequential data, three different RNN structures, namely long-short term memory (LSTM), gated recurrent unit (GRU), and bidirectional LSTM (Bi-LSTM) are considered for the future traffic load prediction. Through the performance evaluation based on the actual traffic load collected from the Afghanistan telecom company, we confirm that the traffic load can be estimated accurately and the overall power consumption can also be reduced significantly using the antenna musing.

Sentiment Analysis to Evaluate Different Deep Learning Approaches

  • Sheikh Muhammad Saqib ;Tariq Naeem
    • International Journal of Computer Science & Network Security
    • /
    • 제23권11호
    • /
    • pp.83-92
    • /
    • 2023
  • The majority of product users rely on the reviews that are posted on the appropriate website. Both users and the product's manufacturer could benefit from these reviews. Daily, thousands of reviews are submitted; how is it possible to read them all? Sentiment analysis has become a critical field of research as posting reviews become more and more common. Machine learning techniques that are supervised, unsupervised, and semi-supervised have worked very hard to harvest this data. The complicated and technological area of feature engineering falls within machine learning. Using deep learning, this tedious process may be completed automatically. Numerous studies have been conducted on deep learning models like LSTM, CNN, RNN, and GRU. Each model has employed a certain type of data, such as CNN for pictures and LSTM for language translation, etc. According to experimental results utilizing a publicly accessible dataset with reviews for all of the models, both positive and negative, and CNN, the best model for the dataset was identified in comparison to the other models, with an accuracy rate of 81%.