• 제목/요약/키워드: Long-short term memory(LSTM)

검색결과 522건 처리시간 0.033초

Prediction of Significant Wave Height in Korea Strait Using Machine Learning

  • Park, Sung Boo;Shin, Seong Yun;Jung, Kwang Hyo;Lee, Byung Gook
    • 한국해양공학회지
    • /
    • 제35권5호
    • /
    • pp.336-346
    • /
    • 2021
  • The prediction of wave conditions is crucial in the field of marine and ocean engineering. Hence, this study aims to predict the significant wave height through machine learning (ML), a soft computing method. The adopted metocean data, collected from 2012 to 2020, were obtained from the Korea Institute of Ocean Science and Technology. We adopted the feedforward neural network (FNN) and long-short term memory (LSTM) models to predict significant wave height. Input parameters for the input layer were selected by Pearson correlation coefficients. To obtain the optimized hyperparameter, we conducted a sensitivity study on the window size, node, layer, and activation function. Finally, the significant wave height was predicted using the FNN and LSTM models, by varying the three input parameters and three window sizes. Accordingly, FNN (W48) (i.e., FNN with window size 48) and LSTM (W48) (i.e., LSTM with window size 48) were superior outcomes. The most suitable model for predicting the significant wave height was FNN(W48) owing to its accuracy and calculation time. If the metocean data were further accumulated, the accuracy of the ML model would have improved, and it will be beneficial to predict added resistance by waves when conducting a sea trial test.

Two-stage Deep Learning Model with LSTM-based Autoencoder and CNN for Crop Classification Using Multi-temporal Remote Sensing Images

  • Kwak, Geun-Ho;Park, No-Wook
    • 대한원격탐사학회지
    • /
    • 제37권4호
    • /
    • pp.719-731
    • /
    • 2021
  • This study proposes a two-stage hybrid classification model for crop classification using multi-temporal remote sensing images; the model combines feature embedding by using an autoencoder (AE) with a convolutional neural network (CNN) classifier to fully utilize features including informative temporal and spatial signatures. Long short-term memory (LSTM)-based AE (LAE) is fine-tuned using class label information to extract latent features that contain less noise and useful temporal signatures. The CNN classifier is then applied to effectively account for the spatial characteristics of the extracted latent features. A crop classification experiment with multi-temporal unmanned aerial vehicle images is conducted to illustrate the potential application of the proposed hybrid model. The classification performance of the proposed model is compared with various combinations of conventional deep learning models (CNN, LSTM, and convolutional LSTM) and different inputs (original multi-temporal images and features from stacked AE). From the crop classification experiment, the best classification accuracy was achieved by the proposed model that utilized the latent features by fine-tuned LAE as input for the CNN classifier. The latent features that contain useful temporal signatures and are less noisy could increase the class separability between crops with similar spectral signatures, thereby leading to superior classification accuracy. The experimental results demonstrate the importance of effective feature extraction and the potential of the proposed classification model for crop classification using multi-temporal remote sensing images.

A data fusion method for bridge displacement reconstruction based on LSTM networks

  • Duan, Da-You;Wang, Zuo-Cai;Sun, Xiao-Tong;Xin, Yu
    • Smart Structures and Systems
    • /
    • 제29권4호
    • /
    • pp.599-616
    • /
    • 2022
  • Bridge displacement contains vital information for bridge condition and performance. Due to the limits of direct displacement measurement methods, the indirect displacement reconstruction methods based on the strain or acceleration data are also developed in engineering applications. There are still some deficiencies of the displacement reconstruction methods based on strain or acceleration in practice. This paper proposed a novel method based on long short-term memory (LSTM) networks to reconstruct the bridge dynamic displacements with the strain and acceleration data source. The LSTM networks with three hidden layers are utilized to map the relationships between the measured responses and the bridge displacement. To achieve the data fusion, the input strain and acceleration data need to be preprocessed by normalization and then the corresponding dynamic displacement responses can be reconstructed by the LSTM networks. In the numerical simulation, the errors of the displacement reconstruction are below 9% for different load cases, and the proposed method is robust when the input strain and acceleration data contains additive noise. The hyper-parameter effect is analyzed and the displacement reconstruction accuracies of different machine learning methods are compared. For experimental verification, the errors are below 6% for the simply supported beam and continuous beam cases. Both the numerical and experimental results indicate that the proposed data fusion method can accurately reconstruct the displacement.

CNN-LSTM 모델 기반의 감성분석을 이용한 상품기획 모델 (Product Planning using Sentiment Analysis Technique Based on CNN-LSTM Model)

  • 김도연;정진영;박원철;박구락
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
    • /
    • pp.427-428
    • /
    • 2021
  • 정보통신기술의 발달로 전자상거래의 증가와 소비자들의 제품에 대한 경험과 지식의 공유가 활발하게 진행됨에 따라 소비자는 제품을 구매하기 위한 자료수집, 활용을 진행하고 있다. 따라서 기업은 다양한 기능들을 반영한 제품이 치열하게 경쟁하고 있는 현 시장에서 우위를 점하고자 소비자 리뷰를 분석하여 소비자의 정확한 소비자의 요구사항을 분석하여 제품기획 프로세스에 반영하고자 텍스트마이닝(Text Mining) 기술과 딥러닝(Deep Learning) 기술을 통한 연구가 이루어지고 있다. 본 논문의 기초자료가 되는 데이터셋은 포털사이트의 구매사이트와 오픈마켓 사이트의 소비자 리뷰를 웹크롤링하고 자연어처리하여 진행한다. 감성분석은 딥러닝기술 중 CNN(Convolutional Neural Network), LSTM(Long Short Term Memory) 조합의 모델을 구현한다. 이는 딥러닝을 이용한 제품기획 프로세스로 소비자 요구사항 반영, 경제적인 측면, 제품기획 시간단축 등 긍정적인 영향을 미칠 것으로 기대한다.

  • PDF

Hybrid CNN-LSTM 알고리즘을 활용한 도시철도 내 피플 카운팅 연구 (A Study on People Counting in Public Metro Service using Hybrid CNN-LSTM Algorithm)

  • 최지혜;김민승;이찬호;최정환;이정희;성태응
    • 지능정보연구
    • /
    • 제26권2호
    • /
    • pp.131-145
    • /
    • 2020
  • 산업혁신의 흐름에 발맞추어 다양한 분야에서 활용되고 있는 IoT 기술은 빅데이터의 접목을 통한 새로운 비즈니스 모델의 창출 및 사용자 친화적 서비스 제공의 핵심적인 요소로 부각되고 있다. 사물인터넷이 적용된 디바이스에서 누적된 데이터는 사용자 환경 및 패턴 분석을 통해 맞춤형 지능 시스템을 제공해줄 수 있어 편의 기반 스마트 시스템 구축에 다방면으로 활용되고 있다. 최근에는 이를 공공영역 혁신에 확대 적용하여 CCTV를 활용한 교통 범죄 문제 해결 등 스마트시티, 스마트 교통 등에 활용하고 있다. 그러나 이미지 데이터를 활용하는 기존 연구에서는 개인에 대한 사생활 침해 문제 및 비(非)일반적 상황에서 객체 감지 성능이 저하되는 한계가 있다. 본 연구에 활용된 IoT 디바이스 기반의 센서 데이터는 개인에 대한 식별이 불필요해 사생활 이슈로부터 자유로운 데이터로, 불특정 다수를 위한 지능형 공공서비스 구축에 효과적으로 활용될 수 있다. 대다수의 국민들이 일상적으로 활용하는 도시철도에서의 지능형 보행자 트래킹 시스템에 IoT 기반의 적외선 센서 디바이스를 활용하고자 하였으며 센서로부터 측정된 온도 데이터를 실시간 송출하고, CNN-LSTM(Convolutional Neural Network-Long Short Term Memory) 알고리즘을 활용하여 구간 내 보행 인원의 수를 예측하고자 하였다. 실험 결과 MLP(Multi-Layer Perceptron) 및 LSTM(Long Short-Term Memory), RNN-LSTM(Recurrent Neural Network-Long Short Term Memory)에 비해 제안한 CNN-LSTM 하이브리드 모형이 가장 우수한 예측성능을 보임을 확인하였다. 본 논문에서 제안한 디바이스 및 모델을 활용하여 그간 개인정보와 관련된 법적 문제로 인해 서비스 제공이 미흡했던 대중교통 내 실시간 모니터링 및 혼잡도 기반의 위기상황 대응 서비스 등 종합적 메트로 서비스를 제공할 수 있을 것으로 기대된다.

Comparison of artificial intelligence models reconstructing missing wind signals in deep-cutting gorges

  • Zhen Wang;Jinsong Zhu;Ziyue Lu;Zhitian Zhang
    • Wind and Structures
    • /
    • 제38권1호
    • /
    • pp.75-91
    • /
    • 2024
  • Reliable wind signal reconstruction can be beneficial to the operational safety of long-span bridges. Non-Gaussian characteristics of wind signals make the reconstruction process challenging. In this paper, non-Gaussian wind signals are converted into a combined prediction of two kinds of features, actual wind speeds and wind angles of attack. First, two decomposition techniques, empirical mode decomposition (EMD) and variational mode decomposition (VMD), are introduced to decompose wind signals into intrinsic mode functions (IMFs) to reduce the randomness of wind signals. Their principles and applicability are also discussed. Then, four artificial intelligence (AI) algorithms are utilized for wind signal reconstruction by combining the particle swarm optimization (PSO) algorithm with back propagation neural network (BPNN), support vector regression (SVR), long short-term memory (LSTM) and bidirectional long short-term memory (Bi-LSTM), respectively. Measured wind signals from a bridge site in a deep-cutting gorge are taken as experimental subjects. The results showed that the reconstruction error of high-frequency components of EMD is too large. On the contrary, VMD fully extracts the multiscale rules of the signal, reduces the component complexity. The combination of VMD-PSO-Bi-LSTM is demonstrated to be the most effective among all hybrid models.

딥러닝을 이용한 이변량 장기종속시계열 예측 (Bivariate long range dependent time series forecasting using deep learning)

  • 김지영;백창룡
    • 응용통계연구
    • /
    • 제32권1호
    • /
    • pp.69-81
    • /
    • 2019
  • 본 논문에서는 딥러닝을 이용한 이변량 장기종속시계열(long-range dependent time series) 예측을 고려하였다. 시계열 데이터 예측에 적합한 LSTM(long short-term memory) 네트워크를 이용하여 이변량 장기종속시계열을 예측하고 이를 이변량 FARIMA(fractional ARIMA) 모형인 FIVARMA 모형과 VARFIMA 모형과의 예측 성능을 실증 자료 분석을 통해 비교하였다. 실증 자료로는 기능적 자기공명 영상(fMRI) 및 일일 실현 변동성(daily realized volatility) 자료를 이용하였으며 표본외 예측(out-of sample forecasting) 오차 비교를 통해 예측 성능을 측정하였다. 그 결과, FIVARMA 모형과 VARFIMA 모형의 예측값에는 미묘한 차이가 존재하며, LSTM 네트워크의 경우 초매개변수 선택으로 복잡해 보이지만 계산적으로 더 안정되면서 예측 성능도 모수적 장기종속시계열과 뒤지지 않은 좋은 예측 성능을 보였다.

A Text Content Classification Using LSTM For Objective Category Classification

  • Noh, Young-Dan;Cho, Kyu-Cheol
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권5호
    • /
    • pp.39-46
    • /
    • 2021
  • 인공지능은 현재 인공지능 번역기, 페이스 아이디와 같이 우리의 삶 다양한 곳에 적용되고 있으며 여러 가지 장점으로 많은 산업분야에서도 적용되고 있다. 본 연구는 매년 방대한 양의 콘텐츠들이 넘쳐나는 상황에서 인공지능을 적용한 카테고리 분류로 원하는 데이터를 추출함으로써 편의성을 제공한다. 본 연구에서는 텍스트 분류에서 두각을 나타내고 있는 LSTM(Long-Short Term Memory network)을 사용한 모델을 제안하며 자연어 처리에 적합한 구조를 가진 RNN(Recurrent Neural Network)과 BiLSTM(Bidirectional LSTM)을 사용한 모델과의 성능을 비교한다. 세 가지 모델의 성능비교는 뉴스 텍스트 데이터에 적용해 accuracy, precision, recall의 측정값을 사용해 비교하였고 그 결과 LSTM모델의 성능이 가장 우수한 것으로 나타났다. 따라서 본 연구에서는 LSTM을 사용한 텍스트 분류를 권장한다.

Analysis of streamflow prediction performance by various deep learning schemes

  • Le, Xuan-Hien;Lee, Giha
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2021년도 학술발표회
    • /
    • pp.131-131
    • /
    • 2021
  • Deep learning models, especially those based on long short-term memory (LSTM), have presented their superiority in addressing time series data issues recently. This study aims to comprehensively evaluate the performance of deep learning models that belong to the supervised learning category in streamflow prediction. Therefore, six deep learning models-standard LSTM, standard gated recurrent unit (GRU), stacked LSTM, bidirectional LSTM (BiLSTM), feed-forward neural network (FFNN), and convolutional neural network (CNN) models-were of interest in this study. The Red River system, one of the largest river basins in Vietnam, was adopted as a case study. In addition, deep learning models were designed to forecast flowrate for one- and two-day ahead at Son Tay hydrological station on the Red River using a series of observed flowrate data at seven hydrological stations on three major river branches of the Red River system-Thao River, Da River, and Lo River-as the input data for training, validation, and testing. The comparison results have indicated that the four LSTM-based models exhibit significantly better performance and maintain stability than the FFNN and CNN models. Moreover, LSTM-based models may reach impressive predictions even in the presence of upstream reservoirs and dams. In the case of the stacked LSTM and BiLSTM models, the complexity of these models is not accompanied by performance improvement because their respective performance is not higher than the two standard models (LSTM and GRU). As a result, we realized that in the context of hydrological forecasting problems, simple architectural models such as LSTM and GRU (with one hidden layer) are sufficient to produce highly reliable forecasts while minimizing computation time because of the sequential data nature.

  • PDF

실제 컨버터 출력 데이터를 이용한 특정 지역 태양광 장단기 발전 예측 (Prediction of Short and Long-term PV Power Generation in Specific Regions using Actual Converter Output Data)

  • 하은규;김태오;김창복
    • 한국항행학회논문지
    • /
    • 제23권6호
    • /
    • pp.561-569
    • /
    • 2019
  • 태양광 발전은 일사량만 있으면 전기에너지를 얻을 수 있기 때문에, 새로운 에너지 공급원으로 용도가 급증하고 있다. 본 논문은 실제 태양광 발전 시스템의 컨버터 출력을 이용하여 장단기 출력 예측을 하였다. 예측 알고리즘은 다중선형회귀와 머신러닝의 지도학습 중 분류모델인 서포트 벡터 머신 그리고 DNN과 LSTM 등 딥러닝을 이용하였다. 또한 기상요소의 입출력 구조에 따라 3개의 모델을 이용하였다. 장기 예측은 월별, 계절별, 연도별 예측을 하였으며, 단기 예측은 7일간의 예측을 하였다. 결과로서 RMSE 측도에 의한 예측 오차로 비교해 본 결과 다중선형회귀와 SVM 보다는 딥러닝 네트워크가 예측 정확도 측면에서 더 우수하였다. 또한, DNN 보다 시계열 예측에 우수한 모델인 LSTM이 예측 정확도 측면에서 우수하였다. 입출력 구조에 따른 실험 결과는 모델 1보다 모델 2가 오차가 적었으며, 모델 2보다는 모델 3이 오차가 적었다.