• 제목/요약/키워드: Long-short term memory(LSTM)

검색결과 522건 처리시간 0.025초

Deep learning-based sensor fault detection using S-Long Short Term Memory Networks

  • Li, Lili;Liu, Gang;Zhang, Liangliang;Li, Qing
    • Structural Monitoring and Maintenance
    • /
    • 제5권1호
    • /
    • pp.51-65
    • /
    • 2018
  • A number of sensing techniques have been implemented for detecting defects in civil infrastructures instead of onsite human inspections in structural health monitoring. However, the issue of faults in sensors has not received much attention. This issue may lead to incorrect interpretation of data and false alarms. To overcome these challenges, this article presents a deep learning-based method with a new architecture of Stateful Long Short Term Memory Neural Networks (S-LSTM NN) for detecting sensor fault without going into details of the fault features. As LSTMs are capable of learning data features automatically, and the proposed method works without an accurate mathematical model. The detection of four types of sensor faults are studied in this paper. Non-stationary acceleration responses of a three-span continuous bridge when under operational conditions are studied. A deep network model is applied to the measured bridge data with estimation to detect the sensor fault. Another set of sensor output data is used to supervise the network parameters and backpropagation algorithm to fine tune the parameters to establish a deep self-coding network model. The response residuals between the true value and the predicted value of the deep S-LSTM network was statistically analyzed to determine the fault threshold of sensor. Experimental study with a cable-stayed bridge further indicated that the proposed method is robust in the detection of the sensor fault.

An Encrypted Speech Retrieval Scheme Based on Long Short-Term Memory Neural Network and Deep Hashing

  • Zhang, Qiu-yu;Li, Yu-zhou;Hu, Ying-jie
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권6호
    • /
    • pp.2612-2633
    • /
    • 2020
  • Due to the explosive growth of multimedia speech data, how to protect the privacy of speech data and how to efficiently retrieve speech data have become a hot spot for researchers in recent years. In this paper, we proposed an encrypted speech retrieval scheme based on long short-term memory (LSTM) neural network and deep hashing. This scheme not only achieves efficient retrieval of massive speech in cloud environment, but also effectively avoids the risk of sensitive information leakage. Firstly, a novel speech encryption algorithm based on 4D quadratic autonomous hyperchaotic system is proposed to realize the privacy and security of speech data in the cloud. Secondly, the integrated LSTM network model and deep hashing algorithm are used to extract high-level features of speech data. It is used to solve the high dimensional and temporality problems of speech data, and increase the retrieval efficiency and retrieval accuracy of the proposed scheme. Finally, the normalized Hamming distance algorithm is used to achieve matching. Compared with the existing algorithms, the proposed scheme has good discrimination and robustness and it has high recall, precision and retrieval efficiency under various content preserving operations. Meanwhile, the proposed speech encryption algorithm has high key space and can effectively resist exhaustive attacks.

딥러닝 기반의 다범주 감성분석 모델 개발 (Development of Deep Learning Models for Multi-class Sentiment Analysis)

  • 알렉스 샤이코니;서상현;권영식
    • 한국IT서비스학회지
    • /
    • 제16권4호
    • /
    • pp.149-160
    • /
    • 2017
  • Sentiment analysis is the process of determining whether a piece of document, text or conversation is positive, negative, neural or other emotion. Sentiment analysis has been applied for several real-world applications, such as chatbot. In the last five years, the practical use of the chatbot has been prevailing in many field of industry. In the chatbot applications, to recognize the user emotion, sentiment analysis must be performed in advance in order to understand the intent of speakers. The specific emotion is more than describing positive or negative sentences. In light of this context, we propose deep learning models for conducting multi-class sentiment analysis for identifying speaker's emotion which is categorized to be joy, fear, guilt, sad, shame, disgust, and anger. Thus, we develop convolutional neural network (CNN), long short term memory (LSTM), and multi-layer neural network models, as deep neural networks models, for detecting emotion in a sentence. In addition, word embedding process was also applied in our research. In our experiments, we have found that long short term memory (LSTM) model performs best compared to convolutional neural networks and multi-layer neural networks. Moreover, we also show the practical applicability of the deep learning models to the sentiment analysis for chatbot.

장기 GOCI 자료를 활용한 인공지능 기반 원격 반사도 예측 모델 개발 (Development of Artificial Intelligence-Based Remote-Sense Reflectance Prediction Model Using Long-Term GOCI Data)

  • 이동욱;유주형;주형태;곽근호
    • 대한원격탐사학회지
    • /
    • 제39권6_2호
    • /
    • pp.1577-1589
    • /
    • 2023
  • 해양의 모니터링을 위해서는 변화를 예측하는 과정이 필요하다는 것은 널리 인정되고 있다. 이 연구에서는 Geostationary Ocean Color Imager (GOCI) 자료를 이용하여 해양의 변화를 지시할 수 있는 반사도의 시계열 예측을 수행하였다. 이를 위해 다중 규모 Convolutional Long-Short-Term-Memory (ConvLSTM) 모델을 제안하였으며, GOCI-I 자료를 이용하여 모델을 학습하였다. 취득 기간이 다른 GOCI-II 자료를 이용하여 모델의 성능을 검증하였으며, 기존의 ConvLSTM 모델과 성능을 비교하였다. 비교 결과, 제안한 모델은 시공간적 특성을 모두 고려하여 반사도의 변화 경향성을 파악하는데 있어 가장 우수한 결과를 보였다. 장기 예측 결과를 통해 모델이 학습한 반사도의 시간적 변화 경향을 확인하였으며, 이를 이용한 주기적 변화 탐지가 가능할 것으로 기대된다.

딥러닝과 단기매매전략을 결합한 암호화폐 투자 방법론 실증 연구 (An Empirical Study on the Cryptocurrency Investment Methodology Combining Deep Learning and Short-term Trading Strategies)

  • 이유민;이민혁
    • 지능정보연구
    • /
    • 제29권1호
    • /
    • pp.377-396
    • /
    • 2023
  • 암호화폐시장이 지속해서 성장함에 따라 하나의 새로운 금융시장으로 발전하였다. 이러한 암호화폐시장에 관한 투자전략 연구의 필요성 또한 대두되고 있다. 본 연구에서는 단기매매전략과 딥러닝을 결합한 암호화폐 투자 방법론에 대해 실증분석을 진행하였다. 투자 대상의 암호화폐를 이더리움으로 설정하고, 과거 데이터를 기반으로 최적의 파라미터를 찾아 이를 활용하여 실험 모델의 투자 성과를 분석하였다. 실험 모델은 변동성돌파전략, LSTM(Long Short Term Memory)모델, 이동평균 교차 전략, 그리고 단일 모델들을 결합한 결합 모델이다. 변동성돌파전략은 일 단위로 변동성이 크게 상승할 때 매수하고 당일 종가에 매도하는 단기매매전략이며, LSTM모델은 시계열 데이터에 적합한 딥러닝 모델인 LSTM을 활용하여 얻은 예측 종가를 이용한 매매방법이다. 이동평균 교차 전략은 단기 이동평균선이 교차할 때 매매를 결정하는 방법이다. 결합 모델은 변동성돌파전략의 매수 조건과 변동성돌파전략의 목표 매수가보다 LSTM의 예측 종가가 큰 경우 매수하는 조건이 동시에 만족하면 매수하는 규칙이다. 결합 모델은 변동성돌파전략과 LSTM모델의 파생 변수를 활용해 매수 조건에 AND와 OR를 사용하여 만든 매매 규칙이다. 실험 결과, 단일 모델보다 결합 모델에서 투자 성과가 우수함을 확인하였다. 특히, 데일리 트레이딩과 매수 후 보유의 누적수익률은 -50%이하인 것에 비해 결합 모델은 +11.35%의 높은 누적수익률을 달성하여 하락이 지속되던 투자 기간에도 기술적으로 방어하며 수익을 낼 수 있음을 확인하였다. 본 연구는 기존의 딥러닝기반 암호화폐 가격 예측에서 나아가 변동성이 큰 암호화폐시장에서 딥러닝과 단기매매전략을 결합하여 투자 성과를 개선하였다는 점에서 학술적 의의가 있으며, 실제 투자 시 적용 가능성을 보여주었다는 점에서 실무적 의의가 있다.

저가형 측위장치에 RTS 보정정보의 실시간 LSTM 예측 기능 구현을 통한 PPP (Real-time LSTM Prediction of RTS Correction for PPP by a Low-cost Positioning Device)

  • 김범수;김민규;김정래;부성춘;이철수
    • 한국항행학회논문지
    • /
    • 제26권2호
    • /
    • pp.119-124
    • /
    • 2022
  • IGS (international gnss service)에서는 GNSS (global navigation satellite system) 위성의 항법메시지에 적용할 수 있는 RTS (real-time service) 궤도 및 시계 보정정보를 제공한다. 하지만, 인터넷 단절이 발생하면 RTS 값을 수신할 수 없으므로, 안정적인 PPP (precise point positioning)를 수행하기 위해 신호 단절이 발생한 경우 RTS 보정정보를 예측해서 사용해야 한다. 본 논문에서는 실시간으로 신호 단절 구간에서 LSTM (long short-term memory) 알고리듬으로 궤도 및 시계 보정정보를 예측하여 PPP를 진행하였다. 연산 처리 속도가 빠르지 않은 Raspberry Pi (RPI)에 LSTM 알고리듬을 구현하여 예측성능을 분석하였다. 다항식 예측기법과 비교하여 LSTM은 장기간 예측에서 우수한 성능을 보였다.

시계열 분석을 이용한 흙막이 벽체 변형 예측 (Time Series Analysis for Predicting Deformation of Earth Retaining Walls)

  • 서승환;정문경
    • 한국지반공학회논문집
    • /
    • 제40권2호
    • /
    • pp.65-79
    • /
    • 2024
  • 본 연구는 전통적인 통계기반 ARIMA(Auto-Regressive Integrated Moving Average) 모델과 딥러닝 기반 LSTM(Long Short-Term Memory) 모델을 활용하여 굴착 현장의 지중경사계 데이터를 통한 흙막이 벽체 변형을 예측하고, 두 모델의 예측 성능을 비교 분석하였다. ARIMA 모델은 시간의 흐름에 따른 시계열 데이터의 선형적 패턴을 분석하는 데 강점을 보이는 반면, LSTM은 데이터의 복잡한 비선형 패턴과 장기 의존성을 포착하는 데 우수한 능력을 보여주었다. 본 연구는 흙막이 벽체 변형 예측을 위해 지중경사계 계측 데이터에 대한 전처리, 다양한 시계열 데이터 길이 및 입력변수 조건 등에 따른 성능 평가를 포함하였으며, LSTM 모델이 ARIMA 모델에 비해 통계적으로 유의미한 예측 성능 향상을 확인하였다. 본 연구의 결과는 굴착 현장에서의 지중경사계 데이터를 활용한 흙막이 벽체의 안정성 평가에 LSTM 모델을 효과적으로 적용할 수 있음을 보여준다. 또한 이를 바탕으로 향후 굴착 현장 전체에 대한 안전모니터링 시스템 구축과 시계열 예측 모델 발전에 기여할 것으로 기대된다.

Deep learning-based LSTM model for prediction of long-term piezoresistive sensing performance of cement-based sensors incorporating multi-walled carbon nanotube

  • Jang, Daeik;Bang, Jinho;Yoon, H.N.;Seo, Joonho;Jung, Jongwon;Jang, Jeong Gook;Yang, Beomjoo
    • Computers and Concrete
    • /
    • 제30권5호
    • /
    • pp.301-310
    • /
    • 2022
  • Cement-based sensors have been widely used as structural health monitoring systems, however, their long-term sensing performance have not actively investigated. In this study, a deep learning-based methodology is adopted to predict the long-term piezoresistive properties of cement-based sensors. Samples with different multi-walled carbon nanotube contents (0.1, 0.3, and 0.5 wt.%) are fabricated, and piezoresistive tests are conducted over 10,000 loading cycles to obtain the training data. Time-dependent degradation is predicted using a modified long short-term memory (LSTM) model. The effects of different model variables including the amount of training data, number of epochs, and dropout ratio on the accuracy of predictions are analyzed. Finally, the effectiveness of the proposed approach is evaluated by comparing the predictions for long-term piezoresistive sensing performance with untrained experimental data. A sensitivity of 6% is experimentally examined in the sample containing 0.1 wt.% of MWCNTs, and predictions with accuracy up to 98% are found using the proposed LSTM model. Based on the experimental results, the proposed model is expected to be applied in the structural health monitoring systems to predict their long-term piezoresistice sensing performances during their service life.

LSTM과 SGI를 이용한 미래 가뭄 발생 가능성 분석 (Possibility analysisof future droughts using long short term memory and standardized groundwater level index)

  • 임재덕;양정석
    • 한국수자원학회논문집
    • /
    • 제53권2호
    • /
    • pp.131-140
    • /
    • 2020
  • 본 연구는 심층학습 기법인 Long Short Term Memory (LSTM)를 이용하여 지하수위를 예측 후 표준지하수위지수(Standardized Groundwater level Index, SGI)를 산정함으로써 미래 가뭄 발생 가능성의 분석을 목적으로 하고 있다. LSTM 모형을 이용하여 금호강 유역의 지하수위를 미래 3년에 대해 예측을 하였으며, 예측시 최근 3년을 제외한 관측 자료로 학습 후 RMSE를 통해 검증하였다. 예측 자료와 관측 자료를 이용하여 시간적 SGI를 산정하였다. 산정된 SGI는 연구 지역 내 보간을 하였고, 보간된 SGI는 소유역별 평균값으로 공간적 SGI를 산정하였다. 산정된 시공간적 SGI를 이용하여 시공간적 가뭄 발생 가능성에 대해 분석하였다. 시공간별로 가뭄 발생 가능성에서 차이가 발생하는 것을 확인하였다. 향후 심층학습 모형의 개선 및 검증 방법의 다양화를 통해 신뢰성이 더욱 높은 예측 결과를 도출할 수 있고, 연구 적용 지역의 확대를 통해 전국적인 가뭄 대응 정책에 활용이 될 수 있으며, 더 나아가 미래 수자원 관리 차원에서 중요한 정보를 제공할 수 있을 것이다.

Long Short-Term Memory를 이용한 통합 대화 분석 (Integrated Dialogue Analysis using Long Short-Term Memory)

  • 김민경;김학수
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
    • /
    • pp.119-121
    • /
    • 2016
  • 최근 사람과 컴퓨터가 대화를 하는 채팅시스템 연구가 활발해지고 있다. 컴퓨터가 사람의 말에 적절한 응답을 하기 위해선 그 의미를 분석할 필요가 있다. 발화에 대한 의미 분석의 기본이 되는 연구로 감정분석과 화행분석이 있다. 그러나 이 둘은 서로 밀접한 연관이 있음에도 불구하고 함께 분석하는 연구가 시도되지 않았다. 본 연구에서는 Long Short-term Memory(LSTM)를 이용하여 대화체 문장의 감정과 화행, 서술자를 동시에 분석하는 통합 대화 분석모델을 제안한다. 사랑 도메인 데이터를 사용한 실험에서 제안 모델은 감정 58.08%, 화행 82.60%, 서술자 62.74%의 정확도(Accuracy)를 보였다.

  • PDF