• 제목/요약/키워드: LSTM 인코더

검색결과 16건 처리시간 0.019초

변이형 오토인코더와 어텐션 메커니즘을 결합한 차트기반 주가 예측 (Chart-based Stock Price Prediction by Combing Variation Autoencoder and Attention Mechanisms)

  • 배상현;최병구
    • 경영정보학연구
    • /
    • 제23권1호
    • /
    • pp.23-43
    • /
    • 2021
  • 최근 인공지능 기법을 활용하여 캔들스틱 차트를 분석함으로써 주식가격 예측의 정확성을 높이고자 하는 다양한 연구가 진행되어 왔다. 그러나 이러한 연구들은 주식가격 예측을 위한 학습에 있어 캔들스틱 차트의 시계열적 특성을 고려하지 못한다는 점과 시장 참여자들의 감정 상태를 고려하지 못한다는 점 등이 문제로 지적되고 있다. 본 연구에서는 시장 참여자들의 감정상태를 반영하기 위해 변동성지수(VIX: volatility index) 차트를 캔들스틱 차트와 함께 고려하여 학습시키고 이를 변이형 오토인코더(VAE: variational auto encoder)와 어텐션 메커니즘(attention mechanisms)을 결합한 새로운 방법으로 분석하여 캔들스틱 차트의 시계열적 특성을 고려함으로써 기존 연구의 한계를 극복하고자 한다. 본 연구에서 제안한 방법의 성능 비교를 위해 S&P 500 기업 가운데 50개를 임의로 추출하여 제안한 방법을 통해 이들의 주식가격을 예측하고 이를 합성곱 신경망(CNN: convolutional neural network) 또는 장단기메모리(LSTM: long-short term memory) 등과 같은 기존 방법들과 비교하였다. 비교 결과 기존 방법들에 비해 본 연구에서 제안한 방법이 더 우수한 성능을 보이는 것으로 나타났다. 본 연구는 시장 참여자들의 감정 상태와 캔들스틱 차트의 시계열적 특성을 고려함으로써 주식 가격 예측의 정확성을 높였다는 점에서 그 의의가 있다.

유역정보 기반 Transformer및 LSTM을 활용한 다목적댐 일 단위 유입량 예측 (Prediction of multipurpose dam inflow utilizing catchment attributes with LSTM and transformer models)

  • 김형주;송영훈;정은성
    • 한국수자원학회논문집
    • /
    • 제57권7호
    • /
    • pp.437-449
    • /
    • 2024
  • 딥러닝을 활용하여 유역 특성을 반영한 유량 예측 및 비교 연구가 주목받고 있다. 본 연구는 셀프 어텐션 메커니즘을 통해 대용량 데이터 훈련에 적합한 Transformer와 인코더-디코더(Encoder-Decoder) 구조를 가지는 LSTM-based multi-state-vector sequence-to-sequence (LSTM-MSV-S2S) 모형을 선정하여 유역정보(catchment attributes)를 고려할 수 있는 모형을 구축하였고 이를 토대로 국내 10개 다목적댐 유역의 유입량을 예측하였다. 본 연구에서 설계한 실험 구성은 단일유역-단일훈련(Single-basin Training, ST), 다수유역-단일훈련(Pretraining, PT), 사전학습-파인튜닝(Pretraining-Finetuning, PT-FT)의 세 가지 훈련 방법을 사용하였다. 모형의 입력 자료는 선정된 10가지 유역정보와 함께 기상 자료를 사용하였으며, 훈련 방법에 따른 유입량 예측 성능을 비교하였다. 그 결과, Transformer 모형은 PT와 PT-FT 방법에서 LSTM-MSV-S2S보다 우수한 성능을 보였으며, 특히 PT-FT 기법 적용 시 가장 높은 성능을 나타냈다. LSTM-MSV-S2S는 ST 방법에서는 Transformer보다 높은 성능을 보였으나, PT 및 PT-FT 방법에서는 낮은 성능을 보였다. 또한, 임베딩 레이어 활성화 값과 원본 유역정보를 군집화하여 모형의 유역 간 유사성 학습 여부를 분석하였다. Transformer는 활성화 벡터가 유사한 유역들에서 성능이 향상되었으며, 이는 사전에 학습된 다른 유역의 정보를 활용해 성능이 개선됨을 입증하였다. 본 연구는 다목적댐별 적합한 모형 및 훈련 방법을 비교하고, 국내 유역에 PT 및 PT-FT 방법을 적용한 딥러닝 모형 구축의 필요성을 제시하였다. 또한, PT 및 PT-FT 방법 적용 시 Transformer가 LSTM-MSV-S2S보다 성능이 더 우수하였다.

대규모 외생 변수 및 Deep Neural Network 기반 금융 시장 예측 및 성능 향상 (Financial Market Prediction and Improving the Performance Based on Large-scale Exogenous Variables and Deep Neural Networks)

  • 천성길;이주홍;최범기;송재원
    • 스마트미디어저널
    • /
    • 제9권4호
    • /
    • pp.26-35
    • /
    • 2020
  • 미래의 주가를 예측하기 위한 시도는 과거부터 꾸준히 연구되어왔다. 그러나 일반적인 시계열 데이터와 달리 금융 시계열 비정상성(non-stationarity)과 장기 의존성(long-term dependency), 비선형성(non-linearity) 등 예측을 하는 것에 있어서 여러 가지 방해 요인이 존재한다. 또한, 광범위한 데이터의 변수는 기존에 사람이 직접 선택하는 것에 한계가 있으며 모델이 변수를 자동으로 잘 추출할 수 있도록 하여야 한다. 본 논문에서는 비정상성 데이터를 정규화할 수 있는 슬라이딩 타임스텝 정규화(sliding time step normalization) 방법과 LSTM 형태의 오토인코더(AutoEncoder)를 사용하여 모든 변수로부터 압축된 변수로 미래 주가를 예측하는 방법, 기간을 나누어 전이 학습을 하는 이동 전이 학습(moving transfer learning)을 제안한다. 또한, 실험을 통하여 100개의 주요 금융 변수들만을 사용하는 것보다 뉴럴 네트워크를 통해서 가능한 많은 변수를 사용하였을 때 성능이 우수함을 보이며, 슬라이딩 타임스텝 정규화 방법을 사용하여 모든 구간에서 데이터의 비정상성에 대해 정규화를 수행함으로써 성능 향상에 효과적임을 보인다. 이동 전이 학습 방법은 스텝 별 테스트 구간에서 모델의 성능을 평가하고 전이학습을 함으로써 긴 테스트 구간에서 성능 향상에 효과적임을 보인다.

ViStoryNet: 비디오 스토리 재현을 위한 연속 이벤트 임베딩 및 BiLSTM 기반 신경망 (ViStoryNet: Neural Networks with Successive Event Order Embedding and BiLSTMs for Video Story Regeneration)

  • 허민오;김경민;장병탁
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제24권3호
    • /
    • pp.138-144
    • /
    • 2018
  • 본 고에서는 비디오로부터 coherent story를 학습하여 비디오 스토리를 재현할 수 있는 스토리 학습/재현 프레임워크를 제안한다. 이를 위해 연속 이벤트 순서를 감독학습 정보로 사용함으로써 각 에피소드들이 은닉 공간 상에서 궤적 형태를 가지도록 유도하여, 순서정보와 의미정보를 함께 다룰 수 있는 복합된 표현 공간을 구축하고자 한다. 이를 위해 유아용 비디오 시리즈를 학습데이터로 활용하였다. 이는 이야기 구성의 특성, 내러티브 순서, 복잡도 면에서 여러 장점이 있다. 여기에 연속 이벤트 임베딩을 반영한 인코더-디코더 구조를 구축하고, 은닉 공간 상의 시퀀스의 모델링에 양방향 LSTM을 학습시키되 여러 스텝의 서열 데이터 생성을 고려하였다. '뽀롱뽀롱 뽀로로' 시리즈 비디오로부터 추출된 약 200 개의 에피소드를 이용하여 실험결과를 보였다. 실험을 통해 에피소드들이 은닉공간에서 궤적 형태를 갖는 것과 일부 큐가 주어졌을 때 스토리를 재현하는 문제에 적용할 수 있음을 보였다.

해외지수와 투자자별 매매 동향에 따른 딥러닝 기반 주가 등락 예측 (Deep Learning-Based Stock Fluctuation Prediction According to Overseas Indices and Trading Trend by Investors)

  • 김태승;이수원
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권9호
    • /
    • pp.367-374
    • /
    • 2021
  • 주가 예측은 경제, 통계, 컴퓨터 공학 등 여러 분야에서 연구되는 주제이며, 특히 최근에는 기본적 지표나 기술적 지표 등 다양한 지표로부터 인공지능 모델을 학습하여 주가의 변동을 예측하는 연구들이 활발해 지고 있다. 본 연구에서는 S&P500 등의 해외지수, 과거 KOSPI 지수, 그리고 KOSPI 투자자별 매매 동향으로부터 KOSPI의 등락을 예측하는 딥러닝 모델을 제안한다. 제안 모델은 주가 등락 예측을 위하여 비지도 학습 방법인 적층 오토인코더를 이용하여 잠재변수를 추출하고, 추출된 잠재변수로부터 시계열 데이터 학습에 적합한 LSTM 모델로 학습하여 당일 시가 대비 종가의 등락을 예측하며, 예측된 값을 기반으로 매수 또는 매도를 결정한다. 본 연구에서 제안하는 모델과 비교 모델들의 수익률 및 예측 정확도를 비교한 결과 제안 모델이 비교 모델들 보다 우수한 성능을 보였다.

스마트팜 개별 전기기기의 비간섭적 부하 식별 데이터 처리 및 분석 (Data Processing and Analysis of Non-Intrusive Electrical Appliances Load Monitoring in Smart Farm)

  • 김홍수;김호찬;강민제;좌정우
    • 전기전자학회논문지
    • /
    • 제24권2호
    • /
    • pp.632-637
    • /
    • 2020
  • 비간섭적 개별 전기 기기 부하 식별(NILM)은 단일 미터기에서 측정한 총 소비 전력을 사용하여 가정이나 회사에서 개별 전기 기기의 소비 전력과 사용 시간을 효율적으로 모니터링할 수 있는 방법이다. 본 논문에서는 스마트팜의 소비 전력 데이터 취득 시스템에서 LTE 모뎀을 통해 서버로 수집된 총 소비 전력량, 개별 전기 기기의 전력량을 HDF5 형태로 변환하고 NILM 분석을 수행하였다. NILM 분석은 오픈소스를 사용하여 잡음제거 오토인코더(Denoising Autoencoder), 장단기 메모리(Long Short-Term Memory), 게이트 순환 유닛(Gated Recurrent Unit), 시퀀스-투-포인트(sequence-to-point) 학습 방법을 사용하였다.