• 제목/요약/키워드: Long short-term memory network

검색결과 318건 처리시간 0.026초

정수장에서의 에너지 관리를 위한 AI 기반 복합센서 적용 연구 (AI based complex sensor application study for energy management in WTP)

  • 홍성택;안상병;김국;성민석
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 춘계학술대회
    • /
    • pp.322-323
    • /
    • 2022
  • 정수장의 최적화 운영을 위하여 가장 필요한 것은 수용가에서 사용되는 수돗물의 패턴과 양을 정확하게 예측하여 필요한 만큼의 수돗물을 펌프를 이용하여 배수지로 전달하여 저장하고, 필요한 유량이 최소의 전기에너지를 이용하여 적기에 공급되어야 한다. 정수장의 수량 예측 중 에너지 최적화 운영의 관점에서 필요한 단기 수요예측은 시계열 분석, 회귀분석 및 신경망 알고리즘을 이용하여 계절별, 주요 기간별, 지역 특성별 등을 고려하여 이루어져 왔으며, 본 논문에서는 순환적 신경회로망의 일종인 LSTM(Long Short-Term Memory), GRU(Gated Recurrent Units) 등의 AI 기반 복합센서 적용성 분석을 통한 에너지 관리 방안에 대하여 분석하였다.

  • PDF

Optimization of Cyber-Attack Detection Using the Deep Learning Network

  • Duong, Lai Van
    • International Journal of Computer Science & Network Security
    • /
    • 제21권7호
    • /
    • pp.159-168
    • /
    • 2021
  • Detecting cyber-attacks using machine learning or deep learning is being studied and applied widely in network intrusion detection systems. We noticed that the application of deep learning algorithms yielded many good results. However, because each deep learning model has different architecture and characteristics with certain advantages and disadvantages, so those deep learning models are only suitable for specific datasets or features. In this paper, in order to optimize the process of detecting cyber-attacks, we propose the idea of building a new deep learning network model based on the association and combination of individual deep learning models. In particular, based on the architecture of 2 deep learning models: Convolutional Neural Network (CNN) and Long Short Term Memory (LSTM), we combine them into a combined deep learning network for detecting cyber-attacks based on network traffic. The experimental results in Section IV.D have demonstrated that our proposal using the CNN-LSTM deep learning model for detecting cyber-attacks based on network traffic is completely correct because the results of this model are much better than some individual deep learning models on all measures.

인공지능 기반 질소산화물 배출량 예측을 위한 연구모형 개발 (Development of Prediction Model for Nitrogen Oxides Emission Using Artificial Intelligence)

  • 조하늬;박지수;윤용주
    • Korean Chemical Engineering Research
    • /
    • 제58권4호
    • /
    • pp.588-595
    • /
    • 2020
  • 지속적으로 강화되는 환경오염 물질 배출 규제로 인해, 질소 산화물(NOx)의 배출량 예측 및 관리는 산업 현장에서 많은 관심을 받고 있다. 본 연구에서는 인공지능 기반 질소산화물 배출량 예측모델 개발을 위한 연구모형을 제안하였다. 제안된 연구모형은 데이터의 전처리 과정부터 인공지능 모델의 학습 및 평가까지 모두 포함하고 있으며, 시계열 특성을 가지는 NOx 배출량을 예측하기 위하여 순환 신경망 중 하나인 Long Short-Term Memory (LSTM) 모델을 활용하였다. 또한 의사결정나무 기법을 활용하여 LSTM의 time window를 모델 학습 이전에 선정하는 방법을 채택하였다. 본 연구에서 제안된 연구모형의 NOx 배출량 예측 모델은 가열로에서 확보한 조업 데이터로 학습되었으며, 최적 모델은 hyper-parameter를 조절하여 개발되었다. 개발된 LSTM 모델은 학습 데이터 및 평가 데이터에 대하여 모두 93% 이상의 NOx 배출량 예측 정확도를 나타내었다. 본 연구에 제안된 연구모형은 시계열 특성을 가지는 다양한 대기오염 물질의 배출량 예측모델 개발에 응용될 수 있을 것으로 기대된다.

다변수 Bidirectional RNN을 이용한 표층수온 결측 데이터 보간 (Imputation of Missing SST Observation Data Using Multivariate Bidirectional RNN)

  • 신용탁;김동훈;김현재;임채욱;우승범
    • 한국해안·해양공학회논문집
    • /
    • 제34권4호
    • /
    • pp.109-118
    • /
    • 2022
  • 정점 표층 수온 관측 데이터 중 결측 구간의 데이터를 양방향 순환신경망(Bidirectional Recurrent Neural Network, BiRNN) 기법을 이용하여 보간하였다. 인공지능 기법 중 시계열 데이터에 일반적으로 활용되는 Recurrent Neural Networks(RNNs)은 결측 추정 위치까지의 시간 흐름 방향 또는 역방향으로만 추정하기 때문에 장기 결측 구간에는 추정 성능이 떨어진다. 반면, 본 연구에서는 결측 구간 전후의 양방향으로 추정을 하여 장기 결측 데이터에 대해서도 추정 성능을 높일 수 있다. 또한 관측점 주위의 가용한 모든 데이터(수온, 기온, 바람장, 기압, 습도)를 사용함으로써, 이들 상관관계로부터 보간 데이터를 함께 추정하도록 하여 보간 성능을 더욱 높이고자 하였다. 성능 검증을 위하여 통계 기반 모델인 Multivariate Imputation by Chained Equations(MICE)와 기계학습 기반의 Random Forest 모델, 그리고 Long Short-Term Memory(LSTM)을 이용한 RNN 모델과 비교하였다. 7일간의 장기 결측에 대한 보간에 대해서 BiRNN/통계 모델들의 평균 정확도가 각각 70.8%/61.2%이며 평균 오차가 각각 0.28도/0.44도로 BiRNN 모델이 다른 모델보다 좋은 성능을 보인다. 결측 패턴을 나타내는 temporal decay factor를 적용함으로써 BiRNN 기법이 결측 구간이 길어질수록 보간 성능이 기존 방법보다 우수한 것으로 판단된다.

가중치 손실 함수를 가지는 순환 컨볼루션 신경망 기반 주가 예측 (A Stock Price Prediction Based on Recurrent Convolution Neural Network with Weighted Loss Function)

  • 김현진;정연승
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제8권3호
    • /
    • pp.123-128
    • /
    • 2019
  • 본 논문에서는 RCNN (recurrent convolution neural network) 계층 모델을 채택한 인공 지능에 기반을 둔 주가 예측을 제안한다. LSTM (long-term memory model) 기반 신경망은 시계열 데이터의 예측에 사용된다. 다른 한편, 컨볼루션 신경망은 데이터 필터링, 평균화 및 데이터 확장을 제공한다. 제안된 주가 예측에서는 위에서 언급 한 장점들을 RCNN 모델에서 결합하여 적용함으로써 다음날의 주가 종가를 예측한다. 그리고 최근의 시계열의 데이터를 강조하기 위해 커스텀 가중치 손실 함수가 채택되었다. 또한 시장의 상황을 반영하기 위해 주가 인덱스에 관련된 데이터를 입력으로 포함하였다. 제안된 주가 예측 방식은 실제 주가를 대상으로 한 실험에서 3.19%로 테스트 오차를 줄였으며, 다른 방법보다 약 19%의 성능 향상을 거둘 수 있었다.

Bi-LSTM model with time distribution for bandwidth prediction in mobile networks

  • Hyeonji Lee;Yoohwa Kang;Minju Gwak;Donghyeok An
    • ETRI Journal
    • /
    • 제46권2호
    • /
    • pp.205-217
    • /
    • 2024
  • We propose a bandwidth prediction approach based on deep learning. The approach is intended to accurately predict the bandwidth of various types of mobile networks. We first use a machine learning technique, namely, the gradient boosting algorithm, to recognize the connected mobile network. Second, we apply a handover detection algorithm based on network recognition to account for vertical handover that causes the bandwidth variance. Third, as the communication performance offered by 3G, 4G, and 5G networks varies, we suggest a bidirectional long short-term memory model with time distribution for bandwidth prediction per network. To increase the prediction accuracy, pretraining and fine-tuning are applied for each type of network. We use a dataset collected at University College Cork for network recognition, handover detection, and bandwidth prediction. The performance evaluation indicates that the handover detection algorithm achieves 88.5% accuracy, and the bandwidth prediction model achieves a high accuracy, with a root-mean-square error of only 2.12%.

LSTM 신경망을 활용한 맥락 기반 모바일 사용자 인증 기법 (Context-Aware Mobile User Authentication Approach using LSTM networks)

  • 남상진;김순태;신정훈
    • 한국인터넷방송통신학회논문지
    • /
    • 제20권1호
    • /
    • pp.11-18
    • /
    • 2020
  • 본 연구에서는 모바일 환경에서의 기존 맥락인증기법의 부족한 성능을 보완하고자 한다. 사용된 데이터는 GPS, CDR(Call Detail Record), App usage이며 GPS의 처리과정에서 인구밀집지역의 타인을 세밀하게 구분하고자 GPS밀도에 따른 지역구분을 시행하였다. 또한 전처리에서 데이터 수집에서 발생할 수 있는 결측치를 처리한다. 인증 모델은 두 개의 LSTM(Long-Short Term Memory)와 그들 결과를 종합하는 하나의 ANN(Artificial Neural Network)로 구성하며 이를 통해 최종적으로 인증 점수를 산출한다. 본 논문에서는 기존 연구와의 정확도를 비교하고 타인을 구별해내는데 필요한 인증 시도 횟수를 비교하여 평균 11.6%의 정확도 향상과 검증 데이터의 약 60%에 대하여 더 적은 시도에 구별해 낼 수 있었다.

EV 충전소의 일별 최대전력부하 예측을 위한 LSTM 신경망 모델 (An LSTM Neural Network Model for Forecasting Daily Peak Electric Load of EV Charging Stations)

  • 이해성;이병성;안현
    • 인터넷정보학회논문지
    • /
    • 제21권5호
    • /
    • pp.119-127
    • /
    • 2020
  • 국내 전기차 (EV: Electric Vehicle) 시장이 성장함에 따라, 빠르게 증가하는 EV 충전 수요에 대응하기 위한 충전설비의 확충이 요구되고 있다. 이와 관련하여, 종합적인 설비 계획을 수립하기 위해서는 미래 시점의 충전 수요량을 예측하고 이를 바탕으로 전력설비 부하에 미치는 영향을 체계적으로 분석하는 것이 필요하다. 본 논문에서는 한국전력공사의 EV 충전 데이터를 이용하여 충전소 단위의 일별최대부하를 예측하는 LSTM(Long Short-Term Memory) 신경망 모델을 설계 및 개발한다. 이를 위해, 먼저 데이터 전처리 및 이상치 제거를 통해 정제된 데이터를 얻는다. 다음으로, 충전소 단위의 일별 특징들을 추출하여 훈련 데이터 집합을 구성하여 일별 최대 전력부하 예측 모델을 학습시킨다. 마지막으로 충전소 유형 별 테스트 집합을 이용한 성능 분석을 통해 예측 모델을 검증하고 이의 한계점을 논의한다.

머신러닝을 이용한 철광석 가격 예측에 대한 연구 (Forecasting of Iron Ore Prices using Machine Learning)

  • 이우창;김양석;김정민;이충권
    • 한국산업정보학회논문지
    • /
    • 제25권2호
    • /
    • pp.57-72
    • /
    • 2020
  • 철광석의 가격은 여러 국가와 기업들의 수요와 공급에 따라서 높은 변동성이 지속되고 있다. 이러한 비즈니스 환경에서 철광석의 가격을 예측하는 것은 중요해졌다. 본 연구는 머신러닝 기법을 이용하여 철광석이 거래되는 시점으로부터 한 달 전에 철광석 거래가격을 미리 예측하는 모형을 개발하고자 하였다. 예측 모형은 시계열 데이터를 활용한 예측 방법론으로 많이 활용되고 있는 시차분포 모형과 다층신경망 (Multi-layer perceptron), 순환신경망 (Recurrent neural network), 그리고 장단기 기억 네트워크 (Long short-term memory)와 같은 딥 러닝(Deep Learning) 모형을 사용하였다. 측정지표를 통해 개별 모형을 비교한 결과에 따르면, LSTM 모형이 예측 오차가 가장 낮은 것으로 나타났다. 또한, 앙상블 기법을 적용한 모형들을 비교한 결과, 시차분포와 LSTM의 앙상블 모형이 예측오차가 가장 낮은 것으로 나타났다.

콘포머 기반 한국어 음성인식 (A Korean speech recognition based on conformer)

  • 구명완
    • 한국음향학회지
    • /
    • 제40권5호
    • /
    • pp.488-495
    • /
    • 2021
  • 본 논문에서는 콘포머 기반 한국어 음성인식 시스템을 제안한다. 콘포머는 트랜스포머 모델에 콘볼루션신경망(Convolution Neural Network, CNN) 기능을 보강한 구조이며 광역 정보를 잘 표현할 수 있는 트랜스포머와 지역 정보를 잘 표현할 수 있는 CNN을 결합한 신경망이다. 음성인식 기본 시스템으로 트랜스포모에 기반한 음성인식시스템을 개발하였으며 언어모델로는 Long Short-Term Memory(LSTM)을 사용하였다. 콘포머 기반 음성인식시스템은 트랜스포머 대신에 콘포머를 사용하였고 언어모델로는 트랜스포머를 이용하였다. 성능 평가를 위해 AI-hub에 있는 Electronics and Telecommunications Research Institute(ETRI) 음성코퍼스를 활용하였으며 트랜스포머 기반 음성인식 시스템은 오인식률이 11.8 %이 되었으며 콘포머 기반 음성인식시스템은 오인식률이 5.7 %가 되었다. AI-hub에 있는 다른 영역의 NHN다이퀘스트 음성 코퍼스를 추가해도 유사한 성능이 유지가 되어 제안된 콘포머 음성인식시스템의 유효성을 입증하였다.