• 제목/요약/키워드: LSTM algorithm

검색결과 201건 처리시간 0.023초

Sketch Recognition Using LSTM with Attention Mechanism and Minimum Cost Flow Algorithm

  • Nguyen-Xuan, Bac;Lee, Guee-Sang
    • International Journal of Contents
    • /
    • 제15권4호
    • /
    • pp.8-15
    • /
    • 2019
  • This paper presents a solution of the 'Quick, Draw! Doodle Recognition Challenge' hosted by Google. Doodles are drawings comprised of concrete representational meaning or abstract lines creatively expressed by individuals. In this challenge, a doodle is presented as a sequence of sketches. From the view of at the sketch level, to learn the pattern of strokes representing a doodle, we propose a sequential model stacked with multiple convolution layers and Long Short-Term Memory (LSTM) cells following the attention mechanism [15]. From the view at the image level, we use multiple models pre-trained on ImageNet to recognize the doodle. Finally, an ensemble and a post-processing method using the minimum cost flow algorithm are introduced to combine multiple models in achieving better results. In this challenge, our solutions garnered 11th place among 1,316 teams. Our performance was 0.95037 MAP@3, only 0.4% lower than the winner. It demonstrates that our method is very competitive. The source code for this competition is published at: https://github.com/ngxbac/Kaggle-QuickDraw.

Design of Ballistic Calculation Model for Improving Accuracy of Naval Gun Firing based on Deep Learning

  • Oh, Moon-Tak
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권12호
    • /
    • pp.11-18
    • /
    • 2021
  • 본 논문에서는 함포 사격 정확도를 향상시키기 위해 표적 위치 예측과 사격 오차 도출에서의 딥러닝 알고리즘 적용 가능성을 연구하였다. 표적 위치 예측 시 딥러닝 알고리즘의 하나인 LSTM 모델과 RN 구조를 적용했을 때 좀 더 정밀한 표적 위치를 예측할 수 있다는 가능성을 확인하고 모델을 설계하였다. 사격 오차 도출 시 사격제원 계산에 영향을 끼치는 요소들을 데이터 셋으로 관리하며, GAN을 사용하여 데이터 셋을 생성 후 강화 학습을 진행하여 사격 오차를 줄일 수 있는 모델을 설계하였다. 2가지 모델을 결합하여 사격 정확도를 향상시키기 위한 딥러닝 기반의 사격제원 계산 모델을 설계하였다.

Enhancing the radar-based mean areal precipitation forecasts to improve urban flood predictions and uncertainty quantification

  • Nguyen, Duc Hai;Kwon, Hyun-Han;Yoon, Seong-Sim;Bae, Deg-Hyo
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2020년도 학술발표회
    • /
    • pp.123-123
    • /
    • 2020
  • The present study is aimed to correcting radar-based mean areal precipitation forecasts to improve urban flood predictions and uncertainty analysis of water levels contributed at each stage in the process. For this reason, a long short-term memory (LSTM) network is used to reproduce three-hour mean areal precipitation (MAP) forecasts from the quantitative precipitation forecasts (QPFs) of the McGill Algorithm for Precipitation nowcasting by Lagrangian Extrapolation (MAPLE). The Gangnam urban catchment located in Seoul, South Korea, was selected as a case study for the purpose. A database was established based on 24 heavy rainfall events, 22 grid points from the MAPLE system and the observed MAP values estimated from five ground rain gauges of KMA Automatic Weather System. The corrected MAP forecasts were input into the developed coupled 1D/2D model to predict water levels and relevant inundation areas. The results indicate the viability of the proposed framework for generating three-hour MAP forecasts and urban flooding predictions. For the analysis uncertainty contributions of the source related to the process, the Bayesian Markov Chain Monte Carlo (MCMC) using delayed rejection and adaptive metropolis algorithm is applied. For this purpose, the uncertainty contributions of the stages such as QPE input, QPF MAP source LSTM-corrected source, and MAP input and the coupled model is discussed.

  • PDF

실제 컨버터 출력 데이터를 이용한 특정 지역 태양광 장단기 발전 예측 (Prediction of Short and Long-term PV Power Generation in Specific Regions using Actual Converter Output Data)

  • 하은규;김태오;김창복
    • 한국항행학회논문지
    • /
    • 제23권6호
    • /
    • pp.561-569
    • /
    • 2019
  • 태양광 발전은 일사량만 있으면 전기에너지를 얻을 수 있기 때문에, 새로운 에너지 공급원으로 용도가 급증하고 있다. 본 논문은 실제 태양광 발전 시스템의 컨버터 출력을 이용하여 장단기 출력 예측을 하였다. 예측 알고리즘은 다중선형회귀와 머신러닝의 지도학습 중 분류모델인 서포트 벡터 머신 그리고 DNN과 LSTM 등 딥러닝을 이용하였다. 또한 기상요소의 입출력 구조에 따라 3개의 모델을 이용하였다. 장기 예측은 월별, 계절별, 연도별 예측을 하였으며, 단기 예측은 7일간의 예측을 하였다. 결과로서 RMSE 측도에 의한 예측 오차로 비교해 본 결과 다중선형회귀와 SVM 보다는 딥러닝 네트워크가 예측 정확도 측면에서 더 우수하였다. 또한, DNN 보다 시계열 예측에 우수한 모델인 LSTM이 예측 정확도 측면에서 우수하였다. 입출력 구조에 따른 실험 결과는 모델 1보다 모델 2가 오차가 적었으며, 모델 2보다는 모델 3이 오차가 적었다.

LSTM 모형을 이용한 하천 고탁수 발생 예측 연구 (Prediction of high turbidity in rivers using LSTM algorithm)

  • 박정수;이현호
    • 상하수도학회지
    • /
    • 제34권1호
    • /
    • pp.35-43
    • /
    • 2020
  • Turbidity has various effects on the water quality and ecosystem of a river. High turbidity during floods increases the operation cost of a drinking water supply system. Thus, the management of turbidity is essential for providing safe water to the public. There have been various efforts to estimate turbidity in river systems for proper management and early warning of high turbidity in the water supply process. Advanced data analysis technology using machine learning has been increasingly used in water quality management processes. Artificial neural networks(ANNs) is one of the first algorithms applied, where the overfitting of a model to observed data and vanishing gradient in the backpropagation process limit the wide application of ANNs in practice. In recent years, deep learning, which overcomes the limitations of ANNs, has been applied in water quality management. LSTM(Long-Short Term Memory) is one of novel deep learning algorithms that is widely used in the analysis of time series data. In this study, LSTM is used for the prediction of high turbidity(>30 NTU) in a river from the relationship of turbidity to discharge, which enables early warning of high turbidity in a drinking water supply system. The model showed 0.98, 0.99, 0.98 and 0.99 for precision, recall, F1-score and accuracy respectively, for the prediction of high turbidity in a river with 2 hour frequency data. The sensitivity of the model to the observation intervals of data is also compared with time periods of 2 hour, 8 hour, 1 day and 2 days. The model shows higher precision with shorter observation intervals, which underscores the importance of collecting high frequency data for better management of water resources in the future.

NLP와 BiLSTM을 적용한 조세 결정문의 분석과 예측 (Tax Judgment Analysis and Prediction using NLP and BiLSTM)

  • 이영근;박구락;이후영
    • 디지털융복합연구
    • /
    • 제19권9호
    • /
    • pp.181-188
    • /
    • 2021
  • 일반인에게 난해한 법률분야를 이해하기 쉽고 예측 가능 할 수 있도록 인공지능을 적용한 법률 서비스에 대한 연구의 중요성이 대두되고 있다. 본 연구에서는 조세심판원의 결정정보를 수집하고 데이터 처리와 자체 학습을 통한 모델을 구축하여 사용자의 질의에 맞는 답변을 예측하기 위한 시스템을 제안한다. 제안 모델은 웹크롤링을 통해서 조세 결정문의 정보 수집 및 자연어 처리과정을 통하여 유용한 데이터를 추출하고, 최적화된 산출물을 Word2Vec의 Fast Text 알고리즘을 적용하여 단어의 벡터를 생성하였다. 2017년부터 2019년까지 총 11,103건의 정보를 수집하고 분류하였으며 RNN 기술의 BiLSTM을 적용하여 자체학습을 통한 결과 예측 프로그램을 구축하여 70%정확도로 실증하였다. 향후 다양한 법률시스템으로 활용성을 기대할 수 있으며 보다 효율적인 적용을 위한 연구와 정확도 향상을 위한 연구가 계속되어야 한다.

LSTM을 이용한 교통사고 발생 패턴 예측 (Forecasting of Traffic Accident Occurrence Pattern Using LSTM)

  • 노유진;배상훈
    • 한국ITS학회 논문지
    • /
    • 제20권3호
    • /
    • pp.59-73
    • /
    • 2021
  • 교통사고로 인한 많은 인명피해가 발생하고 있으나, 첨단 기술의 발전에도 불구하고 교통사고 발생은 줄어들지 않고 있다. 교통사고를 사전에 예방하기 위해서는 향후 사고가 어떻게 변화하여 갈 것인지를 정확하게 예측할 필요가 있다. 지금까지 교통사고 발생 빈도 예측은 주요 연구 분야가 아니었으며 주로 과거 일정 기간의 통계를 기반으로 전통적인 방법으로 미시적으로 분석되어 왔다. 최근 AI 기술이 교통사고 분야에 도입 되었음에도 불구하고 주로 교통 흐름 예측에 초점을 맞추고 있어, 본 연구에서는 2014년부터 2019년까지 국내에서 발생한 1,339,587건의 교통사고 기록을 시계열 데이터로 변환하고 AI 알고리즘 LSTM을 이용하여 연령별, 시간별 교통사고 발생 빈도를 예측하였다. 또한 코로나-19로 인한 교통 환경의 변화에 맞추어 예측값과 실제값을 비교 검증하였다. 향후 이러한 연구결과가 교통사고 예방의 정책개선으로 이어지고 사고 예방에 활용 될 것으로 기대된다.

Cyber Threat Intelligence Traffic Through Black Widow Optimisation by Applying RNN-BiLSTM Recognition Model

  • Kanti Singh Sangher;Archana Singh;Hari Mohan Pandey
    • International Journal of Computer Science & Network Security
    • /
    • 제23권11호
    • /
    • pp.99-109
    • /
    • 2023
  • The darknet is frequently referred to as the hub of illicit online activity. In order to keep track of real-time applications and activities taking place on Darknet, traffic on that network must be analysed. It is without a doubt important to recognise network traffic tied to an unused Internet address in order to spot and investigate malicious online activity. Any observed network traffic is the result of mis-configuration from faked source addresses and another methods that monitor the unused space address because there are no genuine devices or hosts in an unused address block. Digital systems can now detect and identify darknet activity on their own thanks to recent advances in artificial intelligence. In this paper, offer a generalised method for deep learning-based detection and classification of darknet traffic. Furthermore, analyse a cutting-edge complicated dataset that contains a lot of information about darknet traffic. Next, examine various feature selection strategies to choose a best attribute for detecting and classifying darknet traffic. For the purpose of identifying threats using network properties acquired from darknet traffic, devised a hybrid deep learning (DL) approach that combines Recurrent Neural Network (RNN) and Bidirectional LSTM (BiLSTM). This probing technique can tell malicious traffic from legitimate traffic. The results show that the suggested strategy works better than the existing ways by producing the highest level of accuracy for categorising darknet traffic using the Black widow optimization algorithm as a feature selection approach and RNN-BiLSTM as a recognition model.

딥러닝 기반 낙상 감지 시스템의 구성과 적용 (Configuration and Application of a deep learning-based fall detection system)

  • 우종석;리오넬;정상중;정완영
    • 융합신호처리학회논문지
    • /
    • 제24권4호
    • /
    • pp.213-220
    • /
    • 2023
  • 낙상은 일상의 활동 중에 예기치 않게 발생하여 생활에 많은 어려움을 초래한다. 본 연구는 고위험 직종 종사자들의 낙상 감지를 위한 시스템을 구성하고 자료를 수집하여 예측 모델에 적용함으로써 그 유효성을 검증하는 것을 목적으로 하였다. 이를 위해 가속도센서와 자이로센서를 통해 가속도 신호와 방위각을 산출하여 낙상 여부를 감지하는 웨어러블 기기를 구성하였다. 그리고 연구 참여자들이 이 기기를 복부에 착용하고 정해진 활동을 수행하는 과정에서 낙상과 관련한 동작으로부터 필요한 데이터를 측정하고 기기 내에 존재하는 블루투스 장치를 통해 컴퓨터로 전송하였다. 이렇게 수집된 데이터를 필터링 등을 통해 처리하여 딥러닝 알고리즘들인 1D CNN, LSTM, CNN-LSTM에 근거한 낙상 감지 예측 모델들에 적용하고 그 결과를 평가하였다.

LSTM-RNN 기반 음성합성을 위한 파라미터 생성 알고리즘 (Parameter Generation Algorithm for LSTM-RNN-based Speech Synthesis)

  • 박상준;한민수
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2017년도 하계학술대회
    • /
    • pp.105-106
    • /
    • 2017
  • 본 논문에서는 최대 우도 기반 파라미터 생성 알고리즘을 적용하여 인공 신경망의 출력인 음향 파라미터 열의 정확성 및 자연성을 향상시키는 방법을 제안하였다. 인공 신경망의 출력으로 정적 특징벡터 뿐 만 아니라 동적 특징벡터도 함께 사용하였고, 미리 계산된 파라미터 분산을 파라미터 생성에 사용하였다. 추정된 정적, 동적 특징벡터의 평균, 분산을 EM 알고리즘에 적용하여 최대 우도 기준 파라미터를 추정할 수 있다. 제안된 알고리즘은 파라미터 생성 시 동적 특징벡터 및 분산을 함께 적용하여 시간축에서의 자연성을 향상시켰다. 제안된 알고리즘의 객관적 평가로 MCD, F0 의 RMSE 를 측정하였고, 주관적평가로 선호도 평가를 실시하였다. 그 결과 기존 알고리즘 대비 객관적, 주관적 성능이 향상되는 것을 검증하였다.

  • PDF