• Journal of Information Processing Systems
• /
• 제15권5호
• /
• pp.1231-1242
• /
• 2019

This paper presents a two-dimensional attention-based long short-memory (2D-ALSTM) model for stock index prediction, incorporating input attention and temporal attention mechanisms for weighting of important stocks and important time steps, respectively. The proposed model is designed to overcome the long-term dependency, stock selection, and stock volatility delay problems that negatively affect existing models. The 2D-ALSTM model is validated in a comparative experiment involving the two attention-based models multi-input LSTM (MI-LSTM) and dual-stage attention-based recurrent neural network (DARNN), with real stock data being used for training and evaluation. The model achieves superior performance compared to MI-LSTM and DARNN for stock index prediction on a KOSPI100 dataset.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2015년도 제27회 한글 및 한국어 정보처리 학술대회
• /
• pp.194-197
• /
• 2015

Long Short-term Memory Network(LSTM) 기반 Recurrent Neural Network(RNN)는 순차 데이터를 모델링 할 수 있는 딥 러닝 모델이다. 기존 RNN의 그래디언트 소멸 문제(vanishing gradient problem)를 해결한 LSTM RNN은 멀리 떨어져 있는 이전의 입력 정보를 볼 수 있다는 장점이 있어 음성 인식 및 필기체 인식 등의 분야에서 좋은 성능을 보이고 있다. 또한 LSTM RNN 모델에 의존성(전이 확률)을 추가한 LSTM CRF모델이 자연어처리의 한 분야인 개체명 인식에서 우수한 성능을 보이고 있다. 본 논문에서는 한국어 문장의 지배소가 문장 후위에 나타나는 점에 착안하여 Backward 방식의 LSTM CRF 모델을 제안하고 이를 한국어 의미역 결정에 적용하여 기존 연구보다 더 높은 성능을 얻을 수 있음을 보인다.

• Journal of Information Processing Systems
• /
• 제17권2호
• /
• pp.242-252
• /
• 2021

Following the intuition that the local information in time instances is hardly incorporated into the posterior sequence in long short-term memory (LSTM), this paper proposes an attention augmented mechanism for fault diagnosis of the complex chemical process data. Unlike conventional fault diagnosis and classification methods, an attention mechanism layer architecture is introduced to detect and focus on local temporal information. The augmented deep network results preserve each local instance's importance and contribution and allow the interpretable feature representation and classification simultaneously. The comprehensive comparative analyses demonstrate that the developed model has a high-quality fault classification rate of 95.49%, on average. The results are comparable to those obtained using various other techniques for the Tennessee Eastman benchmark process.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.91-94
• /
• 2021

As deep learning technologies becoming developed, realistic fake videos synthesized by deep learning models called "Deepfake" videos became even more difficult to distinguish from original videos. As fake news or Deepfake blackmailing are causing confusion and serious problems, this paper suggests a novel model detecting Deepfake videos. We chose Residual Convolutional Neural Network (Resnet50) as an extraction model and Long Short-Term Memory (LSTM) which is a form of Recurrent Neural Network (RNN) as a classification model. We adopted cosine similarity with hinge loss to train our extraction model in embedding the features of Deepfake and original video. The result in this paper demonstrates that temporal features in the videos are essential for detecting Deepfake videos.

• 전기전자학회논문지
• /
• 제25권3호
• /
• pp.540-543
• /
• 2021

본 논문에서는 비행체의 궤적 예측에 적절한 순환 신경망 기반 기법을 탐구하기 위하여 정량적인 비교 평가 연구를 수행하였다. 이를 위해 본 논문에서는 비행체의 궤적 예측 작업을 수행하기 위한 다양한 입력 및 출력 관계들을 정의하고 동일한 실험 환경에서 비교 평가하였다. 특히 비행체 위치의 상대값 기반 입출력 관계를 제안하여 비행체의 궤적 예측에 적합함을 보였다. 또한 비행체 궤적 예측에 효율적인 네트워크 구조 및 하이퍼파라미터를 결정하기 위한 다양한 ablation study(비교 실험)를 진행하였다. 본 논문에서 제시된 정량적 비교 평가 결과는 비행체의 궤적 예측을 위해 순환 신경망 기반 기법을 이용하거나 비행체의 궤적 예측에 특화된 딥러닝 기법을 연구하고자 하는 연구자 및 개발자들에게 실질적인 도움이 될 것으로 예상된다.

• 한국인터넷방송통신학회논문지
• /
• 제22권5호
• /
• pp.177-183
• /
• 2022

최근 COVID-19로 인해 홈 트레이닝의 관심도가 증가하고 있다. 이에 따라 HAR(human activity recognition) 기술을 홈 트레이닝에 적용한 연구가 진행되고 있다. 기존 HAR 분야의 논문에서는 동적인 자세보다는 앉기, 일어서기와 같은 정적인 자세들을 분석한다. 본 논문은 동적인 운동 자세를 분석하여 사용자의 운동 자세 정확도를 보여주는 딥러닝 모델을 제안한다. AI hub의 피트니스 이미지를 blaze pose를 사용하여 사람의 자세 데이터를 분석한다. 3개의 딥러닝 모델: RNN(recurrnet neural networks), LSTM(long short-term memory networks), CNN(convolution neural networks)에 대하여 실험을 진행한다. RNN, LSTM, CNN 모델의 f1-score는 각각 0.49, 0.87, 0.98로 CNN 모델이 가장 적합하다는 것을 확인하였다. 이후 연구로는, 다양한 학습 데이터를 사용하여 더 많은 운동 자세를 분석할 예정이다.

• 한국정보기술학회 영문논문지
• /
• 제10권1호
• /
• pp.15-23
• /
• 2020

In this paper, we propose a new method to detect traffic accidents in video from vehicle-mounted cameras (vehicle black box). We use the distance between vehicles to determine whether an accident has occurred. To calculate the position of each vehicle, we use object detection and tracking method. By the way, in a crowded road environment, it is so difficult to decide an accident has occurred because of parked vehicles at the edge of the road. It is not easy to discriminate against accidents from non-accidents because a moving vehicle and a stopped vehicle are mixed on a regular downtown road. In this paper, we try to increase the accuracy of the vehicle accident detection by using not only the motion of the surrounding vehicle but also ego-motion as the input of the Recurrent Neural Network (RNN). We improved the accuracy of accident detection compared to the previous method.

• Korean Chemical Engineering Research
• /
• 제58권4호
• /
• pp.588-595
• /
• 2020

지속적으로 강화되는 환경오염 물질 배출 규제로 인해, 질소 산화물(NO_x)의 배출량 예측 및 관리는 산업 현장에서 많은 관심을 받고 있다. 본 연구에서는 인공지능 기반 질소산화물 배출량 예측모델 개발을 위한 연구모형을 제안하였다. 제안된 연구모형은 데이터의 전처리 과정부터 인공지능 모델의 학습 및 평가까지 모두 포함하고 있으며, 시계열 특성을 가지는 NO_x 배출량을 예측하기 위하여 순환 신경망 중 하나인 Long Short-Term Memory (LSTM) 모델을 활용하였다. 또한 의사결정나무 기법을 활용하여 LSTM의 time window를 모델 학습 이전에 선정하는 방법을 채택하였다. 본 연구에서 제안된 연구모형의 NO_x 배출량 예측 모델은 가열로에서 확보한 조업 데이터로 학습되었으며, 최적 모델은 hyper-parameter를 조절하여 개발되었다. 개발된 LSTM 모델은 학습 데이터 및 평가 데이터에 대하여 모두 93% 이상의 NO_x 배출량 예측 정확도를 나타내었다. 본 연구에 제안된 연구모형은 시계열 특성을 가지는 다양한 대기오염 물질의 배출량 예측모델 개발에 응용될 수 있을 것으로 기대된다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제10권3호
• /
• pp.91-98
• /
• 2021

오늘날 정보통신 기술이 급격하게 발달하면서 IT 인프라에서 보안의 중요성이 높아졌고 동시에 지능형 지속 공격(Advanced Persistent Threat)처럼 고도화되고 다양한 형태의 사이버 공격이 증가하고 있다. 점점 더 고도화되는 사이버 공격을 조기에 방어하거나 예측하는 것은 매우 중요한 사안으로, NIDS(Network-based Intrusion Detection System) 관련 데이터 분석만으로는 빠르게 변형하는 사이버 공격을 방어하지 못하는 경우가 많이 보고되고 있다. 따라서 현재는 HIDS(Host-based Intrusion Detection System) 데이터 분석을 통해서 위와 같은 사이버 공격을 방어하는데 침입 탐지 시스템에서 생성된 데이터를 이용하고 있다. 본 논문에서는 기존에 사용되었던 데이터 세트에서 결여된 스레드 정보, 메타 데이터 및 버퍼 데이터를 포함한 LID-DS(Leipzig Intrusion Detection-Data Set) 호스트 기반 침입 탐지 데이터를 이용하여 기계학습 알고리즘에 관한 비교 연구를 진행했다. 사용한 알고리즘은 Decision Tree, Naive Bayes, MLP(Multi-Layer Perceptron), Logistic Regression, LSTM(Long Short-Term Memory model), RNN(Recurrent Neural Network)을 사용했다. 평가를 위해 Accuracy, Precision, Recall, F1-Score 지표와 오류율을 측정했다. 그 결과 LSTM 알고리즘의 정확성이 가장 높았다.

• International Journal of Computer Science & Network Security
• /
• 제23권8호
• /
• pp.177-189
• /
• 2023

Malware detection is an increasingly important operational focus in cyber security, particularly given the fast pace of such threats (e.g., new malware variants introduced every day). There has been great interest in exploring the use of machine learning techniques in automating and enhancing the effectiveness of malware detection and analysis. In this paper, we present a deep recurrent neural network solution as a stacked Long Short-Term Memory (LSTM) with a pre-training as a regularization method to avoid random network initialization. In our proposal, we use global and short dependencies of the inputs. With pre-training, we avoid random initialization and are able to improve the accuracy and robustness of malware threat hunting. The proposed method speeds up the convergence (in comparison to stacked LSTM) by reducing the length of malware OpCode or bytecode sequences. Hence, the complexity of our final method is reduced. This leads to better accuracy, higher Mattews Correlation Coefficients (MCC), and Area Under the Curve (AUC) in comparison to a standard LSTM with similar detection time. Our proposed method can be applied in real-time malware threat hunting, particularly for safety critical systems such as eHealth or Internet of Military of Things where poor convergence of the model could lead to catastrophic consequences. We evaluate the effectiveness of our proposed method on Windows, Ransomware, Internet of Things (IoT), and Android malware datasets using both static and dynamic analysis. For the IoT malware detection, we also present a comparative summary of the performance on an IoT-specific dataset of our proposed method and the standard stacked LSTM method. More specifically, of our proposed method achieves an accuracy of 99.1% in detecting IoT malware samples, with AUC of 0.985, and MCC of 0.95; thus, outperforming standard LSTM based methods in these key metrics.