• 제목/요약/키워드: Long-short term memory(LSTM)

검색결과 502건 처리시간 0.026초

리뷰 데이터와 제품 정보를 이용한 멀티모달 감성분석 (Multimodal Sentiment Analysis Using Review Data and Product Information)

  • 황호현;이경찬;유진이;이영훈
    • 한국전자거래학회지
    • /
    • 제27권1호
    • /
    • pp.15-28
    • /
    • 2022
  • 최근 의류 등의 특정 쇼핑몰의 온라인 시장이 크게 확대되면서, 사용자의 리뷰를 활용하는 것이 주요한 마케팅 방안이 되었다. 이를 이용한 감성분석에 대한 연구들도 많이 진행되고 있다. 감성분석은 사용자의 리뷰를 긍정과 부정 그리고 필요에 따라서 중립으로 분류하는 방법이다. 이 방법은 크게 머신러닝 기반의 감성분석과 사전기반의 감성분석으로 나눌 수 있다. 머신러닝 기반의 감성분석은 사용자의 리뷰 데이터와 그에 대응하는 감성 라벨을 이용해서 분류 모델을 학습하는 방법이다. 감성분석 분야의 연구가 발전하면서 리뷰와 함께 제공되는 이미지나 영상 데이터 등을 함께 고려하여 학습하는 멀티모달 방식의 모델들이 연구되고 있다. 리뷰 데이터에서 제품의 카테고리와 사용자별로 사용되는 단어 등의 특징이 다르다. 따라서 본 논문에서는 리뷰데이터와 제품 정보를 동시에 고려하여 감성분석을 진행한다. 리뷰를 분류하는 모델로는 기본 순환신경망 구조에서 Gate 방식을 도입한 Gated Recurrent Unit(GRU), Long Short-Term Memory(LSTM) 그리고 Self Attention 기반의 Multi-head Attention 모델, Bidirectional Encoder Representation from Transformer(BERT)를 사용해서 각각 성능을 비교하였다. 제품 정보는 모두 동일한 Multi-Layer Perceptron(MLP) 모델을 이용하였다. 본 논문에서는 사용자 리뷰를 활용한 Baseline Classifier의 정보와 제품 정보를 활용한 MLP모델의 결과를 결합하는 방법을 제안하며 실제 데이터를 통해 성능의 우수함을 보인다.

변이형 오토인코더와 어텐션 메커니즘을 결합한 차트기반 주가 예측 (Chart-based Stock Price Prediction by Combing Variation Autoencoder and Attention Mechanisms)

  • 배상현;최병구
    • 경영정보학연구
    • /
    • 제23권1호
    • /
    • pp.23-43
    • /
    • 2021
  • 최근 인공지능 기법을 활용하여 캔들스틱 차트를 분석함으로써 주식가격 예측의 정확성을 높이고자 하는 다양한 연구가 진행되어 왔다. 그러나 이러한 연구들은 주식가격 예측을 위한 학습에 있어 캔들스틱 차트의 시계열적 특성을 고려하지 못한다는 점과 시장 참여자들의 감정 상태를 고려하지 못한다는 점 등이 문제로 지적되고 있다. 본 연구에서는 시장 참여자들의 감정상태를 반영하기 위해 변동성지수(VIX: volatility index) 차트를 캔들스틱 차트와 함께 고려하여 학습시키고 이를 변이형 오토인코더(VAE: variational auto encoder)와 어텐션 메커니즘(attention mechanisms)을 결합한 새로운 방법으로 분석하여 캔들스틱 차트의 시계열적 특성을 고려함으로써 기존 연구의 한계를 극복하고자 한다. 본 연구에서 제안한 방법의 성능 비교를 위해 S&P 500 기업 가운데 50개를 임의로 추출하여 제안한 방법을 통해 이들의 주식가격을 예측하고 이를 합성곱 신경망(CNN: convolutional neural network) 또는 장단기메모리(LSTM: long-short term memory) 등과 같은 기존 방법들과 비교하였다. 비교 결과 기존 방법들에 비해 본 연구에서 제안한 방법이 더 우수한 성능을 보이는 것으로 나타났다. 본 연구는 시장 참여자들의 감정 상태와 캔들스틱 차트의 시계열적 특성을 고려함으로써 주식 가격 예측의 정확성을 높였다는 점에서 그 의의가 있다.

메콩강 유출모의를 위한 물리적 및 데이터 기반 모형의 비교·분석 (Comparison of physics-based and data-driven models for streamflow simulation of the Mekong river)

  • 이기하;정성호;이대업
    • 한국수자원학회논문집
    • /
    • 제51권6호
    • /
    • pp.503-514
    • /
    • 2018
  • 최근 기후변화 및 유역개발로 인하여 메콩강 유역의 수문환경이 급격히 변화하고 있으며, 메콩강을 공유하는 국가의 수재해 예방 및 지속가능한 수자원개발을 위해서는 메콩강 주요지점에서의 유량 정보의 분석 및 예측이 요구된다. 본 연구에서는 물리적 기반의 수문모형인 SWAT과 데이터기반 딥러닝 알고리즘인 LSTM을 이용하여 메콩강 하류 Kratie 지점의 유출모의를 수행하고, 유출모의 정확도 및 두 가지 방법론의 장 단점을 비교 분석한다. SWAT 모형의 구축을 위해 범용 입력자료(지형: HydroSHED, 토지이용: GLCF-MODIS, 토양: FAO-Soil map, 강우: APHRODITE 등)을 이용하였으며 warming-up 및 매개변수 보정 후 2003~2007년 일유량 모의를 수행하였다. LSTM을 이용한 유출모의의 경우, 딥러닝 오픈소스 라이브러리인 TensorFlow를 활용하여 Kratie 지점기준 메콩강 상류 10개 수위관측소의 두 기간(2000~2002, 2008~2014) 일수위 정보만을 이용하여 심층신경망을 학습하고, SWAT 모형과 마찬가지로 2003~2007년을 대상으로 Kratie 지점에 대한 일수위 모의 후 수위-유량관계곡선식을 이용하여 유출량으로 환산하였다. 두 모형의 모의성능 비교 검토를 위하여 모의기간에 대해 NSE (Nash-Sutcliffe Efficiency)을 산정한 결과, SWAT은 0.9, LSTM은 보다 높은 0.99의 정확도를 나타내는 것으로 분석되었다. 메콩강과 같은 대유역의 특정 지점에 대한 수문시계열 자료의 모의를 위해서는 다양한 입력자료를 요구하는 물리적 수문모형 대신 선행 시계열자료의 변동성을 기억 학습하여 이를 예측에 반영하는 LSTM 기법 등 데이터기반의 심층신경망 모형의 적용이 가능할 것으로 판단된다.

해양환경 모니터링을 위한 순환 신경망 기반의 돌고래 클릭 신호 분류 알고리즘 개발 (Development of Dolphin Click Signal Classification Algorithm Based on Recurrent Neural Network for Marine Environment Monitoring)

  • 정서제;정우근;신성렬;김동현;김재수;변기훈;이다운
    • 지구물리와물리탐사
    • /
    • 제26권3호
    • /
    • pp.126-137
    • /
    • 2023
  • 본 연구에서는 해양 모니터링 중에 기록된 돌고래 클릭 신호를 분류하기 위해 순환 신경망(RNN)을 적용하는 방법을 검토했다. 클릭 신호 분류의 정확도를 높이기 위해 단일 시계열 자료를 분수 푸리에 변환을 사용하여 분수 영역으로 변환하여 특징을 확장했으며, 분류를 위한 최적의 네트워크를 결정하기 위해 세 가지 순환 신경망 모델(LSTM, GRU, BiLSTM)을 비교 분석하였다. 순환 신경망 모델의 입력 자료로써 이용된 분수 영역 자료의 경우, 분수 푸리에 변환 시 회전 각도에 따라 다른 특성을 가지므로, 각 네트워크 모델에 따라 우수한 성능을 가지는 회전 각도 범위를 분석했다. 이때 네트워크 성능 분석을 위해 정확도, 정밀도, 재현율, F1-점수와 같은 성능 평가 지표를 도입했다. 수치실험 결과, 세 가지 네트워크 모두 높은 성능을 보였으며, BiLSTM 네트워크가 LSTM, GRU에 비해 뛰어난 학습 결과를 제공했다. 마지막으로, 현장 자료 적용 가능성 측면에서 BiLSTM 네트워크가 다른 네트워크에 비해 낮은 오탐지 결과를 제공하였다.

딥러닝 모형을 활용한 공공자전거 대여량 예측에 관한 연구 (Forecasting of Rental Demand for Public Bicycles Using a Deep Learning Model)

  • 조근민;이상수;남두희
    • 한국ITS학회 논문지
    • /
    • 제19권3호
    • /
    • pp.28-37
    • /
    • 2020
  • 본 연구는 공공자전거의 대여량을 예측하는 딥러닝 모형을 개발하였다. 이를 위하여 공공자전거 대여량 자료, 기상 자료, 그리고 지하철 이용량 자료를 수집하였다. 지수평활 모형, ARIMA 모형과 LSTM기반의 딥러닝 모형을 구축한 후 MSE와 MAE 평가 지표를 사용하여 예측 오차를 비교·평가하였다. 평가 결과, 지수평활 모형으로 MSE 348.74, MAE 14.15 값이 산출되었다. ARIMA 모형으로 MSE 170.10, MAE 9.30 값을 얻었다. 그리고 딥러닝 모형으로 MSE 120.22, MAE 6.76 값이 산출되었다. 지수평활 모형의 값과 비교하여 ARIMA 모형의 MSE는 51%, MAE는 34% 감소하였다. 그리고 딥러닝 모형의 MSE는 66%, MAE는 52% 감소하여 딥러닝 모형의 오차가 가장 적은 것으로 파악되었다. 이러한 결과로부터 공공자전거 대여량 예측 분야에서 딥러닝 모형의 적용시 예측 오차를 크게 감소시킬 수 있을 것으로 판단된다.

LSTM 및 정보이득 기반의 악성 안드로이드 앱 탐지연구 (A Study on Detection of Malicious Android Apps based on LSTM and Information Gain)

  • 안유림;홍승아;김지연;최은정
    • 한국멀티미디어학회논문지
    • /
    • 제23권5호
    • /
    • pp.641-649
    • /
    • 2020
  • As the usage of mobile devices extremely increases, malicious mobile apps(applications) that target mobile users are also increasing. It is challenging to detect these malicious apps using traditional malware detection techniques due to intelligence of today's attack mechanisms. Deep learning (DL) is an alternative technique of traditional signature and rule-based anomaly detection techniques and thus have actively been used in numerous recent studies on malware detection. In order to develop DL-based defense mechanisms against intelligent malicious apps, feeding recent datasets into DL models is important. In this paper, we develop a DL-based model for detecting intelligent malicious apps using KU-CISC 2018-Android, the most up-to-date dataset consisting of benign and malicious Android apps. This dataset has hardly been addressed in other studies so far. We extract OPcode sequences from the Android apps and preprocess the OPcode sequences using an N-gram model. We then feed the preprocessed data into LSTM and apply the concept of Information Gain to improve performance of detecting malicious apps. Furthermore, we evaluate our model with numerous scenarios in order to verify the model's design and performance.

국민청원 주제 분석 및 딥러닝 기반 답변 가능 청원 예측 (Topic Analysis of the National Petition Site and Prediction of Answerable Petitions Based on Deep Learning)

  • 우윤희;김현희
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제9권2호
    • /
    • pp.45-52
    • /
    • 2020
  • 청와대 국민 청원 사이트가 개설된 이래로 많은 관심을 받고 있다. 본 논문에서는 국민 청원의 주제를 분석하고 딥러닝을 활용하여 답변 가능한 청원을 예측하는 모델을 제안하였다. 먼저, 추천순으로 1,500개의 청원글을 수집하였고, K-means 클러스터링을 적용하여 청원글을 군집하여 대주제를 정의하고, 보다 구체적인 세부 주제를 정의하기 위히여 토픽 모델링을 실시하였다. 다음으로는 LSTM을 활용한 답변 가능한 청원 예측 모델을 생성하여, 20만의 청원동의를 얻는 청원을 예측하기 위한 모델을 개발하였다. 이를 위해 글의 주제와 본문뿐만 아니라 글의 길이, 카테고리, 특정 품사의 비율이 영향을 미칠 수 있는지를 살펴보았다. 그 결과, 본문과 함께 글의 길이, 카테고리, 체언, 용언, 독립언, 수식언의 품사의 비율을 변수로 추가한 모델의 f1-score가 0.9 이상으로 글의 제목과 본문을 변수로 하는 모델보다 예측력이 높음을 알 수 있었다.

Merlin 툴킷을 이용한 한국어 TTS 시스템의 심층 신경망 구조 성능 비교 (Performance comparison of various deep neural network architectures using Merlin toolkit for a Korean TTS system)

  • 홍준영;권철홍
    • 말소리와 음성과학
    • /
    • 제11권2호
    • /
    • pp.57-64
    • /
    • 2019
  • 본 논문에서는 음성 합성을 위한 오픈소스 시스템인 Merlin 툴킷을 이용하여 한국어 TTS 시스템을 구성한다. TTS 시스템에서 HMM 기반의 통계적 음성 합성 방식이 널리 사용되고 있는데, 이 방식에서 문맥 요인을 포함시키는 음향 모델링 구성의 한계로 합성 음성의 품질이 저하된다고 알려져 있다. 본 논문에서는 여러 분야에서 우수한 성능을 보여 주는 심층 신경망 기법을 적용하는 음향 모델링 아키텍처를 제안한다. 이 구조에는 전연결 심층 피드포워드 신경망, 순환 신경망, 게이트 순환 신경망, 단방향 장단기 기억 신경망, 양방향 장단기 기억 신경망 등이 포함되어 있다. 실험 결과, 문맥을 고려하는 시퀀스 모델을 아키텍처에 포함하는 것이 성능 개선에 유리하다는 것을 알 수 있고, 장단기 기억 신경망을 적용한 아키텍처가 가장 좋은 성능을 보여주었다. 그리고 음향 특징 파라미터에 델타와 델타-델타 성분을 포함하는 것이 성능 개선에 유리하다는 결과가 도출되었다.

Drug-Drug Interaction Prediction Using Krill Herd Algorithm Based on Deep Learning Method

  • Al-Marghilani, Abdulsamad
    • International Journal of Computer Science & Network Security
    • /
    • 제21권6호
    • /
    • pp.319-328
    • /
    • 2021
  • Parallel administration of numerous drugs increases Drug-Drug Interaction (DDI) because one drug might affect the activity of other drugs. DDI causes negative or positive impacts on therapeutic output. So there is a need to discover DDI to enhance the safety of consuming drugs. Though there are several DDI system exist to predict an interaction but nowadays it becomes impossible to maintain with a large number of biomedical texts which is getting increased rapidly. Mostly the existing DDI system address classification issues, and especially rely on handcrafted features, and some features which are based on particular domain tools. The objective of this paper to predict DDI in a way to avoid adverse effects caused by the consumed drugs, to predict similarities among the drug, Drug pair similarity calculation is performed. The best optimal weight is obtained with the support of KHA. LSTM function with weight obtained from KHA and makes bets prediction of DDI. Our methodology depends on (LSTM-KHA) for the detection of DDI. Similarities among the drugs are measured with the help of drug pair similarity calculation. KHA is used to find the best optimal weight which is used by LSTM to predict DDI. The experimental result was conducted on three kinds of dataset DS1 (CYP), DS2 (NCYP), and DS3 taken from the DrugBank database. To evaluate the performance of proposed work in terms of performance metrics like accuracy, recall, precision, F-measures, AUPR, AUC, and AUROC. Experimental results express that the proposed method outperforms other existing methods for predicting DDI. LSTMKHA produces reasonable performance metrics when compared to the existing DDI prediction model.

PLC 디지털 제어 신호를 통한 LSTM기반의 이산 생산 공정의 실시간 고장 상태 감지 (Real-Time Fault Detection in Discrete Manufacturing Systems Via LSTM Model based on PLC Digital Control Signals)

  • 송용욱;백수정
    • 산업경영시스템학회지
    • /
    • 제44권2호
    • /
    • pp.115-123
    • /
    • 2021
  • A lot of sensor and control signals is generated by an industrial controller and related internet-of-things in discrete manufacturing system. The acquired signals are such records indicating whether several process operations have been correctly conducted or not in the system, therefore they are usually composed of binary numbers. For example, once a certain sensor turns on, the corresponding value is changed from 0 to 1, and it means the process is finished the previous operation and ready to conduct next operation. If an actuator starts to move, the corresponding value is changed from 0 to 1 and it indicates the corresponding operation is been conducting. Because traditional fault detection approaches are generally conducted with analog sensor signals and the signals show stationary during normal operation states, it is not simple to identify whether the manufacturing process works properly via conventional fault detection methods. However, digital control signals collected from a programmable logic controller continuously vary during normal process operation in order to show inherent sequence information which indicates the conducting operation tasks. Therefore, in this research, it is proposed to a recurrent neural network-based fault detection approach for considering sequential patterns in normal states of the manufacturing process. Using the constructed long short-term memory based fault detection, it is possible to predict the next control signals and detect faulty states by compared the predicted and real control signals in real-time. We validated and verified the proposed fault detection methods using digital control signals which are collected from a laser marking process, and the method provide good detection performance only using binary values.