• 제목/요약/키워드: Long short-term memory network

검색결과 326건 처리시간 0.033초

리뷰 데이터와 제품 정보를 이용한 멀티모달 감성분석 (Multimodal Sentiment Analysis Using Review Data and Product Information)

  • 황호현;이경찬;유진이;이영훈
    • 한국전자거래학회지
    • /
    • 제27권1호
    • /
    • pp.15-28
    • /
    • 2022
  • 최근 의류 등의 특정 쇼핑몰의 온라인 시장이 크게 확대되면서, 사용자의 리뷰를 활용하는 것이 주요한 마케팅 방안이 되었다. 이를 이용한 감성분석에 대한 연구들도 많이 진행되고 있다. 감성분석은 사용자의 리뷰를 긍정과 부정 그리고 필요에 따라서 중립으로 분류하는 방법이다. 이 방법은 크게 머신러닝 기반의 감성분석과 사전기반의 감성분석으로 나눌 수 있다. 머신러닝 기반의 감성분석은 사용자의 리뷰 데이터와 그에 대응하는 감성 라벨을 이용해서 분류 모델을 학습하는 방법이다. 감성분석 분야의 연구가 발전하면서 리뷰와 함께 제공되는 이미지나 영상 데이터 등을 함께 고려하여 학습하는 멀티모달 방식의 모델들이 연구되고 있다. 리뷰 데이터에서 제품의 카테고리와 사용자별로 사용되는 단어 등의 특징이 다르다. 따라서 본 논문에서는 리뷰데이터와 제품 정보를 동시에 고려하여 감성분석을 진행한다. 리뷰를 분류하는 모델로는 기본 순환신경망 구조에서 Gate 방식을 도입한 Gated Recurrent Unit(GRU), Long Short-Term Memory(LSTM) 그리고 Self Attention 기반의 Multi-head Attention 모델, Bidirectional Encoder Representation from Transformer(BERT)를 사용해서 각각 성능을 비교하였다. 제품 정보는 모두 동일한 Multi-Layer Perceptron(MLP) 모델을 이용하였다. 본 논문에서는 사용자 리뷰를 활용한 Baseline Classifier의 정보와 제품 정보를 활용한 MLP모델의 결과를 결합하는 방법을 제안하며 실제 데이터를 통해 성능의 우수함을 보인다.

LSTM 언어모델 기반 한국어 문장 생성 (LSTM Language Model Based Korean Sentence Generation)

  • 김양훈;황용근;강태관;정교민
    • 한국통신학회논문지
    • /
    • 제41권5호
    • /
    • pp.592-601
    • /
    • 2016
  • 순환신경망은 순차적이거나 길이가 가변적인 데이터에 적합한 딥러닝 모델이다. LSTM은 순환신경망에서 나타나는 기울기 소멸문제를 해결함으로써 시퀀스 구성 요소간의 장기의존성을 유지 할 수 있다. 본 논문에서는 LSTM에 기반한 언어모델을 구성하여, 불완전한 한국어 문장이 입력으로 주어졌을 때 뒤 이어 나올 단어들을 예측하여 완전한 문장을 생성할 수 있는 방법을 제안한다. 제안된 방법을 평가하기 위해 여러 한국어 말뭉치를 이용하여 모델을 학습한 다음, 한국어 문장의 불완전한 부분을 생성하는 실험을 진행하였다. 실험 결과, 제시된 언어모델이 자연스러운 한국어 문장을 생성해 낼 수 있음을 확인하였다. 또한 문장 최소 단위를 어절로 설정한 모델이 다른 모델보다 문장 생성에서 더 우수한 결과를 보임을 밝혔다.

선박 연료 공급 기기류의 장시간 운전 데이터의 고장 진단에 있어서 XGBoost 및 Conv1D의 예측 정확성 비교 (Comparison of Fault Diagnosis Accuracy Between XGBoost and Conv1D Using Long-Term Operation Data of Ship Fuel Supply Instruments)

  • 김형진;김광식;황세윤;이장현
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2022년도 춘계학술대회
    • /
    • pp.110-110
    • /
    • 2022
  • 본 연구는 자율운항 선박의 원격 고장 진단 기법 개발의 일부로 수행되었다. 특히, 엔진 연료 계통 장비로부터 계측된 시계열 데이터로부터 상태 진단을 위한 알고리즘 구현 결과를 제시하였다. 엔진 연료 펌프와 청정기를 가진 육상 실험 장비로부터 진동 시계열 데이터 계측하였으며, 이상 감지, 고장 분류 및 고장 예측이 가능한 심층 학습(Deep Learning) 및 기계 학습(Machine Learning) 알고리즘을 구현하였다. 육상 실험 장비에 고장 유형 별로 인위적인 고장을 발생시켜 특징적인 진동 신호를 계측하여, 인공 지능 학습에 이용하였다. 계측된 신호 데이터는 선행 발생한 사건의 신호가 후행 사건에 영향을 미치는 특성을 가지고 있으므로, 시계열에 내포된 고장 상태는 시간 간의 선후 종속성을 반영할 수 있는 학습 알고리즘을 제시하였다. 고장 사건의 시간 종속성을 반영할 수 있도록 순환(Recurrent) 계열의 RNN(Recurrent Neural Networks), LSTM(Long Short-Term Memory models)의 모델과 합성곱 연산 (Convolution Neural Network)을 기반으로 하는 Conv1D 모델을 적용하여 예측 정확성을 비교하였다. 특히, 합성곱 계열의 RNN LSTM 모델이 고차원의 순차적 자연어 언어 처리에 장점을 보이는 모델임을 착안하여, 신호의 시간 종속성을 학습에 반영할 수 있는 합성곱 계열의 Conv1 알고리즘을 고장 예측에 사용하였다. 또한 기계 학습 모델의 효율성을 감안하여 XGBoost를 추가로 적용하여 고장 예측을 시도하였다. 최종적으로 연료 펌프와 청정기의 진동 신호로부터 Conv1D 모델과 XGBoost 모델의 고장 예측 성능 결과를 비교하였다

  • PDF

RNN-GAN을 이용한 코드 기반의 단계적 트로트 음악 생성 기법 (Chord-based stepwise Korean Trot music generation technique using RNN-GAN)

  • 황서림;박영철
    • 한국음향학회지
    • /
    • 제39권6호
    • /
    • pp.622-628
    • /
    • 2020
  • 본 논문은 순환 신경망(Recurrent Neural Network, RNN)으로 구성된 적대적 생성 신경망(Generative Adversarial Network, GAN) 모델을 사용하여 자동으로 트로트 음악을 생성하는 음악생성 기법을 제안한다. 제안된 방법은 음악의 뼈대를 담당하는 코드를 만들고, 만들어진 코드 열을 기반으로 멜로디와 베이스(bass)를 단계적으로 생성한 뒤, 해당 코드에 붙임으로써 구조화된 음악을 완성하는 방법을 사용한다. 또한 인트로나 벌스, 코러스 등과 같이 일정 구간으로 나뉘어 구조가 반복되는 트로트 가요의 특징을 적용하여 벌스의 코드 진행으로부터 새로운 코러스 코드 진행을 만들어내고, 다시 해당 코드로부터 멜로디와 베이스를 단계적으로 생성하여 초기에 만들어진 트로트의 길이를 확장한다. 주관적 평가와 객관적 평가방법을 사용하여 생성된 음악의 품질을 측정하였으며, 기존의 트로트가 갖고 있는 음악적 특성과 유사한 음악을 생성함으로 확인하였다.

Social Media based Real-time Event Detection by using Deep Learning Methods

  • Nguyen, Van Quan;Yang, Hyung-Jeong;Kim, Young-chul;Kim, Soo-hyung;Kim, Kyungbaek
    • 스마트미디어저널
    • /
    • 제6권3호
    • /
    • pp.41-48
    • /
    • 2017
  • Event detection using social media has been widespread since social network services have been an active communication channel for connecting with others, diffusing news message. Especially, the real-time characteristic of social media has created the opportunity for supporting for real-time applications/systems. Social network such as Twitter is the potential data source to explore useful information by mining messages posted by the user community. This paper proposed a novel system for temporal event detection by analyzing social data. As a result, this information can be used by first responders, decision makers, or news agents to gain insight of the situation. The proposed approach takes advantages of deep learning methods that play core techniques on the main tasks including informative data identifying from a noisy environment and temporal event detection. The former is the responsibility of Convolutional Neural Network model trained from labeled Twitter data. The latter is for event detection supported by Recurrent Neural Network module. We demonstrated our approach and experimental results on the case study of earthquake situations. Our system is more adaptive than other systems used traditional methods since deep learning enables to extract the features of data without spending lots of time constructing feature by hand. This benefit makes our approach adaptive to extend to a new context of practice. Moreover, the proposed system promised to respond to acceptable delay within several minutes that will helpful mean for supporting news channel agents or belief plan in case of disaster events.

딥러닝을 활용한 다목적댐 유입량 예측 (Prediction of multipurpose dam inflow using deep learning)

  • 목지윤;최지혁;문영일
    • 한국수자원학회논문집
    • /
    • 제53권2호
    • /
    • pp.97-105
    • /
    • 2020
  • 최근 데이터 예측 방법으로 인공신경망(Artificial Neural Network, ANN)분야에 대한 관심이 높아졌으며, 그 중 시계열 데이터 예측에 특화된 LSTM(Long Short-Term Memory)모형은 수문 시계열자료의 예측방법으로도 활용되고 있다. 본 연구에서는 구글에서 제공하는 딥러닝 오픈소스 라이브러리인 텐서플로우(TensorFlow)를 활용하여 LSTM모형을 구축하고 금강 상류에 위치한 용담다목적댐의 유입량을 예측하였다. 분석 자료로는 WAMIS에서 제공하는 용담댐의 2006년부터 2018년까지의 시간당 유입량 자료를 사용하였으며, 예측된 유입량과 관측 유입량의 비교를 통하여 평균제곱오차(RMSE), 평균절대오차(MAE), 용적오차(VE)를 계산하고 모형의 학습변수에 따른 정확도를 평가하였다. 분석결과, 모든 모형이 고유량에서의 정확도가 낮은 것으로 나타났으며, 이와 같은 문제를 해결하기 위하여 용담댐 유역의 시간당 강수량 자료를 추가 학습 자료로 활용하여 분석한 결과, 고유량에 대한 예측의 정확도가 높아지는 것을 알 수 있었다.

Preliminary Study of Deep Learning-based Precipitation

  • Kim, Hee-Un;Bae, Tae-Suk
    • 한국측량학회지
    • /
    • 제35권5호
    • /
    • pp.423-430
    • /
    • 2017
  • Recently, data analysis research has been carried out using the deep learning technique in various fields such as image interpretation and/or classification. Various types of algorithms are being developed for many applications. In this paper, we propose a precipitation prediction algorithm based on deep learning with high accuracy in order to take care of the possible severe damage caused by climate change. Since the geographical and seasonal characteristics of Korea are clearly distinct, the meteorological factors have repetitive patterns in a time series. Since the LSTM (Long Short-Term Memory) is a powerful algorithm for consecutive data, it was used to predict precipitation in this study. For the numerical test, we calculated the PWV (Precipitable Water Vapor) based on the tropospheric delay of the GNSS (Global Navigation Satellite System) signals, and then applied the deep learning technique to the precipitation prediction. The GNSS data was processed by scientific software with the troposphere model of Saastamoinen and the Niell mapping function. The RMSE (Root Mean Squared Error) of the precipitation prediction based on LSTM performs better than that of ANN (Artificial Neural Network). By adding GNSS-based PWV as a feature, the over-fitting that is a latent problem of deep learning was prevented considerably as discussed in this study.

RNN을 이용한 태양광 에너지 생산 예측 (Solar Energy Prediction using Environmental Data via Recurrent Neural Network)

  • 리아크 무사다르;변영철;이상준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 추계학술발표대회
    • /
    • pp.1023-1025
    • /
    • 2019
  • Coal and Natural gas are two biggest contributors to a generation of energy throughout the world. Most of these resources create environmental pollution while making energy affecting the natural habitat. Many approaches have been proposed as alternatives to these sources. One of the leading alternatives is Solar Energy which is usually harnessed using solar farms. In artificial intelligence, the most researched area in recent times is machine learning. With machine learning, many tasks which were previously thought to be only humanly doable are done by machine. Neural networks have two major subtypes i.e. Convolutional neural networks (CNN) which are used primarily for classification and Recurrent neural networks which are utilized for time-series predictions. In this paper, we predict energy generated by solar fields and optimal angles for solar panels in these farms for the upcoming seven days using environmental and historical data. We experiment with multiple configurations of RNN using Vanilla and LSTM (Long Short-Term Memory) RNN. We are able to achieve RSME of 0.20739 using LSTMs.

Application of Deep Learning to Solar Data: 1. Overview

  • Moon, Yong-Jae;Park, Eunsu;Kim, Taeyoung;Lee, Harim;Shin, Gyungin;Kim, Kimoon;Shin, Seulki;Yi, Kangwoo
    • 천문학회보
    • /
    • 제44권1호
    • /
    • pp.51.2-51.2
    • /
    • 2019
  • Multi-wavelength observations become very popular in astronomy. Even though there are some correlations among different sensor images, it is not easy to translate from one to the other one. In this study, we apply a deep learning method for image-to-image translation, based on conditional generative adversarial networks (cGANs), to solar images. To examine the validity of the method for scientific data, we consider several different types of pairs: (1) Generation of SDO/EUV images from SDO/HMI magnetograms, (2) Generation of backside magnetograms from STEREO/EUVI images, (3) Generation of EUV & X-ray images from Carrington sunspot drawing, and (4) Generation of solar magnetograms from Ca II images. It is very impressive that AI-generated ones are quite consistent with actual ones. In addition, we apply the convolution neural network to the forecast of solar flares and find that our method is better than the conventional method. Our study also shows that the forecast of solar proton flux profiles using Long and Short Term Memory method is better than the autoregressive method. We will discuss several applications of these methodologies for scientific research.

  • PDF

Precision Analysis of NARX-based Vehicle Positioning Algorithm in GNSS Disconnected Area

  • Lee, Yong;Kwon, Jay Hyoun
    • 한국측량학회지
    • /
    • 제39권5호
    • /
    • pp.289-295
    • /
    • 2021
  • Recently, owing to the development of autonomous vehicles, research on precisely determining the position of a moving object has been actively conducted. Previous research mainly used the fusion of GNSS/IMU (Global Positioning System / Inertial Navigation System) and sensors attached to the vehicle through a Kalman filter. However, in recent years, new technologies have been used to determine the location of a moving object owing to the improvement in computing power and the advent of deep learning. Various techniques using RNN (Recurrent Neural Network), LSTM (Long Short-Term Memory), and NARX (Nonlinear Auto-Regressive eXogenous model) exist for such learning-based positioning methods. The purpose of this study is to compare the precision of existing filter-based sensor fusion technology and the NARX-based method in case of GNSS signal blockages using simulation data. When the filter-based sensor integration technology was used, an average horizontal position error of 112.8 m occurred during 60 seconds of GNSS signal outages. The same experiment was performed 100 times using the NARX. Among them, an improvement in precision was confirmed in approximately 20% of the experimental results. The horizontal position accuracy was 22.65 m, which was confirmed to be better than that of the filter-based fusion technique.