• Title/Summary/Keyword: long short-term memory neural network

검색결과 274건 처리시간 0.031초

A Novel RGB Channel Assimilation for Hyperspectral Image Classification using 3D-Convolutional Neural Network with Bi-Long Short-Term Memory

  • M. Preethi;C. Velayutham;S. Arumugaperumal
    • International Journal of Computer Science & Network Security
    • /
    • 제23권3호
    • /
    • pp.177-186
    • /
    • 2023
  • Hyperspectral imaging technology is one of the most efficient and fast-growing technologies in recent years. Hyperspectral image (HSI) comprises contiguous spectral bands for every pixel that is used to detect the object with significant accuracy and details. HSI contains high dimensionality of spectral information which is not easy to classify every pixel. To confront the problem, we propose a novel RGB channel Assimilation for classification methods. The color features are extracted by using chromaticity computation. Additionally, this work discusses the classification of hyperspectral image based on Domain Transform Interpolated Convolution Filter (DTICF) and 3D-CNN with Bi-directional-Long Short Term Memory (Bi-LSTM). There are three steps for the proposed techniques: First, HSI data is converted to RGB images with spatial features. Before using the DTICF, the RGB images of HSI and patch of the input image from raw HSI are integrated. Afterward, the pair features of spectral and spatial are excerpted using DTICF from integrated HSI. Those obtained spatial and spectral features are finally given into the designed 3D-CNN with Bi-LSTM framework. In the second step, the excerpted color features are classified by 2D-CNN. The probabilistic classification map of 3D-CNN-Bi-LSTM, and 2D-CNN are fused. In the last step, additionally, Markov Random Field (MRF) is utilized for improving the fused probabilistic classification map efficiently. Based on the experimental results, two different hyperspectral images prove that novel RGB channel assimilation of DTICF-3D-CNN-Bi-LSTM approach is more important and provides good classification results compared to other classification approaches.

음성을 통한 감정 해석: 감정 인식을 위한 딥 뉴럴 네트워크 예비 연구 (Unraveling Emotions in Speech: Deep Neural Networks for Emotion Recognition)

  • 에드워드 카야디;송미화
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 춘계학술발표대회
    • /
    • pp.411-412
    • /
    • 2023
  • Speech emotion recognition(SER) is one of the interesting topics in the machine learning field. By developing SER, we can get numerous benefits. By using a convolutional neural network and Long Short Term Memory (LSTM ) method as a part of Artificial intelligence, the SER system can be built.

A SE Approach for Real-Time NPP Response Prediction under CEA Withdrawal Accident Conditions

  • Felix Isuwa, Wapachi;Aya, Diab
    • 시스템엔지니어링학술지
    • /
    • 제18권2호
    • /
    • pp.75-93
    • /
    • 2022
  • Machine learning (ML) data-driven meta-model is proposed as a surrogate model to reduce the excessive computational cost of the physics-based model and facilitate the real-time prediction of a nuclear power plant's transient response. To forecast the transient response three machine learning (ML) meta-models based on recurrent neural networks (RNNs); specifically, Long Short Term Memory (LSTM), Gated Recurrent Unit (GRU), and a sequence combination of Convolutional Neural Network (CNN) and LSTM are developed. The chosen accident scenario is a control element assembly withdrawal at power concurrent with the Loss Of Offsite Power (LOOP). The transient response was obtained using the best estimate thermal hydraulics code, MARS-KS, and cross-validated against the Design and control document (DCD). DAKOTA software is loosely coupled with MARS-KS code via a python interface to perform the Best Estimate Plus Uncertainty Quantification (BEPU) analysis and generate a time series database of the system response to train, test and validate the ML meta-models. Key uncertain parameters identified as required by the CASU methodology were propagated using the non-parametric Monte-Carlo (MC) random propagation and Latin Hypercube Sampling technique until a statistically significant database (181 samples) as required by Wilk's fifth order is achieved with 95% probability and 95% confidence level. The three ML RNN models were built and optimized with the help of the Talos tool and demonstrated excellent performance in forecasting the most probable NPP transient response. This research was guided by the Systems Engineering (SE) approach for the systematic and efficient planning and execution of the research.

A Text Sentiment Classification Method Based on LSTM-CNN

  • Wang, Guangxing;Shin, Seong-Yoon;Lee, Won Joo
    • 한국컴퓨터정보학회논문지
    • /
    • 제24권12호
    • /
    • pp.1-7
    • /
    • 2019
  • 머신 러닝의 심층 개발로 딥 러닝 방법은 특히 CNN(Convolution Neural Network)에서 큰 진전을 이루었다. 전통적인 텍스트 정서 분류 방법과 비교할 때 딥 러닝 기반 CNN은 복잡한 다중 레이블 및 다중 분류 실험의 텍스트 분류 및 처리에서 크게 발전하였다. 그러나 텍스트 정서 분류를 위한 신경망에도 문제가 있다. 이 논문에서는 LSTM (Long-Short Term Memory network) 및 CNN 딥 러닝 방법에 기반 한 융합 모델을 제안하고, 다중 카테고리 뉴스 데이터 세트에 적용하여 좋은 결과를 얻었다. 실험에 따르면 딥 러닝을 기반으로 한 융합 모델이 텍스트 정서 분류의 예측성과 정확성을 크게 개선하였다. 본 논문에서 제안한 방법은 모델을 최적화하고 그 모델의 성능을 개선하는 중요한 방법이 될 것이다.

Self-Attention을 적용한 문장 임베딩으로부터 이미지 생성 연구 (A Study on Image Generation from Sentence Embedding Applying Self-Attention)

  • 유경호;노주현;홍택은;김형주;김판구
    • 스마트미디어저널
    • /
    • 제10권1호
    • /
    • pp.63-69
    • /
    • 2021
  • 사람이 어떤 문장을 보고 그 문장에 대해 이해하는 것은 문장 안에서 주요한 단어를 이미지로 연상시켜 그 문장에 대해 이해한다. 이러한 연상과정을 컴퓨터가 할 수 있도록 하는 것을 text-to-image라고 한다. 기존 딥 러닝 기반 text-to-image 모델은 Convolutional Neural Network(CNN)-Long Short Term Memory(LSTM), bi-directional LSTM을 사용하여 텍스트의 특징을 추출하고, GAN에 입력으로 하여 이미지를 생성한다. 기존 text-to-image 모델은 텍스트 특징 추출에서 기본적인 임베딩을 사용하였으며, 여러 모듈을 사용하여 이미지를 생성하므로 학습 시간이 오래 걸린다. 따라서 본 연구에서는 자연어 처리분야에서 성능 향상을 보인 어텐션 메커니즘(Attention Mechanism)을 문장 임베딩에 사용하여 특징을 추출하고, 추출된 특징을 GAN에 입력하여 이미지를 생성하는 방법을 제안한다. 실험 결과 기존 연구에서 사용되는 모델보다 inception score가 높았으며 육안으로 판단하였을 때 입력된 문장에서 특징을 잘 표현하는 이미지를 생성하였다. 또한, 긴 문장이 입력되었을 때에도 문장을 잘 표현하는 이미지를 생성하였다.

심층 신경망을 이용한 변동성 돌파 전략 기반 주식 매매 방법에 관한 연구 (A Study on Stock Trading Method based on Volatility Breakout Strategy using a Deep Neural Network)

  • 이은우;이원부
    • 한국콘텐츠학회논문지
    • /
    • 제22권3호
    • /
    • pp.81-93
    • /
    • 2022
  • 주식 투자는 가장 널리 알려진 재테크 방법들 중 하나지만 실제 투자를 통해 수익을 얻기는 쉽지 않기 때문에 과거부터 효과적이고 안정적인 투자 수익을 얻기 위한 다양한 투자 전략들이 고안되고 시도되어 왔다. 그중 변동성 돌파 전략(Volatility Breakout)은 일일 단위로 일정 수준 이상의 범위를 뛰어넘는 강한 상승세를 돌파 신호로 파악하여 상승하는 추세를 따라가며 일 단위로 빠르게 수익을 실현하는 전략으로 널리 쓰이고 있는 단기 투자 전략들 중 하나이다. 그러나 주식 종목마다 가격의 추이나 변동성의 정도가 다르며 동일한 종목이라도 시기에 따라 주가의 흐름이 일정하지 않아 주가를 예측하고 정확한 매매 시점을 찾아내는 것은 매우 어려운 문제이다. 본 논문에서는 단순히 종가 또는 장기간에 걸친 수익률을 예측하는 기존 연구 방법들과는 달리 단기간에 수익을 실현할 수 있는 주식과 같은 시계열 데이터 분석에 적합한 양방향 장단기 메모리 심층 신경망을 이용하여 변동성 돌파 전략 기반 매매 시의 수익률을 예측하여 주식을 매매하여 방법을 제안한다. 이렇게 학습된 모델로 테스트 데이터에 대하여 실제 매매를 가정하여 실험한 결과 기존의 장단기 메모리 심층 신경망을 이용한 종가 예측 모델보다 수익률과 안정성을 모두 상회하는 결과를 확인할 수 있다.

LSTM 신경망과 Du-CNN을 융합한 적외선 방사특성 예측 및 표적과 클러터 구분을 위한 CR-DuNN 알고리듬 연구 (A Study of CR-DuNN based on the LSTM and Du-CNN to Predict Infrared Target Feature and Classify Targets from the Clutters)

  • 이주영
    • 전기학회논문지
    • /
    • 제68권1호
    • /
    • pp.153-158
    • /
    • 2019
  • In this paper, we analyze the infrared feature for the small coast targets according to the surrounding environment for autonomous flight device equipped with an infrared imaging sensor and we propose Cross Duality of Neural Network (CR-DuNN) method which can classify the target and clutter in coastal environment. In coastal environment, there are various property according to diverse change of air temperature, sea temperature, deferent seasons. And small coast target have various infrared feature according to diverse change of environment. In this various environment, it is very important thing that we analyze and classify targets from the clutters to improve target detection accuracy. Thus, we propose infrared feature learning algorithm through LSTM neural network and also propose CR-DuNN algorithm that integrate LSTM prediction network with Du-CNN classification network to classify targets from the clutters.

순환신경망을 이용한 질병발생건수 예측 (Predicting the number of disease occurrence using recurrent neural network)

  • 이승현;여인권
    • 응용통계연구
    • /
    • 제33권5호
    • /
    • pp.627-637
    • /
    • 2020
  • 본 논문에서는 건강보험심사평가원에서 제공한 약 120만명의 2014년 고령환자의료자료(HIRA-APS-2014-0053)과 기상자료를 일반화추정방정식(generalized estimating equation; GEE) 모형과 long short term memory (LSTM) 기반 순환신경망(recurrent neural network; RNN) 모형으로 분석하여 기상 조건에 따른 주요 주상병의 발생 빈도를 예측한다. 이를 위해 환자가 의료 서비스를 받은 기관의 지역을 이용하여 환자의 거주지를 추정하고 해당 지역의 주별 기상 관측소 자료와 의료자료를 병합하였다. 질병 발생 상태를 세 개의 범주(질병에 걸리지 않음, 관심 주상병 발생, 다른 질병 방생)로 나누었으며 각 범주에 속할 확률을 GEE 모형과 RNN 모형으로 추정하였다. 각 범주별 발생 건수는 해당 범주의 속할 추정확률의 합으로 계산하였으며 비교분석결과 RNN을 이용한 예측이 GEE를 이용한 예측보다 정확도가 높은 것으로 나타났다.

시계열 데이터 활용에 관한 동향 연구 (A Study on Trend Using Time Series Data)

  • 최신형
    • 산업과 과학
    • /
    • 제3권1호
    • /
    • pp.17-22
    • /
    • 2024
  • 인류의 출현과 함께 시작된 역사에는 기록이라는 수단이 있기에 현재에 사는 우리는 데이터를 통해 과거를 확인할 수 있다. 생성되는 데이터는 일정 순간에만 발생하여 저장될 수도 있지만, 과거로부터 현재까지 일정 시간 간격 동안 계속해서 생성될 뿐만 아니라 다가올 미래에도 발생함으로써 이를 활용하여 예측하는 것 또한 중요한 작업이다. 본 논문은 수많은 데이터 중에서 시계열 데이터의 활용 동향을 알아보기 위해서 시계열 데이터의 개념에서부터 머신러닝 분야에서 시계열 데이터 분석에 주로 사용되는 Recurrent Neural Network와 Long-Short Term Memory에 대해 분석하고, 이런 모델들을 활용한 사례의 조사를 통해 의료 진단, 주식 시세 분석, 기후 예측 등 다양한 분야에 활용되어 높은 예측 결과를 보이고 있음을 확인하였고, 이를 바탕으로 향후 활용방안에 대하여 모색해본다.

순환 신경망 모델을 이용한 소형어선의 운동응답 예측 연구 (Study on the Prediction of Motion Response of Fishing Vessels using Recurrent Neural Networks)

  • 서장훈;박동우;남동
    • 해양환경안전학회지
    • /
    • 제29권5호
    • /
    • pp.505-511
    • /
    • 2023
  • 본 논문에서는 소형어선의 운동 응답을 예측하기 위해 딥러닝 모델을 구축하였다. 크기가 다른 두 소형어선을 대상으로 유체동역학 성능을 평가하여 데이터세트를 확보하였다. 딥러닝 모델은 순환 신경망 기법의 하나인 장단기 메모리 기법(LSTM, Long Short-Term Memory)을 사용하였다. 딥러닝 모델의 입력 데이터는 6 자유도 운동 및 파고의 시계열 데이터를 사용하였으며, 출력 라벨로는 6 자유도 운동의 시계열 데이터로 선정하였다. 최적 LSTM 모델 구축을 위해 hyperparameter 및 입력창 길이의 영향을 평가하였다. 구축된 LSTM 모델을 통해 입사파 방향에 따른 시계열 운동 응답을 예측하였다. 예측된 시계열 운동 응답은 해석 결과와 전반적으로 잘 일치함을 확인할 수 있었다. 시계열의 길이가 길어짐에 따라서 예측값과 해석 결과의 차이가 발생하는데, 이는 장기 데이터에 따른 훈련 영향도가 감소 됨에 따라 나타난 것으로 확인할 수 있다. 전체 예측 데이터의 오차는 약 85% 이상의 데이터가 10% 이내의 오차를 보였으며, 소형어선의 시계열 운동 응답을 잘 예측함을 확인하였다. 구축된 LSTM 모델은 소형어선의 모니터링 및 경보 시스템에 활용될 수 있을 것으로 기대한다.