• 제목/요약/키워드: Long short-term memory network

검색결과 324건 처리시간 0.024초

딥러닝을 활용한 유자망어선 조업행태 분류모델 개발 (Development of Fishing Activity Classification Model of Drift Gillnet Fishing Ship Using Deep Learning Technique)

  • 김광일;김병엽;유상록;이정훈;이경훈
    • 한국수산과학회지
    • /
    • 제57권4호
    • /
    • pp.479-488
    • /
    • 2024
  • In recent years, changes in the fishing ground environment have led to reduced catches by fishermen at traditional fishing spots and increased operational costs related to vessel exploration, fuel, and labor. In this study, we developed a deep learning model to classify the fishing activities of drift gillnet fishing boats using AIS (automatic identification system) trajectory data. The proposed model integrates long short-term memory and 1-dimensional convolutional neural network layers to effectively distinguish between fishing (throwing and hauling) and non-fishing operations. Training on a dataset derived from AIS and validation against a subset of CCTV footage, the model achieved high accuracy, with a classification accuracy of 90% for fishing events. These results show that the model can be used effectively to monitor and manage fishing activities in coastal waters in real time.

LSTM 기반의 sequence-to-sequence 모델을 이용한 한글 자동 띄어쓰기 (LSTM based sequence-to-sequence Model for Korean Automatic Word-spacing)

  • 이태석;강승식
    • 스마트미디어저널
    • /
    • 제7권4호
    • /
    • pp.17-23
    • /
    • 2018
  • 자동 띄어쓰기 특성을 효과적으로 처리할 수 있는 LSTM(Long Short-Term Memory Neural Networks) 기반의 RNN 모델을 제시하고 적용한 결과를 분석하였다. 문장이 길거나 일부 노이즈가 포함된 경우에 신경망 학습이 쉽지 않은 문제를 해결하기 위하여 입력 데이터 형식과 디코딩 데이터 형식을 정의하고, 신경망 학습에서 드롭아웃, 양방향 다층 LSTM 셀, 계층 정규화 기법, 주목 기법(attention mechanism)을 적용하여 성능을 향상시키는 방법을 제안하였다. 학습 데이터로는 세종 말뭉치 자료를 사용하였으며, 학습 데이터가 부분적으로 불완전한 띄어쓰기가 포함되어 있었음에도 불구하고, 대량의 학습 데이터를 통해 한글 띄어쓰기에 대한 패턴이 의미 있게 학습되었다. 이것은 신경망에서 드롭아웃 기법을 통해 학습 모델의 오버피팅이 되지 않도록 함으로써 노이즈에 강한 모델을 만들었기 때문이다. 실험결과로 LSTM sequence-to-sequence 모델이 재현율과 정확도를 함께 고려한 평가 점수인 F1 값이 0.94로 규칙 기반 방식과 딥러닝 GRU-CRF보다 더 높은 성능을 보였다.

Merlin 툴킷을 이용한 한국어 TTS 시스템의 심층 신경망 구조 성능 비교 (Performance comparison of various deep neural network architectures using Merlin toolkit for a Korean TTS system)

  • 홍준영;권철홍
    • 말소리와 음성과학
    • /
    • 제11권2호
    • /
    • pp.57-64
    • /
    • 2019
  • 본 논문에서는 음성 합성을 위한 오픈소스 시스템인 Merlin 툴킷을 이용하여 한국어 TTS 시스템을 구성한다. TTS 시스템에서 HMM 기반의 통계적 음성 합성 방식이 널리 사용되고 있는데, 이 방식에서 문맥 요인을 포함시키는 음향 모델링 구성의 한계로 합성 음성의 품질이 저하된다고 알려져 있다. 본 논문에서는 여러 분야에서 우수한 성능을 보여 주는 심층 신경망 기법을 적용하는 음향 모델링 아키텍처를 제안한다. 이 구조에는 전연결 심층 피드포워드 신경망, 순환 신경망, 게이트 순환 신경망, 단방향 장단기 기억 신경망, 양방향 장단기 기억 신경망 등이 포함되어 있다. 실험 결과, 문맥을 고려하는 시퀀스 모델을 아키텍처에 포함하는 것이 성능 개선에 유리하다는 것을 알 수 있고, 장단기 기억 신경망을 적용한 아키텍처가 가장 좋은 성능을 보여주었다. 그리고 음향 특징 파라미터에 델타와 델타-델타 성분을 포함하는 것이 성능 개선에 유리하다는 결과가 도출되었다.

A Method for Generating Malware Countermeasure Samples Based on Pixel Attention Mechanism

  • Xiangyu Ma;Yuntao Zhao;Yongxin Feng;Yutao Hu
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제18권2호
    • /
    • pp.456-477
    • /
    • 2024
  • With information technology's rapid development, the Internet faces serious security problems. Studies have shown that malware has become a primary means of attacking the Internet. Therefore, adversarial samples have become a vital breakthrough point for studying malware. By studying adversarial samples, we can gain insights into the behavior and characteristics of malware, evaluate the performance of existing detectors in the face of deceptive samples, and help to discover vulnerabilities and improve detection methods for better performance. However, existing adversarial sample generation methods still need help regarding escape effectiveness and mobility. For instance, researchers have attempted to incorporate perturbation methods like Fast Gradient Sign Method (FGSM), Projected Gradient Descent (PGD), and others into adversarial samples to obfuscate detectors. However, these methods are only effective in specific environments and yield limited evasion effectiveness. To solve the above problems, this paper proposes a malware adversarial sample generation method (PixGAN) based on the pixel attention mechanism, which aims to improve adversarial samples' escape effect and mobility. The method transforms malware into grey-scale images and introduces the pixel attention mechanism in the Deep Convolution Generative Adversarial Networks (DCGAN) model to weigh the critical pixels in the grey-scale map, which improves the modeling ability of the generator and discriminator, thus enhancing the escape effect and mobility of the adversarial samples. The escape rate (ASR) is used as an evaluation index of the quality of the adversarial samples. The experimental results show that the adversarial samples generated by PixGAN achieve escape rates of 97%, 94%, 35%, 39%, and 43% on the Random Forest (RF), Support Vector Machine (SVM), Convolutional Neural Network (CNN), Convolutional Neural Network and Recurrent Neural Network (CNN_RNN), and Convolutional Neural Network and Long Short Term Memory (CNN_LSTM) algorithmic detectors, respectively.

입출력구조와 신경망 모델에 따른 딥러닝 기반 정규화 기법의 성능 분석 (Performance Analysis of Deep Learning-based Normalization According to Input-output Structure and Neural Network Model)

  • 류창수;김근환
    • 한국산업정보학회논문지
    • /
    • 제29권4호
    • /
    • pp.13-24
    • /
    • 2024
  • 본 논문에서는 다양한 신경망 모델과 입출력 구조에 따른 정규화 기법의 성능을 비교 분석하였다. 분석을 위해 균등한 잡음과 최대 3개의 간섭 신호가 있는 잡음 환경에 대한 시뮬레이션 기반의 데이터 세트를 사용하였다. 실험 결과, 잡음 분산을 직접 출력하는 End-to-End 구조에 대해서 1-D 콘볼루션 신경망과 BiLSTM 모델을 사용할 경우 우수한 성능을 보였으며, 특히 간섭 신호에 대해 강건한 것으로 분석되었다. 이러한 결과는 다층 퍼셉트론 신경망과 트랜스포머보다 1-D 콘볼루션 신경망 및 BiLSTM 모델이 귀납적 편향이 강하기 때문에 나타난 것으로 판단된다. 이 논문의 분석 결과는 향후 딥러닝 기반 정규화 기법 연구에 유용한 기준점으로 활용될 수 있을 것으로 기대된다.

심층 신경망을 활용한 손상된 음성파일 복원 자동화 (Restoration of damaged speech files using deep neural networks)

  • 허희수;소병민;양일호;윤성현;유하진
    • 한국음향학회지
    • /
    • 제36권2호
    • /
    • pp.136-143
    • /
    • 2017
  • 본 논문에서는 심층 신경망을 이용하여 손상된 음성파일을 복원하는 방법을 제안한다. 본 논문에서 다루는 음성파일 복원은 기존의 파일 카빙(file carving) 기반의 복원과는 다른 개념으로, 기존 기법으로는 복원할 수 없었던 손실된 정보를 복원하는 것이 목적이다. 새로운 복원 기법을 수행하는 과정에서 필요한 작업이지만 사람이 직접 수행할 수 없거나 너무 많은 시간이 소요되는 작업을 심층 신경망을 활용해 자동화할 수 있는 방안을 제안하였으며 관련한 실험을 진행하였다. 실험 결과, 심층 신경망을 활용해 음성, 비음성 분류나 음성파일 부호화 방식의 식별이 가능해 기존 파일 카빙 기반 방법이 복원하지 못하는 파일을 복원할 수 있었다.

Tunnel wall convergence prediction using optimized LSTM deep neural network

  • Arsalan, Mahmoodzadeh;Mohammadreza, Taghizadeh;Adil Hussein, Mohammed;Hawkar Hashim, Ibrahim;Hanan, Samadi;Mokhtar, Mohammadi;Shima, Rashidi
    • Geomechanics and Engineering
    • /
    • 제31권6호
    • /
    • pp.545-556
    • /
    • 2022
  • Evaluation and optimization of tunnel wall convergence (TWC) plays a vital role in preventing potential problems during tunnel construction and utilization stage. When convergence occurs at a high rate, it can lead to significant problems such as reducing the advance rate and safety, which in turn increases operating costs. In order to design an effective solution, it is important to accurately predict the degree of TWC; this can reduce the level of concern and have a positive effect on the design. With the development of soft computing methods, the use of deep learning algorithms and neural networks in tunnel construction has expanded in recent years. The current study aims to employ the long-short-term memory (LSTM) deep neural network predictor model to predict the TWC, based on 550 data points of observed parameters developed by collecting required data from different tunnelling projects. Among the data collected during the pre-construction and construction phases of the project, 80% is randomly used to train the model and the rest is used to test the model. Several loss functions including root mean square error (RMSE) and coefficient of determination (R2) were used to assess the performance and precision of the applied method. The results of the proposed models indicate an acceptable and reliable accuracy. In fact, the results show that the predicted values are in good agreement with the observed actual data. The proposed model can be considered for use in similar ground and tunneling conditions. It is important to note that this work has the potential to reduce the tunneling uncertainties significantly and make deep learning a valuable tool for planning tunnels.

통합적인 인공 신경망 모델을 이용한 발틱운임지수 예측 (Predicting the Baltic Dry Bulk Freight Index Using an Ensemble Neural Network Model)

  • 소막
    • 무역학회지
    • /
    • 제48권2호
    • /
    • pp.27-43
    • /
    • 2023
  • 해양 산업은 글로벌 경제 성장에 매우 중요한 역할을 하고 있다. 특히 벌크운임지수인 BDI는 글로벌 상품 가격과 매우 밀접한 상관 관계를 지니고 있기 때문에 BDI 예측 연구의 중요성이 증가하고 있다. 본연구에서는 글로벌 시장 상황 불안정성으로 인한 정확한 BDI 예측 어려움을 해결하고자 머신러닝 전략을 도입하였다. CNN과 LSTM의 이점을 결합한 예측 모델을 설정하였고, 모델 적합도를 위해 27년간의 일일 BDI 데이터를 수집하였다. 연구 결과, CNN을 통해 추출된 BDI 특징을 기반으로 LSTM이 BDI를 R2 값 94.7%로 정확하게 예측할 수 있었다. 본 연구는 해운 경제지표 연구 분야에서 새로운 머신 러닝 통합 접근법을 적용했을 뿐만 아니라 해운 관련기관과 금융 투자 분야의 위험 관리 의사결정에 대한 시사점을 제공한다는 점에서 그 의의가 있다.

ANFIS 알고리즘을 이용한 지하수수위 예측 (Groundwater Level Prediction Using ANFIS Algorithm)

  • 박귀만;배영철
    • 한국전자통신학회논문지
    • /
    • 제14권6호
    • /
    • pp.1235-1240
    • /
    • 2019
  • 지진이 발생하기 전·후에 지하수 수위는 급격하게 변화되는 것으로 알려져 있으며 지진 예측을 위해 지하수 수위 변화를 이용한다. 본 연구는 지진을 예측에 사용하기 위해 ANFIS 알고리즘을 이용한 밀양시의 지하수수위를 예측한다. 이를 위해 본 논문에서는 경남 밀양시의 기상청의 강수량, 기온 데이터와 한국농어촌공사 농촌지하수관측망의 지하수수위 데이터가 사용되었다. 예측 측정을 위해 RMSE, MAPE 오차 계산 방법을 사용하였다. 예측 결과 수위가 자연적인 요인에 의해 주기적인 패턴은 예측이 되었으나 인위적인 요인 등 다른 변수에 의해 변동되는 지하수수위 변화값은 감지하지 못하였다. 이를 해결하기 위해서는 지하수수위를 인위적인 변수 등을 수치화하여 데이터화 하는 것과 지하수수위를 측정한 관측공의 정확한 위치에 따른 강수량과 기압 등이 필요하다.

Terra MODIS NDVI 및 LST 자료와 RNN-LSTM을 활용한 토양수분 산정 (RNN-LSTM Based Soil Moisture Estimation Using Terra MODIS NDVI and LST)

  • 장원진;이용관;이지완;김성준
    • 한국농공학회논문집
    • /
    • 제61권6호
    • /
    • pp.123-132
    • /
    • 2019
  • This study is to estimate the spatial soil moisture using Terra MODIS (Moderate Resolution Imaging Spectroradiometer) satellite data and machine learning technique. Using the 3 years (2015~2017) data of MODIS 16 days composite NDVI (Normalized Difference Vegetation Index) and daily Land Surface Temperature (LST), ground measured precipitation and sunshine hour of KMA (Korea Meteorological Administration), the RDA (Rural Development Administration) 10 cm~30 cm average TDR (Time Domain Reflectometry) measured soil moisture at 78 locations was tested. For daily analysis, the missing values of MODIS LST by clouds were interpolated by conditional merging method using KMA surface temperature observation data, and the 16 days NDVI was linearly interpolated to 1 day interval. By applying the RNN-LSTM (Recurrent Neural Network-Long Short Term Memory) artificial neural network model, 70% of the total period was trained and the rest 30% period was verified. The results showed that the coefficient of determination ($R^2$), Root Mean Square Error (RMSE), and Nash-Sutcliffe Efficiency were 0.78, 2.76%, and 0.75 respectively. In average, the clay soil moisture was estimated well comparing with the other soil types of silt, loam, and sand. This is because the clay has the intrinsic physical property for having narrow range of soil moisture variation between field capacity and wilting point.