• 제목/요약/키워드: GRU Model

검색결과 135건 처리시간 0.025초

TadGAN 기반 시계열 이상 탐지를 활용한 전처리 프로세스 연구 (A Pre-processing Process Using TadGAN-based Time-series Anomaly Detection)

  • 이승훈;김용수
    • 품질경영학회지
    • /
    • 제50권3호
    • /
    • pp.459-471
    • /
    • 2022
  • Purpose: The purpose of this study was to increase prediction accuracy for an anomaly interval identified using an artificial intelligence-based time series anomaly detection technique by establishing a pre-processing process. Methods: Significant variables were extracted by applying feature selection techniques, and anomalies were derived using the TadGAN time series anomaly detection algorithm. After applying machine learning and deep learning methodologies using normal section data (excluding anomaly sections), the explanatory power of the anomaly sections was demonstrated through performance comparison. Results: The results of the machine learning methodology, the performance was the best when SHAP and TadGAN were applied, and the results in the deep learning, the performance was excellent when Chi-square Test and TadGAN were applied. Comparing each performance with the papers applied with a Conventional methodology using the same data, it can be seen that the performance of the MLR was significantly improved to 15%, Random Forest to 24%, XGBoost to 30%, Lasso Regression to 73%, LSTM to 17% and GRU to 19%. Conclusion: Based on the proposed process, when detecting unsupervised learning anomalies of data that are not actually labeled in various fields such as cyber security, financial sector, behavior pattern field, SNS. It is expected to prove the accuracy and explanation of the anomaly detection section and improve the performance of the model.

KI-HABS: Key Information Guided Hierarchical Abstractive Summarization

  • Zhang, Mengli;Zhou, Gang;Yu, Wanting;Liu, Wenfen
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제15권12호
    • /
    • pp.4275-4291
    • /
    • 2021
  • With the unprecedented growth of textual information on the Internet, an efficient automatic summarization system has become an urgent need. Recently, the neural network models based on the encoder-decoder with an attention mechanism have demonstrated powerful capabilities in the sentence summarization task. However, for paragraphs or longer document summarization, these models fail to mine the core information in the input text, which leads to information loss and repetitions. In this paper, we propose an abstractive document summarization method by applying guidance signals of key sentences to the encoder based on the hierarchical encoder-decoder architecture, denoted as KI-HABS. Specifically, we first train an extractor to extract key sentences in the input document by the hierarchical bidirectional GRU. Then, we encode the key sentences to the key information representation in the sentence level. Finally, we adopt key information representation guided selective encoding strategies to filter source information, which establishes a connection between the key sentences and the document. We use the CNN/Daily Mail and Gigaword datasets to evaluate our model. The experimental results demonstrate that our method generates more informative and concise summaries, achieving better performance than the competitive models.

딥러닝 기법을 활용한 농업용 저수지 유입량 예측 모델 개발 (Development of Agricultural Reservoir Inflow Prediction Model Using Deep Learning)

  • 이선미;이철희;이재응
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.390-390
    • /
    • 2023
  • 최근 기후변화로 인해 가뭄이 5 ~ 7년 주기로 발생하고 있으며 가뭄 강도가 심화되고 있고, 이러한 현상은 향후 10년 이상이 지속될 것으로 예측되고 있다. 이러한 가뭄으로 인해 2022년에는 각 지역에서 제한급수 및 운반급수 피해인구가 발생하였으며, 전국의 다목적댐 또는 용수전용댐에서는 가뭄 대응을 위해 용수를 감량하였다. 특히 2018년에는 농업용수 공급이 어려워 다수의 지역에서는 논이 마르고 밭이 시들어 농업피해가 발생하였다. 이에 따라 농업용 저수지에서는 가뭄 대응을 위해 저수지 운영곡선 및 연계운영 등과 같은 저수지 운영방안 수립이 필요한 실정이다. 하지만 다목적댐과는 달리 농업용 저수지에서는 수문 계측자료가 부족하기 때문에 저수지 운영방안 수립에 한계가 있다. 이에 본 연구에서는 심각한 가뭄이 발생한 섬진강 유역의 농업용 저수지를 대상으로 딥러닝 모델 기반의 일단위 유입량 예측모형을 개발하였다. 저수지 유입량을 예측하기 위해서는 유역평균강우량 및 과거 유입량 등을 독립변수로 선정하였으며, 시계열 자료 분석을 위해 딥러닝 모델 중 GRU(Gated Recurrent Unit) 모델을 활용하였다. 향후에는 예측 유입량을 활용하여 농업용 저수지의 수요량을 고려한 저수지 운영방안 수립을 통해 가뭄에 대응할 수 있을 것으로 기대된다.

  • PDF

Road Surface Data Collection and Analysis using A2B Communication in Vehicles from Bearings and Deep Learning Research

  • Young-Min KIM;Jae-Yong HWANG;Sun-Kyoung KANG
    • 한국인공지능학회지
    • /
    • 제11권4호
    • /
    • pp.21-27
    • /
    • 2023
  • This paper discusses a deep learning-based road surface analysis system that collects data by installing vibration sensors on the 4-axis wheel bearings of a vehicle, analyzes the data, and appropriately classifies the characteristics of the current driving road surface for use in the vehicle's control system. The data used for road surface analysis is real-time large-capacity data, with 48K samples per second, and the A2B protocol, which is used for large-capacity real-time data communication in modern vehicles, was used to collect the data. CAN and CAN-FD commonly used in vehicle communication, are unable to perform real-time road surface analysis due to bandwidth limitations. By using A2B communication, data was collected at a maximum bandwidth for real-time analysis, requiring a minimum of 24K samples/sec for evaluation. Based on the data collected for real-time analysis, performance was assessed using deep learning models such as LSTM, GRU, and RNN. The results showed similar road surface classification performance across all models. It was also observed that the quality of data used during the training process had an impact on the performance of each model.

딥러닝을 활용한 모바일 어플리케이션 리뷰 분류에 관한 연구 (A Study on Classification of Mobile Application Reviews Using Deep Learning)

  • 손재익;노미진;타지주르 라만;표규진;한무명초;김양석
    • 스마트미디어저널
    • /
    • 제10권2호
    • /
    • pp.76-83
    • /
    • 2021
  • 스마트폰과 태블릿과 같은 스마트 기기의 발달과 사용이 증가함에 따라, 모바일 기기를 기반으로 한 모바일 어플리케이션 시장이 급속도로 커지고 있다. 모바일 어플리케이션 사용자는 어플리케이션을 사용 경험을 공유하고자 리뷰를 남기는데, 이를 분석하면 소비자들의 다양한 니즈를 파악할 수 있고 어플리케이션 개발자들은 소비자들이 작성한 리뷰를 통해 애플리케이션의 개선을 위한 유용한 피드백을 받을 수 있다. 그러나 소비자들의 남기는 많은 양의 리뷰를 수작업으로 분석하기 위해서는 많은 시간과 비용을 지불해야하기 때문에 이를 최소화 할 방안을 마련할 필요성이 존재한다. 이에 본 연구에서는 구글 플레이스토어(Google PlayStore)의 배달 어플리케이션 사용자 리뷰를 수집한 후 머신러닝과 딥러닝 기법을 활용하여 어플리케이션 기능 장점, 단점, 기능 개선 요청, 버그 보고의 4가지 범주로 분류하는 방법을 제안한다. 연구 결과, Hugging Face의 pretrain된 BERT기반 Transformer모델의 성능의 경우 위의 4개의 범주에 대한 f1 score값은 차례대로 0.93, 0.51, 0.76, 0.83으로 LSTM, GRU보다 뛰어난 성능을 보인 것을 확인할 수 있었다.

네트워크 환경에서의 몰입형 상호작용을 위한 딥러닝 기반 그룹 동기화 기법 (Deep Learning Based Group Synchronization for Networked Immersive Interactions)

  • 이중재
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제11권10호
    • /
    • pp.373-380
    • /
    • 2022
  • 본 논문에서는 네트워크 환경에서 원격사용자들의 몰입형 상호작용을 위한 딥러닝 기반의 그룹 동기화 기법을 제안한다. 그룹 동기화의 목적은 사용자의 몰입감을 높이기 위해서 모든 참여자가 동시에 상호작용이 가능하게 하는 것이다. 기존 방법은 시간 정확도를 향상을 위해 대부분 NTP(Network Time Protocol) 기반의 시간 동기화 방식에 초점이 맞추어져 있다. 동기화 서버에서는 미디어 재생 시간을 제어하기 위해 이동 평균 필터를 사용한다. 그 한 예로서, 지수 가중평균 방법은 입력 데이터의 변화가 크지 않으면 정확하게 재생 시간을 추종하고 예측하나 네트워크, 코덱, 시스템 상태의 급격한 변화가 있을 때는 안정화를 위해 더 많이 시간이 필요하다. 이런 문제점을 개선하기 위해서 데이터의 특성을 반영할 수 있는 딥러닝 기반의 그룹 동기화 기법인 DeepGroupSync를 제안한다. 제안한 딥러닝 모델은 시계열의 재생 지연 시간을 이용하여 최적의 재생 시간을 예측하는 두 개의 GRU(gated recurrent unit) 계층과 하나의 완전 연결 계층으로 구성된다. 실험에서는 기존의 지수 가중평균 기반 방법과 제안한 DeepGroupSync 방법에 대한 성능을 평가한다. 실험 결과로부터 예상하지 못한 급격한 네트워크 조건 변화에 대해서 제안한 방법이 기존 방법보다 더 강건함을 볼 수 있다.

불확정 표적 모델에 대한 순환 신경망 기반 칼만 필터 설계 (Application of Recurrent Neural-Network based Kalman Filter for Uncertain Target Models)

  • 김동범;정대교;임재혁;민사원;문준
    • 한국군사과학기술학회지
    • /
    • 제26권1호
    • /
    • pp.10-21
    • /
    • 2023
  • For various target tracking applications, it is well known that the Kalman filter is the optimal estimator(in the minimum mean-square sense) to predict and estimate the state(position and/or velocity) of linear dynamical systems driven by Gaussian stochastic noise. In the case of nonlinear systems, Extended Kalman filter(EKF) and/or Unscented Kalman filter(UKF) are widely used, which can be viewed as approximations of the(linear) Kalman filter in the sense of the conditional expectation. However, to implement EKF and UKF, the exact dynamical model information and the statistical information of noise are still required. In this paper, we propose the recurrent neural-network based Kalman filter, where its Kalman gain is obtained via the proposed GRU-LSTM based neural-network framework that does not need the precise model information as well as the noise covariance information. By the proposed neural-network based Kalman filter, the state estimation performance is enhanced in terms of the tracking error, which is verified through various linear and nonlinear tracking problems with incomplete model and statistical covariance information.

심층강화학습을 이용한 Convolutional Network 기반 전산화단층영상 잡음 저감 기술 개발 (Development of Convolutional Network-based Denoising Technique using Deep Reinforcement Learning in Computed Tomography)

  • 조정효;임도빈;남기복;이다혜;이승완
    • 한국방사선학회논문지
    • /
    • 제14권7호
    • /
    • pp.991-1001
    • /
    • 2020
  • 전산화단층영상 품질 개선을 위해 사용되는 지도학습 기반의 딥러닝 기술은 사전 학습을 위해 많은 양의 데이터를 필요로 하는 단점이 있다. 또한 지도학습 기반의 딥러닝 기술은 학습에 사용된 영상의 특징과 학습된 모델에 입력된 영상의 특징이 다른 경우 영상 내부 구조적 왜곡이 유발되는 한계점이 있다. 본 연구에서는 기존 지도학습 기반 딥러닝 기술의 단점을 보완하고 전산화단층영상의 잡음을 감소시킬 수 있는 심층강화학습 기반 영상화 모델을 개발하였다. 심층강화학습 기반 영상화 모델은 shared, value 및 policy 네트워크로 구성하였으며, 영상 잡음 특징 추출 및 모델의 성능 향상을 위해 합성곱, rectified linear unit(ReLU) 활성화 함수, dilation factor 및 게이트순환유닛을 사용하였다. 또한 기존 지도학습 기반 딥러닝 기술을 통해 획득한 영상의 영상품질 비교를 통해 본 연구에서 개발한 영상화 모델의 성능을 평가하였다. 연구결과 기존 기술에 비해 본 연구에서 개발한 영상화 모델 적용 시 전산화단층영상의 정량적 정확도는 큰 폭으로 향상, 잡음은 큰 폭으로 감소함을 확인하였다. 또한 영상화 모델 학습 시 사용한 영상과 구조적 특징이 다른 영상에 대해서도 잡음 감소 효과를 확인하였다. 따라서 본 연구에서 개발한 심층강화학습 기반 영상화 모델을 통해 전산화단층영상의 구조적 특징을 보전함과 동시에 잡음을 감소시킬 수 있다.

딥러닝 표정 인식을 활용한 실시간 온라인 강의 이해도 분석 (Analysis of Understanding Using Deep Learning Facial Expression Recognition for Real Time Online Lectures)

  • 이자연;정소현;신유원;이은혜;하유빈;최장환
    • 한국멀티미디어학회논문지
    • /
    • 제23권12호
    • /
    • pp.1464-1475
    • /
    • 2020
  • Due to the spread of COVID-19, the online lecture has become more prevalent. However, it was found that a lot of students and professors are experiencing lack of communication. This study is therefore designed to improve interactive communication between professors and students in real-time online lectures. To do so, we explore deep learning approaches for automatic recognition of students' facial expressions and classification of their understanding into 3 classes (Understand / Neutral / Not Understand). We use 'BlazeFace' model for face detection and 'ResNet-GRU' model for facial expression recognition (FER). We name this entire process 'Degree of Understanding (DoU)' algorithm. DoU algorithm can analyze a multitude of students collectively and present the result in visualized statistics. To our knowledge, this study has great significance in that this is the first study offers the statistics of understanding in lectures using FER. As a result, the algorithm achieved rapid speed of 0.098sec/frame with high accuracy of 94.3% in CPU environment, demonstrating the potential to be applied to real-time online lectures. DoU Algorithm can be extended to various fields where facial expressions play important roles in communications such as interactions with hearing impaired people.

부산항 컨테이너 물동량을 이용한 시계열 및 딥러닝 예측연구 (Time series and deep learning prediction study Using container Throughput at Busan Port)

  • 이승필;김환성
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2022년도 춘계학술대회
    • /
    • pp.391-393
    • /
    • 2022
  • 최근에는 딥러닝과 빅데이터를 기반으로 한 수요예측 기술이 전자상거래, 물류, 유통 분야의 스마트화를 가속화하고 있다. 특히, 글로벌 운송 네트워크와 현대적인 지능형 물류의 중심인 항만은 4차 산업혁명으로 인한 세계 경제 및 항만 환경의 변화에 발 빠르게 대응하고 있습니다. 항만물동량 예측은 신항만 건설, 항만확장, 터미널 운영 등 다양한 분야에서 중요한 영향을 담당하고 있다. 따라서 본 연구의 목적은 항만 물동량 예측에 자주 쓰이는 시계열 분석과 타 산업에서 좋은 결과를 도출해내고 있는 딥러닝 분석을 비교하여 부산항의 미래 컨테이너 예측에 적합한 예측모델을 제시하는 것이다. 부산항 컨테이너 물동량을 이용하여 학습시키고 그 이후 물동량 예측을 진행하였다. 또한, 상관관계 분석을 통해 물동량 변화와 관련된 외부변수를 선정하여 다변량 딥러닝 예측모델에 적용하였다. 그 결과 부산항 컨테이너 물동량만 이용한 단일변수 예측모델에서 LSTM의 오차가 가장 낮았고, 외부변수를 이용한 다변수 예측모델에서도 LSTM의 성능이 가장 우수하였다.

  • PDF