• Title/Summary/Keyword: long short-term memory neural network

Search Result 271, Processing Time 0.035 seconds

Application of Deep Learning to Solar Data: 1. Overview

  • Moon, Yong-Jae;Park, Eunsu;Kim, Taeyoung;Lee, Harim;Shin, Gyungin;Kim, Kimoon;Shin, Seulki;Yi, Kangwoo
    • The Bulletin of The Korean Astronomical Society
    • /
    • v.44 no.1
    • /
    • pp.51.2-51.2
    • /
    • 2019
  • Multi-wavelength observations become very popular in astronomy. Even though there are some correlations among different sensor images, it is not easy to translate from one to the other one. In this study, we apply a deep learning method for image-to-image translation, based on conditional generative adversarial networks (cGANs), to solar images. To examine the validity of the method for scientific data, we consider several different types of pairs: (1) Generation of SDO/EUV images from SDO/HMI magnetograms, (2) Generation of backside magnetograms from STEREO/EUVI images, (3) Generation of EUV & X-ray images from Carrington sunspot drawing, and (4) Generation of solar magnetograms from Ca II images. It is very impressive that AI-generated ones are quite consistent with actual ones. In addition, we apply the convolution neural network to the forecast of solar flares and find that our method is better than the conventional method. Our study also shows that the forecast of solar proton flux profiles using Long and Short Term Memory method is better than the autoregressive method. We will discuss several applications of these methodologies for scientific research.

  • PDF

Precision Analysis of NARX-based Vehicle Positioning Algorithm in GNSS Disconnected Area

  • Lee, Yong;Kwon, Jay Hyoun
    • Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography
    • /
    • v.39 no.5
    • /
    • pp.289-295
    • /
    • 2021
  • Recently, owing to the development of autonomous vehicles, research on precisely determining the position of a moving object has been actively conducted. Previous research mainly used the fusion of GNSS/IMU (Global Positioning System / Inertial Navigation System) and sensors attached to the vehicle through a Kalman filter. However, in recent years, new technologies have been used to determine the location of a moving object owing to the improvement in computing power and the advent of deep learning. Various techniques using RNN (Recurrent Neural Network), LSTM (Long Short-Term Memory), and NARX (Nonlinear Auto-Regressive eXogenous model) exist for such learning-based positioning methods. The purpose of this study is to compare the precision of existing filter-based sensor fusion technology and the NARX-based method in case of GNSS signal blockages using simulation data. When the filter-based sensor integration technology was used, an average horizontal position error of 112.8 m occurred during 60 seconds of GNSS signal outages. The same experiment was performed 100 times using the NARX. Among them, an improvement in precision was confirmed in approximately 20% of the experimental results. The horizontal position accuracy was 22.65 m, which was confirmed to be better than that of the filter-based fusion technique.

Encoding Dictionary Feature for Deep Learning-based Named Entity Recognition

  • Ronran, Chirawan;Unankard, Sayan;Lee, Seungwoo
    • International Journal of Contents
    • /
    • v.17 no.4
    • /
    • pp.1-15
    • /
    • 2021
  • Named entity recognition (NER) is a crucial task for NLP, which aims to extract information from texts. To build NER systems, deep learning (DL) models are learned with dictionary features by mapping each word in the dataset to dictionary features and generating a unique index. However, this technique might generate noisy labels, which pose significant challenges for the NER task. In this paper, we proposed DL-dictionary features, and evaluated them on two datasets, including the OntoNotes 5.0 dataset and our new infectious disease outbreak dataset named GFID. We used (1) a Bidirectional Long Short-Term Memory (BiLSTM) character and (2) pre-trained embedding to concatenate with (3) our proposed features, named the Convolutional Neural Network (CNN), BiLSTM, and self-attention dictionaries, respectively. The combined features (1-3) were fed through BiLSTM - Conditional Random Field (CRF) to predict named entity classes as outputs. We compared these outputs with other predictions of the BiLSTM character, pre-trained embedding, and dictionary features from previous research, which used the exact matching and partial matching dictionary technique. The findings showed that the model employing our dictionary features outperformed other models that used existing dictionary features. We also computed the F1 score with the GFID dataset to apply this technique to extract medical or healthcare information.

Effectiveness of satellite-based vegetation index on distributed regional rainfall-runoff LSTM model (분포형 지역화 강우-유출 LSTM 모형에서의 위성기반 식생지수의 유효성)

  • Jeonghun Lee;Dongkyun Kim
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.230-230
    • /
    • 2023
  • 딥러닝 알고리즘 중 과거의 정보를 저장하는 문제(장기종속성 문제)가 있는 단순 RNN(Simple Recurrent Neural Network)의 단점을 해결한 LSTM(Long short-term memory)이 등장하면서 특정한 유역의 강우-유출 모형을 구축하는 연구가 증가하고 있다. 그러나 하나의 모형으로 모든 유역에 대한 유출을 예측하는 지역화 강우-유출 모형은 서로 다른 유역의 식생, 지형 등의 차이에서 발생하는 수문학적 행동의 차이를 학습해야 하므로 모형 구축에 어려움이 있다. 따라서, 본 연구에서는 국내 12개의 유역에 대하여 LSTM 기반 분포형 지역화 강우-유출 모형을 구축한 이후 강우 이외의 보조 자료에 따른 정확도를 살펴보았다. 국내 12개 유역의 7년 (2012.01.01-2018.12.31) 동안의 49개 격자(4km2)에 대한 10분 간격 레이더 강우, MODIS 위성 이미지 영상을 활용한 식생지수 (Normalized Difference Vegetation Index), 10분 간격 기온, 유역 평균 경사, 단순 하천 경사를 입력자료로 활용하였으며 10분 간격 유량 자료를 출력 자료로 사용하여 LSTM 기반 분포형 지역화 강우-유출 모형을 구축하였다. 이후 구축된 모형의 성능을 검증하기 위해 학습에 사용되지 않은 3개의 유역에 대한 자료를 활용하여 Nash-Sutcliffe Model Efficiency Coefficient (NSE)를 확인하였다. 식생지수를 보조 자료를 활용하였을 경우 제안한 모형은 3개의 검증 유역에 대하여 하천 흐름을 높은 정확도로 예측하였으며 딥러닝 모형이 위성 자료를 통하여 식생에 의한 차단 및 토양 침투와 같은 동적 요소의 학습이 가능함을 나타낸다.

  • PDF

Flood Predicion of Dorimcheon Stream basin using LSTM (LSTM 기법을 이용한 도림천 유역의 침수 예측)

  • Se Dong Jang;Byunghyun Kim
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.513-513
    • /
    • 2023
  • 최근 이상기후의 영향으로 국지성 및 집중호우로 인한 침수 피해가 증가하고 있다. 도시유역의 홍수는 사회적·경제적으로 큰 손실을 야기할 수 있어 실제 호우에 대한 침수 양상을 신속하게 예측하는것은 매우 중요하다. 이로 인해 침수 해석에 대한 결과를 빨리 제공할 수 있는 기계학습을 기반으로 한 도시 홍수 분석에 대한 연구가 증가하고 있다. 본 연구에서 적용한 LSTM(Long Short-Term Memory) 신경망은 기존 RNN(Recurrent neural network)이 가지고 있는 장기 의존성 문제를 해결하기 위해 고안된 모델으로 시계열 데이터에 대한 예측능력이 뛰어나다는 장점을 가지고있다. LSTM 신경망은 강우에 대한 격자별 침수심을 예측하기 위해 사용되었으며, 입력자료로 2000~2022년도에 걸친 도림천 유역의 침수피해를 야기한 지속시간 6시간 AWS(Automatic Weather System) 관측 강우 자료를 사용하였고 목표값으로 수집된 도림천 유역의 강우자료를 이용하여 SWMM(Storm Water Management Model)의 유출 결과를 바탕으로 수행된 2차원 침수해석 모의 결과를 사용하였다. 연구유역의 SWMM 배수 관망 입력자료의 정확성을 높이기 위해 서울시 하수관로 수위 현황 자료를 활용하여 매개변수 조정을 실시하였으며, 하수관로의 실측 수위와 모의 수위를 일치시켰다. LSTM 신경망을 이용하여 격자별로 예측된 침수심 데이터를 시각화하여 침수흔적도와 비교하였다.

  • PDF

Analysis of AI-based techniques for predicting water level according to rainfall (강우에 따른 수위 예측을 위한 AI 기반 기법 분석)

  • Kim, Jin Hyuck;Kim, Chung-Soo;Kim, Cho-Rong
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2021.06a
    • /
    • pp.294-294
    • /
    • 2021
  • 강우에 따른 수위예측은 수자원 관리 및 재해 예방에 있어 중요하다. 기존의 수문분석은 해당지역의 지형 데이터, 매개변수 최적화 등 수위예측 분석에 있어 어려움을 동반한다. 최근 AI(Artificial Intelligence) 기술의 발전에 따라, 수자원 분야에 AI 기술을 활용하는 연구가 수행되고 있다. 본 연구에서는 데이터 간의 관계를 포착할 수 있는 AI 기반의 기법을 이용하여 강우에 따른 수위예측을 실시하였다. 연구대상 유역으로는 과거 수문데이터가 풍부한 설마천 유역으로 선정하였다. AI 기법으로는 머신러닝 중 SVM (Support Vector Machine)과 Gradient boosting 기법을 이용하였으며, 딥러닝으로는 시계열 분석에 사용되는 RNN (Recurrent Neural Network) 중 LSTM (Long Short-Term Memory) 네트워크을 이용하여 수위 예측 분석을 수행하였다. 성능지표로는 수문분석에 주로 사용되는 상관계수와 NSE (Nash-Sutcliffe Efficiency)를 이용하였다. 분석결과 세 기법 모두 강우에 따른 수위예측을 우수하게 수행하였다. 이 중, LSTM 네트워크는 과거데이터를 이용한 보정기간이 늘어날수록 더욱 높은 성능을 보여주었다. 우리나라의 집중호우와 같은 긴급 재난이 우려되는 상황 시 수위예측은 빠른 판단을 요구한다. 비교적 간편한 데이터를 이용하여 수위예측이 가능한 AI 기반 기법을 적용할 시 위의 요구사항을 충족할 것이라 사료된다.

  • PDF

Comparison of hydrologic models and deep learning techniques for rainfall-runoff analysis (강우유출 분석을 위한 수문 모형과 딥러닝 기법의 비교 분석)

  • Kim, Jin Hyuck;Kim, Cho-Rong;Kim, Chung-Soo
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2021.06a
    • /
    • pp.295-295
    • /
    • 2021
  • 수자원 관리 및 계획 수립에 있어 강우 유출 분석은 가장 중요하며, 기본적인 분석이다. 기존의 강우 유출 분석은 일반적으로 수문 모형을 이용한다. 강우 유출 분석은 강수와 증발산 과정, 즉 물순환에 있어 복잡한 상호 작용을 고려해야한다. 본 연구에서는 기존의 수문 모형과 데이터간의 관계를 포착할 수 있는 딥러닝 기법을 이용한 강우 유출분석 수행하였다. 우리나라의 유역 중, 비교적 풍부한 수문데이터를 보유하고 있는 IHP (International Hydrological Program)의 청미천 유역을 연구대상지역으로 연구를 수행하였다. 수문 모형으로는 SWAT (Soil and Water Assessment Tool)을 이용하였으며, 딥러닝 기법은 시계열 분석에 있어 주로 사용되는 RNN(Recurrent Neural Network) 중 LSTM (Long Short-Term Memory) 네트워크를 이용하였다. 분석결과 수문 모형의 성능 지표인 상관계수와 NSE (Nash-Sutcliffe Efficiency)는 LSTM 네트워크에서 더 높은 성능을 확인 할 수 있었다. 일반적으로 LSTM 네트워크는 보정 기간이 길수록 더욱 좋은 성능을 나타낸다. 즉, 과거 수문데이터가 충분히 확보된 유역에서 LSTM 네트워크와 같은 데이터 기반 모델은 다양한 지형 및 기상데이터를 필요하는 수문 모델보다 유용할 것이라 사료된다.

  • PDF

Korean sentence spacing correction model using syllable and morpheme information (음절과 형태소 정보를 이용한 한국어 문장 띄어쓰기 교정 모델)

  • Choi, Jeong-Myeong;Oh, Byoung-Doo;Heo, Tak-Sung;Jeong, Yeong-Seok;Kim, Yu-Seop
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.141-144
    • /
    • 2020
  • 한국어에서 문장의 가독성이나 맥락 파악을 위해 띄어쓰기는 매우 중요하다. 또한 자연 언어 처리를 할 때 띄어쓰기 오류가 있는 문장을 사용하면 문장의 구조가 달라지기 때문에 성능에 영향을 미칠 수 있다. 기존 연구에서는 N-gram 기반 통계적인 방법과 형태소 분석기를 이용하여 띄어쓰기 교정을 해왔다. 최근 들어 심층 신경망을 활용하는 많은 띄어쓰기 교정 연구가 진행되고 있다. 기존 심층 신경망을 이용한 연구에서는 문장을 음절 단위 또는 형태소 단위로 처리하여 교정 모델을 만들었다. 본 연구에서는 음절과 형태소 단위 모두 모델의 입력으로 사용하여 두 정보를 결합하여 띄어쓰기 교정 문제를 해결하고자 한다. 모델은 문장의 음절과 형태소 시퀀스에서 지역적 정보를 학습할 수 있는 Convolutional Neural Network와 순서정보를 정방향, 후방향으로 학습할 수 있는 Bidirectional Long Short-Term Memory 구조를 사용한다. 모델의 성능은 음절의 정확도와 어절의 정밀도, 어절의 재현율, 어절의 F1 score를 사용해 평가하였다. 제안한 모델의 성능 평가 결과 어절의 F1 score가 96.06%로 우수한 성능을 냈다.

  • PDF

An indoor localization system for estimating human trajectories using a foot-mounted IMU sensor and step classification based on LSTM

  • Ts.Tengis;B.Dorj;T.Amartuvshin;Ch.Batchuluun;G.Bat-Erdene;Kh.Temuulen
    • International journal of advanced smart convergence
    • /
    • v.13 no.1
    • /
    • pp.37-47
    • /
    • 2024
  • This study presents the results of designing a system that determines the location of a person in an indoor environment based on a single IMU sensor attached to the tip of a person's shoe in an area where GPS signals are inaccessible. By adjusting for human footfall, it is possible to accurately determine human location and trajectory by correcting errors originating from the Inertial Measurement Unit (IMU) combined with advanced machine learning algorithms. Although there are various techniques to identify stepping, our study successfully recognized stepping with 98.7% accuracy using an artificial intelligence model known as Long Short-Term Memory (LSTM). Drawing upon the enhancements in our methodology, this article demonstrates a novel technique for generating a 200-meter trajectory, achieving a level of precision marked by a 2.1% error margin. Indoor pedestrian navigation systems, relying on inertial measurement units attached to the feet, have shown encouraging outcomes.

Violent crowd flow detection from surveillance cameras using deep transfer learning-gated recurrent unit

  • Elly Matul Imah;Riskyana Dewi Intan Puspitasari
    • ETRI Journal
    • /
    • v.46 no.4
    • /
    • pp.671-682
    • /
    • 2024
  • Violence can be committed anywhere, even in crowded places. It is hence necessary to monitor human activities for public safety. Surveillance cameras can monitor surrounding activities but require human assistance to continuously monitor every incident. Automatic violence detection is needed for early warning and fast response. However, such automation is still challenging because of low video resolution and blind spots. This paper uses ResNet50v2 and the gated recurrent unit (GRU) algorithm to detect violence in the Movies, Hockey, and Crowd video datasets. Spatial features were extracted from each frame sequence of the video using a pretrained model from ResNet50V2, which was then classified using the optimal trained model on the GRU architecture. The experimental results were then compared with wavelet feature extraction methods and classification models, such as the convolutional neural network and long short-term memory. The results show that the proposed combination of ResNet50V2 and GRU is robust and delivers the best performance in terms of accuracy, recall, precision, and F1-score. The use of ResNet50V2 for feature extraction can improve model performance.