• 제목/요약/키워드: RNN-LSTM

검색결과 208건 처리시간 0.031초

딥러닝 알고리즘별 미세먼지 고농도 예측 성능 비교 (Comparison of High Concentration Prediction Performance of Particulate Matter by Deep Learning Algorithm)

  • 이종성;정용진;오창헌
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 추계학술대회
    • /
    • pp.348-350
    • /
    • 2021
  • 딥러닝을 이용하여 미세먼지 농도를 예측함에 있어 81㎍/m3 이상의 고농도에 대한 특성이 예측 모델에 잘 반영되지 않는 문제가 있다. 본 논문에서는 딥러닝 알고리즘에 따라 고농도 영역에서의 미세먼지에 대한 특성 반영에 대한 결과를 확인하기 위해 예측 성능을 통한 비교를 진행하였다. 성능 평가 결과, 전반적으로 비슷한 수준의 결과를 보였으나, AQI 기준 "매우 나쁨"의 농도에서 RNN 모델이 다른 모델에 비해 보다 높은 정확도를 보였다. 이는 RNN 알고리즘이 DNN, LSTM 알고리즘보다 고농도에 대한 특성 반영이 잘 이루어진 결과를 확인하였다.

  • PDF

Small CNN-RNN Engraft Model Study for Sequence Pattern Extraction in Protein Function Prediction Problems

  • Lee, Jeung Min;Lee, Hyun
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권8호
    • /
    • pp.49-59
    • /
    • 2022
  • 본 논문에서는 2020년 기준 단백질 서열을 이용한 기능과 구조 예측 분야에서 가장 많이 사용되고 있는 딥러닝 모델인 CNN과 LSTM/GRU 모델을 동일한 조건 하에 비교 평가한 연구를 토대로 새로운 효소 기능 예측 모델인 PSCREM을 설계하였다. CNN 합성곱 시 누락되는 세부 패턴을 보존하기 위하여 서열 진화정보를 이용하였으며 중첩 RNN을 통해 기능적으로 중요한 의미를 가지는 아미노산 간의 관계 정보를 추출하고 특징 맵 제작에 참조하였다. 사용된 RNN 계열의 알고리즘은 LSTM과 GRU로 보통 stacked RNN 기법으로 100 units 이상 2~3회 쌓는 것이 일반적이나 본 논문에서는 10, 20 unit으로 구성한 뒤 중첩시켜서 특징 맵 제작에 사용하였다. 모델에 들어가는 데이터는 단백질 서열 데이터로 PSSM profile로 가공한 뒤 사용되었다. 실험 결과 효소 번호 첫 번째 자리를 예측하는 문제에 대해 86.4%의 정확도를 나타냄을 입증하였고, 효소 번호 3번째 자리까지 예측 정확도 84.4%의 성능을 내는 것을 확인하였다. PSCREM은 Overlapped RNN을 통해 단백질 기능에 관련된 고유 패턴을 더 잘 파악하며 Overlapped RNN은 단백질 기능 및 구조 예측 추출 분야에 새로운 방법론으로서 제안된다.

어텐션 알고리듬 기반 양방향성 LSTM을 이용한 동영상의 압축 표준 예측 (Video Compression Standard Prediction using Attention-based Bidirectional LSTM)

  • 김상민;박범준;정제창
    • 방송공학회논문지
    • /
    • 제24권5호
    • /
    • pp.870-878
    • /
    • 2019
  • 본 논문에서는 어텐션 알고리듬 (attention algorithm) 기반의 양방향성 LSTM (bidirectional long short-term memory; BLSTM) 을 동영상의 압축 표준을 예측하기 위해 사용한다. 자연어 처리 (natural language processing; NLP) 분야에서 순환적 신경망 (recurrent neural networks; RNN) 의 구조를 이용하여 문장의 다음 단어를 예측하거나 의미에 따라 문장을 분류하거나 번역하는 연구들은 계속되어왔고, 이는 챗봇, 음성인식 스피커, 번역 애플리케이션 등으로 상용화되었다. LSTM 은 RNN에서 gradient vanishing problem 을 해결하고자 고안됐고, NLP 분야에서 유용하게 사용되고 있다. 제안한 알고리듬은 BLSTM과 특정 단어에 집중하여 분류할 수 있는 어텐션 알고리듬을 자연어 문장이 아닌 동영상의 비트스트림에 적용해 동영상의 압축 표준을 예측하는 것이 가능하다.

RNN-LSTM 기반 장면 자막 메타데이터 생성 방법 (A method for creating the Scene closed-caption metadata based on RNN-LSTM)

  • 곽창욱;김선중
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2018년도 추계학술대회
    • /
    • pp.153-155
    • /
    • 2018
  • 정확한 영상 검색을 지원하기 위해 다양한 데이터와 방법들을 통한 메타데이터 생성 연구들이 이루어지고 있다. 자막 데이터를 기존의 키워드 기반의 메타데이터 생성 방법을 이용했을 경우, 구어체, 불완전 문장의 특징을 가진 특징을 반영하는데 어려움이 있었다. 또한, 단순히 키워드 매칭에 의존하기 때문에 문장에 중의적 단어가 포함되어 있을 경우에 검색 정확도가 떨어진다는 한계점이 있다. 따라서, 본 논문에서는 이러한 문제를 해결하기 위해 문장 전체를 특정 단위로 표현한 메타데이터를 생성한다. 이를 위해 비지도 학습인 RNN-LSTM 기반 네트워크를 이용하여 자막을 인코딩하고 장면 지식으로 생성하는 방법을 제안한다. 실험에서는 본 시스템을 통해 임의의 자막을 입력하고 유사도 기반의 결과 비교를 통해 자막 메타데이터의 정성적 평가를 수행하였다.

  • PDF

IoT 스트리밍 센서 데이터에 기반한 실시간 PM10 농도 예측 LSTM 모델 (Real-time PM10 Concentration Prediction LSTM Model based on IoT Streaming Sensor data)

  • 김삼근;오택일
    • 한국산학기술학회논문지
    • /
    • 제19권11호
    • /
    • pp.310-318
    • /
    • 2018
  • 최근 사물인터넷(IoT)의 등장으로 인터넷에 연결된 다양한 기기들에 의해 대규모의 데이터가 생성됨에 따라 빅데이터 분석의 중요성이 증가하고 있다. 특히 실시간으로 생성되는 대규모의 IoT 스트리밍 센서 데이터를 분석하여 새로운 의미 있는 미래 예측을 통해 다양한 서비스를 제공하는 것이 필요하게 되었다. 본 논문은 AWS를 활용하여 IoT 센서로부터 생성되는 스트리밍 데이터에 기반하여 실시간 실내 PM10 농도 예측 LSTM 모델을 제안한다. 또한 제안 모델에 따른 실시간 실내 PM10 농도 예측 서비스를 구축한다. 논문에 사용된 데이터는 PM10 IoT 센서로부터 24시간 동안 수집된 스트리밍 데이터이다. 이를 LSTM의 입력 데이터로 사용하기 위해 PM10 시계열 데이터로부터 30개의 연속된 값으로 이루어진 시퀀스 데이터로 변환한다. LSTM 모델은 바로 인접한 공간으로 이동해 가는 슬라이딩 윈도우 프로세스를 통하여 학습한다. 또한 모델의 성능 개선을 위해 24시간마다 수집한 스트리밍 데이터에 대해 점진적 학습 방법을 적용한다. 제안한 LSTM 모델의 성능을 평가하기 위해 선형회귀 모델 및 순환형 신경망(RNN) 모델과 비교한다. 실험 결과는 제안한 LSTM 예측 모델이 선형 회귀보다 700%, RNN 모델보다는 140% 성능 개선이 있음을 보여주었다.

해양환경 모니터링을 위한 순환 신경망 기반의 돌고래 클릭 신호 분류 알고리즘 개발 (Development of Dolphin Click Signal Classification Algorithm Based on Recurrent Neural Network for Marine Environment Monitoring)

  • 정서제;정우근;신성렬;김동현;김재수;변기훈;이다운
    • 지구물리와물리탐사
    • /
    • 제26권3호
    • /
    • pp.126-137
    • /
    • 2023
  • 본 연구에서는 해양 모니터링 중에 기록된 돌고래 클릭 신호를 분류하기 위해 순환 신경망(RNN)을 적용하는 방법을 검토했다. 클릭 신호 분류의 정확도를 높이기 위해 단일 시계열 자료를 분수 푸리에 변환을 사용하여 분수 영역으로 변환하여 특징을 확장했으며, 분류를 위한 최적의 네트워크를 결정하기 위해 세 가지 순환 신경망 모델(LSTM, GRU, BiLSTM)을 비교 분석하였다. 순환 신경망 모델의 입력 자료로써 이용된 분수 영역 자료의 경우, 분수 푸리에 변환 시 회전 각도에 따라 다른 특성을 가지므로, 각 네트워크 모델에 따라 우수한 성능을 가지는 회전 각도 범위를 분석했다. 이때 네트워크 성능 분석을 위해 정확도, 정밀도, 재현율, F1-점수와 같은 성능 평가 지표를 도입했다. 수치실험 결과, 세 가지 네트워크 모두 높은 성능을 보였으며, BiLSTM 네트워크가 LSTM, GRU에 비해 뛰어난 학습 결과를 제공했다. 마지막으로, 현장 자료 적용 가능성 측면에서 BiLSTM 네트워크가 다른 네트워크에 비해 낮은 오탐지 결과를 제공하였다.

RNN-LSTM 알고리즘을 이용한 하천의 수질인자 예측 (Prediction of Water Quality Factor for River Basin using RNN-LSTM Algorithm)

  • 임희성;안현욱
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2020년도 학술발표회
    • /
    • pp.219-219
    • /
    • 2020
  • 하천의 수질을 나타내는 환경지표 중 국가 TMS(Tele Monitoring system)의 수질측정망을 통해 관리되고 있는 지표로는 DO, BOD, COD, SS, TN, TP 등 여러 인자들이 있다. 이러한 수질인자는 하천의 자정작용에 있어 많은 영향을 나타내고 있다. 이를 활용한 경제적이고 합리적인 수질관리를 위해 하천의 자정작용을 활용하는 것이 중요하다. 생물학적 작용을 가장 효과적으로 활용하기 위해서는 수질오염 데이터에 기초한 수질예측을 채택하여 적절한 대책이 필요하다. 이를 위해서는 수질인자의 데이터를 측정하고 축적해 수질오염을 예측하는 것이 필수적인데, 실제적으로 수질인자의 일일 측정은 비용 관점에서 쉽게 접근할 수 없다. 본 연구에서는 시계열 학습으로 알려진 RNN-LSTM(Recurrent Neural Network-Long Term Memory) 알고리즘을 활용하여 기존에 측정된 수질인자의 데이터를 통해 시간당 및 일일 수질인자를 예측하려고 했다. 연구에 앞서, 기존에 시간단위로 측정된 수질인자 데이터의 이상 유무를 확인 후, 에러값은 제거하고 12시간 이하 데이터가 누락되었을 때는 선형 보간하여 데이터를 사용하고, 1일 데이터도 10일 이하 데이터가 누락되었을 때 선형 보간하여 데이터를 활용하여 수질인자를 예측하였다. 수질인자를 예측하기 위해 구글이 개발한 딥러닝 오픈소스 라이브러리인 텐서플로우를 활용하였고, 연구지역으로는 대한민국 부산에 위치한 온천천의 유역을 선정하였다. 수질인자 데이터 수집은 부산광역시에서 운영하는 보건환경정보 공개시스템의 자료를 활용하였다. 모델의 연구를 위해 하천의 수질인자, 기상자료 데이터를 입력자료로 활용하였다. 분석에서는 입력자료와, 반복횟수, 시계열의 길이 등을 조절해 수질 요인을 예측했고, 모델의 정확도도 분석하였다.

  • PDF

부산광역시 온천천 유역의 RNN-LSTM 알고리즘을 이용한 DO농도 예측 (Prediction of the DO concentration using the RNN-LSTM algorithm in Oncheoncheon basin, Busan, Republic of Korea)

  • 임희성;안현욱
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2021년도 학술발표회
    • /
    • pp.86-86
    • /
    • 2021
  • 온천천은 부산광역시 금정구, 동래구, 연제구를 흐르는 도심 하천으로 부산 시민들의 도심 속 산책길, 자전거 길 등으로 활용되는 도시하천이다. 그러나 온천천 양안의 동래 곡저 평야가 시가지화 되고 온천천 발원지인 금정산 주변에서 무허가 상수도를 사용하고 각종 쓰레기와 하수의 유입으로 인해 하천 전체가 하수관으로 변해왔다. 이에 따라 부산광역시는 온천천 정비 계획을 시행하여 하천 정비와 함께 자동측정망을 설치하여 하천의 DO (dissolved oxygen), 탁도, TDS농도 등 자료를 수집하고 있다. 그러나 자동측정망으로 쌓여가는 데이터를 활용하여 DO농도 예측은 거의 이뤄지지 않고 있다. DO는 하천의 수질 오염 정도를 판단하는 수질인자로 역사적으로 하천 연구의 주요 연구 대상이 되어 왔다. 본 연구에서는 일 자료 뿐만 아니라 시 자료를 기반으로 RNN-LSTM 알고리즘을 활용한 DO예측을 시도하였다. RNN-LSTM은 시계열 학습에 뛰어난 알고리즘으로 인공신경망의 발전된 형태인 순환신경망이다. 연구에 앞서 부산광역시 보건환경정보 공개시스템으로부터 받은 자료 중에서 교정, 보수 중, 비사용, 장비전원단절 등으로 인해 누락데이터를 2014년 1월 1일부터 2018년 12월 31일의 데이터 전수조사 후 이상데이터를 확인하여 선형 보간하여 데이터를 사용하였다. 연구에서는 Google에서 개발한 딥러닝 오픈소스 라이브러리인 텐서플로우를 활용하여 부산광역시 금정구 부곡동에 위치한 부곡교 관측소의 DO농도를 시간 또는 일 예측을 하였다. 일 예측 학습에는 2014년~ 2018년의 기상자료(기온, 상대습도, 풍속, 강수량), DO농도 자료를 사용하였고, 시 예측 학습에는 연속된 자료가 가장 많은 2015년 3월 ~ 12월까지의 데이터를 활용하여 연구를 진행하였다. 모형의 검증을 위해 결정계수(R square)를 이용하여 통계분석을 실시하였다.

  • PDF

Comparison of regression model and LSTM-RNN model in predicting deterioration of prestressed concrete box girder bridges

  • Gao Jing;Lin Ruiying;Zhang Yao
    • Structural Engineering and Mechanics
    • /
    • 제91권1호
    • /
    • pp.39-47
    • /
    • 2024
  • Bridge deterioration shows the change of bridge condition during its operation, and predicting bridge deterioration is important for implementing predictive protection and planning future maintenance. However, in practical application, the raw inspection data of bridges are not continuous, which has a greater impact on the accuracy of the prediction results. Therefore, two kinds of bridge deterioration models are established in this paper: one is based on the traditional regression theory, combined with the distribution fitting theory to preprocess the data, which solves the problem of irregular distribution and incomplete quantity of raw data. Secondly, based on the theory of Long Short-Term Memory (LSTM) Recurrent Neural Network (RNN), the network is trained using the raw inspection data, which can realize the prediction of the future deterioration of bridges through the historical data. And the inspection data of 60 prestressed concrete box girder bridges in Xiamen, China are used as an example for validation and comparative analysis, and the results show that both deterioration models can predict the deterioration of prestressed concrete box girder bridges. The regression model shows that the bridge deteriorates gradually, while the LSTM-RNN model shows that the bridge keeps great condition during the first 5 years and degrades rapidly from 5 years to 15 years. Based on the current inspection database, the LSTM-RNN model performs better than the regression model because it has smaller prediction error. With the continuous improvement of the database, the results of this study can be extended to other bridge types or other degradation factors can be introduced to improve the accuracy and usefulness of the deterioration model.

Stacked Bidirectional LSTM-CRFs를 이용한 한국어 의미역 결정 (Korean Semantic Role Labeling using Stacked Bidirectional LSTM-CRFs)

  • 배장성;이창기
    • 정보과학회 논문지
    • /
    • 제44권1호
    • /
    • pp.36-43
    • /
    • 2017
  • 의미역 결정 연구에 있어 구문 분석 정보는 술어-논항 사이의 의존 관계를 포함하고 있기 때문에 의미역 결정 성능 향상에 큰 도움이 된다. 그러나 의미역 결정 이전에 구문 분석을 수행해야 하는 비용(overhead)이 발생하게 되고, 구문 분석 단계에서 발생하는 오류를 그대로 답습하는 단점이 있다. 이러한 문제점을 해결하기 위해 본 논문에서는 구문 분석 정보를 제외한 형태소 분석 정보만을 사용하는 End-to-end SRL 방식의 한국어 의미역 결정 시스템을 제안하고, 순차 데이터 모델링에 적합한 LSTM RNN을 확장한 Stacked Bidirectional LSTM-CRFs 모델을 적용해 구문 분석 정보 없이 기존 연구보다 더 높은 성능을 얻을 수 있음을 보인다.