• 제목/요약/키워드: LSTM 알고리즘

검색결과 189건 처리시간 0.026초

수온 데이터 예측 연구를 위한 통계적 방법과 딥러닝 모델 적용 연구 (Statistical Method and Deep Learning Model for Sea Surface Temperature Prediction)

  • 조문원;최흥배;한명수;정은송;강태순
    • 해양환경안전학회지
    • /
    • 제29권6호
    • /
    • pp.543-551
    • /
    • 2023
  • 기후변화 영향으로 이상고수온, 태풍, 홍수, 가뭄 등 재난 및 안전 관리기술은 지속적으로 고도화를 요구받고 있으며, 특히 해수면 온도는 한반도 주변에서 발생되는 여름철 적조 발생과 동해안 냉수대 출현, 소멸 등에 영향을 신속하게 분석할 수 있는 중요한 인자이다. 따라서, 본 연구에서는 해수면 온도 자료를 해양 이상현상 및 연구에 적극 활용되기 위해 통계적 방법과 딥러닝 알고리즘을 적용하여 예측성능을 평가하였다. 예측에 사용된 해수면 수온자료는 흑산도 조위관측소의 2018년부터 2022년까지 자료이며, 기존 통계적 ARIMA 방법과 Long Short-Term Memory(LSTM), Gated Recurrent Unit(GRU)을 사용하였고, LSTM의 성능을 더욱 향상할 수 있는 Sequence-to-Sequence(s2s) 구조에 Attention 기법을 추가한 Attention Long Short-Term Memory (LSTM)기법을 사용하여 예측 성능 평가를 진행하였다. 평가 결과 Attention LSTM 모델이 타 모델과 비교하여 더 좋은 성능을 보였으며, Hyper parameter 튜닝을 통해 해수면 수온 성능을 개선할 수 있었다.

증류공정 내부 온도 예측을 위한 머신 러닝 모델 개발 (Development of Machine Learning Model for Predicting Distillation Column Temperature)

  • 권혁원;오광철;정용철;조형태;김정환
    • 공업화학
    • /
    • 제31권5호
    • /
    • pp.520-525
    • /
    • 2020
  • 본 연구에서는 증류공정의 제품 생산단 온도 예측을 위한 머신러닝 기반 모델을 개발하였다. 증류공정의 제어는 제품 생산단의 온도를 통해 이루어지고 있어 제어를 위해 정확한 온도 예측이 필요하다. 증류공정에서 온도는 다양한 변수들과 복잡한 비선형의 관계를 형성하고 있으며 시계열 데이터의 특성이 있어 이를 예측하기 위해 순환신경망 기반 알고리즘을 이용하였다. 모델 개발 과정에서 적절한 예측 알고리즘을 선정하기 위해 세 가지 순환신경망 기반 알고리즘과 배치 사이즈 조절하여 제품 생산단 온도를 예측하기 위한 가장 적저한 모델을 선정하였다. LSTM128 모델이 제품 생산단 온도를 예측하기 위한 가장 적절한 모델로 선정되었다. 선정된 모델을 활용하여 실제 공정 운전데이터에 적용한 결과 RMSE 0.0791, R2 0.924의 성능을 보였다.

인공지능을 이용한 국악 멜로디 생성기에 관한 연구 (Korean Traditional Music Melody Generator using Artificial Intelligence)

  • 배준
    • 한국정보통신학회논문지
    • /
    • 제25권7호
    • /
    • pp.869-876
    • /
    • 2021
  • 음악 분야에서는 최근 머신러닝을 이용한 다양한 인공지능 작곡 방법이 시도되고 있다. 하지만 이 연구는 대부분 서양음악을 중심으로 이루어져왔고 국악에 관한 연구는 거의 이루어지지 않았다. 특히 연구를 위한 데이터 세트조차 만들어지지 않은 상태여서 연구에 어려움이 많았다. 이에 해당 논문에서는 국악의 데이터 세트를 만들고 그 데이터 세트를 기반으로 하여 세 가지 알고리즘을 이용하여 국악 멜로디를 생성하고 그 결과물을 비교하여 보기로 한다. 언어와 음악의 유사성에 기반한 LSTM, Music Transformer 그리고 Self Attention 3가지 모델들이 선택되었다. 각 3가지 모델을 이용하여 국악 멜로디 생성기를 모델링하고 학습시켜 국악 멜로디를 생성해 내었다. 사용자 평가 결과 Self Attention 방식이 LSTM 방식과 Music transformer 방식에 비해 높은 선호도를 보였다. 데이터 표현 및 훈련데이터는 인공지능 작곡에 있어 매우 중요하다. 이를 위한 기초적인 국악 데이터 세트를 만들고 다양한 알고리즘으로 인공지능 작곡을 시도하였고 이것이 향후 국악 인공지능 작곡의 연구에 도움이 될 수 있을 것으로 기대한다.

전자상거래 추천시스템을 위한 순환신경망 알고리즘들의 성능평가 (Performance Evaluation of Recurrent Neural Network Algorithms for Recommendation System in E-commerce)

  • 서지혜;용환승
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권7호
    • /
    • pp.440-445
    • /
    • 2017
  • 전자상거래 발전에 따라 온라인 쇼핑을 이용하는 사람들이 증가하였고 제품 또한 다양해지고 있다. 이러한 추세로 구매자가 만족할 수 있는 정확한 추천시스템의 중요성이 증대되었으며 정확도를 높이기 위한 새로운 방법의 연구가 계속되고 있다. 순환신경망은 시퀀스 학습에 적합한 딥 러닝 방법 중 하나이며 본 연구에서는 추천시스템의 정확도를 높이는 방법으로 구매자의 제품 접근순서를 순환신경망에 적용하여 알고리즘 성능평가를 하였다. 알고리즘 성능평가에는 대표적인 순환신경망 알고리즘과 최적화 알고리즘으로 진행하였다. 순환신경망 알고리즘으로는 RNN, LSTM, GRU 그리고 최적화 알고리즘으로는 Adagrad, RMSProp, Adam optimizer를 사용하였다. 실험 도구로는 구글의 오픈소스 라이브러리인 텐서플로우를 사용하였고 데이터는 RecSys Challenge 2015에서 제공하는 e-commerce session 데이터를 활용하였다. 실험 결과 실험 데이터에 적합한 최적의 하이퍼파라미터를 발굴하고 적용하여 RecSys Challenge 2015 참가자들의 결과와 비교하였다. 상품 접근 순서만을 학습시킨 결과이기 때문에 등수가 높지는 않았지만 기존 추천시스템에 접목한다면 정확도 향상에 기여할 수 있을 것으로 보인다.

LID-DS 데이터 세트를 사용한 기계학습 알고리즘 비교 연구 (A Comparative Study of Machine Learning Algorithms Using LID-DS DataSet)

  • 박대경;류경준;신동일;신동규;박정찬;김진국
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권3호
    • /
    • pp.91-98
    • /
    • 2021
  • 오늘날 정보통신 기술이 급격하게 발달하면서 IT 인프라에서 보안의 중요성이 높아졌고 동시에 지능형 지속 공격(Advanced Persistent Threat)처럼 고도화되고 다양한 형태의 사이버 공격이 증가하고 있다. 점점 더 고도화되는 사이버 공격을 조기에 방어하거나 예측하는 것은 매우 중요한 사안으로, NIDS(Network-based Intrusion Detection System) 관련 데이터 분석만으로는 빠르게 변형하는 사이버 공격을 방어하지 못하는 경우가 많이 보고되고 있다. 따라서 현재는 HIDS(Host-based Intrusion Detection System) 데이터 분석을 통해서 위와 같은 사이버 공격을 방어하는데 침입 탐지 시스템에서 생성된 데이터를 이용하고 있다. 본 논문에서는 기존에 사용되었던 데이터 세트에서 결여된 스레드 정보, 메타 데이터 및 버퍼 데이터를 포함한 LID-DS(Leipzig Intrusion Detection-Data Set) 호스트 기반 침입 탐지 데이터를 이용하여 기계학습 알고리즘에 관한 비교 연구를 진행했다. 사용한 알고리즘은 Decision Tree, Naive Bayes, MLP(Multi-Layer Perceptron), Logistic Regression, LSTM(Long Short-Term Memory model), RNN(Recurrent Neural Network)을 사용했다. 평가를 위해 Accuracy, Precision, Recall, F1-Score 지표와 오류율을 측정했다. 그 결과 LSTM 알고리즘의 정확성이 가장 높았다.

Hybrid CNN-LSTM 알고리즘을 활용한 도시철도 내 피플 카운팅 연구 (A Study on People Counting in Public Metro Service using Hybrid CNN-LSTM Algorithm)

  • 최지혜;김민승;이찬호;최정환;이정희;성태응
    • 지능정보연구
    • /
    • 제26권2호
    • /
    • pp.131-145
    • /
    • 2020
  • 산업혁신의 흐름에 발맞추어 다양한 분야에서 활용되고 있는 IoT 기술은 빅데이터의 접목을 통한 새로운 비즈니스 모델의 창출 및 사용자 친화적 서비스 제공의 핵심적인 요소로 부각되고 있다. 사물인터넷이 적용된 디바이스에서 누적된 데이터는 사용자 환경 및 패턴 분석을 통해 맞춤형 지능 시스템을 제공해줄 수 있어 편의 기반 스마트 시스템 구축에 다방면으로 활용되고 있다. 최근에는 이를 공공영역 혁신에 확대 적용하여 CCTV를 활용한 교통 범죄 문제 해결 등 스마트시티, 스마트 교통 등에 활용하고 있다. 그러나 이미지 데이터를 활용하는 기존 연구에서는 개인에 대한 사생활 침해 문제 및 비(非)일반적 상황에서 객체 감지 성능이 저하되는 한계가 있다. 본 연구에 활용된 IoT 디바이스 기반의 센서 데이터는 개인에 대한 식별이 불필요해 사생활 이슈로부터 자유로운 데이터로, 불특정 다수를 위한 지능형 공공서비스 구축에 효과적으로 활용될 수 있다. 대다수의 국민들이 일상적으로 활용하는 도시철도에서의 지능형 보행자 트래킹 시스템에 IoT 기반의 적외선 센서 디바이스를 활용하고자 하였으며 센서로부터 측정된 온도 데이터를 실시간 송출하고, CNN-LSTM(Convolutional Neural Network-Long Short Term Memory) 알고리즘을 활용하여 구간 내 보행 인원의 수를 예측하고자 하였다. 실험 결과 MLP(Multi-Layer Perceptron) 및 LSTM(Long Short-Term Memory), RNN-LSTM(Recurrent Neural Network-Long Short Term Memory)에 비해 제안한 CNN-LSTM 하이브리드 모형이 가장 우수한 예측성능을 보임을 확인하였다. 본 논문에서 제안한 디바이스 및 모델을 활용하여 그간 개인정보와 관련된 법적 문제로 인해 서비스 제공이 미흡했던 대중교통 내 실시간 모니터링 및 혼잡도 기반의 위기상황 대응 서비스 등 종합적 메트로 서비스를 제공할 수 있을 것으로 기대된다.

LSTM/RNN을 사용한 감정인식을 위한 스택 오토 인코더로 EEG 차원 감소 (EEG Dimensional Reduction with Stack AutoEncoder for Emotional Recognition using LSTM/RNN)

  • ;임창균
    • 한국전자통신학회논문지
    • /
    • 제15권4호
    • /
    • pp.717-724
    • /
    • 2020
  • 감성 컴퓨팅은 인간의 상호 작용에서 중요한 역할을 하기 때문에 인간을 인식하는 인공 지능을 통해 감정을 이해하고 식별한다. 우울증, 자폐증, 주의력 결핍 과잉 행동 장애 및 게임 중독과 같은 정신 질환을 잘 이해함으로써 감정과 관련된 문제들을 잘 관리할 수 있을 것이다. 이러한 문제들을 해결하기 위해 감정 인식을 위한 다양한 연구가 수행되었는데 기계학습을 적용하는데 있어서는 알고리즘의 복잡성을 줄이고 정확도를 향상시키기 위한 노력이 필요하다. 본 논문에서는 이러한 노력중의 하나로 Stack AutoEncoder (SAE)를 이용하여 차원을 감소하는 방법과 Long-Short-Term-Memory/Recurrent Neural Networks (LSTM / RNN) 분류를 이용한 감성 분류에 대해 연구한 결과를 제시한다. 제안된 방법은 모델의 복잡성을 줄이고 분류기의 성능을 크게 향상시킨 결과를 가져왔다.

RNN모델에서 하이퍼파라미터 변화에 따른 정확도와 손실 성능 분석 (Analysis of Accuracy and Loss Performance According to Hyperparameter in RNN Model)

  • 김준용;박구락
    • 융합정보논문지
    • /
    • 제11권7호
    • /
    • pp.31-38
    • /
    • 2021
  • 본 논문은 감성 분석에 사용되는 RNN 모델의 최적화를 얻기 위한 성능분석을 위하여 하이퍼파라미터 튜닝에 따른 손실과 정확도의 추이를 관찰하여 모델과의 상관관계를 연구하였다. 연구 방법으로는 시퀀셜데이터를 처리하는데 가장 최적화된 LSTM과 Embedding layer로 히든레이어를 구성한 후, LSTM의 Unit과 Batch Size, Embedding Size를 튜닝하여 각각의 모델에 대한 손실과 정확도를 측정하였다. 측정 결과, 손실은 41.9%, 정확도는 11.4%의 차이를 나타내었고, 최적화 모델의 변화추이는 지속적으로 안정적인 그래프를 보여 하이퍼파라미터의 튜닝이 모델에 지대한 영향을 미침을 확인하였다. 또한 3가지 하이퍼파라미터 중 Embedding Size의 결정이 모델에 가장 큰 영향을 미침을 확인하였다. 향후 이 연구를 지속적으로 이어나가 모델이 최적의 하이퍼파라미터를 직접 찾아낼 수 있는 알고리즘에 대한 연구를 지속적으로 이어나갈 것이다.

LSTM기반의 자료 변동성을 고려한 하천수 회귀수량 예측 알고리즘 개발연구 (Development of Return flow rate Prediction Algorithm with Data Variation based on LSTM)

  • 이승연;유형주;이승오
    • 한국방재안전학회논문집
    • /
    • 제15권2호
    • /
    • pp.45-56
    • /
    • 2022
  • 가뭄 및 갈수시에 용수부족 현상이 발생하나 회귀수량을 고려한 대응이나 대책 마련이 진행되지 않고 있다. 이에 본 연구에서 자료기반의 기계학습 모형(LSTM)을 통해 회귀수량 중 하수종말처리장의 방류량을 예측하였다. 입력자료로 방류량, 유입량, 강수량, 수위를 사용하였고 예측 결과의 정확도를 개선하기 위하여 추가적으로 입력변수의 변동성 분포를 고려하였다. 방류량 자료의 변동성을 확인하기 위해서 관측값과 분포 사이의 잔차를 복합삼각함수 형태로 가정하여 이론적인 확률분포와 함께 방류량 최적의 분포 형태로 나타내었다. 변동성 분포를 고려한 입력자료를 이용한 결과와 그렇지 않는 결과를 비교한 결과, 오차정도가 감소함을 보였으며 이는 변동성 분포가 계절성을 상대적으로 잘 재현하였기 때문이라 판단된다. 따라서 본 연구에서 구축한 하수종말장처리장의 방류량 예측 모형을 활용할 경우 보다 정확한 회귀수량 예측이 가능하여 효율적인 하천수 관리 체계를 수립하는데 기초자료로 활용될 수 있을 것으로 기대된다.

Applying a Novel Neuroscience Mining (NSM) Method to fNIRS Dataset for Predicting the Business Problem Solving Creativity: Emphasis on Combining CNN, BiLSTM, and Attention Network

  • Kim, Kyu Sung;Kim, Min Gyeong;Lee, Kun Chang
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권8호
    • /
    • pp.1-7
    • /
    • 2022
  • 인공지능 기술이 발달하면서 뉴로사이언스 마이닝(NSM: NeuroScience Mining)과 AI를 접목하려는 시도가 증가하고 있다. 나아가 NSM은 뉴로사이언스와 비즈니스 애널리틱스의 결합으로 인해 연구범위가 확장되고 있다. 본 연구에서는 fNIRS 실험을 통해 확보한 뉴로 데이터를 분석하여 비즈니스 문제 해결 창의성(BPSC: business problem-solving creativity)을 예측하고 이를 통해 NSM의 잠재력을 조사한다. BPSC는 비즈니스에서 차별성을 가지게 하는 중요한 요소이지만, 인지적 자원의 하나인 BPSC의 측정 및 예측에는 한계가 존재한다. 본 논문에서는 BPSC 예측 성능을 높이는 방안으로 CNN, BiLSTM 그리고 어텐션 네트워크를 결합한 새로운 NSM 기법을 제안한다. 제안된 NSM 기법을 15만 개 이상의 fNIRS 데이터를 활용하여 유효성을 입증하였다. 연구 결과, 본 논문에서 제안하는 NSM 방법이 벤치마킹한 알고리즘(CNN, BiLSTM)에 비하여 우수한 성능을 가지는 것으로 나타났다.