• 제목/요약/키워드: long short-term memory neural network

검색결과 265건 처리시간 0.028초

머신러닝을 활용한 결측 부동산 매매 지수의 추정에 대한 연구 (A Study on the Index Estimation of Missing Real Estate Transaction Cases Using Machine Learning)

  • 김경민;김규석;남대식
    • 한국경제지리학회지
    • /
    • 제25권1호
    • /
    • pp.171-181
    • /
    • 2022
  • 부동산 시장 분석에 있어 기본이 되는 정량적 데이터는 부동산 가격 지수이다. OECD와 같은 국제기구에서는 국가별 부동산 가격 지수를 공표하고, 한국부동산원에서는 광역시 단위와 시군구 단위의 지수를 산출한다. 그런데 공간단위를 시군구보다 정교한 동단위, 아파트 단지 단위로 설정하는 경우, 여러 문제점을 맞이하게 된다. 대표적인 문제는 결측치이다. 공간적 범위를 좁힐수록 단위 기간에 따라 거래가 적거나 아예 존재하지 않는 경우가 존재하기에 이 경우에는 지수의 산출이 불가능한 결측치가 발생할 수 있다. 본 연구에서는 지도학습 기반의 머신러닝 기법을 활용하여 특정 범위와 기간에 거래가 존재하지 않아 발생할 수 있는 결측치를 보완하는 기법을 제안한다. 본 모형을 통해 부동산 매매 지수의 실제값이 존재하는 것들의 예측을 통해 그 정확도를 검증하고 결측치가 발생한 것들의 예측도 해 볼 수 있었다.

BIS(Bus Information System) 정확도 향상을 위한 머신러닝 적용 방안 연구 (A Study on the Application of Machine Learning to Improve BIS (Bus Information System) Accuracy)

  • 장준용;박준태
    • 한국ITS학회 논문지
    • /
    • 제21권3호
    • /
    • pp.42-52
    • /
    • 2022
  • BIS(Bus Information System) 서비스는 대도시를 포함하여 중소도시까지 전국적으로 확대운영되는 추세이며, 이용자의 만족도는 지속적으로 향상되고 있다. 이와 함께 버스도착시간 신뢰성 향상 관련 기술개발, 오차 최소화를 위한 개선 연구가 지속되고 있으며 무엇보다 정보 정확도의 중요성이 부각되고 있다. 본 연구에서는 기계학습 방법인 LSTM을 이용하여 정확도 성능을 평가하였으며 기존 칼만필터, 뉴럴 네트워크 등 방법론과 비교하였다. 실제 여행시간과 예측값에 대해 표준오차를 분석한 결과 LSTM 기계학습 방법이 기존 알고리즘에 비해 정확도는 약 1% 높고, 표준오차는 약 10초 낮은 것으로 분석되었다. 반면 총 162개 구간 중 109개 구간(67.3%) 우수한 것으로 분석되어 LSTM 방법이 전적으로 우수한 것은 아닌 것으로 나타났다. 구간 특성 분석을 통한 알고리즘 융합시 더욱 향상된 정확도 예측이 가능할 것으로 판단된다.

Prediction of pollution loads in agricultural reservoirs using LSTM algorithm: case study of reservoirs in Nonsan City

  • Heesung Lim;Hyunuk An;Gyeongsuk Choi;Jaenam Lee;Jongwon Do
    • 농업과학연구
    • /
    • 제49권2호
    • /
    • pp.193-202
    • /
    • 2022
  • The recurrent neural network (RNN) algorithm has been widely used in water-related research areas, such as water level predictions and water quality predictions, due to its excellent time series learning capabilities. However, studies on water quality predictions using RNN algorithms are limited because of the scarcity of water quality data. Therefore, most previous studies related to water quality predictions were based on monthly predictions. In this study, the quality of the water in a reservoir in Nonsan, Chungcheongnam-do Republic of Korea was predicted using the RNN-LSTM algorithm. The study was conducted after constructing data that could then be, linearly interpolated as daily data. In this study, we attempt to predict the water quality on the 7th, 15th, 30th, 45th and 60th days instead of making daily predictions of water quality factors. For daily predictions, linear interpolated daily water quality data and daily weather data (rainfall, average temperature, and average wind speed) were used. The results of predicting water quality concentrations (chemical oxygen demand [COD], dissolved oxygen [DO], suspended solid [SS], total nitrogen [T-N], total phosphorus [TP]) through the LSTM algorithm indicated that the predictive value was high on the 7th and 15th days. In the 30th day predictions, the COD and DO items showed R2 that exceeded 0.6 at all points, whereas the SS, T-N, and T-P items showed differences depending on the factor being assessed. In the 45th day predictions, it was found that the accuracy of all water quality predictions except for the DO item was sharply lowered.

LDA와 LSTM를 응용한 뉴스 기사 기반 선물가격 예측 (Futures Price Prediction based on News Articles using LDA and LSTM)

  • 주진현;박근덕
    • 산업융합연구
    • /
    • 제21권1호
    • /
    • pp.167-173
    • /
    • 2023
  • 경제지표를 분석하는 방법으로 회귀 분석이나, 인공지능을 활용하여 미래의 데이터를 예측하는 연구가 발표되었다. 본 연구에서는 토픽모델링을 사용하여 과거 뉴스 기사로부터 얻은 주제 확률 데이터를 이용한 인공지능으로 미래 선물 가격을 예측하는 시스템을 구상하였다. 과거 뉴스 기사로부터 비지도학습을 통한 문서의 주제를 추출할 수 있는 LDA 방법으로 각 뉴스 기사 주제 확률 분포 데이터를 얻을 수 있고, 해당 데이터를 인공지능의 RNN의 파생 구조인 LSTM의 입력 데이터로 활용함으로써 미래 선물 가격을 예측하였다. 본 연구에서 제안한 방법에서는 선물 가격의 추세를 예측할 수 있었고, 이를 활용하여 추후 옵션 상품 등의 파생 상품에 대한 가격 추세도 예측할 수 있을 것으로 보인다. 다만, 일부 데이터에 대해 오차가 발생하는 것이 확인되어 정확도 향상을 위한 추가적인 연구가 필요하다.

딥러닝 기반 LSTM 모형을 이용한 농업용 저수지 수위자료 품질관리 방안 (Quality Control Plan of Water Level in Agricultural Reservoirs using a Deep-Learning Based LSTM Model)

  • 양미혜;남원호;신안국;강문성;김태곤
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2020년도 학술발표회
    • /
    • pp.128-128
    • /
    • 2020
  • 최근 농업환경의 변화와 기후변화에 대응하기 위해 농업용수 관리 정보화 및 과학화의 필요성이 증대되어 실시간으로 저수지 저수량과 농업용수 공급량을 파악하기 위해 자동 수위계측시설이 도입되었다. 농림축산식품부의 저수지 자동수위측정기 설치 및 운영지침에 따라 현재 농어촌공사 관리 저수지 1,734개소 및 수로부 1,880개소에 자동수위계가 설치되어 있으며, 저수지와 수로에서 10분 간격으로 수위자료가 생성되고 있다. 농업용 저수지 수문자료의 공인지점은 2016년 6개소에서 2019년 49개소로 증대되고 있으며, 데이터 품질 저하의 최소화 및 신뢰성 있는 수문자료 생성의 필요성이 증가함에 따라 농업용 저수지의 특성을 반영한 저수지 수위 오결측 데이터 보정 방안 및 수문 자료 품질관리 방안이 요구된다. 농업용 저수지의 수위 변화 및 강우-유출 현상은 물리적 모형을 구축하여 기상, 지형 등 영향 인자와 수위(또는 유출)와의 상관관계를 분석하는 것은 무적으로 불가능하였지만, 최근 인공신경망 (Artificial Neural Network, ANN) 등과 같이 black-box 형태의 모형을 이용하여 비선형적인 수문해석이 가능해졌다. 본 연구에서는 빅데이터와 인공신경망을 결합시킨 알고리즘인 딥러닝 (Deep Learning) 기반의 LSTM (Long Short-Term Memory) 모형을 활용하여 농업용 저수지 수위자료를 검토하여 자동계측기에서 발생하는 오류 보정을 위해 품질관리 방안을 제시하고자 한다.

  • PDF

Deep Learning-based Rheometer Quality Inspection Model Using Temporal and Spatial Characteristics

  • Jaehyun Park;Yonghun Jang;Bok-Dong Lee;Myung-Sub Lee
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권11호
    • /
    • pp.43-52
    • /
    • 2023
  • 고무생산업체에서 생산된 고무는 레오미터 측정을 통해 품질 적합성 검사가 이루어진 후, 자동차 부품을 위한 2차 가공으로 이어진다. 그러나 레오미터 검사는 인간에 의해 진행되고 있으며, 숙련된 작업자에게 매우 의존적이라는 단점이 존재한다. 이러한 문제점을 해결하기 위해 본 논문에서는 딥러닝 기반 레오미터 품질 검사 시스템을 제안한다. 제안된 시스템은 레오미터의 시간적, 공간적 특성을 활용하기 위해 LSTM과 CNN을 조합하였고, 각 고무의 배합재료를 보조(Auxiliary) 데이터 입력으로 사용해 하나의 모델에서 다양한 고무 제품의 품질 적합성 검사가 가능하도록 구현하였다. 제안된 기법은 30,000개의 데이터셋으로 그 성능을 학습 및 검사하였으며, 평균 f1-점수를 0.9942 달성하여 그 우수성을 증명하였다.

데이터의 불균형성을 제거한 네트워크 침입 탐지 모델 비교 분석 (Experimental Comparison of Network Intrusion Detection Models Solving Imbalanced Data Problem)

  • 이종화;방지원;김종욱;최미정
    • KNOM Review
    • /
    • 제23권2호
    • /
    • pp.18-28
    • /
    • 2020
  • 컴퓨팅 환경의 발전에 따라 IT 기술이 의료, 산업, 통신, 문화 등의 분야에서 사람들에게 제공해주는 혜택이 늘어나 삶의 질도 향상되고 있다. 그에 따라 발전된 네트워크 환경을 노리는 다양한 악의적인 공격이 존재한다. 이러한 공격들을 사전에 탐지하기 위해 방화벽, 침입 탐지 시스템 등이 존재하지만, 나날이 진화하는 악성 공격들을 탐지하는 데에는 한계가 있다. 이를 해결하기 위해 기계 학습을 이용한 침입 탐지 연구가 활발히 진행되고 있지만, 학습 데이터셋의 불균형으로 인한 오탐 및 미탐이 발생하고 있다. 본 논문에서는 네트워크 침입 탐지에 사용되는 UNSW-NB15 데이터셋의 불균형성 문제를 해결하기 위해 랜덤 오버샘플링 방법을 사용했다. 실험을 통해 모델들의 accuracy, precision, recall, F1-score, 학습 및 예측 시간, 하드웨어 자원 소모량을 비교 분석했다. 나아가 본 연구를 기반으로 랜덤 오버샘플링 방법 이외에 불균형한 데이터 문제를 해결할 수 있는 다른 방법들과 성능이 높은 모델들을 이용하여 좀 더 효율적인 네트워크 침입 탐지 모델 연구로 발전시키고자 한다.

IoT 스트리밍 센서 데이터에 기반한 실시간 PM10 농도 예측 LSTM 모델 (Real-time PM10 Concentration Prediction LSTM Model based on IoT Streaming Sensor data)

  • 김삼근;오택일
    • 한국산학기술학회논문지
    • /
    • 제19권11호
    • /
    • pp.310-318
    • /
    • 2018
  • 최근 사물인터넷(IoT)의 등장으로 인터넷에 연결된 다양한 기기들에 의해 대규모의 데이터가 생성됨에 따라 빅데이터 분석의 중요성이 증가하고 있다. 특히 실시간으로 생성되는 대규모의 IoT 스트리밍 센서 데이터를 분석하여 새로운 의미 있는 미래 예측을 통해 다양한 서비스를 제공하는 것이 필요하게 되었다. 본 논문은 AWS를 활용하여 IoT 센서로부터 생성되는 스트리밍 데이터에 기반하여 실시간 실내 PM10 농도 예측 LSTM 모델을 제안한다. 또한 제안 모델에 따른 실시간 실내 PM10 농도 예측 서비스를 구축한다. 논문에 사용된 데이터는 PM10 IoT 센서로부터 24시간 동안 수집된 스트리밍 데이터이다. 이를 LSTM의 입력 데이터로 사용하기 위해 PM10 시계열 데이터로부터 30개의 연속된 값으로 이루어진 시퀀스 데이터로 변환한다. LSTM 모델은 바로 인접한 공간으로 이동해 가는 슬라이딩 윈도우 프로세스를 통하여 학습한다. 또한 모델의 성능 개선을 위해 24시간마다 수집한 스트리밍 데이터에 대해 점진적 학습 방법을 적용한다. 제안한 LSTM 모델의 성능을 평가하기 위해 선형회귀 모델 및 순환형 신경망(RNN) 모델과 비교한다. 실험 결과는 제안한 LSTM 예측 모델이 선형 회귀보다 700%, RNN 모델보다는 140% 성능 개선이 있음을 보여주었다.

제주도 표선유역 중산간지역의 최적 지하수위 예측을 위한 인공신경망의 활성화함수 비교분석 (Comparative analysis of activation functions of artificial neural network for prediction of optimal groundwater level in the middle mountainous area of Pyoseon watershed in Jeju Island)

  • 신문주;김진우;문덕철;이정한;강경구
    • 한국수자원학회논문집
    • /
    • 제54권spc1호
    • /
    • pp.1143-1154
    • /
    • 2021
  • 활성화함수의 선택은 인공신경망(Artificial Neural Network, ANN) 모델의 지하수위 예측성능에 큰 영향을 미친다. 특히 제주도의 중산간 지역과 같이 지하수위의 변동폭이 크고 변동양상이 복잡한 경우 적절한 지하수위 예측을 위해서는 다양한 활성화함수의 비교분석을 통한 최적의 활성화함수 선택이 반드시 필요하다. 본 연구에서는 지하수위의 변동폭이 크고 변동양상이 복잡한 제주도 표선유역 중산간지역 2개 지하수위 관측정을 대상으로 5개의 활성화함수(sigmoid, hyperbolic tangent (tanh), Rectified Linear Unit (ReLU), Leaky Rectified Linear Unit (Leaky ReLU), Exponential Linear Unit (ELU))를 ANN 모델에 적용하여 지하수위 예측결과를 비교 및 분석하고 최적 활성화함수를 도출하였다. 그리고 최근 널리 사용되고 있는 순환신경망 모델인 Long Short-Term Memory (LSTM) 모델의 결과와 비교분석하였다. 분석결과 지하수위 변동폭이 상대적으로 큰 관측정과 상대적으로 작은 관측정에 대한 지하수위 예측에 대해서는 각각 ELU와 Leaky ReLU 함수가 최적의 활성화함수로 도출되었다. 반면 sigmoid 함수는 학습기간에 대해 5개 활성화함수 중 예측성능이 가장 낮았으며 첨두 및 최저 지하수위 예측에서 적절하지 못한 결과를 도출하였다. 따라서 ANN-sigmoid 모델은 가뭄기간의 지하수위 예측을 통한 지하수자원 관리목적으로 사용할 경우 주의가 필요하다. ANN-ELU와 ANN-Leaky ReLU 모델은 LSTM 모델과 대등한 지하수위 예측성능을 보여 활용가능성이 충분히 있으며 LSTM 모델은 ANN 모델들 보다 예측성능이 높아 인공지능 모델의 예측성능 비교분석 시 참고 모델로 활용될 수 있다. 마지막으로 학습기간의 정보량에 따라 학습기간의 지하수위 예측성능이 검증 및 테스트 기간의 예측성능보다 낮을 수 있다는 것을 확인하였으며, 관측지하수위의 변동폭이 크고 변동양상이 복잡할수록 인공지능 모델별 지하수위 예측능력의 차이는 커졌다. 본 연구에서 제시한 5개의 활성화함수를 적용한 연구방법 및 비교분석 결과는 지하수위 예측뿐만 아니라 일단위 하천유출량 및 시간단위 홍수량 등 지표수 예측을 포함한 다양한 연구에 유용하게 사용될 수 있다.

인공지능의 사회적 수용도에 따른 키워드 검색량 기반 주가예측모형 비교연구 (Comparison of Models for Stock Price Prediction Based on Keyword Search Volume According to the Social Acceptance of Artificial Intelligence)

  • 조유정;손권상;권오병
    • 지능정보연구
    • /
    • 제27권1호
    • /
    • pp.103-128
    • /
    • 2021
  • 최근 주식의 수익률과 거래량을 설명하는 주요 요인으로서 투자자의 관심도와 주식 관련 정보 전파의 영향력이 부각되고 있다. 또한 인공지능과 같은 혁신 신기술을 개발보급하거나 활용하려는 기업의 경우 거시환경 및 시장 불확실성 때문에 기업의 미래 주식 수익률과 주식 변동성을 예측하기 어렵다는 문제를 가지고 있다. 이는 인공지능 활성화의 장애요인으로 인식되고 있다. 따라서 본 연구의 목적은 인공지능 관련 기술 키워드의 인터넷 검색량을 투자자의 관심 척도로 사용하여, 기업의 주가 변동성을 예측하는 기계학습 모형을 제안하는 것이다. 이를 위해 심층신경망 LSTM(Long Short-Term Memory)과 벡터자기회귀(Vector Autoregression)를 통해 주식시장을 예측하고, 기술의 사회적 수용 단계에 따라 키워드 검색량을 활용한 주가예측 성능 비교를 통해 기업의 투자수익 예측이나 투자자들의 투자전략 의사결정을 지원하는 주가 예측 모형을 구축하였다. 또한 인공지능 기술의 세부 하위 기술에 대한 분석도 실시하여 기술 수용 단계에 따른 세부 기술 키워드 검색량의 변화를 살펴보고 세부기술에 대한 관심도가 주식시장 예측에 미치는 영향을 살펴보았다. 이를 위해 본 연구에서는 인공지능, 딥러닝, 머신러닝 키워드를 선정하여, 2015년 1월 1일부터 2019년 12월 31일까지 5년간의 인터넷 주별 검색량 데이터와 코스닥 상장 기업의 주가 및 거래량 데이터를 수집하여 분석에 활용하였다. 분석 결과 인공지능 기술에 대한 키워드 검색량은 사회적 수용 단계가 진행될수록 증가하는 것으로 나타났고, 기술 키워드를 기반으로 주가예측을 하였을 경우 인식(Awareness)단계에서 가장 높은 정확도를 보였으며, 키워드별로 가장 좋은 예측 성능을 보이는 수용 단계가 다르게 나타남을 확인하였다. 따라서 기술 키워드를 활용한 주가 예측 모델 구축을 위해서는 해당 기술의 하위 기술 분류를 고려할 필요가 있다. 본 연구의 결과는 혁신기술을 기반으로 기업의 투자수익률을 예측하기 위해서는 기술에 대한 대중의 관심이 급증하는 인식 단계를 포착하는 것이 중요하다는 점을 시사한다. 또한 최근 금융권에서 선보이고 있는 빅데이터 기반 로보어드바이저(Robo-advisor) 등 투자 의사 결정 지원 시스템 개발 시 기술의 사회적 수용도를 세분화하여 키워드 검색량 변화를 통해 예측 모델의 정확도를 개선할 수 있다는 점을 시사하고 있다.