• 제목/요약/키워드: Temporal-Difference Learning

검색결과 34건 처리시간 0.024초

Research on data augmentation algorithm for time series based on deep learning

  • Shiyu Liu;Hongyan Qiao;Lianhong Yuan;Yuan Yuan;Jun Liu
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제17권6호
    • /
    • pp.1530-1544
    • /
    • 2023
  • Data monitoring is an important foundation of modern science. In most cases, the monitoring data is time-series data, which has high application value. The deep learning algorithm has a strong nonlinear fitting capability, which enables the recognition of time series by capturing anomalous information in time series. At present, the research of time series recognition based on deep learning is especially important for data monitoring. Deep learning algorithms require a large amount of data for training. However, abnormal sample is a small sample in time series, which means the number of abnormal time series can seriously affect the accuracy of recognition algorithm because of class imbalance. In order to increase the number of abnormal sample, a data augmentation method called GANBATS (GAN-based Bi-LSTM and Attention for Time Series) is proposed. In GANBATS, Bi-LSTM is introduced to extract the timing features and then transfer features to the generator network of GANBATS.GANBATS also modifies the discriminator network by adding an attention mechanism to achieve global attention for time series. At the end of discriminator, GANBATS is adding averagepooling layer, which merges temporal features to boost the operational efficiency. In this paper, four time series datasets and five data augmentation algorithms are used for comparison experiments. The generated data are measured by PRD(Percent Root Mean Square Difference) and DTW(Dynamic Time Warping). The experimental results show that GANBATS reduces up to 26.22 in PRD metric and 9.45 in DTW metric. In addition, this paper uses different algorithms to reconstruct the datasets and compare them by classification accuracy. The classification accuracy is improved by 6.44%-12.96% on four time series datasets.

Potential of Bidirectional Long Short-Term Memory Networks for Crop Classification with Multitemporal Remote Sensing Images

  • Kwak, Geun-Ho;Park, Chan-Won;Ahn, Ho-Yong;Na, Sang-Il;Lee, Kyung-Do;Park, No-Wook
    • 대한원격탐사학회지
    • /
    • 제36권4호
    • /
    • pp.515-525
    • /
    • 2020
  • This study investigates the potential of bidirectional long short-term memory (Bi-LSTM) for efficient modeling of temporal information in crop classification using multitemporal remote sensing images. Unlike unidirectional LSTM models that consider only either forward or backward states, Bi-LSTM could account for temporal dependency of time-series images in both forward and backward directions. This property of Bi-LSTM can be effectively applied to crop classification when it is difficult to obtain full time-series images covering the entire growth cycle of crops. The classification performance of the Bi-LSTM is compared with that of two unidirectional LSTM architectures (forward and backward) with respect to different input image combinations via a case study of crop classification in Anbadegi, Korea. When full time-series images were used as inputs for classification, the Bi-LSTM outperformed the other unidirectional LSTM architectures; however, the difference in classification accuracy from unidirectional LSTM was not substantial. On the contrary, when using multitemporal images that did not include useful information for the discrimination of crops, the Bi-LSTM could compensate for the information deficiency by including temporal information from both forward and backward states, thereby achieving the best classification accuracy, compared with the unidirectional LSTM. These case study results indicate the efficiency of the Bi-LSTM for crop classification, particularly when limited input images are available.

Adaptive Actor-Critic Learning of Mobile Robots Using Actual and Simulated Experiences

  • Rafiuddin Syam;Keigo Watanabe;Kiyotaka Izumi;Kazuo Kiguchi;Jin, Sang-Ho
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2001년도 ICCAS
    • /
    • pp.43.6-43
    • /
    • 2001
  • In this paper, we describe an actor-critic method as a kind of temporal difference (TD) algorithms. The value function is regarded as a current estimator, in which two value functions have different inputs: one is an actual experience; the other is a simulated experience obtained through a predictive model. Thus, the parameter´s updating for the actor and critic parts is based on actual and simulated experiences, where the critic is constructed by a radial-basis function neural network (RBFNN) and the actor is composed of a kinematic-based controller. As an example application of the present method, a tracking control problem for the position coordinates and azimuth of a nonholonomic mobile robot is considered. The effectiveness is illustrated by a simulation.

  • PDF

농림위성을 위한 기계학습을 활용한 복사전달모델기반 대기보정 모사 알고리즘 개발 및 검증: 식생 지역을 위주로 (Machine Learning-Based Atmospheric Correction Based on Radiative Transfer Modeling Using Sentinel-2 MSI Data and ItsValidation Focusing on Forest)

  • 강유진;김예진;임정호;임중빈
    • 대한원격탐사학회지
    • /
    • 제39권5_3호
    • /
    • pp.891-907
    • /
    • 2023
  • Compact Advanced Satellite 500-4 (CAS500-4) is scheduled to be launched to collect high spatial resolution data focusing on vegetation applications. To achieve this goal, accurate surface reflectance retrieval through atmospheric correction is crucial. Therefore, a machine learning-based atmospheric correction algorithm was developed to simulate atmospheric correction from a radiative transfer model using Sentinel-2 data that have similarspectral characteristics as CAS500-4. The algorithm was then evaluated mainly for forest areas. Utilizing the atmospheric correction parameters extracted from Sentinel-2 and GEOKOMPSAT-2A (GK-2A), the atmospheric correction algorithm was developed based on Random Forest and Light Gradient Boosting Machine (LGBM). Between the two machine learning techniques, LGBM performed better when considering both accuracy and efficiency. Except for one station, the results had a correlation coefficient of more than 0.91 and well-reflected temporal variations of the Normalized Difference Vegetation Index (i.e., vegetation phenology). GK-2A provides Aerosol Optical Depth (AOD) and water vapor, which are essential parameters for atmospheric correction, but additional processing should be required in the future to mitigate the problem caused by their many missing values. This study provided the basis for the atmospheric correction of CAS500-4 by developing a machine learning-based atmospheric correction simulation algorithm.

스마트 팩토리 모니터링을 위한 빅 데이터의 LSTM 기반 이상 탐지 (LSTM-based Anomaly Detection on Big Data for Smart Factory Monitoring)

  • ;;김진술
    • 디지털콘텐츠학회 논문지
    • /
    • 제19권4호
    • /
    • pp.789-799
    • /
    • 2018
  • 이 논문에서는 이러한 산업 단지 시스템에서의 비정상적인 동작이 일어날 때, 시간 계열의 데이터를 분석하기 위하여 Big 데이터를 이용한 접근을 기반으로 하는 머신 러닝을 보여줍니다. Long Short-Term Memory (LSTM) 네트워크는 향상된 RNN버전으로서 입증되었으며 많은 작업에 유용한 도움이 되었습니다. 이 LSTM 기반 모델은 시간적 패턴뿐만 아니라 더 높은 레벨의 시간적 특징을 학습 한 다음, 미래의 데이터를 예측하기 위해 예측 단계에 사용됩니다. 예측 오차는 예측 인자에 의해 예측 된 결과와 실제 예상되는 값의 차이입니다. 오차 분포 추정 모델은 가우스 분포를 사용하여 관찰 스코어의 이상을 계산합니다. 이러한 방식으로, 우리는 하나의 비정상적 데이터의 개념에서 집단적인 비정상적 데이터 개념으로 바뀌어 갑니다. 이 작업은 실패를 최소화하고 제조품질을 향상시키는 Smart Factory의 모니터링 및 관리를 지원할 수 있습니다.

Sentinel 위성영상과 기계학습을 이용한 국내산불 피해강도 탐지 (Wildfire Severity Mapping Using Sentinel Satellite Data Based on Machine Learning Approaches)

  • 심성문;김우혁;이재세;강유진;임정호;권춘근;김성용
    • 대한원격탐사학회지
    • /
    • 제36권5_3호
    • /
    • pp.1109-1123
    • /
    • 2020
  • 국토 대부분이 산림으로 구성되어 있는 대한민국은 매 년 많은 산불이 발생한다. 산불은 토양의 전단강도를 약화시켜 산사태에 취약한 토양층을 만들기도 하고, 수목의 복구가능여부에 따라 다른 계획 설립이 필요하기 때문에 산불피해면적 뿐만 아니라 피해강도에 대한 파악도 중요하다. 위성 원격탐사를 통한 산불피해강도 추정 연구가 많이 수행되어 왔으나, NDVI(Normalized Difference Vegetation Index)와 NBR(Normalized Burn Ratio) 등과 같은 단일 인자의 시계열 변화만을 이용하여 피해강도를 파악하기에는 한계가 있다. 본 연구에서는 Sentinel-1A SAR-C (Synthetic Aperture Radar-C)와 Sentinel-2A MSI(Multi Spectral Instrument)센서의 자료를 이용하여 기계학습방법을 통한 산불 피해강도 탐지 모델들을 제시하였다. 2017년 5월 삼척, 2019년 4월 강릉·동해, 2019년 4월 고성·속초 총 세개의 산불사례를 이용하여 RF(Random forest), LR(Logistic regression), SVM(Support Vector Machine)기계학습 모델을 구축하였다. 연구결과, random forest 모델이 82.3%의 총정확도로 가장 높은 성능을 보여주었다. 모델의 범용성 및 학습자료 민감도 확인을 위해 사례교차검증도 추가 시행하였는데, 그 결과 사례들의 시기적 차이에 의한 식생활력 및 재생도의 차이에 민감도가 높음을 확인하였다. 이는 추후 다양한 시공간적 사례를 추가할 시 개선이 될 것으로 보인다.

과제 지향적 그룹 운동 프로그램이 뇌졸중 환자의 운동 기능과 우울증에 미치는 효과 (Effects of the Group Task-related Program Training on Motor Function and Depression for Patient with Stroke)

  • 정재훈;고명숙;이정아
    • 대한물리의학회지
    • /
    • 제5권1호
    • /
    • pp.25-34
    • /
    • 2010
  • Purpose : The purpose of this study is to assess the effect for gait, balance, and depression for stroke patients by group task-related program training based motor learning theory. Methods : The subjects of this study were administrated to the 11 stroke patients (9 male, 2 female) by 5 weeks, 3 times per week, 15 times. The group task-related program training were performed gait, balance, treadmill, muscle strengthening, and game program. Each program took 7~10 minutes and total time took 60 minutes including moving time. The difference of program training were compared using the paired t-test. Results : The results of this study revealed that Fugl-Meyer motor assessment, Chedoke-McMaster Stroke assessment of lower extremity and Berg balance scale were significantly correlated. However, impairment item of Chedoke-McMaster Stroke assessment, spatio-temporal gait parameters, Timed up and go test, and depression item of Minnesota Multiphasic Personality Inventory were not significantly correlated. Conclusion : These results support that group task-related program could be a useful treatment to improve the balance skills and motor function of lower extremity for the chronic stroke patients.

역전파 신경회로망과 강화학습을 이용한 2인용 장기보드게임 개발 (The Development of Two-Person Janggi Board Game Using Backpropagation Neural Network and Reinforcement Learning)

  • 박인규;정광호
    • 한국게임학회 논문지
    • /
    • 제1권1호
    • /
    • pp.61-67
    • /
    • 2001
  • This paper describes a program which learns good strategies for two-poison, deterministic, zero-sum board games of perfect information. The program learns by simply playing the game against either a human or computer opponent. The results of the program's teaming of a lot of games are reported. The program consists of search kernel and a move generator module. Only the move generator is modified to reflect the rules of the game to be played. The kernel uses a temporal difference procedure combined with a backpropagation neural network to team good evaluation functions for the game being played. Central to the performance of the program is the search procedure. This is a the capture tree search used in most successful janggi playing programs. It is based on the idea of using search to correct errors in evaluations of positions. This procedure is described, analyzed, tested, and implemented in the game-teaming program. Both the test results and the performance of the program confirm the results of the analysis which indicate that search improves game playing performance for sufficiently accurate evaluation functions.

  • PDF

A New Residual Attention Network based on Attention Models for Human Action Recognition in Video

  • Kim, Jee-Hyun;Cho, Young-Im
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권1호
    • /
    • pp.55-61
    • /
    • 2020
  • 딥 러닝 기술의 발전과 컴퓨팅 파워 등의 개선으로 인해 비디오 기반 연구는 최근 많은 관심을 얻고 있다. 비디오 데이터가 이미지 데이터와 비교하여 가장 큰 차이는 비디오 데이터에는 많은 양의 시간적, 공간적 정보가 포함되어 있다는 점이다. 이처럼 비디오에 포함된 많은 양의 데이터로 인해 컴퓨터 비전 연구에 있어서 행동 인식은 중요한 연구 과제 중 하나이지만, 비디오와 같이 움직임이 있는 환경에서 인간의 행동 인식은 매우 복잡하고 도전적인 과제이다. 인간에 대한 여러 연구를 바탕으로 인공지능에서는 인간과 유사한 주의(attention)메커니즘이 효율적인 인식 모델이라는 것을 알게 되었다. 이 효율적인 모델은 이미지 정보와 복잡한 연속 비디오 정보를 처리하는 데 이상적이다. 본 논문에서는 이러한 연구배경을 기반으로, 비디오에서 인간의 행동을 효율적으로 인식하기 위해 먼저 인간의 행동에 주목한 후 비디오 행동 인식에 주의메커니즘을 도입하고자 한다. 논문의 주요내용은 두 가지 주의 메카니즘을 기반으로 컨볼루션 신경망을 이용한 새로운 3D 잔류 주의 네트워크를 제안함으로써 비디오에서 인간의 행동을 식별하고자 한다. 제안 모델의 평가 결과 최대 90.7%정도의 정확도를 보였다.

호모 리플리쿠스(Homo replicus): 모방, 거울뉴런, 그리고 밈 (Homo replicus: imitation, mirror neurons, and memes)

  • 장대익
    • 인지과학
    • /
    • 제23권4호
    • /
    • pp.517-551
    • /
    • 2012
  • 우리는 모방하는 동물이다. '참된 모방(true imitation)'은 한 행위가 행해진 것을 보는 것으로부터 그 행위를 하는 법을 새롭게 배우는 것이라고 할 수 있다. 우리는 타 개체의 기술과 지식을 모방함으로써 다른 동물의 세계에서 찾아보기 힘든 문화와 문명을 이룩할 수 있었다. 이런 의미에서 모방 능력이 어떻게 진화하고 발달하는지를 묻는 것은 중요하다. 또한 인간이 아닌 다른 동물들이 참된 모방을 할 수 있는지, 그리고 모방 학습 측면에서 인간과 동물이 구체적으로 어떻게 다른지를 알아보는 작업도 매우 흥미로운 과제이다. 이 논문에서 나는 우선, 인간과 다른 동물들의 모방 능력에 대한 경험적 연구들을 검토해볼 것이다. 이런 비교 연구를 통해 동물과 인간의 모방 능력의 차이에 주목할 것이며, 그들에게서 보이는 복제 충실도의 차이가 왜 발생하는지에 대해 논의할 것이다. 그런 다음에 모방의 신경생물학적 메커니즘에 대한 최신 연구들을 검토할 것이다. 하전두회(inferior Frontal Gyrus, IFG)와 하두정엽(inferior Parietal Lobule, IPL)으로 구성된 인간의 거울 뉴런계(mirror neuron system)가 이 대목에서 가장 중요하게 등장한다. 거울 뉴런계는 타 개체의 행동을 이해하고 공감하고 따라하는 데에 필수적인 신경세포 다발이다. 나는 거울 뉴런계의 기능과 진화에 대한 최신 연구들을 소개할 것이다. 인간의 모방을 가능하게 하는 신경 메커니즘에 대한 연구는 처음에 거울 뉴런계와 후부상측두이랑(posterior Superior Temporal Sulcus, pSTS)로 구성된 '핵심 모방 회로'에 집중되어 있었다. 하지만 더 최신의 연구들은 핵심 모방 회로 밖에서도 모방의 신경 메커니즘이 작동한다는 사실을 말해준다. 마지막으로 나는 이러한 모방의 심리학과 생물학이 문화 진화에 어떤 함의를 지니는지를 탐구한다. 구체적으로 나는 밈과 거울뉴런계의 관계를 탐구한 최신 연구를 통해 문화 진화에 대한 밈학적 접근을 시도할 것이다.

  • PDF