• 제목/요약/키워드: time series data analysis

검색결과 1,829건 처리시간 0.037초

시계열 데이터 결측치 처리 기술 동향 (Technical Trends of Time-Series Data Imputation)

  • 김에덴;고석갑;손승철;이병탁
    • 전자통신동향분석
    • /
    • 제36권4호
    • /
    • pp.145-153
    • /
    • 2021
  • Data imputation is a crucial issue in data analysis because quality data are highly correlated with the performance of AI models. Particularly, it is difficult to collect quality time-series data for uncertain situations (for example, electricity blackout, delays for network conditions). Thus, it is necessary to research effective methods of time-series data imputation. Many studies on time-series data imputation can be divided into 5 parts, including statistical based, matrix-based, regression-based, deep learning (RNN and GAN) based methodologies. This study reviews and organizes these methodologies. Recently, deep learning-based imputation methods are developed and show excellent performance. However, it is associated to some computational problems that make it difficult to use in real-time system. Thus, the direction of future work is to develop low computational but high-performance imputation methods for application in the real field.

시계열 데이터에 적합한 다단계 비정상 탐지 시스템 설계 (Design of Multi-Level Abnormal Detection System Suitable for Time-Series Data)

  • 채문창;임혁;강남희
    • 한국인터넷방송통신학회논문지
    • /
    • 제16권6호
    • /
    • pp.1-7
    • /
    • 2016
  • 새로운 정보통신 기술의 발전과 더불어 보안 위협도 나날이 지능화 고도화되고 있다. 본 논문은 네트워크 장치나 사물인터넷 경량 장치에서 일련의 주기를 통해 연속적으로 입력되는 시계열 데이터를 통계적 기법을 활용하여 분석하고, 분석 정보를 기반으로 장치의 이상 유무나 비정상 징후를 탐지할 수 있는 시스템을 제안한다. 제안 시스템은 과거에 입력된 데이터를 기반으로 1차 비정상 탐지를 수행하고, 시간 속성이나 그룹의 속성을 기반으로 저장되어있는 시계열 데이터를 기반으로 신뢰구간을 설정하여 2차 비정상 탐지를 수행한다. 다단계 분석은 판정 데이터의 다양성을 통해 신뢰성을 향상시키고 오탐율을 줄일 수 있다.

경매 시스템에서 시계열 분석에 기반한 낙찰 예정가 추천 방법 (Reserve Price Recommendation Methods for Auction Systems Based on Time Series Analysis)

  • 고민정;이용규
    • Journal of Information Technology Applications and Management
    • /
    • 제12권1호
    • /
    • pp.141-155
    • /
    • 2005
  • It is very important that sellers provide reasonable reserve prices for auction items in internet auction systems. Recently, an agent has been proposed to generate reserve prices automatically based on the case similarity of information retrieval theory and the moving average of time series analysis. However, one problem of the previous approaches is that the recent trend of auction prices is not well reflected on the generated reserve prices, because it simply provides the bid price of the most similar item or an average price of some similar items using the past auction data. In this paper. in order to overcome the problem. we propose a method that generates reserve prices based on the moving average. the exponential smoothing, and the least square of time series analysis. Through performance experiments. we show that the successful bid rate of the new method can be increased by preventing sellers from making unreasonable reserve prices compared with the previous methods.

  • PDF

Time-series InSAR Analysis and Post-processing Using ISCE-StaMPS Package for Measuring Bridge Displacements

  • Vadivel, Suresh Krishnan Palanisamy;Kim, Duk-jin;Kim, Young Cheol
    • 대한원격탐사학회지
    • /
    • 제36권4호
    • /
    • pp.527-534
    • /
    • 2020
  • This study aims to monitor the displacement of the bridges using Stanford Method for Persistent Scatterers (StaMPS) time-series Persistent Scatterer Interferometric Synthetic Aperture Radar analysis. For case study bridges: Kimdaejung bridge and Deokyang bridge, we acquired 60 and 33 Cosmo-Skymed Synthetic Aperture Radar (SAR) data over the Mokpo region and Yeosu region, respectively from 2013 to 2019. With single-look interferograms, we estimated the long-term time-series displacements over the bridges. The time-series displacements were estimated as -8.8 mm/year and -1.34 mm/year at the mid-span over the selected bridges: Kimdaejung and Deokyang bridge, respectively. This time-series displacement provides reliable and high spatial resolution information to monitor the structural behavior of the bridge for preventing structural behaviors.

Vegetation Classification from Time Series NOAA/AVHRR Data

  • Yasuoka, Yoshifumi;Nakagawa, Ai;Kokubu, Keiko;Pahari, Krishna;Sugita, Mikio;Tamura, Masayuki
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 1999년도 Proceedings of International Symposium on Remote Sensing
    • /
    • pp.429-432
    • /
    • 1999
  • Vegetation cover classification is examined based on a time series NOAA/AVHRR data. Time series data analysis methods including Fourier transform, Auto-Regressive (AR) model and temporal signature similarity matching are developed to extract phenological features of vegetation from a time series NDVI data from NOAA/AVHRR and to classify vegetation types. In the Fourier transform method, typical three spectral components expressing the phenological features of vegetation are selected for classification, and also in the AR model method AR coefficients are selected. In the temporal signature similarity matching method a new index evaluating the similarity of temporal pattern of the NDVI is introduced for classification.

  • PDF

Clustering Algorithm for Time Series with Similar Shapes

  • Ahn, Jungyu;Lee, Ju-Hong
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권7호
    • /
    • pp.3112-3127
    • /
    • 2018
  • Since time series clustering is performed without prior information, it is used for exploratory data analysis. In particular, clusters of time series with similar shapes can be used in various fields, such as business, medicine, finance, and communications. However, existing time series clustering algorithms have a problem in that time series with different shapes are included in the clusters. The reason for such a problem is that the existing algorithms do not consider the limitations on the size of the generated clusters, and use a dimension reduction method in which the information loss is large. In this paper, we propose a method to alleviate the disadvantages of existing methods and to find a better quality of cluster containing similarly shaped time series. In the data preprocessing step, we normalize the time series using z-transformation. Then, we use piecewise aggregate approximation (PAA) to reduce the dimension of the time series. In the clustering step, we use density-based spatial clustering of applications with noise (DBSCAN) to create a precluster. We then use a modified K-means algorithm to refine the preclusters containing differently shaped time series into subclusters containing only similarly shaped time series. In our experiments, our method showed better results than the existing method.

시간의 흐름과 위치 변화에 따른 멀티 블록 스트림 데이터의 의미 있는 패턴 추출 방법 (The Method for Extracting Meaningful Patterns Over the Time of Multi Blocks Stream Data)

  • 조경래;김기영
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제3권10호
    • /
    • pp.377-382
    • /
    • 2014
  • 모바일 통신과 사물 인터넷(IoT) 환경에서 시간에 따른 데이터의 분석 기술은 주로 의미 있는 정보를 찾기 위해 수집 된 데이터에서 의미있는 패턴을 추출하기 위해 사용된다. 기존의 데이터 마이닝을 이용한 분석 방법은 데이터 수집이 어렵고 시간의 경과와 관련된 시계열 데이터의 변경을 반영하기 위해 완료 상태에 기초하여 해석되어야 한다. 이러한 패턴의 다양성, 대용량성, 연속성 등의 여러 가지 특성을 가진 데이터 스트림의 분석을 위한 방법으로 멀티 블록 스트리밍 데이터 분석(AM-MBSD) 방법을 제안한다. 의미 있는 데이터 추출을 위해 멀티 블록 스트리밍 데이터의 패턴을 추출하고 추출된 연속적 데이터를 여러 개의 블록으로 정의하고 제안 방법의 검증을 위해 각 데이터 블록의 데이터 패턴 생성 시간, 주파수를 수집하고 시계열 데이터를 분석, 실험하였다.

이상탐지 기반의 효율적인 시계열 유사도 측정 및 순위화 (Efficient Time-Series Similarity Measurement and Ranking Based on Anomaly Detection)

  • 최지현;안현
    • 인터넷정보학회논문지
    • /
    • 제25권2호
    • /
    • pp.39-47
    • /
    • 2024
  • 시계열 분석은 시간 순서로 정렬된 데이터로부터 다양한 정보와 인사이트를 발견하기 위한 방법으로 많은 조직에서 비즈니스 문제 해결을 위해 적용하고 있다. 그중에서 시계열 유사도 측정은 패턴이 비슷한 시계열들을 식별하기 위한 단계로서 시계열 검색 및 군집화와 같은 시계열 분석 응용에서 매우 중요하다. 본 연구에서는 전체 시계열이 아닌 이상치들을 중심으로 시계열 유사도 측정을 계산 효율적으로 수행하는 방법을 제안한다. 이와 관련하여 이상탐지를 통해 추출된 서브시퀀스 집합에 대한 유사도 측정 결과와 시계열 전체에 대한 유사도 측정 결과 사이의 순위 상관관계를 측정 및 분석하여 제안 방법을 검증한다. 실험 결과로써, 주식 종목 시계열 데이터에 이상치 비율 10% 을 적용한 유사도 측정으로부터 최대 0.9 이상의 스피어만 순위 상관계수를 확인하였다. 결론적으로 제안 방법을 통해 시계열 유사도 측정에 소요되는 계산량을 유의미하게 절감하는 동시에 신뢰 가능한 시계열 검색 및 군집화 결과를 기대할 수 있다.

적대적 생성망을 이용한 부동산 시계열 데이터 생성 방안 (A Methodology for Realty Time-series Generation Using Generative Adversarial Network)

  • 유재필;한창훈;신현준
    • 한국융합학회논문지
    • /
    • 제12권10호
    • /
    • pp.9-17
    • /
    • 2021
  • 최근 빅데이터 분석, 인공지능, 기계학습 등의 발전으로 인해서 데이터를 과학적으로 분석하는 기술이 발전하고 있으며 이는 의사결정 문제를 최적으로 해결해주고 있다. 그러나 특정 분야의 경우에는 데이터의 양이 부족해서 과학적 방식에 적용하는 것이 어렵다. 예컨대 부동산과 같은 데이터는 데이터 발표 시점이 최근이거나 비 유동성 자산이다 보니 발표 주기가 긴 경우가 많다. 따라서 본 연구에서는 이런 문제점을 극복하기 위해서 TimeGAN 모형을 통해 기존의 시계열의 확장 가능성에 대해서 연구하고자 한다. 이를 위해 부동산과 관련된 총 45개의 시계열을 데이터 셋에 맞게 2012년부터 2021년까지 주 단위로 데이터를 수집하고 시계열 간의 상관관계를 고려해서 총 15개의 최종 시계열을 선정한다. 15개의 시계열에 대해서 TimeGAN 모형을 통해 데이터 확장을한 결과, PCA 및 T-SNE 시각화 알고리즘을 통해 실제 데이터와 확장 데이터 간의 통계적 분포가 유사하다는 것을 확인할 수 있었다. 따라서 본 논문을 통해서 데이터의 과적합 또는 과소적합이라는 한계점을 극복할 수 있는 다양한 실험이 연구되기를 기대한다.

ProphetNet 모델을 활용한 시계열 데이터의 열화 패턴 기반 Health Index 연구 (A Study on the Health Index Based on Degradation Patterns in Time Series Data Using ProphetNet Model)

  • 원선주;김용수
    • 산업경영시스템학회지
    • /
    • 제46권3호
    • /
    • pp.123-138
    • /
    • 2023
  • The Fourth Industrial Revolution and sensor technology have led to increased utilization of sensor data. In our modern society, data complexity is rising, and the extraction of valuable information has become crucial with the rapid changes in information technology (IT). Recurrent neural networks (RNN) and long short-term memory (LSTM) models have shown remarkable performance in natural language processing (NLP) and time series prediction. Consequently, there is a strong expectation that models excelling in NLP will also excel in time series prediction. However, current research on Transformer models for time series prediction remains limited. Traditional RNN and LSTM models have demonstrated superior performance compared to Transformers in big data analysis. Nevertheless, with continuous advancements in Transformer models, such as GPT-2 (Generative Pre-trained Transformer 2) and ProphetNet, they have gained attention in the field of time series prediction. This study aims to evaluate the classification performance and interval prediction of remaining useful life (RUL) using an advanced Transformer model. The performance of each model will be utilized to establish a health index (HI) for cutting blades, enabling real-time monitoring of machine health. The results are expected to provide valuable insights for machine monitoring, evaluation, and management, confirming the effectiveness of advanced Transformer models in time series analysis when applied in industrial settings.