• 제목/요약/키워드: Time Series Data Processing

검색결과 317건 처리시간 0.024초

가상 윈도우 기반 인스턴스 레벨 서브시퀀스 매칭 방안 (Instance-Level Subsequence Matching Method based on a Virtual Window)

  • 임선영;박영호
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제3권2호
    • /
    • pp.43-46
    • /
    • 2014
  • 시계열 데이터는 시간에 따라 변화되는 실수 값을 저장한 것이다. 시계열 데이터에서 사용자 질의 시퀀스가 주어졌을 때, 유사한 서브시퀀스를 가지는 데이터 시퀀스를 검색하는 서브시퀀스 매칭은 매우 중요한 문제이다. 본 논문에서는 인스턴스 레벨의 새로운 서브시퀀스 매칭 방법인 I-Match (Instance-Match)를 제안한다. I-Match는 인스턴스 레벨에서 가상 윈도우를 생성하여 질의 시퀀스와 데이터 시퀀스를 비교하여 착오 해답을 줄이는 방법으로 기존 방법인 Dual Match에 비해 후보의 개수를 줄임으로써 성능을 향상시켰다. 실험을 통해 I-Match의 질의 처리 시간이 Dual Match와 비교하여 최대 2.95배 빠르며, 후보의 개수를 줄임을 보인다.

가상 트랜잭션을 이용한 시계열 데이터의 데이터 마이닝 (Data Mining Time Series Data With Virtual Transaction)

  • 김민수;김철환;김응모
    • 정보처리학회논문지D
    • /
    • 제9D권2호
    • /
    • pp.251-258
    • /
    • 2002
  • 대용량의 데이터들로부터 사용자가 인하는 데이터를 찾기 위하여 많은 데이터 마이닝 기술들이 연구되어 실제 응용프로그램에서 많이 적용되고 있다. 이러한 데이터 마이닝 기술들은 시계열 데이터를 이용하는 경우보다 트랜잭션 데이터를 이용하여 유용한 정보를 찾는 경우에 초점이 맞춰져 있다. 본 논문에서는 시계열 데이터를 트랜잭션 데이터로 변환하는 접근방법을 소개한다. 가상 트랜잭션은 서로 상대적으로 근접한 시간에 발생하는 이벤트의 집합이라고 정의하며, 가상 트랜잭션 생성기는 가상 트랜잭션을 생성시 시간윈도우와 이벤트 윈도우 방법을 사용한다. 본 논문의 접근 방법을 사용하여 기존의 트랜잭션 데이터를 이용하는 많은 데이터 마이닝 알고리즘들을 수정 없이 시계열 데이터에 적용하여 유용한 정보를 찾을 수 있다.

Temporal Fusion Transformers와 심층 학습 방법을 사용한 다층 수평 시계열 데이터 분석 (Temporal Fusion Transformers and Deep Learning Methods for Multi-Horizon Time Series Forecasting)

  • 김인경;김대희;이재구
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제11권2호
    • /
    • pp.81-86
    • /
    • 2022
  • 시계열 데이터는 주식, IoT, 공장 자동화와 같은 다양한 실생활에서 수집되고 활용되고 있으며, 정확한 시계열 예측은 해당 분야에서 운영 효율성을 높일 수 있어서 전통적으로 중요한 연구 주제이다. 전반적인 시계열 데이터의 향상된 특징을 추출할 수 있는 대표적인 시계열 데이터 분석 방법인 다층 수평 예측은 최근 부가적 정보를 포함하는 시계열 데이터에 내재한 이질성(heterogeneity)까지 포괄적으로 분석에 활용하여 향상된 시계열 예측한다. 하지만 대부분의 심층 학습 기반 시계열 분석 모델들은 시계열 데이터의 이질성을 반영하지 못했다. 따라서 우리는 잘 알려진 temporal fusion transformers 방법을 사용하여 실생활과 밀접한 실제 데이터를 이질성을 고려한 다층 수평 예측에 적용하였다. 결과적으로 주식, 미세먼지, 전기 소비량과 같은 실생활 시계열 데이터에 적용한 방법이 기존 예측 모델보다 향상된 정확도를 가짐을 확인할 수 있었다.

시계열 프레임워크를 이용한 효율적인 클라우드서비스 품질·성능 관리 방법 (An Efficient Cloud Service Quality Performance Management Method Using a Time Series Framework)

  • 정현철;서광규
    • 반도체디스플레이기술학회지
    • /
    • 제20권2호
    • /
    • pp.121-125
    • /
    • 2021
  • Cloud service has the characteristic that it must be always available and that it must be able to respond immediately to user requests. This study suggests a method for constructing a proactive and autonomous quality and performance management system to meet these characteristics of cloud services. To this end, we identify quantitative measurement factors for cloud service quality and performance management, define a structure for applying a time series framework to cloud service application quality and performance management for proactive management, and then use big data and artificial intelligence for autonomous management. The flow of data processing and the configuration and flow of big data and artificial intelligence platforms were defined to combine intelligent technologies. In addition, the effectiveness was confirmed by applying it to the cloud service quality and performance management system through a case study. Using the methodology presented in this study, it is possible to improve the service management system that has been managed artificially and retrospectively through various convergence. However, since it requires the collection, processing, and processing of various types of data, it also has limitations in that data standardization must be prioritized in each technology and industry.

이산 웨이브릿 변환을 이용한 소나 자료처리에 관한 연구 (A Study on the Sonar Data Processing by Using a Discrete Wavelet Transform)

  • 김진후;김현도
    • 한국해양공학회:학술대회논문집
    • /
    • 한국해양공학회 2003년도 춘계학술대회 논문집
    • /
    • pp.324-329
    • /
    • 2003
  • Spectral analysis is an important signal processing tool for time series data. The transformation of a time series into the frequency domain is the basis for a significant number of processing algorithms and interpretive methods. Recently developed transforms based on the new mathematical field of wavelet analysis bypass the resolution limitation and offer superior spectral decomposition. The discrete wavelet transform of Sonar data provides spectral localization of noises, hence noises can be filtered out successfully.

  • PDF

Fault Detection in the Semiconductor Etch Process Using the Seasonal Autoregressive Integrated Moving Average Modeling

  • Arshad, Muhammad Zeeshan;Nawaz, Javeria Muhammad;Hong, Sang Jeen
    • Journal of Information Processing Systems
    • /
    • 제10권3호
    • /
    • pp.429-442
    • /
    • 2014
  • In this paper, we investigated the use of seasonal autoregressive integrated moving average (SARIMA) time series models for fault detection in semiconductor etch equipment data. The derivative dynamic time warping algorithm was employed for the synchronization of data. The models were generated using a set of data from healthy runs, and the established models were compared with the experimental runs to find the faulty runs. It has been shown that the SARIMA modeling for this data can detect faults in the etch tool data from the semiconductor industry with an accuracy of 80% and 90% using the parameter-wise error computation and the step-wise error computation, respectively. We found that SARIMA is useful to detect incipient faults in semiconductor fabrication.

IoT 센서의 시계열 데이터 정확도 향상을 위한 인공지능 기반 분류 기법 (Artificial Intelligence-based Classification Scheme to improve Time Series Data Accuracy of IoT Sensors)

  • 김진영;심이삭;윤성훈
    • 한국인터넷방송통신학회논문지
    • /
    • 제21권4호
    • /
    • pp.57-62
    • /
    • 2021
  • 인공지능을 위한 병렬연산 능력이 향상됨에 따라 인공지능 적용 분야가 다양한 방향으로 확대되고 있다. 특히 방대한 데이터를 처리해야 하는 IoT센서의 데이터를 처리하기 위해 인공지능이 도입되고 있다. 하지만 시간에 따른 데이터의 중요도가 달라지는 IoT 시계열 데이터 특성상 기존의 인공지능 학습 기법을 그대로 적용하기에는 한계점이 있다. 본 과제에서는 IoT 센서 데이터를 효과적으로 처리하기 위해 시간가중치기반 및 사용자 상태값 기반 인공지능 처리기법을 연구한다. 상기 기법을 통해 기존 인공지능 학습을 적용시키는 것 보다 높은 센서 정확도를 확보 할 수 있게 된다. 이에 더해, 해당 연구를 기반으로 다양한 분야에서 인공지능 학습을 적용하는 방안을 제시하고, 지속적인 연구를 통해 다양한 분야로의 확장을 기대할 수 있다.

Criteria for processing response-spectrum-compatible seismic accelerations simulated via spectral representation

  • Zerva, A.;Morikawa, H.;Sawada, S.
    • Earthquakes and Structures
    • /
    • 제3권3_4호
    • /
    • pp.341-363
    • /
    • 2012
  • The spectral representation method is a quick and versatile tool for the generation of spatially variable, response-spectrum-compatible simulations to be used in the nonlinear seismic response evaluation of extended structures, such as bridges. However, just as recorded data, these simulated accelerations require processing, but, unlike recorded data, the reasons for their processing are purely numerical. Hence, the criteria for the processing of acceleration simulations need to be tied to the effect of processing on the structural response. This paper presents a framework for processing acceleration simulations that is based on seismological approaches for processing recorded data, but establishes the corner frequency of the high-pass filter by minimizing the effect of processing on the response of the structural system, for the response evaluation of which the ground motions were generated. The proposed two-step criterion selects the filter corner frequency by considering both the dynamic and the pseudo-static response of the systems. First, it ensures that the linear/nonlinear dynamic structural response induced by the processed simulations captures the characteristics of the system's dynamic response caused by the unprocessed simulations, the frequency content of which is fully compatible with the target response spectrum. Second, it examines the adequacy of the selected estimate for the filter corner frequency by evaluating the pseudo-static response of the system subjected to spatially variable excitations. It is noted that the first step of this two-fold criterion suffices for the establishment of the corner frequency for the processing of acceleration time series generated at a single ground-surface location to be used in the seismic response evaluation of, e.g. a building structure. Furthermore, the concept also applies for the processing of acceleration time series generated by means of any approach that does not provide physical considerations for the selection of the corner frequency of the high-pass filter.

Time-series InSAR Analysis and Post-processing Using ISCE-StaMPS Package for Measuring Bridge Displacements

  • Vadivel, Suresh Krishnan Palanisamy;Kim, Duk-jin;Kim, Young Cheol
    • 대한원격탐사학회지
    • /
    • 제36권4호
    • /
    • pp.527-534
    • /
    • 2020
  • This study aims to monitor the displacement of the bridges using Stanford Method for Persistent Scatterers (StaMPS) time-series Persistent Scatterer Interferometric Synthetic Aperture Radar analysis. For case study bridges: Kimdaejung bridge and Deokyang bridge, we acquired 60 and 33 Cosmo-Skymed Synthetic Aperture Radar (SAR) data over the Mokpo region and Yeosu region, respectively from 2013 to 2019. With single-look interferograms, we estimated the long-term time-series displacements over the bridges. The time-series displacements were estimated as -8.8 mm/year and -1.34 mm/year at the mid-span over the selected bridges: Kimdaejung and Deokyang bridge, respectively. This time-series displacement provides reliable and high spatial resolution information to monitor the structural behavior of the bridge for preventing structural behaviors.

A Study on Abnormal Data Processing Process of LSTM AE - With applying Data based Intelligent Factory

  • Youn-A Min
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제15권2호
    • /
    • pp.240-247
    • /
    • 2023
  • In this paper, effective data management in industrial sites such as intelligent factories using time series data was studied. For effective management of time series data, variables considering the significance of the data were used, and hyper parameters calculated through LSTM AE were applied. We propose an optimized modeling considering the importance of each data section, and through this, outlier data of time series data can be efficiently processed. In the case of applying data significance and applying hyper parameters to which the research in this paper was applied, it was confirmed that the error rate was measured at 5.4%/4.8%/3.3%, and the significance of each data section and the significance of applying hyper parameters to optimize modeling were confirmed.