• Title/Summary/Keyword: 시계열 데이터 비교분석

검색결과 243건 처리시간 0.027초

LSTM 오토인코더를 활용한 축산 환경 시계열 데이터의 이상치 탐지: 경계값 설정에 따른 성능 비교 (Anomaly Detection in Livestock Environmental Time Series Data Using LSTM Autoencoders: A Comparison of Performance Based on Threshold Settings)

  • 정세연;김상철
    • 스마트미디어저널
    • /
    • 제13권4호
    • /
    • pp.48-56
    • /
    • 2024
  • 축산업에서 환경의 이상치 탐지와 데이터 예측은 매우 중요한 과제이다. 대부분 시계열 데이터로 수집되는 축산 환경 데이터의 이상치는 급격한 생육환경의 변화와 예상치 못한 전염병의 징후를 나타낼 수 있으므로 이상치를 빠르게 탐지하는 것이 중요하다. 이상치의 빠른 탐지와 효과적인 대응은 가축의 스트레스를 최소화하고 전염병 발생 환경을 조기에 발견하여 농가의 경제적인 손실을 감소시키는 역할을 할 수 있다. 본 연구에서는 축산환경 데이터의 이상치 탐지 분야에서 이상치를 규정하는 경계값(Threshold) 설정에서 두 가지 설정 방법을 이용하여 실험하고 성능을 비교하였다. Mean Squared Error(MSE)를 활용한 이상치 탐지 방법과 Dynamic Threshold를 이용한 이상치 탐지 방법을 이용하여 이를 통해 주어진 이전 데이터의 평균값과의 변동성을 분석하여 이상 상황을 식별하는 연구를 진행하였다. MSE를 활용한 이상치 탐지 방법은 94.98% 정확도를 보였고 표준편차를 활용한 Dynamic Threshold 방법은 99.66%정확도로 성능이 더 우수함을 확인할 수 있었다.

다변량 시계열 이상 탐지 과업에서 비지도 학습 모델의 성능 비교 (A Survey on Unsupervised Anomaly Detection for Multivariate Time Series)

  • 임주완;이재구
    • 정보보호학회논문지
    • /
    • 제33권1호
    • /
    • pp.1-12
    • /
    • 2023
  • 다변량 시계열 이상 탐지 과업에서 정답 값이 존재하는 데이터를 얻는 것은 매우 시간 집약적인 일이다. 따라서 최근 정답 값이 필요 없는 비지도 학습법(unsupervised learning)에 관한 많은 연구가 진행되었다. 하지만 다변량 시계열 이상 탐지 과업에 특화된 주요 구조와 세부적인 특성에 대한 심화 있는 논의는 이루어지지 않았다. 본 논문에서는 비지도 학습 기반의 다변량 시계열 이상 탐지 모델과 특장점을 포괄적으로 분석하여 분류하였다. 전력 계통(power grid) 또는 Cyber Physical System(CPS)과 같은 현실 세계 데이터 집합에서 현실적인 이상 상황을 고려하여 학습을 진행하였고, 실험 결과를 바탕으로 각 모델의 정량적 성능을 비교 분석하였다. 성능 지표로는 정밀도(precision), 재현율(recall)과 F1 점수를 사용하여 성능을 측정하였다.

미세먼지 자료에서의 결측치 대체 방법 비교 (Comparision of Missing Imputaion Methods In fine dust data)

  • 김연진;박헌진
    • 한국빅데이터학회지
    • /
    • 제4권2호
    • /
    • pp.105-114
    • /
    • 2019
  • 자료 분석에 있어서 결측치 대체는 큰 이슈중 하나이다. 결측치의 발생을 무시하고 분석을 진행하게 되면, bias가 발생하여 그에 따른 추정치에 대해 잘못된 결과를 줄 수 있다. 이 논문에서는 미세먼지자료에서 발생한 결측치를 적절한 대체 방법을 찾아 적용하자 한다. 이를 통해 시계열 자료에서 발생한 결측치를 R을 기반으로 한MICE, MissForest 등의 기존 방법과 시계열 기반 모델을 사용하여 여러 가지 상황에 대한 시뮬레이션을 설정해 비교해 밝히고자 하였다. 이 결과에 대해 각각을 변수 별로 비교하였을때 ImputeTS 패키지를 이용한 auto arima 모델의 kalman filter를 적용한 모형과 MissForest 모형이 미세먼지자료 결측치 대체에서는 좋은 결과를 주는 것으로 판단되었다.

  • PDF

결측치 비율이 높은 시계열 데이터 분석 및 예측을 위한 머신러닝 모델 구축 (Development of a Machine Learning Model for Imputing Time Series Data with Massive Missing Values)

  • 고방원;한용희
    • 한국정보전자통신기술학회논문지
    • /
    • 제17권3호
    • /
    • pp.176-182
    • /
    • 2024
  • 본 연구는 결측치 비율이 높은 시계열 데이터를 효과적으로 분석하고 예측할 수 있는 머신러닝 모델을 구축하기 위해 다양한 결측치 처리 방법을 비교 분석하였다. 이를 위해 PSMF(Predictive State Model Filtering), MissForest, IBFI(Imputation By Feature Importance) 방법을 적용하였으며, 이후 LightGBM, XGBoost, EBM(Explainable Boosting Machines) 머신러닝 모델을 사용하여 예측 성능을 평가하였다. 연구 결과, 결측치 처리 방법 중에서는 MissForest와 IBFI가 비선형적 데이터 패턴을 잘 반영하여 가장 높은 성능을 나타냈으며, 머신러닝 모델 중에서는 XGBoost와 EBM 모델이 LightGBM 모델보다 더 높은 성능을 보였다. 본 연구는 결측치 비율이 높은 시계열 데이터의 분석 및 예측에 있어 비선형적 결측치 처리 방법과 머신러닝 모델의 조합이 중요함을 강조하며, 실무적으로 유용한 방법론을 제시하였다.

스케일링-불변 윤곽선 이미지 매칭의 시각화 도구 (Visualization Tool for Scaling-Invariant Boundary Image Matching)

  • 문성우;이상훈;김범수;문양세
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 춘계학술발표대회
    • /
    • pp.683-686
    • /
    • 2015
  • 본 논문에서는 스케일링-불변 윤곽선 이미지 매칭의 시각화 도구를 제안한다. 윤곽선 이미지를 시계열로 나타낼 경우, 시계열 매칭 기술을 활용하여 대용량 윤곽선 이미지 매칭을 보다 빠르게 수행할 수 있다. 이러한 윤곽선 이미지 매칭에서, 스케일링 불변의 지원은 스케일된 유사 이미지를 검색하기 위한 중요한 요소이다. 본 논문에서는 스케일링-불변 윤곽선 이미지 매칭 시스템을 클라이언트-서버 모델을 기반으로 구현한다. 먼저, 클라이언트는 질의 이미지를 시계열로 변환하고, 스케일링 팩터 구간 및 허용치와 함께 서버에 전달하고, 매칭 결과로 반환된 이미지를 차트 형태로 시각화한다. 다음으로 서버는 다차원 인덱스를 활용하여 대용량 윤곽선 시계열 데이터에 대한 빠른 시계열 매칭을 수행한다. 구현 결과, 제안하는 윤곽선 이미지 매칭 시각화 도구는 질의 이미지와 스케일링-불변 결과 이미지를 세 가지의 차트를 통해 직관적으로 비교 및 분석 가능하게 하였다.

Subset 샘플링 검증 기법을 활용한 MSCRED 모델 기반 발전소 진동 데이터의 이상 진단 (Anomaly Detection In Real Power Plant Vibration Data by MSCRED Base Model Improved By Subset Sampling Validation)

  • 홍수웅;권장우
    • 융합정보논문지
    • /
    • 제12권1호
    • /
    • pp.31-38
    • /
    • 2022
  • 본 논문은 전문가 독립적 비지도 신경망 학습 기반 다변량 시계열 데이터 분석 모델인 MSCRED(Multi-Scale Convolutional Recurrent Encoder-Decoder)의 실제 현장에서의 적용과 Auto-encoder 기반인 MSCRED 모델의 한계인, 학습 데이터가 오염되지 않아야 된다는 점을 극복하기 위한 학습 데이터 샘플링 기법인 Subset Sampling Validation을 제시한다. 라벨 분류가 되어있는 발전소 장비의 진동 데이터를 이용하여 1) 학습 데이터에 비정상 데이터가 섞여 있는 상황을 재현하고, 이를 학습한 경우 2) 1과 같은 상황에서 Subset Sampling Validation 기법을 통해 학습 데이터에서 비정상 데이터를 제거한 경우의 Anomaly Score를 비교하여 MSCRED와 Subset Sampling Validation 기법을 유효성을 평가한다. 이를 통해 본 논문은 전문가 독립적이며 오류 데이터에 강한 이상 진단 프레임워크를 제시해, 다양한 다변량 시계열 데이터 분야에서의 간결하고 정확한 해결 방법을 제시한다.

불규칙변동 분해 시계열분석 기법을 사용한 AADT 추정 (The AADT estimation through time series analysis using irregular factor decomposition method)

  • 이승재;백남철;권희정;최대순;도명식
    • 대한교통학회지
    • /
    • 제19권6호
    • /
    • pp.65-73
    • /
    • 2001
  • 교통량이 시간의 흐름과 관련이 있는 시계열 데이터라는 개념을 기초로 교통량 패턴을 시계열 분석을 사용하여 분해해 보고자 하였다. 교통량 패턴은 추세치(T)와 계절변동(S), 주기변동(C), 그리고 불규칙변동(I)으로 구분할 수 있었는데 본 연구에서는 불규칙변동을 기상요인을 통해 설명하려는 시도를 하였다. 왜냐하면 교통의 주체인 사람들 행태의 특성상 기상의 변화와 관련이 깊다고 판단을 내렸기 때문이었다. 기상요인으로는 일우량, 일조량, 풍속, 주야율 강설량, 기온 등 여러 가지가 있지만 교통량의 변화와 가장 관련이 깊다고 여겨지는 일우량과 최저기온을 이용하였다. 일단 시계열 성분을 분해하고 나면 이를 이용하여 AADT를 추정하게 되는데, 추정의 결과를 비교하기 위해 AADT 추정방법을 두 가지로 구분하였다. 즉, 기상요인을 사용했을 경우와 그렇지 않을 경우로 나누어 결과를 살펴보았다. 추정 결과를 비교하는 척도로는 RMSE와 U-test를 사용하였다. 결과를 보면 불규칙변동요인을 그대로 사용했을 때보다, 기상요인을 결합한 불규칙변동요인을 사용했을 때 더 추정력이 좋았다. 이것은 각 조사지점의 RMSE와 U-test값을 구한 후 그 지점의 AADT로 나누어 준 결과를 보고 알 수 있었다. 이 연구를 통해 우리는 불규칙변동요인 이용방법의 중요성에 대해 한번 더 생각해 보게 된다. 즉 그것을 설명하는 방법에 의해 기존보다 더 나은 모형을 얻을 수도 있다는 결론에 이르게 된다는 것이다.

  • PDF

시계열 데이터베이스에서 임의 계수의 이동평균 변환을 지원하는 서브시퀀스 매칭 알고리즘 (A Subsequence Matching Algorithm Supporting Moving Average Transformation of Arbitrary Order in Time-Series Databases)

  • 노웅기;김상욱;황규영;심규석
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (1)
    • /
    • pp.334-336
    • /
    • 1999
  • 본 논문에서는 시계열 데이터베이스에서 임의 계수의 이동평균 변환을 지원하는 서브시퀀스 매칭 알고리즘을 제안한다. 응용분야와 분석하려고 하는 시계열 데이터의 특성에 따라 잡음의 영향을 줄이는 정도와 경향을 파악하는 주기가 달라지므로 이동평균 계수의 선택도 달라진다. 본 논문에서는 하나의 이동평균 계수에 대해서 생성한 인덱스만을 이용하여 인덱스가 생성되어 있지 않은 계수에 대해서도 탐색을 수행하는 방법을 제안한다. 이때, 제안된 탐색 기법이 질의 결과로 반환되어야 할 서브시퀀스를 모두 찾아내지 못하는 착오 기각이 발생하지 않음을 증명한다. 실험 결과, 모든 이동평균 계수에 대해 인덱스가 생성되어 있는 경우와 비교하여 탐색 성능의 저하는 42%이내였으며, 제안된 알고리즘의 탐색 성능이 순차 검색에 비하여 초대 2.7배 우수하였다.

  • PDF

몰드변압기 진동신호의 FFT 및 시계열 계수 분석 (FFT and AR Coefficient Analysis of Vibration Signal in Mold Transformer)

  • 정용기;정종욱;김재철;곽희로
    • 조명전기설비학회논문지
    • /
    • 제12권4호
    • /
    • pp.136-145
    • /
    • 1998
  • 본 논문에서는 몰드변압기 예방진단을 위해 정상상태와 비정상상태 몰드변압기의 진동신호의 FFT 및 시계열 분석에 관해 연구하였다. 실험올 위한 제어변수들로 공급전압, 부하전류 및 주위온도를 변화시키면서, 진동신호 크기, 주파수 스펙트럼 및 시계열 계수와 같은 측정변수들을 분석하였다. 제어변수 변화에 의한 진동선호는 권선표변과 철섬에 부착된 가속도센서로 측정되었으며, 이 신호들은 중폭기를 거쳐 데이터 수집장치에서 측정변수들로 계산되었다. 또한, 정 상상태 분석 후, 몰드변압기의 구조적 변형올 모의하였다. 비정상상태 진동신호는 정상상태와 같은 제어변수 변화 에 의해 측정되었다. 연구 결과, 정상상태와 비정상상태 진동신호는 수직진동신호와 수평진동신호를 비교하여 분석함으혹써 구별이 가능하였다.

  • PDF

시계열 데이터베이스에서 DFT-기반 다차원 인덱스를 위한 물리적 데이터베이스 설계 (Physical Database Design for DFT-Based Multidimensional Indexes in Time-Series Databases)

  • 김상욱;김진호;한병일
    • 한국멀티미디어학회논문지
    • /
    • 제7권11호
    • /
    • pp.1505-1514
    • /
    • 2004
  • 시퀀스 매칭은 시계열 데이터베이스로부터 질의 시퀀스와 변화의 추세가 유사한 데이터 시퀀스들을 검색하는 연산이다. 기존의 대부분의 연구에서는 효과적인 시퀀스 매칭을 위하여 다차원 인덱스를 사용하며, 데이터 시퀀스를 이산 푸리에 변환(Discrete Fourier Transform: DFT)한 후, 단순히 앞의 두 개 내지 세 개의 DFT 계수만을 구성 속성 (organizing attributes)으로 사용함으로써 고차원의 경우 발생하는 차원 저주(dimensionality curse) 문제를 해결한다. 본 논문에서는 기존의 단순한 기법이 가지는 성능 상의 문제점들을 지적하고, 이러한 문제점들을 해결하는 최적의 다차원 인덱스 구성 기법을 제안한다. 제안된 기법은 대상이 되는 시계열 데이터베이스의 특성을 사전에 분석함으로써 변별력이 뛰어난 요소들을 다차원 인덱스의 구성 속성으로 선정하며, 비용 모델(cost model)을 기반으로 한 시퀀스 매칭 비용의 추정을 통하여 다차원 인덱스에 참여하는 최적의 구성 속성의 수를 결정한다. 제안된 기법의 우수성을 규명하기 위하여 실험을 통한기존 기법과의 성능 비교를 수행하였다 실험 결과에 의하면, 제안된 기법은 기존의 기법에 비교하여 매우 큰 성능 개선 효과를 가지는 것으로 나타났다.

  • PDF