The Korean Journal of Applied Statistics (응용통계연구)

The Korean Statistical Society (한국통계학회)
권호 표지
DOI QR코드

DOI QR Code

Robust estimation of sparse vector autoregressive models

희박 벡터 자기 회귀 모형의 로버스트 추정

  • 김동영 (성균관대학교 통계학과) ;
  • 백창룡 (성균관대학교 통계학과)
  • Received : 2022.05.11
  • Accepted : 2022.06.22
  • Published : 2022.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

This paper considers robust estimation of the sparse vector autoregressive model (sVAR) useful in high-dimensional time series analysis. First, we generalize the result of Xu et al. (2008) that the adaptive lasso indeed has robustness in sVAR as well. However, adaptive lasso method in sVAR performs poorly as the number and sizes of outliers increases. Therefore, we propose new robust estimation methods for sVAR based on least absolute deviation (LAD) and Huber estimation. Our simulation results show that our proposed methods provide more accurate estimation in turn showed better forecasting performance when outliers exist. In addition, we applied our proposed methods to power usage data and confirmed that there are unignorable outliers and robust estimation taking such outliers into account improves forecasting.

본 논문은 고차원 시계열 자료에 이상점이 존재하는 경우 희박벡터자기회귀모형(sparse VAR; sVAR)의 모수를 강건하게 추정하는 방법에 대해서 연구하였다. 먼저 Xu 등 (2008)이 독립인 자료에서 밝혔듯이 adaptive lasso 방법이 sVAR 모형에서도 어느 정도의 강건함을 가짐을 모의 실험을 통해 알 수 있었다. 하지만, 이상점의 개수가 증가하거나 이상점의 영향력이 커지는 경우 효율성이 현저히 저하되는 현상도 관찰할 수 있었다. 따라서 이를 개선하기 위해서 최소절대편차(least absolute deviation; LAD)와 Huber 함수를 기반으로 벌점화 시키는 adaptive lasso를 이용하여 sVAR 모형을 추정하는 방법을 본 논문에서는 제안하고 그 성능을 검토하였다. 모의 실험을 통해 제안한 로버스트 추정 방법이 이상점이 존재하는 경우에 모수 추정을 더 정확하게 하고 예측 성능도 뛰어남을 확인했다. 또한 해당 방법론들을 전력사용량 데이터에 적용한 결과 이상점으로 의심되는 시점들이 존재하였고, 이를 고려하여 강건하게 추정하는 제안한 방법론이 더 좋은 예측 성능을 보임을 확인할 수 있었다.

Keywords

Acknowledgement

이 논문은 한국연구재단의 지원을 받아 수행된 기초연구 사업임 (NRF-2022R1F1A1066209).

References

  1. Baek C, Davis RA, and Pipiras V (2017). Sparse seasonal and periodic vector autoregressive modeling, Computational Statistics & Data Analysis, 106, 103-126. https://doi.org/10.1016/j.csda.2016.09.005
  2. Baek C and Park M (2021). Sparse vector heterogeneous autoregressive modeling for realized volatility, Journal of the Korean Statistical Society, 50, 495-510. https://doi.org/10.1007/s42952-020-00090-5
  3. Chen C and Liu LM (1993). Joint estimation of model parameters and outlier effects in time series, Journal of the American Statistical Association, 88, 284-297.
  4. Davis RA, Zang P, and Zheng T (2016). Sparse vector autoregressive modeling, Journal of Computational and Graphical Statistics, 25, 1077-1096. https://doi.org/10.1080/10618600.2015.1092978
  5. Fan J and Li R (2001). Variable selection via nonconcave penalized likelihood and its oracle properties, Journal of the American Statistical Association, 96, 1348-1360. https://doi.org/10.1198/016214501753382273
  6. Huber PJ (1981). Robust Statistics, Wiley, New York.
  7. Lambert-Lacroix S and Zwald L (2011). Robust regression through the Huber's criterion and adaptive lasso penalty, Electronic Journal of Statistics, 5, 1015-1053.
  8. Lee SG and Baek C (2016). Adaptive lasso in sparse vector autoregressive models, The Korean Journal of Applied Statistics, 29, 27-39. https://doi.org/10.5351/KJAS.2016.29.1.027
  9. Lutkepohl H (2005). New Introduction to Multiple Time Series Analysis, Springer-Verlag, Berlin.
  10. Shin AJ, Park M, and Baek C (2022). Sparse vector heterogeneous autoregressive model with nonconvex penalties, Communications for Statistical Applications and Methods, 29, 53-64. https://doi.org/10.29220/CSAM.2022.29.1.053
  11. Tibshirani R (1996). Regression shrinkage and selection via the lasso, Journal of the Royal Statistical Society:Series B (Methodological), 58, 267-288. https://doi.org/10.1111/j.2517-6161.1996.tb02080.x
  12. Wang H, Li G, and Jiang G (2007). Robust regression shrinkage and consistent variable selection through the lad-lasso, Journal of Business & Economic Statistics, 25, 347-355. https://doi.org/10.1198/073500106000000251
  13. Xu H, Caramanis C, and Mannor S (2008). Robust regression and lasso, Advances in Neural Information Processing Systems, 21, 103-126.