DOI QR코드

DOI QR Code

Parameter Tuning in Support Vector Regression for Large Scale Problems

대용량 자료에 대한 서포트 벡터 회귀에서 모수조절

  • 류지열 (부경대학교 정보통신공학과) ;
  • 곽민정 (평택대학교 디지털응용정보학과) ;
  • 윤민 (부경대학교 통계학과)
  • Received : 2014.12.22
  • Accepted : 2015.02.14
  • Published : 2015.02.25

Abstract

In support vector machine, the values of parameters included in kernels affect strongly generalization ability. It is often difficult to determine appropriate values of those parameters in advance. It has been observed through our studies that the burden for deciding the values of those parameters in support vector regression can be reduced by utilizing ensemble learning. However, the straightforward application of the method to large scale problems is too time consuming. In this paper, we propose a method in which the original data set is decomposed into a certain number of sub data set in order to reduce the burden for parameter tuning in support vector regression with large scale data sets and imbalanced data set, particularly.

커널에 대한 모수의 조절은 서포트 벡터 기계의 일반화 능력에 영향을 준다. 이와 같이 모수들의 적절한 값을 결정하는 것은 종종 어려운 작업이 된다. 서포트 벡터 회귀에서 이와 같은 모수들의 값을 결정하기 위한 부담은 앙상블 학습을 사용함으로써 감소시킬 수 있다. 그러나 대용량의 자료에 대한 문제에 직접적으로 적용하기에는 일반적으로 시간 소모적인 방법이다. 본 논문에서 서포트 벡터 회귀의 모수 조절에 대한 부담을 감소하기 위하여 원래 자료집합을 유한개의 부분집합으로 분해하는 방법을 제안하였다. 제안하는 방법은 대용량의 자료들인 경우와 특히 불균등 자료 집합에서 효율적임을 보일 것이다.

Keywords

References

  1. C.M. Bishop, Pattern Recognition and Machine Learning, Springer, 2006.
  2. O. Chapell, V. Vapnik, O. Bousquet and S. Mukherjee, "Choosing multiple parameters for support vector machines," Machine Learning, vol. 46, no. 1-3, pp. 131-159, 1997. https://doi.org/10.1023/A:1012450327387
  3. Y. Freund and R. Schapire, "A decision-theoretic generalization of online learning and an application to boosting," Journal of Computer and System Sciences, vol. 55, no. 1, pp. 119-139, 1997. https://doi.org/10.1006/jcss.1997.1504
  4. J. M. Moreira, C. Soares, A. B. Jorge and J. F. Sousa, Ensemble Approaches for Regression: a Survey, Elsevier, 2007.
  5. H. Nakayama, Y. B. Yun and M. Yoon, Sequential Approximate Multiobjective Optimization Using Computational Intelligence, Springer, 2009.
  6. X. Li, L. Wang and E. Sung, "AdaBoost with SVM-based component classifiers," Engineering Applications of Artificial Intelligence, vol. 21, no. 5, pp. 785-795, 2008. https://doi.org/10.1016/j.engappai.2007.07.001
  7. B. Scholkopf and A. J. Smola, Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond, MIT Press, 2002.
  8. R. Suzuki, H. Nakayama and Y. B. Yun, "Parameter tuning in support vector regression for large scale problems," International Conference on Optimization, Techniques and Applications, Shanghai, 2010.