The Journal of the Korea Contents Association (한국콘텐츠학회논문지)

The Korea Contents Association (한국콘텐츠학회)
권호 표지
DOI QR코드

DOI QR Code

Improving Polynomial Regression Using Principal Components Regression With the Example of the Numerical Inversion of Probability Generating Function

주성분회귀분석을 활용한 다항회귀분석 성능개선: PGF 수치역변환 사례를 중심으로

  • Received : 2014.10.08
  • Accepted : 2014.11.17
  • Published : 2015.01.28
Download PDF
⟨ Previous Next ⟩

Abstract

We use polynomial regression instead of linear regression if there is a nonlinear relation between a dependent variable and independent variables in a regression analysis. The performance of polynomial regression, however, may deteriorate because of the correlation caused by the power terms of independent variables. We present a polynomial regression model for the numerical inversion of PGF and show that polynomial regression results in the deterioration of the estimation of the coefficients. We apply principal components regression to the polynomial regression model and show that principal components regression dramatically improves the performance of the parameter estimation.

종속변수와 설명변수 사이의 관계가 선형이 아닌 경우에는 비선형 관계를 반영할 수 있는 다항회귀분석을 이용하여 회귀분석을 수행한다. 한편, 다항회귀분석에는 설명변수의 거듭제곱항들이 설명변수에 추가되므로 설명변수들 사이에 상관관계가 발생하여 다항회귀모형의 성능 저하 문제가 발생할 수 있다. 본 논문에서는 PGF 수치역변환 문제를 사례로 하여 주성분회귀분석을 통해 다항회귀분석의 성능을 극적으로 향상시킬 수 있음을 보인다. 본 논문에서는 PGF의 정의를 이용하여 PGF를 다항회귀분석으로 모형화한다. 다항회귀분석을 이용하여 PGF 전개식의 회귀계수를 추정하면 회귀계수의 추정 자체가 불가능하거나 계수 추정의 정확성이 저하되는 문제가 발생한다. 이 경우 다항회귀분석에 주성분회귀분석을 적용하면 계수 추정의 정확도가 극적으로 향상되어 다항회귀분석의 계수 추정 시 발생하는 문제를 해결할 수 있음을 밝힌다.

Keywords

References

  1. G. James, D. Witten, T. Hastie, and R. Tibshirani, An Introduction to Statistical Learning, Springer, New York, 2013.
  2. 백주아, 윤설민, 서원석, "호텔 산업의 자아이미지 일치성 측정 방법의 타당성에 관한 연구 - 간접 측정과 다항 회귀식을 중심으로", 관광학연구, 제34권, 제9호, pp.299-311, 2010.
  3. 황동교, 박혁, 박준호, 성동욱, 유재수, "저밀도 센서 네트워크 환경에서 다항 회귀 예측 기반 이동객체 추적 기법", 한국콘텐츠학회논문지, 제12권, 제3호, pp.44-54, 2012. https://doi.org/10.5392/JKCA.2012.12.03.044
  4. 임병권, 김윤태, "다항회귀분석을 활용한 혼합경량토의 강도산정 모델 개발", 한국해양공학회지, 제26권, 제2호, pp.39-47, 2012. https://doi.org/10.5574/KSOE.2012.26.2.039
  5. 이권호, 장은숙, "화산재입자의 고유 광학특성이 원격탐사 복사량에 미치는 민감도 분석", 대한원격탐사학회지, 제30권, 제1호, pp.47-59, 2014. https://doi.org/10.7780/kjrs.2014.30.1.5
  6. 박주석, 양해술, "회귀분석을 이용한 UCP 기반 소프트웨어 개발 노력 추정 모델", 한국콘텐츠학회논문지, 제9권, 제8호, pp.147-157, 2009. https://doi.org/10.5392/JKCA.2009.9.8.147
  7. J. Johnston, Econometric Methods, 3rd edition, McGRAW-HILL, 1984.
  8. D. N. Gujarati, Basic Econometrics, 2nd edition, McGRAW-HILL, 1988.
  9. R. S. Pinkdyck and D. L. Rubinfeld, Economic Models and Economic Forecasts, 3rd edition, McGRAW-HILL, New York, 1991.
  10. 신재경, 장덕준, "주성분회귀와 고유값회귀에 대한 감도분석의 성질에 대한 연구", 한국데이터정보과학회지, 제20권, 제2호, pp.321-328, 2009.
  11. N. K. Kim, M. L. Chaudhry, B. K. Yoon, and K. Kim, "Inverting Generating Functions with Increased Numerical Precision - Computational Experience", Journal of Systems Science and Systems Engineering, Vol.20, No.4, pp.475-494, 2011. https://doi.org/10.1007/s11518-011-5179-5
  12. J. Abate and W. Whitt, "The Fourier-series method for inverting transforms of probability distributions," Queueing Systems, Vol.10, pp.5-88, 1992a. https://doi.org/10.1007/BF01158520
  13. J. Abate and W. Whitt, "Numerical inversion of probability generating functions," Operations Research Letters, Vol.12, pp.245-251, 1992b. https://doi.org/10.1016/0167-6377(92)90050-D
  14. J. Abate, G. L. Choudhury, and W. Whitt, "An Introduction to Numerical Transform Inversion and Its Application to Probability Models," Computational Probability, International Series in Operations Research & Management Science, Vol.24, pp.257-323, 2000. https://doi.org/10.1007/978-1-4757-4828-4_8
  15. W. C. Giffin, Transform techniques for probability modeling, Academic Press, London, 1975.
  16. W. Mendenhall, R. Scheaffer, and D. D. Wackerly, Mathematical Statistics with Applications, 3rd edition, Duxbury Press, Boston, 1986.
  17. 박창이, 김용대, 김진석, 송종우, 최호식, R을 이용한 데이터마이닝, 교우사, 2011.
  18. 이호우, 대기행렬이론, 제3판, 시그마프레스, 2006.