Robust selection rules of k in ridge regression

능형회귀에서의 로버스트한 k의 선택 방법

When the multicollinearity presents in the standard linear regression model, ridge regression might be used to mitigate the effects of collinearity. As the prediction-oriented criterion, the integrated mean sqare error criterion $J_w(k)$ was introduced by Lim, Choi & Park(1980). By noting the equivalent relationship between the $C_k$ criterion and $J_w(k)$ with a special choice of weight function $W(x)$, we propose a more reasonable selection rule of k w.r.t. the $C_k$ criterion than that given in Myers(1986). Next, to find the $\beta(k)$ which behaves reasonably well w.r.t. competing criteria, we adopt the minimax principle in the sense of maximizing the worst relative efficiency of k among competing criteria.

표준화된 중회귀모형에서 다중공선성(multicollinearity)이 존재할 때, 공선성(collinearity)의 영향을 완화하기 위해서 능형회귀가 사용된다. 반응변수의 예측을 위한 기준으로서 반응변 수의 예측치의 평균제곱합(MSE)을 설명변수의 관심영역 R에서 적분한(IMSE) $J_w(k)$ 기 준이 Lim, Choi & Park(1980)에 의해 소개되었다. $C_k$기준이 설명변수의 관심영역 R상 에서의 가중치 함수인 w(x)가 각각의 자료점에서 등확률 1/n을 갖는 경우의 IMSE 기준인 $J_n(k)$ 기준과 동치라는 관계를 이용함으로 $C_k$ 기준에 대해서 Myers(1986)에 의해 주어진 k의 선택방법 보다 더 합리적이라 기대되는 k의 선택방법이 제시되었다. 다음으로 관심이 있는 모든 기준들에 대해서 상대적으로 효율이 좋은 능형회귀추정량 $\beta(k)$를 선택하기 위해서, 관심이 있는 기준들 간의 가장 나쁜 효율을 최대화한다는 의미에서 MiniMax 원칙을 채택하여 관심이 있는 기준들에 대해서 로버스트한 k의 선택방법을 제시 하였다.