혼합회귀모형에서 콤포넌트 및 설명변수에 대한 벌점함수의 적용

Joint penalization of components and predictors in mixture of regressions

Abstract

주어진 회귀자료에 유한혼합회귀모형을 적합하는 경우 적절한 성분의 수를 선택하고 선택된 각각의 회귀모형에서 의미있는 예측변수들의 집합을 선택하며 동시에 편의와 변동이 작은 회귀계수 추정치들을 얻는 것은 매우 중요하다. 본 연구에서는 혼합선형회귀모형에서 성분의 개수와 회귀계수에 벌점함수를 적용하여 적절한 성분의 수와 각 성분의 회귀모형에 필요한 설명변수들을 동시에 선택하는 방법을 제시하였다. 성분에 대한 벌점은 성분들의 로그값에 SCAD 벌점함수를 적용하였고 회귀계수들에는 SCAD와 더불어 MCP 및 Adplasso 벌점함수들을 사용하여 가상자료와 실제자료들에 대한 결과를 비교하였다. SCAD-SCAD 벌점함수 조합과 SCAD-MCP 조합의 경우 기존의 Luo 등 (2008)의 방법에서 문제가 되었던 과적합 문제를 해결함과 동시에 선택된 성분의 수와 회귀계수들을 효과적으로 선택하였으며 회귀계수들의 추정치에 대한 편의도 크지 않았다. 본 연구는 성분의 수가 알려져 있지 않은 회귀자료에서 적절한 성분의 수와 더불어 각 성분에 대한 회귀모형에서 모형에 필요한 예측변수들을 동시에 선택하는 방법을 제시하였다는데 의미가 있다고 하겠다.

This paper is concerned with issues in the finite mixture of regression modeling as well as the simultaneous selection of the number of mixing components and relevant predictors. We propose a penalized likelihood method for both mixture components and regression coefficients that enable the simultaneous identification of significant variables and the determination of important mixture components in mixture of regression models. To avoid over-fitting and bias problems, we applied smoothly clipped absolute deviation (SCAD) penalties on the logarithm of component probabilities suggested by Huang et al. (Statistical Sinica, 27, 147-169, 2013) as well as several well-known penalty functions for coefficients in regression models. Simulation studies reveal that our method is satisfactory with well-known penalties such as SCAD, MCP, and adaptive lasso.

Figure 4.1. Boxplot of estimated α.

Figure 4.2. Boxplot of estimated coefficients for SCAD-SCAD case with n = 500, ρ = 0.8.

Figure 4.3. Boxplot of estimated coefficients for SCAD-Adplasso case with n = 500, ρ = 0.8.

Figure 5.1. Histogram of salary (y) (a) and log(salary) (b).

Table 4.1. Frequencies and percents of number of components for ρ = 0.5 and K = 3

Table 4.2. C and IC of α and β (ρ = 0.5)

Table 4.3. Frequencies and percents of number of components for ρ = 0.8 and K = 3

Table 4.4. C and IC of α and β (ρ = 0.8)

Table 5.1. Coefficient estimates for various models (M: Mixture reg.)

Table 5.2. RMSEP and REP for various models (L: Linear reg., M: Mixture reg.)