Horseshoe 사전분포에 대한 MCMC 알고리듬 비교 연구

Comparing MCMC algorithms for the horseshoe prior

Horseshoe 사전분포는 희박 회귀 분석에서 가장 자주 사용되는 사전분포 중 하나이다. Horseshoe 사전분포는 탐험해야 할 모수공간이 spike and slab 사전분포보다 작다는 장점이 있으나 MCMC 단계 당 시간이 오래 걸린다는 단점이 있다. 이로 인해 horseshoe 사전분포를 고차원 데이터 분석으로 확장하는 것은 한계가 존재한다. 이러한 한계를 극복하기 위해 horseshoe 사전분포에 대한 MCMC 알고리듬들이 많이 제안되었으며, 특히 최근 Johndrow 등 (2020)은 빠른 계산을 위한 근사 알고리듬을 제안하였다. 본 논문에서는 horseshoe 사전분포에 대한 (1) 전통적인 MCMC 알고리듬, (2) 근사 알고리듬 그리고 (3) 근사 알고리듬의 변형 알고리듬의 성능을 다양한 모의실험을 통해 비교하려 한다. 성능은 계산 시간, 회귀계수 추정 및 변수선택을 중심으로 비교한다. 이때 변수선택을 위해 Li와 Pati (2017)에서 제안한 horseshoe 사전분포 기반 변수선택법을 고려한다.

The horseshoe prior is notably one of the most popular priors in sparse regression models, where only a small fraction of coefficients are nonzero. The parameter space of the horseshoe prior is much smaller than that of the spike and slab prior, so it enables us to efficiently explore the parameter space even in high-dimensions. However, on the other hand, the horseshoe prior has a high computational cost for each iteration in the Gibbs sampler. To overcome this issue, various MCMC algorithms for the horseshoe prior have been proposed to reduce the computational burden. Especially, Johndrow et al. (2020) recently proposes an approximate algorithm that can significantly improve the mixing and speed of the MCMC algorithm. In this paper, we compare (1) the traditional MCMC algorithm, (2) the approximate MCMC algorithm proposed by Johndrow et al. (2020) and (3) its variant in terms of computing times, estimation and variable selection performance. For the variable selection, we adopt the sequential clustering-based method suggested by Li and Pati (2017). Practical performances of the MCMC methods are demonstrated via numerical studies.