A Comparison study of Hybrid Monte Carlo Algorithm

베이지안 신경망 모형(Bayesian Neural Networks Models)에서 주어진 입력값(input)은 블랙 박스(Black-Box)와 같은 신경망 구조의 각 층(layer)을 거쳐서 출력값(output)으로 계산된다. 새로운 입력 데이터에 대한 예측값은 사후분포(posterior distribution)의 기대값(mean)에 의해 계산된다. 주어진 사전분포(prior distribution)와 학습데이터에 의한 가능도함수(likelihood functions)를 통해 계산되어진 사후분포는 매우 복잡한 구조를 갖게 됨으로서 기대값의 적분계산에 대한 어려움이 발생한다. 이때 확률적 추정에 의한 근사 방법인 몬테칼로 적분을 이용한다. 이러한 방법으로서 Hybrid Monte Carlo 알고리즘은 우수한 결과를 제공하여준다(Neal 1996). 본 논문에서는 Hybrid Monte Carlo 알고리즘과 기존에 많이 사용되고 있는 Gibbs sampling, Metropolis algorithm, 그리고 Slice Sampling등의 몬테칼로 방법들을 비교한다.