Journal of the Korea Academia-Industrial cooperation Society (한국산학기술학회논문지)

The Korea Academia-Industrial cooperation Society (한국산학기술학회)
권호 표지
DOI QR코드

DOI QR Code

Implementation of Variational Bayes for Gaussian Mixture Models and Derivation of Factorial Variational Approximation

변분 근사화 분포의 유도 및 변분 베이지안 가우시안 혼합 모델의 구현

  • 이기성 (호원대학교 컴퓨터게임학부)
  • Published : 2008.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

The crucial part of graphical model is to compute the posterior distribution of parameters plus with the hidden variables given the observed data. In this paper, implementation of variational Bayes method for Gaussian mixture model and derivation of factorial variational approximation have been proposed. This result can be used for data analysis tasks like information retrieval or data visualization.

그래프 모델에서 가장 중요한 부분은 관찰 데이터가 주어진 상황에서 은닉 변수와 더불어 파라미터의 사후확률 분포의 계산이다. 이 논문에서는 가우시안 혼합 모델에 대한 변분 베이지안 방법의 구현과 변분 근사화 분포의 분해 유도를 제안한다. 이 방법은 정보 검색이나 데이터 시각화와 같은 데이터 분석 등에 적용이 가능하다.

Keywords

References

  1. I. J. Myung, Tutorial on maximum likelihood estimation, Journal of Mathematical Psychology, Vol. 47(1): 90-100, 2003. https://doi.org/10.1016/S0022-2496(02)00028-7
  2. Peter M. Lee, Bayesian Statistics: An Introduction, Arnold Publication, 2004.
  3. H. Attias, Independent Factor Analysis, Neural Computations, 11: 803-851, 1999. https://doi.org/10.1162/089976699300016458
  4. H. Attias, “Inferring Parameters and Structure of Latent Variable Models by Variational Bayes,” In Proceedings of the Fifteenth Conference on Uncertainty in Artificial Intelligence, 1999.
  5. D.J.C. Mackay, Ensemble Learning and Evidence Maximization, Technical report, Cavendish Laboratory, University of Cambridge, 1995.
  6. D.J.C. Mackay, Ensemble Learning for Hidden Markov Models, Technical report, Cavendish Laboratory, University of Cambridge, 1998.
  7. C. M. Bishop, Pattern Recognition and Machine Learning, Springer, 2006.