Efficient Learning of Bayesian Networks using Entropy

효율적인 베이지안망 학습을 위한 엔트로피 적용

  • 허고은 (을지대학교 의료전산학전공) ;
  • 정용규 (을지대학교 의료전산학전공)
  • Received : 2009.05.24
  • Published : 2009.06.30

Abstract

Bayesian networks are known as the best tools to express and predict the domain knowledge with uncertain environments. However, bayesian learning could be too difficult to do effective and reliable searching. To solve the problems of overtime demand, the nodes should be arranged orderly, so that effective structural learning can be possible. This paper suggests the classification learning model to reduce the errors in the independent condition, in which a lot of variables exist and data can increase the reliability by calculating the each entropy of probabilities depending on each circumstances. Also efficient learning models are suggested to decide the order of nodes, that has lowest entropy by calculating the numerical values of entropy of each node in K2 algorithm. Consequently the model of the most suitably settled Bayesian networks could be constructed as quickly as possible.

베이지안망은 불확실한 상황 하에서 영역지식을 표현하고 예측하기 위한 좋은 도구로 알려져 있다. 그러나 변수가 많아졌을 때 학습이 어렵고 시간의 요구량이 늘어나게 되어 효율적이고 신회도 높은 탐색에 문제가 있다. 이를 해결하기 위해서 노드의 순서를 정하여 효율적인 구조학습이 가능하도록 한다. 본 논문에서는 각 상황에 따른 확률의 엔트로피를 계산하여 다양한 변수간의 관계나 상호의존적인 상황에서도 오차를 줄이고 신뢰도를 높일 수 있는 효과적인 분류학습모델을 제시한다. 베이지안망 학습 방법 중 일반적으로 널리 알려져 있는 K2알고리즘에서 각 노드의 엔트로피 수치를 계산하여 엔트로피가 낮은 노드의 순서를 결정하여 결과적으로 빠른 시간 안에 최적화된 베이지안망의 모델을 구성하는 효율적인 학습모델을 제시한다.

Keywords

References

  1. 김경헌, 베이지안 네트워크에 기초한 백혈병 유전자 데이터의 분석, 공학학사학위논문, 2005.12
  2. 송윤석, 조성배, "로봇의 효과적인 서비스를 위해 베이지안 네트워크 기반의 실내 환경의 가려진 물체 추론", 정보과학회논문지:컴퓨팅의 실제 제12권 제1호, 2006. 2
  3. 김희택, 조성배, 베이지안 네트워크의 학습에 기반한 모바일 환경에서의 사용자 적응형 음식점 추천 서비스, HCI 2009 학술대회
  4. 구정모, 동적시스템의 신뢰도 평가를 위한 베이지안망의 적용에 관한 연구, 공학석사 학위논문, 2004.2
  5. 도용태, 김일곤, 김종완, 박창현, "인공지능 개념 및 응용", pp77-82
  6. 하선영, 데이터마이닝을 위한 베이지안망 구조학습, 공학석사 학위논문, 2001.2
  7. 황규백, 장병탁, 대규모 베이지안망 구조 학습 알고리즘, 2001 한국 뇌학회 학술대회 논문집
  8. 황금성, 조성배, "베이지안 네트워크의 학습", pp15-27
  9. lan H.Witten and Eibe Frank, "Data Mining", pp89-97
  10. Ibrahim Dincer and Yunus A. Cengel, "Energy, Entropy and Exergy Concepts and Their Roles in Thermal Engineering", ISSN 1099-4300, 2001.3
  11. Julio Michael, Bayesian Interference and Maximum Entropy Methods in Science and Engineering, 2008
  12. 장정호, 장병탁, 김영택, "최대 엔트로피 기반 문서 분류기의 학습", 한국정보과학회 추계학술발표논문집 제 26권 제 2호, 1999
  13. 손승현, 김재련, 엔트로피 기반 분할과 중심 인스턴스를 이용한 분류기법의 데이터 감소, 한국산업경영시스템학회, 산업경영시스템학회지 제 29권 제 2호, 2006. 6