DOI QR코드

DOI QR Code

Propositionalized Attribute Taxonomy Guided Naive Bayes Learning Algorithm

명제화된 어트리뷰트 택소노미를 이용하는 나이브 베이스 학습 알고리즘

  • 강대기 (동서대학교 컴퓨터 정보 공학부) ;
  • 차경환 (동서대학교 컴퓨터 정보 공학부)
  • Published : 2008.12.30

Abstract

In this paper, we consider the problem of exploiting a taxonomy of propositionalized attributes in order to generate compact and robust classifiers. We introduce Propositionalized Attribute Taxonomy guided Naive Bayes Learner (PAT-NBL), an inductive learning algorithm that exploits a taxonomy of propositionalized attributes as prior knowledge to generate compact and accurate classifiers. PAT-NBL uses top-down and bottom-up search to find a locally optimal cut that corresponds to the instance space from propositionalized attribute taxonomy and data. Our experimental results on University of California-Irvine (UCI) repository data set, show that the proposed algorithm can generate a classifier that is sometimes comparably compact and accurate to those produced by standard Naive Bayes learners.

본 논문에서는 명제화된 어트리뷰트 택소노미를 이용하여 간결하고 강건한 분류기를 생성하는 문제를 고려한다. 이 문제를 해결하기 위해 명제화된 어트리뷰트 택소노미(Propositionalized Attribute Taxonomy)를 이용하는 나이브 베이스 학습 알고리즘(Naive Bayes Learner)인 PAT-NBL을 소개한다. PAT-NBL은 명제화된 어트리뷰트들의 택소노미를 선험 지식으로 이용하여 간결하고 정확한 분류기를 귀납적으로 학습하는 알고리즘이다. PAT-NBL은 주어진 택소노미에서 지역적으로 최적의 컷(cut)을 찾아내기 위해 하향식 탐색과 상향식 탐색을 사용한다. 찾아낸 최적의 컷은 명제화된 어트리뷰트 택소노미와 데이터로부터 그에 상응하는 인스턴스 공간(instance space)을 구성 할 수 있게 해준다. University of California-Irvine (UCI) 저장소의 기계학습 벤치마크 데이터에 대한 실험 결과를 보면, 제안된 알고리즘이 표준적인 나이브 베이스 학습 알고리즘에 의해 만들어진 분류기들과 비교해 볼 때, 가끔은 보다 간결하고 더 정확한 분류기를 생성해 낸다는 사실을 알 수 있었다.

Keywords

References

  1. M. J. Pazzani, S. Mani, and W. R. Shankle. Beyond concise and colorful: Learning intelligible rules. In Knowledge Discovery and Data Mining, pages 235-238, 1997
  2. J. Han and Y. Fu. Exploration of the power of attribute-oriented induction in data mining. In Advances in Knowledge Discovery and Data Mining. 1996
  3. M. G. Taylor, K. Stoffel, and J. A. Hendler. Ontology based induction of high level classification rules. In Data Mining and Knowledge Discovery, 1997
  4. J. Zhang and V. Honavar. Learning decision tree classifiers from attribute value taxonomies and partially specified data. In Proc. of the Twentieth International Conference on Machine Learning, 2003
  5. D.-K. Kang, J. Zhang, A. Silvescu, and V. Honavar. Multinomial event model based abstraction for sequence and text classification. In Proc. of 6th International Symposium on Abstraction, Reformulation and Approximation, pages 134-148, 2005
  6. C.L. Blake and C.J. Merz. UCI repository of machine learning databases, 1998
  7. D. Haussler. Quantifying inductive bias: AI learning algorithms and Valiant's learning framework. Artificial intelligence, 36:177-221, 1988 https://doi.org/10.1016/0004-3702(88)90002-1
  8. N. Friedman, D. Geiger, and M. Goldszmidt. Bayesian network classifiers. Mach. Learn., 29(23):131-163, 1997 https://doi.org/10.1023/A:1007465528199
  9. H. Akaike. Information theory and an extension of the maximum likelihood principle. In Proceedings of Second International Symposium on Information Theory, pages 267-281, 1973