Selecting Classifiers using Mutual Information between Classifiers

인식기 간의 상호정보를 이용한 인식기 선택

  • Published : 2008.05.15

Abstract

The study on combining multiple classifiers in the field of pattern recognition has mainly focused on how to combine multiple classifiers, but it has gradually turned to the study on how to select multiple classifiers from a classifier pool recently. Actually, the performance of multiple classifier system depends on the selected classifiers as well as the combination method of classifiers. Therefore, it is necessary to select a classifier set showing good performance, and an approach based on information theory has been tried to select the classifier set. In this paper, a classifier set candidate is made by the selection of classifiers, on the basis of mutual information between classifiers, and the classifier set candidate is compared with the other classifier sets chosen by the different selection methods in experiments.

패턴인식 문제에 있어서 다수의 인식기를 사용하는 연구는 주로, 선택된 다수 인식기를 어떻게 결합할 것인가에 중점을 두어 왔으나, 최근에는 인식기 풀로부터 다수 인식기를 선택하려는 연구로 점차 진행되고 있다. 실제로 다수 인식기 시스템의 성능은 인식기들의 결합 방법은 물론, 선택되는 인식기에 의존한다. 따라서, 우수한 성능을 보이는 인식기 집합을 선택하는 것이 필요하며, 다수의 인식기를 선택하는데 있어서 정보이론에 기초한 접근 방법이 시도되었다. 본 논문에서는 인식기 간의 상호정보를 기반으로 인식기를 선택하여 인식기 집합을 구성하고, 다른 인식기 선택 방법들에 의해 구성된 인식기 집합과 그 성능을 비교해 보고자 한다.

Keywords

References

  1. Kittler, J., Hatef, M., Duin, R.P.W., Matas, J., "On Combining Classifiers," IEEE TPAMI, Vol.20, pp. 226-239, 1998 https://doi.org/10.1109/34.667881
  2. Woods, K., Kegelmeyer Jr., W.P., Bowyer, K., "Combination of Multiple Classifiers Using Local Accuracy Estimates," IEEE TPAMI, Vol.19, pp. 405-410, 1997 https://doi.org/10.1109/34.588027
  3. Kang, H.-J., Lee, S.-W., "Experimental Results on the Construction of Multiple Classifiers Recognizing Handwritten Numerals," In Proc. of the 6th ICDAR, pp. 1026-1030, 2001
  4. 오일석, 이진선, 문병로, "특징 선택을 위한 혼합형 유전 알고리즘과 분류 성능 비교", 정보과학회논문지:소프트웨어및응용, 제31권, 제8호, pp. 1113-1120, 2004
  5. Kang, H.-J., Lee, S.-W., "A Dependency-based Framework of Combining Multiple Experts for the Recognition of Unconstrained Handwritten Numerals," In Proc. of IEEE Computer Soc. Conf. on CVPR, Vol.2, pp. 124-129, 1999
  6. Kang, H.-J., Lee, S.-W., "Combining Classifiers based on Minimization of a Bayes Error Rate," In Proc. of the 5th ICDAR, pp. 398-401, 1999
  7. Blake, C., Merz, C., UCI repository of machine learning databases [http://www.ics.uci.edu/~mlearn/ mlrepository.html], Irvine, CA, Dept. of Info. and Comp. Sciences, 1998