Journal of KIISE:Software and Applications (한국정보과학회논문지:소프트웨어및응용)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

Construction of Multiple Classifier Systems based on a Classifiers Pool

인식기 풀 기반의 다수 인식기 시스템 구축방법

  • Published : 2002.08.01
Download PDF
⟨ Previous Next ⟩

Abstract

Only a few studies have been conducted on how to select multiple classifiers from the pool of available classifiers for showing the good classification performance. Thus, the selection problem if classifiers on how to select or how many to select still remains an important research issue. In this paper, provided that the number of selected classifiers is constrained in advance, a variety of selection criteria are proposed and applied to tile construction of multiple classifier systems, and then these selection criteria will be evaluated by the performance of the constructed multiple classifier systems. All the possible sets of classifiers are trammed by the selection criteria, and some of these sets are selected as the candidates of multiple classifier systems. The multiple classifier system candidates were evaluated by the experiments recognizing unconstrained handwritten numerals obtained both from Concordia university and UCI machine learning repository. Among the selection criteria, particularly the multiple classifier system candidates by the information-theoretic selection criteria based on conditional entropy showed more promising results than those by the other selection criteria.

우수한 인식 성능을 보이기 위하여 가용한 인식기 풀(pool)로부터 다수 인식기를 선택하는 방법에 관한 연구는 소수에 불과하였다. 그래서, 어떻게 또는 얼마나 많은 인식기를 선택해야 하는가에 관한 인식기의 선택 문제는 여전히 중요한 연구 주제로 남아 있다. 본 논문에서는 선택되는 인식기의 개수가 미리 제한되어 있다는 가정 하에서, 다양한 선택 기준을 제안하고, 이들 선택 기준에 따라서 다수 인식기 시스템을 구축하며, 구축된 다수 인식기 시스템의 성능을 평가함으로써 제안된 선택 기준을 평가하고자 한다. 모든 가능한 다수 인식기의 집합은 선택 기준에 의해서 조사되고, 그 중 일부가 다수 인식기 시스템의 후보로 선정된다. 이러한 다수 인식기 시스템 후보들은 Concordia 대학과 UCI(University of California, Irvine)의 기계학습 자료로부터 얻은 무제약 필기 숫자를 인식하는 실험에 의해 평가되었다. 다양한 선택기준 중에서, 특히 조건부 엔트로피에 기반한 정보 이론적 선택 기준에 의하여 구축된 다수 인식기 시스템 후보가 다른 선택 기준에 의한 후보보다 더 유망한 결과를 보여 주었다.

Keywords

References

  1. Xu, L., Krzyzak, A., and Suen, C. Y., 'Methods of Combining Multiple Classifiers and Their Applications to Handwriting Recognition,' IEEE Trans. on Systems, Man, and Cybernetics, 22(3):418-435, 1992 https://doi.org/10.1109/21.155943
  2. Kittler, J., Hatef, M., Duin, R. P. W., and Matas, J., 'On Combining Classifiers,' IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(3):226-239, 1998 https://doi.org/10.1109/34.667881
  3. Woods, K., Kegelmeyer Jr., W. P., and Bowyer, K., 'Combinition of Multiple Classifiers Using Local Accuracy Estimates,' IEEE Transactions on Pattern Analysis and Machine Intelligence, 19(4):405-410, 1997 https://doi.org/10.1109/34.588027
  4. 강희중, 이성환, '무제약 필기 숫자를 인식하기 위한 다수 인식기를 결합하는 의존관계 기반의 프레임워크,' 정보과학회논문지 : 소프트웨어 및 응용, 제27권, 제8호, pp. 855-863, 2000
  5. Kim, J., Seo, K., and Chung, K., 'A Systematic Approach to Classifier Selection on Combining Multiple Classifiers for Handwritten Digit Recognition,' In Proceedings of the 4th International Conference on Document Analysis and Recognition, vol. 2, pp. 459-462, 1997 https://doi.org/10.1109/ICDAR.1997.620539
  6. Impedovo, S. and Salzo, A., 'Evaluation of Combination Methods,' In Proceedings of the 5th International Conference on Document Analysis and Recognition, pp. 394-397, 1999
  7. Lewis, P. M., 'Approximating Probability Distributions to Reduce Storage Requirement,' Information and Control, 2:214-225, Sep. 1959 https://doi.org/10.1016/S0019-9958(59)90207-4
  8. Gallager, R. G., Information Theory and Reliable Communication, John Wiley and Sons, Inc., 1968
  9. Wang, D. C. C. and Wong, A. K. C., 'Classification of Discrete Data with Feature Space Transform,' IEEE Transactions on Automatic Control, AC-24(3):434-437, 1979 https://doi.org/10.1109/TAC.1979.1102039
  10. Suen, C. Y., Nadal, C., Legault, R., Mai, T. A., and Lam, L., 'Computer Recognition of Unconstrained Handwritten Numerals,' In Proceedings of IEEE, pp. 1162-1180, 1992 https://doi.org/10.1109/5.156477
  11. Blake, C. and Merz, C., UCI repository of machine learning databases, 1998
  12. 강희중, '베이스 에러율의 상위 경계 최소화에 기반한 고차 곱 근사 방법과 숫자 인식기 결합에의 적용,' 정보과학회논문지 : 소프트웨어 및 응용, 제28권, 제9호, pp. 681-687, 2001
  13. Matsui, T., Tsutsumida, T., and Srihari, S. N., 'Combination of Stroke/Background Structure and Contour-direction Features in Handprinted Alphanumeric Recognition,' In Proceedings of the 4th Int. Workshop on Frontiers in Handwriting Recognition, pp. 87-96, 1994
  14. Oh, I.-S. and Suen, C. Y., 'Distance features for neural network-based recognition of handwritten characters,' International Journal on Document Analysis and Recognition, 1(2):73-88, 1998 https://doi.org/10.1007/s100320050008