Multi-target Classification Method Based on Adaboost and Radial Basis Function

아이다부스트(Adaboost)와 원형기반함수를 이용한 다중표적 분류 기법

  • Received : 2010.04.05
  • Accepted : 2010.04.30
  • Published : 2010.05.25

Abstract

Adaboost is well known for a representative learner as one of the kernel methods. Adaboost which is based on the statistical learning theory shows good generalization performance and has been applied to various pattern recognition problems. However, Adaboost is basically to deal with a two-class classification problem, so we cannot solve directly a multi-class problem with Adaboost. One-Vs-All and Pair-Wise have been applied to solve the multi-class classification problem, which is one of the multi-class problems. The two methods above are ones of the output coding methods, a general approach for solving multi-class problem with multiple binary classifiers, which decomposes a complex multi-class problem into a set of binary problems and then reconstructs the outputs of binary classifiers for each binary problem. However, two methods cannot show good performance. In this paper, we propose the method to solve a multi-target classification problem by using radial basis function of Adaboost weak classifier.

최근 기계학습 분야에서 커널머신을 이용한 대표적 분류기로 Adaboost가 주목받고 있다. Adaboost는 통계적 학습이론에 기반하여 뛰어난 일반화 성능을 보여주며, 다양한 패턴인식 문제에 적용되고 있다. 그러나, Adaboost는 이진 분류기이므로 다중표적 분류 문제에 곧바로 적용할 수 없다. 일반적으로 다중 분류 문제를 해결하는 기법으로 One-Vs-All 기법과 Pair-Wise 기법이 대표적이다. 이러한 두 기법은 다중 분류 문제를 여러 개의 이진 분류 문제로 분할하고, 이들을 다시 종합하여 최종 결정을 내리는 출력코딩이라는 일반적인 기법으로 실제 시스템 구성에 적합할만한 분류 성능을 보여주지 못하는 경우가 대부분이다. 본 논문에서는 이진 분류기인 Adaboost의 다중 분류 확장 방안으로 원형 기반 함수를 약한 분류기로 이용하는 Adaboost 기반 다중표적 분류 기법을 제안한다.

Keywords

References

  1. N. Cristianini, J. Shawe-Taylor, "An introduction to support vector machines and other kernel-based learning methods," Cambridge University Press, 2000.
  2. Y. Freund, R.E. Schapire, "Experiments with a new boosting algorithm," In Proceedings of the IEEE International Conference of Machine Learning, pp. 148-156, 1996.
  3. Y. Freund, R.E. Schapire, "A decision-theoretic generalization of on-line learning and application to boosting," Journal of Computer and System Sciences 55, pp. 119-139, 1997. https://doi.org/10.1006/jcss.1997.1504
  4. 이기현, 권한준, 김용득, "Windows CE 5.0 기반의 AdaBoost 얼굴검출 알고리즘을 이용한 감시카메라 시스템 설계," 대한전자공학회 하계종합학술대회 논문지, 743-744쪽, 2008년 6월
  5. 박성효, 조달호, 박강령, "Adaboost를 이용한 모바일 환경에서의 홍채인식을 위한 눈 검출에 관한 연구," 대한전자공학회논문지, 제45권 CI편, 제 4호, 1-11쪽, 2008년 7월
  6. 윤창용, 장석윤, 박민용, "수직면과 아다부스트를 사용한 실시간 교통 표지판 검출," 대한전자공학회논문지, 제46권 SC편, 제5호, 29-37쪽, 2009년 9월
  7. 박찬우, 김용민, 박기태, 문영식, "질감 필터를 이용한 눈 검출," 대한전자공학회논문지, 제46권 CI편, 제6호, 70-78쪽, 2009년 11월
  8. P. Viola, M. Jones, "Rapid object detection using a boosted cascade of simple features," In Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition, vol. 1, pp. 511-518, 2001.
  9. J. Ghosh, "Multiclassifier systems : back to the future," In Proceedings of the Int'l Workshop on Multiple Classifier Systems, Lecture Note on Computer Science, vol. 2364, pp. 1-15, 2002.
  10. T. Hastie, R. Tibshirani, "Classification by pairwise coupling," Advances in Neural Information Processing Systems, vol. 10, pp. 507-513, 1998.
  11. T.G. Dietterich, G. Bakiri, "Solving multiclass learning problems via error-correcting output codes," Journal of AI Research, vol. 2, pp. 263-286, 1995.
  12. N. Otsu, "A threshold selection method from gray-level histogram," In IEEE Transactions on System, Man and Cybernetic, vol.9, pp. 62-66, 1979.
  13. A. Khotanzard, Y. H. Hong, "Invariant image recognition by Zernike moments," In IEEE Transactions on Pattern Analysis and Machine Intelligence. vol. 12, pp. 489-497, 1990. https://doi.org/10.1109/34.55109
  14. A. Mamistvalov, "N-dimensional moment invariants and conceptual mathematical theory of recognition of n-dimensional solids," In IEEE Transactions of Pattern Analysis and Machine Intelligence, vol. 20, pp. 819-831, 1998. https://doi.org/10.1109/34.709598