Hierarchical Ann Classification Model Combined with the Adaptive Searching Strategy

적응적 탐색 전략을 갖춘 계층적 ART2 분류 모델

  • 김도현 (부산대학교 전자계산학과) ;
  • 차의영 (부산대학교 전자계산학과)
  • Published : 2003.08.01

Abstract

We propose a hierarchical architecture of ART2 Network for performance improvement and fast pattern classification model using fitness selection. This hierarchical network creates coarse clusters as first ART2 network layer by unsupervised learning, then creates fine clusters of the each first layer as second network layer by supervised learning. First, it compares input pattern with each clusters of first layer and select candidate clusters by fitness measure. We design a optimized fitness function for pruning clusters by measuring relative distance ratio between a input pattern and clusters. This makes it possible to improve speed and accuracy. Next, it compares input pattern with each clusters connected with selected clusters and finds winner cluster. Finally it classifies the pattern by a label of the winner cluster. Results of our experiments show that the proposed method is more accurate and fast than other approaches.

본 연구에서는 ART2 신경회로망의 성능을 개선하기 위한 계층적 구조를 제안하고, 구성된 클러스터에 대하여 적합도(fitness) 선택을 통한 빠르고 효과적인 패턴 분류 모델(HART2)을 제안한다. 본 논문에서 제안하는 신경회로망은 비지도 학습을 통하여 대략적으로 1차 클러스터를 형성하고, 이 각각의 1차 클러스터로 분류된 패턴에 대해 지도학습을 통한 2군 클러스터를 생성하여 패턴을 분류하는 계층적 신경회로망이다. 이 신경회로망을 이용한 패턴분류 과정은 먼저 입력패턴을 1차 클러스터와 비교하여 유사한 몇 개의 1차 클러스터를 적합도에 따라 선택한다. 이때, 입력패턴과 클러스터들간의 상대 측정 거리비에 기반한 적합도 함수를 도입하여 1차 클러스터에 연결된 클러스터들을 Pruning 함으로써 계층적인 네트워크에서의 속도 향상과 정확성을 추구하였다. 마지막으로 입력패턴과 선택된 1차 클러스터에 연결된 2차 클러스터와의 비교를 통해 최종적으로 패턴을 분류하게 된다. 본 논문의 효율성을 검증하기 위하여 22종의 한글 및 영어 글꼴에 대한 숫자 데이타를 다양한 형태로 변형시켜 확장된 테스트 패턴에 대하여 실험해 본 결과 제안된 신경회로망의 패턴 분류 능력의 우수함을 증명하였다

Keywords

References

  1. Simon Haykin, 'Neural Networks A Comprehensive Foundation,' PRENTICE HALL, 1999
  2. Lefteri H. Tsoukalas, Robert E. Uhrig, 'Fuzzy and Neural Approachs in Engineering,' Wiley Interscience publication, 1997
  3. B. D. Ripley, 'Pattern Recognition and neural networks,' Cambridge, 1996
  4. 김대수, '신경회로망 이론과 응용 (I), (II)', 하이테크 정보, 1994
  5. 김도현, 강동구, 강민경, 차의영, '문자 인식을 위한 효율적인 획 정규화', 한국 정보처리학회 추게학술대회 상권, 2001년
  6. 박창순, 김두영, '오프라인 필기체 숫자 인식을 위한 다양한 특징들의 비교 및 인식률 개선 방안', 한국 정보처리학회 논문지, 제3권 4호, 1996년 7월
  7. Sergios Theodoridis, Konstantinos Koutroumbas, 'Pattern Recognition,' ACADEMIC PRESS, 1999
  8. Teuvo Kohonen, 'The Self Organizing Map,' Proceeding of the IEEE, Vol.78, No.9, pp.1464-1480, Sep. 1990 https://doi.org/10.1109/5.58325
  9. Nikhil R. Pal, James C. Bezdek, 'Generalized Clustering Networks and Kohonen's Self Organizing Scheme,' IEEE Transaction on Neural Networks, Vol.4, No.4, pp.549-557, July 1993 https://doi.org/10.1109/72.238310
  10. Jing Wu, Hong Yan, 'Combined SOM and LVQ Based Classifiers for Handwritten Digit Recognition,' Proceeding of the IEEE on Neural Networks, Vol.6, pp.3074-3077, 1995 https://doi.org/10.1109/ICNN.1995.487274
  11. G. A. Capenter, S. Grossverg, 'ART2: Self Organization of Stable Category Recognition Codes for Analog Input Patterns,' Applied Optics, Vol. 26, No. 23, 1987, pp.4919-4930
  12. G. A. Carpenter, S. Grossberg, 'The ART of Adaptive Pattern Recognition by a Self Organizing Neural Network,' Computer, Vol. 21, No.3, 1988, pp.77-88 https://doi.org/10.1109/2.33
  13. Pham, D.T. Sukkar, M.F., 'Supervised adaptive resonance theory neural network for modelling dynamic systems,' Systems, Man and Cybernetics, Vol. 3 , 1995, pp.2500-2505 https://doi.org/10.1109/ICSMC.1995.538157
  14. Sorheim, E., 'A combined network architecture using ART2 and back propagation for adaptive estimation of dynamical processes,' System Sciences, Proceedings of the Twenty Fourth Annual Hawaii International Conference on, Vol. 1, 1991, pp.468-475 https://doi.org/10.1109/HICSS.1991.183917
  15. A. Sanker. R.J.Mammone, 'Neural Tree Networks,' in Neural Networks : Theory and Applications, Academic Press, 1991
  16. A. Sanker, R.J.Mammone, 'Growing and pruning neural tree networks,' IEEE transaction Computer, Vol.42, pp.291-299, 1993 https://doi.org/10.1109/12.210172
  17. Behnke, S.; Karayiannis, N.B., 'Competitive neural trees for pattern classification Neural Networks,' IEEE Transactions on Neural Networks , Vol.9, No.6, pp. 1352-1369, Nov 1998 https://doi.org/10.1109/72.728387