ART1-based Fuzzy Supervised Learning Algorithm

ART-1 기반 퍼지 지도 학습 알고리즘

  • 김광백 (신라대학교 컴퓨터공학과) ;
  • 조재현 (부산가톨릭대학교 컴퓨터정보공학부)
  • Published : 2005.07.01

Abstract

Error backpropagation algorithm of multilayer perceptron may result in local-minima because of the insufficient nodes in the hidden layer, inadequate momentum set-up, and initial weights. In this paper, we proposed the ART-1 based fuzzy supervised learning algorithm which is composed of ART-1 and fuzzy single layer supervised learning algorithm. The Proposed fuzzy supervised learning algorithm using self-generation method applied not only ART-1 to creation of nodes from the input layer to the hidden layer, but also the winer-take-all method, modifying stored patterns according to specific patterns. to adjustment of weights. We have applied the proposed learning method to the problem of recognizing a resident registration number in resident cards. Our experimental result showed that the possibility of local-minima was decreased and the teaming speed and the paralysis were improved more than the conventional error backpropagation algorithm.

다층 구조 신경망에서 널리 사용되는 오류 역전파 알고리즘은 초기 가중치와 불충분한 은닉층의 노드 수로 인하여 지역 최소화에 빠질 가능성이 있다. 따라서 본 논문에서는 오류 역전파 알고리즘에서 은닉층의 노드 수를 설정하는 문제와 ART-1에서 경계 변수의 설정에 따라 인식률이 저하되는 문제점을 개선하기 위하여 ART-1과 퍼지 단층 지도 학습 알고리즘을 결합한 ATR-1 기반 퍼지 다층 지도 학습 알고리즘을 제안 한다. 자가 생성을 이용한 제안된 퍼지 지도 학습 알고리즘은 입력층에서 은닉층으로 노드를 생성시키는 방식은 ART-1을 적용하였고, 가중치 조정은 특정 패턴에 대한 저장 패턴을 수정하도록 하는 winner-take-all 방식을 적용하였다. 제안된 학습 방법의 성능을 평가하기 위하여 주민등록증 영상을 대상으로 실험한 결과, 기존의 오류 역전파 알고즘보다 연결 가중치들이 지역 최소화에 위치할 가능성이 줄었고 학습 속도 및 정체 현상도 개선되었다.

Keywords

References

  1. R. Hecht-Nielsen, 'Theory of Backpropag- ation Neural Networks,' Proceedings of IJCNN, Yol.1, pp.593-605, 1989
  2. A. James and Freeman, Neural Networks : Algorithm, Application . and Programming Techniques, Addison-Wesley, 1991
  3. R. A. Jacobs, 'Increased rates of convergence through learning rate adaptation,' Neural Networks, Vol.1, No.4, pp.295-308, 1988
  4. K. B. Kim, M. H. Kang and E. Y. Cha, 'Fuzzy Competitive Backpropagation using Nervous System,' Proceedings of WCSS, pp.188-193, 1997
  5. M. Georipoulos, G. L. Heileman and J. Huang, Properties of Learning Related to Pattern Diversity in ARTl,' Neural Networks, Vol.4, pp.751-757, 1991 https://doi.org/10.1016/0893-6080(91)90055-A
  6. K. B. Kim and K. C. Kim 'A Study on Face Recognition using New Fuzzy ART,' Proceedings of ITC-CSCC, Vol.2, pp.1057 -1060, 1998
  7. K. B. Kim, S. W. Jang and C. K. Kim, 'Recognition of Car License Plate by Using Dynamical Thresholding Method and Enhanced Neural Networks,' Lecture Notes in Computer Science, LNCS 2756, pp.309-319, 2001
  8. Y. Hayashi, E. Czogala and J. J. Buckley,' Fuuzy Neural Controller,' Proceedings of IEEE Fuzzy Systems, pp.197-202, Vol.1, 1992
  9. K. B. Kim, Y. H. Joo, J. H. Cho, 'An Enhanced Fuzzy Neural Network,' Lecture Notes in Computer Science, LNCS 3320, pp.176-179, 2004