Journal of the Korean Institute of Intelligent Systems (한국지능시스템학회논문지)

Korean Institute of Intelligent Systems (한국지능시스템학회)
권호 표지

A Design Method for Error Backpropagation neural networks using Voronoi Diagram

보로노이 공간분류를 이용한 오류 역전파 신경망의 설계방법

  • 김홍기 (충북대학교 컴퓨터 과학과)
  • Published : 1999.10.01
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper. a learning method VoD-EBP for neural networks is proposed, which learn patterns by error back propagation. Based on Voronoi diagram, the method initializes the weights of the neural networks systematically, wh~ch results in faster learning speed and alleviated local optimum problem. The method also shows better the reliability of the design of neural network because proper number of hidden nodes are determined from the analysis of Voronoi diagram. For testing the performance, this paper shows the results of solving the XOR problem and the parity problem. The results were showed faster learning speed than ordinary error back propagation algorithm. In solving the problem, local optimum problems have not been observed.

본 논문에서는 보로노이 다이아그램을 이용하여 오류 역전파 신경망의 초기값을 결정할수 있는 VoD_EBP를 제안하였다. VoD_EBP는 초기 연결 가중치와 임계값을 공학적 계산방법으로 결정함으로써 기존의 EBP에서 자주 발생하는 학습 마비 현상을 피할수 있고 초기부터 빠른 속도로 학습이 진행되므로 학습횟수를 단축시킬수 있다, 또한 VoD_EBP는 은닉층의 노드 수를 보로노이 다각형으로 구분된 클러스터들의 개수로 정할 수있어 신경망 설계에 신뢰성을 향상시켰다. 제시된 VoD_EBP의 효율성을 입증하기 위해 간단한 실험으로 2차원 입력벡터를 갖는 XOR 문제와 3차원 패리티 코드 검출 문제에 대하여 적용하여 보았다. 그 결과 임의의 초기값으로 설정하였던 EBP보다 훨씬 빠르게 학습이 종료되었고, 지역 최소치에 빠져 학습이 진행되지 못하는 현상이 발생하지 않았다.

Keywords

References

  1. Perceptrons Cambrige M.L. Minskey;S.A. Papert
  2. International Joint Conference on Neural Networks in proc. v.1 Backpropagation Heuristics : A study of the Extended Delta-Bar-Delta Algorithm Ali A. Minai;Ronald D. Williams
  3. International Joint Conference on Neural Networks In Proc. v.3 Linear Discriminants, Logic Functions, Backpropagation, and Improved Convergence Hedong Yang;Clark C. Guest
  4. International Joint Conference on Neural Networks In Proc. v.1 A Hybird Algorithm for Finding the Global Minimum of Error function of Neural Networks Norio Bada
  5. International Joint Conference on Neural Networks In Proc. v.3 Smoothing backpropagation cost function by Delta Constraining P. Burrascano;P. Lucci
  6. International Joint Conference on Neural Networks In Proc. v.1 Backpropagation Improvements Based on Huristic Arguments Tariq Samad
  7. 한국 정보과학회 논문지 v.18 no.6 오류 역전과 학습 알고리즘의 속도 개선방법 : 분류 및 비교 조성배;김진형
  8. 한국 정보과학회 논문지 v.20 no.5 바람직하지 않은 포화상태 방지에 의한 역전파 학습의 개선 권희용 (외 4인)
  9. IEEE Transaction on Neural Networks v.4 no.5 Neural Network Design Using Voronoi Diagrams N.K. Bose
  10. 정제된 데이터를 이용한 신경망의 설계자동화에 관한 연구 백주현;김홍기
  11. Information Processing Lett. v.7 The All Nearest Neighbor Problems for convex polygon D.T. Lee;F.P. preparata
  12. Information Processing Lett. v.9 A Linear Algorithm for finding the convex hull of a Simple polygon D. Mccallum;D. Avis
  13. IEEE, 5-th International Conference on Pattern recognization Pattern Recognition and Geometrical Complexity Godfried T. Toussaint
  14. Clustering Algorithms J.A. Hartigan