The Journal of the Korea Contents Association (한국콘텐츠학회논문지)

The Korea Contents Association (한국콘텐츠학회)
권호 표지
DOI QR코드

DOI QR Code

Improvement of Learning Capability with Combination of the Generalized Cascade Correlation and Generalized Recurrent Cascade Correlation Algorithms

일반화된 캐스케이드 코릴레이션 알고리즘과 일반화된 순환 캐스케이드 코릴레이션 알고리즘의 결합을 통한 학습 능력 향상

  • 이상화 (서원대학교 컴퓨터정보통신공학부) ;
  • 송해상 (서원대학교 컴퓨터정보통신공학부)
  • Published : 2009.02.28
Download PDF
⟨ Previous Next ⟩

Abstract

This paper presents a combination of the generalized Cascade Correlation and generalized Recurrent Cascade Correlation learning algorithms. The new network will be able to grow with vertical or horizontal direction and with recurrent or without recurrent units for the quick solution of the pattern classification problem. The proposed algorithm was tested learning capability with the sigmoidal activation function and hyperbolic tangent activation function on the contact lens and balance scale standard benchmark problems. And results are compared with those obtained with Cascade Correlation and Recurrent Cascade Correlation algorithms. By the learning the new network was composed with the minimal number of the created hidden units and shows quick learning speed. Consequently it will be able to improve a learning capability.

본 논문에서는 일반화된 캐스케이드 코릴레이션 학습 알고리즘과 일반화된 순환 캐스케이드 코릴레이션 학습 알고리즘의 결합을 통한 새로운 알고리즘을 소개한다. 이 새로운 알고리즘은 패턴분류문제(pattern classification problem)의 신속한 해결을 위하여 비순환 뉴런이 유리한지 순환 뉴런이 유리한지 또는 수직성장이 유리한지 수평성장이 유리한지 고민할 필요 없이 후보뉴런의 학습 중에 네트워크의 구성을 스스로 결정한다. 이 알고리즘의 성능평가를 위하여 학습 알고리즘에서 중요한 기준 문제(benchmark problem) 중의 하나인 콘택트렌즈 문제(Contact lens problem)와 밸런스 스케일 문제 (Balance scale problem)에 대하여 실험하였고 기존의 캐스케이드 코릴레이션 알고리즘 및 순환 캐스케이드 코릴레이션 알고리즘과 성능을 비교 하였다. 이 실험에서 활성화 함수는 일반적으로 많이 사용하는 시그모이드 함수(sigmoidal function) 와 하이퍼볼릭탄젠트 함수(hyperbolic tangent function)를 사용하였다. 이 새로운 알고리즘은 학습을 통하여 기존의 알고리즘보다 적은 수의 은닉뉴런을 생성하여 보다 빠른 학습 속도를 보여주었다.

Keywords

References

  1. F. Dandurand, V. Berthiaume, and T. R. Shultz, "A systematic comparison of flat and standard cascade-correlation using a student-teacher network approximation task," Connection Science, Vol.19, Issue3, pp.223-244, 2007. https://doi.org/10.1080/09540090701528951
  2. S. E. Fahlman and C. Lebiere, "The cascadecorrelation learning architecture," S. Touretzky, Editor, Advances in Neural Information Processing Systems2, Morgan Kaufmann, 1990.
  3. S. E. Fahlman, "The Recurrent Cascade- Correlation Architecture," Advances in Neural Information Process- ing Systems3, Morgan Kaufmann, pp.190-198, 1991.
  4. X. Z. Gao, X. Wang, and S. J. Ovaska, "A novel hybrid optimization method with application in Cascade-Correlation neural network training," Proceedings, 8th International Conference on Hybrid Intelligent Systems, Article, No.4626728, pp.793-800, 2008.
  5. B. Hammer, A. Micheli, and A. Sperduti, "Universal approximation capability of cascade correlation for structures," Neural Computation, Vol.17, Issue5, pp.1109-1159, 2005. https://doi.org/10.1162/0899766053491878
  6. T. D. Le, T. Komeda, and M. Takagi, "Knowledge-based recurrent neural networks in reinforcement learning," Proceedings of the 11th IASTED International Conference on Artificial Intelligence and Soft Computing, pp.169-174, 2007.
  7. L. Prechelt, PROBEN1-A Set of Neural Network Benchmark Problems and Benchmarking Rules, Technical Report, University of Karlsruhe, 1999(9).
  8. Stuttgart Neural Network Simulator(SNNS), User Manual, Version 4.0, Institute for Parallel and Distributed High Performance Systems (IPVR), University of Stuttgart, 1998.
  9. 이상화, "케스케이드 코릴레이션 알고리즘의 일반화와 새로운 활성화 함수를 사용한 실험", 정보과학회논문지, 제25권, 제7호, B, 1998.
  10. 이상화, 송해상, "순환 케스케이드 코릴레이션알고리즘의 일반화와 새로운 활성화함수를 사용한 모스 신호 실험", 한국지능정보시스템학회논문지, 제10권, 제2호, pp.53-63, 2004(11).