The Journal of the Korea Contents Association (한국콘텐츠학회논문지)

The Korea Contents Association (한국콘텐츠학회)
권호 표지
DOI QR코드

DOI QR Code

Optimization of Sigmoid Activation Function Parameters using Genetic Algorithms and Pattern Recognition Analysis in Input Space of Two Spirals Problem

유전자알고리즘을 이용한 시그모이드 활성화 함수 파라미터의 최적화와 이중나선 문제의 입력공간 패턴인식 분석

  • 이상화 (서원대학교 정보통신공학과)
  • Received : 2009.12.07
  • Accepted : 2010.03.18
  • Published : 2010.04.28
Download PDF
⟨ Previous Next ⟩

Abstract

This paper presents a optimization of sigmoid activation function parameter using genetic algorithms and pattern recognition analysis in input space of two spirals benchmark problem. To experiment, cascade correlation learning algorithm is used. In the first experiment, normal sigmoid activation function is used to analyze the pattern classification in input space of the two spirals problem. In the second experiment, sigmoid activation functions using different fixed values of the parameters are composed of 8 pools. In the third experiment, displacement of the sigmoid function to determine the value of the three parameters is obtained using genetic algorithms. The parameter values applied to the sigmoid activation functions for candidate neurons are used. To evaluate the performance of these algorithms, each step of the training input pattern classification shows the shape of the two spirals.

본 논문에서는 유전자알고리즘을 이용한 시그모이드 활성화 함수 파라미터의 최적화와 이중나선기준문제(two spirals benchmark problem)의 입력공간 패턴인식 상태를 분석 한다. 실험을 위하여 캐스케이드 코릴레이션 학습 알고리즘(Cascade Correlation learning algorithm)을 이용한다. 첫 번째 실험에서는 기본적인 시그모이드 활성화 함수를 사용하여 이중나선 문제를 분석하고, 두 번째 실험에서는 시그모이드 활성화 함수(sigmoidal activation function)의 파라미터 값이 서로 다른 함수를 사용하여 8개의 풀을 구성한다. 세 번째 실험에서는 시그모이드 함수의 변위를 결정하는 세 개의 파라미터 값을 유전자 알고리즘을 이용하여 얻고 이 파라미터 값들이 적용된 시그모이드 함수들은 후보뉴런의 활성화를 위해서 사용된다. 이러한 알고리즘의 성능평가를 위하여 각 학습단계 마다 입력패턴공간에서 인식된 이중나선의 형태를 보여준다.

Keywords

References

  1. F. Dandurand, V. Berthiaume, and T. R. Shultz, "A systematic comparison of flat and standard cascade-correlation using a student-teacher network approximation task," Connection Science, Vol.19, No.3, pp.223-244, 2007. https://doi.org/10.1080/09540090701528951
  2. S. E. Fahlman and C. Lebiere, "The cascadecorrelation learning architecture," Advances in Neural Information Processing Systems 2, Morgan Kaufmann, 1990.
  3. S. E. Fahlman, "The Recurrent Cascade-Correlation Architecture," Advances in Neural Information Processing Systems 3, Morgan Kaufmann, pp.190-198, 1991.
  4. X. Z Gao, X. Wang, and S. J. Ovaska, "A novel hybrid optimization method with application in Cascade-Correlation neural network training," Proceedings, 8th International Conference on Hybrid Intelligent Systems, Article number 4626728, pp.793-800, 2008. https://doi.org/10.1109/HIS.2008.19
  5. B. Hammer, A. Micheli, and A. Sperduti, "Universal approximation capability of cascade correlation for structures," Neural Computation, Vol.17, No.5, pp.1109-1159, 2005. https://doi.org/10.1162/0899766053491878
  6. T. D. Le, T. Komeda, and M. Takagi, "Knowledge-based recurrent neural networks in reinforcement learning," Proceedings of the 11th IASTED International Conference on Artificial Intelligence and Soft Computing, pp.169-174, 2007.
  7. L. Prechelt, "PROBEN1-A Set of Neural Network Benchmark Problems and Benchmarking Rules," Technical Report 21/94, Department of Computer Science, University of Karlsruhe, 1999.
  8. Stuttgart Neural Network Simulator (SNNS), User Manual, Version 4.0, Institute for Parallel and Distributed High Performance Systems (IPVR), University of Stuttgart, 1998.
  9. A. Zell.: Simulationneuronaler Netze, Addison-Wesley, 1994.