Neural Network Structure and Parameter Optimization via Genetic Algorithms

유전알고리즘을 이용한 신경망 구조 및 파라미터 최적화

  • 한승수 (명지대학교 전지정보제어공학부)
  • Published : 2001.06.01

Abstract

Neural network based models of semiconductor manufacturing processes have been shown to offer advantages in both accuracy and generalization over traditional methods. However, model development is often complicated by the fact that back-propagation neural networks contain several adjustable parameters whose optimal values unknown during training. These include learning rate, momentum, training tolerance, and the number of hidden layer neurOnS. This paper presents an investigation of the use of genetic algorithms (GAs) to determine the optimal neural network parameters for the modeling of plasma-enhanced chemical vapor deposition (PECVD) of silicon dioxide films. To find an optimal parameter set for the neural network PECVD models, a performance index was defined and used in the GA objective function. This index was designed to account for network prediction error as well as training error, with a higher emphasis on reducing prediction error. The results of the genetic search were compared with the results of a similar search using the simplex algorithm.

신경망은 선형 시스템뿐만 아니라 비선형 시스템에 있어서도 탁월한 모델링 및 예측 성능을 갖고 있다. 하지만 좋은 성능을 갖는 신경망을 구현하기 위해서는 최적화 해야할 파라미터들이 있다. 은닉층의 뉴런의 수, 학습율, 모멘텀, 학습오차 등이 그것인데 이러한 파라미터들은 경험에 의해서, 또는 문헌들에서 제시하는 값들을 선택하여 사용하는 것이 일반적인 경향이다. 하지만 신경망의 전체적인 성능은 이러한 파라미터들의 값에 의해서 결정되기 때문에 이 값들의 선택은 보다 체계적인 방법을 사용하여 구하여야 한다. 본 논문은 유전 알고리즘을 이용하여 이러한 신경망 파라미터들의 최적 값을 찾는데 목적이 있다. 유전 알고리즘을 이용하여 찾은 파라미터들을 사용하여 학습된 신경망의 학습오차와 예측오차들을 심플렉스 알고리즘을 이용하여 찾는 파라미터들을 사용하여 학습된 신경망의 오차들과 비교하여 본 결과 유전 알고리즘을 이용하여 찾을 파라미터들을 이용했을 때의 신경망의 성능이 더욱 우수함을 알 수 있다.

Keywords

References

  1. IEEE Trans. Semi. Manufac. v.6 Advantages of Plasma Etch Modeling Using Neural Networks Over Statistical Techniques C. Himmel;G. May
  2. IEEE Trans. Comp. Pack. Manufac. Tech. v.17 no.2 Modeling the Properties of PECVD Silicon Dioxide Films Using Optimized Back-Propagation Neural Networks S. Han;M. Ceiler;S. Bidstrup;P. Kohl;G. May
  3. IEEE Trans. Semi. Manufac. v.4 no.1 Use of Influence Diagrams and Neural Networks in Modeling Semiconductor Manufacturing Processes F. Nadi;A. M. Agogino;D. A. Hodges
  4. IEEE International Conference on Neural Networks Capabilities of Threelayered Perceptrons B. Irie;S. Miyake
  5. IEEE Trnas. Neural Networks v.2 no.5 An Information Criterion for Optimal Neural Network Selection D. Fogel
  6. Proc. Int. Joint Conf. Neural Networks v.2 Estimation of Generalization Capability by Combination of New Information Criterion and Cross Validation Y. Wada;M. Kawato
  7. IEEE Trans. Semi. Manufac. v.7 An Optimal Neural Network Process Model for Plasma Etching B. Kim;G. May
  8. Compact Numerical Methods for Computers J. C. Nash
  9. Adaptation in Natural and Artificial Systems J. H. Holland
  10. Proc. American Power Conference v.2 Optimizing Neural Networks with Genetic Algorithms S. A. Harp;T. Samad
  11. Proc. Internat'l Joint Conf. Neural Networks v.3 Optimisation of Network Structure using Genetic Techniques N. Dodd
  12. Statistics for Experimenters G. Box;W. Hunter;J. Hunter
  13. Proc. IEEE Internat'l Conf. on Artifical Neural Networks Estimating Hidden Units for Two-Layer Perceptrons M. Gutierrez;J. Wang;R. Grondin
  14. Proc. IEEE Internat'l Conf. on Artificial Neural Networks v.2 Successfully Using Peak Learning Rates of 10 (and greater) in Back-Propagation Networks with the Heuristic Learning Algorithm J. Cater
  15. RS/Discover User's Guide BBN Sofware Products
  16. The Computer Journal v.7 A Simplex Method for Function Minimization J. A. Nelder;R. Mead
  17. Optimization & Machine Learning Genetic Algorithms in Search D. E. Goldberg
  18. IEEE Potentials Genetic Algorithms J. F. Frenzel