Journal of the Institute of Electronics Engineers of Korea CI (전자공학회논문지CI)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지

Learning method of a Neural Network using Genetic Algorithm for 3 Bit Parity Discrimination

패리티 판별을 위한 유전자 알고리즘을 사용한 신경회로망의 학습법

  • Published : 2007.03.25
Download PDF
⟨ Previous Next ⟩

Abstract

Back propagation algorithm based on a gradient-decent method has been widely used to the training of a neural network. However, this algorithm have some problems such as dropping the minimum value in a local area according to an initial value and setting the number of units in a hidden layer when training the neural network. Accordingly, to solve the above-mentioned problems, this paper proposes a genetic algorithm using the training method of the neural network. Thus, the improved genetic algorithm using a new crossover and mutation method is proposed to discriminate 3 bit parity. Experiments confirm that the proposed system is effective for training speed after demonstrating for generation gap, the number of units in the hidden layer, and the number of individuals.

신경회로망의 학습에 널리 사용되고 있는 오차역전파 알고리즘은 최급하강법을 기초로 하고 있기 때문에 초기값에 따라서는 극소값에 떨어지거나, 신경회로망을 학습시킬 때 중간층 유닛수를 얼마로 설정하는 등의 문제점이 있다. 따라서 이러한 문제점을 해결하기 위하여, 본 논문에서는 3비트 패리티 판별을 위하여 신경회로망의 학습에 교차법, 돌연변이법에 새로운 기법을 도입한 개량형 유전적 알고리즘을 제안한다. 본 논문에서는 세대차이, 중간층 유닛수의 차이, 집단의 개체수의 차이에 대하여 실험을 실시하여, 본 방식이 학습 속도의 면에서 유효하다는 것을 나타낸다.

Keywords

References

  1. W. G. Knecht, M. E. Schenkel, G. S. Moschytz, 'Neural network filters for speech enhancement', IEEE Trans. Speech and Audio Processing, vol. 3, no. 6, pp. 433-438, 1995 https://doi.org/10.1109/89.482210
  2. 우동헌, 엄일규, 김유신, '공간 주파수 특성을 가지는 다중 신경 회로망을 이용한영상 보간', 대한전자공학회 논문지, 제41권 5호 SP편, pp. 135-141, 2004. 9
  3. D. G. Stork and J. D. Allen, 'How to solve the N-bit parity problem with two hidden units', Neural Networks, vol. 5, no. 6, pp. 923-926, 1992 https://doi.org/10.1016/S0893-6080(05)80088-7
  4. J. M. Minor, 'Parity with two layer feedforward nets', Neural Networks, vol. 6, no. 5, pp. 705-707, 1993 https://doi.org/10.1016/S0893-6080(05)80114-5
  5. A. V. Ooyen and B. Nienhuis, 'Improving the convergence of the back-propagation algorithm', Neural Networks, vol. 5, no. 3, pp. 465-471, 1992 https://doi.org/10.1016/0893-6080(92)90008-7
  6. J. H. Holland, 'Adaptation in Natural and Artificial Systems', University of Michigan Press, 1975
  7. J. J. Grefensteffe, R. Gopal, B. J. Rosmaita and D. Van Gucht, 'Genetic algorithms for the traveling salesman problem', Proc. of an International Conference on Genetic Algorithms and Their Applications, pp. 160-168, 1985
  8. 이상열, 윤기천, '유전자 알고리즘을 이용한 다중 레이더 펄스열 분리', 대한전자공학회 논문지, 제40권 6호 SP편, pp. 98-105, 2003. 11
  9. S. K. Pal, S. Mitra, 'Multilayer perceptron, fuzzy sets, and classification', IEEE Transaction on Neural Networks, vol. 3, no. 5, pp. 683-697, 1992 https://doi.org/10.1109/72.159058
  10. 이백영, 이택승, 황병원, '학습속도 개선과 학습데이터 축소를 통한 MLP 기반 화자증명 시스템의 등록속도 향상방법', 대한전자공학회 논문지 SP편 제39권 제3호, pp. 87-97, 2002. 5