Genetic Algorithm with the Local Fine-Tuning Mechanism

유전자 알고리즘을 위한 지역적 미세 조정 메카니즘

  • Published : 1994.06.01

Abstract

In the learning phase of multilyer feedforword neural network,there are problems such that local minimum,learning praralysis and slow learning speed when backpropagation algorithm used.To overcome these problems, the genetic algorithm has been used as learing method in the multilayer feedforword neural network instead of backpropagation algorithm.However,because the genetic algorith, does not have any mechanism for fine-tuned local search used in backpropagation method,it takes more time that the genetic algorithm converges to a global optimal solution.In this paper,we suggest a new GA-BP method which provides a fine-tunes local search to the genetic algorithm.GA-BP method uses gradient descent method as one of genetic algorithm's operators such as mutation or crossover.To show the effciency of the developed method,we applied it to the 3-parity bit problem with analysis.

다층 신경망의 학습에 있어서 역전파 알고리즘은 시스템이 지역적 최소치에 빠질수 있고,탐색공간의 피라미터들에 의해 신경망 시스템의 성능이 크게 좌우된다는 단점이 있다.이러한 단점을 보완하기 의해 유전자 알고리즘이 신경망의 학습에 도입도었다.그러나 유전자 알고리즘에는 역전파 알고리즘과 같은 미세 조정되는 지역적 탐색(fine-tuned local search) 을 위한 메카니즘이 존재하지 않으므로 시스템이 전역적 최적해로 수렴하는데 많은 시간을 필요로 한다는 단점이 있다. 따라서 본 논문에서는 역전파 알고리즘의 기울기 강하 기법(gradient descent method)을 교배나 돌연변이와 같은 유전 연산자로 둠으로써 유전자 알고리즘에 지역적 미세 조정(local fine-tuning)을 위한 메카니즘을 제공해주는 새로운 형태의 GA-BP 방법을 제안한다.제안된 방법의 유용성을 보이기 위해 3-패러티 비트(3-parity bit) 문제에 실험하였다.

Keywords