New Two Phases Training Algorithm for Multilayer Perceptrons

다층 퍼셉트론의 새로운 두 단계 학습 알고리즘

  • Choi Hyoungjoon (Department of Industrial Engineering, Pohang University of Science and Technology) ;
  • Lee Jaewook (Department of Industrial Engineering, Pohang University of Science and Technology)
  • 최형준 (포항공과대학교 산업공학과) ;
  • 이재욱 (포항공과대학교 산업공학과)
  • Published : 2003.05.01

Abstract

본 논문에서는 다층 퍼셉트론의 학습을 위한 새로운 두 단계 학습방법을 제안하였다. 첫 번째 단계는 국소최적해로 빨리 수렴하기 위해 Levenberg-Marquardt 알고리즘을 이용한 국소 탐색 단계이다. 두 번째 단계는 첫 번째 단계에서 찾은 국소최적해가 원하는 수준에 미치지 못할 경우 새로운 국소최적해로 벗어나기 위한 선형탐색을 기반의 터널링 단계이다. 이 방법은 연결가중치 공간에서 전역최적해를 빠르게 찾을 수 잇는 새로운 방법을 제공한다. 4가지 벤치마크 문제에 기존의 다층 퍼셉트론의 학습 알고리즘과 비교 실험을 통해, 제안된 알고리즘이 빠른 수렴 속도와 낮은 오차값을 가짐을 알 수 있었다.

Keywords