Generalization of Recurrent Cascade Correlation Algorithm and Morse Signal Experiments using new Activation Functions

순환 케스케이드 코릴레이션 알고리즘의 일반화와 새로운 활성화함수를 사용한 모스 신호 실험

Recurrent-Cascade-Correlation(RCC) is a supervised teaming algorithm that automatically determines the size and topology of the network. RCC adds new hidden neurons one by one and creates a multi-layer structure in which each hidden layer has only one neuron. By second order RCC, new hidden neurons are added to only one hidden layer. These created neurons are not connected to each other. We present a generalization of the RCC Architecture by combining the standard RCC Architecture and the second order RCC Architecture. Whenever a hidden neuron has to be added, the new RCC teaming algorithm automatically determines whether the network topology grows vertically or horizontally. This new algorithm using sigmoid, tanh and new activation functions was tested with the morse-benchmark-problem. Therefore we recognized that the number of hidden neurons was decreased by the experiments of the RCC network generalization which used the activation functions.

순환 케스케이드 코릴레이션(Recurrent Cascade Correlation(RCC))은 감독에 의하여 학습하는 알고리즘이고 네트워크의 크기와 형태는 자동으로 이루어진다. RCC는 새로운 은닉뉴런들이 한 충에 하나씩 순서대로 네트워크에 삽입되기 때문에 다층구조를 형성하고 2계(Second Order) RCC는 새로운 은닉뉴런들이 한 층에만 순서대로 생성되어 나열되므로 2층 구조를 형성한다. 따라서 이러한 은닉뉴런들끼리는 서로 연결하지 않는다. 이 논문에서는 RCC와 2계 RCC의 조합을 통한 RCC 네트워크의 일반화를 소개한다. 새로운 RCC 알고리즘은 은닉뉴런이 네트워크에 첨가될 때마다 네트워크가 수직성장 또는 수평성장을 해야 하는지를 스스로 결정한다. 또한 뉴런의 활성화를 위한 새로운 활성화함수를 소개하고 기존의 sigmoid, tanh 함수와 함께 사용하여 모스 벤치마크 문제에 관하여 실험하였다. 이러한 활성화 함수들을 사용한 RCC 네트워크의 일반화 실험에서 은닉뉴런의 숫자가 감소하였음을 알 수 있다.