• 한국지능시스템학회논문지
• /
• 제9권5호
• /
• pp.490-495
• /
• 1999

본 논문에서는 보로노이 다이아그램을 이용하여 오류 역전파 신경망의 초기값을 결정할수 있는 VoD_EBP를 제안하였다. VoD_EBP는 초기 연결 가중치와 임계값을 공학적 계산방법으로 결정함으로써 기존의 EBP에서 자주 발생하는 학습 마비 현상을 피할수 있고 초기부터 빠른 속도로 학습이 진행되므로 학습횟수를 단축시킬수 있다, 또한 VoD_EBP는 은닉층의 노드 수를 보로노이 다각형으로 구분된 클러스터들의 개수로 정할 수있어 신경망 설계에 신뢰성을 향상시켰다. 제시된 VoD_EBP의 효율성을 입증하기 위해 간단한 실험으로 2차원 입력벡터를 갖는 XOR 문제와 3차원 패리티 코드 검출 문제에 대하여 적용하여 보았다. 그 결과 임의의 초기값으로 설정하였던 EBP보다 훨씬 빠르게 학습이 종료되었고, 지역 최소치에 빠져 학습이 진행되지 못하는 현상이 발생하지 않았다.

• 전자공학회논문지B
• /
• 제32B권6호
• /
• pp.922-931
• /
• 1995

In this paper, we propose a modified error function to improve the EBP(Error Back-Propagation) algorithm of Multi-Layer Perceptrons. Using the modified error function, the output node of MLP generates a strong error signal in the case that the output node is far from the desired value, and generates a weak error signal in the opposite case. This accelerates the learning speed of EBP algorothm in the initial stage and prevents overspecialization for training patterns in the final stage. The effectiveness of our modification is verified through the simulation of handwritten digit recognition.

• ETRI Journal
• /
• 제17권1호
• /
• pp.11-22
• /
• 1995

This paper proposes a modified error function to improve the error back-propagation (EBP) algorithm for multi-Layer perceptrons (MLPs) which suffers from slow learning speed. It can also suppress over-specialization for training patterns that occurs in an algorithm based on a cross-entropy cost function which markedly reduces learning time. In the similar way as the cross-entropy function, our new function accelerates the learning speed of the EBP algorithm by allowing the output node of the MLP to generate a strong error signal when the output node is far from the desired value. Moreover, it prevents the overspecialization of learning for training patterns by letting the output node, whose value is close to the desired value, generate a weak error signal. In a simulation study to classify handwritten digits in the CEDAR [1] database, the proposed method attained 100% correct classification for the training patterns after only 50 sweeps of learning, while the original EBP attained only 98.8% after 500 sweeps. Also, our method shows mean-squared error of 0.627 for the test patterns, which is superior to the error 0.667 in the cross-entropy method. These results demonstrate that our new method excels others in learning speed as well as in generalization.

• 한국정보통신학회논문지
• /
• 제7권5호
• /
• pp.1044-1051
• /
• 2003

본 논문은 MLP의 학습 방법으로 사용되는 EBP학습, Cross Entropy함수, 계층별 학습을 소개하고, 필기체 숫자인식 문제를 대상으로 각 학습 방법의 장단점을 비교한다. 실험 결과, EBP학습은 학습 초기에 학습 속도가 다른 학습 방법에 비해 느리지만, 일반화 성능이 좋다. 또한, EBP학습의 단점을 보안한 Cross Entropy 함수는 학습 속도가 EBP학습보다 빠르다. 그러나, 출력층의 오차 신호가 목표 벡터에 대해 선형적으로 학습하기 때문에, 일반화 성능이 EBP학습보다 낮다. 그리고, 계층별 학습은 학습 초기에, 학습 속도가 가장 빠르다. 그러나, 일정한 시간 후, 더 이상 학습이 진행되지 않기 때문에, 일반화 성능이 가장 낮은 결과를 얻었다. 따라서, 본 논문은 MLP를 응용하고자 할 때, 학습 방법의 선택 기준을 제시한다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 1989년도 하계종합학술대회 논문집
• /
• pp.457-460
• /
• 1989

In this paper, an improvement of the EBP(error back propagation) learning speed using an acceleration algorithm is described. Using an acceleration algorithm known as the Partan method in the gradient search algorithm, learning speed is 25% faster than the original EBP algorithm in the simulaion results.

• 전자공학회논문지C
• /
• 제35C권3호
• /
• pp.79-89
• /
• 1998

The Error Back-Propagation(EBP) algorithm is widely applied to train a multi-layer perceptron, which is a neural network model frequently used to solve complex problems such as pattern recognition, adaptive control, and global optimization. However, the EBP is basically a gradient descent method, which may get stuck in a local minimum, leading to failure in finding the globally optimal solution. Moreover, a multi-layer perceptron suffers from locking a systematic determination of the network structure appropriate for a given problem. It is usually the case to determine the number of hidden nodes by trial and error. In this paper, we propose a new algorithm to efficiently train a multi-layer perceptron. OUr algorithm uses stochastic perturbation in the weight space to effectively escape from local minima in multi-layer perceptron learning. Stochastic perturbation probabilistically re-initializes weights associated with hidden nodes to escape a local minimum if the probabilistically re-initializes weights associated with hidden nodes to escape a local minimum if the EGP learning gets stuck to it. Addition of new hidden nodes also can be viewed asa special case of stochastic perturbation. Using stochastic perturbation we can solve the local minima problem and the network structure design in a unified way. The results of our experiments with several benchmark test problems including theparity problem, the two-spirals problem, andthe credit-screening data show that our algorithm is very efficient.

• International Journal of Contents
• /
• 제12권1호
• /
• pp.49-53
• /
• 2016

"Hahoe Village" in Andong region is an UNESCO World Heritage Site. It should be protected against various disasters such as fire, flooding, earthquake, etc. Among these disasters, flooding has drastic impact on the lives and properties in a wide area. Since "Hahoe Village" is adjacent to Nakdong River, it is important to monitor the water level near the village. In this paper, we developed a hydrological modelling using multi-layer perceptron (MLP) to predict the water level of Nakdong River near "Hahoe Village". To develop the prediction model, error back-propagation (EBP) algorithm was used to train the MLP with water level data near the village and rainfall data at the upper reaches of the village. After training with data in 2012 and 2013, we verified the prediction performance of MLP with untrained data in 2014.

• 한국통신학회논문지
• /
• 제19권12호
• /
• pp.2418-2425
• /
• 1994

기울기를 따라가는 방식(gradient descent method)에 바탕을 둔 오류 역전파(EBP : Error Back Propagation) 방법이 가장 널리 사용되는 신경회로망의 학습 방법에서 문제가 되는 지역 최소값(local minima), 느린 학습 시간, 신경망 구조(structure), 그리고 초기의 연결 강도(interconnection weight) 등을 기존의 다층 신경 회로망에 지역적인 학습 능력을 가진 가우시안 포텔샵 네트워크(GPFN : Gaussian Potential Function Networks)를 병렬적으로 부가하여 해결함으로써 지역화된 오류 학습 패턴들이 나타내는 문제에 대하여 학습 성능을 향상시킬 수 잇는 새로운 학습 방법을 제시한다. 함수 근사화 문제에서 기존의 EBP 학습 방법과의 비교 실험으로 제안된 학습 방법이 보다 개선된 일반화 능력과 빠른 학습 속도를 가짐을 보여 그 효율성을 입증한다.

• 전자공학회논문지C
• /
• 제35C권6호
• /
• pp.67-75
• /
• 1998

다층퍼셉트론의 학습에서 나타나는 출력노드의 부적절한 포화를 해결하기 위해서 n차 크로스-엔트로피 오차함수가 제안되었으나, 이 오차함수를 이용한 학습성능은 오차함수의 차수에 민감하여 적절한 차수를 결정해야 하는 문제점이 있다. 이 논문에서는, 학습의 진행에 따라 학습률을 가변시키는 새로운 방법을 제시하여 다층퍼셉트론의 학습성능이 n차 크로스-엔트로피 오차함수의 차수에 덜 민감하도록 한다. 또한, 가변학습률이 매우 커지는 경우에 학습이 불안정해지는 것을 방지하기 위해서 오차신호의 크기를 제한하는 방법을 제시한다. 마지막으로, 필기체 숫자 인식 문제와 갑상선 진단 문제의 시뮬레이션으로 제안한 방법의 효용성을 검증한다.

• 대한전기학회논문지
• /
• 제40권2호
• /
• pp.224-233
• /
• 1991

The multilayer expanson of single layer NN (Neural Network) was needed to solve the linear seperability problem as shown by the classic example using the XOR function. The EBP (Error Back Propagation ) learning rule is often used in multilayer Neural Networks, but it is not without its faults: 1)D.Rimmelhart expanded the Delta Rule but there is a problem in obtaining Ca from the linear combination of the Weight matrix N between the hidden layer and the output layer and H, wich is the result of another linear combination between the input pattern and the Weight matrix M between the input layer and the hidden layer. 2) Even if using the difference between Ca and Da to adjust the values of the Weight matrix N between the hidden layer and the output layer may be valid is correct, but using the same value to adjust the Weight matrixd M between the input layer and the hidden layer is wrong. Recognitron III was proposed to solve these faults. According to simulation results, since Recognitron III does not learn the three layer NN itself, but divides it into several single layer NNs and learns these with learning patterns, the learning time is 32.5 to 72.2 time faster than EBP NN one. The number of patterns learned in a EBP NN with n input and output cells and n+1 hidden cells are 2**n, but n in Recognitron III of the same size. [5] In the case of pattern generalization, however, EBP NN is less than Recognitron III.