• Proceedings of the IEEK Conference
• /
• 2003.07d
• /
• pp.1275-1278
• /
• 2003

본 논문에서는 오차 역전파 알고리즘의 전역 최소값을 찾지 못하는 문제점에 대해서 설명하였고, 이 문제를 해결하기 위한 방법으로 유전자 알고리즘에 대해서 설명하였다. 오차 역전파 알고리즘은 기본적으로 경도 하강법을 따른다. 따라서 신경망의 각 가중값 행렬이 만드는 고차의 오차 평면이 대부분의 문제에서 다수의 국부 최소값들을 가지는게 일반적인데, 가중값의 변화가 한방으로 진행하기 시작하여, 오차가 증가되어지는 언덕이 학습 계수보다 크다면 더 이상 학습은 진행되지 않고 거기에서 빠져나가지 못한다. 따라서 초기의 위치가 중요한 역할을 하는데, 이 문제를 해결하기 위해서 유전자 알고리즘을 이용한 신경망 초기화 방법을 제안하였다. 끝으로, 간단한 실험으로 제안된 방법을 구현하고 결과에 대해서 논하였다

• Proceedings of the Korean Society for Emotion and Sensibility Conference
• /
• 1998.04a
• /
• pp.135-140
• /
• 1998

본 논문에서는 신경회로망에서 가장 널리 쓰이고 있는 오차 역 전파 알고리즘(Error Back-propagation) 을 사용하여 스캐너를 모델링함으로써 스캐너의 원색 재현을 위한 방법을 제시하였다. 이것은 스캐너의 하드웨어적 특성을 고려, 입력된 영상의 원색과 출력물의 색과 일치시키는 방법이다. 우선, 오차 역전파 알고리즘에 대하여 학습 규칙을 살펴보고 학습을 위한 데이터를 추출하기 위해 고르게 분포된 색 샘플들을 계측기로 측정하여 칼라 공간에서의 X, Y, Z 값을 얻어낸다. 그 중에서 표본 샘플을 추출한다. 그리고 이를 스캐너로 스캐닝하여 얻은 R, G, B값을 오차 역전파 알고리즘의 입력값으로, 목표값은 X, Y, Z값을 사용하여 학습시킨다. 학습하는 동안 샘플 색상의 수와 중간층의 수, 노드의 수를 변화시킴으로써 최적의 결과를 얻도록 실험하였다. 결론에서는 서로간의 결과를 분석한다.

• The Transactions of the Korean Institute of Power Electronics
• /
• v.5 no.2
• /
• pp.131-139
• /
• 2000

일반적으로 시스템 인식과 제어에 이용하는 다층 신경회로망은 기존의 역전파 알고리즘을 이용한다. 그러나 결선강도에 대한 오차의 기울기를 구하는 방법이기 때문에 국부적 최소점에 빠지기 쉽고, 수렴속도가 매우 늦으며 초기 결선강도 값들이나 학습계수에 민감하게 반응한다. 이와 같은 단점을 개선하기 위하여 확장된 칼만 필터링 기법을 역전파 알고리즘에 결합하였으나 계산상의 복잡성 때문에 망의 크기가 증가하면 실제 적용할 수 없다. 최근 신경회로망을 선형과 비선형 구간으로 구분하고 칼만 필터링 기법을 도입하여 수렴속도를 빠르게 하고 초기 결선강도 값에 크게 영향을 받지 않도록 개선하였으나, 여전히 은닉층의 선형 오차값을 역전파 알고리즘에 의해서 계산하기 때문에 학습계수에 민감하다는 단점이 있다. 본 논문에서는 위에서 언급한 기존의 신경회로망 알고리즘의 문제점을 개선하기 위하여 은닉층의 목표값을 최적기법에 의하여 직접계산하고 각각의 결선강도 값은 반복최소 자승법으로 온라인 학습하는 알고리즘을 제안하고 이들 신경회로망 알고리즘과 비교하고자 한다. 여러 가지 시뮬레이션과 실험을 통하여 제안된 방법이 초기 결선강도에 크게 영향을 받지 않으며, 기존의 학습계수 선정에 따른 문제점을 해결함으로써 신경회로망 모델에 기초한 실시간 제어기 설계에 응용할 수 있도록 하였다. 또한, 유도전동기의 속도추정과 제어에 적용하여 좋은 결과를 보였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2001.10a
• /
• pp.605-608
• /
• 2001

다층 신경망의 학습에 쓰이는 오류 역전파 학습은 매우 효과적이지만 학습 속도가 너무 느리고 최적의 은닉충의 뉴런의 수를 결정하는 해답은 아직 없는 실정이다. 또한 가끔은 국부 최소점(Local maxima)에 빠져 학습이 끝내 이루어지지 않는 경우가 있다. 이에 본 논문에서는 이러한 Local maxima 를 효과적으로 탈출 할 수 있는 방법에 대해서 연구해 보았다. 국부 최소점은 연결강도와 전체 오차 사이의 이차원 공간에서 표현할 수 있는데 본 알고리즘은 이러한 연결강도와 오차와의 관계를 인위적으로 변화시켜 결론적으로 Local maxima 를 탈출하게 하는 방법을 소개한다. 본 연구에서 사용된 방법은 네트웍이 학습중에 Local maxima 에 빠졌을 때 은닉층의 뉴런의 수를 추가하여 인위적으로 연결강도 평면의 위상을 변조시킨다. 또한 은닉충의 뉴런의 수를 동적으로 변화 시키면서 최적의 뉴런의 수를 결정할 수 있게 하였다. 위 알고리즘의 성능을 평가하기 위해서 XOR 문제와 $10{\times}8$ 영문폰트와 숫자의 학습에 적용하여 일반적인 역전파 학습과 비교 평가하였다.

• Journal of the Korean Data and Information Science Society
• /
• v.9 no.2
• /
• pp.345-355
• /
• 1998

The back propagation(BP) algorithm allows multilayer feedforward neural networks to learn input-output mappings from training samples. It iteratively adjusts the network parameters(weights) to minimize the sum of squared approximation errors using a gradient descent technique. However, the mapping acquired through the BP algorithm may be corrupt when errorneous training data are employed. In this paper two types of robust backpropagation algorithms are discussed both from a theoretical point of view and in the case studies of nonlinear regression function estimation and handwritten Korean character recognition. For future research we suggest Bayesian learning approach to neural networks and compare it with two robust backpropagation algorithms.

• Journal of the Institute of Electronics Engineers of Korea TE
• /
• v.39 no.2
• /
• pp.66-75
• /
• 2002

This paper presents an adaptive back propagation algorithm that its able to enhancement for the learning efficiency with updating the learning parameter and varies the number of hidden layer node by the generated error, adaptively. This algorithm is expected to escaping from the local minimum and make the best environment for the convergence of the back propagation neural network. On the simulation tested this algorithm on three learning pattern. One was exclusive-OR learning and the another was 3-parity problem and 7${\times}$5 dot alphabetic font learning. In result that the probability of becoming trapped in local minimum was reduce. Furthermore, the neural network enhanced to learning efficient about 17.6%~64.7% for the existed back propagation. 

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2001.10a
• /
• pp.226-229
• /
• 2001

Radio signal tracking has been developed especially in military as well as in other industries. It is necessary that an adaptive system trace the signal varying its PRI and frequency. In this paper we proposed a system to adapt various PRI and frequency using a neural network model named Error Back Propagation. Fist we prepared learning data by separating signal into time intervals and did some experiments with the teaming data. We found that the system had good effectiveness in tracing varying PRI and frequency signals.

• Journal of Navigation and Port Research
• /
• v.28 no.6
• /
• pp.509-515
• /
• 2004

The aim of this paper is to forecast passenger numbers and freight volumes in 2005 and it is proposed optimal tonnage of passenger ship. The forecasting of passenger numbers and freight volumes is important problem in order to determine optimal tonnage of passenger ship, port plan and development. In this paper, the forecasting of passenger numbers and freight volumes are performed by the method of neural network using back-propagation learning algorithm. And this paper compares the forecasting performance of neural networks with moving average method and exponential smooth method As the result of analysis. The forecasting of passenger numbers and freight volumes is that the neural networks performed better than moving average method and exponential smoothing method on the basis of MSE(mean square error) and MAE(mean absolute error).

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 1998.10a
• /
• pp.384-389
• /
• 1998

본 논문은 특정 응용에 적합한 퍼지 제어기의 최적 설계 파라메터(퍼지 규칙과 소속 함수)를 찾는데 역전파 학습 과정과 유전 알고리즘을 결합한 Lamarckian 상호적응 기법을 이용한 뉴로-퍼지 제어기의 새로운 설계 방법을 제안한다. 설계 파라메타들은 진화에 의한 전역적 탐색을 통해 높은 포함값과 유용한 퍼지 규칙들을 갖는 규칙 베이스와 작은 근사화 오차와 좋은 제어 성능을 갖는 소속 함수들을 얻도록 제어기간 파라메타 조절을 수행하며, 학습에 의한 국부적 탐색을 통해 각 퍼지 제어기가 원하는 제어 결과를 나타내도록 제어기내 파라메타 조절을 수행한다. 제안한 상호적응 설계 방법은 유전 알고리즘의 모든 세대에서 역전파 학습이 이루어지므로 보다 좋은 근사화 능력을 나타나고, 사용한 무게 중심 비퍼지화기가 정확한 비퍼지화값을 계산하므로 보다 좋은 제어 성능을 가지며, 퍼지 규칙 베이스와 소속 함수들의 최적화 탐색 과정이 입출력 공간의 같은 퍼지 분할 상에서 통합된 적응 함수에 의하여 동시에 수행되므로 탐색을 위한 작업 공간이 아주 작아지는 장점이 있다. 시뮬레이션 결과는 Lamarckian 상호 적응에 의해 얻어진 FLC가 퍼지 규\ulcorner 수, 근사화 능력, 제어 성능등 모든면에서 다른 방법에 의해 얻어진 FLC보다 가장 우수함을 보여준다.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2000.05a
• /
• pp.102-105
• /
• 2000

본 논문에서는 잡음환경에서의 음성신호복원(Speech Enhancement) 시스템 구현을 목적으로 한다 이를 위한 적응필터로서 LMS(Least Mean Square)알고리즘 FIR필터를 제안한다. 또 정밀 필터로서 신경망 필터를 제안한다. 잡음환경에서의 음성신호 복원 시스템은 잡음에 의해 왜곡된 음성신호에서 잡음성분만을 제거함으로써 음성신호를 복원하는 시스템이다. 일반적으로 잡음은 시변특성과, 비선형적인 전달특성을 갖는다. 그러므로 파라미터가 고정된 필터로는 제어하기가 힘들다. 이러한 이유로 본 논문에서는 LMS알고리즘 적응필터를 적용한다. 신경망 필터는 오차 역전파 학습 알고리즘에 의해 오차를 최소화하는 방향으로 필터의 파라미터를 수정한다. 제안한 필터로 잡음환경에서의 음성신호복원 시스템을 구성하고, 실험을 통해 필터의 성능을 확인한다.