• 융합신호처리학회 학술대회논문집
• /
• 한국신호처리시스템학회 2000년도 추계종합학술대회논문집
• /
• pp.201-204
• /
• 2000

This paper describes a study on the time-varying control of parameters in learning of the neural network. Elman recurrent neural network (RNN) is used to implement the control of parameters. The parameters of learning and momentum rates In the error backpropagation algorithm ate updated at every iteration using fuzzy rules based on performance index. In addition, the gain and slope of the neuron's activation function are also considered time-varying parameters. These function parameters are updated using the gradient descent algorithm. Simulation results show that the auto-tuned learning algorithm results in faster convergence and lower system error than regular backpropagation in the system identification.

• 한국음향학회지
• /
• 제21권5호
• /
• pp.430-437
• /
• 2002

다층신경망 (MLP: multilayer perceptron)은 다른 패턴인식 방법에 비해 여러 가지 훌륭한 특성을 가지고 있어 음성인식 및 화자인식 영역에서 폭넓게 사용되고 있다. 그러나 다층신경망의 학습에 일반적으로 사용되는 오류역전파 (EBP: error backpropagation) 알고리즘은 학습시간이 비교적 오래 걸린다는 단점이 있으며, 이는 화자인식이나 화자적응과 같이 실시간 처리를 요구하는 응용에서 상당한 제약으로 작용한다. 패턴인식에 사용되는 학습데이터는 풍부한 중복특성을 내포하고 있으므로 패턴마다 다층신경망의 내부변수를 갱신하는 온라인 계열의 학습방식이 속도의 향상에 상당한 효과가 있다. 일반적인 온라인 오류역전파 알고리즘에서는 가중치 갱신 시 고정된 학습률을 적용한다. 고정 학습률을 적절히 선택함으로써 패턴인식 응용에서 상당한 속도개선을 얻을 수 있지만, 학습률이 고정된 상태에서는 학습이 진행됨에 따라 학습에 기여하는 패턴영역이 달라지는 현상에 효과적으로 대응하지 못하는 문제가 있다. 이 문제에 대해 본 논문에서는 패턴의 기여도에 따라 가변 하는 학습률과 학습에 기여하는 패턴만을 학습에 반영하는 패턴별 가변 학습률 및 학습생략 (COIL: Changing rate and Omitting patterns in Instant Learning)방법을 제안한다. 제안한 COIL의 성능을 입증하기 위해 화자증명과 음성인식을 실험하고 그 결과를 제시한다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2001년도 하계종합학술대회 논문집(3)
• /
• pp.189-192
• /
• 2001

In this paper, we propose a ADALINE controller using fuzzy-backpropagation algorithm to adjust weight. In the proposed ADALINE controller, using fuzzy algorithm for traning neural network, controller make use of ADALINE due to simple and computing efficiency. This controller includes adaptive learning rate to accelerate teaming. It applies to servo-motor as an controlled process. And then it take a simulation for the position control, so the verify the usefulness of the proposed ADALINE controller.

• 한국멀티미디어학회논문지
• /
• 제6권7호
• /
• pp.1312-1320
• /
• 2003

본 논문에서는 하나의 은닉층을 가지는 다층 구조 신경망이 고려되었다. 다층 구조 신경망에서 널리 사용되는 오루 역전파 학습 방법은 초기 가중치와 불충분한 은닉층 노드 수로 인하여 지역 최소화에 빠질 가능성이 있다. 따라서 본 논문에서는 퍼지 단층 퍼셉트론에 ART1을 결합한 방법으로, 은닉층의 노드를 자가 생성(self-generation)하는 퍼지 지도 학습 알고리즘을 제안한다. 입력층에서 은닉층으로 노드를 생성시키는 방식은 ART1을 수정하여 사용하였고, 가중치 조정은 특정 패턴에 대한 저장 패턴을 수정하도록 하는 winner-take-all 방식을 적용하였다. 제안된 학습 방법의 성능을 평가하기 위하여 학생증 영상을 대상으로 실험한 결과. 기존의 오류 역전파 알고즘보다 연결 가중치들이 지역 최소화에 위치할 가능성이 줄었고 학습 속도 및 정체 현상이 개선되었다.

• 한국지능시스템학회논문지
• /
• 제12권5호
• /
• pp.397-404
• /
• 2002

본 논문에서는 퍼지와 웨이브렛 변환의 다해상도 분해(MRA)를 가진 퍼지 개념을 이용한 웨이브렛 신경망을 제안하고, 또한 이 시스템을 이용하여 임의의 비선형 함수 학습 근사화를 개선하고자 한다. 여기에서 퍼지 개념은 벨(bell)형 퍼지 소속함수를 사용하였다. 그리고 웨이브렛의 구성은 단일 크기를 가지고 있으며, 퍼지 개념을 이용한 웨이브렛 신경망의 학습을 위해 역전파 알고리즘을 사용하였다. 웨이브렛 변환의 다해상도 분해, 벨형 퍼지 소속 함수 그리고 학습을 위한 역전파 알고리즘을 이용한 이 구조는 기존의 알고리즘보다 근사화 성능이 개선됨을 모의 실험을 통하여 1차원, 2차원 함수에서 확인하였다.

• Journal of the Korean Data and Information Science Society
• /
• 제16권4호
• /
• pp.815-821
• /
• 2005

Among the various artificial neural networks the backpropagation network (BPN) has become a standard one. One of the components in a neural network is an activating function or a transfer function of which a representative function is a sigmoid. We have discovered that by updating the slope parameter of a sigmoid function simultaneous with the weights could improve performance of a BPN.

• International Journal of Computer Science & Network Security
• /
• 제21권6호
• /
• pp.200-206
• /
• 2021

Fraud in e-commerce transaction increased in the last decade especially with the increasing number of online stores and the lockdown that forced more people to pay for services and groceries online using their credit card. Several machine learning methods were proposed to detect fraudulent transaction. Neural networks showed promising results, but it has some few drawbacks that can be overcome using optimization methods. There are two categories of learning optimization methods, first-order methods which utilizes gradient information to construct the next training iteration whereas, and second-order methods which derivatives use Hessian to calculate the iteration based on the optimization trajectory. There also some training refinements procedures that aims to potentially enhance the original accuracy while possibly reduce the model size. This paper investigate the performance of several NN models in detecting fraud in e-commerce transaction. The backpropagation model which is classified as first learning algorithm achieved the best accuracy 96% among all the models.

• 경영과정보연구
• /
• 제2권
• /
• pp.75-93
• /
• 1998

In this paper, we propose a new algorithm(N_BP) to be capable of overcoming limitations of the traditional backpropagation(O_BP). The N_BP is based on the method of conjugate gradients and calculates learning parameters through the line search which may be characterized by order statistics and golden section. Experimental results showed that the N_BP was definitely superior to the O_BP with and without a stochastic term in terms of accuracy and rate of convergence and might surmount the problem of local minima. Furthermore, they confirmed us that the stagnant phenomenon of learning in the O_BP resulted from the limitations of its algorithm in itself and that unessential approaches would never cured it of this phenomenon.

• 한국통신학회논문지
• /
• 제26권9B호
• /
• pp.1292-1298
• /
• 2001

본 논문에서는 공간 영역에서의 블록 분류 (block classification)와 순방향 신경망 필터(feedforward neural network filter)를 이용한 블록 기반 부호화에서의 적응적 블록화 현상 제거 알고리듬을 제안하였다. 제안한 방법에서는 각 블록 경계를 인접 블록간의 통계적 특성을 이용하여 평탄 영역과 에지 영역으로 분류한 후, 각 영역에 대하여 블록화 현상이 발생하였다고 분류된 클래스에 대하여 적응적인 블록간 필터링을 수행한다. 즉, 평탄 영역으로 분류된 영역 중 블록화 현상이 발생한 영역은 오류 역전파 학습 알고리듬 (error backpropagation learning algorithm)에 의하여 학습된 2계층 (2-layer) 신경망 필터를 이용하여 블록화 현상을 제거하고, 복잡한 영역으로 분류된 영역 중 블록화 현상이 발생한 영역은 에지 성분을 보존하기 위하여 선형 내삽을 이용하여 블록간 인접 화소의 밝기 값만을 조정함으로써 블록화 현상을 제거한다. 모의 실험 결과를 통하여 제안한 방법이 객관적 화질 및 주관적 화질 측면에서 기존의 방법보다 그 성능이 우수함을 확인하였다.

• 대한산업공학회지
• /
• 제26권4호
• /
• pp.306-314
• /
• 2000

In this paper we present a new approach to estimate link travel speed based on the hybrid neuro-fuzzy network. It combines the fuzzy ART algorithm for structure learning and the backpropagation algorithm for parameter adaptation. At first, the fuzzy ART algorithm partitions the input/output space using the training data set in order to construct initial neuro-fuzzy inference network. After the initial network topology is completed, a backpropagation learning scheme is applied to optimize parameters of fuzzy membership functions. An initial neuro-fuzzy network can be applicable to any other link where the probe car data are available. This can be realized by the network adaptation and add/modify module. In the network adaptation module, a CBR(Case-Based Reasoning) approach is used. Various experiments show that proposed methodology has better performance for estimating link travel speed comparing to the existing method.