• 제목/요약/키워드: Error backpropagation

검색결과 133건 처리시간 0.027초

활성화 함수의 이득 가변화를 이용한 역전파 알고리즘의 성능개선 (The Performance Improvement of Backpropagation Algorithm using the Gain Variable of Activation Function)

  • 정성부;이현관;엄기환
    • 전자공학회논문지CI
    • /
    • 제38권6호
    • /
    • pp.26-37
    • /
    • 2001
  • 일반적인 역전파 알고리즘의 여러 가지 문제점들을 개선하기 위하여 활성화 함수의 이득을 퍼지 로직 시스템을 이용하여 자동 조절하는 방식을 제안하였다. 퍼지 로직 시스템을 구성하기 위하여 먼저 활성화 함수의 이득의 변화가 학습율, 연결강도 바이어스 등의 변화와 등가인 관계를 조사하였다 퍼지 로직 시스템의 입력은 마지막층에 대한 오차의 감도와 은닉층에 대한 오차의 평균 감도를 사용하였고, 출력은 활성화 함수의 이득을 사용하였다. 제안한 방식과 일반적인 역전파 알고리즘을 패리티 문제, 함수 근사화 문제 및 패턴 인식 문제등에 대하여 시뮬레이션하여 비교 검토한 결과 수렴비, 평균 학습 반복수, 정말도 및 새로운 입력 에 대한 원하는 오차 범위의 출력을 얻는 등의 성능이 개선됨을 알았다.

  • PDF

퍼지 및 신경망을 이용한 Blending Process의 최적화 (Blending Precess Optimization using Fuzzy Set Theory an Neural Networks)

  • 황인창;김정남;주관정
    • 한국정밀공학회:학술대회논문집
    • /
    • 한국정밀공학회 1993년도 추계학술대회 논문집
    • /
    • pp.488-492
    • /
    • 1993
  • This paper proposes a new approach to the optimization method of a blending process with neural network. The method is based on the error backpropagation learning algorithm for neural network. Since the neural network can model an arbitrary nonlinear mapping, it is used as a system solver. A fuzzy membership function is used in parallel with the neural network to minimize the difference between measurement value and input value of neural network. As a result, we can guarantee the reliability and stability of blending process by the help of neural network and fuzzy membership function.

  • PDF

오류 역전파 학습 알고리즘을 이용한 디지털 워터마킹에 대한 소유권 인증 (Copyright Authentication for Digital Watermarking using Error Backpropagation)

  • 최은주;서정의;차의영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (2)
    • /
    • pp.580-582
    • /
    • 1998
  • 인터넷의 보급으로 인하여 디지털 데이터의 복제가 확산됨에 따라 멀티미디어 데이터에 대한 소유권 보호와 인증에 대한 문제가 대두되고 있는 실정이다. 본 논문에서는 디지털 영상을 다중해상도 표현이 가능한 웨이브릿 변환(Wavelet Transform)을 통하여 저주파수 영역에 인간 시각으로 지각 할 수 없는 워터마크를 삽입하고, 삽입된 워터마크의 영상을 인증하기 위한 방법으로 오류 역전파 학습 알고리즘(Error Backpropagation)을 이용한 신경회로망적 접근방법을 제안한다. 워터마크를 추출하기 위해서는 원영상이 필요하고, 내장된 워터마크가 손실 압축과 필터링 등의 일반적인 영상 처리에 강인함을 실험 결과를 증명하고, 제안한 신경회로망적 접근방법이 좋은 결과를 나타냄으로 실험을 통하여 증명하였다.

  • PDF

오류 역전파 학습 알고리듬을 이용한 블록경계 영역에서의 적응적 블록화 현상 제거 알고리듬 (Adaptive Blocking Artifacts Reduction Algorithm in Block Boundary Area Using Error Backpropagation Learning Algorithm)

  • 권기구;이종원;권성근;반성원;박경남;이건일
    • 한국통신학회논문지
    • /
    • 제26권9B호
    • /
    • pp.1292-1298
    • /
    • 2001
  • 본 논문에서는 공간 영역에서의 블록 분류 (block classification)와 순방향 신경망 필터(feedforward neural network filter)를 이용한 블록 기반 부호화에서의 적응적 블록화 현상 제거 알고리듬을 제안하였다. 제안한 방법에서는 각 블록 경계를 인접 블록간의 통계적 특성을 이용하여 평탄 영역과 에지 영역으로 분류한 후, 각 영역에 대하여 블록화 현상이 발생하였다고 분류된 클래스에 대하여 적응적인 블록간 필터링을 수행한다. 즉, 평탄 영역으로 분류된 영역 중 블록화 현상이 발생한 영역은 오류 역전파 학습 알고리듬 (error backpropagation learning algorithm)에 의하여 학습된 2계층 (2-layer) 신경망 필터를 이용하여 블록화 현상을 제거하고, 복잡한 영역으로 분류된 영역 중 블록화 현상이 발생한 영역은 에지 성분을 보존하기 위하여 선형 내삽을 이용하여 블록간 인접 화소의 밝기 값만을 조정함으로써 블록화 현상을 제거한다. 모의 실험 결과를 통하여 제안한 방법이 객관적 화질 및 주관적 화질 측면에서 기존의 방법보다 그 성능이 우수함을 확인하였다.

  • PDF

오류역전파알고리즘을 이용한 신경회로망의 유도전동기 속도제어에 관한연구 (Study on Induction Motor Speed Control of Neural Network using Backpropagation Algorism)

  • 전기영;성낙규;이승환;오봉환;이훈구;한경희
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2000년도 하계학술대회 논문집 B
    • /
    • pp.1159-1161
    • /
    • 2000
  • This paper presents a speed control system of induction motor using neural network The speed control of induction motor was designed to NNC(Neural Network Controller) and NNE(Neural Network Estimator) used backpropagation, the NNE was constituted to be get an error value of output of an induction motor and conspire an input/output. NNC is controled to be made the error of reference speed and actual speed decrease, and in order to determine the weighting of NNC can be back propagated through the NNE, and it is adapted to the outside circumstances and system characters with learning ability.

  • PDF

신경망 학습 변수의 시변 제어에 관한 연구 (A study on time-varying control of learning parameters in neural networks)

  • 박종철;원상철;최한고
    • 융합신호처리학회 학술대회논문집
    • /
    • 한국신호처리시스템학회 2000년도 추계종합학술대회논문집
    • /
    • pp.201-204
    • /
    • 2000
  • This paper describes a study on the time-varying control of parameters in learning of the neural network. Elman recurrent neural network (RNN) is used to implement the control of parameters. The parameters of learning and momentum rates In the error backpropagation algorithm ate updated at every iteration using fuzzy rules based on performance index. In addition, the gain and slope of the neuron's activation function are also considered time-varying parameters. These function parameters are updated using the gradient descent algorithm. Simulation results show that the auto-tuned learning algorithm results in faster convergence and lower system error than regular backpropagation in the system identification.

  • PDF

적응 역전파 학습 알고리즘을 이용한 신경회로망 제어기 설계 (Direct Adaptive Control Based on Neural Networks Using An Adaptive Backpropagation Algorithm)

  • 최경미;최윤호;박진배
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2007년도 제38회 하계학술대회
    • /
    • pp.1730-1731
    • /
    • 2007
  • In this paper, we present a direct adaptive control method using neural networks for the control of nonlinear systems. The weights of neural networks are trained by an adaptive backpropagation algorithm based on Lyapunov stability theory. We develop the parameter update-laws using the neural network input and the error between the desired output and the output of nonlinear plant to update the weights of a neural network in the sense that Lyapunove stability theory. Beside the output tracking error is asymptotically converged to zero.

  • PDF

가변학습율과 온라인모드를 이용한 개선된 EBP 알고리즘 (Improved Error Backpropagation by Elastic Learning Rate and Online Update)

  • Lee, Tae-Seung;Park, Ho-Jin
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (B)
    • /
    • pp.568-570
    • /
    • 2004
  • The error-backpropagation (EBP) algerithm for training multilayer perceptrons (MLPs) is known to have good features of robustness and economical efficiency. However, the algorithm has difficulty in selecting an optimal constant learning rate and thus results in non-optimal learning speed and inflexible operation for working data. This paper Introduces an elastic learning rate that guarantees convergence of learning and its local realization by online upoate of MLP parameters Into the original EBP algorithm in order to complement the non-optimality. The results of experiments on a speaker verification system with Korean speech database are presented and discussed to demonstrate the performance improvement of the proposed method in terms of learning speed and flexibility fer working data of the original EBP algorithm.

  • PDF

Recurrent Neural Network with Backpropagation Through Time Learning Algorithm for Arabic Phoneme Recognition

  • Ismail, Saliza;Ahmad, Abdul Manan
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2004년도 ICCAS
    • /
    • pp.1033-1036
    • /
    • 2004
  • The study on speech recognition and understanding has been done for many years. In this paper, we propose a new type of recurrent neural network architecture for speech recognition, in which each output unit is connected to itself and is also fully connected to other output units and all hidden units [1]. Besides that, we also proposed the new architecture and the learning algorithm of recurrent neural network such as Backpropagation Through Time (BPTT, which well-suited. The aim of the study was to observe the difference of Arabic's alphabet like "alif" until "ya". The purpose of this research is to upgrade the people's knowledge and understanding on Arabic's alphabet or word by using Recurrent Neural Network (RNN) and Backpropagation Through Time (BPTT) learning algorithm. 4 speakers (a mixture of male and female) are trained in quiet environment. Neural network is well-known as a technique that has the ability to classified nonlinear problem. Today, lots of researches have been done in applying Neural Network towards the solution of speech recognition [2] such as Arabic. The Arabic language offers a number of challenges for speech recognition [3]. Even through positive results have been obtained from the continuous study, research on minimizing the error rate is still gaining lots attention. This research utilizes Recurrent Neural Network, one of Neural Network technique to observe the difference of alphabet "alif" until "ya".

  • PDF

신경회로망을 이용한 복합재료 원통쉘의 하중특성 추론에 관한 연구 (A Study on the Prediction of the Loaded Location of the Composite Laminated Shell by Using Neural Networks)

  • 명창문;이영신;류충현
    • Composites Research
    • /
    • 제14권5호
    • /
    • pp.26-37
    • /
    • 2001
  • 본 연구에서는 복합재료 원통쉘의 구조해석을 통하여 구해진 원통쉘 경사면의 10등분 등간격 9지점의 변형율을 신경회로망의 입력패턴으로 활용하여 원통쉘에 가해진 중격하중 특성을 동시에 추론하였다. 적용된 신경회로망은 Momentum Backpropagation 알고리즘이며, 모멘텀 계수 및 학습율이 학습도에 따라 가변적으로 조정될 수 있도록 프로그램을 개발 적용하였다 Backpropagation 신경회로망의 은닉층은 1층에서 3층까지 별도 프로그램을 개발하여 충격하중 특성추론 학습을 시도하였다. 개발된 신경회로망 프로그램을 적용하여 원통쉘의 충격하중 특성추론 정확도는 1%이내로 학습에 성공하였다. 본 연구 결과 신경회로망을 이용한 복합재료 원통쉘의 충격하중 특성을 추론할 수 있는 역문제 해석이 가능해졌다.

  • PDF