• 제목/요약/키워드: Backpropagation algorithm

검색결과 350건 처리시간 0.039초

학습속도 개선과 학습데이터 축소를 통한 MLP 기반 화자증명 시스템의 등록속도 향상방법 (An Improvement of the MLP Based Speaker Verification System through Improving the learning Speed and Reducing the Learning Data)

  • 이백영;이태승;황병원
    • 대한전자공학회논문지SP
    • /
    • 제39권3호
    • /
    • pp.88-98
    • /
    • 2002
  • MLP(multilayer perceptron)는 다른 패턴인식 방법에 비해 몇 가지 유리한 이점을 지니고 있어 화자증명 시스템의 화자학습 및 인식 방법으로서 사용이 기대된다. 그러나 MLP의 학습은 학습에 이용되는 EBP(error backpropagation) 알고리즘의 저속 때문에 상당한 시간을 소요한다. 이 점은 화자증명 시스템에서 높은 화자인식률을 달성하기 위해서는 많은 배경화자가 필요하다는 점과 맞물려 시스템에 화자를 등록하기 위해 많은 시간이 걸린다는 문제를 낳는다. 화자증명 시스템은 화자 등록후 곧바로 증명 서비스를 제공해야 하기 때문에 이 문제를 해결해야 한다. 본 논문에서는 이 문제를 해결하기 위해 EBP의 학습속도를 개선하는 방법과, 기존의 화자증명 방법에서 화자군집 방법을 도입한 배경화자 축소방법을 사용하여 MLP 기반 화자증명 시스템에서 화자등록에 필요한 시간의 단축을 시도한다.

LVQ와 ADALINE을 이용한 학습 알고리듬 (Learning Algorithm using a LVQ and ADALINE)

  • 윤석환;민준영;신용백
    • 산업경영시스템학회지
    • /
    • 제19권39호
    • /
    • pp.47-61
    • /
    • 1996
  • We propose a parallel neural network model in which patterns are clustered and patterns in a cluster are studied in a parallel neural network. The learning algorithm used in this paper is based on LVQ algorithm of Kohonen(1990) for clustering and ADALINE(Adaptive Linear Neuron) network of Widrow and Hoff(1990) for parallel learning. The proposed algorithm consists of two parts. First, N patterns to be learned are categorized into C clusters by LVQ clustering algorithm. Second, C patterns that was selected from each cluster of C are learned as input pattern of ADALINE(Adaptive Linear Neuron). Data used in this paper consists of 250 patterns of ASCII characters normalized into $8\times16$ and 1124. The proposed algorithm consists of two parts. First, N patterns to be learned are categorized into C clusters by LVQ clustering algorithm. Second, C patterns that was selected from each cluster of C are learned as input pattern of ADALINE(Adaptive Linear Neuron). Data used in this paper consists 250 patterns of ASCII characters normalized into $8\times16$ and 1124 samples acquired from signals generated from 9 car models that passed Inductive Loop Detector(ILD) at 10 points. In ASCII character experiment, 191(179) out of 250 patterns are recognized with 3%(5%) noise and with 1124 car model data. 807 car models were recognized showing 71.8% recognition ratio. This result is 10.2% improvement over backpropagation algorithm.

  • PDF

오차 자기 순환 신경회로망을 이용한 현가시스템 인식과 슬라이딩 모드 제어기 개발 (Identification of suspension systems using error self recurrent neural network and development of sliding mode controller)

  • 송광현;이창구;김성중
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 1997년도 한국자동제어학술회의논문집; 한국전력공사 서울연수원; 17-18 Oct. 1997
    • /
    • pp.625-628
    • /
    • 1997
  • In this paper the new neural network and sliding mode suspension controller is proposed. That neural network is error self-recurrent neural network. For fast on-line learning, this paper use recursive least squares method. A new neural networks converges considerably faster than the backpropagation algorithm and has advantages of being less affected by the poor initial weights and learning rate. The controller for suspension systems is designed according to sliding mode technique based on new proposed neural network.

  • PDF

유전자 알고리즘을 이용한 오차 역전파 신경망의 초기화 (An Initialization of Backpropagation Network Using Genetic Algorithm)

  • 박형태;이행세
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2003년도 하계종합학술대회 논문집 Ⅲ
    • /
    • pp.1275-1278
    • /
    • 2003
  • 본 논문에서는 오차 역전파 알고리즘의 전역 최소값을 찾지 못하는 문제점에 대해서 설명하였고, 이 문제를 해결하기 위한 방법으로 유전자 알고리즘에 대해서 설명하였다. 오차 역전파 알고리즘은 기본적으로 경도 하강법을 따른다. 따라서 신경망의 각 가중값 행렬이 만드는 고차의 오차 평면이 대부분의 문제에서 다수의 국부 최소값들을 가지는게 일반적인데, 가중값의 변화가 한방으로 진행하기 시작하여, 오차가 증가되어지는 언덕이 학습 계수보다 크다면 더 이상 학습은 진행되지 않고 거기에서 빠져나가지 못한다. 따라서 초기의 위치가 중요한 역할을 하는데, 이 문제를 해결하기 위해서 유전자 알고리즘을 이용한 신경망 초기화 방법을 제안하였다. 끝으로, 간단한 실험으로 제안된 방법을 구현하고 결과에 대해서 논하였다

  • PDF

Cascade-Correlation Network를 이용한 종합주가지수 예측

  • 지원철;박시우;신현정;신홍섭
    • 한국경영과학회:학술대회논문집
    • /
    • 대한산업공학회/한국경영과학회 1996년도 춘계공동학술대회논문집; 공군사관학교, 청주; 26-27 Apr. 1996
    • /
    • pp.745-748
    • /
    • 1996
  • Korea Composite Stock Price Index (KOSPI) was predicted using Cascade Correlation Network (CCN) model. CCN was suggested, by Fahlman and Lebiere [1990], to overcome the limitations of backpropagation algorithm such as step size problem and moving target problem. To test the applicability of CCN as a function approximator to the stock price movements, CCN was used as a tool for univariate time series analysis. The fitting and forecasting performance fo CCN on the KOSPI was compared with those of Multi-Layer Perceptron (MLP).

  • PDF

신경회로망을 이용한 동적 시스템의 자기동조 제어기 설계 (Design of auto-tuning controller for Dynamic Systems using neural networks)

  • 조현섭;오명관
    • 한국산학기술학회:학술대회논문집
    • /
    • 한국산학기술학회 2007년도 춘계학술발표논문집
    • /
    • pp.147-149
    • /
    • 2007
  • "Dynamic Neural Unit"(DNU) based upon the topology of a reverberating circuit in a neuronal pool of the central nervous system. In this thesis, we present a genetic DNU-control scheme for unknown nonlinear systems. Our methodis different from those using supervised learning algorithms, such as the backpropagation (BP) algorithm, that needs training information in each step. The contributions of this thesis are the new approach to constructing neural network architecture and its trainin.

  • PDF

신경회로망과 Classifier를 이용한 부분방전패턴의 인식 (Recognition of Partial Discharge Patterns using Classifiers and the Neural Network)

  • 이준호;이진우
    • 한국조명전기설비학회:학술대회논문집
    • /
    • 한국조명전기설비학회 1999년도 학술대회논문집-국제 전기방전 및 플라즈마 심포지엄 Proceedings of 1999 KIIEE Annual Conference-International Symposium of Electrical Discharge and Plasma
    • /
    • pp.132-135
    • /
    • 1999
  • In this work, two approaches were proposed for the recognition of partial discharge patterns. The first approach was neural network with backpropagation algorithm, and the second approach was angle calculation between two operator vectors. PD signal were detected using three electrode systems; IEC(b), needle-plane and CIGRE method II electrode system. Both of neural network and angle comparison method showed good recognition performance for the patte군 similar to the trained patterns. And the number of operators to be used had a great influence on the recognition performance to the untrained patterns.

  • PDF

백프로파게이션 알고리즘을 이용한 칩 형태의 인식 (Identification of the Chip Form Using Back Propagation Algorithm)

  • 심재형;권혁준;백인환
    • 한국정밀공학회:학술대회논문집
    • /
    • 한국정밀공학회 1996년도 추계학술대회 논문집
    • /
    • pp.206-211
    • /
    • 1996
  • A major problem in automation of turning operation is the difficulty in obtaining a sufficient and reliable chip control. Therefore it becomes desirable to find a method which can detect the chip form. In this paper, a method of the identification of chip form using output of pyrometer and neural network technique is developed. An efficiency of developed method is examined by experiments in turning and the validity of it is confirmed.

  • PDF

과도상태 성능 개선을 위한 적응 제어기 설계 (The Adaptation Controller Plan for a Transient State Efficiency Improvement)

  • 조현섭;전호익
    • 한국산학기술학회:학술대회논문집
    • /
    • 한국산학기술학회 2011년도 춘계학술논문집 1부
    • /
    • pp.379-381
    • /
    • 2011
  • Dynamic Neural Unit(DNU) based upon the topology of a reverberating circuit in a neuronal pool of the central nervous system. In this thesis, we present a genetic DNU-control scheme for unknown nonlinear systems. Our methodis different from those using supervised learning algorithms, such as the backpropagation (BP) algorithm, that needs training information in each step. The contributions of this thesis are the new approach to constructing neural network architecture and its trainin.

  • PDF

오류역전파 알고리즘의 Local maxima를 탈출하기 위한 방법에 관한 연구 (The Study on the Method which escapee from Local maxima of Error-Backpropagation Algorithm)

  • 서원택;조범준
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (2)
    • /
    • pp.313-315
    • /
    • 2001
  • 본 논문에서 소개하는 알고리즘을 은닉층의 뉴런의 수를 학습하는 동안 동적으로 변화시켜 역전파 알고리즘의 단점인 Local maxima를 탈출하고 또한 은닉층의 뉴런의 수를 결정하는 과정을 없애기 위해 연구되었다. 본 알고리즘의 성능을 평가하기 위해 두 가지 실험에 적용하였는데 첫번째는 Exclusive-OR 문제이고 두번째는 7$\times$8 한글 자음과 모음의 폰트 학습에 적용하였다. 이 실험의 결과로 네트웍이 local maxima에 빠져드는 확률이 줄어드는 것을 알 수 있었고 학습속도 또한 일반적인 역전파 알고리즘보다 빠른 것으로 증명되었다.

  • PDF