• 제목/요약/키워드: Error backpropagation

검색결과 133건 처리시간 0.023초

학습속도 개선과 학습데이터 축소를 통한 MLP 기반 화자증명 시스템의 등록속도 향상방법 (An Improvement of the MLP Based Speaker Verification System through Improving the learning Speed and Reducing the Learning Data)

  • 이백영;이태승;황병원
    • 대한전자공학회논문지SP
    • /
    • 제39권3호
    • /
    • pp.88-98
    • /
    • 2002
  • MLP(multilayer perceptron)는 다른 패턴인식 방법에 비해 몇 가지 유리한 이점을 지니고 있어 화자증명 시스템의 화자학습 및 인식 방법으로서 사용이 기대된다. 그러나 MLP의 학습은 학습에 이용되는 EBP(error backpropagation) 알고리즘의 저속 때문에 상당한 시간을 소요한다. 이 점은 화자증명 시스템에서 높은 화자인식률을 달성하기 위해서는 많은 배경화자가 필요하다는 점과 맞물려 시스템에 화자를 등록하기 위해 많은 시간이 걸린다는 문제를 낳는다. 화자증명 시스템은 화자 등록후 곧바로 증명 서비스를 제공해야 하기 때문에 이 문제를 해결해야 한다. 본 논문에서는 이 문제를 해결하기 위해 EBP의 학습속도를 개선하는 방법과, 기존의 화자증명 방법에서 화자군집 방법을 도입한 배경화자 축소방법을 사용하여 MLP 기반 화자증명 시스템에서 화자등록에 필요한 시간의 단축을 시도한다.

음성처리에서 온라인 오류역전파 알고리즘의 학습속도 향상방법 (A Method on the Learning Speed Improvement of the Online Error Backpropagation Algorithm in Speech Processing)

  • 이태승;이백영;황병원
    • 한국음향학회지
    • /
    • 제21권5호
    • /
    • pp.430-437
    • /
    • 2002
  • 다층신경망 (MLP: multilayer perceptron)은 다른 패턴인식 방법에 비해 여러 가지 훌륭한 특성을 가지고 있어 음성인식 및 화자인식 영역에서 폭넓게 사용되고 있다. 그러나 다층신경망의 학습에 일반적으로 사용되는 오류역전파 (EBP: error backpropagation) 알고리즘은 학습시간이 비교적 오래 걸린다는 단점이 있으며, 이는 화자인식이나 화자적응과 같이 실시간 처리를 요구하는 응용에서 상당한 제약으로 작용한다. 패턴인식에 사용되는 학습데이터는 풍부한 중복특성을 내포하고 있으므로 패턴마다 다층신경망의 내부변수를 갱신하는 온라인 계열의 학습방식이 속도의 향상에 상당한 효과가 있다. 일반적인 온라인 오류역전파 알고리즘에서는 가중치 갱신 시 고정된 학습률을 적용한다. 고정 학습률을 적절히 선택함으로써 패턴인식 응용에서 상당한 속도개선을 얻을 수 있지만, 학습률이 고정된 상태에서는 학습이 진행됨에 따라 학습에 기여하는 패턴영역이 달라지는 현상에 효과적으로 대응하지 못하는 문제가 있다. 이 문제에 대해 본 논문에서는 패턴의 기여도에 따라 가변 하는 학습률과 학습에 기여하는 패턴만을 학습에 반영하는 패턴별 가변 학습률 및 학습생략 (COIL: Changing rate and Omitting patterns in Instant Learning)방법을 제안한다. 제안한 COIL의 성능을 입증하기 위해 화자증명과 음성인식을 실험하고 그 결과를 제시한다.

오차 자기 순환 신경회로망을 이용한 현가시스템 인식과 슬라이딩 모드 제어기 개발 (Identification of suspension systems using error self recurrent neural network and development of sliding mode controller)

  • 송광현;이창구;김성중
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 1997년도 한국자동제어학술회의논문집; 한국전력공사 서울연수원; 17-18 Oct. 1997
    • /
    • pp.625-628
    • /
    • 1997
  • In this paper the new neural network and sliding mode suspension controller is proposed. That neural network is error self-recurrent neural network. For fast on-line learning, this paper use recursive least squares method. A new neural networks converges considerably faster than the backpropagation algorithm and has advantages of being less affected by the poor initial weights and learning rate. The controller for suspension systems is designed according to sliding mode technique based on new proposed neural network.

  • PDF

다충신경망을 위한 온라인방식 학습의 개별학습단계 최적화 방법 (Local-step Optimization in Online Update Learning of Multilayer Perceptrons)

  • Tae-Seung, Lee;Ho-Jin, Choi
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (2)
    • /
    • pp.700-702
    • /
    • 2004
  • A local-step optimization method is proposed to supplement the global-step optimization methods which adopt online update mode of internal weights and error energy as stop criterion in learning of multilayer perceptrons (MLPs). This optimization method is applied to the standard online error backpropagation(EBP) and the performance is evaluated for a speaker verification system.

  • PDF

Self-generation을 이용한 퍼지 지도 학습 알고리즘 (Fuzzy Supervised Learning Algorithm by using Self-generation)

  • 김광백
    • 한국멀티미디어학회논문지
    • /
    • 제6권7호
    • /
    • pp.1312-1320
    • /
    • 2003
  • 본 논문에서는 하나의 은닉층을 가지는 다층 구조 신경망이 고려되었다. 다층 구조 신경망에서 널리 사용되는 오루 역전파 학습 방법은 초기 가중치와 불충분한 은닉층 노드 수로 인하여 지역 최소화에 빠질 가능성이 있다. 따라서 본 논문에서는 퍼지 단층 퍼셉트론에 ART1을 결합한 방법으로, 은닉층의 노드를 자가 생성(self-generation)하는 퍼지 지도 학습 알고리즘을 제안한다. 입력층에서 은닉층으로 노드를 생성시키는 방식은 ART1을 수정하여 사용하였고, 가중치 조정은 특정 패턴에 대한 저장 패턴을 수정하도록 하는 winner-take-all 방식을 적용하였다. 제안된 학습 방법의 성능을 평가하기 위하여 학생증 영상을 대상으로 실험한 결과. 기존의 오류 역전파 알고즘보다 연결 가중치들이 지역 최소화에 위치할 가능성이 줄었고 학습 속도 및 정체 현상이 개선되었다.

  • PDF

패턴인식에서 온라인 오류역전파 알고리즘의 학습속도 향상방법 (An Improvement of the Outline Mede Error Backpropagation Algorithm Learning Speed for Pattern Recognition)

  • 이태승;황병원
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (B)
    • /
    • pp.616-618
    • /
    • 2002
  • MLP(multilayer perceptron)는 다른 패턴인식 방법에 비해 몇 가지 이점이 있어 다양한 문제영역에서 사용되고 있다 그러나 MLP의 학습에 일반적으로 사용되는 EBP(error backpropagation) 알고리즘은 학습시간이 비교적 오래 걸린다는 단점이 있으며, 이는 실시간 처리를 요구하는 문제나 대규모 데이터 및 MLP 구조로 인해 학습시간이 상당히 긴 문제에서 제약으로 작용한다. 패턴인식에 사용되는 학습데이터는 풍부한 중복특성을 내포하고 있으므로 패턴마다 MLP의 내부변수를 갱신하는 은라인 계열의 학습방식이 속도의 향상에 상당한 효과가 있다. 일반적인 온라인 EBP 알고리즘에서는 내부 가중치 갱신시 고정된 학습률을 적용한다. 고정 학습률을 적절히 선택함으로써 패턴인식 응용에서 상당한 속도개선을 얻을 수 있지만, 학습률을 고정함으로써 온라인 방식에서 패턴별 갱신의 특성을 완전히 활용하지 못하는 비효율성이 발생한다. 또한, 학습도중 패턴군이 학습된 패턴과 그렇지 못한 패턴으로 나뉘고 이 가운데 학습된 패턴은 학습을 위한 계산에 포함될 필요가 없음에도 불구하고, 기존의 온라인 EBP에서는 에폭에 할당된 모든 패턴을 일률적으로 계산에 포함시킨다. 이 문제에 대해 본 논문에서는 학습이 진행됨에 따라 패턴마다 적절한 학습률을 적용하고 필요한 패턴만을 학습에 반영하는 패턴별 가변학습률 및 학습생략(COIL) 방댑을 제안한다. 제안한 COIL의 성능을 입증하기 위해 화자증명과 음성인식을 실험하고 그 결과를 제시한다.

  • PDF

역전파신경회로망을 이용한 피로균열성장과 수명 모델링에 관한 연구 (A Study on Fatigue Crack Growth and Life Modeling using Backpropagation Neural Networks)

  • 조석수;주원식
    • 대한기계학회논문집A
    • /
    • 제24권3호
    • /
    • pp.634-644
    • /
    • 2000
  • Fatigue crack growth and life is estimated by various fracture mechanical parameters but affected by load, material and environment. Fatigue character of component without surface notch cannot be e valuated by above-mentioned parameters due to microstructure of in-service material. Single fracture mechanical parameter or nondestructive parameter cannot predict fatigue damage in arbitrary boundary condition but multiple fracture mechanical parameters or nondestructive parameters can Fatigue crack growth modelling with three point representation scheme uses this merit but has limit on real-time monitoring. Therefore, this study shows fatigue damage model using backpropagatior. neural networks on the basis of X-ray half breadth ratio B/$B_o$ fractal dimension $D_f$ and fracture mechanical parameters can predict fatigue crack growth rate da/dN and cycle ratioN/$N_f$ at the same time within engineering estimated mean error(5%).

다층 신경회로망을 사용한 로봇 매니퓰레이터의 궤적제어 (Trajectoroy control for a Robot Manipulator by Using Multilayer Neural Network)

  • 안덕환;이상효
    • 한국통신학회논문지
    • /
    • 제16권11호
    • /
    • pp.1186-1193
    • /
    • 1991
  • 본 논문에서는 신경회로망을 사용한 로보트 매니퓰레이터의 궤적 제어 방법을 제안하였다. 매니퓰레이터에 가해지는 토크는 신경회로망이 출력인 feedforward 토크와 보조제어기로 사용되는 비례 미분 제어기PD 제어기의 출력인 feedback 토크의 합이다. 제안된 전경 회로망은 다층 신경회로로서 시간 지연 요소를 가지며 PD 제어기의 오차 토크를 사용하여 매니퓰레이터 이동력학 모델을 학습한다. errror backpropagation(BP) 학습 신경회로 제어기를 사용해보므로서 매니퓰레이터 동특성에 대한 정보를 미리 필요로 하지 않으며, 연결 가중치 값에 그러한 정보가 저장된다. 확인될 신경회로망의 특성을 컴퓨터 시뮬레이션을 통하여 입증한다.

  • PDF

보정신경망을 이용한 냉연 압하력 적중율 향상 (Improvement of roll force precalculation accuracy in cold mill using a corrective neural network)

  • 이종영;조형석;조성준;조용중;윤성철
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 1996년도 한국자동제어학술회의논문집(국내학술편); 포항공과대학교, 포항; 24-26 Oct. 1996
    • /
    • pp.1083-1086
    • /
    • 1996
  • Cold rolling mill process in steel works uses stands of rolls to flatten a strip to a desired thickness. At cold rolling mill process, precalculation determines the mill settings before a strip actually enters the mill and is done by an outdated mathematical model. A corrective neural network model is proposed to improve the accuracy of the roll force prediction. Additional variables to be fed to the network include the chemical composition of the coil, its coiling temperature and the aggregated amount of processed strips of each roll. The network was trained using a standard backpropagation with 4,944 process data collected from no.1 cold rolling mill process from March 1995 through December 1995, then was tested on the unseen 1,586 data from Jan 1996 through April 1996. The combined model reduced the prediction error by 32.8% on average.

  • PDF

플라즈마 장비 센서정보의 Auto/Cross-Correlated 시계열 모델링 (Auto/Cross-Correlated Time Series Modeling of Plasma Equipment Sensor Information)

  • 김기태;김병환
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2006년도 심포지엄 논문집 정보 및 제어부문
    • /
    • pp.99-101
    • /
    • 2006
  • Auto-Cross Correlated time series (ACTS) model was constructed by using the backpropagation neural network. The performance of ACTS model was evaluated with sensor information collected from a large volume, industrial plasma-enhanced chemical vapor deposition system. A total of 18 sensor information were collected. The effect of inclusion of past and future information were examined. For all but three sensor information with a large data variance demonstrated a prediction error less than 3%. By integrating ACTS model into equipment software, process quality can be more stringently monitored while improving device throughput.

  • PDF