• 한국지능시스템학회논문지
• /
• 제8권6호
• /
• pp.129-135
• /
• 1998

본 논문은 서러 다른 접근방식을 사용하는 카오스 회귀 신경예측모델과 다층 신경회로망이 결합하여 고립음의 인식률을 높이고자 하였다. 전반적으로 다층신경회로망은 MLP와 결합한 인식률은 1.2%에서 2.5% 이상이 개선 되었다. 이는 서로 인식하는 방법이 다르기 때문에 서로 상호 보완되고, 카오스의 다이내믹 성질이 인식률을 개선시켰음을 실험으로 밝혔다. MLP와 결합한 인식률은 카오스 다층신경망일 때가 가장 좋았다. 그러나 학습시 알고리즘이 단순하고, 신뢰도 면에서는 오히려 카오스 단층 신경망이 인식률은 0.5%정도 떨어지지만 더욱 좋다고 생각된다. 주로 MLP는 숫자음 “일”과 “오”에서 우수한 성적을 나타내었고, 카오스 예측 신경망은 숫자음 “영”, “삼”, “칠”에서 우수하였다.

• 대한전기학회논문지:전력기술부문A
• /
• 제48권10호
• /
• pp.1231-1238
• /
• 1999

This paper presents an approach for the optimal heating load Identification using Diagonal Recurrent Neural Networks(DRNN). In this paper, the DRNN captures the dynamic nature of a system and since it is not fully connected, training is much faster than a fully connected recurrent neural network. The architecture of DRNN is a modified model of the fully connected recurrent neural network with one hidden layer. The hidden layer is comprised of self-recurrent neurons, each feeding its output only into itself. In this study, A dynamic backpropagation (DBP) with delta-bar-delta learning method is used to train an optimal heating load identifier. Delta-bar-delta learning method is an empirical method to adapt the learning rate gradually during the training period in order to improve accuracy in a short time. The simulation results based on experimental data show that the proposed model is superior to the other methods in most cases, in regard of not only learning speed but also identification accuracy.

• 융합신호처리학회논문지
• /
• 제6권1호
• /
• pp.45-52
• /
• 2005

동적 신경망은 temporal 신호처리가 요구되는 여러 분야에 사용되어 왔다. 본 논문에서는 다층 리커런트 신경망(RNN)의 동특성을 더 향상시키기 위해 지역 궤환 신경망(LRNN)과 광역 궤환 신경망(GRNN)으로 구성된 합성 신경망을 사용하여 시스템 식별을 다루고 있다. 합성 신경망의 구조는 LRNN으로 IIR-MLP를, GRNN으로 Elman RNN을 결합하고 있다. 합성신경망은 선형과 비선형 시스템 식별을 통해 평가되었으며 상대적인 성능평가를 위해 Elman RNN과 IIR-MLP 신경망과 비교하고 있다. 시뮬레이션 결과에 의하면 합성 신경망은 학습속도와 정확도에서 더 우수하게 동작하였으며, 이러한 사실은 비선형 시스템 식별에 있어서 합성 신경망이 기존의 다층 리커런트 신경망보다 더 효과적인 신경망이 될 수 있음을 보여주었다.

• 한국지능시스템학회논문지
• /
• 제7권5호
• /
• pp.60-66
• /
• 1997

This paper presents a fuzzy inference-based reinforcement learning algorithm of dynamci recurrent neural networks, which is very similar to the psychological learning method of higher animals. By useing the fuzzy inference technique the linguistic and concetional expressions have an effect on the controller's action indirectly, which is shown in human's behavior. The intervlas of fuzzy membership functions are found optimally by genetic algorithms. And using recurrent neural networks composed of dynamic neurons as action-generation networks, past state as well as current state is considered to make an action in dynamical environment. We show the validity of the proposed learning algorithm by applying it to the inverted pendulum control problem.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 1997년도 추계학술대회 학술발표 논문집
• /
• pp.413-416
• /
• 1997

Recently, dynamic recurrent neural networks(DRNN) for identification of nonlinear dynamic systems have been researched extensively. In general, dynamic backpropagation was used to adjust the weights of neural networks. But, this method requires many complex calculations and has the possibility of falling into a local minimum. So, we propose a new approach to identify nonlinear dynamic systems using DRNN. In order to adjust the weights of neurons, we use evolution strategies, which is a method used to solve an optimal problem having many local minimums. DRNN trained by evolution strategies with mutation as the main operator can act as a plant emulator. And the fitness function of evolution strategies is based on the difference of the plant's outputs and DRNN's outputs. Thus, this new approach at identifying nonlinear dynamic system, when applied to the simulation of a two-link robot manipulator, demonstrates the performance and efficiency of this proposed approach.

• 한국통신학회논문지
• /
• 제34권3C호
• /
• pp.257-267
• /
• 2009

This paper presents a training method for neural networks and the employment of MSE (mean scare error) values as the basis of a decision regarding the identity claim of a speaker in a recurrent neural networks based speaker verification system. Recurrent neural networks (RNNs) are employed to capture temporally dynamic characteristics of speech signal. In the process of supervised learning for RNNs, target outputs are automatically generated and the generated target outputs are made to represent the temporal variation of input speech sounds. To increase the capability of discriminating between the true speaker and an impostor, a discriminative training method for RNNs is presented. This paper shows the use and the effectiveness of the MSE value, which is obtained from the Euclidean distance between the target outputs and the outputs of networks for test speech sounds of a speaker, as the basis of speaker verification. In terms of equal error rates, results of experiments, which have been performed using the Korean speech database, show that the proposed speaker verification system exhibits better performance than a conventional hidden Markov model based speaker verification system.

• 한국정보시스템학회지:정보시스템연구
• /
• 제27권4호
• /
• pp.115-128
• /
• 2018

Purpose The purpose of this study is to predict future behaviors of business process. Specifically, this study tried to predict the last activities of process instances. It contributes to overcoming the limitations of existing approaches that they do not accurately reflect the actual behavior of business process and it requires a lot of effort and time every time they are applied to specific processes. Design/methodology/approach This study proposed a novel approach based using deep learning in the form of dynamic recurrent neural networks. To improve the accuracy of our prediction model based on the approach, we tried to adopt the latest techniques including new initialization functions(Xavier and He initializations). The proposed approach has been verified using real-life data of a domestic small and medium-sized business. Findings According to the experiment result, our approach achieves better prediction accuracy than the latest approach based on the static recurrent neural networks. It is also proved that much less effort and time are required to predict the behavior of business processes.

• 대한전자공학회논문지SP
• /
• 제40권1호
• /
• pp.139-147
• /
• 2003

동적 신경망은 신호예측과 같이 temporal 신호처리가 요구되는 여러 분야에 적용되어 왔다. 본 논문에서는 다층 리커런트 신경망(RNN)의 동특성을 향상시키기 위해 지역 궤환 신경망(LRNN)과 광역 궤환 신경망(CRNN)으로 구성된 합성 신경망을 제안하고, 적응필터로 제안된 신경망을 사용하여 비선형 적응예측을 다루고 있다. 합성 신경망은 LRNN으로 IIR-MLP와 CRNN으로 Elman RNN 신경망으로 구성되어 있다. 제안된 신경망은 비선형 신호예측을 통해 평가되었으며, 예측 성능의 상대적인 비교를 위해 Elman RNN과 IIR-MLP 신경망과 상호 비교하였다. 실험결과에 의하면 합성 신경망은 수렴속도과 정확도에서 더 우수한 성능을 보여줌으로써, 제안된 신경망이 기존의 다층 리커런트 신경망보다 비정적 신호에 대한 비선형 예측에 더 효과적인 예측모델임을 확인하였다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2000년도 춘계학술대회 학술발표 논문집
• /
• pp.245-248
• /
• 2000

본 논문에서는 강화 학습 개념을 도입하여 자율이동 로봇의 성능을 개선하고자 한다. 본 논문에서 사용되는 시스템은 크게 두 부분으로 나눌 수가 있다. 즉, 뉴럴 퍼지 부분과 동적귀환 신경회로망이다. 뉴럴 퍼지 부분은 로봇의 다음 행동을 결정하는 부분이다. 또한 동적귀환 신경회로망으로부터 내부 강화 신호를 받아 학습을 하여 최적의 행동을 결정하게 된다. 동적 귀환신경회로망은 환경으로부터 외부 강화신호를 입력으로 받아 뉴럴 퍼지의 행동결정에 대해 평가를 한다. 또한 내부강화 신호 값을 결정하는 동적 귀환 신경회로망의 웨이트는 유전자 알고리즘에 의해 진화를 한다. 제안한 알고리즘 구조를 컴퓨터 시뮬레이션상에서 자율 이동 로봇의 제어에 적용을 함으로서 그 유효성을 증명하고자 한다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2004년도 학술대회 논문집 정보 및 제어부문
• /
• pp.349-351
• /
• 2004

The classical dynamic backpropagation learning algorithm has the problems of learning speed and the determine of learning parameter. The Extend Kalman Filter(EKF) is used effectively for a state estimation method for a non linear dynamic system. This paper presents a learning algorithm using Dual Extended Kalman Filter(DEKF) for Fully Recurrent Neural Network(FRNN). This DEKF learning algorithm gives the minimum variance estimate of the weights and the hidden outputs. The proposed DEKF learning algorithm is applied to the system identification of a nonlinear SISO system and compared with dynamic backpropagation learning algorithm.