• 한국정보처리학회논문지
• /
• 제4권2호
• /
• pp.401-408
• /
• 1997

인간이 지식을 얻는 대부분의 수단은, 눈으로 사물을 보거나 귀로 소리를 들어 입력되는 패턴.영상또는 소리.을 인식하고 그것을 지식으로 축적하는 연속적인 과정이다. 그중 문자인식은 시각정보를 통하여 문제를 인식하고 나아가 의미를 이해하는 인간의 능력을 컴퓨터로 실현하려는 패턴인식의 한분야로서 신경망을 사용한 패턴인식 시스템으로 발전되고 있다. 신경망의 학습에 있어서를 출력값을 재사용하는 신경망모델로는, 순환신경망( Recurrent Neural Netwrek)이 있다. 최근 들어서 이러한 순환신경망을 오프라인 필기체 문자와 같은 정적인 패턴의 분류에 적용하려는 연구가 많이 진행되고 있다. 그러나 이러한 방법들의 대부분든 오프라인 필기체문자와 같은 정적인 패턴의 분류에 있어서는 효과적으로 적용되지 않는다. 이에 본 연구에서는 오프라인 필기체문자와 같은 정적인 패턴을 효과적으로 분르하기 위한 새로운 형태의 순환신경망을 제안한다.본논문에서는 Jordan과 Elman Model 을 확정 결합한 새로운 J-E(Jordan-Elman) 신경망 모델을 사용하여 숫자 및 필기체 문자와 같은 정적인 패턴의 인식에서 기존의 신명망보다 성능이 향상되었음을 보여 준다.

• 한국음향학회지
• /
• 제18권3호
• /
• pp.62-67
• /
• 1999

본 논문은 회귀신경망을 이용한 음성인식에 관한 연구이다. 예측형 신경망으로 음절단위로 모델링한 후 미지의 입력음성에 대하여 예측오차가 최소가 되는 모델을 인식결과로 한다. 이를 위해서 예측형으로 구성된 신경망에 음성의 시변성을 신경망 내부에 흡수시키기 위해서 회귀구조의 동적인 신경망인 회귀예측신경망을 구성하고 Elman과 Jordan이 제안한 회귀구조에 따라 인식성능을 서로 비교하였다. 음성DB는 ETRI의 샘돌이 음성 데이터를 사용하였다. 그리고, 신경망의 최적모델을 구하기 위하여 예측차수와 은닉층 유니트 수의 변화에 따른 인식률의 변화와 문맥층에서 자기회귀계수를 두어 이전의 값들이 문맥층에서 누적되도록 하였을 경우에 대한 인식률의 변화를 비교하였다. 실험결과, 최적의 예측차수, 은닉층 유니트수, 자기회귀계수는 신경망의 구조에 따라 차이가 나타났으며, 전반적으로 Jordan망이 Elman망보다 인식률이 높았으며, 자기회귀계수에 대한 영향은 신경망의 구조와 계수값에 따라 불규칙하게 나타났다.

• 한국컴퓨터정보학회논문지
• /
• 제1권1호
• /
• pp.129-138
• /
• 1996

산업발전과 기술의 대형화. 고도화 등으로 인하여 매년 방대한 양리 정보가 처리되고 있다 정보화를 이루기 위해서는 대부분 종이로 기록뇌어 내려오던 정보를 컴퓨터에 저장하여 적기적소에 사용할 수 있어야 한다. 문자인식을 위한 신경망의 학습에 있어서 출력 값을 재사용하는 신경망모델로는 순환신경망이 있다. 그러나 이러한 방법들의 대부분은 오프라인 필기체문자와 같은 정적인 패턴의 분류에 있어서는 효과적으로 적락되지 않는다. 이에 본 연구에서는 오프라인 필기체문자와 같은 정적인 패턴을 효과적으로 분류하기 위한 새로운 형태의 순환신경망을 제안한다. 본 논문은 Jordan과 Elman Model을 확장 결합한 새로운 J-도(Jordan-Elman) 신경망 모델을 사용하여 숫자 및 필기체 문자와 같은 정적인 패턴의 인식에서 기존의 신경망보다 성능이 향상되었음을 보여준다.

• Journal of Electrical Engineering and information Science
• /
• 제1권1호
• /
• pp.108-117
• /
• 1996

In this paper, we propose a new type of recurrent neural network architecture in which each output unit is connected with itself and fully-connected with other output units and all hidden units. The proposed recurrent network differs from Jordan's and Elman's recurrent networks in view of functions and architectures because it was originally extended from the multilayer feedforward neural network for improving the discrimination and generalization power. We also prove the convergence property of learning algorithm of the proposed recurrent neural network and analyze the performance of the proposed recurrent neural network by performing recognition experiments with the totally unconstrained handwritten numeral database of Concordia University of Canada. Experimental results confirmed that the proposed recurrent neural network improves the discrimination and generalization power in recognizing spatial patterns.

• 한국음향학회지
• /
• 제20권8호
• /
• pp.12-18
• /
• 2001

본문에서는 예측형 회귀신경망과 HMM (Hidden Markov Model)의 하이브리드 네트워크인 회귀신경망 예측 HMM을 구성하였다. 회귀신경망 예측 HMM은 예측형 회귀신경망을 HMM의 각 상태마다 예측기로 정의하여 일정치인 평균벡터 대신에 과거의 특징벡터의 영향을 받아 동적으로 변화하는 신경 망에 의한 예측치를 이용하므로 학습패턴 설정자체가 시변성을 반영하는 동적 네트워크의 특성을 가진다. 따라서 음성과 같은 시계열 패턴의 인식에 유리하다. 회귀신경망 예측 HMM은 예측형 회귀신경망의 구조에 따라 Elman망 예측 HMM과 Jordan망 예측 HMM으로 구분하였다. 실험에서는 회귀신경망 예측 HMM의 상태수를 4, 5, 6으로 증가시켜 각 상태 수별로 예측차수 및 중간층 유니트 수의 변화에 따른 인식성능을 조사하였다. 실험결과 평가용 데이터에 대하여 Elman망 예측 HMM은 상태수가 6이고, 예측차수가 3차, 중간층 유니트의 수가 15차원일 때, Jordan망 예측 HMM의 경우 상태수가 5이고, 예측차수가 3차, 중간층 유니트의 수가 10차원일 때 각각 98.5%로 우수한 결과를 얻었다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2003년도 하계종합학술대회 논문집 Ⅲ
• /
• pp.1565-1568
• /
• 2003

In this paper, we propose modular network to solve difficult and complex problems that are seldom solved with multi-layer neural network. The structure of modular neural network in researched by Jacobs and Jordan is selected in this paper. Modular network consists of several expert networks and a gating network which is composed of single-layer neural network or multi-layer neural network. We propose modular network structure using recurrent neural network, since the state of the whole network at a particular time depends on an aggregate of previous states as well as on the current input. Finally, we show excellence of the proposed network compared with modular network.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2003년도 ISIS 2003
• /
• pp.694-697
• /
• 2003

In this paper, we propose modular network to solve difficult and complex problems that are seldom solved with Multi-Layer Neural Network(MLNN). The structure of Modular Neural Network(MNN) in researched by Jacobs and jordan is selected in this paper. Modular network consists of several Expert Networks(EN) and a Gating Network(CN) which is composed of single-layer neural network(SLNN) or multi-layer neural network. We propose modular network structure using Recurrent Neural Network(RNN), since the state of the whole network at a particular time depends on aggregate of previous states as well as on the current input. Finally, we show excellence of the proposed network compared with modular network.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2001년도 ICCAS
• /
• pp.43.1-43
• /
• 2001

We propose two control methods of the Lyapunov exponents for Jordan-type recurrent neural networks. Both the two methods are formulated by a gradient-based learning method. The first method is derived strictly from the definition of the Lyapunov exponents that are represented by the state transition of the recurrent networks. The first method can control the complete set of the exponents, called the Lyapunov spectrum, however, it is computationally expensive because of its inherent recursive way to calculate the changes of the network parameters. Also this recursive calculation causes an unstable control when, at least, one of the exponents is positive, such as the largest Lyapunov exponent in the recurrent networks with chaotic dynamics. To improve stability in the chaotic situation, we propose a non recursive formulation by approximating ...

• 한국지능시스템학회논문지
• /
• 제14권1호
• /
• pp.9-14
• /
• 2004

감정은 지능을 지닌 존재의 이성판단에 영향을 준다. 그래서 주변 환경정보에 의해 평가된 기본적이고 보편적인 감정을 로봇에 가미하면 더욱 인간과 가까운 지능 로봇이 될 것이다. 그러나 인간의 감정을 학습하기 위해서는 다양한 감각정보의 학습과 패턴 분류가 선행되어야 하고 이를 위해서 적합한 네트워크 구조가 요구된다. 신경망은 시스템의 특징을 추출하는데 매우 우수한 능력을 발휘하고 있다. 그러나 임시적 혼선현상과 지역 최소치에 수렴하는 단점이 있다. 그래서 복잡한 문제를 단순한 여러 개의 부분적인 문제로 나누어 해결하는 모듈라 설계방법이 관심의 대상이 되고 있다. 본 논문에서는 수많은 감정평가와 학습 데이터 패턴들을 학습하기 위해서 재결합과 재구성에 탁월한 성능을 지닌 Jacobs와 Jordan이 제안한 모듈라 네트워크와 상황의 재 표현이 가능하고 예측값과 모델링에 적합한 특징을 지닌 궤환 신경망을 결합하였다. 구성된 구조는 기존의 모듈라 네트워크의 학습결과와 비교 검토하였다.

• 한국통신학회논문지
• /
• 제25권3B호
• /
• pp.565-569
• /
• 2000

We compose the two-stage recurrent neural network that returns both signals of a hidden and an output layer to the hidden layer. It is tested on the basis of syllables for Korean spoken digit from /gong/to /gu. For these experiments, we adjust the neuron number of the hidden layer, the predictive order of input data and self-recurrent coefficient of the decision state layer. By the experimental results, the recognition rate of this neural network is between 91% and 97.5% in the speaker-dependent case and between 80.75% and 92% in the speaker-independent case. In the speaker-dependent case, this network shows an equivalent recognition performance to Jordan and Elman network but in the speaker-independent case, it does improved performance.