• 전자공학회논문지C
• /
• 제35C권2호
• /
• pp.56-64
• /
• 1998

Multi-layered perceptrons that are a nonlinear neural network model, have been widely used for various applications mainly thanks to good function approximation capability for nonlinear fuctions. However, for digital hardware implementation of the multi-layere perceptrons, the quantization scheme using "look-up tables (LUTs)" is commonly employed to handle nonlinear signmoid activation functions in the neworks, and thus requires large amount of storage to prevent unacceptable quantization errors. This paper is concerned with a new effective methodology for digital hardware implementation of multi-layered perceptrons, and proposes a "piecewise affine approximation" method in which input domain is divided into (small number of) sub-intervals and nonlinear sigmoid function is linearly approximated within each sub-interval. Using the proposed method, we develop an expression and an error backpropagation type learning algorithm for a multi-layered perceptron, and compare the performance with the quantization method through Monte Carlo simulations on XOR problems. Simulation results show that, in terms of learning convergece, the proposed method with a small number of sub-intervals significantly outperforms the quantization method with a very large storage requirement. We expect from these results that the proposed method can be utilized in digital system implementation to significantly reduce the storage requirement, quantization error, and learning time of the quantization method.quantization method.

• 센서학회지
• /
• 제8권1호
• /
• pp.45-52
• /
• 1999

이 논문에서는 오차 역전파 학습 알고리듬의 학습 속도를 향상시키기 위한 새로운 학습 방법을 제안한다. 제안하고자 하는 방법은 시그모이드 형태를 갖는 신경회로망의 활성화 함수(activation function) 자체에 고차항(higher order)을 적절히 이용하여 초기 학습 단계에서 발생할 수 있는 조기 포화(premature saturation) 현상을 계산량의 큰 증가 없이 효과적으로 대처할 수 있다. 고차항을 이용함으로써 은닉층 활성화 함수의 도합수가 작은 값으로 감소함에 따라 신경망의 연결 강도를 학습시키는 학습율은 적응적으로 큰 값을 갖게 된다. 또한, 은닉층에 고차항을 이용하는 제안한 방법에 모멘텀(momentum) 학습 알고리듬을 결합하는 새로운 hybrid 학습 방법을 제안한다. 컴퓨터 모의 실험을 통해 제안하고자 하는 학습 방법과 기존의 방법들과의 학습 속도 성능을 비교한다.

• 방송공학회논문지
• /
• 제22권2호
• /
• pp.162-172
• /
• 2017

본 논문에서는 딥러닝 기술 중의 하나인 CNN(Convolutional Neural Network)을 이용한 얼굴 표정 인식 기법을 제안한다. 기존의 얼굴 표정 데이터베이스의 단점을 보완하고자 질 좋은 다양한 데이터베이스를 이용한다. 제안한 기법에서는 '무표정', '행복', '슬픔', '화남', '놀람', 그리고 '역겨움' 등의 여섯 가지 얼굴 표정 data-set을 구축한다. 효율적인 학습 및 분류 성능을 향상시키기 위해서 전처리 및 데이터 증대 기법(data augmentation)도 적용한다. 기존의 CNN 구조에서 convolutional layer의 특징지도의 수와 fully-connected layer의 node의 수를 조정하면서 여섯 가지 얼굴 표정의 특징을 가장 잘 표현하는 최적의 CNN 구조를 찾는다. 실험 결과 제안하는 구조가 다른 모델에 비해 CNN 구조를 통과하는 시간이 가장 적게 걸리면서도 96.88%의 가장 높은 분류 성능을 보이는 것을 확인하였다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 1997년도 하계학술대회 논문집 B
• /
• pp.394-396
• /
• 1997

This paper describes RBF network controller based on fuzzy control rules for intelligent control of nonlinear systems. The proposed scheme is derived from the functional equivalence between RBF networks and fuzzy inference systems. The design procedure of the proposed scheme is realized by first transforming the fuzzy control rules into the parameters of RBF networks. The optimized RBF network controller is then performed through the gradient descent learning mechanism to an error function. The proposed method is rigorously tested using a nonlinear and unstable nonlinear system. Simulation is performed to demonstrate the feasibility and effectiveness of the proposed scheme.

• 한국지능시스템학회논문지
• /
• 제8권3호
• /
• pp.9-15
• /
• 1998

본 논문은 뉴로제어 및 반복학습 제어기법에 기반한 미지의 비선형시스템의 적응학습제어 방법을 제안한다. 제안된 제어 시스템에서 반복학습제어기는 새로운 기준 궤적에 대해 시스템의 출력이 원하는 궤적으로 정확히 수렴하도록 하는 적응과 단기간 제어정보를 기억하는 기능을 수행한다. 상대차수만 알고 있는 미지 시스템에 대한 박복학습 법칙이 학습이득은 신경회로망을 이용하여 추정된다. 반복학습제어기에 의해 습득된 제어정보는 장기메모리에 기반한 앞먹임 뉴로제어기로 이전되어 누적기억됨으로써 과거에 겸험된 기준 궤적에 대해서는 신속하게 추종할 수 있도록 한다. 2자유도 매니퓰레이터에 적용하여 제안된 기법의 타당성을 검증한다.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 1994년도 Proceedings of the Korea Automatic Control Conference, 9th (KACC) ; Taejeon, Korea; 17-20 Oct. 1994
• /
• pp.243-246
• /
• 1994

In this paper, a self-learning fuzzy controller is designed with a fuzzy approximation of an inverse model. The aim of an identification is to find an input command which is control of a system output. It is intuitional and easy to use a classical adaptive inverse modeling method for the identification, but it is difficult and complex to implement it. This problem can be solved with a fuzzy approximation of an inverse modeling. The fuzzy logic effectively represents the complex phenomena of the real world. Also fuzzy system could be represented by the neural network that is useful for a learning structure. The rule of a fuzzy inverse model is modified by the gradient descent method. The goal is to be obtained that makes the design of fuzzy controller less complex, and then this self-learning fuzz controller can be used for nonlinear dynamic system. We have applied this scheme to a nonlinear Ball and Beam system.

• 한국멀티미디어학회논문지
• /
• 제25권8호
• /
• pp.1049-1058
• /
• 2022

HAR(Human Action Recognition) such as anomaly and object detection has become a trend in research field(s) that focus on utilizing Artificial Intelligence (AI) methods to analyze patterns of human action in crime-ridden area(s), media services, and industrial facilities. Especially, in real-time system(s) using video streaming data, HAR has become a more important AI-based research field in application development and many different research fields using HAR have currently been developed and improved. In this paper, we propose and analyze a deep-learning-based HAR that provides more efficient scheme(s) using an intelligent AI models, such system can be applied to media services using RGB video streaming data usage without feature extraction pre-processing. For the method, we adopt Slowfast based on the Deep Neural Network(DNN) model under an open dataset(HMDB-51 or UCF101) for improvement in prediction accuracy.

• 한국통신학회논문지
• /
• 제42권2호
• /
• pp.366-373
• /
• 2017

본 논문은 그로스버그(Grossberg)에 의해 개발된 퍼지 ART 신경 회로망의 성능을 향상시키기 위하여 가변가중 평균(VWA) 학습 방법을 제안한다. 기존의 방법인 고속수용저속부호화(FCSR)는 입력패턴이 임의의 카테고리 내에 포함될 때 카테고리를 대표하는 대표패턴의 갱신이 입력패턴과의 거리(유사성)와 관계없이 고정 학습률로 갱신되고, 또한 이를 개선한 가변학습(VL)은 대표패턴과 입력패턴 사이의 거리를 대표패턴의 갱신에 반영하여 카테고리 증식 문제와 패턴 인식률을 개선한다. 그러나 두 방법 모두 학습 시 퍼지 AND에 의한 과도한 학습이 필수적으로 발생하여 카테고리 증식 문제와 패턴 인식 향상에 한계를 갖는다. 제안된 방법은 카테고리를 대표하는 대표패턴의 갱신 시 대표패턴과 입력패턴 사이의 거리를 반영한 가중평균 학습을 적용하여 대표패턴의 과도한 학습을 억제한다. 시뮬레이션 결과 기존의 학습 방법인 고속수용저속부호화(FCSR)와 가변학습(VL) 보다 제안된 가변가중평균(VWA) 학습 방법이 잡음 환경에서 대표패턴의 과도한 학습을 억제하여 퍼지 ART 신경 회로망의 카테고리 증식문제를 완화하고 패턴 인식률을 향상시키는 것을 보여준다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2000년도 춘계학술대회 학술발표 논문집
• /
• pp.118-121
• /
• 2000

본 논문에서는 FNNs(feedforwad neural networks)구현을 위한 새로운 학습 방안을 제안하였다. 제안된 방식은 온 칩 학습이 가능하도록 FNNs와 학습회로 사이에 스위칭 회로를 추가하여 단일패턴과 다중패턴 학습이 가능하도록 구현하였다. 학습 회로는 MEBP(modified error back-propagation) 학습 규칙을 적용하였고 간단한 비선형 시냅스 회로를 이용하여 구현하였다. 제안된 방식은 표준 CMOS 공정으로 구현되었고, MOSIS AMI $1.5\mu\textrm{m}$공정 HSPICE 파라메터를 이용하여 그 동작을 검증하였다. 제안된 학습방안 및 비선형 회로는 향후 학습 기능을 가진 대규모의 FNNs 구현에 매우 적합하리라 예상된다.

• Journal of Electrical Engineering and Technology
• /
• 제5권4호
• /
• pp.552-560
• /
• 2010

This paper presents an application of layered Artificial Neural Network controller to study load frequency control problem in power system. The objective of control scheme guarantees that steady state error of frequencies and inadvertent interchange of tie-lines are maintained in a given tolerance limitation. The proposed controller has been designed for a two-area interconnected power system. Only one artificial neural network controller (ANN), which controls the inputs of each area in the power system together, is considered. In this study, back propagation-through time algorithm is used as neural network learning rule. The performance of the power system is simulated by using conventional integral controller and ANN controller, separately. For the first time comparative study has been carried out between SMES and CES unit, all of the areas are included with SMES and CES unit separately. By comparing the results for both cases, the performance of ANN controller with CES unit is found to be better than conventional controllers with SMES, CES and ANN with SMES.