• Structural Engineering and Mechanics
• /
• 제90권2호
• /
• pp.189-208
• /
• 2024

Artificial intelligence is one of the efficient methods that can be developed to simulate nonlinear behavior and predict the response of building structures. In this regard, an adaptive method based on optimization algorithms is used to train the TSK model of the fuzzy inference system to estimate the seismic behavior of building structures based on analytical data. The optimization algorithm is implemented to determine the parameters of the TSK model based on the minimization of prediction error for the training data set. The adaptive training is designed on the feedback of the results of previous time steps, in which three training cases of 2, 5, and 10 previous time steps were used. The training data is collected from the results of nonlinear time history analysis under 100 ground motion records with different seismic properties. Also, 10 records were used to test the inference system. The performance of the proposed inference system is evaluated on two 3 and 20-story models of nonlinear steel moment frame. The results show that the inference system of the TSK model by combining the optimization method is an efficient computational method for predicting the response of nonlinear structures. Meanwhile, the multi-vers optimization (MVO) algorithm is more accurate in determining the optimal parameters of the TSK model. Also, the accuracy of the results increases significantly with increasing the number of previous steps.

• Smart Structures and Systems
• /
• 제33권1호
• /
• pp.65-91
• /
• 2024

The use of five optimization techniques for the prediction of a strength-based concrete mixture's best-fit model is examined in this work. Five optimization techniques are utilized for this purpose: Slime Mold Algorithm (SMA), Black Hole Algorithm (BHA), Multi-Verse Optimizer (MVO), Vortex Search (VS), and Whale Optimization Algorithm (WOA). MATLAB employs a hybrid learning strategy to train an artificial neural network that combines least square estimation with backpropagation. Thus, 72 samples are utilized as training datasets and 31 as testing datasets, totaling 103. The multi-layer perceptron (MLP) is used to analyze all data, and results are verified by comparison. For training datasets in the best-fit models of SMA-MLP, BHA-MLP, MVO-MLP, VS-MLP, and WOA-MLP, the statistical indices of coefficient of determination (R²) in training phase are 0.9603, 0.9679, 0.9827, 0.9841 and 0.9770, and in testing phase are 0.9567, 0.9552, 0.9594, 0.9888 and 0.9695 respectively. In addition, the best-fit structures for training for SMA, BHA, MVO, VS, and WOA (all combined with multilayer perceptron, MLP) are achieved when the term population size was modified to 450, 500, 250, 150, and 500, respectively. Among all the suggested options, VS could offer a stronger prediction network for training MLP.

• 정보처리학회논문지B
• /
• 제14B권5호
• /
• pp.377-382
• /
• 2007

본 논문에서는 방사 기저함수 네트워크의 파라미터를 전 영역에서 최적화하는 학습 알고리즘을 제안한다. 기존의 학습 알고리즘들은 지역 최적화만을 수행하기 때문에 성능의 한계가 있고 최종 결과가 초기 네트워크 파라미터 값에 크게 의존하는 단점이 있다. 본 논문에서 제안하는 하이브리드 모의 담금질 기법은 모의 담금질 기법의 전 영역 탐색 능력과 경사 기반 학습 알고리즘의 지역 최적화 능력을 조합하여 전 파라미터 영역에서 해를 찾을 수 있도록 한다. 제안하는 기법을 함수 근사화 문제에 적용하여 기존의 학습 알고리즘에 비해 더 좋은 학습 및 일반화 성능을 보이는 네트워크 파라미터를 찾을 수 있으며, 초기 파라미터 값의 영향을 크게 줄일 수 있음을 보인다.

• 전자공학회논문지B
• /
• 제31B권4호
• /
• pp.145-154
• /
• 1994

This paper proposes an efficient method for improving the training performance of the neural network by using a hybrid of a stochastic approximation and a backpropagation algorithm. The proposed method improves the performance of the training by appliying a global optimization method which is a hybrid of a stochastic approximation and a backpropagation algorithm. The approximate initial point for a stochastic approximation and a backpropagation algorihtm. The approximate initial point for fast global optimization is estimated first by applying the stochastic approximation, and then the backpropagation algorithm, which is the fast gradient descent method, is applied for a high speed global optimization. And further speed-up of training is made possible by adjusting the training parameters of each of the output and the hidden layer adaptively to the standard deviation of the neuron output of each layer. The proposed method has been applied to the parity checking and the pattern classification, and the simulation results show that the performance of the proposed method is superior to that of the backpropagation, the Baba's MROM, and the Sun's method with randomized initial point settings. The results of adaptive adjusting of the training parameters show that the proposed method further improves the convergence speed about 20% in training.

• 말소리와 음성과학
• /
• 제8권2호
• /
• pp.23-30
• /
• 2016

This paper describes some implementation schemes of CNN in view of mini-batch DNN training for efficient second order optimization. This uses same procedure updating parameters of DNN to train parameters of CNN by simply arranging an input image as a sequence of local patches, which is actually equivalent with mini-batch DNN training. Through this conversion, second order optimization providing higher performance can be simply conducted to train the parameters of CNN. In both results of image recognition on MNIST DB and syllable automatic speech recognition, our proposed scheme for CNN implementation shows better performance than one based on DNN.

• 정보처리학회논문지B
• /
• 제14B권7호
• /
• pp.523-530
• /
• 2007

본 논문에서는 자동 독순(automatic lipreading)의 인식기로 쓰이는 은닉 마르코프 모델(HMM: hidden Markov model)의 새로운 확률적 최적화 기법을 제안한다. 제안하는 기법은 전역 최적화가 가능한 확률적 기법인 모의 담금질과 지역 최적화 기법을 결합하는 것으로써, 알고리즘의 빠른 수렴과 좋은 해로의 수렴을 가능하게 한다. 제안하는 알고리즘이 전역 최적해로 수렴함을 수학적으로 보인다. 제안하는 기법을 통해 HMM을 학습함으로써 기존의 알고리즘이 지역해만을 찾는 단점을 개선함으로써 향상된 독순 성능을 나타냄을 실험으로 보인다.

• 실천공학교육논문지
• /
• 제13권2호
• /
• pp.233-242
• /
• 2021

본 논문에서는 비전공자들을 위한 교양과정으로, 기초 인공신경망 과목 커리큘럼을 설계하기 위해, 지도학습 인공신경망 매개변수 최적화 방법과 활성화함수에 대한 기초 교육 방법을 제안하였다. 이를 위해, 프로그래밍 없이, 매개 변수 최적화 해를 스프레드시트로 찾는 방법을 적용하였다. 본 교육 방법을 통해, 인공신경망 동작 및 구현의 기초 원리 교육에 집중할 수 있다. 그리고, 스프레드시트의 시각화된 데이터를 통해 비전공자들의 관심과 교육 효과를 높일 수 있다. 제안한 내용은 인공뉴런과 Sigmoid, ReLU 활성화 함수, 지도학습데이터의 생성, 지도학습 인공신경망 구성과 매개변수 최적화, 스프레드시트를 이용한 지도학습 인공신경망 구현 및 성능 분석 그리고 교육 만족도 분석으로 구성되었다. 본 논문에서는 Sigmoid 뉴런 인공신경망과 ReLU 뉴런 인공신경망에 대해 음수허용 매개변수 최적화를 고려하여, 인공신경망 매개변수 최적화에 대한 네가지 성능분석결과를 교육하는 방법을 제안하고 교육 만족도 분석을 실시하였다.

• 정보처리학회논문지B
• /
• 제15B권1호
• /
• pp.53-60
• /
• 2008

본 논문은 입술의 움직임을 통해 음성을 인식하는 자동 독순의 인식 성능 향상을 위해 인식기로 사용되는 은닉 마르코프 모델을 분별적으로 학습하는 기법을 제안한다. 기존에 많이 사용되는 Baum-Welch 알고리즘에서는 각 모델이 해당 클래스 데이터의 확률을 최대화하는 것을 목표로 학습시키는 반면, 제안하는 알고리즘에서는 클래스간의 분별력을 높이기 위해 두 가지의 최소화 목적함수로 이루어진 새로운 학습 목표를 정의하고 이를 달성하기 위해 모의 담금질 기법에 기반을 둔 다목적함수 전역 최적화 기법을 개발한다. 화자종속 인식 실험을 통해 제안하는 기법의 성능을 평가하며, 실험결과 기존의 학습 방법에 비해 오인식율을 상대적으로 약 8% 감소시킬 수 있음을 보인다.

• 한국생산제조학회지
• /
• 제18권4호
• /
• pp.430-435
• /
• 2009

The cooling stage greatly affects the product quality in the injection molding process. The cooling system that minimizes temperature variance in the product surface will improve the quality and the productivity of products. The cooling circuit optimization problem that was once solved by a response surface method with 4 design variables. It took too much time for the optimization as an industrial design tool. It is desirable to reduce the optimization time. Therefore, we tried the back-propagation algorithm of artificial neural network(BPN) to find an optimum solution in the cooling circuit design in this research. We tried various ways to select training points for the BPN. The same optimum solution was obtained by applying the BPN with reduced number of training points by the fractional factorial design.

• 음성과학
• /
• 제14권1호
• /
• pp.163-174
• /
• 2007

All observation has uncertainty due to noise or channel characteristics. This uncertainty should be counted in the modeling of observation. In this paper we propose a modified optimization object function of a GMM training considering inexact observation. The object function is modified by introducing the concept of observation confidence as a weighting factor of probabilities. The optimization of the proposed criterion is solved using a common EM algorithm. To verify the proposed method we apply it to the speaker recognition domain. The experimental results of text-independent speaker identification with VidTimit DB show that the error rate is reduced from 14.8% to 11.7% by the modified GMM training.