• The Transactions of the Korea Information Processing Society
• /
• v.4 no.11
• /
• pp.2769-2779
• /
• 1997

This Paper Proposes an efficient method for improving the training performance of the neural networks using a hybrid of conjugate gradient backpropagation algorithm and dynamic tunneling backpropagation algorithm The conjugate gradient backpropagation algorithm, which is the fast gradient algorithm, is applied for high speed optimization. The dynamic tunneling backpropagation algorithm, which is the deterministic method with tunneling phenomenon, is applied for global optimization. Conversing to the local minima by using the conjugate gradient backpropagation algorithm, the new initial point for escaping the local minima is estimated by dynamic tunneling backpropagation algorithm. The proposed method has been applied to the parity check and the pattern classification. The simulation results show that the performance of proposed method is superior to those of gradient descent backpropagtion algorithm and a hybrid of gradient descent and dynamic tunneling backpropagation algorithm, and the new algorithm converges more often to the global minima than gradient descent backpropagation algorithm.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.12 no.3
• /
• pp.75-81
• /
• 2012

With the advance of internet technology and fast growing of data volume, it become very hard to find a demanding information from the huge amount of data. Recommender system can solve the delema by helping a user to find required information. This paper proposes a reinforcement learning based hybrid recommendation system to predict user's preference. The hybrid recommendation system combines the content based filtering and collaborate filtering, and the system was tested using 2000 images. We used mean abstract error(MAE) to compare the performance of the collaborative filtering, the content based filtering, the naive hybrid filtering, and the reinforcement learning algorithm based hybrid filtering methods. The experiment result shows that the performance of the proposed hybrid filtering performance based on reinforcement learning is superior to other methods.

• Journal of Advanced Marine Engineering and Technology
• /
• v.26 no.6
• /
• pp.705-711
• /
• 2002

디젤기관은 실린더 내경의 크기, 실린더 수 및 회전수에 따라 착화지연, 연소지연 및 디젤기관의 각종 정수가 달라지므로 비선형이 심한 시스템이다. 본 연구에서는 신경회로망을 이용하여 발전기를 구동하는 디젤 기관의 속도를 제어하는 디젤기관 신경회로망 디지털조속기를 제안한다. 이를 위하여 3상 50㎾ 발전기를 구동하는 4행정 4실린더, 1800 rpm ISUTSU 디젤기관의 실제 운전데이터로부터 뉴럴에뮬레이터를 구한다. 최적치 뉴럴에뮬레이터 구성을 위하여 다양한 역전파알고리즘으로 학습을 행하고 결과를 비교한다. 또한 디젤기관의 역으로부터 뉴럴 제어기를 구성하고 뉴럴에뮬레이터로 시뮬레이션을 행한다. 외란이 존재하는 경우에도 효과적인 뉴럴제어기를 구성하기 위하여 선택적 뉴럴제어 기의 사용을 제안한다. 또한 응답성을 향상하고 정확한 목표치추종을 위하여 PI제어기를 보조제어기로 사용하는 하이브리드제어기를 구성하여 시뮬레이션을 통하여 성능이 향상됨을 보인다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2022.05a
• /
• pp.307-307
• /
• 2022

최근 기후변화와 댐 상류 토지이용 변화 등과 같은 다양한 원인에 의해 댐 유입량의 변동성이 증가하면서 댐 관리 및 운영조작 의사 결정에 어려움이 발생하고 있다. 따라서 이러한 댐 유입량의 변동 특성을 반영하여 댐 유입량을 정확하고 효율적으로 예측할 수 있는 방안이 필요한 실정이다. 머신러닝 기술이 발전하면서 Auto-ML(Automated Machine Learning)이 다양한 분야에서 활용되고 있다. Auto-ML은 데이터 전처리, 최적 알고리즘 선택, 하이퍼파라미터 튜닝, 모델 학습 및 평가 등의 모든 과정을 자동화하는 기술이다. 그러나 아직까지 수문 분야에서 댐 유입량을 예측하기 위한 모델을 개발하는데 있어서 Auto-ML을 활용한 사례는 부족하고, 특히 댐 유입량의 예측 정확성을 확보하기 위해 High-inflow and low-inflow 의 변동 특성을 고려한 하이브리드 결합 방식을 통해 Auto-ML 기반 앙상블 모델을 개발하고 평가한 연구는 없다. 본 연구에서는 Auto-ML의 패키지 중 Auto-sklearn을 통해 홍수기, 비홍수기 유입량 변동 특성을 반영한 하이브리드 앙상블 댐 유입량 예측 모델을 개발하였다. 소양강댐을 대상으로 적용한 결과, 하이브리드 Auto-sklearn 앙상블 모델의 댐 유입량 예측 성능은 R² 0.868, RMSE 66.23 m³/s, MAE 16.45 m³/s로 단일 Auto-sklearn을 통해 구축 된 앙상블 모델보다 전반적으로 우수한 것으로 나타났다. 특히 FDC (Flow Duration Curve)의 저수기, 갈수기 구간에서 두 모델의 유입량 예측 경향은 큰 차이를 보였으며, 하이브리드 Auto-sklearn 모델의 예측 값이 관측 값과 더욱 유사한 것으로 나타났다. 이는 홍수기, 비홍수기 구간에 대한 앙상블 모델이 독립적으로 구축되는 과정에서 각 모델에 대한 하이퍼파라미터가 최적화되었기 때문이라 판단된다. 향후 본 연구의 방법론은 보다 정확한 댐 유입량 예측 자료를 생성하기 위한 방안 수립뿐만 아니라 다양한 분야의 불균형한 데이터셋을 이용한 앙상블 모델을 구축하는데도 유용하게 활용될 수 있을 것으로 사료된다.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2004.04a
• /
• pp.321-324
• /
• 2004

본 논문에서는 유도전동기 고장진단을 위하여 계층적인 하이브리드 뉴럴네트웍을 제안하였다. 시스템의 입출력 데이터에 근거하여 패턴을 분류하고자 할 때 직접적인 분류가 어렵거나 성능이 좋지 않을 경우 적절한 방법을 통하여 변환을 하거나 또는 패턴 분류기의 특성에 맞도록 변환하여 패턴 분류 성능을 향상하는 등 단계별 변환 및 분류 기법을 이용하였다. 제안된 방법에서는 실험에 의해 측정된 전류값을 주기별로 주성분분석(PCA) 기법을 이용하여 입력차원을 축소한 후 이를 조건부 FCM으로 방사기저함수의 초기치를 최적화하여 학습을 하였다. 이는 주성분분석이 가지는 특성을 이용하여 데이터의 특징을 나누었으며 이를 뉴럴네트웍의 학습 기능을 이용하여 모델의 최종 성능을 개선하는 것이다. 각각의 알고리즘이 가지는 특징을 활용하면서도 단점을 계층적으로 보안하여 유도 전동기 고장 진단 성능을 개선하였다. 이를 실제 계측된 유도전동기 데이터를 이용하여 제안된 방법의 유용성을 보이고자 한다.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2002.05a
• /
• pp.170-173
• /
• 2002

본 논문에서는 여러 분야에서 널리 응용되고 있는 적응 뉴로-퍼지 시스템(ANFIS)에서의 효과적인 퍼지 규칙 생성방법을 제안한다. ANFIS의 성능 개선을 위해 구조동정을 수행함에 있어서 전제부 파라미터는 EM(Expectation-Maximization) 알고리즘을 적용하였으며, 파라미터학습은 Jang에 의한 하이브리드 방법을 적용한다. 여기서 초기의 중심과 분산을 구하기 위해 FCM(Fuzzy c-means) 클러스터링 기법을 사용하였다. 이렇게 함으로서 적은 규칙 수를 가지면서도 효율적인 퍼지 규칙을 얻을 수 있도록 하였다. 이들 방법의 유용함을 보이고자 Box-Jenkins의 가스로 데이터에 적용하여 제안된 방법이 이전의 연구보다 좋은 결과를 보임을 보이고자 한다

• The Journal of the Acoustical Society of Korea
• /
• v.41 no.3
• /
• pp.335-341
• /
• 2022

In this paper, we adopt a transformer that shows remarkable performance in natural language processing as an acoustic model of hybrid speech recognition. The transformer acoustic model uses attention structures to process sequential data and shows high performance with low computational cost. This paper proposes a method to improve the performance of transformer AM by applying each of the four algorithms of sequence discriminative training, a weighted finite-state transducer (wFST)-based learning used in the existing DNN-HMM model. In addition, compared to the Cross Entropy (CE) learning method, sequence discriminative method shows 5 % of the relative Word Error Rate (WER).

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.11 no.4
• /
• pp.91-97
• /
• 2011

In this paper we present an approach to the structure identification based on genetic algorithm and to the parameter identification by hybrid learning method in neuro-fuzzy-genetic hybrid system in order to predicate the Mackey-Glass Chaotic time series. In this scheme the basic idea consists of two steps. One is the construction of a fuzzy rule base for the partitioned input space via genetic algorithm, the other is the corresponding parameters of the fuzzy control rules adapted by the backpropagation algorithm. In an attempt to test the performance the proposed system, three patterns, x(t-3), x(t-6) and x(t-9), was prepared according to time interval. It was through lots of simulation proved that the initial small error of learning owed to the good structural identification via genetic algorithm. The performance was showed in Table 2.

• Proceedings of the Korean Society for Noise and Vibration Engineering Conference
• /
• 2011.04a
• /
• pp.224-229
• /
• 2011

In this paper, in order to improve safety of hybrid electric vehicle a fault detection algorithm is introduced. The proposed algorithm uses SVDD techniques. Two methods for learning a lot of data are used in this technique. One method is to learn the data incrementally. Another method is to remove the data that does not affect the next learning. Using lines connecting support vectors selection of removing data is made. Using this method, lot of computation time and storage can be saved while learning many data. A battery data of commercial hybrid electrical vehicle is used in this study. In the study fault boundary via SVDD is described and relevant algorithm for virtual fault data is verified. It takes some time to generate fault boundary, nevertheless once the boundary is given, fault diagnosis can be conducted in real time basis.

• Journal of the Institute of Convergence Signal Processing
• /
• v.8 no.3
• /
• pp.185-191
• /
• 2007

Remote sensing images are multispectral image data collected from several band divided by wavelength ranges. The classification of remote sensing images is the method of classifying what has similar spectral characteristics together among each pixel composing an image as the important algorithm in this field. This paper presents a pattern classification method of remote sensing images by applying a possibilistic fuzzy c-means (PFCM) algorithm. The PFCM algorithm is a hybridization of a FCM algorithm, which adopts membership degree depending on the distance between data and the center of a certain cluster, combined with a PCM algorithm, which considers class typicality of the pattern sets. In this proposed method, we select the training data for each class and perform supervised classification using the PFCM algorithm with spectral signatures of the training data. The application of the PFCM algorithm is tested and verified by using Landsat TM and IKONOS remote sensing satellite images. As a result, the overall accuracy showed a better results than the FCM, PCM algorithm or conventional maximum likelihood classification(MLC) algorithm.