• 제목/요약/키워드: Hybrid learning algorithm

검색결과 225건 처리시간 0.02초

연관규칙과 퍼지 인공신경망에 기반한 하이브리드 데이터마이닝 메커니즘에 관한 연구 (A Study on the Hybrid Data Mining Mechanism Based on Association Rules and Fuzzy Neural Networks)

  • 김진성
    • 한국경영과학회:학술대회논문집
    • /
    • 한국경영과학회/대한산업공학회 2003년도 춘계공동학술대회
    • /
    • pp.884-888
    • /
    • 2003
  • In this paper, we introduce the hybrid data mining mechanism based in association rule and fuzzy neural networks (FNN). Most of data mining mechanisms are depended in the association rule extraction algorithm. However, the basic association rule-based data mining has not the learning ability. In addition, sequential patterns of association rules could not represent the complicate fuzzy logic. To resolve these problems, we suggest the hybrid mechanism using association rule-based data mining, and fuzzy neural networks. Our hybrid data mining mechanism was consisted of four phases. First, we used general association rule mining mechanism to develop the initial rule-base. Then, in the second phase, we used the fuzzy neural networks to learn the past historical patterns embedded in the database. Third, fuzzy rule extraction algorithm was used to extract the implicit knowledge from the FNN. Fourth, we combine the association knowledge base and fuzzy rules. Our proposed hybrid data mining mechanism can reflect both association rule-based logical inference and complicate fuzzy logic.

  • PDF

Hybrid Feature Selection과 Data Balancing을 통한 효율적인 네트워크 침입 탐지 모델 (Improved Network Intrusion Detection Model through Hybrid Feature Selection and Data Balancing)

  • 민병준;유지훈;신동규;신동일
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권2호
    • /
    • pp.65-72
    • /
    • 2021
  • 최근 네트워크 환경에 대한 공격이 급속도로 고도화 및 지능화 되고 있기에, 기존의 시그니처 기반 침입탐지 시스템은 한계점이 명확해지고 있다. 이러한 문제를 해결하기 위해서 기계학습 기반의 침입 탐지 시스템에 대한 연구가 활발히 진행되고 있다. 하지만 기계학습을 침입 탐지에 이용하기 위해서는 두 가지 문제에 직면한다. 첫 번째는 실시간 탐지를 위한 학습과 연관된 중요 특징들을 선별하는 문제이며, 두 번째는 학습에 사용되는 데이터의 불균형 문제로, 기계학습 알고리즘들은 데이터에 의존적이기에 이러한 문제는 치명적이다. 본 논문에서는 위 제시된 문제들을 해결하기 위해서 Hybrid Feature Selection과 Data Balancing을 통한 심층 신경망 기반의 네트워크 침입 탐지 모델인 HFS-DNN을 제안한다. NSL-KDD 데이터 셋을 통해 학습을 진행하였으며, 기존 분류 모델들과 성능 비교를 수행한다. 본 연구에서 제안된 Hybrid Feature Selection 알고리즘이 학습 모델의 성능을 왜곡 시키지 않는 것을 확인하였으며, 불균형을 해소한 학습 모델들간 실험에서 본 논문에서 제안한 학습 모델이 가장 좋은 성능을 보였다.

PESA: Prioritized experience replay for parallel hybrid evolutionary and swarm algorithms - Application to nuclear fuel

  • Radaideh, Majdi I.;Shirvan, Koroush
    • Nuclear Engineering and Technology
    • /
    • 제54권10호
    • /
    • pp.3864-3877
    • /
    • 2022
  • We propose a new approach called PESA (Prioritized replay Evolutionary and Swarm Algorithms) combining prioritized replay of reinforcement learning with hybrid evolutionary algorithms. PESA hybridizes different evolutionary and swarm algorithms such as particle swarm optimization, evolution strategies, simulated annealing, and differential evolution, with a modular approach to account for other algorithms. PESA hybridizes three algorithms by storing their solutions in a shared replay memory, then applying prioritized replay to redistribute data between the integral algorithms in frequent form based on their fitness and priority values, which significantly enhances sample diversity and algorithm exploration. Additionally, greedy replay is used implicitly to improve PESA exploitation close to the end of evolution. PESA features in balancing exploration and exploitation during search and the parallel computing result in an agnostic excellent performance over a wide range of experiments and problems presented in this work. PESA also shows very good scalability with number of processors in solving an expensive problem of optimizing nuclear fuel in nuclear power plants. PESA's competitive performance and modularity over all experiments allow it to join the family of evolutionary algorithms as a new hybrid algorithm; unleashing the power of parallel computing for expensive optimization.

시계열 예측을 위한 1, 2차 미분 감소 기능의 적응 학습 알고리즘을 갖는 신경회로망 (A neural network with adaptive learning algorithm of curvature smoothing for time-series prediction)

  • 정수영;이민호;이수영
    • 전자공학회논문지C
    • /
    • 제34C권6호
    • /
    • pp.71-78
    • /
    • 1997
  • In this paper, a new neural network training algorithm will be devised for function approximator with good generalization characteristics and tested with the time series prediction problem using santaFe competition data sets. To enhance the generalization ability a constraint term of hidden neuraon activations is added to the conventional output error, which gives the curvature smoothing characteristics to multi-layer neural networks. A hybrid learning algorithm of the error-back propagation and Hebbian learning algorithm with weight decay constraint will be naturally developed by the steepest decent algorithm minimizing the proposed cost function without much increase of computational requriements.

  • PDF

SEQUENTIAL MINIMAL OPTIMIZATION WITH RANDOM FOREST ALGORITHM (SMORF) USING TWITTER CLASSIFICATION TECHNIQUES

  • J.Uma;K.Prabha
    • International Journal of Computer Science & Network Security
    • /
    • 제23권4호
    • /
    • pp.116-122
    • /
    • 2023
  • Sentiment categorization technique be commonly isolated interested in threes significant classifications name Machine Learning Procedure (ML), Lexicon Based Method (LB) also finally, the Hybrid Method. In Machine Learning Methods (ML) utilizes phonetic highlights with apply notable ML algorithm. In this paper, in classification and identification be complete base under in optimizations technique called sequential minimal optimization with Random Forest algorithm (SMORF) for expanding the exhibition and proficiency of sentiment classification framework. The three existing classification algorithms are compared with proposed SMORF algorithm. Imitation result within experiential structure is Precisions (P), recalls (R), F-measures (F) and accuracy metric. The proposed sequential minimal optimization with Random Forest (SMORF) provides the great accuracy.

퍼지 동적 학습률 제어 기반 하이브리드 RBF 네트워크 (A Hybrid RBF Network based on Fuzzy Dynamic Learning Rate Control)

  • 김광백;박충식
    • 한국컴퓨터정보학회논문지
    • /
    • 제19권9호
    • /
    • pp.33-38
    • /
    • 2014
  • FCM 기반하이브리드 RBF 네트워크는 서로 다른 학습 구조가 결합된 혼합형 모델로서, 입력층과 중간층의 학습 구조는 FCM 알고리즘을 적용하고, 중간층과 출력층 사이의 학습 구조는 Max_Min 알고리즘을 적용한다. 입력층과 중간층의 학습시 입력 벡터와 중간층의 노드 중에서 중심과 입력 벡터간의 가장 가까운 노드를 승자 노드로 선택하여 출력층으로 전달한다. 그리고 중간층과 출력층 사이의 학습구조인 Max_Min 신경망은 중간층의 승자 뉴런이 입력벡터로 적용된다. 그러나 많은 패턴이 입력벡터로 제시될 경우에는 학습성능이 저하되는 단점이 있다. 따라서 본 논문에서는 중간층과 출력층의 학습 구조인 Max_Min 알고리즘의 학습 성능을 향상시키기 위해 퍼지 논리 시스템을 이용한 학습률 자동 조정 방법을 제안한다. 제안된 방법은 목표값과 출력값의 차이에 대한 절대값이 0.1보다 적거나 같으면 정확성으로 분류하고 크면 부정확성으로 분류한다. 정확성의 총 개수를 퍼지 제어 시스템에 적용하여 학습률을 동적으로 조정한다. 제안된 방법의 학습 및 인식 성능을 평가하기 위해 컨테이너에서 추출한 숫자, 영문 식별자를 인식 및 성능평가 실험에 적용한 결과, 제안된 방법이 문자 패턴 인식에 효과적임을 확인할 수 있었다.

기분석사전과 기계학습 방법을 결합한 음절 단위 한국어 품사 태깅 (Syllable-based Korean POS Tagging Based on Combining a Pre-analyzed Dictionary with Machine Learning)

  • 이충희;임준호;임수종;김현기
    • 정보과학회 논문지
    • /
    • 제43권3호
    • /
    • pp.362-369
    • /
    • 2016
  • 본 논문은 음절 단위 한국어 품사 태깅 방법의 성능 개선을 위해 기분석사전과 기계학습 방법을 결합하는 방법을 제안한다. 음절 단위 품사 태깅 방법은 형태소분석을 수행하지 않고 품사 태깅만을 수행하는 방법이며, 순차적 레이블링(Sequence Labeling) 문제로 형태소 태깅 문제를 접근한다. 본 논문에서는 순차적 레이블링 기반 음절 단위 품사 태깅 방법의 전처리 단계로 품사 태깅말뭉치와 국어사전으로부터 구축된 복합명사 기분석사전과 약 1천만 어절의 세종 품사 태깅말뭉치로부터 자동 추출된 어절 사전을 적용함으로써 품사 태깅 성능을 개선시킨다. 성능 평가를 위해서 약 74만 어절의 세종 품사 태깅말 뭉치로부터 67만 어절을 학습 데이터로 사용하고 나머지 7만 4천 어절을 평가셋으로 사용하였다. 기계학습 방법만을 사용한 경우에 96.4%의 어절 정확도를 보였으며, 기분석사전을 결합한 경우에는 99.03%의 어절 정확도를 보여서 2.6%의 성능 개선을 달성하였다. 퀴즈 분야의 평가셋으로 실험한 경우에도 기계학습 엔진은 96.14% 성능을 보인 반면, 하이브리드 엔진은 97.24% 성능을 보여서 제안 방법이 다른 분야에도 효과적임을 확인하였다.

Optimum design of cantilever retaining walls under seismic loads using a hybrid TLBO algorithm

  • Temur, Rasim
    • Geomechanics and Engineering
    • /
    • 제24권3호
    • /
    • pp.237-251
    • /
    • 2021
  • The main purpose of this study is to investigate the performance of the proposed hybrid teaching-learning based optimization algorithm on the optimum design of reinforced concrete (RC) cantilever retaining walls. For this purpose, three different design examples are optimized with 100 independent runs considering continuous and discrete variables. In order to determine the algorithm performance, the optimization results were compared with the outcomes of the nine powerful meta-heuristic algorithms applied to this problem, previously: the big bang-big crunch (BB-BC), the biogeography based optimization (BBO), the flower pollination (FPA), the grey wolf optimization (GWO), the harmony search (HS), the particle swarm optimization (PSO), the teaching-learning based optimization (TLBO), the jaya (JA), and Rao-3 algorithms. Moreover, Rao-1 and Rao-2 algorithms are applied to this design problem for the first time. The objective function is defined as minimizing the total material and labor costs including concrete, steel, and formwork per unit length of the cantilever retaining walls subjected to the requirements of the American Concrete Institute (ACI 318-05). Furthermore, the effects of peak ground acceleration value on minimum total cost is investigated using various stem height, surcharge loads, and backfill slope angle. Finally, the most robust results were obtained by HTLBO with 50 populations. Consequently the optimization results show that, depending on the increase in PGA value, the optimum cost of RC cantilever retaining walls increases smoothly with the stem height but increases rapidly with the surcharge loads and backfill slope angle.

벡터양자화기와 혼합된 프렉탈의 클러스터링 알고리즘에 대한 연구 (A Study on the Hybrid Fractal clustering Algorithm with SOFM vector Quantizer)

  • 김영정;박원우;김상희;임재권
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2000년도 추계종합학술대회 논문집(4)
    • /
    • pp.195-198
    • /
    • 2000
  • Fractal image compression can reduce the size of image data by contractive mapping of original image. The mapping is affine transformation to find the block(called range block) which is the most similar to the original image. Fractal is very efficient way to reduce the data size. However, it has high distortion rate and requires long encoding time. In this paper, we present the simulation result of fractal and VQ hybrid systems which use different clustering algorithms, normal and improved competitive learning SOFM. The simulation results showed that the VQ hybrid fractal using improved competitive learning SOFM has better distortion rate than the VQ hybrid fractal using normal SOFM.

  • PDF

신경망이 벡터양자화와 프랙탈 혼합시스템에 미치는 영향 (A Study on the Hybrid Fractal clustering Algorithm with SOFM vector Quantizer)

  • 김영정;박원우;김상희;임재권
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2000년도 추계학술대회 학술발표 논문집
    • /
    • pp.81-84
    • /
    • 2000
  • Fractal image compression can reduce the size of image data by contractive mapping of original image. The mapping is affine transformation to find the block(called range block) which is the most similar to the original image. Fractal is very efficient way to reduce the data size. However, it has high distortion rate and requires long encoding time. In this paper, we present the simulation result of fractal and VQ hybrid systems which use different clustering algorithms, normal and improved competitive learning SOFM. The simulation results showed that the VQ hybrid fractal using improved competitive learning SOFM has better distortion rate than the VQ hybrid fractal using normal SOFM.

  • PDF