• 제목/요약/키워드: Recursive Learning

검색결과 112건 처리시간 0.033초

RFA: Recursive Feature Addition Algorithm for Machine Learning-Based Malware Classification

  • Byeon, Ji-Yun;Kim, Dae-Ho;Kim, Hee-Chul;Choi, Sang-Yong
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권2호
    • /
    • pp.61-68
    • /
    • 2021
  • 최근 악성코드와 정상 바이너리를 분류하기 위해 기계학습을 이용하는 기술이 다양하게 연구되고 있다. 효과적인 기계학습을 위해서는 악성코드와 정상 바이너리를 식별하기 위한 Feature를 잘 추출하는 것이 무엇보다 중요하다. 본 논문에서는 재귀적인 방법을 이용하여 기계학습에 활용하기 위한 Feature 추출 방법인 RFA(Recursive Feature Addition) 제안한다. 제안하는 방법은 기계학습의 성능을 극대화 하기 위해 개별 Feature를 대상으로 재귀적인 방법을 사용하여 최종 Feature Set을 선정한다. 세부적으로는 매 단계마다 개별 Feature 중 최고성능을 내는 Feature를 추출하여, 추출한 Feature를 결합하는 방법을 사용한다. 제안하는 방법을 활용하여 Decision tree, SVM, Random forest, KNN등의 기계학습 알고리즘에 적용한 결과 단계가 지속될수록 기계학습의 성능이 향상되는 것을 검증하였다.

Single Image Super Resolution Reconstruction Based on Recursive Residual Convolutional Neural Network

  • Cao, Shuyi;Wee, Seungwoo;Jeong, Jechang
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2019년도 하계학술대회
    • /
    • pp.98-101
    • /
    • 2019
  • At present, deep convolutional neural networks have made a very important contribution in single-image super-resolution. Through the learning of the neural networks, the features of input images are transformed and combined to establish a nonlinear mapping of low-resolution images to high-resolution images. Some previous methods are difficult to train and take up a lot of memory. In this paper, we proposed a simple and compact deep recursive residual network learning the features for single image super resolution. Global residual learning and local residual learning are used to reduce the problems of training deep neural networks. And the recursive structure controls the number of parameters to save memory. Experimental results show that the proposed method improved image qualities that occur in previous methods.

  • PDF

Semi-Supervised Recursive Learning of Discriminative Mixture Models for Time-Series Classification

  • Kim, Minyoung
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제13권3호
    • /
    • pp.186-199
    • /
    • 2013
  • We pose pattern classification as a density estimation problem where we consider mixtures of generative models under partially labeled data setups. Unlike traditional approaches that estimate density everywhere in data space, we focus on the density along the decision boundary that can yield more discriminative models with superior classification performance. We extend our earlier work on the recursive estimation method for discriminative mixture models to semi-supervised learning setups where some of the data points lack class labels. Our model exploits the mixture structure in the functional gradient framework: it searches for the base mixture component model in a greedy fashion, maximizing the conditional class likelihoods for the labeled data and at the same time minimizing the uncertainty of class label prediction for unlabeled data points. The objective can be effectively imposed as individual mixture component learning on weighted data, hence our mixture learning typically becomes highly efficient for popular base generative models like Gaussians or hidden Markov models. Moreover, apart from the expectation-maximization algorithm, the proposed recursive estimation has several advantages including the lack of need for a pre-determined mixture order and robustness to the choice of initial parameters. We demonstrate the benefits of the proposed approach on a comprehensive set of evaluations consisting of diverse time-series classification problems in semi-supervised scenarios.

오차 자기 순환 신경회로망을 이용한 현가시스템 인식과 슬라이딩 모드 제어기 개발 (Identification of suspension systems using error self recurrent neural network and development of sliding mode controller)

  • 송광현;이창구;김성중
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 1997년도 한국자동제어학술회의논문집; 한국전력공사 서울연수원; 17-18 Oct. 1997
    • /
    • pp.625-628
    • /
    • 1997
  • In this paper the new neural network and sliding mode suspension controller is proposed. That neural network is error self-recurrent neural network. For fast on-line learning, this paper use recursive least squares method. A new neural networks converges considerably faster than the backpropagation algorithm and has advantages of being less affected by the poor initial weights and learning rate. The controller for suspension systems is designed according to sliding mode technique based on new proposed neural network.

  • PDF

고밀도 스킵 연결을 통한 재귀 잔차 구조를 이용한 단일 이미지 초해상도 기법 (Single Image Super-resolution using Recursive Residual Architecture Via Dense Skip Connections)

  • 진건;정제창
    • 방송공학회논문지
    • /
    • 제24권4호
    • /
    • pp.633-642
    • /
    • 2019
  • 최근, 단일 이미지 초해상도 복원 기법(super-resolution)에서 컨볼루션 신경망 모델은 매우 성공적이다. 잔여 학습 기법은 컨볼루션 신경망 훈련의 안전성과 성능을 향상시킬 수 있다. 본 논문은 저해상도 입력 이미지에서 고해상도 목표 이미지로 비선형 매핑 학습을 위해 고밀도 스킵 연결(dense skip-connection)을 통한 재귀 잔차 구조를 이용한 단일 이미지 초해상도 복원 기법을 제안한다. 제안하는 단일 이미지 초해상도 복원 기법은 고밀도 스킵 연결 방식을 통해 재귀 잔차 학습 방법을 채택해서 깊은 신경망에서 학습이 어려운 문제를 완화하고 더 쉽게 최적화하기 위해 신경망 안에 불필요한 레이어를 제거한다. 제안하는 방법은 매우 깊은 신경망의 사라지는 변화도(vanishing gradient) 문제를 완화할 뿐만 아니고 낮은 복잡성으로 뛰어난 성능을 얻음으로써 단일 이미지 초해상도 복원 기법의 성능을 향상시킨다. 실험 결과를 통해 제안하는 알고리듬이 기존의 알고리듬 보다 결과가 더 우수함을 보인다.

하위 훈련 성과 융합을 위한 순환적 계층 재귀 모델 (A Model of Recursive Hierarchical Nested Triangle for Convergence from Lower-layer Sibling Practices)

  • 문효정
    • 디지털콘텐츠학회 논문지
    • /
    • 제19권2호
    • /
    • pp.415-423
    • /
    • 2018
  • 최근, 컴퓨터 분야의 기계 학습(Machine Learning)과 딥러닝(Deep Learning) 등 컴퓨터 관련 학습이 각광을 받고 있다. 이들은 인공 신경망(Artificial Neural Network)을 이용하여 가장 하위 레벨로부터 학습을 시작하여, 최상위 레벨까지 그 결과를 전달하여 최종 결과를 산출하는 방식이다. 하위레벨로부터의 체계적인 학습을 통한 효과적인 성장 및 교육 방안에 대한 연구는 다양한 분야에서 이루어지고 있으나, 체계적인 규칙과 방법에 기반한 모델은 찾아보기가 힘들다. 이에, 본 논문에서는 성장 및 융합 모델인, TNT 모델(Transitive Nested Triangle Model)을 처음으로 제안한다. 제안하는 모델은 기하학적인 형태를 통해 형성된 각 기능들이 유기적 계층 관계를 형성하여, 상위로 성장 및 융합하면서, 그 결과가 반복 사용되는 순환적 재귀 모델이다. 즉, '수평적 형제 병합에 이은 상위로의 융합(Horizontal Sibling Merges and Upward Convergence)'의 분석적 방법이다. 이러한 모델은 공학, 디지털공학, 인문학, 예술학 등에 모두 적용될 수 있는 기본기적 이론으로, 본 연구에서는 제안하는 TNT 모델을 설명하는 것에 그 초점을 둔다.

방대한 기상 레이더 데이터의 원할한 처리를 위한 순환 가중최소자승법 기반 RBF 뉴럴 네트워크 설계 및 응용 (Design of RBF Neural Networks Based on Recursive Weighted Least Square Estimation for Processing Massive Meteorological Radar Data and Its Application)

  • 강전성;오성권
    • 전기학회논문지
    • /
    • 제64권1호
    • /
    • pp.99-106
    • /
    • 2015
  • In this study, we propose Radial basis function Neural Network(RBFNN) using Recursive Weighted Least Square Estimation(RWLSE) to effectively deal with big data class meteorological radar data. In the condition part of the RBFNN, Fuzzy C-Means(FCM) clustering is used to obtain fitness values taking into account characteristics of input data, and connection weights are defined as linear polynomial function in the conclusion part. The coefficients of the polynomial function are estimated by using RWLSE in order to cope with big data. As recursive learning technique, RWLSE which is based on WLSE is carried out to efficiently process big data. This study is experimented with both widely used some Machine Learning (ML) dataset and big data obtained from meteorological radar to evaluate the performance of the proposed classifier. The meteorological radar data as big data consists of precipitation echo and non-precipitation echo, and the proposed classifier is used to efficiently classify these echoes.

네트워크 침입탐지를 위한 세션관리 기반의 LSTM 모델 (LSTM Model based on Session Management for Network Intrusion Detection)

  • 이민욱
    • 한국인터넷방송통신학회논문지
    • /
    • 제20권3호
    • /
    • pp.1-7
    • /
    • 2020
  • 증가하는 사이버공격에 대응하기 위하여 머신러닝을 적용한 자동화된 침입탐지기술이 연구되고 있다. 최근 연구결과에 따르면, 순환형 학습모델을 적용한 침입탐지기술이 높은 탐지성능을 보여주는 것으로 확인되었다. 하지만 단순한 순환형 모델을 적용하는 것은 통신이 중첩된 환경일수록 연관된 통신의 특성을 반영하기 어려워 탐지성능이 저하될 수 있다. 본 논문에서는 이 같은 문제점을 해결하고자 세션관리모듈을 설계하여 LSTM(Long Short-Term Memory) 순환형 모델에 적용하였다. 실험을 위하여 CSE-CIC-IDS 2018 데이터 셋을 사용하였으며, 정상통신비율을 증가시켜 악성통신의 연관성을 낮추었다. 실험결과 통신연관성을 파악하기 힘든 환경에서도 제안하는 모델은 높은 탐지성능을 유지할 수 있음을 확인하였다.

시계열 분석 모형 및 머신 러닝 분석을 이용한 수출 증가율 장기예측 성능 비교 (Comparison of long-term forecasting performance of export growth rate using time series analysis models and machine learning analysis)

  • 남성휘
    • 무역학회지
    • /
    • 제46권6호
    • /
    • pp.191-209
    • /
    • 2021
  • In this paper, various time series analysis models and machine learning models are presented for long-term prediction of export growth rate, and the prediction performance is compared and reviewed by RMSE and MAE. Export growth rate is one of the major economic indicators to evaluate the economic status. And It is also used to predict economic forecast. The export growth rate may have a negative (-) value as well as a positive (+) value. Therefore, Instead of using the ReLU function, which is often used for time series prediction of deep learning models, the PReLU function, which can have a negative (-) value as an output value, was used as the activation function of deep learning models. The time series prediction performance of each model for three types of data was compared and reviewed. The forecast data of long-term prediction of export growth rate was deduced by three forecast methods such as a fixed forecast method, a recursive forecast method and a rolling forecast method. As a result of the forecast, the traditional time series analysis model, ARDL, showed excellent performance, but as the time period of learning data increases, the performance of machine learning models including LSTM was relatively improved.

머신러닝 기법 기반의 예측조합 방법을 활용한 산업 부가가치율 예측 연구 (Prediction on the Ratio of Added Value in Industry Using Forecasting Combination based on Machine Learning Method)

  • 김정우
    • 한국콘텐츠학회논문지
    • /
    • 제20권12호
    • /
    • pp.49-57
    • /
    • 2020
  • 본 연구는 우리나라 수출 분야 산업의 경쟁력을 나타내는 부가가치율을 다양한 머신러닝 기법을 활용하여 예측하였다. 아울러, 예측의 정확성 및 안정성을 높이기 위하여 머신러닝 기법 예측값들에 예측조합 기법을 적용하였다. 특히, 본 연구는 산업별 부가가치율에 영향을 주는 다양한 변수를 고려하기 위하여 재귀적특성제거 방법을 사용하여 주요 변수를 선별한 후 머신러닝 기법에 적용함으로써 예측과정의 효율성을 높였다. 분석결과, 예측조합 방법에 따른 예측값은 머신러닝 기법 예측값들보다 실제의 산업 부가가치율에 근접한 것으로 나타났다. 또한, 머신러닝 기법의 예측값들이 큰 변동성을 보이는 것과 달리 예측조합 기법은 안정적인 예측값을 나타내었다.