• 제목, 요약, 키워드: Hyperparameter

검색결과 28건 처리시간 0.039초

HS 알고리즘을 이용한 CNN의 Hyperparameter 결정 기법 (Method that determining the Hyperparameter of CNN using HS algorithm)

  • 이우영;고광은;김종우;심귀보
    • 한국지능시스템학회논문지
    • /
    • v.27 no.1
    • /
    • pp.22-28
    • /
    • 2017
  • Convolutional Neural Network(CNN)는 특징 추출과 분류의 두 단계로 나눌 수 있다. 그 중 특징 추출 단계의 커널의 크기, 채널의 수, stride 등의 hyperparameter는 CNN의 구조를 결정할 뿐만 아니라 특징을 추출하는 데에도 영향을 주기 때문에 CNN의 전체적인 성능에도 영향을 준다. 본 논문에서는 Parameter-Setting-Free Harmony Search(PSF-HS) 알고리즘을 이용하여 CNN의 특징 추출 단계에서의 hyperparameter를 최적화 하는 방법을 제안하였다. CNN의 전체 구조를 설정한 뒤 hyperparameter를 변수로 설정하였고 PSF-HS 알고리즘을 적용하여 hyperparameter를 최적화 하였다. 시뮬레이션은 MATLAB을 이용하여 진행하였고 CNN은 mnist 데이터를 이용하여 학습과 테스트를 했다. 총 500번 동안 변수를 업데이트했고 제안하는 방법을 이용하여 구한 CNN 구조 중 가장 높은 정확도를 가지는 구조는 99.28%의 정확도로 mnist 데이터를 분류하는 것을 확인할 수 있었다.

Analysis of Open-Source Hyperparameter Optimization Software Trends

  • Lee, Yo-Seob;Moon, Phil-Joo
    • International Journal of Advanced Culture Technology
    • /
    • v.7 no.4
    • /
    • pp.56-62
    • /
    • 2019
  • Recently, research using artificial neural networks has further expanded the field of neural network optimization and automatic structuring from improving inference accuracy. The performance of the machine learning algorithm depends on how the hyperparameters are configured. Open-source hyperparameter optimization software can be an important step forward in improving the performance of machine learning algorithms. In this paper, we review open-source hyperparameter optimization softwares.

The Effect of Hyperparameter Choice on ReLU and SELU Activation Function

  • Kevin, Pratama;Kang, Dae-Ki
    • International journal of advanced smart convergence
    • /
    • v.6 no.4
    • /
    • pp.73-79
    • /
    • 2017
  • The Convolutional Neural Network (CNN) has shown an excellent performance in computer vision task. Applications of CNN include image classification, object detection in images, autonomous driving, etc. This paper will evaluate the performance of CNN model with ReLU and SELU as activation function. The evaluation will be performed on four different choices of hyperparameter which are initialization method, network configuration, optimization technique, and regularization. We did experiment on each choice of hyperparameter and show how it influences the network convergence and test accuracy. In this experiment, we also discover performance improvement when using SELU as activation function over ReLU.

가우시안 과정 분류를 위한 극단치에 강인한 학습 알고리즘 (Outlier Robust Learning Algorithm for Gaussian Process Classification)

  • 김현철
    • 한국정보과학회:학술대회논문집
    • /
    • /
    • pp.485-489
    • /
    • 2007
  • Gaussian process classifiers (GPCs) are fully statistical kernel classification models which have a latent function with Gaussian process prior Recently, EP approximation method has been proposed to infer the posterior over the latent function. It can have a special hyperparameter which can treat outliers potentially. In this paper, we propose the outlier robust algorithm which alternates EP and the hyperparameter updating until convergence. We also show its usefulness with the simulation results.

  • PDF

인경신경망을 이용한 한국프로야구 관중 수요 예측에 관한 연구 (A Study on Prediction of Attendance in Korean Baseball League Using Artificial Neural Network)

  • 박진욱;박상현
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • v.6 no.12
    • /
    • pp.565-572
    • /
    • 2017
  • 본 연구는 기존의 수요 예측 등의 시계열 연구에서 주로 사용되는 ARIMA 모형의 어려움을 극복하고자 인공신경망(Artificial neural network) 모형을 이용하여 한국 프로 야구 관중 수를 예측하였다. 훈련 자료로는 2015년 3월부터 9월까지의 일별 KBO 관중 수 자료를 대상으로 하였다. 전방향 신경망(Feedforward neural network)의 모형 훈련 과정에서, 그리드 탐색(Grid search)을 적용하여 최적의 초모수(Hyperparameter)를 찾고자 하였다. 그 결과, 그리드 탐색법의 최적 모형을 이용한 평균 절대 백분율 오차(MAPE)는 평균 20.9% 였다. 앙상블 기법을 이용한 모형의 MAPE는 평균 20.0%였다. 이는 다중회귀와 비교해보았을 때, 평균적으로 각각 26.3%, 30.3% 높은 예측력을 보인다.

BCI에서 EEG 기반 효율적인 감정 분류를 위한 LSTM 하이퍼파라미터 최적화 (LSTM Hyperparameter Optimization for an EEG-Based Efficient Emotion Classification in BCI)

  • ;;임창균
    • 한국전자통신학회논문지
    • /
    • v.14 no.6
    • /
    • pp.1171-1180
    • /
    • 2019
  • 감정은 인간의 상호 작용에서 중요한 역할을 하는 심리 생리학적 과정이다. 감성 컴퓨팅은 감정을 이해하고 조절할 수 있는 인간 인지 인공 지능의 개발하는데 중점을 둔다. 우울증, 자폐증, 주의력 결핍 과잉 행동 장애 및 게임 중독과 같은 정신 질환이 감정과 관련되어 있기 때문에 이러한 분야의 연구가 중요하다. 감정 인식에 대한 노력에도 불구하고, 비정상적인 EEG 신호로부터의 감정 검출은 여전히 높은 수준의 추상화를 요구하기에 정교한 학습 알고리즘이 필요하다. 이 논문에서는 EEG 기반으로 효율적인 감정 분류를 위해 LSTM을 위한 최적의 하이퍼파라미터를 파악하고자 다양한 실험을 수행하여 이를 분석한 결과를 제시하였다.

Semiparametric Kernel Poisson Regression for Longitudinal Count Data

  • Hwang, Chang-Ha;Shim, Joo-Yong
    • Communications for Statistical Applications and Methods
    • /
    • v.15 no.6
    • /
    • pp.1003-1011
    • /
    • 2008
  • Mixed-effect Poisson regression models are widely used for analysis of correlated count data such as those found in longitudinal studies. In this paper, we consider kernel extensions with semiparametric fixed effects and parametric random effects. The estimation is through the penalized likelihood method based on kernel trick and our focus is on the efficient computation and the effective hyperparameter selection. For the selection of hyperparameters, cross-validation techniques are employed. Examples illustrating usage and features of the proposed method are provided.

Hyperparameter Selection for APC-ECOC

  • Seok, Kyung-Ha
    • Journal of the Korean Data and Information Science Society
    • /
    • v.19 no.4
    • /
    • pp.1219-1231
    • /
    • 2008
  • The main object of this paper is to develop a leave-one-out(LOO) bound of all pairwise comparison error correcting output codes (APC-ECOC). To avoid using classifiers whose corresponding target values are 0 in APC-ECOC and requiring pilot estimates we developed a bound based on mean misclassification probability(MMP). It can be used to tune kernel hyperparameters. Our empirical experiment using kernel mean squared estimate(KMSE) as the binary classifier indicates that the bound leads to good estimates of kernel hyperparameters.

  • PDF

Mixed Effects Kernel Binomial Regression

  • Hwang, Chang-Ha
    • Journal of the Korean Data and Information Science Society
    • /
    • v.19 no.4
    • /
    • pp.1327-1334
    • /
    • 2008
  • Mixed effect binomial regression models are widely used for analysis of correlated count data in which the response is the result of a series of one of two possible disjoint outcomes. In this paper, we consider kernel extensions with nonparametric fixed effects and parametric random effects. The estimation is through the penalized likelihood method based on kernel trick, and our focus is on the efficient computation and the effective hyperparameter selection. For the selection of hyperparameters, cross-validation techniques are employed. Examples illustrating usage and features of the proposed method are provided.

  • PDF

COMPARATIVE ANALYSIS ON MACHINE LEARNING MODELS FOR PREDICTING KOSPI200 INDEX RETURNS

  • Gu, Bonsang;Song, Joonhyuk
    • 한국수학교육학회지시리즈B:순수및응용수학
    • /
    • v.24 no.4
    • /
    • pp.211-226
    • /
    • 2017
  • In this paper, machine learning models employed in various fields are discussed and applied to KOSPI200 stock index return forecasting. The results of hyperparameter analysis of the machine learning models are also reported and practical methods for each model are presented. As a result of the analysis, Support Vector Machine and Artificial Neural Network showed a better performance than k-Nearest Neighbor and Random Forest.