• Title, Summary, Keyword: Hyperparameter

Search Result 28, Processing Time 0.067 seconds

Recent Research & Development Trends in Automated Machine Learning (자동 기계학습(AutoML) 기술 동향)

  • Moon, Y.H.;Shin, I.H.;Lee, Y.J.;Min, O.G.
    • Electronics and Telecommunications Trends
    • /
    • v.34 no.4
    • /
    • pp.32-42
    • /
    • 2019
  • The performance of machine learning algorithms significantly depends on how a configuration of hyperparameters is identified and how a neural network architecture is designed. However, this requires expert knowledge of relevant task domains and a prohibitive computation time. To optimize these two processes using minimal effort, many studies have investigated automated machine learning in recent years. This paper reviews the conventional random, grid, and Bayesian methods for hyperparameter optimization (HPO) and addresses its recent approaches, which speeds up the identification of the best set of hyperparameters. We further investigate existing neural architecture search (NAS) techniques based on evolutionary algorithms, reinforcement learning, and gradient derivatives and analyze their theoretical characteristics and performance results. Moreover, future research directions and challenges in HPO and NAS are described.

Online Adaptation of Continuous Density Hidden Markov Models Based on Speaker Space Model Evolution (화자공간모델 진화에 근거한 연속밀도 은닉 마코프모델의 온라인 적응)

  • Kim Dong Kook;Kim Young Joon;Kim Hyun Woo;Kim Nam Soo
    • Proceedings of the Acoustical Society of Korea Conference
    • /
    • /
    • pp.69-72
    • /
    • 2002
  • 본 논문에서 화자공간모델 evolution에 기반한 continuous density hidden Markov model (CDHMM)의 online 적응에 대한 새로운 기법을 제안한다. 학습화자의 a priori knowledge을 나타내는 화자공간모델은 factor analysis (FA) 또는 probabilistic principal component analysis (PPCA)와 같은 은닉변수모델(latent variable model)에 의해 효과적으로 나타내어진다. 은닉 변수모델은 화자공간모델뿐아니라 CDHMM 파라메터의 ajoint prior분포를 표시함으로, maximum a posteriori(MAP)적응기법에 직접 적용되어진다. 화자공간모델의 hyperparameters와 CDHMM파라메터를 동시에 순차적으로 적응하기 위해 quasi-Bayes (QB)추정 기술에 기반한 online 적응기법을 제안한다. 연속숫자음 인식과 관련된 화자적응 실험을 통해 제안된 기법은 적은 적응데이터에서 좋은 성능을 나타내며, 데이터가 증가함에 따라 성능이 지속적으로 증가함을 보여준다.

  • PDF

USE OF TRAINING DATA TO ESTIMATE THE SMOOTHING PARAMETER FOR BAYESIAN IMAGE RECONSTRUCTION

  • SooJinLee
    • Journal of the Korean Geophysical Society
    • /
    • v.4 no.3
    • /
    • pp.175-182
    • /
    • 2001
  • We consider the problem of determining smoothing parameters of Gibbs priors for Bayesian methods used in the medical imaging application of emission tomographic reconstruction. We address a simple smoothing prior (membrane) whose global hyperparameter (the smoothing parameter) controls the bias/variance tradeoff of the solution. We base our maximum-likelihood (ML) estimates of hyperparameters on observed training data, and argue the motivation for this approach. Good results are obtained with a simple ML estimate of the smoothing parameter for the membrane prior.

  • PDF

Parameter Estimation of Groundwater Flow in Hillside Slopes Using Bayesian Approach (사면의 지하수 흐름에서 Bayesian 이론을 이용한 매개변수 추정)

  • 이인모;이주공;김영욱
    • Journal of the Korean Geotechnical Society
    • /
    • v.17 no.2
    • /
    • pp.51-57
    • /
    • 2001
  • 지하수위의 상승에 따른 간극수압의 증가는 사면의 불안정을 야기할 수 있다. 그러나 모델링 오차, 계측오차, 모델변수의 불확실성 등과 같은 오차로 인하여 사면에서의 지하수위 변동을 예측하는 것은 매우 어렵다. 이러한 불확실성을 극복하고 지하수위 변동을 평가하기 위한 최적의 모델변수를 구하기 위하여 역해석 기법이 사용되고 있다. 본 논문에서는 사면에서의 지하수위 변동을 예측하기 위하여 포화대에서의 지하수 흐름과 불포화대에서의 지하수 흐름을 동시에 고려할 수 있는 수치해석 모델과 변수예측기법을 적용하였다. 따라서, 본 논문에서는 포화투수계수($K_{s}$ ), 포화흡인력($\psi$$_{e}$) 및 불포화 투수계수의 함수에 사용되는 경험적인 상수(b)를 주요 매개변수로 선정하여 역해석을 실시하였다. 그리고, 역해석 기법 가운데 Maximum Likelihood(MK), Maximum-A-Posterior(MAP) 및 Extended Bayesian Method(EBM)에 대하여 비교연구를 실시하였다. 위의 세가지 방법 가운데 EBM은 가상의 변수(Hyperparameter) $\beta$를 도입함으로써 현장계측치와 사전정보를 가장 잘 조화시키는 방법으로 다른 ML, MAP 보다 탁월한 방법인 것을 알 수 있었다.

  • PDF

Use of Training Data to Estimate the Smoothing Parameter for Bayesian Image Reconstruction

  • Lee, Soo-Jin
    • The Journal of Engineering Research
    • /
    • v.4 no.1
    • /
    • pp.47-54
    • /
    • 2002
  • We consider the problem of determining smoothing parameters of Gibbs priors for Bayesian methods used in the medical imaging application of emission tomographic reconstruction. We address a simple smoothing prior (membrane) whose global hyperparameter (the smoothing parameter) controls the bias/variance tradeoff of the solution. We base our maximum-likelihood(ML) estimates of hyperparameters on observed training data, and argue the motivation for this approach. Good results are obtained with a simple ML estimate of the smoothing parameter for the membrane prior.

  • PDF

A Prediction of Demand for Korean Baseball League using Artificial Neural Network (인공 신경망 모형을 이용한 한국프로야구 관중 수요 예측)

  • Park, Jinuk;Park, Sanghyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • /
    • pp.920-923
    • /
    • 2017
  • 본 연구는 기존의 수요 예측 등의 시계열 분석에서 주로 사용되는 ARIMA 모형의 어려움을 극복하고자 인공신경망(Artificial Neural Network) 모형을 이용하여 한국 프로 야구 관중 수를 예측하였다. 인공신경망의 가장 기본적인 종류인 전방향 신경망(Feedforward Neural Network)의 초모수(Hyperparameter) 선정에 그리드 탐색(Grid Search)을 적용하여 최적의 모형을 찾고자 하였다. 훈련 자료로는 2015년 3월부터 8월까지의 일별 KBO 관중 수 자료를 대상으로 하였고, 예측력 검증을 위해 2015년 9월 관중 수를 예측하여 실제 관측값과 비교하였다. 그 결과, 그리드 탐색법에서 최적 모형이라고 판단한 모형의 예측력은, 평균 절대 백분율 오차(MAPE) 기준으로 평균 27.14% 였다. 또한, 앙상블 기법에서 착안하여 오차율이 낮은 모형 5개의 예측값 평균의 MAPE는 평균 28.58% 였다. 이는 다중회귀와 비교해보았을 때, 평균적으로 각각 14%, 13.6% 높은 예측력을 보이고 있다.

Semiparametric kernel logistic regression with longitudinal data

  • Shim, Joo-Yong;Seok, Kyung-Ha
    • Journal of the Korean Data and Information Science Society
    • /
    • v.23 no.2
    • /
    • pp.385-392
    • /
    • 2012
  • Logistic regression is a well known binary classification method in the field of statistical learning. Mixed-effect regression models are widely used for the analysis of correlated data such as those found in longitudinal studies. We consider kernel extensions with semiparametric fixed effects and parametric random effects for the logistic regression. The estimation is performed through the penalized likelihood method based on kernel trick, and our focus is on the efficient computation and the effective hyperparameter selection. For the selection of optimal hyperparameters, cross-validation techniques are employed. Numerical results are then presented to indicate the performance of the proposed procedure.

An Efficient Dynamic Workload Balancing Strategy (머신러닝 학습 부산물 추적을 위한 프레임워크)

  • Kim, Eunjin;Lee, Yeongseop;Lee, Seongjin
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • /
    • pp.41-42
    • /
    • 2020
  • 머신러닝이 보편화되면서 모델 학습을 돕기 위한 머신러닝 및 데이터과학 도구의 수요가 증가하고 있다. 머신 러닝을 사용하는 연구에서는 다양한 파라미터에 대한 실험이 진행되어 많은 학습 부산물이 생성 된다. 하지만 기존의 학습 부산물을 관리하는 프레임워크는 하나의 실험을 진행하는데 모든 경우의 수를 진행해 그 규모가 크다. 본 연구는 기존의 도구가 가지는 규모 문제를 개선하고, 주기적으로 메일을 사용자에게 전송해 실험과정을 보고하는 새로운 도구를 제안한다. 이러한 시스템은 학습과정에서 사용자가 의도한 파라미터의 학습이 진행되는지 추적가능하다.

  • PDF

Selecting the Optimal Hidden Layer of Extreme Learning Machine Using Multiple Kernel Learning

  • Zhao, Wentao;Li, Pan;Liu, Qiang;Liu, Dan;Liu, Xinwang
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • v.12 no.12
    • /
    • pp.5765-5781
    • /
    • 2018
  • Extreme learning machine (ELM) is emerging as a powerful machine learning method in a variety of application scenarios due to its promising advantages of high accuracy, fast learning speed and easy of implementation. However, how to select the optimal hidden layer of ELM is still an open question in the ELM community. Basically, the number of hidden layer nodes is a sensitive hyperparameter that significantly affects the performance of ELM. To address this challenging problem, we propose to adopt multiple kernel learning (MKL) to design a multi-hidden-layer-kernel ELM (MHLK-ELM). Specifically, we first integrate kernel functions with random feature mapping of ELM to design a hidden-layer-kernel ELM (HLK-ELM), which serves as the base of MHLK-ELM. Then, we utilize the MKL method to propose two versions of MHLK-ELMs, called sparse and non-sparse MHLK-ELMs. Both two types of MHLK-ELMs can effectively find out the optimal linear combination of multiple HLK-ELMs for different classification and regression problems. Experimental results on seven data sets, among which three data sets are relevant to classification and four ones are relevant to regression, demonstrate that the proposed MHLK-ELM achieves superior performance compared with conventional ELM and basic HLK-ELM.

Weighted Fast Adaptation Prior on Meta-Learning

  • Widhianingsih, Tintrim Dwi Ary;Kang, Dae-Ki
    • International journal of advanced smart convergence
    • /
    • v.8 no.4
    • /
    • pp.68-74
    • /
    • 2019
  • Along with the deeper architecture in the deep learning approaches, the need for the data becomes very big. In the real problem, to get huge data in some disciplines is very costly. Therefore, learning on limited data in the recent years turns to be a very appealing area. Meta-learning offers a new perspective to learn a model with this limitation. A state-of-the-art model that is made using a meta-learning framework, Meta-SGD, is proposed with a key idea of learning a hyperparameter or a learning rate of the fast adaptation stage in the outer update. However, this learning rate usually is set to be very small. In consequence, the objective function of SGD will give a little improvement to our weight parameters. In other words, the prior is being a key value of getting a good adaptation. As a goal of meta-learning approaches, learning using a single gradient step in the inner update may lead to a bad performance. Especially if the prior that we use is far from the expected one, or it works in the opposite way that it is very effective to adapt the model. By this reason, we propose to add a weight term to decrease, or increase in some conditions, the effect of this prior. The experiment on few-shot learning shows that emphasizing or weakening the prior can give better performance than using its original value.