• 제목/요약/키워드: ridge regression

검색결과 116건 처리시간 0.027초

혼합물실험에서 능형회귀추정량에 대한 두 종류의 붓스트랩 신뢰구간 (Two Bootstrap Confidence Intervals of Ridge Regression Estimators in Mixture Experiments)

  • 장대흥
    • 응용통계연구
    • /
    • 제19권2호
    • /
    • pp.339-347
    • /
    • 2006
  • 혼합물실험에서 제한된 영역 때문에 공선성문제가 발생하면 회귀계수에 대한 추정값이 매우 불안정하게 되므로 이를 해결하기 위하여 우리는 주로 능형추정량을 사용한다. 이 때 붓스트랩 기법을 사용하면 능형추정량에 대한 붓스트랩 신뢰구간을 구할 수 있다. 본 논문에서는 제한된 영역을 갖는 혼합물실험의 한 예를 통하여 붓스트랩 잔차 방법과 붓스트랩 쌍 방법 각각에 대하여 능형회귀추정량에 대한 붓스트랩 신뢰구간을 구하고 서로 비교하였다.

혼합물실험에서 능형추정량에 대한 붓스트랩 신뢰구간 (Bootstrap Confidence Intervals of Ridge Estimators in Mixture Experiments)

  • 장대흥
    • 품질경영학회지
    • /
    • 제34권3호
    • /
    • pp.62-65
    • /
    • 2006
  • We can use the ridge regression as a means for stabilizing the coefficient estimators in the fitted model when performing experiments in highly constrained regions causes collinearity problems in mixture experiments. But there is no theory available on which to base statistical inference of ridge estimators. The bootstrap could be used to seek the confidence intervals of ridge estimators.

상관관계가 강한 독립변수들을 포함한 데이터 시스템 분석을 위한 편차 - 복구 알고리듬 (Biased-Recovering Algorithm to Solve a Highly Correlated Data System)

  • 이미영
    • 한국경영과학회지
    • /
    • 제28권3호
    • /
    • pp.61-66
    • /
    • 2003
  • In many multiple regression analyses, the “multi-collinearity” problem arises since some independent variables are highly correlated with each other. Practically, the Ridge regression method is often adopted to deal with the problems resulting from multi-collinearity. We propose a better alternative method using iteration to obtain an exact least squares estimator. We prove the solvability of the proposed algorithm mathematically and then compare our method with the traditional one.

스마트 폰의 터치 스트로크 지속적 인증을 위한 스태킹 커널 릿지 리그레션 네트워크 (Stacking Kernel Ridge Regression Network for Smart Phone's Touch-Stroke Continuous Authentication)

  • 장인호;앤드류 테오뱅진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 춘계학술발표대회
    • /
    • pp.381-383
    • /
    • 2018
  • 이 논문은 스마트 폰에서 터치 스트로크를 이용하여 지속적 인증을 할 수 있는 딥 러닝 네트워크인 스태킹 커널 릿지 리그레션 네트워크 (Stacking Kernel Ridge Regression Network: SKRRN)에 대한 연구이다. SKRRN 은 여러 개의 커널 릿지 리그레션 (Kernel Ridge Regression: KRR) 으로 구성되어있고, 계층적이며 모든 KRR 은 해석적이고 독립적으로 훈련된다. SKRRN 은 다른 딥 러닝 네트워크와는 다르게 비가공 터치 스트로크 데이터로부터 특징을 배우지 않고 Hand-Crafted 피처와 같이 추출된 데이터로부터 재학습을 한다. 이러한 재학습은 기존 데이터 셋을 더 구별 하기 쉽고 풍부하게 만들어준다. SKRRN 은 HMOG 데이터 셋을 사용하여 4.295%의 동일 오류율을 달성하였다.

릿지 회귀와 라쏘 회귀 모형에 의한 부산 전략산업의 지역경제 효과에 대한 머신러닝 예측 (Machine Learning Prediction of Economic Effects of Busan's Strategic Industry through Ridge Regression and Lasso Regression)

  • 이재득
    • 한국항만경제학회지
    • /
    • 제37권1호
    • /
    • pp.197-215
    • /
    • 2021
  • 본 연구는 규제항을 도입한 릿지 회귀분석과 라쏘 회귀분석을 사용하여 부산 전략산업의 지역경제에 미치는 효과를 특히 고용과 소득에 대한 영향을 중심으로 머신러닝 기법으로 예측하고 분석하였다. 주요 연구결과는 다음과 같다. 첫째, 고용에 대한 전략산업들의 영향을 릿지 회귀모형과 라쏘 회귀모형으로 추정해보면, 전략산업 가운데 서비스플랫폼, 콘텐츠, 스마트금융산업으로 이루어진 지능정보서비스 산업과 MICE, 특화관광으로 구성된 글로벌관광산업의 순으로 고용을 증가시키는데 기여하고 있다. 둘째, 릿지 회귀모형과 라쏘 회귀모형에 의하면 초기투자 단계인 자율주행차, 항공, 드론 산업으로 이루어진 미래수송기기산업은 고용과 소득을 유의하게 증가시키지 않는 것으로 나타났다. 셋째, 전략산업의 소득에 대한 릿지 회귀모형의 추정계수들을 보면, 지능정보서비스산업과 글로벌관광산업의 순으로 부산지역의 소득을 증가시키고 있다. 넷째, 라쏘 회귀모형에서 라이프케어, 스마트해양, 지능형기계, 클린테크산업 등 4개의 전략산업들은 소득에 유의한 영향을 주고 있지 않는 반면, 지능정보서비스산업과 글로벌관광산업 등 2개의 전략산업들은 소득을 증가시키고 있으나, 장기 투자 산업인 미래수송기기산업은 현재 지역경제와 소득에 부의 영향을 줄 수 있는 것으로 나타났다. 그리하여 전략산업을 선정하고 육성하는데 있어, 부산지역 경제목표와 정책 우선순위를 먼저 설정할 필요가 있다는 점을 시사한다.

다중선형회귀모형에서의 변수선택기법 평가 (Evaluating Variable Selection Techniques for Multivariate Linear Regression)

  • 류나현;김형석;강필성
    • 대한산업공학회지
    • /
    • 제42권5호
    • /
    • pp.314-326
    • /
    • 2016
  • The purpose of variable selection techniques is to select a subset of relevant variables for a particular learning algorithm in order to improve the accuracy of prediction model and improve the efficiency of the model. We conduct an empirical analysis to evaluate and compare seven well-known variable selection techniques for multiple linear regression model, which is one of the most commonly used regression model in practice. The variable selection techniques we apply are forward selection, backward elimination, stepwise selection, genetic algorithm (GA), ridge regression, lasso (Least Absolute Shrinkage and Selection Operator) and elastic net. Based on the experiment with 49 regression data sets, it is found that GA resulted in the lowest error rates while lasso most significantly reduces the number of variables. In terms of computational efficiency, forward/backward elimination and lasso requires less time than the other techniques.

Comparison of Lasso Type Estimators for High-Dimensional Data

  • Kim, Jaehee
    • Communications for Statistical Applications and Methods
    • /
    • 제21권4호
    • /
    • pp.349-361
    • /
    • 2014
  • This paper compares of lasso type estimators in various high-dimensional data situations with sparse parameters. Lasso, adaptive lasso, fused lasso and elastic net as lasso type estimators and ridge estimator are compared via simulation in linear models with correlated and uncorrelated covariates and binary regression models with correlated covariates and discrete covariates. Each method is shown to have advantages with different penalty conditions according to sparsity patterns of regression parameters. We applied the lasso type methods to Arabidopsis microarray gene expression data to find the strongly significant genes to distinguish two groups.

The General Linear Test in the Ridge Regression

  • Bae, Whasoo;Kim, Minji;Kim, Choongrak
    • Communications for Statistical Applications and Methods
    • /
    • 제21권4호
    • /
    • pp.297-307
    • /
    • 2014
  • We derive a test statistic for the general linear test in the ridge regression model. The exact distribution for the test statistic is too difficult to derive; therefore, we suggest an approximate reference distribution. We use numerical studies to verify that the suggested distribution for the test statistic is appropriate. A asymptotic result for the test statistic also is considered.

풍속 예측을 위한 선형회귀분석과 비선형회귀분석 기법의 비교 및 인자분석 (Comparison of Linear and Nonlinear Regressions and Elements Analysis for Wind Speed Prediction)

  • 김동연;서기성
    • 한국지능시스템학회논문지
    • /
    • 제25권5호
    • /
    • pp.477-482
    • /
    • 2015
  • 단기풍속 예측을 위한 진화적 선형 및 비선형 회귀분석 기반의 보정 기법을 비교한다. 모델의 체계적 오류를 교정하기 위한 효율적인 MOS(Model Output Statistics)의 개발이 필요하나, 기존의 선형회귀분석 기반의 보정기법은 다양한 기상요소의 복잡한 비선형 특성을 반영하기 힘들다. 이를 개선하기 위해서 유전 프로그래밍을 사용하여 풍속 예측에 대한 비선형 보정 수식을 생성하는 기법을 제안하고 기본 다중선형회귀분석법 및 Ridge, Lasso 회귀분석법과 비교한다. 더불어, 선형회귀분석법과 진화적 비선형회귀분석 기법의 인자 선택의 차이와 유사성을 비교하고 분석한다. 2007년~2013년의 KLAPS(Korea Local Analysis and Prediction System) 재분석자료를 사용하여 제주도와 부산지역의 격자점에 대한 실험을 수행한다.