• 제목/요약/키워드: OLS (Ordinary Least Squares)

검색결과 75건 처리시간 0.022초

Expressions for Shrinkage Factors of PLS Estimator

  • Kim, Jong-Duk
    • Journal of the Korean Data and Information Science Society
    • /
    • 제17권4호
    • /
    • pp.1169-1180
    • /
    • 2006
  • Partial least squares regression (PLS) is a biased, non-least squares regression method and is an alternative to the ordinary least squares regression (OLS) when predictors are highly collinear or predictors outnumber observations. One way to understand the properties of biased regression methods is to know how the estimators shrink the OLS estimator. In this paper, we introduce an expression for the shrinkage factor of PLS and develop a new shrinkage expression, and then prove the equivalence of the two representations. We use two near-infrared (NIR) data sets to show general behavior of the shrinkage and in particular for what eigendirections PLS expands the OLS coefficients.

  • PDF

완전최소자승법과 보통최소자승법을 이용한 물안정동위원소의 선형관계식 비교 (Comparison between Total Least Squares and Ordinary Least Squares for Linear Relationship of Stable Water Isotopes)

  • 이정훈;최혜빈;이원상;이승구
    • 자원환경지질
    • /
    • 제50권6호
    • /
    • pp.517-523
    • /
    • 2017
  • 물의 두 안정동위원소인 산소와 수소의 선형관계는 물의 순환을 이해하는 데에 가장 기본으로 사용되는 방법이다. 선형관계의 기울기 및 절편은 물이 각 계를 이동하면서 어떠한 물리적 과정이 일어났는가를 지시할 수 있다. 선형관계를 파악하기 위하여 보통최소자승법(ordinary least squares method, OLS)이 사용되어 왔으나, 산소와 수소동위원소 모두 불확정성을 포함하고 있기 때문에 완전최소자승법(total least squares method, TLS)이 더 정확한 기울기와 절편을 제시할 수 있다. 본 연구에서는 남극 세종기지 주변의 눈과 융설의 안정동위원소 분석값과 Lee et al., (2013)에서 관찰된 국내 서해안의 수증기의 산소와 수소의 안정동위원소값을 이용하여 OLS와 TLS를 비교하였다. 남극 세종기지 눈 안정동위원소의 선형관계에서 기울기는 7.00(OLS), 7.16(TLS)이었으며, 수증기동위원소의 선형관계의 기울기는 7.75(OLS), 7.87(TLS)로 계산되었다. 세종기지 눈 안정동위원소값은 대부분의 눈 시료가 용융이 일어났음을 의미하여, 수증기동위원소 값은 해양에서 기원한 수증기가 직접 이동하였음을 알 수 있다. 두 방법으로 계산된 기울기 값은 물리적인 과정을 해석하는 데에는 큰 차이가 없음을 알 수 있다. 하지만, 지하수의 혼합과정을 이해하는 연구처럼 기울기의 절대값을 이용하는 연구에서는 기울기 값의 차이가 연구결과에 어떻게 영향을 미치는 가에 대한 연구가 필요할 것으로 판단된다.

Unified Non-iterative Algorithm for Principal Component Regression, Partial Least Squares and Ordinary Least Squares

  • Kim, Jong-Duk
    • Journal of the Korean Data and Information Science Society
    • /
    • 제14권2호
    • /
    • pp.355-366
    • /
    • 2003
  • A unified procedure for principal component regression (PCR), partial least squares (PLS) and ordinary least squares (OLS) is proposed. The process gives solutions for PCR, PLS and OLS in a unified and non-iterative way. This enables us to see the interrelationships among the three regression coefficient vectors, and it is seen that the so-called E-matrix in the solution expression plays the key role in differentiating the methods. In addition to setting out the procedure, the paper also supplies a robust numerical algorithm for its implementation, which is used to show how the procedure performs on a real world data set.

  • PDF

Weighted Least Absolute Deviation Lasso Estimator

  • Jung, Kang-Mo
    • Communications for Statistical Applications and Methods
    • /
    • 제18권6호
    • /
    • pp.733-739
    • /
    • 2011
  • The linear absolute shrinkage and selection operator(Lasso) method improves the low prediction accuracy and poor interpretation of the ordinary least squares(OLS) estimate through the use of $L_1$ regularization on the regression coefficients. However, the Lasso is not robust to outliers, because the Lasso method minimizes the sum of squared residual errors. Even though the least absolute deviation(LAD) estimator is an alternative to the OLS estimate, it is sensitive to leverage points. We propose a robust Lasso estimator that is not sensitive to outliers, heavy-tailed errors or leverage points.

결합예측 방법을 이용한 인터넷 트래픽 수요 예측 연구 (A Study on Internet Traffic Forecasting by Combined Forecasts)

  • 김삼용
    • 응용통계연구
    • /
    • 제28권6호
    • /
    • pp.1235-1243
    • /
    • 2015
  • 최근 들어 ICT 분야의 발달에 따라 데이터 사용량의 급격한 증가로 인터넷 트래픽 사용량 예측은 중요성은 강조되고 있다. 이러한 예측치를 적절한 트래픽 관리와 제어를 위한 계획 수립에 도움을 준다. 본 논문은, 5분 단위의 인터넷 트래픽 자료를 이용하여 결합 예측 모형을 제안하고자 한다. 이에 대하여 시계열의 대표적인 3개 모형인 Seasonal ARIMA, Fractional ARIMA(FARIMA), Taylor의 수정된 Holt-Winters 모형을 적용하였다. 모형 간 결합 예측 방법으로 예측치 간의 SA(Simple Average) 결합 예측 방법과 OLS(Ordinary Least Square)를 이용한 결합방법, ERLS(Equality Restricted Least Squares)를 이용한 결합 예측 방법, Armstrong(2001)이 제안한 MSE 기반 결합 예측 방법을 사용한다. 이에 따른 결과로서 3시간에서의 예측은 Seasonal ARIMA가 선택된 반면, 6시간 이후 예측에서는 결합 예측 방법이 좋은 예측 성능을 보여준다.

Applicability of the Ordinary Least Squares Procedure When Both Variables are Subject to Error

  • Kim, Kil-Soo;Byun, Jai-Hyun;Yum, Bong-Jin
    • 한국경영과학회지
    • /
    • 제21권1호
    • /
    • pp.163-170
    • /
    • 1996
  • An errors-in-variables model (EVM) differs from the classical regression model in that in the former the independent variable is also subject to error. This paper shows that to assess the applicability of the ordinary least squares (OLS) estimation procedure to the EVM, the relative dispersion of the independent variable to its error variance must be also considered in addition to Mandel's criterion. The effect of physically reducing the variance of errors in the independent variable on the performance of the OLS slope estimator is also discussed.

  • PDF

신갈나무 임분의 입지 및 토양 속성을 이용한 부분최소제곱 회귀의 지위추정 모형 (Predicting Site Quality by Partial Least Squares Regression Using Site and Soil Attributes in Quercus mongolica Stands)

  • 김춘식;백경원;정상훈;황재홍;이상태
    • 한국산림과학회지
    • /
    • 제112권1호
    • /
    • pp.23-31
    • /
    • 2023
  • 산림생산력의 예측은 지속가능한 산림경영이나 산림생태계서비스 증진을 위한 산림관리에 필수적인 것으로 알려져 있다. 본 연구는 전국 112개 신갈나무 임분을 대상으로 입지 및 토양 특성의 속성변수를 이용하여 지위 추정 모형을 개발하였다. 신갈나무 임분의 지위지수는 입지 및 토양 특성을 독립변수 한 일반최소제곱(Ordinary Least Squares, OLS) 및 부분최소제곱(Partial Least Squares, PLS) 회귀모형을 이용하여 유의적인 추정(P<0.05)이 가능하였다. 지위추정 회귀모형의 수정 결정계수(adjusted R2)는 입지 및 토양단면 속성변수의 회귀모형(A층: R2=0.29; B: R2=0.32)이, 토양 물리·화학적특성의 속성변수(A층: R2=0.09; B층: R2=0.21)보다 높게 나타났다. 한편, PLS 회귀모형(R2=0.20~0.32)은 OLS 회귀모형(R2=0.09~0.31)에 비해 지위지수 추정식의 설명력이 높았다. 본 연구로부터 신갈나무 임분의 입지 및 토양 특성을 이용한 지위 추정 회귀 모형이 개발되었으나, 결정계수 값이 낮아 회귀모형의 설명력을 향상시킬 수 있는 새로운 변수 개발이 필요할 것으로 사료되었다.

A Study on the Optimum Scheme for Determination of Operation Time of Line Feeders in Automatic Combination Weighers

  • Keraita James N.;Kim Kyo-Hyoung
    • Journal of Mechanical Science and Technology
    • /
    • 제20권10호
    • /
    • pp.1567-1575
    • /
    • 2006
  • In an automatic combination weigher, the line feeders distribute the product to several weighing hoppers. The ability to supply appropriate amount of product to the weighing hoppers for each combination operation is crucial for the overall performance. Determining the right duration of operating a line feeder to supply a given amount of product becomes very challenging in case of products which are irregular in volume or specific gravity such as granular secondary processed foods. In this research, several schemes were investigated to determine the best way for a line feeder to approximate the next operating time in order to supply a set amount of irregular goods to the corresponding weighing hopper. Results obtained show that a weighted least squares method (WLS) employing 10 data points is the most effective in determining the operating times of line feeders.

다중 시계열 모델을 이용한 단기 부하 무효전력 예측 (Short-term Reactive Power Load Forecasting Using Multiple Time-Series Model)

  • 이효상;조종만;박우현;김진오
    • 조명전기설비학회논문지
    • /
    • 제18권5호
    • /
    • pp.105-111
    • /
    • 2004
  • 본 논문에서는 실제 전력 수요 데이터를 이용하여 유효전력에 단기 부하 예측함에 있어 무효전력이 중요한 역할을 하는 것을 회귀 분석 검정 통계량으로 증명한다. 무효전력의 공급과 수요는 계통의 전압과 아주 밀접한 관계를 가지고 있으므로 계통전압을 관리하고 계통의 신뢰도를 높이기 위해서는 예측된 무효전력 수요에 따라 무효전력 공급계획을 별도로 수립하여 운영해야 한다. 따라서 본 논문에서는 다중 시계열 모델을 이용한 시전 예측방법을 이용하여 설명변수로 유효전력을 사용하여 부하의 무효전력을 예측 하였다.

Reflections on the China-Malaysia Economic Partnership

  • AL SHAHER, Shaher;ZREIK, Mohamad
    • The Journal of Asian Finance, Economics and Business
    • /
    • 제9권3호
    • /
    • pp.229-234
    • /
    • 2022
  • The study aims to investigate whether Musharakah management has an impact on Chinese and Malaysian business partnerships. To estimate the relationship between Musharakah and the Sino-Malaysian partnership, this study uses a panel econometric technique namely pooled ordinary least squares. Ordinary Least Squares regression (OLS) is a common technique for estimating coefficients of linear regression equations which describe the relationship between one or more independent quantitative variables and a dependent variable. Data was retrieved from the annual reports (from 2009 to 2019) of non-financial firms listed on the stock exchange of China and Malaysia. Four partnership measures (i.e., Musharakah, Mudarabah, Tawuruq, and Kafalah) were used to estimate the impact of Musharakah on the Sino-Malaysian partnership. Empirical results reveal that Musharakah and Mudarabah are positively related to Kafalah but the relationship is statistically insignificant. Alternatively, Musharakah is positively and significantly related to Mudarabah. Musharakah and Mudarabah have a positive but insignificant relationship. The findings of this study suggest that management of partnership has a positive impact on firm partnership. Furthermore, it supports the hypothesis that improving partnership enhances Musharakah, which has a positive impact on the firm's partnership.