• 제목/요약/키워드: Ordinary Least Squares

검색결과 202건 처리시간 0.03초

Lagged Unstable Regressor Models and Asymptotic Efficiency of the Ordinary Least Squares Estimator

  • Shin, Dong-Wan;Oh, Man-Suk
    • Journal of the Korean Statistical Society
    • /
    • 제31권2호
    • /
    • pp.251-259
    • /
    • 2002
  • Lagged regressor models with general stationary errors independent of the regressors are considered. The regressor process is unstable having characteristic roots on the unit circle. If the order of the lag matches the number of roots on the unit circle, the ordinary least squares estimator (OLSE) is asymptotically efficient in that it has the same limiting distribution as the generalized least squares estimator (GLSE) under the same normalization. This result extends the well-known result of Grenander and Rosenblatt (1957) for asymptotic efficiency of the OLSE in deterministic polynomial and/or trigonometric regressor models to a class of models with stochastic regressors.

Unified Non-iterative Algorithm for Principal Component Regression, Partial Least Squares and Ordinary Least Squares

  • Kim, Jong-Duk
    • Journal of the Korean Data and Information Science Society
    • /
    • 제14권2호
    • /
    • pp.355-366
    • /
    • 2003
  • A unified procedure for principal component regression (PCR), partial least squares (PLS) and ordinary least squares (OLS) is proposed. The process gives solutions for PCR, PLS and OLS in a unified and non-iterative way. This enables us to see the interrelationships among the three regression coefficient vectors, and it is seen that the so-called E-matrix in the solution expression plays the key role in differentiating the methods. In addition to setting out the procedure, the paper also supplies a robust numerical algorithm for its implementation, which is used to show how the procedure performs on a real world data set.

  • PDF

DETECTION OF OUTLIERS IN WEIGHTED LEAST SQUARES REGRESSION

  • Shon, Bang-Yong;Kim, Guk-Boh
    • Journal of applied mathematics & informatics
    • /
    • 제4권2호
    • /
    • pp.501-512
    • /
    • 1997
  • In multiple linear regression model we have presupposed assumptions (independence normality variance homogeneity and so on) on error term. When case weights are given because of variance heterogeneity we can estimate efficiently regression parameter using weighted least squares estimator. Unfortunately this estimator is sen-sitive to outliers like ordinary least squares estimator. Thus in this paper we proposed some statistics for detection of outliers in weighted least squares regression.

RLS (Recursive Least Squares)와 RTLS (Recursive Total Least Squares)의 결합을 이용한 새로운 FIR 시스템 인식 방법 (FIR System Identification Method Using Collaboration Between RLS (Recursive Least Squares) and RTLS (Recursive Total Least Squares))

  • 임준석;편용국
    • 한국음향학회지
    • /
    • 제29권6호
    • /
    • pp.374-380
    • /
    • 2010
  • 잡음이 섞인 입출력 신호를 갖는 시스템 인식 문제는 완전 최소 자승법 (Total Least Squares (TLS))으로 알려져 있다. 완전 최소 자승법의 성능은 입력 신호 부가 잡음 파워와 출력 신호 부가 잡음간의 분산비에 매우 민감하다. 본 논문에서는 TLS의 성능 향상을 위해서 LS (Least Squares)와의 결합을 제안한다. 그 한 형태로 재차적인 TLS (Recursive TLS)와 재차적인 LS (Recursive Least Squares)간의 결합 알고리즘을 제안한다. 이 결합은 잡음간 분산비에 강인한 결과를 낳았다. 모의실험을 통해 얻은 결과로부터 입력 신호에 신호대 잡음비가 5dB를 유지히는 잡음을 부가할 경우 입력 잡음과출력 잡음의 비 $\gamma$가 약 20 정도까지로 적용 범위가 확대되는 결과를 얻었다. 따라서 제안된 결합 방법이 기존의 TLS의 적용 범위를 넓힐 수 있음을 알 수 있다.

뉴럴네트웍에 기반한 Data Least Squares를 사용한 채널 등화기 알고리즘 (A Channel Equalization Algorithm Using Neural Network Based Data Least Squares)

  • 임준석;편용국
    • The Journal of the Acoustical Society of Korea
    • /
    • 제26권2E호
    • /
    • pp.63-68
    • /
    • 2007
  • Using the neural network model for oriented principal component analysis (OPCA), we propose a solution to the data least squares (DLS) problem, in which the error is assumed to lie in the data matrix only. In this paper, we applied this neural network model to channel equalization. Simulations show that the neural network based DLS outperforms ordinary least squares in channel equalization problems.

완전최소자승법과 보통최소자승법을 이용한 물안정동위원소의 선형관계식 비교 (Comparison between Total Least Squares and Ordinary Least Squares for Linear Relationship of Stable Water Isotopes)

  • 이정훈;최혜빈;이원상;이승구
    • 자원환경지질
    • /
    • 제50권6호
    • /
    • pp.517-523
    • /
    • 2017
  • 물의 두 안정동위원소인 산소와 수소의 선형관계는 물의 순환을 이해하는 데에 가장 기본으로 사용되는 방법이다. 선형관계의 기울기 및 절편은 물이 각 계를 이동하면서 어떠한 물리적 과정이 일어났는가를 지시할 수 있다. 선형관계를 파악하기 위하여 보통최소자승법(ordinary least squares method, OLS)이 사용되어 왔으나, 산소와 수소동위원소 모두 불확정성을 포함하고 있기 때문에 완전최소자승법(total least squares method, TLS)이 더 정확한 기울기와 절편을 제시할 수 있다. 본 연구에서는 남극 세종기지 주변의 눈과 융설의 안정동위원소 분석값과 Lee et al., (2013)에서 관찰된 국내 서해안의 수증기의 산소와 수소의 안정동위원소값을 이용하여 OLS와 TLS를 비교하였다. 남극 세종기지 눈 안정동위원소의 선형관계에서 기울기는 7.00(OLS), 7.16(TLS)이었으며, 수증기동위원소의 선형관계의 기울기는 7.75(OLS), 7.87(TLS)로 계산되었다. 세종기지 눈 안정동위원소값은 대부분의 눈 시료가 용융이 일어났음을 의미하여, 수증기동위원소 값은 해양에서 기원한 수증기가 직접 이동하였음을 알 수 있다. 두 방법으로 계산된 기울기 값은 물리적인 과정을 해석하는 데에는 큰 차이가 없음을 알 수 있다. 하지만, 지하수의 혼합과정을 이해하는 연구처럼 기울기의 절대값을 이용하는 연구에서는 기울기 값의 차이가 연구결과에 어떻게 영향을 미치는 가에 대한 연구가 필요할 것으로 판단된다.

전력수요예측을 위한 다양한 퍼지 최소자승 선형회귀 모델 (Various Models of Fuzzy Least-Squares Linear Regression for Load Forecasting)

  • 송경빈
    • 조명전기설비학회논문지
    • /
    • 제21권7호
    • /
    • pp.61-67
    • /
    • 2007
  • 전력수요예측은 전력계통의 운용을 위해 필수적이다. 따라서 다양한 방법이 제시되어 왔으며, 특히 특수일의 수요예측은 평일과 구분되며, 부하 패턴을 축출하기에 충분한 자료 확보가 어려워 예측 오차가 크게 나타난다. 본 논문에서는 특수일의 부하예측 정확도를 개선하기 위해 퍼지 최소자승 선형회귀 모델을 분석한다. 4종류의 퍼지 최소자승 선형회귀 모델에 대해 분석과 사례연구를 통하여 가장 정확한 모델을 제시한다.

Expressions for Shrinkage Factors of PLS Estimator

  • Kim, Jong-Duk
    • Journal of the Korean Data and Information Science Society
    • /
    • 제17권4호
    • /
    • pp.1169-1180
    • /
    • 2006
  • Partial least squares regression (PLS) is a biased, non-least squares regression method and is an alternative to the ordinary least squares regression (OLS) when predictors are highly collinear or predictors outnumber observations. One way to understand the properties of biased regression methods is to know how the estimators shrink the OLS estimator. In this paper, we introduce an expression for the shrinkage factor of PLS and develop a new shrinkage expression, and then prove the equivalence of the two representations. We use two near-infrared (NIR) data sets to show general behavior of the shrinkage and in particular for what eigendirections PLS expands the OLS coefficients.

  • PDF

Preference Map using Weighted Regression

  • S.Y. Hwang;Jung, Su-Jin;Kim, Young-Won
    • Communications for Statistical Applications and Methods
    • /
    • 제8권3호
    • /
    • pp.651-659
    • /
    • 2001
  • Preference map is a widely used graphical method for the preference data set which is frequently encountered in the field of marketing research. This provides joint configuration usually in two dimensional space between "products" and their "attributes". Whereas the classical preference map adopts the ordinary least squares method in deriving map, the present article suggests the weighted least squares approach providing the better graphical display and interpretation compared to the classical one. Internet search engine data in Korea are analysed for illustration.

  • PDF

Choice of Statistical Calibration Procedures When the Standard Measurement is Also Subject to Error

  • Lee, Seung-Hoon;Yum, Bong-Jin
    • Journal of the Korean Statistical Society
    • /
    • 제14권2호
    • /
    • pp.63-75
    • /
    • 1985
  • This paper considers a statistical calibration problem in which the standard as wel as the nonstandard measurement is subject to error. Since the classicla approach cannot handle this situation properly, a functional relationship model with additional feature of prediction is proposed. For the analysis of the problem four different approaches-two estimation techniques (ordinary and grouping least squares) combined with two prediction methods (classical and inverse prediction)-are considered. By Monte Carlo simulation the perromance of each approach is assessed in term of the probability of concentration. The simulation results indicate that the ordinary least squares with inverse prediction is generally preferred in interpolation while the grouping least squares with classical prediction turns out to be better in extrapolation.

  • PDF