• 제목/요약/키워드: 이상치 분석

검색결과 2,464건 처리시간 0.024초

국토해양부 NDGPS 정확도 향상을 위한 의사거리 보정치의 이상점 및 노이즈 제거기법 개발 (Development of Removal Techniques for PRC Outlier & Noise to Improve NDGPS Accuracy)

  • 김군택;김혜인;박관동
    • 대한공간정보학회지
    • /
    • 제19권2호
    • /
    • pp.63-73
    • /
    • 2011
  • DGPS(Differential Global Positioning System) 측위에 보정정보로 사용되는 의사거리 보정치(PRC, Pseudo Range Correction)에는 불규칙적으로 이상점, 노이즈, 이상현상이 발생한다. 이러한 의사거리 보정치를 보정정보로 사용한 DGPS 측위의 경우 측위 오차는 증가하게 된다. 따라서 이 연구에서는 발생되는 의사거리 보정치의 이상점, 노이즈, 이상현상을 다항식 곡선 접합을 적용한 모델링을 통해 검출 및 보정하는 기법을 제안하였다. 또한 의사거리 보정치 모델의 검증을 위해 보정 전 후의 의사거리 보정치를 DGPS 측위에 사용하여 측위오차를 분석하였다. 분석 결과, 이상점, 노이즈, 이상현상이 발생하는 의사거리 보정치를 사용한 측위의 RMS 오차는 수평방향으로 3.84m로 나타났고, 보정된 의사거리 보정치를 사용한 측위에서는 RMS 오차가 수평방향으로 1.49m로 나타나서 측위 정확도가 향상되는 것을 확인하였다.

시계열에서의 연속이상치가 예측에 미치는 영향 (The effect of patchy outliers in time series forecasting)

  • 이재준;편영숙
    • 응용통계연구
    • /
    • 제9권1호
    • /
    • pp.125-137
    • /
    • 1996
  • 시계열 자료는 흔히 반복되지 않는 비정상적인 사건의 영향으로 이상치를 포함한다. 시계열 자료는 관측치들 사이에 종속구조를 갖기 때문에, 이상치의 영향은 다른 통계적 분석에서 보다 더 심각할 수 있다. 본 논문에서는 연속이상치가 예측에 미치는 영향을 파악하는 데에 촛점을 두었다. 특히, l 시점 후 예측오차의 평균제곱의 증가량을 유도하고, 이 증가량으로 연속이상치가 예측에 미치는 영향을 측정하였다. 일반적으로, 연속이상치가 예측 원점에서 아주 가까운 시점에서 발생하지 않았으며 그 증가량은 크지 않음을 밝히고, 실제 자료를 분석하여 확인하였다.

  • PDF

The System for Checking Multivariate Normality and Outliers

  • 강명래;최용석
    • 한국통계학회:학술대회논문집
    • /
    • 한국통계학회 2000년도 추계학술발표회 논문집
    • /
    • pp.253-255
    • /
    • 2000
  • 다변량분석 기법을 사용하기 위해서는 자료가 정규성(normality)가정을 만족해야한다. 본 연구에서는 GUI(graphic user interface)환경 하에서 일변량(univariate)과 다변량자료(multivariate data)의 정규성검정, 이상치(outliers)제거 및 변수변환(variable transformation)을 지원하는 시스템을 구축하여 사용자들이 보다 편리하게 사용할 수 있음을 소개 하고자 한다.

  • PDF

선형회귀에서 변수선택, 변수변환과 이상치 탐지의 동시적 수행을 위한 절차 (A procedure for simultaneous variable selection, variable transformation and outlier identification in linear regression)

  • 서한손;윤민
    • 응용통계연구
    • /
    • 제33권1호
    • /
    • pp.1-10
    • /
    • 2020
  • 본 연구에서는 선형회귀모형에서 이상치와 변수변환을 고려한 변수선택 알고리즘을 다룬다. 제안된 방법은 잠재적 이상치를 탐지하여 제거한 후 변수변환 추정을 위해 최소 절사 제곱 추정법을 적용하며 가능한 모든 회귀모형을 비교하여 최종적으로 변수를 선택한다. 정확한 변수 선택과 추정된 모델의 적합도의 맥락에서 방법의 효율성을 보여주기 위해 실제 데이터 분석 및 시뮬레이션 결과가 제시된다.

통행시간 추정을 위한 Voting Rule과 중위절대편차법 기반의 복합 필터링 모형 (Combined Filtering Model Using Voting Rule and Median Absolute Deviation for Travel Time Estimation)

  • 정영제;박현석;김병화;김영찬
    • 한국ITS학회 논문지
    • /
    • 제12권6호
    • /
    • pp.10-21
    • /
    • 2013
  • 본 연구에서는 교통정보시스템에서 통행시간의 이상치 자료를 제거하기 위한 복합 필터링 모형을 제시하였으며, 이는 중위절대편차법과 Voting Rule을 기반으로 하는 이중화된 필터링 모형에 해당한다. 본 모형은 중위절대편차법을 이용해 표본을 정규분포화 시키기 위한 1차 필터링을 수행하며, 이후 Voting Rule을 이용해 중위절대편차법의 적용 이후에도 남아 있는 이상치 자료를 제거하는 방식에 해당한다. 이때 Voting Rule은 표본의 통행시간과 평균통행시간의 차이가 임계치를 초과하는 경우 해당 표본을 이상치로 판정하며, 다수결의 원칙을 이용하여 이상치 자료의 비율에 따라 이상치에 대한 제거 여부를 결정한다. 일반국도 3호선의 경기도 광주시 구간을 대상으로 한 사례분석을 통해 복합 필터링 모형이 이상치 표본 만을 선택적으로 제거하여 통행시간 추정의 정확도 개선에 기여할 수 있음을 확인하였다.

불안정한 교통류상태에서 TRANSGUIDE 이상치 제거 기법 개선을 통한 교통 통행시간 예측 향상 연구 -DSRC 수집정보를 중심으로- (Study on Enhancement of TRANSGUIDE Outlier Filter Method under Unstable Traffic Flow for Reliable Travel Time Estimation -Focus on Dedicated Short Range Communications Probes-)

  • 모타즈 케들러;윤덕근
    • 한국산학기술학회논문지
    • /
    • 제18권3호
    • /
    • pp.249-257
    • /
    • 2017
  • 신뢰성 있는 통행시간 예측을 위해 DSRC로부터 수집된 통행시간에서의 이상치(outlier) 필터링은 필수이다. 통행시간 예측을 위해 사용되는 보편적 기법인 TRANSGUIDE는 특정 분석 시간동안 통행시간의 변동이 크게 발생하는 조건에서 수집데이터의 이상치 제거를 효율적으로 처리하지 못하는 문제점이 존재한다. 이에 본 연구에서는 TRANSGUIDE의 한계점 을 보완할 수 있는 알고리즘을 제안하고자 한다. TRANSGUIDE가 특정 분석 시간대 충분한 데이터 관측이 어려울 경우 Median Absolute Deviation(MAD)를 이용하여 이상치 제거를 위한 새로운 유효 분석 영역을 설정하였다. 새로운 분석 영역 설정 후 특정 시간대 교통 조건하에서 최대 허용 가능한 이상치를 고려한 변수 ${\alpha}$, ${\beta}$를 제안하였다. 변수 ${\alpha}$, ${\beta}$를 추정하기 위해 과거 데이터와 도로 구간의 특성을 반영하였다. 개발된 알고리즘은 수도권 일반국도 3호선, 2013년 1월 1달간 DSRC 데이터가 존재하는 다차로 일반국도에 적용하였다. 누적상대도수를 이용하여 모형의 정산 수행 후 성능에 대해 정량적 평가를 수행하였다. 개발된 알고리즘은 기존의 TRANSGUIDE가 특정 조건, 즉 일정 분석 시간동안 교통 조건이 급하게 변동되는 구간에서 이상치 제거에 취한한 점을 보완하는 것으로 판단되었다. TRANSGUDIDE가 특정 조건에서 통행시간 예측이 어려울 경우 본 개발 알고리즘은 활용될 것으로 판단한다.

모바일 기기에서 이상치 데이터 처리 정책에 따른 배터리 잔여 시간 예측 기법의 평가 (Performance Evaluation of Battery Remaining Time Estimation Methods According to Outlier Data Processing Policies in Mobile Devices)

  • 탁성우
    • 한국정보통신학회논문지
    • /
    • 제26권7호
    • /
    • pp.1078-1090
    • /
    • 2022
  • 모바일 기기 배터리의 잔여 시간 예측은 배터리 잔량별 사용 시간 데이터의 분포 특성에 영향을 받는다. 특히 이상치 데이터가 존재하는 경우, 통계적 회귀 기법의 예측 성능을 왜곡시킬 수 있다. 이에 본 논문에서는 통계적 회귀 기법의 예측 성능 향상을 위해 이상치 데이터를 탐지 및 처리하는 프레임워크를 제안하였다. 제안한 프레임워크는 먼저 배터리 잔여 시간 예측에 영향을 주는 이상치 데이터를 탐지한다. 탐지된 이상치 데이터는 평활 과정을 통해 새로운 값으로 치환된 후, 이상치 데이터와 치환된 데이터 간의 차이를 개별 데이터에 분배한다. 마지막으로 개별 데이터를 재강화하여 예측 성능을 향상시키고자 한다. 제안한 프레임워크의 성능 분석을 수행한 결과, 배터리 잔여 시간의 예측 성능이 향상됨을 확인하였다.

경험적 영향함수와 표본영향함수의 차이 및 보정에 관한 연구 (A study on the difference and calibration of empirical influence function and sample influence function)

  • 강현석;김홍기
    • 응용통계연구
    • /
    • 제33권5호
    • /
    • pp.527-540
    • /
    • 2020
  • 이상치에 대한 적절한 선별과 배제없이 모든 데이터를 종합적으로 분석하게 되는 경우 데이터 분석을 통해 얻은 결과의 신뢰성과 해석의 일반성에 치명적인 위협을 받을 수 있다. 따라서 데이터의 분석 과정에서 이러한 이상치를 판별하고, 이상치가 통계량, 통계적 모형에 어떠한 영향을 주는 지에 대한 분석은 매우 중요한 일이라 할 수 있다. Hampel이 영향함수를 활용하여 이상치를 판별할 수 있는 방법을 소개한 이후, 이상치를 판별하기 위한 방법론으로 영향함수가 폭넓게 활용되어 왔다. 영향함수에는 경험적 영향함수와 표본영향함수가 있으며, 경험적 영향함수를 활용해 표본영향함수를 근사 추론하여 하나의 관측값이 제거되었을 때 통계량에 미치는 영향을 예측하는 방법론이 주로 활용되었다. 본 연구에서는 표본평균, 표본분산, 표본표준편차의 표본영향함수 유도를 통해 경험적 영향함수와 표본영향함수의 차이를 살펴 본다. 또한 경험적 영향함수로 표본영향함수를 근사하는 과정에서 발생하는 오차를 줄이기 위해 경험적 영향함수의 보정으로 표본영향함수를 근사 추론하는 방법을 제안하고, 모의실험을 통해 제안한 추론 방법의 타당성을 확인한다.

지능형 다짐값의 공간적 분포를 고려한 이상치 분석 기법 연구 (Study on Outlier Analysis Considering the Spatial Distribution of Intelligent Compaction Measurement Values)

  • 정택규;조진우;정충기;백성하
    • 한국지반공학회논문집
    • /
    • 제40권4호
    • /
    • pp.91-103
    • /
    • 2024
  • 본 연구에서는 전체 시공영역에 대해 연속적으로 도출되는 지능형 다짐값의 높은 변동성과 관련한 문제를 해결하기 위해서, 지능형 다짐값의 공간적 분포를 고려한 이상치 분석 기법을 제안하였다. 제안된 기법에서는 다짐횟수 증가에도 불구하고 특정 위치에서 측정된 CMV가 감소하는 경우를 1차적으로 선별하고, 유효반경 1.5m 내에서 측정된 값들과의 차이가 큰 값들을 이상치로 판별한다. 본 연구에서 제안된 이상치 분석 기법을 현장시험에서 측정된 CMV 데이터에 적용한 결과, 지반의 내재적 불균질성은 고려하면서 다짐 품질과 관계없는 다짐롤러 구동조건의 변화에 따른 영향만을 배제할 수 있는 것으로 나타났다. 이상치 제거 후 CMV의 변동계수는 21.4~26.3%로 산정되었으며 관련 기준(20%)에서 제시하고 있는 수치보다 크게 나타났다. 추후 제안된 이상치 분석 기법에 여러 현장시험 데이터를 적용하여 고도화하고 지능형 다짐값의 변동성에 대한 합리적인 기준을 제안해야 할 것으로 판단된다.

재무 시계열 자료 분석을 위한 로버스트 추정방법 (The Robust Estimation Method for Analyzing the Financial Time Series Data)

  • 김상용
    • 응용통계연구
    • /
    • 제21권4호
    • /
    • pp.561-569
    • /
    • 2008
  • 본 논문은 재무 시계열 자료에서 흔히 나타나는 이상치를 처리하기 위하여 이중 로버스트 추정함수를 제시하였다. 이중 로버스트 추정 방정식의 해인 로버스트 추정치를 이용하여 ARCH모형과 GARCH 모형 하에서 이상치를 처리하였다. 또한 실제 주가자료를 응용하여 기존의 최소제곱추정치보다 로버스트 추정치나 이중 로버스트 추정치의 성능이 우수함을 보였다.