• 제목/요약/키워드: Outlier analysis

검색결과 234건 처리시간 0.024초

APPLICATION OF HISTOGRAM OUTLIER ANALYSIS ON THE IMAGE DEGRADATION MODEL FOR BEST FOCAL POINT SELECTION

  • Shin, Hyun-Kyung
    • Journal of applied mathematics & informatics
    • /
    • 제27권1_2호
    • /
    • pp.175-182
    • /
    • 2009
  • Microscopic imaging system often requires the algorithm to adjust location of camera lenses automatically in machine level. An effort to detect the best focal point is naturally interpreted as a mathematical inverse problem [1]. Following Wiener's point of view [2], we interpret the focus level of images as the quantified factor appeared in image degradation model: g = $f{\ast}H+{\eta}$, a standard mathematical model for understanding signal or image degradation process [3]. In this paper we propose a simple, very fast and robust method to compare the degradation parameters among the multiple images given by introducing outlier analysis of histogram.

  • PDF

시계열 이상치 탐지 기법을 활용한 경부선 주요도시 철도 승객수의 이상치 탐색 연구 (A Study on the Outliers Detection in the Number of Railway Passengers for the Gyeongbu Line From Seoul to Major Cities Using a Time Series Outlier Detection Technique)

  • 이지선;윤윤진
    • 대한교통학회지
    • /
    • 제35권6호
    • /
    • pp.469-480
    • /
    • 2017
  • 2004년 4월 1일, 국내 최초의 고속철도(HSR)인 KTX (Korea Train eXpress)가 경부선에 도입 되었다. KTX의 등장은 경부선을 이용하는 철도 승객들의 운송수단 선택 및 도시구간별 이용객 수 변화를 가져왔다. KTX의 등장과 같은 개입사건(Intervention events)의 영향은 개입사건 전후 변화를 단순 통계량으로 분석하거나 개입 ARIMA 모델을 통해 분석 되었다. 개입 ARIMA 모델은 개입사건의 발생 시점(t)과 개입사건의 영향 형태(type) 등의 가정이 필요하다는 한계가 있었으며, 본 연구에서는 기존 연구에서의 한계점을 보완할 수 있는 시계열 이상치 탐지(time series outlier detection)를 활용하였다. 일반적으로 개입사건의 발생시기는 잘 알려져 있지 않으므로 시계열 이상치 탐지를 통해 개입사건에의 발생 시기를 추정할 수 있다. 시계열 이상치 탐지기법을 활용하여 개입의 시점과 영향 형태에 관한 가정 없이 개입사건에 대한 영향을 분석할 수 있으며, 발생된 이상치의 시점을 개입사건의 시점, 이상치의 영향을 개입사건의 영향으로 가정하였다. 데이터는 KTDB (Korea Transport Database)로 부터 KTX가 도입되기 이전인 2003년부터 2014년까지 12년 동안의 경부선(4개의 주요 도시구간 합산)을 포함한 주요 도시구간 4개의 월별데이터를 수집하여 활용하였다. 경부선 도시 구간별 이상치를 탐지 하고 그 영향을 분석한 결과, 동일한 개입사건 임에도 그 영향의 형태의 정도가 도시구간마다 다르게 나타나거나 영향이 나타나지 않았으며, 기존 연구에서 분석되지 않은 개입사건을 찾을 수 있었다.

k-NN 기법을 이용한 학습자의 학습 행위 데이터의 이상치 분석 (Outlier Analysis of Learner's Learning Behaviors Data using k-NN Method)

  • 윤태복;정영모;이지형;차현진;박선희;김용세
    • 한국HCI학회:학술대회논문집
    • /
    • 한국HCI학회 2007년도 학술대회 1부
    • /
    • pp.524-529
    • /
    • 2007
  • 지능형 학습 시스템은 학습자의 학습 과정에서 수집된 데이터를 분석하여 학습자에게 맞는 전략을 세우고 적합한 서비스를 제공하는 시스템이다. 학습자에게 적합한 서비스를 위해서는 학습자 모델링 작업이 우선시 되며, 이 모델 생성을 위해서 학습자의 학습 과정에서 발생한 데이터를 수집하고 분석하게 된다. 하지만, 수집된 데이터가 학습자의 일관되지 못한 행위나 비예측 학습 성향을 포함하고 있다면, 생성된 모델을 신뢰하기 어렵다. 본 논문에서는 학습자에게서 수집된 데이터를 거리기반 이상치 선별 방법인 k-NN을 이용하여 이상치를 선별한다. 실험에서는 홈 인테리어 컨텐츠 기반에 학습자의 학습 행위에 대한 학습 성향을 진단하기 위한 DOLLS-HI를 이용하여, 수집된 학습자의 데이터에서 이상치를 분류하고 학습 성향 진단을 위한 모델을 생성하였다. 생성된 모델은 이상치 분류전과 비교하여 신뢰가 향상된 것을 확인하였다.

  • PDF

이중추출법에서 일반화 ratio-cum-product 방법을 이용한 이상점 가중치 보정법 (An outlier weight adjustment using generalized ratio-cum-product method for two phase sampling)

  • 오정택;신기일
    • 응용통계연구
    • /
    • 제29권7호
    • /
    • pp.1185-1199
    • /
    • 2016
  • 이중추출법은 모집단 정보가 충분하지 않아 층화 추출법을 사용할 때 정확한 층화 정보가 없는 경우에 흔히 사용하는 표본추출법이다. 특히 최근에는 이중추출법을 위해 1차 조사에서 얻어진 보조 정보를 이용하여 추정의 정확성을 향상시키는 방법들이 제안되었다. 본 연구에서는 최근 제안된 일반화 ratio-cum-product 추정량에서 사용하는 가중치를 이상점 처리를 위한 가중치 보정에 맞도록 보정하여 추정의 정밀성을 향상시키는 방법을 제안하였다. 모의실험을 통하여 본 연구에서 제안한 방법과 기존의 이상점 가중치 보정법의 성능을 비교하였으며 사례 분석을 통하여 제안된 방법의 우수성을 확인하였다.

수질자동측정망 자료의 항목별 이상치 비교 분석 (Comparative Analysis on the Outlier Data of Each Parameter in Automatic Water Quality Monitoring Networks)

  • 임병진;홍은영;연인성
    • 한국물환경학회지
    • /
    • 제26권4호
    • /
    • pp.700-706
    • /
    • 2010
  • Along the 4 major rivers in korea, there are automatic water quality monitoring (AWQM) stations to immediately respond to any pollution incident. Real-time data (temperature, DO, pH, EC and TOC) collected at each station were statistically treated to exclude outliers and keep valid data using Dixon's test and Discordance test. These applied methods were compared in terms of the number of the outliers sorted out. There was no significant difference between these methods. On the other hand, more outliers were sorted out from EC and TOC data, comparing with other water quality items. EC data did not show partly any variation for a long time at H station. If measured signal does not exceed ${\pm}0.001mS/cm$ from the sectional mean, the signal should be treated as normal data. Therefore, another routine was added to the data screening system, some data which were removed as outlier were restored.

Estimation of irrigation supply from agricultural reservoirs based on reservoir storage data

  • Kang, Hansol;An, Hyunuk;Lee, Kwangya
    • 농업과학연구
    • /
    • 제46권4호
    • /
    • pp.999-1006
    • /
    • 2019
  • Recently, the quantitative management of agricultural water supply, which is the main source for water consumption in Korea, has become more important due to the effective water management organization of the Korean government. In this study, the estimation method for irrigation supply based on agricultural reservoir storage data was improved compared to previous research, in which drought year selection was unclear, and the outlier data for the rainfall-irrigation supply were not eliminated in the regression analysis. In this study, the drought year was selected by the ratio of annual precipitation to mean annual precipitation and the storage rate observed before the start of irrigation. The outlier data for the rainfall-irrigation supply were eliminated by the Grubbs & Beck test. The proposed method was applied to nine agricultural reservoirs for validation. As a result, the ratio of annual precipitation to mean annual precipitation is less than 53% and the storage rate observed before the start of irrigation is less than 55% it was judged to be the drought year. In addition, the drought supply factor, K, was found to be 0.70 on average, showing closer results to the observed reservoir rates. This shows that water management at the real is appling drought year practice. It was shown that the performance of the proposed method was satisfactory with NSE (Nash-Sutcliffe model efficiency coefficient) and R2 (coefficient of determiniation) except for a few cases.

태양광 발전 이상감지를 위한 아웃라이어 추정 방법에 대한 연구 (A study on the outlier data estimation method for anomaly detection of photovoltaic system)

  • 서종관;이태일;이휘성;박점배
    • 전기전자학회논문지
    • /
    • 제24권2호
    • /
    • pp.403-408
    • /
    • 2020
  • 태양광 발전은 특성상 간헐성과 불확실성이 항상 존재하기 때문에 정확한 예측은 어려우며, 실시간 발전량 진단을 위한 이상감지 기술이 중요하다. 본 논문에서는 다양한 파라미터의 상관관계를 도출하고 최근접 이웃 알고리즘을 적용하여 정상데이터와 비정상데이터를 분류한다. 두 분류의 결과는 발전 시스템의 결함에 의한 아웃라이어와 구름 등에 의해 단기간 동안 발생하는 부분 음영 및 전체 음영의 일시적인 전력손실을 보여준다. 100kW 발전소 데이터를 대상으로 머신러닝 분석을 수행하여 테스트 결과를 산출하였으며 실제 이상치와 이상치 후보지를 검증하였다.

수중로봇 위치추정을 위한 베이시안 필터 방법의 실현과 거리 측정 특성 분석 (Implementation of Bayesian Filter Method and Range Measurement Analysis for Underwater Robot Localization)

  • 노성우;고낙용;김태균
    • 로봇학회논문지
    • /
    • 제9권1호
    • /
    • pp.28-38
    • /
    • 2014
  • This paper verifies the performance of Extended Kalman Filter(EKF) and MCL(Monte Carlo Localization) approach to localization of an underwater vehicle through experiments. Especially, the experiments use acoustic range sensor whose measurement accuracy and uncertainty is not yet proved. Along with localization, the experiment also discloses the uncertainty features of the range measurement such as bias and variance. The proposed localization method rejects outlier range data and the experiment shows that outlier rejection improves localization performance. It is as expected that the proposed method doesn't yield as precise location as those methods which use high priced DVL(Doppler Velocity Log), IMU(Inertial Measurement Unit), and high accuracy range sensors. However, it is noticeable that the proposed method can achieve the accuracy which is affordable for correction of accumulated dead reckoning error, even though it uses only range data of low reliability and accuracy.

정상 시계열에서의 이상치 발견과 시계열 모형구축 (Outlier detection and time series modelling in the stationary time series)

  • 이종협;최기헌
    • 응용통계연구
    • /
    • 제5권2호
    • /
    • pp.139-156
    • /
    • 1992
  • 최근에 시계열에서의 이상치 발견을 위한 여러 가지 반복적인 방법들이 소개되었으나 이들 대부분은 시계열의 기저모형이 알려져 있거나 식별될 수 있다는 가정하에서 개발되었다. 그 렇지만 실제로 이상치들이 모형식별을 왜곡 시키거나 심지어는 불가능하게 만드는 경우가 발생한다. 본 논문에서는 두 개의 시계열 관측치 사이의 거리에 근거한 새로운 척도를 이용 한 이상치 탐색 방법을 제시하였다. 특히 이방법은 이상치를 발견하는데 시계열 모형에 의 존하지 않는다. 제안된 통계량에 대한 여러 가지 성질을 밝혔으며 이상치의 형태를 구별하 기 위해 전이함수모형을 이용하였다. 그밖에 이상치를 포함하고 있는 시계열의 모형을 구축 하기 위한 반복적인 절차를 제안했다.

  • PDF

비 가우시안 잡음이 존재하는 무선 센서 네트워크에서 Robust Statistics를 활용하는 수신신호세기기반의 위치 추정 기법 (A RSS-Based Localization Method Utilizing Robust Statistics for Wireless Sensor Networks under Non-Gaussian Noise)

  • 안태준;구인수
    • 한국인터넷방송통신학회논문지
    • /
    • 제11권3호
    • /
    • pp.23-30
    • /
    • 2011
  • 무선 센서 네트워크에서, 각 센서 노드들로부터 수집된 정보를 효율적으로 활용하기 위해 센서 노드의 정확한 위치 정보는 필수적이다. 센서 노드의 위치를 추정하는 다양한 기법들 중, 일반적으로 많이 사용되는 수신신호세기(RSS)기법은 추가적인 하드웨어 자원 없이 쉽게 구현될 수 있으나 채널 환경에 따라 다양한 표본 데이터들이 수집 될 수 있고, 특히 이상점(outlier)이 포함 될 수 있다. 이러한 이상점들은, 수집된 표본들로부터 통계적 분석(statistical analysis)에 상당한 요인을 미치며 위치 추정 오차를 발생시키는 주요한 원인이 된다. 따라서 본 논문에서는, 이상점이 포함 된 표본들로부터 정확한 위치 추정을 위해 Robust Statistics를 적용한 가우시안 필터 알고리즘을 제안한다. 제안한 알고리즘은 이상점이 포함된 표본들로부터 이상점을 제거하고, 낮은 확률값의 표본들을 배제함으로써 위치 추정의 정확도를 향상시킨다. 시뮬레이션 결과로부터, 이상점이 포함 된 표본들로부터 비 가우시안적 환경에서 제안된 방법의 위치 추정의 정확성 향상과 강인성을 확인하였다.