• Title/Summary/Keyword: Outlier elimination

검색결과 16건 처리시간 0.018초

소프트웨어 공수 예측의 정확성에 대한 이상치 제거의 영향 분석 (Analyzing Influence of Outlier Elimination on Accuracy of Software Effort Estimation)

  • 서영석;윤경아;배두환
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제35권10호
    • /
    • pp.589-599
    • /
    • 2008
  • 정확한 소프트웨어 공수 예측은 소프트웨어 관련 여러 커뮤니티들에서 예전부터 항상 이슈가 되어 왔다. 소프트웨어 공수 예측의 정확도를 향상시키기 위해 지금까지 많은 연구들에서는 데이타 품질이 공수 예측에 중요한 요소들 중 하나임에도 불구하고 이것에 대한 고려 없이 공수 예측 기법들에만 초점을 맞추어 왔다. 본 연구에서는 소프웨어어 공수 예측 기법과 이상치 제거 기법들 사이의 영향 관계를 공수 예측 정확도의 관점에서 실험적으로 살펴본다. 두 개의 프로젝트 데이타들(ISBSG와 국내의 한 금융 조직으로부터 수집된 데이타)에 대해 일반적으로 많이 사용되는 세 가지 공수 예측 기법(최소제곱법, 신경망 네트워크, 그리고 베이지안 네트워크)과 두 가지 이상치 제거 기법(최소절사제곱법과 K-means 클러스터링)을 적용시켜 결과들을 서로 비교해 보고 이상치 제거 기법을 적용하지 않은 결과와도 비교해 본다.

M-추정을 사용한 국방과학기술 수준조사 기술성장모형의 이상치 제거 (Elimination of Outlier from Technology Growth Curve using M-estimator for Defense Science and Technology Survey)

  • 김장헌
    • 한국군사과학기술학회지
    • /
    • 제23권1호
    • /
    • pp.76-86
    • /
    • 2020
  • Technology growth curve methodology is commonly used in technology forecasting. A technology growth curve represents the paths of product performance in relation to time or investment in R&D. It is a useful tool to compare the technological performances between Korea and advanced nations and to describe the inflection points, the limit of improvement of a technology and their technology innovation strategies, etc. However, the curve fitting to a set of survey data often leads to model mis-specification, biased parameter estimation and incorrect result since data through survey with experts frequently contain outlier in process of curve fitting due to the subjective response characteristics. This paper propose a method to eliminate of outlier from a technology growth curve using M-estimator. The experimental results prove the overall improvement in technology growth curves by several pilot tests using real-data in Defense Science and Technology Survey reports.

Improving the Quality of Response Surface Analysis of an Experiment for Coffee-Supplemented Milk Beverage: I. Data Screening at the Center Point and Maximum Possible R-Square

  • Rheem, Sungsue;Oh, Sejong
    • 한국축산식품학회지
    • /
    • 제39권1호
    • /
    • pp.114-120
    • /
    • 2019
  • Response surface methodology (RSM) is a useful set of statistical techniques for modeling and optimizing responses in research studies of food science. As a design for a response surface experiment, a central composite design (CCD) with multiple runs at the center point is frequently used. However, sometimes there exist situations where some among the responses at the center point are outliers and these outliers are overlooked. Since the responses from center runs are those from the same experimental conditions, there should be no outliers at the center point. Outliers at the center point ruin statistical analysis. Thus, the responses at the center point need to be looked at, and if outliers are observed, they have to be examined. If the reasons for the outliers are not errors in measuring or typing, such outliers need to be deleted. If the outliers are due to such errors, they have to be corrected. Through a re-analysis of a dataset published in the Korean Journal for Food Science of Animal Resources, we have shown that outlier elimination resulted in the increase of the maximum possible R-square that the modeling of the data can obtain, which enables us to improve the quality of response surface analysis.

건설 계측 데이터에 대한 통합 이상치 분석 시스템 개발 (Development of Integrated Outlier Analysis System for Construction Monitoring Data)

  • 전제성
    • 한국지반환경공학회 논문집
    • /
    • 제21권5호
    • /
    • pp.5-11
    • /
    • 2020
  • 구조물의 이상징후 판단 및 장단기 안정성, 장래 거동 등의 판단에 다양한 계측결과가 효율적으로 이용되기 위해서는 계측 데이터 내에 포함한 각종 이상치의 판정 및 제거가 필요하다. 본 연구에서는 장기 시계열 데이터에 대한 이상치 평가를 수행하기 위한 통합 이상치 분석 시스템을 개발하였다. 이상치 평가는 시계열 분석법에 의한 단일 데이터셋 대상의 1차 이상치 분석과 합성신호 기반의 다중 데이터셋에 대한 2차 이상치 분석으로 구분하여 단계별로 수행되었다. 통합 이상치 분석 시스템은 구조물에 대한 종합 안전관리 플랫폼과 실시간 연동되어 구조물의 각종 안전성 평가 및 거동 예측 등을 위한 기초자료를 제공할 수 있도록 개발되었다. 현장 적용을 통해 일정 경향을 보이는 동종의 다수 센서들의 합성신호와 개별 데이터셋 간의 상관성이 크게 증가함을 확인할 수 있었으며, 상관성에 대한 가중치 적용을 통해 차별 거동을 보이는 다양한 센서 계측치들도 모두 통합 이상치 분석에 활용될 수 있음을 확인 할 수 있었다.

통행시간 추정을 위한 Voting Rule과 중위절대편차법 기반의 복합 필터링 모형 (Combined Filtering Model Using Voting Rule and Median Absolute Deviation for Travel Time Estimation)

  • 정영제;박현석;김병화;김영찬
    • 한국ITS학회 논문지
    • /
    • 제12권6호
    • /
    • pp.10-21
    • /
    • 2013
  • 본 연구에서는 교통정보시스템에서 통행시간의 이상치 자료를 제거하기 위한 복합 필터링 모형을 제시하였으며, 이는 중위절대편차법과 Voting Rule을 기반으로 하는 이중화된 필터링 모형에 해당한다. 본 모형은 중위절대편차법을 이용해 표본을 정규분포화 시키기 위한 1차 필터링을 수행하며, 이후 Voting Rule을 이용해 중위절대편차법의 적용 이후에도 남아 있는 이상치 자료를 제거하는 방식에 해당한다. 이때 Voting Rule은 표본의 통행시간과 평균통행시간의 차이가 임계치를 초과하는 경우 해당 표본을 이상치로 판정하며, 다수결의 원칙을 이용하여 이상치 자료의 비율에 따라 이상치에 대한 제거 여부를 결정한다. 일반국도 3호선의 경기도 광주시 구간을 대상으로 한 사례분석을 통해 복합 필터링 모형이 이상치 표본 만을 선택적으로 제거하여 통행시간 추정의 정확도 개선에 기여할 수 있음을 확인하였다.

특이값 제거 기법을 적용한 수중 이동체의 음향 거리 추정 (Acoustic range estimation of underwater vehicle with outlier elimination)

  • 이경원;오단비;김기만;김태형;이희창
    • 한국음향학회지
    • /
    • 제43권4호
    • /
    • pp.383-390
    • /
    • 2024
  • 수중 이동체의 방사소음을 측정하는 경우 이동체와 수신기 사이의 거리 정보가 중요한 요소이지만 수중에서는 Global Positioning System(GPS)를 사용할 수 없기 때문에 대체 수단이 필요하다. 대체 수단으로써 별도의 음향신호를 이용하여 도달 시간, 도달 시간 차 및 도달 주파수 차 등을 추정하여 거리를 측정한다. 하지만 채널 환경에 의해 오류가 발생하며, 이러한 특이값들은 연속적으로 거리를 측정함에 있어서 장애 요인이 된다. 본 논문에서는 거리 정보를 측정하는 과정에서 발생한 특이값들을 제거하기 위하여 사후 처리로써 V-곡선 형태의 함수로 곡선 적합하여 오류를 감소시키는 방법을 제안한다. 제안한 방법의 성능검증을 위해 모의, 호수 및 해상실험을 수행하였다. 호수실험 결과에서는 Root Mean Square Error(RMSE) 관점에서 약 85 % 정도로 거리 추정 오차가 감소하였다.

이상치 제거와 삼각망 기반의 지역 변환을 이용한 영상 등록 (Image registration using outlier removal and triangulation-based local transformation)

  • 예철수
    • 대한원격탐사학회지
    • /
    • 제30권6호
    • /
    • pp.787-795
    • /
    • 2014
  • 본 논문에서는 정합된 특징점 가운데 과대 오차를 포함한 정합점을 제거한 후에 삼각망 기반 지역 변환(Triangulation-based Local Transformation, TLT)을 이용한 영상 등록 방법을 제안한다. 기하 평균 기반의 코너 검출기를 통해 검출된 코너점에 대해 Pearson's correlation coefficient를 이용한 코너 정합을 수행하고 임계값 이상의 유사도를 가지는 코너 가운데 좌우 일관성 검사(Left-Right Consistency, LRC)를 통과한 코너를 1차 정합쌍으로 선정한다. 1차 정합쌍 가운데 RANSAC 기반 글로벌 변환(RANSAC-based Global Transformation, RGT) 오차가 이상치 임계값보다 작은 정합쌍을 최종 정합쌍으로 결정한다. 최종 정합쌍 코너를 이용해서 기준 영상과 관측 영상에서 Delaunay Triangulated Irregular Networks(TINs)을 각각 구성한 후에 서로 대응되는 각 삼각형마다 어파인 변환을 수행하고 각 삼각형 내부의 모든 화소들을 기준 영상 좌표로 변환한다. 제안한 알고리즘을 KOMPSAT-2 영상에 적용하여 RANSAC 기반 글로벌 변환보다 우수한 영상 등록 성능을 보임을 확인하였다.

통행시간 추정을 위한 TCS 데이터의 전처리 모형 개발 (A Development of Preprocessing Models of Toll Collection System Data for Travel Time Estimation)

  • 이현석;남궁성
    • 한국ITS학회 논문지
    • /
    • 제8권5호
    • /
    • pp.1-11
    • /
    • 2009
  • TCS (Toll Collection System) 데이터는 원시 데이터 자체로서도 구간의 교통상황을 어느 정도 반영할 수 있는 교통특 성을 내포하고 있다. 그러나 TCS 데이터에는 이상치가 포함되어 있어 이러한 데이터는 해당 구간의 통행시간을 대표한다고 볼 수 없으므로 만약 이러한 이상치들이 포함되어 있음에도 불구하고 제거하지 않고 집락을 한다면 이상치들로 인해 통행시간은 크게 왜곡 될 가능성이 있다. 특히 장거리 구간일수록 통행시간의 분산이 증가하여 동일구간 동일시간대라도 다양한 통행시간이 분포하고 있다. 구간이 길어질수록 통행시간의 변동이 심하여 적절한 통행시간 대푯값을 구하기가 어렵다. 따라서 TCS 자료를 이용하여 통행시간의 대푯값을 산정하기 위해서는 통행시간의 변동 특성을 파악하는 것이 중요하다. 본 연구에서는 TCS 데이터의 전처리 기법을 개선하되 구간의 길이와 교통상황에 따른 통행시간의 변동을 고려하여 TCS 원시데이터로부터 시 공간적 통행패턴을 파악할 수 있는 의미 있는 통행시간을 추출하고자 한다.

  • PDF

An Application of Support Vector Machines to Customer Loyalty Classification of Korean Retailing Company Using R Language

  • 응위엔푸티엔;이영찬
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제26권4호
    • /
    • pp.17-37
    • /
    • 2017
  • Purpose Customer Loyalty is the most important factor of customer relationship management (CRM). Especially in retailing industry, where customers have many options of where to spend their money. Classifying loyal customers through customers' data can help retailing companies build more efficient marketing strategies and gain competitive advantages. This study aims to construct classification models of distinguishing the loyal customers within a Korean retailing company using data mining techniques with R language. Design/methodology/approach In order to classify retailing customers, we used combination of support vector machines (SVMs) and other classification algorithms of machine learning (ML) with the support of recursive feature elimination (RFE). In particular, we first clean the dataset to remove outlier and impute the missing value. Then we used a RFE framework for electing most significant predictors. Finally, we construct models with classification algorithms, tune the best parameters and compare the performances among them. Findings The results reveal that ML classification techniques can work well with CRM data in Korean retailing industry. Moreover, customer loyalty is impacted by not only unique factor such as net promoter score but also other purchase habits such as expensive goods preferring or multi-branch visiting and so on. We also prove that with retailing customer's dataset the model constructed by SVMs algorithm has given better performance than others. We expect that the models in this study can be used by other retailing companies to classify their customers, then they can focus on giving services to these potential vip group. We also hope that the results of this ML algorithm using R language could be useful to other researchers for selecting appropriate ML algorithms.