• 제목/요약/키워드: outlier detecting

검색결과 48건 처리시간 0.024초

A novel transmissibility concept based on wavelet transform for structural damage detection

  • Fan, Zhe;Feng, Xin;Zhou, Jing
    • Smart Structures and Systems
    • /
    • 제12권3_4호
    • /
    • pp.291-308
    • /
    • 2013
  • A novel concept of transmissibility based on a wavelet transform for structural damage detection is presented in this paper. The main objective of the research was the development of a method for detecting slight damage at the incipient stage. As a vibration-based approach, the concept of transmissibility has attracted considerable interest because of its advantages and effectiveness in damage detection. However, like other vibration-based methods, transmissibility-based approaches suffer from insensitivity to slight local damage because of the regularity of the traditional Fourier transform. Therefore, the powerful signal processing techniques must be found to solve this problem. Wavelet transform that is able to capture subtle information in measured signals has received extensive attention in the field of damage detection in recent decades. In this paper, we first propose a novel transmissibility concept based on the wavelet transform. Outlier analysis was adopted to construct a damage detection algorithm with wavelet-based transmissibility. The feasibility of the proposed method was numerically investigated with a typical six-degrees-of-freedom spring-mass system, and comparative investigations were performed with a conventional transmissibility approach. The results demonstrate that the proposed transmissibility is more sensitive than conventional transmissibility, and the former is a promising tool for structural damage detection at the incipient stage.

시추공 수리 이상점 탐지를 위한 기계학습 알고리즘의 적용성 연구 (A Study on the Applicability of Machine Learning Algorithms for Detecting Hydraulic Outliers in a Borehole)

  • 최승범;박경우;이창수
    • 터널과지하공간
    • /
    • 제33권6호
    • /
    • pp.561-573
    • /
    • 2023
  • 한국원자력연구원은 심부 암반의 수리/지화학 특성 분석을 위해 KURT (KAERI Underground Research Tunnel)를 건설하였고, 다수의 조사용 시추공을 시추하여 각종 시험을 수행 중이다. 시추공 조사에서 목적에 적합한 조사 구간 선정은 매우 중요하며 수리 유동 파악 및 지하수 채수가 목적인 경우, 유량이 풍부한 구간이 조사 목적에 부합한다. 본 연구에서는 이러한 구간을 수리 이상점으로 정의했으며, 심도 1km 수준의 시추공 물리검층 자료(온도, 전기전도도)를 활용하여 이를 탐지하고자 하였다. 체계적이고 효율적인 이상점 탐지를 위해 기계학습 알고리즘 중 DBSCAN, OCSVM, kNN, isolation forest을 적용하고 그 적용성을 파악하였다. 데이터 전처리와 알고리즘 최적화를 수행했으며, 그 결과 네 가지 알고리즘은 각각 55, 12, 52, 68개의 수리 이상점을 탐지하였다. 본 논문을 통해 기계학습 알고리즘의 활용 가능성을 확인했으나, 학습에 활용된 입력자료가 제한적이었기 때문에, 향후 추가적인 검증과 보완이 바람직한 것으로 판단된다.

네트워크 침입탐지를 위한 밀도함수 기반 아웃라이어 탐지 기법 (Density Function-based Outlier Detection Algorithm for Detecting Network Intrusion)

  • 박종명;김한준
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (A)
    • /
    • pp.148-150
    • /
    • 2005
  • 네트워크 기반 오용 탐지 시스템은 이미 알려진 공격기법만 탐지할 수 있기 때문에 새로운 공격에 대한 탐지를 하기 위해서는 수시로 새로운 침입패턴을 추가시켜야 하는 어려움이 있다. 본 논문에서는 이런 어려움을 해결하기 위해 네트워크 데이터를 분석하여 새로운 침입패턴을 생성해 내는 자동화 시스템과 제안된 시스템의 성능을 결정짓는 밀도 함수 기반의 아웃라이어 탐지 알고리즘을 제안한다. 알고리즘의 성능 평가는 정확도 재현율을 결합한 조화평균의 측정값을 이용하여 사용하여 평가했으며 기존 알고리즘보다 성능이 향상되었음을 보인다.

  • PDF

소셜 네트워크 분석을 통한 소외계층 발견 방법 (A Method for Detecting Outlier Communities in Social Networks)

  • 최동진;김정인;김판구
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 추계학술발표대회
    • /
    • pp.447-449
    • /
    • 2012
  • 본 논문은 소셜 네트워크 서비스 내에 존재하는 사용자간의 인맥 네트워크 정보와 사용자들 간에 주고받는 메시지의 긍정, 부정 성향 분석을 통하여 상대적으로 고립되거나 소외된 사용자를 발굴하는 방법에 대한 내용을 다룬다. 현재 소셜 네트워크 서비스를 이용하여 인맥 네트워크를 분석하거나 특정 인물의 영향력을 분석 또는 화두가 되는 이슈 및 트렌드를 추출하는 연구에 초점이 맞춰지고 있다. 사회적으로 크게 대두되고 있는 학교폭력, 자살, 왕따와 같은 문제점을 해결하기 위하여 소셜 네트워크 분석을 통한 고립 및 소외계층 발견 기법이 필요하다. 따라서 본 논문에서는 기존의 소셜 네트워크 분석기법으로 해결할 수 없는 소외계층 발견 방법을 제안한다.

A Novel Network Anomaly Detection Method based on Data Balancing and Recursive Feature Addition

  • Liu, Xinqian;Ren, Jiadong;He, Haitao;Wang, Qian;Sun, Shengting
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권7호
    • /
    • pp.3093-3115
    • /
    • 2020
  • Network anomaly detection system plays an essential role in detecting network anomaly and ensuring network security. Anomaly detection system based machine learning has become an increasingly popular solution. However, due to the unbalance and high-dimension characteristics of network traffic, the existing methods unable to achieve the excellent performance of high accuracy and low false alarm rate. To address this problem, a new network anomaly detection method based on data balancing and recursive feature addition is proposed. Firstly, data balancing algorithm based on improved KNN outlier detection is designed to select part respective data on each category. Combination optimization about parameters of improved KNN outlier detection is implemented by genetic algorithm. Next, recursive feature addition algorithm based on correlation analysis is proposed to select effective features, in which a cross contingency test is utilized to analyze correlation and obtain a features subset with a strong correlation. Then, random forests model is as the classification model to detection anomaly. Finally, the proposed algorithm is evaluated on benchmark datasets KDD Cup 1999 and UNSW_NB15. The result illustrates the proposed strategies enhance accuracy and recall, and decrease the false alarm rate. Compared with other algorithms, this algorithm still achieves significant effects, especially recall in the small category.

국토해양부 NDGPS 정확도 향상을 위한 의사거리 보정치의 이상점 및 노이즈 제거기법 개발 (Development of Removal Techniques for PRC Outlier & Noise to Improve NDGPS Accuracy)

  • 김군택;김혜인;박관동
    • 대한공간정보학회지
    • /
    • 제19권2호
    • /
    • pp.63-73
    • /
    • 2011
  • DGPS(Differential Global Positioning System) 측위에 보정정보로 사용되는 의사거리 보정치(PRC, Pseudo Range Correction)에는 불규칙적으로 이상점, 노이즈, 이상현상이 발생한다. 이러한 의사거리 보정치를 보정정보로 사용한 DGPS 측위의 경우 측위 오차는 증가하게 된다. 따라서 이 연구에서는 발생되는 의사거리 보정치의 이상점, 노이즈, 이상현상을 다항식 곡선 접합을 적용한 모델링을 통해 검출 및 보정하는 기법을 제안하였다. 또한 의사거리 보정치 모델의 검증을 위해 보정 전 후의 의사거리 보정치를 DGPS 측위에 사용하여 측위오차를 분석하였다. 분석 결과, 이상점, 노이즈, 이상현상이 발생하는 의사거리 보정치를 사용한 측위의 RMS 오차는 수평방향으로 3.84m로 나타났고, 보정된 의사거리 보정치를 사용한 측위에서는 RMS 오차가 수평방향으로 1.49m로 나타나서 측위 정확도가 향상되는 것을 확인하였다.

부정 탐지를 위한 이상치 분석 활용방안 연구 : 농수산 상장예외품목 거래를 대상으로 (A Study on the Application of Outlier Analysis for Fraud Detection: Focused on Transactions of Auction Exception Agricultural Products)

  • 김동성;김기태;김종우;박성기
    • 지능정보연구
    • /
    • 제20권3호
    • /
    • pp.93-108
    • /
    • 2014
  • 기업 의사 결정 지원을 위하여 거래 데이터를 다양한 관점에서 분석하고 활용하려는 노력과 관심들이 증가하고 있다. 이러한 노력들은 고객 관리나 마케팅에만 국한되는 것이 아니라 부정행위에 대한 감시와 탐지를 목적으로도 다양한 분석 방안들이 연구되고 있다. 부정행위는 기술의 발전을 악용하여 다양한 형태로 진화하고 있으며, 이에 따라 목적에 맞는 부정탐지 방안 연구와 적용을 통하여 탐지 효용의 극대화를 위한 노력의 필요성이 증가하고 있다. 이러한 연구 동향의 일환으로 본 연구에서는 대용량 거래 데이터가 저장 관리되고 있는 국내 최대 농수산물 유통 시장의 2008년부터 2010년까지 상장예외품목의 거래 가격을 분석하여 부정 탐지 규칙을 도출하였으며, 전문가 검증을 통하여 도출 된 규칙의 신뢰성을 확보하였다. 본 연구의 주요 부정거래 분석 방안으로는 정상적인 데이터들은 발생 확률이 높은 반면에 특이한 데이터들의 발생 확률은 낮다고 가정하는 통계적 접근을 통한 이상치 식별 방안을 활용하였다. 이에 따라 부정거래 분석 별로 정의 된 Z-Score 값보다 클 경우 부정거래 탐지 대상이 된다. 다만 상장예외품목 거래의 경우 취급 가능한 중도매인의 수가 제한되어 있으며, 일반적인 상장품목의 거래보다 거래량이 적기 때문에 소수의 이상치가 품목의 평균에 미치는 영향이 크다. 그 예로 다른 소수의 중도매인들이 해당 품목을 정상적인 가격에 거래하였더라도, 특정한 중도매인 한 명이 지나치게 비정상적인 가격에 거래할 경우 모든 거래들이 부정거래로 탐지 될 가능성도 있다. 이러한 문제를 해결하기 위하여 기존의 Z-Score의 개념을 활용하여 수정된 Z-Score(Self-Eliminated Z-Score)를 사용하였다. 또한 부정 유형별 탐지 규칙 관리와 활용을 위한 시스템 프로토타입(prototype) 개발을 수행하였다. 이를 통하여 실제 부정거래 탐지 업무에 적용할 수 있는 효과적인 방안을 제시하였고, 농수산 유통시장의 공정성 및 투명성 확보를 위한 관리 감독의 기능 강화가 가능할 것이다.

Mura 검출을 위한 Model Fitting 및 Least Square Estimator의 비교 (Comparison of Model Fitting & Least Square Estimator for Detecting Mura)

  • 오창환;주효남;류근호
    • 제어로봇시스템학회논문지
    • /
    • 제14권5호
    • /
    • pp.415-419
    • /
    • 2008
  • Detecting and correcting defects on LCD glasses early in the manufacturing process becomes important for panel makers to reduce the manufacturing costs and to improve productivity. Many attempts have been made and were successfully applied to detect and identify simple defects such as scratches, dents, and foreign objects on glasses. However, it is still difficult to robustly detect low-contrast defect region, called Mura or blemish area on glasses. Typically, these defect areas are roughly defined as relatively large, several millimeters of diameter, and relatively dark and/or bright region of low Signal-to-Noise Ratio (SNR) against background of low-frequency signal. The aim of this article is to present a robust algorithm to segment these blemish defects. Early 90's, a highly robust estimator, known as the Model-Fitting (MF) estimator was developed by X. Zhuang et. al. and have been successfully used in many computer vision application. Compared to the conventional Least-Square (LS) estimator the MF estimator can successfully estimate model parameters from a dataset of contaminated Gaussian mixture. Such a noise model is defined as a regular white Gaussian noise model with probability $1-\varepsilon$ plus an outlier process with probability $varepsilon$. In the sense of robust estimation, the blemish defect in images can be considered as being a group of outliers in the process of estimating image background model parameters. The algorithm developed in this paper uses a modified MF estimator to robustly estimate the background model and as a by-product to segment the blemish defects, the outliers.

동적 그림을 이용한 이상치 검색 (Outlier Detection Using Dynamic Plots)

  • 안병진;서한손
    • 응용통계연구
    • /
    • 제24권5호
    • /
    • pp.979-986
    • /
    • 2011
  • 선형회귀모형분석은 방법의 간편성과 높은 적용성에 의해 다양한 종류의 자료 분석에 활용되고 있다. 하지만 자료에 이상치가 포함되는 경우 이에 민감하게 영향을 받게 되므로 의심되는 관찰치를 찾아서 이상치 여부를 검토하는 것이 중요하다. 그러나 이상치를 탐지하는 방법의 대부분은 가면화 효과 등 이상치로부터 영향을 받아 정확하게 이상치를 발견하지 못하는 경우가 있다. 본 연구에서는 이를 개선하기 위하여 동적 잔차도를 활용한 방법을 제안한다. 제안된 방법은 종속적 이상치탐지방법을 사용할 때 다양한 기초군을 제공하는데 유용하며 결과적으로 정확한 이상치군을 탐지하게 되는 것을 예를 통해 검증한다.

Evaluation of Amplified-based Target Preparation Strategies for Toxicogenomics Study : cDNA versus cRNA

  • Nam, Suk-Woo;Lee, Jung-Young
    • Molecular & Cellular Toxicology
    • /
    • 제1권2호
    • /
    • pp.92-98
    • /
    • 2005
  • DNA microarray analysis of gene expression in toxicogenomics typically requires relatively large amounts of total RNA. This limits the use of DNA microarray when the sample available is small. To confront this limitation, different methods of linear RNA amplification that generate antisense RNA (aRNA) have been optimized for microarray use. The target preparation strategy using amplified RNA in DNA microarray protocol can be divided into direct-incorporation labeling which resulted in cDNA targets (Cy-dye labeled cDNA from aRNA) and indirect-labeling which resulted in cRNA targets (i.e. Cy-dye labeled aRNA), respectively. However, despite the common use of amplified targets (cDNA or cRNA) from aRNAs, no systemic assessment for the use of amplified targets and bias in terms of hybridization performance has been reported. In this investigation, we have compared the hybridization performance of cRNA targets with cDNA targets from aRNA on a 10 K cDNA microarrays. Under optimized hybridization conditions, we found that 43% of outliers from cDNA technique and 86% from the outlier genes were reproducibly detected by both targets hybridization onto cDNA microarray. This suggests that the cRNA labeling method may have a reduced capacity for detecting the differential gene expression when compared to the cDNA target preparation. However, further validation of this discordant result should be pursued to determine which techniques possesses better accuracy in identifying truly differential genes.