• 제목/요약/키워드: 이상점 탐지

검색결과 152건 처리시간 0.024초

이상점 영향력 축소를 통한 무응답 대체법 (A Multiple Imputation for Reducing Outlier Effect)

  • 김만겸;신기일
    • 응용통계연구
    • /
    • 제27권7호
    • /
    • pp.1229-1241
    • /
    • 2014
  • 이상점과 무응답이 동시에 존재하는 경우에는 무응답만 있는 경우에 비해 무응답 대체의 성능이 떨어지게 된다. 이러한 경우에는 먼저 이상점을 탐지하고, 탐지된 이상점의 영향력을 축소한 후 무응답 대체를 실시하여야 한다. 본 논문에서는 이상점의 영향력을 축소하여 무응답 대체법의 성능을 향상시키는 방법을 연구하였다. 이를 위해 She and Owen (2011)이 제안한 이상점 탐지법을 살펴보았고, 탐지된 이상점의 영향력을 줄이기 위한 방법으로 흔히 사용되는 가중치 조정법과 이상점 대체법을 살펴보았다. 또한 이상점 처리 방법을 적용한 무응답 대체법을 살펴보았으며 모의실험과 사례분석을 통하여 이상점 영향력 축소 효과를 살펴보았다.

다변량 장기 종속 시계열에서의 이상점 탐지 (Outlier detection for multivariate long memory processes)

  • 김경희;유승연;백창룡
    • 응용통계연구
    • /
    • 제35권3호
    • /
    • pp.395-406
    • /
    • 2022
  • 본 논문에서는 장기 종속 다변량 시계열 자료에 대한 이상점 탐지 기법을 연구한다. 기존 다변량 시계열 이상점 탐지 방법은 단기 종속 시계열 모형인 VARMA에 기반한 방법으로, 장기억성을 띈 다변량 시계열 자료에는 적합하지 않다. 자기회귀 모형을 통해서 장기 종속성, 즉 장기억성을 고려하기 위해서는 높은 차수의 모형이 필요하고, 이는 곧 추정의 불안성으로 이어지기에 장기억성을 효율적으로 다룰 수 없기 때문이다. 따라서, 본 논문은 이러한 문제를 보완하고자 VHAR 구조에 기반한 이상점 탐지 방법을 제시하고자 한다. 또한 더욱 정확한 추론을 위해서 로버스트한 방법을 이용하여 VHAR 계수를 추정하였고 이를 활용하여 이상점을 탐지하였다. 모의실험 결과 우리가 제안한 방법론이 기존 VARMA에 기반한 방법론보다 이상점 탐지에 더 효과적임을 살펴볼 수 있었다. 주가지수에 대한 실증자료 분석에서도 기존의 방법론은 탐지하지 못하는 추가 이상점을 찾음을 확인할 수 있었다.

XAI(Explainable AI) 기법을 이용한 선박기관 이상탐지 시스템 개발

  • ;;;김동현;이상봉;이지환
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2022년도 추계학술대회
    • /
    • pp.289-290
    • /
    • 2022
  • 본 연구에서는 선박의 중요부품인 메인엔진에서 수집되는 센서 데이터를 사용하여 선박 메인엔진의 이상치를 탐지하는 시스템을 소개한다. 본 시스템의 특장점은 이상치 탐지 뿐만 아니라, 이상치의 센서별 기여도를 정량화 함으로써, 이상치 발생을 유형화 하고 추가적인 분석을 가능하게 해준다. 또한 웹 인터페이스 형태의 편리한 UI를 개발하여 사용자들이 보다 편리하게 이상치

  • PDF

시추공 수리 이상점 탐지를 위한 기계학습 알고리즘의 적용성 연구 (A Study on the Applicability of Machine Learning Algorithms for Detecting Hydraulic Outliers in a Borehole)

  • 최승범;박경우;이창수
    • 터널과지하공간
    • /
    • 제33권6호
    • /
    • pp.561-573
    • /
    • 2023
  • 한국원자력연구원은 심부 암반의 수리/지화학 특성 분석을 위해 KURT (KAERI Underground Research Tunnel)를 건설하였고, 다수의 조사용 시추공을 시추하여 각종 시험을 수행 중이다. 시추공 조사에서 목적에 적합한 조사 구간 선정은 매우 중요하며 수리 유동 파악 및 지하수 채수가 목적인 경우, 유량이 풍부한 구간이 조사 목적에 부합한다. 본 연구에서는 이러한 구간을 수리 이상점으로 정의했으며, 심도 1km 수준의 시추공 물리검층 자료(온도, 전기전도도)를 활용하여 이를 탐지하고자 하였다. 체계적이고 효율적인 이상점 탐지를 위해 기계학습 알고리즘 중 DBSCAN, OCSVM, kNN, isolation forest을 적용하고 그 적용성을 파악하였다. 데이터 전처리와 알고리즘 최적화를 수행했으며, 그 결과 네 가지 알고리즘은 각각 55, 12, 52, 68개의 수리 이상점을 탐지하였다. 본 논문을 통해 기계학습 알고리즘의 활용 가능성을 확인했으나, 학습에 활용된 입력자료가 제한적이었기 때문에, 향후 추가적인 검증과 보완이 바람직한 것으로 판단된다.

평균이동모형을 이용한 성장곡선모형의 이상점 진단에 관한 연구 (Outlier Detection in Growth Curve Model Using Mean-Shift Model)

  • 심규박
    • Journal of the Korean Data and Information Science Society
    • /
    • 제10권2호
    • /
    • pp.369-385
    • /
    • 1999
  • 성장곡선모형에서 다중 이상값들이나 영향관측값들을 탐지하는 문제는 선형회귀모형에서의 문제에 비해 매우 복잡하여 거의 이루어지지 않고 있는 실정이다. 본 연구에서는 이상점을 포함하고 있는 성장곡선모형에서 이들을 탐지하는 방법으로 평균이동모형을 이용하는 방법을 소개하였다. 이 방법을 이용하여 찾아낸 자료가 이상점인지의 여부를 예측표본재이용 의사 베이즈 우도 기준법을 이용한 등분산성의 검정을 통해 알아보았다. 끝으로 Potthoff(1964)등이 사용한 자료를 이용한 예제를 통해 이상점 탐지와 등분 산성 검정을 실시한 결과를 제시하였다.

  • PDF

이상점 탐지를 위한 일반화 우도비 검정 (A Generalized Likelihood Ratio Test in Outlier Detection)

  • Jang Sun Baek
    • 응용통계연구
    • /
    • 제7권2호
    • /
    • pp.225-237
    • /
    • 1994
  • 본 연구에서는 핵확산 감시와 관련된 이상점 탐지를 위한 일반화 우도비 검정 방법이 개발되었다. 고전적인 이상점 탐지방법들이 연속형 변수만을 고려한 반면, 본 연구에서 제안된 방법은 연속형 변수, 이산형 변수, 혹은 이산형과 연속형이 혼합된 변수들에 모두 적용될 수 있다. 더우기 대부분의 고전적인 방법들에 있어서 주로 이용된 정규분포 가정을 필요로 하지 않는다. 본 연구에서 제안된 방법은 일반화 우도비에 붓스트랩 방법을 적용하여 구성되었다. 모의 실험을 통하여 검정력을 고찰함으로써 제안된 검정방법의 성능을 연구하였다.

  • PDF

Extra Tree와 ANN을 활용한 이상 탐지 및 공격 유형 분류 메커니즘 (Anomaly detection and attack type classification mechanism using Extra Tree and ANN)

  • 김민규;한명묵
    • 인터넷정보학회논문지
    • /
    • 제23권5호
    • /
    • pp.79-85
    • /
    • 2022
  • 이상 탐지는 일반적인 사용자들의 데이터 집합 속에서 비정상적인 데이터 흐름을 파악하여 미리 차단하는 방법이다. 기존에 알려진 방식은 이미 알려진 공격의 시그니처를 활용하여 시그니처 기반으로 공격을 탐지 및 방어하는 방식인데, 이는 오탐율이 낮다는 장점이 있지만 제로 데이 취약점 공격이나 변형된 공격에 대해서는 매우 취약하다는 점이 문제점이다. 하지만 이상 탐지의 경우엔 오탐율이 높다는 단점이 존재하지만 제로 데이 취약점 공격이나 변형된 공격에 대해서도 식별하여 탐지 및 차단할 수 있다는 장점이 있어 관련 연구들이 활발해지고 있는 중이다. 본 연구에서는 이 중 이상 탐지 메커니즘에 대해 다뤘다. 앞서 말한 단점인 높은 오탐율을 보완하며 그와 더불어 이상 탐지와 분류를 동시에 수행하는 새로운 메커니즘을 제안한다. 본 연구에서는 여러 알고리즘의 특성을 고려하여 5가지의 구성으로 실험을 진행하였다. 그 결과로 가장 우수한 정확도를 보이는 모델을 본 연구의 결과로 제안하였다. Extra Tree와 Three layer ANN을 동시에 적용하여 공격 여부를 탐지한 후 공격을 분류된 데이터에 대해서는 Extra Tree를 활용하여 공격 유형을 분류하게 된다. 본 연구에서는 NSL-KDD 데이터 세트에 대해서 검증을 진행하였으며, Accuracy는 Normal, Dos, Probe, U2R, R2L에 대하여 각각 99.8%, 99.1%, 98.9%, 98.7%, 97.9%의 결과를 보였다. 본 구성은 다른 모델에 비해 우수한 성능을 보였다.

R을 이용한 이상점 탐지 알고리즘의 구현 (Realization of an outlier detection algorithm using R)

  • 송규문;문지은;박철용
    • Journal of the Korean Data and Information Science Society
    • /
    • 제22권3호
    • /
    • pp.449-458
    • /
    • 2011
  • 불법 오물 투기는 정부가 당면한 시급한 문제들 중의 하나이다. 최근 들어 관련기관들은 실시간으로 연속적으로 수질의 상태를 감지 할 수 있는 화학적 산소요구량 자동측정기를 강과 하천 등에 설치하고 있다. 본 논문에서는 시계열 간섭모형을 이용하여 화학적 산소요구량 자동측정기로부터 발생하는 데이터를 분석하여 투기시점이라고 여겨지는 이상점을 탐지하는 알고리즘을 R언어를 이용하여 구현한다. R을 이용한 알고리즘을 통해 단계별 계산에서 수동 작업을 피할 수 있기 때문에 알고리즘의 자동화를 달성할 수 있고, 한 단계 더 나아가 모의실험에서 사용될 수 있을 것이다.

부하테스트를 활용한 클라우드 운영 환경의 이상탐지 알고리즘 성능 분석 (Anomaly Detection Algorithm Performance Analysis of Cloud Operating Environment using Stress Test)

  • 김진희;이찬재;윤호영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.837-840
    • /
    • 2021
  • 안정적인 서버 운영을 위해 이상 패턴 및 개체를 식별하는 이상탐지 연구가 활발하게 연구되어 오고 있다. 이상탐지의 대표적인 예로 서버의 사용량 증가를 꼽을 수 있지만, 실제 이상 데이터 수집 및 현상의 재현이 어렵다는 점은 해당 연구의 어려움으로 존재한다. 본 연구는 다양한 시나리오 기반의 부하테스트를 설계하고, 클라우드 환경에서 이상 데이터를 생성 및 수집하였다. 해당 데이터는 이상탐지에 대표적으로 사용되는 알고리즘의 성능을 비교 분석에 활용하였으며, 실험을 통해 각 알고리즘의 신뢰 수준을 확인하였다. 이는 다양한 서버 운영 환경에 적합한 알고리즘을 채택하는데 활용 가능하며, 결과적으로 안정적이고 효율적인 서버 운영에 기여할 수 있을 것으로 사료된다.

Comparison of parameter estimation methods for time series models in the presence of outliers

  • 조신섭;이재준;김수화
    • 응용통계연구
    • /
    • 제5권2호
    • /
    • pp.255-268
    • /
    • 1992
  • 본 논문에서는 이상점이 포함된 시계열 자료의 모수추정법으로 반복보간추정법을 제안하였 다. 제안된 방법은 이상점이 더 이상 탐지되지 않을 때까지 모수추정의 단계와 이상점의 탐 지 단계를 반복하는 접근 방법이다. 이상점의 탐지를 위해서는 비정상적인 자료를 보가추정 법으로 대치하는 보간 검진기법을 적용하였다. 또한 추정과정에서 비정상적인 자료의 비중 을 적게하는 대신에 비정상적인 자료를 시계열모형의 구조를 이용한 1-시점후의 예측값으 로 대치하는 수정된 GM-추정법을 제안하였다. 모의실험에 의해 제안된 추정법들과 기존의 로버스트추정법들의 성질을 비교하였다. 모의실험의 결과 반복보간추정법이 다른 추정법보 다 우월한 성질을 가짐을 알 수 있었으며, 특히 AO가 하나만 있는 경우와 모수의 절대값이 큰 경우에 가장 우수함을 확인 할 수 있었다.

  • PDF