• 제목/요약/키워드: anomaly detection algorithm

검색결과 161건 처리시간 0.02초

Imbalanced SVM-Based Anomaly Detection Algorithm for Imbalanced Training Datasets

  • Wang, GuiPing;Yang, JianXi;Li, Ren
    • ETRI Journal
    • /
    • 제39권5호
    • /
    • pp.621-631
    • /
    • 2017
  • Abnormal samples are usually difficult to obtain in production systems, resulting in imbalanced training sample sets. Namely, the number of positive samples is far less than the number of negative samples. Traditional Support Vector Machine (SVM)-based anomaly detection algorithms perform poorly for highly imbalanced datasets: the learned classification hyperplane skews toward the positive samples, resulting in a high false-negative rate. This article proposes a new imbalanced SVM (termed ImSVM)-based anomaly detection algorithm, which assigns a different weight for each positive support vector in the decision function. ImSVM adjusts the learned classification hyperplane to make the decision function achieve a maximum GMean measure value on the dataset. The above problem is converted into an unconstrained optimization problem to search the optimal weight vector. Experiments are carried out on both Cloud datasets and Knowledge Discovery and Data Mining datasets to evaluate ImSVM. Highly imbalanced training sample sets are constructed. The experimental results show that ImSVM outperforms over-sampling techniques and several existing imbalanced SVM-based techniques.

패킷간 연관 관계를 이용한 네트워크 비정상행위 탐지 (Network Anomaly Detection based on Association among Packets)

  • 오상현;이원석
    • 정보보호학회논문지
    • /
    • 제12권5호
    • /
    • pp.63-73
    • /
    • 2002
  • 최근에 컴퓨터 침입으로 인한 피해가 날로 증가하고 있으며 다양한 침입 기법들이 새롭게 개발되고 있다. 따라서 침입자들의 행위를 효과적으로 탐지하기 위해서 기존의 오용탐지 방법과 더불어 비정상행위 모델의 적용에 대한 많은 연구가 진행되었다. 본 논문에서는 네트워크를 통해서 수신되는 패킷에 대한 정상행위 패턴을 생성하기 위해서 패킷 내 뿐만 아니라 패킷간의 연관성을 탐사하는 새로운 연관 규칙 알고리즘을 제안한다. 이와 더불어 다양한 실험을 통해서 본 논문에서 제안된 비정상행위 판정시스템에서 탐지율을 최대화 할 수 있는 임계치 값들을 제시한다. 결과적으로 효과적인 비정상행위 판정이 가능하다.

RRCF 알고리즘을 활용한 RAN 장비 이상 검출에 관한 연구 (A Study on RAN Equipment Anomaly Detection Using RRCF Algorithm)

  • 이택현;국광호
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 춘계학술대회
    • /
    • pp.581-583
    • /
    • 2021
  • 코로나19의 펜데믹 현상으로 인하여 모바일 서비스의 활용 비중이 높아지고 있다. 그러나, 대부분의 모바일 장비에 대한 이상 현상을 장비의 알람 중심으로 인지하므로, 복잡한 장애가 발생할 경우에 직관적으로 장비의 문제 판별하기 어려운 한계가 발생한다. 이를 보완하기 위해서 본 연구에서는 장비의 알람과 성능 정보를 조합하여 직관적으로 문제를 인지할 수 있도록 RRCF 알고리즘을 활용하여 Anomaly Score 생성하였으며, 과거 장애 이력을 97% 검출하는 효과를 검증하였다.

  • PDF

시스템 호출 기반의 사운덱스 알고리즘을 이용한 신경망과 N-gram 기법에 대한 이상 탐지 성능 분석 (Anomaly Detection Performance Analysis of Neural Networks using Soundex Algorithm and N-gram Techniques based on System Calls)

  • 박봉구
    • 인터넷정보학회논문지
    • /
    • 제6권5호
    • /
    • pp.45-56
    • /
    • 2005
  • 컴퓨터 네트워크의 확대 및 인터넷 이용의 급격한 증가에 따라 네트워크 서비스 품질의 보장과 네트워크의 관리가 어려울 뿐만 아니라 네트워크 보안의 취약성으로 인하여 해킹 및 정보유출 등의 위협에 노출되어 있다. 특히 시스템 침입의 보안 위협에 대한 능동적인 대처 및 침입 이후에 동일하거나 유사한 유형의 사건 발생에 대해 실시간에 대응하는 것이 중요하므로 침임 탐지 시스템에 대한 많은 연구가 진행되고 있다. 본 논문에서는 시스템 호출을 이용하여 이상 침입 탐지 시스템의 성능을 향상시키기 위해, 특징 선택과 가변 길이 데이터를 고정 길이 학습 패턴으로 변환 생성하는 문제를 해결하기 위한 사운덱스 알고리즘을 적용한 신경망 학습을 통하여 이상 침입 탐지의 연구를 하고자 한다. 즉, 가변 길이의 순차적인 시스템 호출 데이터를 사운덱스 알고리즘에 의한 고정 길이의 행위 패턴을 생성하여 역전파 알고리즘에 의해 신경망 학습을 수행하였다. 역전파 신경망 기법을 UNM의 Sendmail Data Set을 이용하여 시스템 호출의 이상 탐지에 적용하여 성능을 검증하였다.

  • PDF

LIME을 활용한 준지도 학습 기반 이상 탐지 모델: 반도체 공정을 중심으로 (Anomaly Detection Model Based on Semi-Supervised Learning Using LIME: Focusing on Semiconductor Process)

  • 안강민;신주은;백동현
    • 산업경영시스템학회지
    • /
    • 제45권4호
    • /
    • pp.86-98
    • /
    • 2022
  • Recently, many studies have been conducted to improve quality by applying machine learning models to semiconductor manufacturing process data. However, in the semiconductor manufacturing process, the ratio of good products is much higher than that of defective products, so the problem of data imbalance is serious in terms of machine learning. In addition, since the number of features of data used in machine learning is very large, it is very important to perform machine learning by extracting only important features from among them to increase accuracy and utilization. This study proposes an anomaly detection methodology that can learn excellently despite data imbalance and high-dimensional characteristics of semiconductor process data. The anomaly detection methodology applies the LIME algorithm after applying the SMOTE method and the RFECV method. The proposed methodology analyzes the classification result of the anomaly classification model, detects the cause of the anomaly, and derives a semiconductor process requiring action. The proposed methodology confirmed applicability and feasibility through application of cases.

Anomaly Detection in Sensor Data

  • Kim, Jong-Min;Baik, Jaiwook
    • 한국신뢰성학회지:신뢰성응용연구
    • /
    • 제18권1호
    • /
    • pp.20-32
    • /
    • 2018
  • Purpose: The purpose of this study is to set up an anomaly detection criteria for sensor data coming from a motorcycle. Methods: Five sensor values for accelerator pedal, engine rpm, transmission rpm, gear and speed are obtained every 0.02 second from a motorcycle. Exploratory data analysis is used to find any pattern in the data. Traditional process control methods such as X control chart and time series models are fitted to find any anomaly behavior in the data. Finally unsupervised learning algorithm such as k-means clustering is used to find any anomaly spot in the sensor data. Results: According to exploratory data analysis, the distribution of accelerator pedal sensor values is very much skewed to the left. The motorcycle seemed to have been driven in a city at speed less than 45 kilometers per hour. Traditional process control charts such as X control chart fail due to severe autocorrelation in each sensor data. However, ARIMA model found three abnormal points where they are beyond 2 sigma limits in the control chart. We applied a copula based Markov chain to perform statistical process control for correlated observations. Copula based Markov model found anomaly behavior in the similar places as ARIMA model. In an unsupervised learning algorithm, large sensor values get subdivided into two, three, and four disjoint regions. So extreme sensor values are the ones that need to be tracked down for any sign of anomaly behavior in the sensor values. Conclusion: Exploratory data analysis is useful to find any pattern in the sensor data. Process control chart using ARIMA and Joe's copula based Markov model also give warnings near similar places in the data. Unsupervised learning algorithm shows us that the extreme sensor values are the ones that need to be tracked down for any sign of anomaly behavior.

역방향 인덱스 기반의 저장소를 이용한 이상 탐지 분석 (Anomaly Detection Analysis using Repository based on Inverted Index)

  • 박주미;조위덕;김강석
    • 정보과학회 논문지
    • /
    • 제45권3호
    • /
    • pp.294-302
    • /
    • 2018
  • 정보통신 기술의 발전에 따른 새로운 서비스 산업의 출현으로 개인 정보 침해, 산업 기밀 유출 등 사이버 공간의 위험이 다양화 되어, 그에 따른 보안 문제가 중요한 이슈로 떠오르게 되었다. 본 연구에서는 기업 내 개인 정보 오남용 및 내부 정보 유출에 따른, 대용량 사용자 로그 데이터를 기반으로 기존의 시그니처(Signature) 보안 대응 방식에 비해, 실시간 및 대용량 데이터 분석기술에 적합한 행위 기반 이상 탐지방식을 제안하였다. 행위 기반 이상 탐지방식이 대용량 데이터를 처리하는 기술을 필요로 함에 따라, 역방향 인덱스(Inverted Index) 기반의 실시간 검색 엔진인 엘라스틱서치(Elasticsearch)를 사용하였다. 또한 데이터 분석을 위해 통계 기반의 빈도 분석과 전 처리 과정을 수행하였으며, 밀도 기반의 군집화 방법인 DBSCAN 알고리즘을 적용하여 이상 데이터를 분류하는 방법과 시각화를 통해 분석을 간편하게 하기위한 한 사례를 보였다. 이는 기존의 이상 탐지 시스템과 달리 임계값을 별도로 설정하지 않고 이상 탐지 분석을 시도하였다는 것과 통계적인 측면에서 이상 탐지 방식을 제안하였다는 것에 의의가 있다.

IEC 61850 변전소 네트워크에서의 이상 징후 탐지 연구 (Anomaly Detection for IEC 61850 Substation Network)

  • 임용훈;유형욱;손태식
    • 정보보호학회논문지
    • /
    • 제23권5호
    • /
    • pp.939-946
    • /
    • 2013
  • 본 논문에서는 IEC 61850 기반 자동화 변전소 네트워크에서의 이상 징후 탐지를 위한 MMS/GOOSE 패킷 정상행위 프로파일링 방법을 제안한다. 기존에 주로 사용되고 있는 시그니처(signature) 기반의 보안 솔루션은 제로데이(zero-day) 취약점을 이용한 APT 공격에 취약에 취약할 수밖에 없다. 최근 제어시스템 환경에서의 이상 탐지(anomaly detection) 연구가 이뤄지고 있지만, 아직까지 IEC 61850 변전소 환경에서의 이상 탐지에 대한 연구는 잘 알려져 있지 않다. 제안하는 기법은 MMS/GOOSE 패킷에 대한 3가지 전처리(3-phase preprocessing) 방법과 one-class SVM 알고리즘을 이용한 정상 행위 모델링 방법을 포함한다. 본 논문에서 제시하는 방법은 IEC 61850 변전소 네트워크에 대한 APT 공격 대응 솔루션으로 활용될 것을 기대한다.

모바일 애드-혹 망을 위한 퍼지 비정상 행위 탐지 알고리즘 (FADA: A fuzzy anomaly detection algorithm for MANETs)

  • 배인한
    • Journal of the Korean Data and Information Science Society
    • /
    • 제21권6호
    • /
    • pp.1125-1136
    • /
    • 2010
  • 최근에 이동 객체 추적 장치로부터 얻어진 추적 스트림에 대한 온라인 비정상 행위 감시에 대한 요구가 증가하고 있다. 제한된 공간 비용 내에서 고속 데이터 처리의 요구사항에 기인하여 이 문제는 흥미를 끌고 있다. 이 논문에서, 우리는 모바일 애드 혹 망에서 모바일 장치의 위성항법장치 로그로부터 이동특징 정보를 계산하여 정상 프로파일을 구축하고, 모바일 장치의 현재 이동 특징 정보와 정상 프로파일내의 이동 특징 정보간의 퍼지 비유사도를 계산한다. 그 계산된 퍼지 비유사도를 기초로 그 모바일 장치의 비정상 행위를 효율적으로 탐지하는 퍼지 비정상 행위 탐지 알고리즘을 제안한다. 그리고 모의실험을 통하여 제안한 알고리즘의 성능을 평가한다.

SWT-SVD 전처리 알고리즘을 적용한 예측적 베어링 이상탐지 모델 (A Predictive Bearing Anomaly Detection Model Using the SWT-SVD Preprocessing Algorithm)

  • 박소향;김광훈
    • 인터넷정보학회논문지
    • /
    • 제25권1호
    • /
    • pp.109-121
    • /
    • 2024
  • 섬유, 자동차와 같은 여러 제조 공정에서 설비가 고장이 나 멈추게 되면 기계가 작동하지 않게 되고 이는 기업의 시간적, 금전적 손실로 이어진다. 따라서 설비의 고장이 발생하기 전, 고장을 예측하여 정비할 수 있도록 설비의 이상을 사전에 탐지하는 것이 중요하다. 대부분의 설비 고장 원인은 설비의 필수 부품인 베어링의 고장으로, 베어링의 고장을 진단하는 것은 설비예지보전 연구의 핵심이기도 하다. 본 논문에서는 베어링의 진동 신호를 분석하여 SWT-SVD 전처리 알고리즘을 제안하고 이를 시계열 이상탐지 모델 네트워크 중 하나인 어노멀리 트랜스포머에 적용하여 베어링 이상탐지 모델을 구현한다. 제조공정의 베어링 진동신호는 실시간으로 센서값들의 이력이 작성되어 노이즈가 존재하므로, 이를 줄이기 위해 본 연구에서는 정상 웨이블릿 변환(Stationary Wavelet Transform)을 사용하여 주파수 성분을 추출하고, 특이값 분해(Singular Value Decomposition) 알고리즘을 통해 유의미한 특징들을 추출하는 전처리를 진행한다. 제안하는 SWT-SVD 전처리 방법을 적용한 베어링 이상탐지 모델 실험을 위해 IEEE PHM학회에서 제공하는 PHM-2012-Challenge 데이터 세트를 활용하였으며, 실험 결과는 0.98의 정확도와 0.97의 F1-Score로 우수한 성능을 보였다. 추가로, 성능 향상을 입증하기 위해 선행 연구들과 성능 비교를 진행한다. 비교 실험을 통해 제안한 전처리 방법이 기존의 전처리보다 높은 성능을 보임을 확인하였다.