• 제목/요약/키워드: anomaly detection algorithm

검색결과 164건 처리시간 0.022초

A DoS Detection Method Based on Composition Self-Similarity

  • Jian-Qi, Zhu;Feng, Fu;Kim, Chong-Kwon;Ke-Xin, Yin;Yan-Heng, Liu
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제6권5호
    • /
    • pp.1463-1478
    • /
    • 2012
  • Based on the theory of local-world network, the composition self-similarity (CSS) of network traffic is presented for the first time in this paper for the study of DoS detection. We propose the concept of composition distribution graph and design the relative operations. The $(R/S)^d$ algorithm is designed for calculating the Hurst parameter. Based on composition distribution graph and Kullback Leibler (KL) divergence, we propose the composition self-similarity anomaly detection (CSSD) method for the detection of DoS attacks. We evaluate the effectiveness of the proposed method. Compared to other entropy based anomaly detection methods, our method is more accurate and with higher sensitivity in the detection of DoS attacks.

오토인코더를 활용한 MCT 이상탐지 알고리즘 개발 (Autoencoder-based MCT Anomaly Detection Algorithm)

  • 김민희;진교홍
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 추계학술대회
    • /
    • pp.89-92
    • /
    • 2021
  • 제조 현장에서 설비의 이상이나 고장은 곧 제품의 결함을 발생시키는 요인이 된다. 최근 스마트팩토리 서비스의 확산에 따라 고장을 예측 및 방지를 위한 인공지능 기반의 애플리케이션에 대한 연구가 활발히 이어지고 있으나, 일반적으로 설비의 이상이나 고장 데이터는 정상에 비해 그 개수가 현저히 적어 분류 모델 개발에 큰 어려움이 있다. 본 논문에서는 오토인코더 모델의 입력과 출력 간 차이를 이용한 제조 현장의 MCT 이상탐지 알고리즘을 제안하고 성능을 분석하였다. 해당 알고리즘은 비정상 데이터가 존재하지 않는 MCT 제조 데이터에서 정상 데이터에 대한 특징만을 이용하여 비정상을 탐지한다.

  • PDF

패치 특징 코어세트 기반의 흉부 X-Ray 영상에서의 병변 유무 감지 (Leision Detection in Chest X-ray Images based on Coreset of Patch Feature)

  • 김현빈;전준철
    • 인터넷정보학회논문지
    • /
    • 제23권3호
    • /
    • pp.35-45
    • /
    • 2022
  • 현대에도 일부 소외된 지역에서는 의료 인력의 부족으로 인해 위·중증 환자에 대한 치료가 지연되는 경우가 많다. 의료 데이터에 대한 분석을 자동화하여 의료 서비스의 접근성 문제 및 의료 인력 부족을 해소하고자 하는 연구가 계속되고 있다. 컴퓨터 비전 기반의 진료 자동화는 훈련 목적에 대한 데이터 수집 및 라벨링 작업에서 많은 비용이 요구된다. 이러한 점은 희귀질환이나 시각적으로 뚜렷하게 정의하기 어려운 병리적 특징 및 기전을 구분하는 작업에서 두드러진다. 이상 탐지는 비지도 학습 전략을 채택함으로써 데이터 수집 비용을 크게 절감할 수 있는 방법으로 주목된다. 본 논문에서는 기존의 이상 탐지 기법들을 기반으로, 흉부 X-RAY 영상에 대해 이상 탐지를 수행하는 방법을 다음과 같이 제안한다. (1) 최적 해상도로 샘플링된 의료 영상의 색상 범위를 정규화한다. (2) 무병변 영상으로부터 패치 단위로 구분된 중간 수준 특징 집합을 추출하여 그 중 높은 표현력을 가진 일부 특징 벡터들을 선정한다. (3) 최근접 이웃 탐색 알고리즘을 기반으로 미리 선정된 무병변(정상) 특징 벡터들과의 차이를 측정한다. 본 논문에서는 PA 방식으로 촬영된 흉부 X-RAY 영상들에 대한 제안 시스템의 이상 탐지 성능을 세부 조건에 따라 상세히 측정하여 제시한다. PadChest 데이터세트로부터 추출한 서브세트에 대해 0.705 분류 AUROC를 보임으로써 의료 영상에 대한 이상 탐지 적용의 효과를 입증하였다. 제안 시스템은 의료 기관의 임상 진단 워크플로우를 개선하는 데에 유용하게 사용될 수 있으며, 의료 서비스 접근성이 낮은 지역에서의 조기 진단을 효율적으로 지원할 수 있다.

차세대 침입탐지에서 이상탐지를 위한 추론 기반 데이터 융합 알고리즘 (Data Fusion Algorithm based on Inference for Anomaly Detection in the Next-Generation Intrusion Detection)

  • 김동욱;한명묵
    • 한국지능시스템학회논문지
    • /
    • 제26권3호
    • /
    • pp.233-238
    • /
    • 2016
  • 본 논문은 차세대 침입탐지 시스템을 위해서 데이터 융합에서의 불확실한 데이터 처리의 알고리즘을 제안한다. 차세대 침입탐지는 사이버 공간에서 생성되어지는 정보를 지식으로 만들어내기 위해 수많은 네트워크 센서로부터의 데이터가 수집되어진다. 수집된 센서 정보를 지식의 수준으로 이끌어내기 위해서 데이터 융합의 과정이 필요하다. 이를 위해 본 논문에서는 Demster-Shafer 증거이론 추론적 기법을 통하여 서로 다른 데이터들의 특징을 분석하여 불확실한 데이터가 어느 구간에서 신뢰구간을 갖는지를 분류하여, 불확실한 데이터에 대한 표현을 이루어낸다. 본 실험내용에서는 이러한 불확실성 데이터에 대한 이상탐지를 위해 iris plant 데이터세트를 이용한 신뢰구간에 따른 분류를 실행하였다. 이에 대해 각 신뢰구간을 통해서 데이터 분류가 가능하다는 것을 검증하였다.

Data anomaly detection and Data fusion based on Incremental Principal Component Analysis in Fog Computing

  • Yu, Xue-Yong;Guo, Xin-Hui
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권10호
    • /
    • pp.3989-4006
    • /
    • 2020
  • The intelligent agriculture monitoring is based on the perception and analysis of environmental data, which enables the monitoring of the production environment and the control of environmental regulation equipment. As the scale of the application continues to expand, a large amount of data will be generated from the perception layer and uploaded to the cloud service, which will bring challenges of insufficient bandwidth and processing capacity. A fog-based offline and real-time hybrid data analysis architecture was proposed in this paper, which combines offline and real-time analysis to enable real-time data processing on resource-constrained IoT devices. Furthermore, we propose a data process-ing algorithm based on the incremental principal component analysis, which can achieve data dimensionality reduction and update of principal components. We also introduce the concept of Squared Prediction Error (SPE) value and realize the abnormal detection of data through the combination of SPE value and data fusion algorithm. To ensure the accuracy and effectiveness of the algorithm, we design a regular-SPE hybrid model update strategy, which enables the principal component to be updated on demand when data anomalies are found. In addition, this strategy can significantly reduce resource consumption growth due to the data analysis architectures. Practical datasets-based simulations have confirmed that the proposed algorithm can perform data fusion and exception processing in real-time on resource-constrained devices; Our model update strategy can reduce the overall system resource consumption while ensuring the accuracy of the algorithm.

연관마이닝 기법을 이용한 침입 시나리오 자동 탐지 알고리즘 연구 (The Study on the Automated Detection Algorithm for Penetration Scenarios using Association Mining Technique)

  • 김창수;황현숙
    • 한국정보통신학회논문지
    • /
    • 제5권2호
    • /
    • pp.371-384
    • /
    • 2001
  • 최근 인터넷 환경에서 시스템 불법 침입은 계속적으로 증가하고 있다. 이러한 침입을 탐지하기 위한 기법들은 크게 비정상 탐지와 오용 탐지로 분류할 수 있다. 전자는 통계적 방법, 특징 추출 등을 이용하며, 후자는 조건부 확률, 전문가 시스템, 상태 전이 분석, 패턴 매칭 둥을 적용한다. 현재 연구된 침입탐지 시스템들은 결합된 방법을 사용하고 있다. 본 연구에서는 상태전이 기법과 연관 마이닝 기법을 결합한 새로운 침입 탐지 알고리즘을 제안한다. 이를 위해 첫 번째 단계는 네트워크를 통해서 입력된 명령어에 대해서 상태 테이블을 작성하는데, 이는 기존의 상태전이 분석 방법과 유사하다. 다음 단계는 연관 마이닝 기법을 이용하여 침입의 유형을 판정한다. 이러한 처리 과정에 따라 본 연구에서는 자동화된 침입 시나리오 생성 알고리즘을 제안한다.

  • PDF

Detecting Anomalous Trajectories of Workers using Density Method

  • Lan, Doi Thi;Yoon, Seokhoon
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제14권2호
    • /
    • pp.109-118
    • /
    • 2022
  • Workers' anomalous trajectories allow us to detect emergency situations in the workplace, such as accidents of workers, security threats, and fire. In this work, we develop a scheme to detect abnormal trajectories of workers using the edit distance on real sequence (EDR) and density method. Our anomaly detection scheme consists of two phases: offline phase and online phase. In the offline phase, we design a method to determine the algorithm parameters: distance threshold and density threshold using accumulated trajectories. In the online phase, an input trajectory is detected as normal or abnormal. To achieve this objective, neighbor density of the input trajectory is calculated using the distance threshold. Then, the input trajectory is marked as an anomaly if its density is less than the density threshold. We also evaluate performance of the proposed scheme based on the MIT Badge dataset in this work. The experimental results show that over 80 % of anomalous trajectories are detected with a precision of about 70 %, and F1-score achieves 74.68 %.

반도체공정 이상탐지 및 클러스터링을 위한 심볼릭 표현법의 적용 (Application of Symbolic Representation Method for Fault Detection and Clustering in Semiconductor Fabrication Processes)

  • 노웅기;홍상진
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제15권11호
    • /
    • pp.806-818
    • /
    • 2009
  • 반도체(semiconductor) 기술은 1950년대에 집적 회로(integrated circuit, IC)가 발명된 이후 오늘날까지 급속한 발전을 거듭하고 있다. 하나의 완전한 반도체를 제조하기 위해서는 매우 다양하고 긴 공정을 거쳐야 한다. 반도체 제조 생산성을 높이기 위하여 공정들이 종료되기 전에 미리 이상(fault)을 발견하기 위한 이상탐지 및 분류(fault detection and classification, FDC)에 대한 많은 연구가 진행되고 있다. 이를 위하여 다양한 반도체 장비에 갖가지 종류의 센서를 부착하여 일정한 시간 간격으로 원하는 값을 측정한다. 이러한 측정 값은 실수 값들의 연속이므로 시계열(time-series) 데이터의 일종이다. 본 논문에서는 반도체 공정에서의 이상탐지 및 클러스터링을 수행하는 알고리즘을 제안한다. 제안된 알고리즘은 시계열 데이터를 심볼릭 표현법(symbolic representation)으로 변환하여 이상을 탐지하는 기존의 알고리즘을 수정한 것이다. 본 논문의 공헌은 일반적인 시계열 데이터에 대한 기존의 이상탐지 알고리즘을 수정하여 반도체 공정 데이터에 대해서도 활용할 수 있음을 보일 뿐만 아니라, 이상탐지 및 클러스터링의 정확성을 높이는 실험 결과를 제시하는 것이다. 실험 결과, 본 논문에서 제안한 알고리즘은 긍정 오류(false positive) 및 부정 오류(false negative)를 모두 발생하지 않았다.

Data anomaly detection for structural health monitoring of bridges using shapelet transform

  • Arul, Monica;Kareem, Ahsan
    • Smart Structures and Systems
    • /
    • 제29권1호
    • /
    • pp.93-103
    • /
    • 2022
  • With the wider availability of sensor technology through easily affordable sensor devices, several Structural Health Monitoring (SHM) systems are deployed to monitor vital civil infrastructure. The continuous monitoring provides valuable information about the health of the structure that can help provide a decision support system for retrofits and other structural modifications. However, when the sensors are exposed to harsh environmental conditions, the data measured by the SHM systems tend to be affected by multiple anomalies caused by faulty or broken sensors. Given a deluge of high-dimensional data collected continuously over time, research into using machine learning methods to detect anomalies are a topic of great interest to the SHM community. This paper contributes to this effort by proposing a relatively new time series representation named "Shapelet Transform" in combination with a Random Forest classifier to autonomously identify anomalies in SHM data. The shapelet transform is a unique time series representation based solely on the shape of the time series data. Considering the individual characteristics unique to every anomaly, the application of this transform yields a new shape-based feature representation that can be combined with any standard machine learning algorithm to detect anomalous data with no manual intervention. For the present study, the anomaly detection framework consists of three steps: identifying unique shapes from anomalous data, using these shapes to transform the SHM data into a local-shape space and training machine learning algorithms on this transformed data to identify anomalies. The efficacy of this method is demonstrated by the identification of anomalies in acceleration data from an SHM system installed on a long-span bridge in China. The results show that multiple data anomalies in SHM data can be automatically detected with high accuracy using the proposed method.

앙상블 모델 기반의 기계 고장 예측 방법 (An Ensemble Model for Machine Failure Prediction)

  • 천강민;양재경
    • 산업경영시스템학회지
    • /
    • 제43권1호
    • /
    • pp.123-131
    • /
    • 2020
  • There have been a lot of studies in the past for the method of predicting the failure of a machine, and recently, a lot of researches and applications have been generated to diagnose the physical condition of the machine and the parts and to calculate the remaining life through various methods. Survival models are also used to predict plant failures based on past anomaly cycles. In particular, special machine that reflect the fluid flow and process characteristics of chemical plants are connected to hundreds or thousands of sensors, so there are not many factors that need to be considered, such as process and material data as well as application of derivative variables. In this paper, the data were preprocessed through time series anomaly detection based on unsupervised learning to predict the abnormalities of these special machine. Next, clustering results reflecting clustering-based data characteristics were applied to produce additional variables, and a learning data set was created based on the history of past facility abnormalities. Finally, the prediction methodology based on the supervised learning algorithm was applied, and the model update was confirmed to improve the accuracy of the prediction of facility failure. Through this, it is expected to improve the efficiency of facility operation by flexibly replacing the maintenance time and parts supply and demand by predicting abnormalities of machine and extracting key factors.