• 제목/요약/키워드: anomaly detection algorithm

검색결과 163건 처리시간 0.029초

센서네트워크에서 유전자 알고리즘을 이용한 침입탐지시스템 노드 스케줄링 연구 (A Study on the Intrusion Detection System's Nodes Scheduling Using Genetic Algorithm in Sensor Networks)

  • 성기택
    • 한국정보통신학회논문지
    • /
    • 제15권10호
    • /
    • pp.2171-2180
    • /
    • 2011
  • 센서네트워크의 다양한 응용분야에서 보안성은 대단히 중요하다. 침입탐지는 공격에 대한 방어기법 중의 하나 이지만 기존의 정형화된 침입탐지기술은 제한된 자원으로 운영되는 센서네트워크에는 적절하지 않다. 본 논문에서는 전송되는 패킷의 이상행위를 관찰하는 침입탐지시스템에서 탐지노드의 선정 및 운영에 관한 방법과 함께 침입탐지시스템의 수명을 최대화하는 노드 스케줄링 방안을 제안하였다. 제안된 최적화식에 대하여 유전자 알고리즘을 이용한 해를 개발하고 시뮬레이션을 수행하여 효율성을 확인하였다.

Moving Object Detection Using Sparse Approximation and Sparse Coding Migration

  • Li, Shufang;Hu, Zhengping;Zhao, Mengyao
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권5호
    • /
    • pp.2141-2155
    • /
    • 2020
  • In order to meet the requirements of background change, illumination variation, moving shadow interference and high accuracy in object detection of moving camera, and strive for real-time and high efficiency, this paper presents an object detection algorithm based on sparse approximation recursion and sparse coding migration in subspace. First, low-rank sparse decomposition is used to reduce the dimension of the data. Combining with dictionary sparse representation, the computational model is established by the recursive formula of sparse approximation with the video sequences taken as subspace sets. And the moving object is calculated by the background difference method, which effectively reduces the computational complexity and running time. According to the idea of sparse coding migration, the above operations are carried out in the down-sampling space to further reduce the requirements of computational complexity and memory storage, and this will be adapt to multi-scale target objects and overcome the impact of large anomaly areas. Finally, experiments are carried out on VDAO datasets containing 59 sets of videos. The experimental results show that the algorithm can detect moving object effectively in the moving camera with uniform speed, not only in terms of low computational complexity but also in terms of low storage requirements, so that our proposed algorithm is suitable for detection systems with high real-time requirements.

MLOps를 위한 효율적인 AI 모델 드리프트 탐지방안 연구 (A Study on Efficient AI Model Drift Detection Methods for MLOps)

  • 이예은;이태진
    • 인터넷정보학회논문지
    • /
    • 제24권5호
    • /
    • pp.17-27
    • /
    • 2023
  • 오늘날 AI(Artificial Intelligence) 기술이 발전하면서 실용성이 증가함에 따라 실생활 속 다양한 응용 분야에서 널리 활용되고 있다. 이때 AI Model은 기본적으로 학습 데이터의 다양한 통계적 속성을 기반으로 학습된 후 시스템에 배포되지만, 급변하는 데이터의 상황 속 예상치 못한 데이터의 변화는 모델의 성능저하를 유발한다. 특히 보안 분야에서 끊임없이 생성되는 새로운 공격과 알려지지 않은 공격에 대응하기 위해서는 배포된 모델의 Drift Signal을 찾는 것이 중요해짐에 따라 모델 전체의 Lifecycle 관리 필요성이 점차 대두되고 있다. 일반적으로 모델의 정확도 및 오류율(Loss)의 성능변화를 통해 탐지할 수 있지만, 모델 예측 결과에 대한 실제 라벨이 필요한 점에서 사용 환경의 제약이 존재하며, 실제 드리프트가 발생한 지점의 탐지가 불확실한 단점이 있다. 그 이유는 모델의 오류율의 경우 다양한 외부 환경적 요인, 모델의 선택과 그에 따른 파라미터 설정, 그리고 새로운 입력데이터에 따라 크게 영향을 받기에 해당 값만을 기반으로 데이터의 실질적인 드리프트 발생 시점을 정밀하게 판단하는 것은 한계가 존재하게 된다. 따라서 본 논문에서는 XAI(eXplainable Artificial Intelligence) 기반 Anomaly 분석기법을 통해 실질적인 드리프트가 발생한 시점을 탐지하는 방안을 제안한다. DGA(Domain Generation Algorithm)를 탐지하는 분류모델을 대상으로 시험한 결과, 배포된 이후 데이터의 SHAP(Shapley Additive exPlanations) Value를 통해 Anomaly score를 추출하였고, 그 결과 효율적인 드리프트 시점탐지가 가능함을 확인하였다.

크라우드센싱 시스템에서 머신러닝을 이용한 이상데이터 탐지 (Anomaly Data Detection Using Machine Learning in Crowdsensing System)

  • 김미희;이기훈
    • 전기전자학회논문지
    • /
    • 제24권2호
    • /
    • pp.475-485
    • /
    • 2020
  • 최근, 별도의 센서를 설치하지 않고 센서가 포함된 사용자의 기기로부터 제공되는 실시간 센싱 데이터를 가지고 새로운 센싱 서비스를 제공하는 크라우드센싱(Crowdsensing) 시스템이 주목받고 있다. 크라우드센싱 시스템에서는 사용자의 조작실수나 통신 문제로 인해 의미 없는 데이터가 제공되거나 보상을 얻기 위해 거짓 데이터를 제공할 수 있어 해당 이상 데이터의 탐지 및 제거가 크라우드센싱 서비스의 질을 결정짓는다. 이러한 이상데이터를 탐지하기 위해 제안되었던 방법들은 크라우드센싱의 빠른 변화 환경에 효율적이지 않다. 본 논문은 머신러닝 기술을 활용하여 지속적이고 빠르게 변화하는 센싱 데이터의 특징을 추출하고 적절한 알고리즘을 통해 모델링하여 이상데이터를 탐지하는 방법을 제안한다. 지도학습의 딥러닝 이진 분류 모델과 비지도학습의 오토인코더 모델을 사용하여 제안 시스템의 성능 및 실현 가능성을 보인다.

Orbit Ephemeris Failure Detection in a GNSS Regional Application

  • Ahn, Jongsun;Lee, Young Jae;Won, Dae Hee;Jun, Hyang-Sig;Yeom, Chanhong;Sung, Sangkyung;Lee, Jeong-Oog
    • International Journal of Aeronautical and Space Sciences
    • /
    • 제16권1호
    • /
    • pp.89-101
    • /
    • 2015
  • To satisfy civil aviation requirements using the Global Navigation Satellite System (GNSS), it is important to guarantee system integrity. In this work, we propose a fault detection algorithm for GNSS ephemeris anomalies. The basic principle concerns baseline length estimation with GNSS measurements (pseudorange, broadcasted ephemerides). The estimated baseline length is subtracted from the true baseline length, computed using the exact surveyed ground antenna positions. If this subtracted value differs by more than a given threshold, this indicates that an ephemeris anomaly has been detected. This algorithm is suitable for detecting Type A ephemeris failure, and more advantageous for use with multiple stations with various long baseline vectors. The principles of the algorithm, sensitivity analysis, minimum detectable error (MDE), and protection level derivation are described and we verify the sensitivity analysis and algorithm availability based on real GPS data in Korea. Consequently, this algorithm is appropriate for GNSS regional implementation.

KNN-Based Automatic Cropping for Improved Threat Object Recognition in X-Ray Security Images

  • Dumagpi, Joanna Kazzandra;Jung, Woo-Young;Jeong, Yong-Jin
    • 전기전자학회논문지
    • /
    • 제23권4호
    • /
    • pp.1134-1139
    • /
    • 2019
  • One of the most important applications of computer vision algorithms is the detection of threat objects in x-ray security images. However, in the practical setting, this task is complicated by two properties inherent to the dataset, namely, the problem of class imbalance and visual complexity. In our previous work, we resolved the class imbalance problem by using a GAN-based anomaly detection to balance out the bias induced by training a classification model on a non-practical dataset. In this paper, we propose a new method to alleviate the visual complexity problem by using a KNN-based automatic cropping algorithm to remove distracting and irrelevant information from the x-ray images. We use the cropped images as inputs to our current model. Empirical results show substantial improvement to our model, e.g. about 3% in the practical dataset, thus further outperforming previous approaches, which is very critical for security-based applications.

An Abnormal Worker Movement Detection System Based on Data Stream Processing and Hierarchical Clustering

  • Duong, Dat Van Anh;Lan, Doi Thi;Yoon, Seokhoon
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제14권4호
    • /
    • pp.88-95
    • /
    • 2022
  • Detecting anomalies in human movement is an important task in industrial applications, such as monitoring industrial disasters or accidents and recognizing unauthorized factory intruders. In this paper, we propose an abnormal worker movement detection system based on data stream processing and hierarchical clustering. In the proposed system, Apache Spark is used for streaming the location data of people. A hierarchical clustering-based anomalous trajectory detection algorithm is designed for detecting anomalies in human movement. The algorithm is integrated into Apache Spark for detecting anomalies from location data. Specifically, the location information is streamed to Apache Spark using the message queuing telemetry transport protocol. Then, Apache Spark processes and stores location data in a data frame. When there is a request from a client, the processed data in the data frame is taken and put into the proposed algorithm for detecting anomalies. A real mobility trace of people is used to evaluate the proposed system. The obtained results show that the system has high performance and can be used for a wide range of industrial applications.

강교량의 손상감지를 위한 주파수 영역 패턴인식 기법 (Frequency Domain Pattern Recognition Method for Damage Detection of a Steel Bridge)

  • 이정휘;김성곤;장승필
    • 한국강구조학회 논문집
    • /
    • 제17권1호통권74호
    • /
    • pp.1-11
    • /
    • 2005
  • 이 논문에서는 구조물의 동적응답을 입력으로 하고, 패턴인식을 위해 신경망기법(Neural Network, NN)을 사용하는 손상감지기법을 제시하였다. 입력된 동적응답, 즉 주파수응답함수(FRF) 또는 변형률 주파수응답함수(SFRF)의 변화를 정량적으로 표현하기 위해 신호변형지수(Signal Anomaly Index, SAI)를 고안하여 사용하였으며, 이 신호변형지수는 손상 전 및 손상 후의 구조물로부터 측정된 가속도 또는 동적 변형률 신호를 사용하여 계산된다. 제안된 알고리즘은 2단계로 구성되며, 1단계에서는 신호변형지수 값의 크기 변화를 사용하여 구조물의 손상발생 유무를 판별하고, 여기서 구조물에 손상이 발생한 것으로 분석되면 2단계에서 신경망기법을 사용한 패턴인식을 통해 손상의 위치를 찾아낸다. 이 방법의 타당성 및 적용성을 확인하기 위해 강교량 축소모형에 대한 실험을 수행하였다. 신경망의 학습에는 수치해석을 통해 생성한 가상 신호를 사용하였으며, 학습이 완료된 신경망과 실험을 통해 측정한 실제 신호를 사용하여 손상발견을 수행하였다. 모형 교량에 대한 적용 결과로부터 이 알고리즘의 타당성이 검증되었으며, 향후 실 교량에 대한 적용도 가능할 것으로 판단된다.

Mobile Ad - hoc Network에서 CP - SVM을 이용한 침입탐지 (Intrusion Detection Algorithm in Mobile Ad-hoc Network using CP-SVM)

  • 양환석
    • 디지털산업정보학회논문지
    • /
    • 제8권2호
    • /
    • pp.41-47
    • /
    • 2012
  • MANET has vulnerable structure on security owing to structural characteristics as follows. MANET consisted of moving nodes is that every nodes have to perform function of router. Every node has to provide reliable routing service in cooperation each other. These properties are caused by expose to various attacks. But, it is difficult that position of environment intrusion detection system is established, information is collected, and particularly attack is detected because of moving of nodes in MANET environment. It is not easy that important profile is constructed also. In this paper, conformal predictor - support vector machine(CP-SVM) based intrusion detection technique was proposed in order to do more accurate and efficient intrusion detection. In this study, IDS-agents calculate p value from collected packet and transmit to cluster head, and then other all cluster head have same value and detect abnormal behavior using the value. Cluster form of hierarchical structure was used to reduce consumption of nodes also. Effectiveness of proposed method was confirmed through experiment.

비정상행위 탐지를 위한 사용자 정상행위 클러스터링 기법 (Clustering Normal User Behavior for Anomaly Intrusion Detection)

  • 오상현;이원석
    • 정보처리학회논문지C
    • /
    • 제10C권7호
    • /
    • pp.857-866
    • /
    • 2003
  • 사용자 비정상 행위를 탐지하기 위해서 기존의 연구들은 주로 통계적 기법을 이용해 왔다. 그러나 이들 연구들은 주로 사용자의 평균적인 행위를 분석하기 때문에 사용자의 비정상행위가 정확하게 탐지될 수 없다. 본 논문에서는 사용자의 정상행위를 모델링하는 새로운 클러스터링 방법을 제안한다. 클러스터링은 분석 환경에서 임의 개수의 빈발 영역을 식별할 수 있기 때문에 통계적 기법에서의 부정확한 모델링 방법을 개선할 수 있다. 빈발 공통 지식은 트랜잭션 단위로 발생되는 유사 데이터 객체들의 빈도수와 각 트랜잭션에 포함된 유사 데이터 객체들의 반복 비율로 나타낼 수 있다. 이와 더불어, 제안된 방법은 공통 지식을 축약된 프로파일로 유지하는 방법을 설명한다. 따라서 생성된 프로파일을 이용하여 온라인 트랜잭션에서의 비정상 행위를 쉽게 탐지할 수 있다.