• Title/Summary/Keyword: anomaly-based detection

Search Result 447, Processing Time 0.028 seconds

Machine Learning-based Power Usage Abnormality Detection

  • Han-Sung Lee;Young-Bok Cho
    • Journal of the Korea Society of Computer and Information
    • /
    • v.29 no.11
    • /
    • pp.107-112
    • /
    • 2024
  • In this paper, we propose a method to detect abnormal power usage conditions in domestic franchise convenience stores, by detecting cases where the temperature of the refrigeration or freezer equipment operates outside the normal range and classifying detailed abnormal situations. Compared to normal data, abnormal data is very small, and the amount of data varies depending on the type of abnormality, leading to a data imbalance issue. The proposed method employs a hierarchical structure that combines a time series classification algorithm with kNN, addressing the data imbalance problem and enabling classification using relatively small amounts of data. In this paper, we conducted an experiment by independently constructing our own dataset to validate the proposed methodology.

Hybrid machine learning with mode shape assessment for damage identification of plates

  • Pei Yi Siow;Zhi Chao Ong;Shin Yee Khoo;Kok-Sing Lim;Bee Teng Chew
    • Smart Structures and Systems
    • /
    • v.31 no.5
    • /
    • pp.485-500
    • /
    • 2023
  • Machine learning-based structural health monitoring (ML-based SHM) methods are researched extensively in the recent decade due to the availability of advanced information and sensing technology. ML methods are well-known for their pattern recognition capability for complex problems. However, the main obstacle of ML-based SHM is that it often requires pre-collected historical data for model training. In most actual scenarios, damage presence can be detected using the unsupervised learning method through anomaly detection, but to further identify the damage types would require prior knowledge or historical events as references. This creates the cold-start problem, especially for new and unobserved structures. Modal-based methods identify damages based on the changes in the structural global properties but often require dense measurements for accurate results. Therefore, a two-stage hybrid modal-machine learning damage detection scheme is proposed. The first stage detects damage presence using Principal Component Analysis-Frequency Response Function (PCA-FRF) in an unsupervised manner, whereas the second stage further identifies the damage. To solve the cold-start problem, mode shape assessment using the first mode is initiated when no trained model is available yet in the second stage. The damage identified by the modal-based method would be stored for future training. This work highlights the performance of the scheme in alleviating the cold-start issue as it transitions through different phases, starting from zero damage sample available. Results showed that single and multiple damages can be identified at an acceptable accuracy level even when training samples are limited.

An Intrusion Detection System with Temporal Event Modeling based on Hidden Markov Model (은닉 마르코프 모델에 기반한 정상행위의 순서적 이벤트 모델링을 통한 침입탐지 시스템)

  • 최종호;조성배
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1999.10c
    • /
    • pp.306-308
    • /
    • 1999
  • 사회분야 전반이 전산화되면서 전산시스템에 대한 효과적인 침입방지와 탐지가 중요한 문제로 대두되었다. 침입행위도 정상사용행위와 마찬가지로 전산시스템 서비스를 사용하므로 호출된 서비스의 순서로 나타난다. 본 논문에서는 정상사용행위에 대한 서비스 호출순서를 모델링 한 후 사용자의 사용패턴을 정상행위와 비교해서 비정상행위(anomaly)를 탐지하는 접근방식을 사용한다. 정상 행위 모델링에는 순서정보를 통계적으로 모델링하고 펴가하는데 널리 쓰이고 있는 HMM(Hidden Markov Model)을 사용하였다. Sun사의 BSM 모듈로 얻어진 3명 사용자의 사용로그에 대하여 본 시스템을 적용한 결과, 학습되지 않은 u2r 침입에 대해 2.95%의 false-positive 오류에서 100%의 탐지율을 보여주었다.

  • PDF

HTTP Traffic Based Anomaly Detection System (HTTP 트래픽 기반의 비정상행위 탐지 시스템)

  • Kim Hyo-Nam;Jang Sung-Min;Won Yu-Hun
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2006.06c
    • /
    • pp.313-315
    • /
    • 2006
  • 최근 인터넷 공격은 웹 서비스 환경에서 다양한 공격 유형들이 인터넷상에서 나타나고 있는 실정이다. 특히 인터넷 웜이나 기타 알려지지 않은 공격이 대중을 이루고 있어 기존의 정보 보호 기술로는 한계에 다다르고 있으며 이미 알려진 공격을 탐지하는 오용탐지 기술로는 적절하게 대응하기 어려워진 상태이다. 또한, 웹 서비스 이용이 확대되고 사용자 요구에 맞게 변화하면서 인터넷상의 노출된 웹 서비스는 공격자들에게 있어 주공격 대상이 되고 있다. 본 논문에서는 웹 기반의 트래픽 유형을 분석하고 각 유형에 따른 이상 징후를 파악할 수 있는 비정상 탐지 모델을 정의하여 정상 트래픽 모델과 비교함으로써 현재 트래픽의 이상 정도를 평가하고 탐지 및 규칙생성, 추가하는 HTTP 트래픽 기반의 비정상행위 탐지 시스템을 설계하고 구현하였다.

  • PDF

Performance Evaluation of IDS based on Anomaly Detection Using Machine Learning Techniques (기계학습 기법에 의한 비정상행위 탐지기반 IDS의 성능 평가)

  • Noh, Young-Ju;Cho, Sung-Bae
    • Annual Conference of KIPS
    • /
    • 2002.11b
    • /
    • pp.965-968
    • /
    • 2002
  • 침입탐지 시스템은 전산시스템을 보호하는 대표적인 수단으로, 오용탐지와 비정상행위탐지 방법으로 나눌 수 있는데, 다양화되는 침입에 대응하기 위해 비정상행위 탐지기법이 활발히 연구되고 있다. 비 정상행위기반 침임탐지 시스템에서는 정상행위 구축 방법에 따라 다양한 침입탐지율과 오류율을 보인다. 본 논문에서는 비정상행위기반 침입탐지시스템을 구축하였는데, 사용되는 대표적인 기계학습 방법인 동등 매칭(Equality Matching), 다층 퍼셉트론(Multi-Layer Perceptron), 은닉마르코프 모델(Hidden Markov Model)을 구현하고 그 성능을 비교하여 보았다. 실험결과 다층 퍼셉트론과 은닉마르코프모델이 높은 침입 탐지율과 낮은 false-positive 오류율을 내어 정상행위로 사용되는 시스템감사 데이터에 대한 정보의 특성을 잘 반영하여 모델링한다는 것을 알 수 있었다.

  • PDF

Comparative Analysis of Unsupervised Learning Algorithm for Generating Network based Anomaly Behaviors Detection Model (네트워크기반 비정상행위 탐지모델 생성을 위한 비감독 학습 알고리즘 비교분석)

  • Lee, Hyo-Seong;Sim, Chul-Jun;Won, Il-Yong;Lee, Chang-Hun
    • Annual Conference of KIPS
    • /
    • 2002.11b
    • /
    • pp.869-872
    • /
    • 2002
  • 네트워크 기반 침입탐지시스템은 연속적으로 발생하는 패킷의 무손실 축소와, 패킷으로 정상 또는 비정상 행위패턴을 정확히 모델링한 모델 생성이 전체성능을 판단하는 중요한 요소가 된다. 네트워크 기반 비정상행위 판정 침입탐지시스템에서는 이러한 탐지모델 구축을 위해 주로 감독학습 알고리즘을 사용한다. 본 논문은 탐지모델 구축에 사용하는 감독 학습 방식이 가지는 문제점을 지적하고, 그에 대한 대안으로 비감독 학습방식의 학습알고리즘을 제안한다. 감독 학습을 사용하여 탐지모델을 구축하기 위해서는 정상행위의 패킷을 취합해야 하는 사전 부담이 있는 반면에 비감독 학습을 사용하게 되면 이러한 사전작업 없이 탐지모델을 구축할 수 있다. 본 논문에서는 비감독학습 알고리즘을 비교 분석하기 위해서 COBWEB, k-means, Autoclass 알고리즘을 사용했으며, 성능을 평가하기 위해서 비정상행위도(Abnormal Behavior Level)를 계산하여 에러율을 구하였다.

  • PDF

The Anomaly Detection Solution based on Image Processing using Moire (무아레 현상을 이용한 영상처리 기반의 이상징후 탐지 솔루션)

  • Lee, Jae-Wook;Kang, Hyeok;Lee, Keun-Ho;Lee, Chang-Jun
    • Annual Conference of KIPS
    • /
    • 2016.04a
    • /
    • pp.286-288
    • /
    • 2016
  • 기존에 카메라는 침입자를 탐지할 때 정확성이 부족하고 열화상카메라는 가격이 비싸고 열 측정이 되지 않는 상황일 경우 감시가 힘들다는 단점이 있다. 이러한 단점을 보완하기 위해 빛의 간섭 및 회절에 의한 무아레 현상을 이용하여 이상징후 탐지 및 활용방안을 제시하려한다. 지형의 높낮이 및 형상을 저장하고 침입자가 탐지되었을 경우 무아레 이미지를 기반으로 처음 설정했던 지형 데이터와 비교하여 외부인의 침입을 탐지한다. 미세한 움직임이나 변화에도 크게 이미지가 변하는 무아레 현상의 성질을 이용하여 이상징후를 탐지하는 것이다. 이상징후를 탐지 했을 경우 보안 담당관에게 알림을 전송하거나 경보를 울리는 이상징후 탐지 솔루션 및 활용방안을 제안한다.

Change Detection Algorithm based on Positive and Negative Selection of Developing T-cell (T세포 발생과정의 긍정 및 부정 선택에 기반한 변경 검사 알고리즘)

  • 이동욱;심재윤;심귀보
    • Proceedings of the Korean Institute of Intelligent Systems Conference
    • /
    • 2002.12a
    • /
    • pp.478-481
    • /
    • 2002
  • 본 논문에서는 생명체의 면역계에서 중요한 역할을 하는 세포독성 T세포의 생성과정의 하나인 긍정선택(positive selection)과 부정 선택(negative selection)을 모델링하여 침입에 의한 데이터 변경과 바이러스에 의한 데이터 감염 등을 탐지할 때 가장 중요한 요소인 변경 검사 알고리즘을 개발하였다. 제안한 알고리즘은 면역세포의 생성시 MHC 인식부를 형성해 주는 긍정 선택을 자기 인식 알고리즘으로 구현하여 컴퓨터에서 자기로 인식해야하는 파일이나 기능에 대해 MHC 인식부를 형성하고, 또한 항원 인식부를 형성하는 부정 선택을 이용해 변형 검지기(anomaly detector)를 구성한다. 따라서 제안한 알고리즘은 실제 면역세포와 마찬가지로 자신과 침입자 모두에 대한 인식기를 가지고 변경을 탐지하게 된다. 시뮬레이션을 통하여 자기파일의 일부가 변경되었을 때와 블록이 변경되었을 때에 대하여 두 가지 방법을 이용한 변경 검사 알고리즘의 특성과 유효성을 밝힌다.

Intrusion Types Identification for HMM-based Anomaly Detection System Using Edit Distance (Edit Distance를 이용한 오용탐지 시스템의 침입유형 판별)

  • 구자민;조성배
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.10a
    • /
    • pp.874-876
    • /
    • 2003
  • 전산 시스템에 대한 침입에 대응하기 위하여 시스템 호출 감사자료 척도를 사용하여 은닉 마르코프 모델(HMM)에 적용하는 비정상행위 기반 침입탐지 시스템에 대한 연구가 활발하다. 하지만, 이는 일정한 임계간 이하의 비정상행위만을 감지할 뿐, 어떠한 유형의 침입인지를 판별하지 못한다. 이에 Viterbi 알고리즘을 이용하여 상태 시퀀스를 분석하고, 공격 유형별 표준 상태시퀀스와의 유사성을 측정하여 유형을 판별할 수 있는데, 외부 혹은 내부 환경에 따라 상태 시퀀스가 항상 규칙적으로 추출될 수 없기 때문에, 단순 매칭으로 침입 유형을 판별하기가 어렵다. 본 논문에서는 이러한 문제를 해결하기 위하여 시퀀스의 변형을 효과적으로 고려하는 편집거리(Edit distance)를 이용하여 어떠한 유형의 침입이 발생하였는지를 판별하는 방법을 제안한다. 본 논문에서는 루트권한을 취득하기 위한 대표적인 침입유형으로 가장 널리 쓰이는 버퍼오버플로우 공격에 대해 실험하였는데, 그 결과 세부적인 침입 유형을 잘 판별할 수 있음을 확인하였다.

  • PDF

Intrusion Detection based on Intrusion Prediction DB using System Call Sequences (시스템 호출을 이용한 침입예상 데이터베이스 기반 침입탐지)

  • Ko, Ki-Woong;Shin, Wook;Lee, Dong-Ik
    • Annual Conference of KIPS
    • /
    • 2002.04b
    • /
    • pp.927-930
    • /
    • 2002
  • 본 논문에서는 중요 프로세스(privileged process)의 시스템 호출 순서(system call sequence)를 이용한 침입탐지 시스템을 제안한다. 기존 연구의 정상행위 기반 침입탐지 시스템은 정상행위를 모델링하여 시스템을 구성하고, 이와 비교를 통해 프로세스의 이상(anomaly) 여부를 결정한다. 이러한 방법은 모델링되지 않은 미지의 행위에 대한 적절한 판단을 행할 수 없으므로, 높은 오류율(false-positive/negative)을 보인다. 본 논문에서는 현재까지 알려진 공격에서 공통적으로 나타나는 윈도우들을 수집하여 침입예상윈도우를 구축하고, 이를 기존의 침입탐지 시스템에 부가적으로 사용하여 효과적으로 오류율(false-positive/negative)을 낮출 수 있음을 보인다. 실험 결과 제안된 방법을 통한 침입탐지는 기존의 방법에 비해 공격 탐지율은 증가하고 정상행위에 대한 오류율은 감소하였다.

  • PDF