• Title/Summary/Keyword: 비정상 데이터

Search Result 677, Processing Time 0.029 seconds

Abnormal Data Augmentation Method Using Perturbation Based on Hypersphere for Semi-Supervised Anomaly Detection (준 지도 이상 탐지 기법의 성능 향상을 위한 섭동을 활용한 초구 기반 비정상 데이터 증강 기법)

  • Jung, Byeonggil;Kwon, Junhyung;Min, Dongjun;Lee, Sangkyun
    • Journal of the Korea Institute of Information Security & Cryptology
    • /
    • v.32 no.4
    • /
    • pp.647-660
    • /
    • 2022
  • Recent works demonstrate that the semi-supervised anomaly detection method functions quite well in the environment with normal data and some anomalous data. However, abnormal data shortages can occur in an environment where it is difficult to reserve anomalous data, such as an unknown attack in the cyber security fields. In this paper, we propose ADA-PH(Abnormal Data Augmentation Method using Perturbation based on Hypersphere), a novel anomalous data augmentation method that is applicable in an environment where abnormal data is insufficient to secure the performance of the semi-supervised anomaly detection method. ADA-PH generates abnormal data by perturbing samples located relatively far from the center of the hypersphere. With the network intrusion detection datasets where abnormal data is rare, ADA-PH shows 23.63% higher AUC performance than anomaly detection without data augmentation and even performs better than the other augmentation methods. Also, we further conduct quantitative and qualitative analysis on whether generated abnormal data is anomalous.

Data Clustering using a Neural Network for Anomaly Detection (비정상 행위 탐지를 위한 신경망 기반의 데이터 클러스터링)

  • 김인영;장병탁
    • Proceedings of the Korean Institute of Intelligent Systems Conference
    • /
    • 2000.05a
    • /
    • pp.31-34
    • /
    • 2000
  • 코호넨 자기조직 신경망을 사용하면 클러스터링뿐만 아니라 그 데이터가 할당된 클러스터의 대표값(Centroid)과의 거리 차이(Quantization Error)를 알아볼 수 있다 이를 이용하면 어떤 데이터가 정상적인 분포를 따르는지 정상적인 분포에서 벗어나는 비정상적인 데이터인지 알 수 있고, 유닉스 시스템 사용자의 명령어 사용 패턴에 적용하여 어떤 사용자의 명령어 사용 패턴이 정상적인 것인지 비정상적인 것인지 알 수 있다. 본 논문에서는 유닉스 시스템 사용자 8명의 명령어 패턴을 클러스터링한 후 Quantization Error를 이용하여 비정상 패턴을 탐지하는 오프라인에서의 비정상 행위를 탐지하는 시스템을 구현하였다. 그리고 통계적인 학습 방법을 적용한 비정상 패턴 탐지와의 비교를 통하여 두 가지 비정상 패턴 탐지 결과가 동일함을 확인하였다.

  • PDF

Abnormal signal detection based on parallel autoencoders (병렬 오토인코더 기반의 비정상 신호 탐지)

  • Lee, Kibae;Lee, Chong Hyun
    • The Journal of the Acoustical Society of Korea
    • /
    • v.40 no.4
    • /
    • pp.337-346
    • /
    • 2021
  • Detection of abnormal signal generally can be done by using features of normal signals as main information because of data imbalance. This paper propose an efficient method for abnormal signal detection using parallel AutoEncoder (AE) which can use features of abnormal signals as well. The proposed Parallel AE (PAE) is composed of a normal and an abnormal reconstructors having identical AE structure and train features of normal and abnormal signals, respectively. The PAE can effectively solve the imbalanced data problem by sequentially training normal and abnormal data. For further detection performance improvement, additional binary classifier can be added to the PAE. Through experiments using public acoustic data, we obtain that the proposed PAE shows Area Under Curve (AUC) improvement of minimum 22 % at the expenses of training time increased by 1.31 ~ 1.61 times to the single AE. Furthermore, the PAE shows 93 % AUC improvement in detecting abnormal underwater acoustic signal when pre-trained PAE is transferred to train open underwater acoustic data.

K-means를 활용한 항로표지 센서 데이터 군집화

  • 김두환;성상하;최형림
    • Proceedings of the Korean Institute of Navigation and Port Research Conference
    • /
    • 2022.06a
    • /
    • pp.54-55
    • /
    • 2022
  • 해양에 설치된 항로표지는 선박의 안전한 항해를 위해 위치 정보를 제공하고, 항로표지에 부착된 센서를 통해 다양한 해양 정보를 수집하고 있다. 하지만 항로표지는 육지와 멀리 떨어진 해상이라는 특수한 작업환경으로 인해 항로표지 유지보수를 위한 많은 시간과 비용이 발생하게 된다. 현재 항로표지에 부착된 센서를 통해 다양한 정보를 수집하고 있지만, 정상 데이터와 비정상 데이터를 구분할 수 있는 정보가 없어 고장진단에 어려움이 있다. 따라서 본 연구에서는 항로표지 센서 고장진단을 위해 머신러닝 비지도학습 중 하나인 K-means 알고리즘을 활용하여 정상 데이터와 비정상 데이터로 군집화하였으며, 분류가 잘 되는 것을 확인할 수 있었다. 향후 연구방향으로는 2개의 클러스터로 구분된 데이터가 실제로 정상 데이터인지, 비정상 데이터인지에 대한 비교·분석이 필요하다.

  • PDF

A Study of Improving System Security Using Abnormal Devices Detection in Industrial IoT Environment (산업용 IoT환경에서 기계학습을 통한 비정상 디바이스 판별)

  • Roh, Tae-Kyun;Lee, Soo-Yeon;Chung, Tai-Myung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.05a
    • /
    • pp.556-558
    • /
    • 2018
  • 다양한 센서들과 디바이스들이 실시간으로 정보를 주고받는 산업 IoT환경에서 싱크노드에게 속하는 하위 센서 및 디바이스들을 통한 데이터 손실 및 시스템 마비를 발생시킬 수 있는 상황이 발생될 수 있다. 따라서 본 논문은 위의 상황을 고려하여 센서 및 디바이스의 정상범주를 파악하고 비정상적인 디바이스를 판별을 통해 시스템 보안성을 향상시키는 방안을 제시한다. 싱크노드에 속하는 센서 및 디바이스들의 로그데이터를 통해 주성분 분석법을 통해 데이터의 차원을 감소시키고 차원 감소시킨 데이터를 K-means 클러스터링 알고리즘에 적용하여 정상범주 내에 속하지 않는 디바이스를 판별하여 비정상 센서 및 디바이스를 판별한다. 비정상 데이터로 판별된 센서 및 디바이스의 모니터링을 통해 시스템의 보안성을 향상시킬 수 있도록 한다.

New Kernel-Based Normality Recovery Method and Applications (새로운 커널 기반 정상 상태 복구 기법과 응용)

  • Gang Dae-Seong;Park Ju-Yeong
    • Proceedings of the Korean Institute of Intelligent Systems Conference
    • /
    • 2006.05a
    • /
    • pp.306-309
    • /
    • 2006
  • SVDD(support vector data description)는 one-class 서포트 벡터 학습 방법론 중 하나로 비정상 물체에서 정상 데이터를 구분하기 위해서 특징 공간에서 정의된 구를 이용하는 전략을 쓰는 방법론이다. 본 논문에서는 SVDD를 이용해서 노이즈가 섞인 비정상 데이터를 노이즈가 제거된 정상 데이터로 복원하는 방법에 대해서 논한다. 그리고 저해상도의 이미지를 고해상도의 이미지로 복원함으로써 본 논문의 방법론이 어떻게 실용적으로 적용되는지에 대해서 다룬다.

  • PDF

A Research on Anomaly type of face detection using Neural Network (신경망을 이용한 정상·비정상 얼굴유형 탐지 연구)

  • Kim, Woon-Yoeng;Weon, IllYoung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2009.11a
    • /
    • pp.623-624
    • /
    • 2009
  • 본 논문에서는 신경망의 오류 역전파(Backpropagation) 학습 알고리즘을 이용한 얼굴의 정상 비정상을 인식하는 보안 시스템을 제안하였다. 제안된 시스템은 정지영상 및 동영상에서 입력된 얼굴영상을 전처리 단계에서 얼굴영역을 검출하여 $160{\times}160$ 크기의 고정 크기로 확대 및 축소 작업을 거친다. Mosaic 처리와 LaplacianEdge 처리를 거쳐 $40{\times}40$ 크기로 이진화한 정규화 데이터를 Gravity-Center 처리를 한다. 오류 역전파 학습 알고리즘으로 얼굴의 특징을 학습한 후 각종 정상 및 비정상 얼굴 데이터를 이용하여 인식률을 실험 하였다. 실험데이터는 이 분야의 공인 자료인 LFW Face Database[7] 데이터를 사용하였으며, 실험결과는 제안된 방법이 문제 해결에 적합한 접근임을 보여준다.

Online anomaly detection algorithm based on deep support vector data description using incremental centroid update (점진적 중심 갱신을 이용한 deep support vector data description 기반의 온라인 비정상 탐지 알고리즘)

  • Lee, Kibae;Ko, Guhn Hyeok;Lee, Chong Hyun
    • The Journal of the Acoustical Society of Korea
    • /
    • v.41 no.2
    • /
    • pp.199-209
    • /
    • 2022
  • Typical anomaly detection algorithms are trained by using prior data. Thus the batch learning based algorithms cause inevitable performance degradation when characteristics of newly incoming normal data change over time. We propose an online anomaly detection algorithm which can consider the gradual characteristic changes of incoming normal data. The proposed algorithm based on one-class classification model includes both offline and online learning procedures. In offline learning procedure, the algorithm learns the prior data to be close to centroid of the latent space and then updates the centroid of the latent space incrementally by new incoming data. In the online learning, the algorithm continues learning by using the updated centroid. Through experiments using public underwater acoustic data, the proposed online anomaly detection algorithm takes only approximately 2 % additional learning time for the incremental centroid update and learning. Nevertheless, the proposed algorithm shows 19.10 % improvement in Area Under the receiver operating characteristic Curve (AUC) performance compared to the offline learning model when new incoming normal data comes.

A Study on Abnormal Behavior Recognition based on HMM (은닉마코프모델 기반의 비정상 행동 인식 연구)

  • Kim, Young-Nam;Kim, Jun-Hong;Kim, Moon-Hyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.1330-1332
    • /
    • 2015
  • 최근 지능형 감시 시스템에서 비정상 행동들을 자동으로 감지하는 연구가 활발히 진행되고 있다. 그러나 해결하기 힘든 몇 가지 이슈들이 있는데, 주어진 입력 영상에서 군중들이 중첩될 때 각각의 객체를 인식하는데 어려움이 있다는 점과 비정상 행동을 나타내는 훈련 데이터셋이 제한적이라는 점이다. 이러한 문제들을 해결하기 위해 우리는 군중 영상에서 비정상 행동들을 인식하는 새로운 프레임워크를 제안한다. 제안된 방법은 크게 특징추출모듈과 추출된 특징들을 이용한 행동인식모듈로 구성된다. 중첩문제를 해결하기 위해 움직임 에너지와 고정 에너지를 특성으로 정의하였고 위에 언급한 특징추출모듈에서 두 에너지 값을 계산한다. 그리고 정상/비정상 행동들은 HMM과 최적의 임계값을 도출하는 알고리즘을 사용하는 행동인식모듈에 의해 분류된다. 우리가 제안한 방법은 인공 데이터셋과 실제 비디오 영상 데이터셋을 이용한 실험에 의해 증명한다.

Algorithm for Determining Whether Work Data is Normal using Autoencoder (오토인코더를 이용한 작업 데이터 정상 여부 판단 알고리즘)

  • Kim, Dong-Hyun;Oh, Jeong Seok
    • Journal of the Korean Institute of Gas
    • /
    • v.25 no.5
    • /
    • pp.63-69
    • /
    • 2021
  • In this study, we established an algorithm to determine whether the work in the gas facility is a normal work or an abnormal work using the threshold of the reconstruction error of the autoencoder. This algorithm do deep learning the autoencoder only with time-series data of a normal work, and derives the optimized threshold of the reconstruction error of the normal work. We applied this algorithm to the time series data of the new work to get the reconstruction error, and then compare it with the reconstruction error threshold of the normal work to determine whether the work is normal work or abnormal work. In order to train and validate this algorithm, we defined the work in a virtual gas facility, and constructed the training data set consisting only of normal work data and the validation data set including both normal work and abnormal work data.