• 제목/요약/키워드: anomaly detection algorithm

검색결과 163건 처리시간 0.028초

Protecting Accounting Information Systems using Machine Learning Based Intrusion Detection

  • Biswajit Panja
    • International Journal of Computer Science & Network Security
    • /
    • 제24권5호
    • /
    • pp.111-118
    • /
    • 2024
  • In general network-based intrusion detection system is designed to detect malicious behavior directed at a network or its resources. The key goal of this paper is to look at network data and identify whether it is normal traffic data or anomaly traffic data specifically for accounting information systems. In today's world, there are a variety of principles for detecting various forms of network-based intrusion. In this paper, we are using supervised machine learning techniques. Classification models are used to train and validate data. Using these algorithms we are training the system using a training dataset then we use this trained system to detect intrusion from the testing dataset. In our proposed method, we will detect whether the network data is normal or an anomaly. Using this method we can avoid unauthorized activity on the network and systems under that network. The Decision Tree and K-Nearest Neighbor are applied to the proposed model to classify abnormal to normal behaviors of network traffic data. In addition to that, Logistic Regression Classifier and Support Vector Classification algorithms are used in our model to support proposed concepts. Furthermore, a feature selection method is used to collect valuable information from the dataset to enhance the efficiency of the proposed approach. Random Forest machine learning algorithm is used, which assists the system to identify crucial aspects and focus on them rather than all the features them. The experimental findings revealed that the suggested method for network intrusion detection has a neglected false alarm rate, with the accuracy of the result expected to be between 95% and 100%. As a result of the high precision rate, this concept can be used to detect network data intrusion and prevent vulnerabilities on the network.

Distributed and Scalable Intrusion Detection System Based on Agents and Intelligent Techniques

  • El-Semary, Aly M.;Mostafa, Mostafa Gadal-Haqq M.
    • Journal of Information Processing Systems
    • /
    • 제6권4호
    • /
    • pp.481-500
    • /
    • 2010
  • The Internet explosion and the increase in crucial web applications such as ebanking and e-commerce, make essential the need for network security tools. One of such tools is an Intrusion detection system which can be classified based on detection approachs as being signature-based or anomaly-based. Even though intrusion detection systems are well defined, their cooperation with each other to detect attacks needs to be addressed. Consequently, a new architecture that allows them to cooperate in detecting attacks is proposed. The architecture uses Software Agents to provide scalability and distributability. It works in two modes: learning and detection. During learning mode, it generates a profile for each individual system using a fuzzy data mining algorithm. During detection mode, each system uses the FuzzyJess to match network traffic against its profile. The architecture was tested against a standard data set produced by MIT's Lincoln Laboratory and the primary results show its efficiency and capability to detect attacks. Finally, two new methods, the memory-window and memoryless-window, were developed for extracting useful parameters from raw packets. The parameters are used as detection metrics.

실시간 탐지를 위한 인공신경망 기반의 네트워크 침입탐지 시스템 (An Intrusion Detection System based on the Artificial Neural Network for Real Time Detection)

  • 김태희;강승호
    • 융합보안논문지
    • /
    • 제17권1호
    • /
    • pp.31-38
    • /
    • 2017
  • 네트워크를 통한 사이버 공격 기법들이 다양화, 고급화 되면서 간단한 규칙 기반의 침입 탐지/방지 시스템으로는 지능형 지속 위협(Advanced Persistent Threat: APT) 공격과 같은 새로운 형태의 공격을 찾아내기가 어렵다. 기존에 알려지지 않은 형태의 공격 방식을 탐지하는 이상행위 탐지(anomaly detection)를 위한 해결책으로 최근 기계학습 기법을 침입탐지 시스템에 도입한 연구들이 많다. 기계학습을 이용하는 경우, 사용하는 특징 집합에 침입탐지 시스템의 효율성과 성능이 크게 좌우된다. 일반적으로, 사용하는 특징이 많을수록 침입탐지 시스템의 정확성은 높아지는 반면 탐지를 위해 소요되는 시간이 많아져 긴급성을 요하는 경우 문제가 된다. 논문은 이러한 두 가지 조건을 동시에 충족하는 특징 집합을 찾고자 다목적 유전자 알고리즘을 제안하고 인공신경망에 기반한 네트워크 침입탐지 시스템을 설계한다. 제안한 방법의 성능 평가를 위해 NSL_KDD 데이터를 대상으로 이전에 제안된 방법들과 비교한다.

New Blind Steganalysis Framework Combining Image Retrieval and Outlier Detection

  • Wu, Yunda;Zhang, Tao;Hou, Xiaodan;Xu, Chen
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제10권12호
    • /
    • pp.5643-5656
    • /
    • 2016
  • The detection accuracy of steganalysis depends on many factors, including the embedding algorithm, the payload size, the steganalysis feature space and the properties of the cover source. In practice, the cover source mismatch (CSM) problem has been recognized as the single most important factor negatively affecting the performance. To address this problem, we propose a new framework for blind, universal steganalysis which uses traditional steganalyst features. Firstly, cover images with the same statistical properties are searched from a reference image database as aided samples. The test image and its aided samples form a whole test set. Then, by assuming that most of the aided samples are innocent, we conduct outlier detection on the test set to judge the test image as cover or stego. In this way, the framework has removed the need for training. Hence, it does not suffer from cover source mismatch. Because it performs anomaly detection rather than classification, this method is totally unsupervised. The results in our study show that this framework works superior than one-class support vector machine and the outlier detector without considering the image retrieval process.

Proposal of a new method for learning of diesel generator sounds and detecting abnormal sounds using an unsupervised deep learning algorithm

  • Hweon-Ki Jo;Song-Hyun Kim;Chang-Lak Kim
    • Nuclear Engineering and Technology
    • /
    • 제55권2호
    • /
    • pp.506-515
    • /
    • 2023
  • This study is to find a method to learn engine sound after the start-up of a diesel generator installed in nuclear power plant with an unsupervised deep learning algorithm (CNN autoencoder) and a new method to predict the failure of a diesel generator using it. In order to learn the sound of a diesel generator with a deep learning algorithm, sound data recorded before and after the start-up of two diesel generators was used. The sound data of 20 min and 2 h were cut into 7 s, and the split sound was converted into a spectrogram image. 1200 and 7200 spectrogram images were created from sound data of 20 min and 2 h, respectively. Using two different deep learning algorithms (CNN autoencoder and binary classification), it was investigated whether the diesel generator post-start sounds were learned as normal. It was possible to accurately determine the post-start sounds as normal and the pre-start sounds as abnormal. It was also confirmed that the deep learning algorithm could detect the virtual abnormal sounds created by mixing the unusual sounds with the post-start sounds. This study showed that the unsupervised anomaly detection algorithm has a good accuracy increased about 3% with comparing to the binary classification algorithm.

APT 공격 탐지를 위한 호스트 기반 특징 표현 방법 (Host based Feature Description Method for Detecting APT Attack)

  • 문대성;이한성;김익균
    • 정보보호학회논문지
    • /
    • 제24권5호
    • /
    • pp.839-850
    • /
    • 2014
  • 3.20 사이버 테러 등 APT 공격이 사회적, 경제적으로 막대한 피해를 초래함에 따라 APT 공격을 방어하기 위한 기술적인 대책이 절실히 요구되고 있으나, 시그너쳐에 기반한 보안 장비로는 대응하는데 한계가 있다. 이에 본 논문에서는 기존 시그너쳐 기반 침입탐지 시스템의 한계를 극복하기 위해서 호스트 PC에서 발생하는 행위정보를 기반으로 악성코드를 탐지하는 방법을 제안한다. 먼저, 악성코드와 정상 실행파일을 구분하기 위한 39개의 특성인자를 정의하고, 악성코드 및 정상 실행파일이 실행되는 동안 발생하는 870만 개의 특성인자 데이터를 수집하였다. 또한, 수집된 데이터에 대해 각 특성인자의 발생빈도를 프로세스 ID 별로 재구성하여 실행파일이 호스트에서 실행되는 동안의 행위정보를 83차원의 벡터로 표현하였다. 특히, 자식 프로세스에서 발생하는 특성인자 이벤트의 발생빈도를 포함함으로써 보다 정확한 행위정보의 표현이 가능하였다. C4.5 결정트리 방법을 적용하여 악성코드와 정상파일을 분류한 결과 각각 2.0%의 오탐률과 5.8%의 미탐률을 보였다.

A Network Intrusion Security Detection Method Using BiLSTM-CNN in Big Data Environment

  • Hong Wang
    • Journal of Information Processing Systems
    • /
    • 제19권5호
    • /
    • pp.688-701
    • /
    • 2023
  • The conventional methods of network intrusion detection system (NIDS) cannot measure the trend of intrusiondetection targets effectively, which lead to low detection accuracy. In this study, a NIDS method which based on a deep neural network in a big-data environment is proposed. Firstly, the entire framework of the NIDS model is constructed in two stages. Feature reduction and anomaly probability output are used at the core of the two stages. Subsequently, a convolutional neural network, which encompasses a down sampling layer and a characteristic extractor consist of a convolution layer, the correlation of inputs is realized by introducing bidirectional long short-term memory. Finally, after the convolution layer, a pooling layer is added to sample the required features according to different sampling rules, which promotes the overall performance of the NIDS model. The proposed NIDS method and three other methods are compared, and it is broken down under the conditions of the two databases through simulation experiments. The results demonstrate that the proposed model is superior to the other three methods of NIDS in two databases, in terms of precision, accuracy, F1- score, and recall, which are 91.64%, 93.35%, 92.25%, and 91.87%, respectively. The proposed algorithm is significant for improving the accuracy of NIDS.

회전수가 변하는 기기의 고장진단에 있어서 특성 기반 분류와 합성곱 기반 알고리즘의 예측 정확도 비교 (Comparison of Prediction Accuracy Between Classification and Convolution Algorithm in Fault Diagnosis of Rotatory Machines at Varying Speed)

  • 문기영;김형진;황세윤;이장현
    • 한국항해항만학회지
    • /
    • 제46권3호
    • /
    • pp.280-288
    • /
    • 2022
  • 본 연구는 정상 가동 중에도 회전수가 변하는 기기의 이상 및 고장 진단 방안을 다루고 있다. 회전수가 변함에 따라 비정상적 시계열 특성을 내포한 센서 데이터에 기계학습을 적용할 수 있는 절차를 제시하고자 하였다. 기계학습으로는 k-Nearest Neighbor(k-NN), Support Vector Machine(SVM), Random Forest을 사용하여 이상 및 고장 진단을 수행하였다. 또한 진단 정확성을 비교할 목적으로 이상 감지에 오토인코더, 고장진단에는 합성곱 기반의 Conv1D도 추가로 이용하였다. 비정상적 시계열로부터 통계 및 주파수 속성으로 구성된 시계열 특징 벡터를 추출하고, 추출된 특징 벡터에 정규화 및 차원 축소 기법을 적용하였다. 특징 벡터의 선택과 정규화, 차원 축소 여부에 따라 달라지는 기계학습의 진단 정확도를 비교하였다. 또한, 적용된 학습 알고리즘 별로 초매개변수 최적화 과정과 적층 구조를 설명하였다. 최종적으로 기존의 심층학습과 비교하여, 기계학습도 가변 회전기기의 고장을 정확하게 진단할 수 있는 절차를 제시하였다.

유전 알고리즘 기반의 비정상 행위 탐지를 위한 특징선택 (Feature Selection for Anomaly Detection Based on Genetic Algorithm)

  • 서재현
    • 한국융합학회논문지
    • /
    • 제9권7호
    • /
    • pp.1-7
    • /
    • 2018
  • 데이터 전처리 기법 중 하나인 특징 선택은 대규모 데이터셋을 다루는 다양한 응용분야에서 주요 연구 분야 중 하나로 각광받고 있다. 특징 선택은 패턴 인식, 기계학습 및 데이터 마이닝에서 사용됐고, 최근에는 텍스트 분류, 이미지 검색, 침입 탐지 및 게놈 분석과 같은 다양한 분야에 널리 적용되고 있다. 제안 방법은 메타 휴리스틱 알고리즘 중의 하나인 유전 알고리즘을 기반으로 한다. 특징 부분 집합을 찾는 방법은 크게 필터(filter) 방법과 래퍼(wrapper) 방법이 있는데, 본 연구에서는 최적의 특징 부분 집합을 찾기 위해 실제 분류기를 사용한 평가를 하는 래퍼 방법을 사용한다. 실험에 사용한 훈련 데이터셋은 클래스 불균형이 심하여 희소클래스에 대한 분류 성능을 높이기 어렵다. SMOTE 기법을 적용한 훈련 데이터셋을 사용하여 특징 선택을 하고 다양한 기계학습 알고리즘을 사용하여 선택한 특징들의 성능을 평가한다.

축사에서 딥러닝을 이용한 질병개체 파악방안 (Fast Detection of Disease in Livestock based on Deep Learning)

  • 이웅섭;김성환;류종열;반태원
    • 한국정보통신학회논문지
    • /
    • 제21권5호
    • /
    • pp.1009-1015
    • /
    • 2017
  • 최근 사물 인터넷 기술의 활용을 통해 가축 및 축사 관련 빅데이터 축적이 가능해 졌다. 이러한 빅 데이터를 기반으로 다양한 기계학습방안들이 가축관리에 적용되어 축산농가의 생산성을 크게 향상시키고 있다. 본 연구에서는 현재 가장 주목받고 있는 기계학습 기술인 딥러닝을 적용한 질병개체 파악방안을 제안한다. 제안한 방안에서는 정상상태와 질병상태의 가축들이 섞여있는 환경에서 상태에 따라 다른 생체데이터 특성을 지닐 때 심층신경망을 이용하여 가축의 상태를 분류한다. 제안 방안은 가축 생체데이터의 통계적 특성을 모르는 상황에서도 학습을 통해서 가축의 상태를 정확하게 분류할 수 있다. 질병개체의 정확한 파악은 구제역과 같은 전염성 질병을 예방하는데 큰 도움이 될 수 있다.