Intelligent Intrusion Detection and Prevention System by Complementing Signature-Based and Flow-Based Models

시그니처 기반 모델과 흐름 기반 모델의 상호 보완을 통한 지능형 침입 탐지 및 방지 시스템

Abstract

As network usage has increased, the frequency and sophistication of cyber-attacks through networks have also increased. Although security devices exist to mitigate these attacks, they generally rely on static rules, which limits their flexibility in responding to attacks beyond predefined rules. To address this issue, this paper proposes an intelligent intrusion detection and prevention system by complementing signature-based and flow-based models. Leveraging Random Forest and TranAD, our system analyzes individual packets and their sequential flows to identify both known and unknown attacks. Additionally, the system automatically updates packet filtering rules based on the detection results, allowing for immediate responses to attacks. Experiments with the system prototype demonstrates high accuracy ,showing its potential as a next-generation security solution.

네트워크 사용이 증가함에 따라 사이버 공격의 규모 또한 증가하고 있다. 이와 같은 공격을 완화하기 위해 여러 보안 장비들이 존재하지만, 일반적으로 이 장비들은 정적 규칙에 의존하기 때문에 규칙 외 공격에 대한 대응이 어려운 등 유연성이 부족하다는 한계가 있다. 이러한 문제를 해결하기 위해, 본 논문에서는 시그니처 기반 모델과 흐름 기반 모델의 상호 보완을 통한 지능형 침입 탐지 및 방지 시스템을 제안한다. 이 시스템은 랜덤 포레스트와 TranAD로 구성되어 단일 패킷의 특징을 이용한 분류와 패킷의 흐름을 이용한 이상치 탐지를 이용해 기존의 공격뿐만 아니라 새로운 유형의 공격을 식별할 수 있도록 한다. 또한, 탐지된 결과를 기반으로, 자동으로 패킷 필터링 규칙을 업데이트하여 즉각적으로 공격에 대응할 수 있다. 본 시스템의 프로토타입을 통한 실험 결과, 매우 높은 정확도로 이상행위를 탐지하며, 차세대 보안 솔루션으로서의 가능성을 보여주었다.

I. 서론

현대 사회에서 컴퓨터 네트워크는 필수적인 인프라로 자리 잡고 있다. 이는 단순한 데이터 전송을 넘어서 경제, 교육, 의료 그리고 일상생활 전반에 걸쳐 중대한 영향을 미친다. 네트워크를 통해 기업은 글로벌 시장에서 실시간으로 정보를 교환하고, 원격 근무와 협업을 가능하게 한다. 교육 분야에서는 온라인 강의와 디지털 자료 공유가 보편화되고, 의료 분야에서는 환자의 데이터를 신속하게 전송하며 원격 진료를 가능하게 한다. 뿐만 아니라, 자율 주행 자동차, 스마트시티, 증강 현실 등과 같이 최근 등장하는 차세대 과학 기술 역시 네트워크를 기반으로 동작하게 된다. 이처럼 컴퓨터 네트워크는 현대 사회의 모든 분야에서 필수적인 역할을 담당하며, 그 중요성은 갈수록 증가하고 있다.

그러나 네트워크의 중요성이 증가함에 따라 이를 겨냥한 공격도 급증하고 있다 [1]. 공격자들은 분산 서비스 거부 공격(DDoS, Distributed Denial of Service Attack), SQL 삽입(SQL injection), 중간자 공격, 스니핑, 하이재킹 등의 방법을 이용해 서비스의 정상적인 동작을 방해하거나 중요한 정보를 탈취하여 네트워크 인프라 시스템을 무너뜨리려 시도하고 있다. 실제로 2016년 미라이 봇넷(Mirai botnet)을 이용한 분산 서비스 공격으로 인해 많은 네트워크 서비스가 마비된 사례가 있었으며, 2020년 WastedLocker 랜섬웨어 공격으로 Garmin사의 항공기 조종 프로그램이 중단되는 사건이 발생했다 [2, 3].

이와 같은 공격은 네트워크 기반 서비스에 큰 위협으로 작용할 수 있다. 이러한 위협에 대응하기 위해 다양한 보안 장비들이 개발되었지만, 이들은 사전에 정의된 규칙에 의존하기 때문에 새로운 공격에는 취약하며, 보안 규칙의 지속적인 관리에 대한 부담이 존재한다. 이와 같은 한계를 극복하기 위해 인공지능을 결합한 보안 장비가 등장했다. 인공지능은 방대한 데이터를 기반으로 다양한 공격 패턴을 학습한 후 이를 바탕으로 새로운 공격을 감지하고 유연하게 대응할 수 있어 네트워크 침입 탐지에 주로 사용된다 [4].

그러나, 기존의 인공지능 기반 보안 장비 연구는 주로 패킷 시그니처 혹은 패킷 흐름 정보만을 이용하여 보안 위협을 탐지하는 데 집중했다 [4]. 이러한 접근 방식은 다양하고 복잡한 네트워크 공격을 효과적으로 방어하는데 한계가 있다. 네트워크 공격을 탐지하기 위해서는 네트워크로 들어오는 패킷의 정보를 종합적으로 분석할 필요가 있지만, 시그니처만으로는 새로운 공격 기법이나 복잡한 공격을 탐지하기 어렵고, 흐름만으로는 구체적인 공격 유형을 특정하기 어렵다[4]. 또한, 기존의 인공지능 기반 보안 장비는 공격을 탐지한 이후 보안 장비에서 능동적인 대응 방안이 부족하다는 한계가 있다. 추가 피해를 방지하기 위해서는 신속한 보안 규칙 수정이 필요하지만, 기존의 인공지능 보안 장비들은 이러한 추가 조치 방안을 마련하지 않은 경우가 대부분이다. 결과적으로, 공격 발생 후 이를 완화하기 위한 보안 규칙 업데이트는 여전히 수동적 개입이 필요하다. 이는 대응 시간 지연을 야기하고 보안 허점(Security hole)을 발생시킬 수 있다.

위에서 언급한 두 가지 문제를 해결하기 위해서는 패킷의 정보를 종합적으로 파악하고 공격 패킷의 경우 능동적으로 대응 방안을 마련해야 한다. 패킷의 흐름과 시그니처 정보를 종합적으로 파악함으로써 높은 정확도로 해당 패킷이 공격 패킷인지 판단하고 공격 패킷일 경우 신속하게 해당 패킷에 대한 대응을 수행하는 것이 필요하다. 따라서, 본 연구에서는 기존 보안 장비의 문제점을 해결하기 위해 시그니처 기반 모델과 흐름 기반 모델의 상호 보완을 통한 지능형 침입 탐지 및 방지 시스템(Intrusion detection and prevention system)을 구축하고자 한다. 제안하는 시스템은 랜덤 포레스트(Random forest)를 사용하는 특징 기반 패킷 분류 모델과 TranAD를 기반으로 하는 시계열 기반 이상치 탐지 모델로 구성되어 있다. 특징 기반 패킷 분류 모델은 단일 패킷의 시그니처(e.g., dur, sttl, sloss 등)를 이용해 패킷의 정상 여부 또는 공격 종류를 분류하며, 주로 기존의 알려진 공격(Well-known attack)을 탐지한다. 반면, 시계열 기반 이상치 탐지 모델은 패킷의 흐름을 분석하여 정상적인 트래픽 분포에서 벗어나는 패킷을 이상치로 탐지함으로써 새로운 유형의 공격(Unknown attack)을 효과적으로 식별한다. 이러한 시스템은 두 모델의 결합을 통해 네트워크 트래픽의 패턴을 정확하게 분석하고 공격이 발생했을 시 능동적으로 보안 규칙을 추가함으로써 공격에 대응할 수 있으며, 다양한 공격을 탐지하는 다층 보안 접근법을 제공한다.

II. 배경지식

본 장에서는 연구에서 제안하는 지능형 탐지 및 방지 시스템을 이해하기 위한 선행 지식에 대해 설명한다: (1) Network Security Threats (2) Security Function (3) The Concept of AI

2.1 네트워크 보안 위협

네트워크 보안 위협은 네트워크를 통해 전송되는 데이터나 이를 기반으로 하는 서비스의 무결성, 기밀성, 가용성을 손상시키는 악의적인 위협들을 의미하며, 주로 소프트웨어 및 하드웨어의 취약점을 악용하는 형태로 나타나며 [5], 이러한 위협들은 공격자로 하여금 서비스의 정상적인 동작을 방해하거나 중요한 정보를 탈취하여 네트워크 인프라 시스템을 무너뜨리려는 시도로 작용한다. 본 연구에서는 퍼저(Fuzzers), 분석(Analysis), 백도어(Backdoors), 서비스 거부 공격(DoS), 취약점 공격(Exploits), 일반적인 공격(Generic), 정찰(Reconnaissance), 셸코드(Shellcode), 웜(Worms)과 관련된 보안 위협을 탐지하며, 이와 관련된 자세한 설명은 Table 1에 명시한다.

Table 1. Types and descriptions of network security threats [6]

2.2 보안 기능

2.1에서 설명한 네트워크 보안 위협은 네트워크 기반 서비스와 인프라 전체를 위협할 수 있다. 이러한 위협에 대응하기 위해 여러 도구들이 존재하며, 이들을 보안 장비(Security functions)이라고 한다. 일반적으로 시스템을 보호하기 위해 여러 보안 장비들이 다층적으로 사용되며, 이를 통해 시스템의 안전성을 보장할 수 있다. 다음은 대표적인 보안 장비들에 대한 설명이다.

방화벽(Firewall): 네트워크의 경계에서 들어오고 나가는 트래픽을 모니터링하고, 미리 설정된 보안 규칙에 따라 허가된 트래픽만을 통과시키고, 허가 되지 않은 트래픽을 차단한다.

침입 탐지 시스템(IDS, Intrusion Detection System): 네트워크나 시스템 내에서 발생하는 의심스러운 활동이나 보안 정책 위반을 실시간으로 탐지한다. 침입 탐지 시스템은 직접적인 트래픽 차단 기능을 포함하지 않기 때문에, 시스템의 보안 위협 알림 시 이를 해결하기 위해서는 관리자의 개입이 필요하다.

침입 방지 시스템(IPS, Intrusion Prevention System): 침입 탐지 시스템과 유사하게 의심스러운 활동이나 보안 정책 위반을 실시간으로 탐지하면서도, 탐지된 위협을 자동으로 차단하거나 완화하는 기능을 포함한다.

보안 정보 및 이벤트 관리(SIEM, Security Information and Event Management): 다양한 보안 장비들에서 생성되는 로그와 이벤트 데이터를 수집, 분석하여 보안 상태를 종합적으로 파악할 수 있도록 한다.

웹 애플리케이션 방화벽(WAF, Web Application Firewall): 웹 애플리케이션을 보호하기 위해 HTTP/HTTPS 트래픽을 모니터링하고 필터링한다. 주로 SQL 주입(SQL injection), 크로스 사이트 스크립팅(XSS)과 같은 웹 공격을 방어하는 데 목적이 있다.

이와 같은 보안 장비들은 네트워크 기반 서비스와 인프라를 효과적으로 보호할 수 있지만, 네트워크의 트래픽을 모니터링하고 필터링하기 위해서는 사전에 규칙을 설정해야 한다는 문제점이 있다. 이와 같은 단점은 동적으로 변화하는 네트워크 상황에 대해 즉각 대응하기 어려우며, 정확한 규칙 설정의 어려움으로 인해 보안 허점이 발생할 수 있다. 본 연구에서는 이와 같은 문제를 완화하기 위해 시그니처 기반 모델과 흐름 기반 모델의 상호 보완을 통한 지능형 침입 탐지 및 방지 시스템을 제안함으로써 규칙 설정 및 업데이트를 효율적으로 관리하고자 한다.

2.3 인공지능 기반의 공격 탐지

2.2에서 제시하는 보안 장비들을 이용하기 위해서는 사전에 규칙을 설정해야 하는 문제점이 있다. 본 연구에서는 이러한 문제를 완화하기 위해 시그니처 기반 모델과 흐름 기반 모델의 상호 보완을 통한 지능형 침입 탐지 및 방지 시스템을 제안하고자 한다.

인공지능의 방법론을 도입함으로써 얻을 수 있는 장점을 설명하기 위해 프로그래밍과 인공지능의 동작 원리의 차이점에 대해서 살펴보고자 한다. Fig. 1.에서 보이는 것과 같이 프로그래밍은 개발자가 설정한 규칙에 의해서만 데이터를 처리하며, 설정한 규칙외의 동작에는 적절히 대응하기 어렵다 [7]. 반면, 인공지능은 개발자가 규칙을 설정하지 않더라도 학습을 통해 데이터로부터 스스로 규칙을 찾아내고 자율적으로 문제를 해결한다 [7].

Fig. 1. Comparison of traditional programming and AI

기존의 보안 장비들(e.g., Firewall, IDS, IPS 등)은 규칙 기반으로 동작하므로 프로그래밍에 가까운 형태를 띠며, 관리자가 모든 규칙을 수동으로 설정해야 하는 단점이 있다. 이에 반해, 본 연구에서 제안하는 지능형 침입 탐지 및 방지 시스템은 인공지능 기술을 활용하여 트래픽과 관련된 데이터를 모델의 학습을 통해 스스로 규칙을 설정하고 업데이트할 수 있는 장점이 있다. 따라서, 관리자의 규칙 설정 및 관리에 대한 부담을 크게 줄일 수 있다. 이러한 접근 방식은 네트워크 상황의 동적 변화에 즉각 대응할 수 있게 하며, 규칙 설정 과정에서 발생할 수 있는 보안 허점 문제를 완화할 수 있다.

본 연구에서는 지능형 침입 탐지 및 방지 시스템을 구현하기 위해 머신러닝 분류 모델(2.3.1)과 시계열 기반 이상치 탐지 딥러닝 모델(2.3.2)을 사용한다. 해당 내용과 관련된 자세한 설명은 하위 장에서 다룬다.

2.3.1 분류

분류는 주어진 데이터 포인트가 속하는 카테고리나 클래스를 예측하는 과업을 의미하며, 이때 예측하는 목표 변수는 이산적인 값에 해당한다. 분류 문제는 머신러닝을 이용한 문제 해결의 대다수를 차지할 만큼 중요한 주제로 부상되었으며, 관련 사례를 일상에서도 쉽게 접할 수 있다. 예를 들어, 이메일 시스템에서 스팸 메일을 찾아 자동으로 스팸 메일함으로 이동시키는 기능, 일상에서 들려오는 음악을 식별하여 제목을 알려주는 애플리케이션, 문서를 카테고리별로 사전에 분류하는 시스템 등 다양한 분야에서 사용되고 있다.

이와 같은 분류 문제를 해결하기 위해 다양한 머신러닝 알고리즘이 사용된다. 대표적인 알고리즘으로는 로지스틱 회귀, 서포트 벡터 머신, 결정 트리, 랜덤 포레스트, 나이브 베이즈 분류기, k-최근접 이웃 등이 있다 [8]. 본 연구에서는 패킷에서 추출된 특징을 기반으로 하여 공격의 종류를 탐지하는 분류를 수행하기 위해 랜덤 포레스트를 사용하였다.

랜덤 포레스트는 데이터의 특징을 기반으로 노드에서의 분할을 반복하며 예측을 수행하는 여러 결정트리를 종합하여 만든 모델로, 다른 모델들에 비해 일반적으로 높은 성능을 보여 많은 분류 문제에서 사용된다 [9, 10]. 특히 랜덤 포레스트의 낮은 학습 시간 복잡도와 빠른 예측 속도, 불균형 데이터셋에 대한 강인함 등의 이유로 침입 탐지 및 방지 시스템에서 효용성이 높다는 사실이 선행 연구를 통해 충분히 입증되었다 [10].

2.3.2 시계열 기반의 이상치 탐지

시계열 데이터는 시간 흐름에 따라 기록된 데이터를 의미하며, 이러한 데이터로부터 이상치(Anomaly)를 탐지하는 것은 다양한 분야에서 중요한 문제로 다뤄지고 있다. 예를 들어, 금융 분야에서는 신용 카드 사용 내역을 분석하여 사기를 예방할 수 있으며, 의료 분야에서는 생체 리듬을 분석하여 이상 징후를 조기에 판단할 수 있다. 그뿐만 아니라, 본 연구에서 분석하고자 하는 네트워크 패킷 흐름 역시 시계열 데이터에 속하며 이를 통해 네트워크 보안 위협을 분석할 수 있다. 이처럼 이상치 탐지는 위험을 조기에 탐지하는 데 중요한 역할을 하며, 현대 사회에서 각광받는 핵심 기술 중 하나이다.

이때 탐지되는 이상치에 대한 정의는 크게 세 가지로 구별할 수 있다.

⦁ 점 이상치(Point anomalies): 데이터에서의 일반적인 분포와는 다른 개별 데이터 포인트를 의미한다 [11]. 예를 들어, 주식 시장에서 특정 주식의 일일 종가가 다른 날들과 비교하여 갑자기 매우 높거나 낮을 경우, 이는 점 이상치로 간주할 수 있다.

⦁ 문맥적 이상치(Contextual anomalies): 특정 문맥 조건 하에서 비정상적으로 보이는 데이터 포인트를 의미한다 [11]. 즉, 해당 데이터 포인트는 특정 상황에서는 이상치로 보이지만, 다른 상황에서는 정상으로 보일 수 있다. 예를 들어, 여름에 기온이 영상 5℃인 것은 이상치이지만, 겨울에 기온이 영상 5℃인 것은 정상적인 상황이다.

⦁ 집합 이상치(Collective anomalies): 특정 데이터 포인트 집합이 전체 데이터의 경향과는 다른 분포를 띠는 경우를 의미한다 [11]. 개별 포인트로 보았을 때는 정상적일 수 있으나, 주변 포인트를 동시에 보았을 때 비정상적일 수 있다. 예를 들어, 인터넷 사용 패턴에서 특정 사용자가 하루 동안 매우 짧은 간격으로 반복적으로 접속을 시도하는 경우, 이는 집합 이상치로 간주할 수 있다.

이와 같은 이상치는 일반적으로 조치가 필요한 상황으로 간주하기 때문에 이를 정확히 탐지하는 기술이 필요하다. 이를 탐지하기 위해 주로 머신러닝과 딥러닝을 활용한 다음과 같은 방법들이 사용된다.

⦁ 클러스터링을 이용한 방법: 일반적으로 이상치는 일반적인 분포와는 다른 경향을 보인다는 가정을 기반으로, 클러스터링을 수행하여 특정 클러스터에 속하지 않는 데이터를 이상치로 간주하는 방법이다. 이때, 데이터가 가지는 차원을 줄이기 위해 주성분 분석(PCA, Principal Component Analysis)과 같은 차원 축소 알고리즘이 선행되기도 한다.

⦁ 예측을 통한 방법: 과거 데이터로부터 미래의 경향을 예측하는 모델을 설계하고, 미래의 관측값이 예측한 결과와 큰 차이를 보인다면 이상치로 판단한다. 이때, 시계열 데이터 처리에 특화된 딥러닝 모델(e.g., RNN, LSTM, Attention, Transformer 등)이 사용된다.

⦁ 재구성 기법을 통한 방법: 주어진 입력에 대해 이와 유사한 출력으로 재구성하는 모델을 사용한다. 이때, 모델은 정상 상태의 데이터로만 학습이 진행되며, 이를 기반으로 정상적인 데이터는 잘 재구성되지만, 이상 데이터는 적절히 재구성되지 않는다. 해당 방법론 역시 시계열 데이터 처리에 특화된 딥러닝 모델(e.g., RNN, LSTM, Attention, Transformer 등)이 사용된다.

본 연구에서는 네트워크에서의 위협 행위를 탐지하기 위해 이상치 탐지 방법을 사용한다. 이상치 탐지 모델을 설계하기 위해, 트랜스포머 모델을 중심으로 한 재구성 기법 기반의 이상치 탐지 기술인 TranAD를 이용하여 설계하였다. TranAD의 구조와 관련된 자세한 내용은 이후 장에서 다룬다.

III. 관련 연구

3.1 특징 기반의 네트워크 침입 탐지 및 방지 시스템

특징 기반 침입 탐지 및 방지 시스템은 트래픽의 이상 여부 또는 공격의 종류를 분류하기 위해 패킷으로부터 추출된 특징들을 사용한다. 해당 방법론은 순간적으로 캡쳐된 단일 패킷만 사용하기 때문에, 트래픽의 주요 특징 중 하나인 시계열적 흐름에 따른 정보는 반영하기 어렵다. 그러나, 해당 방법론을 적용하는 것만으로도 충분한 탐지 결과를 보일 수 있기에, 이에 대한 연구가 활발히 진행되고 있다.

먼저 딥러닝 기반의 전처리 기법과 머신러닝의 분류기를 혼용하여 모델을 구성한 연구들이 존재한다. Shone et al.의 연구에서는 NSAE(Nonsymentric Deep AutoEncoder)를 사용하여 패킷에서 특징을 추출하고, 추출된 특징을 랜덤 포레스트에 적용하여 공격 유형을 분류하였다 [12]. Marir et al.의 연구에서는 입력 패킷 정보에 대한 차원 축소를 위해 DBN(Deep Belief Network)을 사용하고, 축소된 특징을 다계층 앙상블 서포트 벡터 머신에 적용하여 공격의 종류를 분류하였다 [13]. 여러 모델의 다수결 투표를 통해 최종 결과를 결정하는 앙상블 기법을 적용하여 오탐률을 줄이고 정확도를 향상시켰다. Yan et al.의 연구에서는 입력 패킷 정보에 대한 특징을 추출하기 위해 SSAE(Stacked Sparse AutoEncoder)를 이용하였고, 추출된 특징을 서포트 벡터 머신, k-최근접 이웃, 랜덤 포레스트를 적용하여 공격의 종류를 분류하였다 [14]. 이 연구는 SSAE를 활용한 특징 추출 과정이 효과적임을 입증하였다.

또한, 분류기 자체를 딥러닝 기법을 사용한 연구도 있다. Zhang et al.의 연구에서는 GoogLeNet 기반의 컨볼루션 신경망 모델과 개선된 gcForest를 두 단계로 적용하여 패킷에 대한 공격 종류를 분류하였다 [15]. 이 연구에서는 침입 탐지 및 방지 시스템을 위해 개선된 모델을 제안하며 높은 탐지 성능을 보였다. Tufan et al.은 네트워크 패킷에서 이상치를 탐지하기 위해 앙상블 모델과 컨볼루션 신경망 기반의 두 가지 접근 방식을 제안하였다 [16]. 앙상블 모델 방식은 랜덤 포레스트와 서포터 벡터 머신과 같은 고전적인 기계 학습 모델들을 결합하여 네트워크 이상치 탐지 성능을 향상시켰다. 컨볼루션 신경망 기반의 방식에서는 네트워크 트래픽 데이터를 2차원 이미지 형태로 변환하여 컨볼루션 신경망을 활용한 이상치 탐지 구조를 제안하였다. Bhavsar et al.은 IoT 애플리케이션을 위한 이상치 탐지 시스템을 제안하였다 [17]. 이 시스템은 피어슨 상관 계수와 컨볼루션 신경망을 결합한 PCC-CNN 모델을 기반으로 한다.

3.2 시계열 기반의 네트워크 침입 탐지 및 방지 시스템

네트워크 트래픽은 시간에 따른 흐름을 갖는 시계열 데이터이기에, 시계열 특성을 극대화하는 것은 침입 탐지 및 방지 시스템의 성능 향상을 위한 중요한 요소로 사용될 수 있다. 따라서, 다수의 연구에서는 트래픽의 시계열성을 이용하여 침입 탐지 및 방지 시스템을 구축하고 있다. 이러한 연구들에서는 대부분 시계열성을 극대화하기 위해 시계열 처리에 특화된 순환 신경망 모델이나 변형된 컨볼루션 신경망을 사용하는 경우가 많다.

Nayyar et al.의 연구에서는 네트워크 트래픽의 시계열성을 효과적으로 처리하기 위해 순환 신경망의 일종인 LSTM (Long Short-Term Memory)을 사용하였다 [18]. Khan et al.의 연구에서는 서포트 벡터 머신, 결정 트리, 랜덤 포레스트 등의 고전적인 머신러닝 알고리즘을 활용하여 패킷에 대한 이상치를 탐지하고, Conv-LSTM을 이용하여 탐지된 비정상적인 패킷들에 대한 공격의 종류를 분류하였다[19]. Long et al.의 연구에서는 자연어 처리에서 각광받는 트랜스포머를 도입한 시스템을 제안하였다[20]. 이 연구에서는 트랜스포머의 인코더만을 사용하여 입력된 패킷의 공격 종류를 분류하였으며, 이는 트랜스포머의 강점인 시계열 데이터 분석과 병렬 처리 능력을 적절히 활용한 것으로 볼 수 있다.

IV. 시스템 디자인

4.1 개요

본 연구에서 제안하는 지능형 침입 탐지 및 방지 시스템의 동작 과정은 Fig. 2와 같다. 가장 먼저, 패킷은 방화벽(4.3)을 통과하며 정의된 내부 규칙에 따라 필터링된다. 이때, 방화벽에 의해 악성으로 판단된 패킷을 사전에 제거함으로써, 패킷 검사 과정의 부담을 줄인다. 이후, 나머지 패킷들은 딥러닝 또는 머신러닝 기반의 패킷 검사 과정을 거치게 된다.

Fig. 2. Dynamic intrusion detection and prevention system overview

방화벽을 통과한 패킷들은 특징 추출 모듈(4.4)에 입력되며, 이 과정에서 패킷의 정보는 특징 벡터로 표현된다. 추출된 특징 벡터는 패킷 검사 모델(4.5)로 전달된다. 패킷 검사 모델은 단일 패킷의 시그니처를 이용하여 공격 종류를 탐지하는 랜덤 포레스트 기반 분류기와 패킷의 시계열적 흐름을 이용하여 이상 현상을 탐지하는 TranAD 기반의 이상치 탐지 모델로 구성된다. 랜덤 포레스트 분류기는 패킷의 시그니처 특징을 사용하여 정확하게 공격 유형을 분류하며, TranAD 모델은 패킷 흐름의 비정상적인 패턴을 분석하여 새로운 유형의 공격을 탐지한다. 이러한 두 모델의 상호 보완적인 동작을 통해 패킷의 정적 특징과 시계열적 성질을 모두 고려함으로써 높은 침입 탐지 능력을 보인다.

이후, 각 모델의 판단 결과를 조합하여 패킷의 이상 여부를 최종 판단하며, 이상으로 판단된 패킷에 대한 정보(이하, 5-튜플: {출발지 주소, 출발지 포트, 도착지 주소, 도착지 포트, 프로토콜})는 방화벽 규칙에 반영된다.

4.2 데이터셋

네트워크 트래픽을 캡쳐한 오픈소스 데이터셋으로는 UNSW-NB15, KDD-CUP99, NSL-KDD 등이 있다. 그 중에서도 UNSW-NB15 데이터셋은 최신 공격 유형과 정상적인 네트워크 동작을 모두 포함하고 있어, 여러 연구에서 널리 사용되고 있다[42]. 본 연구에서도 랜덤 포레스트 분류기와 TranAD 기반의 이상치 탐지 모델을 학습하기 위해 UNSW-NB15 데이터셋을 활용하였다.

UNSW-NB15 데이터 셋은 2015년에 공개된 네트워크 보안 데이터 셋으로, 정상 및 비정상 네트워크 트래픽을 포함한 총 2,540,044개의 패킷으로 구성되어 있다 [21]. 각 단일 패킷은 srcip, sport, dstip, dsport, proto, state, dur 등 49개의 특징으로 구성되어 있다. 또한, 각 패킷에 대해서는 정상(0) 및 공격(1)에 대한 레이블이 할당되어 있으며, 공격 패킷은 퍼져, 분석, 백도어, 서비스 거부 공격, 취약점 공격, 일반적인 공격, 정찰, 셸코드, 웜과 같은 9개의 공격 유형으로 세분되어 있다[22].

UNSW-NB15 데이터 셋을 통해 모델은 정상 및 다양한 유형의 공격 트래픽을 학습하여, 실제 네트워크 환경에서 발생할 수 있는 여러 공격 시나리오에 효과적으로 대응할 수 있다. 또한, 데이터 셋의 거대한 규모는 모델이 네트워크의 수많은 패킷을 이해하고 이상 징후를 명확히 탐지하는 데 도움을 준다.

4.3 방화벽

본 시스템에서 방화벽은 네트워크로 들어오는 패킷을 최전방에서 필터링하는 역할을 수행한다. 방화벽은 설정된 규칙(5-튜플)과 패킷의 헤더 정보를 단순히 비교하여 필터링을 수행하므로, 시스템에 큰 부담 없이 악성 패킷을 걸러낼 수 있다 [23]. 이를 통해 비교적 컴퓨팅 자원을 많이 소모하는 패킷 검사 모듈로 전달되기 전에 방화벽 규칙에 따라 악성 패킷을 제거하여 검사해야 하는 패킷의 수를 줄임으로써 시스템의 오버헤드를 감소시키는 장점이 있다.

초기 상태의 방화벽은 아무런 규칙이 지정되어 있지 않지만, 패킷 검사 모듈에 의해 특정 패킷이 악성으로 판별되면 해당 패킷의 정보(5-튜플)를 동적으로 방화벽에 업데이트한다. 이후에는 동일한 패킷에 대해 패킷 검사 모듈을 거치지 않고 방화벽에서 즉시 필터링을 수행한다.

4.4 특징 추출 모듈

특징 추출 모듈은 방화벽에서 걸러지지 않은 패킷들에 대해 검사를 수행하기 전에 패킷으로부터 특징을 추출하는 역할을 한다. 이때 한 개의 패킷은 Table 2에 나타난 바와 같이 20개의 특징으로 추출된다. UNSW-NB15에는 Table 2에서 명시된 특징 외에도 다양한 특징들이 존재하지만, 본 연구에서는 모델 학습을 위해 이러한 20개의 특징만을 사용하여 학습을 진행한다. 이때, srcip(1), sport(2), dstip(3), dsport(4), proto(5)는 패킷이 악성으로 판단될 시 방화벽 규칙을 업데이트 하기 위해 사용된다. 그 외의 나머지 특징들(6-20)은 패킷 검사 모듈에서 패킷을 검사하는 데 사용된다.

Table 2. Features extracted from the feature extraction module and description threreof [41]

4.5 패킷 검사 모듈

4.5.1 데이터 정규화

정규화는 모델의 성능을 향상하기 위해 데이터를 전처리하는 방법 중 하나로, 데이터를 일정한 범위로 조정한다 [24]. 특히 본 연구에서 사용된 TranAD와 같이 시계열 기반의 모델에서는 정규화 여부가 모델의 성능에 큰 영향을 미칠 수 있기에 반드시 정규화를 고려해야 한다 [24]. 본 연구에서는 시계열 데이터 정규화에서 자주 쓰이는 최소 최대 정규화(Min-max normalization, 식 (1))를 적용하여 모델에 입력되는 데이터를 정규화하였다 [25]. 이를 통해 데이터의 스케일을 일관되게 유지하고, 모델 학습 과정에서의 안전성을 확보했다.

\(\begin{align}x_{\text {normalizd }}=\frac{x-x_{\min }}{x_{\max }-x_{\min }}\end{align}\),       (1)

4.5.2 특징 기반의 패킷 분류 모델: 랜덤 포레스트

랜덤 포레스트는 낮은 학습 시간 복잡도와 빠른 예측 속도, 불균형 데이터에 대한 강인함 등을 이유로 침입 탐지 및 방지 시스템에서 주요 모델로 사용되어 왔다 [10]. 이러한 장점들을 고려하여, 본 연구에서도 랜덤 포레스트를 선택하였다. 본 시스템에서 랜덤 포레스트는 단일 패킷에서 추출된 특징 벡터를 이용하여 공격의 종류를 탐지하는 역할을 수행한다. 따라서 입력으로는 Table 2의 {6-20}에 해당하는 특징을 사용하고, 모델은 Table 1에 정의된 공격의 종류를 결정한다. 랜덤 포레스트의 학습 및 추론 과정은 다음과 같다 [26, 27]:

(1) 부트스트랩 샘플링: UNSW-NB15 학습 데이터 셋에서 중복 추출을 통해 부트스트랩 샘플들을 생성한다. 이 과정에서 생성된 부트스트랩 샘플은 원래의 데이터셋(UNSW-NB15)과 동일한 크기의 데이터 포인트를 가지지만, 일부 데이터 포인트는 중복될 수 있고, 일부는 누락될 수 있다.

(2) 결정 트리 학습: 부트스트랩 샘플링을 통해 생성된 각 데이터 셋을 기반으로 여러 개의 결정 트리를 학습한다. 일반적인 결정 트리는 모든 특징을 사용하여 학습되지만, 랜덤 포레스트에서는 피쳐 배깅을 통해 전체 특징 중 일부를 무작위로 선택하여 각 트리를 학습시킨다. 결정 트리들은 서로 다른 특징 집합을 사용하여 학습되므로 다양성을 가지게 된다.

(3) 랜덤 포레스트 생성 및 추론: 학습된 여러 개의 결정 트리를 결합하여 랜덤 포레스트 모델을 생성한다. 새로운 패킷 정보가 입력으로 주어지면, 랜덤 포레스트를 구성하는 각 결정 트리는 개별적으로 공격의 종류를 예측하고, 최종 예측은 전체 결정 트리의 판단 결과를 다수결 내어 결정된다.

4.5.3 시계열 기반의 이상치 탐지 모델: TranAD

TranAD는 Tuli et al.이 제안한 다변량 시계열 데이터에서의 이상치 탐지를 위한 모델이다 [28]. 이 모델은 시계열 데이터 이상치 탐지에서 주로 사용되던 순환 신경망 구조에서 벗어나, 최근 각광받고 있는 트랜스포머 모델을 기본 구조로 설계되었다. 트랜스포머 모델은 어텐션 메커니즘을 통해 순환 신경망의 단점인 장기 의존성 문제를 해결하며, 넓은 범위의 시계열 데이터 패턴을 효과적으로 분석할 수 있다. 또한, 트랜스포머 모델은 입력 데이터를 순차적으로 처리하는 대신 병렬로 처리할 수 있어, 추론 속도를 크게 향상시킬 수 있다. 이러한 특징은 고정확도와 고속도를 요구하는 네트워크 이상치 탐지 시스템에 매우 적합하다. 본 연구에서는 이러한 TranAD의 장점을 활용하여 네트워크 이상 탐지를 수행하였다.

TranAD는 정상 데이터에 대해서는 입력 데이터와 유사한 출력을 적절히 재구성하지만, 비정상 데이터에 대해서는 재구성하지 못한다는 가정을 기반으로 한다. 이 모델은 정상 데이터의 분포를 학습하기 때문에 정상 데이터 분포에 포함되지 않는 비정상 데이터를 효과적으로 탐지할 수 있도록 설계되었다. 따라서 학습 과정에서는 정상 네트워크 패킷 데이터만을 사용한다.

Fig. 3은 네트워크 이상치 탐지를 위한 TranAD를 도식화한 그림이다. TranAD는 장기적 패킷 시퀀스와 단일 패킷을 입력으로 받아, 장단기 시점을 모두 반영하여 이상치 탐지를 수행할 수 있다. 장기적 패킷 시퀀스와 단일 패킷은 위치 인코딩을 거친 후 인코더 모듈로 전달된다. 인코더 모듈은 입력받은 장기 및 단기 패킷 정보를 적절히 조합하여, 이를 잘 표현하는 특징 벡터로 정의한다. 이후, 인코더에서 생성된 특징 벡터는 두 개의 서로 다른 디코더로 전달된다. 디코더 1(Decoder 1)은 정상 패킷 데이터와 유사한 가짜 패킷 데이터를 생성하며, 디코더 2(Decoder 2)는 입력된 패킷 데이터를 재구성한다. 모델은 정상 패킷 데이터에 대해서만 학습되기에, 정상 패킷은 디코더 2에 의해 적절히 재구성되지만, 공격 패킷은 적절히 재구성되지 않는다.

Fig. 3. The TranAD model as network anomaly detection

TranAD의 학습 과정은 두 단계(Phase 1과 Phase 2)로 나뉜다. 단계 1에서는 정상 패킷 데이터와 유사한 가짜 패킷 데이터(O₁)를 생성하고, 입력된 패킷을 재구성(O₂)하는 데 초점을 맞춘다. 단계 2에서는 단계 1에서 생성된 가짜 패킷 데이터(O₁)를 모델에 다시 입력으로 주어진다. 따라서, 단계 2에서는 디코더 2가 가짜 데이터(c.f., 공격 패킷)를 입력받았을 때 정상적으로 재구성하지 못하는 방향으로 학습하는 데 초점을 맞춘다. 이러한 학습 방법을 적대적 훈련(Adversarial Training)이라고 하며, 손실 함수는 식 (2)와 같이 정의된다. 이 때, O₁, O₂는 단계 1에서의 디코더 1, 2의 출력, \(\begin{align}\widehat{O}_{2}\end{align}\)는 단계 2에서의 디코더 2의 출력, W는 장기적 패킷 시퀀스, n은 임의의 정수를 의미한다.

\(\begin{align}\begin{array}{l}\text { Encoder }- \text { Decoder } 1=\frac{1}{n}\left\|O_{1}-W_{2}\right\|_{2}+\left(1-\frac{1}{n}\right)\left\|\widehat{O_{2}}-W\right\|_{2}, \\ \text { Encoder }- \text { Decoder } 2=\frac{1}{n}\left\|O_{2}-W_{2}\right\|_{2}-\left(1-\frac{1}{n}\right)\left\|\widehat{O_{2}}-W\right\|_{2}\end{array}\end{align}\)       (2)

최종적으로 학습된 TranAD는 정상 패킷 데이터에 대해서는 유사하게 잘 복원 할 수 있지만, 공격 패킷 데이터에 대해서는 적절히 복원하지 못하는 양상을 보인다. 따라서 입력 패킷 데이터를 얼마나 잘 재구성하는지에 따라 해당 패킷의 정상 및 이상 여부를 판단할 수 있다. 이는 식 (3)에서 정의한 이상치 점수를 통해 수치화된다. 이상치 점수의 값이 작을수록 입력 패킷 데이터를 잘 복원하는 것을 의미하며, 정상 패킷에 가깝다. 이상치 점수의 값이 클수록 입력 패킷 데이터를 잘 복원하지 못하는 것을 의미하며, 공격 패킷에 가깝다. TranAD를 이용한 이상치 탐지는 식 (3)에서 정의한 이상치 점수를 기반으로 수행된다.

Anomaly score = log₂(∥Pkt_∈put - Pkt_recon∥₂)       (3)

TranAD의 공격 패킷 추론 과정은 일정한 크기의 큐(Queue)를 사용하여 새로운 패킷 데이터를 지속적으로 분석하는 방식으로 이루어진다. 이 큐는 새로운 패킷이 입력될 때마다 가장 오래된 패킷을 제거하여 항상 일정한 크기를 유지한다. TranAD는 이를 통해 100개의 단위로 최신 입력 패킷을 분석하며, 이때 Table 2의 {6-20}에 해당하는 15개의 특징을 재구성한다. 결과적으로 15개의 이상치 점수가 도출된다.

이상치 점수를 기반으로 이상치를 정의하기 위해 본 연구에서는 통계적 기법을 사용한다. 먼저 정상 패킷 데이터로 재구성된 결과에 따른 이상치 점수의 평균(μ)과 표준편차(σ)를 계산한다. 이후, 입력 패킷 데이터의 이상치 점수가 μ + 1.5σ를 초과하는 경우 이상치로 결정된다. 이러한 이상치 결정 과정은 각각의 특징별로 수행되며, 만약 이상치로 판단된 특징의 수가 임곗값(τ)을 초과할 경우 공격 패킷으로 판단한다. 예를 들어, 임곗값이 5로 설정된 경우, 15개의 특징 중 6개의 특징이 이상치로 판단되면 이를 공격 패킷으로 간주한다. 이와 같이 통계적 접근 방식을 통해 네트워크 트래픽의 안전성을 유지하고, 잠재적인 위협을 조기에 발견하여 적절한 대응을 가능하게 한다.

4.5.4 모델 통합

공격의 여부 판단 및 공격 유형 분류는 Table 3에 해당하는 정책을 적용한다. Table 3는 패킷 검사 모듈을 구성하는 랜덤 포레스트 분류 모델과 TranAD 이상치 탐지 모델의 결과를 통합하여 패킷의 정상 또는 악성 상태를 분류하는 정책을 보여주고 있다. 기본적으로 랜덤 포레스트 분류기와 TranAD 모델 모두 패킷을 정상이라고 판단하면 이 패킷은 정상 패킷으로 분류한다. 반대로, 랜덤 포레스트 분류기에서 정상이 아닌 공격의 유형으로 특정되고 TranAD 모델도 패킷을 비정상으로 분류하면 이 패킷은 악성 패킷이라고 판단된다. 또한, 랜덤 포레스트 분류기가 분류한 공격 유형에 따라 패킷의 공격 유형이 결정된다. 다음으로는 랜덤 포레스트 분류기와 TranAD 모델 둘 중 하나는 패킷을 정상으로, 다른 하나는 비정상으로 판단한 경우이다. 네트워크 침입 탐지 및 방지 시스템에서는 악성 패킷을 오탐지하는 것보다 미탐지하는 것이 더욱 치명적이다. 때문에, 의심적인 패킷에 대해서는 공격으로 판단하고 차단하는 것을 우선시하도록 정책을 결정하였다. 랜덤 포레스트 분류기가 패킷을 특정 공격으로 판단하고, TranAD 모델이 패킷을 정상으로 판단한 경우에는 패킷을 악성으로 판단한 랜덤 포레스트 분류기의 판단을 따라 패킷을 특정 공격으로 결정한다. 또한, 랜덤 포레스트 분류기가 패킷을 정상으로 판단했으나, TranAD 모델이 패킷을 악성으로 판단한 경우에도 공격이 들어온 것으로 결정한다. 허나, 이러한 경우에는 공격의 유형을 결정할 때 Exploits, DoS와 같은 특정 공격이 아닌 알려지지 않은 유형의 공격으로 결정한다. 위와 같은 정책을 통해, 알려진 공격과 알려지지 않은 공격 모두를 탐지함으로써 네트워크 보안 위협으로부터 서버를 보호한다.

Table 3. Attack detection policy

V. 구현

본 시스템의 구현에는 다양한 도구와 라이브러리가 사용되었다. 방화벽 모듈은 리눅스 시스템 내장 방화벽인 iptables를 이용하여 구성되었으며, 패킷 검사 모듈의 검사 결과에 따른 규칙을 방화벽에 업데이트하기 위해 파이썬 스크립트를 추가로 활용하였다. 패킷 캡쳐 모듈은 파이썬 라이브러리인 Scapy를 이용하여 구현되었다. 패킷 검사 모듈에서 사용된 랜덤 포레스트는 Scikit-learn의 RandomForestClassifier 클래스를 활용하여 구축되었으며, TranAD 모델은 Tuli et al. 연구팀이 *GitHub에 공개한 오픈 소스 소프트웨어를 기반으로 구현되었다.

VI. 평가

6.1 평가 데이터셋

본 논문에서 제안하는 지능형 침입 탐지 및 방지 시스템을 평가하기 위해 100,000개의 패킷으로 구성된 평가 데이터를 사용하였다. Fig. 4는 평가 데이터를 구성하는 정상 및 공격 패킷의 비율(a)과 공격 종류별 비율(b)을 보여준다. 데이터에서 정상 패킷은 80%, 비정상 패킷은 20%를 차지한다는 점에서 불균형이 존재함을 알 수 있다. 또한, 비정상 패킷 내에서도 셸코드, 웜, 백도어, 분석 공격의 비율이 다른 공격들에 비해 현저히 적음을 확인할 수 있다. 비록 데이터의 불균형이 존재하지만, 현실에서도 정상 상황에 비해 공격 발생 상황이 드물다는 점을 고려 할 때, 이 데이터를 이용한 평가는 적절하다고 할 수 있다.

Fig. 4. Evaluation datasets description

6.2 임계값 변화에 따른 탐지 성능

본 평가에서는 TranAD의 임곗값(τ) 변화에 따른 패킷 검사 모듈의 악성 패킷 탐지 능력을 측정하였다. TranAD의 임곗값은 입력 특징 개수 내에서 (1~15) 다양하게 조정할 수 있다. 임곗값이 작게 설정되면, 적은 수의 특징에서 이상치로 판별되더라도 해당 패킷을 악성으로 간주한다. 반면 임곗값이 크게 설정되면, 다수의 특징에서 이상치로 판별되어야 해당 패킷을 악성으로 간주한다.

Fig. 5는 임곗값의 변화에 따른 정밀도, 재현율, 정확도 변화(a)와 정밀도-재현율 곡선(b)을 나타낸 그래프이다. 임곗값이 커질수록 정밀도와 정확도는 대폭 증가하고, 재현율은 소폭 감소하는 경향을 보이다가, 임곗값 9 이상에서는 모든 평가 지표가 완만하게 변화하는 양상을 나타낸다. 이러한 경우, 다양한 평가 지표의 변화가 둔감해지는 경계인 9를 임곗값으로 설정할 수 있다. 그러나 악성 패킷 탐지와 같은 상황에서는 오탐지보다 미탐지가 더 큰 문제로 작용할 수 있으므로, 정밀도보다 재현율이 높은 것이 더 유리하다. 따라서 본 연구에서는 이상적인 임곗값을 8로 설정하였다.

Fig. 5. Evaluation results with varying thresholds

임곗값 8에서 패킷 검사 모듈의 악성 패킷 탐지 능력은 다음과 같이 산출되었다: 정밀도: 0.89, 재현율: 0.96, 정확도: 0.97. 또한, 정밀도-재현율 곡선을 그린 후 평균 정밀도(AP, Average Precision)을 측정하였을 때, 0.93으로 나타났다. 이는 악성 패킷을 탐지하는 데 충분히 효용적인 결과이다.

6.3 공격 유형에 따른 분류 성능

패킷 검사 모듈은 입력 패킷을 정상(None), 취약점 공격, 정찰, 서비스 거부 공격, 일반적인 공격, 셸코드, 퍼져, 웜, 백도어, 분석, 그리고 알려지지 않은 공격으로 분류한다. 본 평가에서는 패킷 검사 모듈이 입력 패킷을 특정 클래스로 얼마나 정확하게 분류하는지를 측정하였다.

Fig. 6.은 패킷 검사 모듈의 분류 결과를 나타낸다. 정상, 취약점 공격, 정찰, 일반적인 공격, 퍼져 등의 분류에서는 준수한 성능을 보였다. 그러나, 서비스 거부 공격, 셸코드, 웜, 백도어 공격, 분석 공격의 경우 정확한 클래스로 분류하지 못하는 경향이 나타났다. 모델이 잘못 분류한 경우를 분석한 결과, 이러한 공격을 대체로 취약점 공격이나 퍼져로 오인하는 경우가 많았다. 다행히도, 공격 패킷을 정상으로 오인하는 경우는 많지 않았다. 이러한 문제는 인공지능 모델을 학습하기 위한 데이터에서의 클래스 불균형에서 기인한 것으로 보인다. 이를 해결하기 위해 오버샘플링이나 데이터 증강과 같은 방법을 활용할 수 있을 것으로 사료된다.

Fig. 6. Classification results of the packet inspection module

6.4 다른 연구와의 성능 비교

본 장에서는 기존 선행 연구들의 성능과 본 논문에서 제안하는 시스템의 성능을 비교 분석하였다. 비교는 입력 패킷을 정상 또는 악성 패킷으로만 분류하는 이상치 탐지(Table 4)와 입력 패킷에 따른 공격의 종류를 분류하는 패킷 분류(Table 5)로 나누어 수행되었다. 평가는 정확도와 F1 점수를 기준으로 하였다. 평가 결과, 제안된 시스템은 이상치 탐지와 패킷 분류에서 모두 선행 연구들과 비교하여 유사하거나 더 높은 성능을 보였다. 이러한 결과는 본 시스템의 우수성을 입증하며, 다양한 보안 환경에서의 적용 가능성을 시사한다.

Table 4. Comparison of anomaly detection performance

Table 5. Comparison of packet classification performance

VII. 결론

본 연구에서는 네트워크 보안을 강화하기 위해 시그니처 기반 모델과 흐름 기반 모델의 상호 보완을 통한 지능형 침입 탐지 및 방지 시스템(IDS and IPS)을 제안하였다. 제안하는 시스템은 랜덤 포레스트를 이용한 특징 기반 패킷 분류 모델과 TranAD를 이용한 시계열 기반 이상치 탐지 모델로의 결합으로 구성되어 있다. 특징 기반 패킷 분류 모델은 정적 특징을 기반으로 패킷을 효과적으로 분류하여, 알려진 공격을 높은 정확도로 탐지할 수 있다. 한편, TranAD 모델은 네트워크 트래픽의 시계열 흐름을 분석하여 정상적인 트래픽 패턴에서 벗어나는 이상치를 식별한다. 이러한 이중 접근 방식은 전통적인 규칙 기반 보안 시스템의 한계를 극복하며, 포괄적인 방어와 강력한 탐지 능력을 제공한다.

본 시스템을 다양한 유형의 데이터를 가지고 있는 UNSW-NB15을 활용하여 평가하였을 때, 높은 탐지 정확도와 낮은 오탐률을 보임을 확인하였다. 랜덤 포레스트와 TranAD의 결합은 악성 패킷을 식별하는 능력을 크게 향상시켜 네트워크의 전반적인 안전성을 높였다.

현재의 시스템에도 개선할 점이 존재한다. 향후 연구에서는 시스템의 성능을 향상시키기 위해서 개선된 모델을 도입하고 패킷에서 보다 많은 특징을 추출하고자 한다. 또한, 추론 속도를 줄여 실시간 탐지를 가능하도록 하기 위해 양자화와 같은 방법을 적용하거나, FPGA (Field Programmable Gate Array)를 이용한 회로 레벨에서의 모델링을 수행하고자 한다. 또한, 실제 환경에서 수집된 네트워크 트래픽 데이터는 UNSW_NB15 데이터셋과 도메인이 맞지 않아 성능 평가 수행에 어려움이 있었다. 이는 도메인 적응(Domain adaptation)을 수행하여 모델을 개선하고 실제 환경에서 사용할 수 있도록 발전시키고자 한다.