Research Trends in Cyber Attack and Defense Simulation

사이버 공격·방어 시뮬레이션 연구 동향

Abstract

In this paper, we investigate recent research trends in cyber attack and defense simulations. Traditional security response technologies face practical limitations in countering increasingly sophisticated cyber threats within diverse and complex network environments, such as IT infrastructure, industrial control systems (ICS), and smart grids. As a result, the necessity for automated and intelligent simulation has been highlighted. Accordingly, this study analyzes 23 major academic papers and open-source projects published between 2020 and the first quarter of 2025. The selected studies are categorized into two groups based on the application of reinforcement learning techniques, and each simulation is comparatively reviewed in terms of application domain, level of automation, scenario realism, and experimental effectiveness. Furthermore, by discussing key trends, current limitations, and future challenges in recent simulation research, this paper offers implications for the design of next-generation security experiment environments and practical research in this field.

본 논문에서는 사이버 공격·방어 시뮬레이션 연구 동향을 조사한다. 전통적인 보안 대응 기술은IT 인프라, 산업 제어시스템, 스마트 그리드 등 다양한 복합 네트워크 환경에서 고도화되는 사이버 공격 위협에 대응하기에 현실적인 한계가 있으며, 이로 인해 자동화·지능화된 시뮬레이션의 필요성이 대두되고 있다. 이에 따라 2020년부터 2025년 1분기까지 발표된 주요 학술 논문과 오픈소스 프로젝트를 조사하여 선정된 23개의 연구 및 프로젝트를 분석하였다. 선정된 연구는 강화학습 기술 적용 여부에 따라 두 그룹으로 분류하고, 각 시뮬레이션의 적용 도메인, 자동화 수준, 시나리오 현실성, 실험적 효과 등을 비교·정리하였다. 또한, 최신 시뮬레이션 연구의 주요 동향과 한계, 향후 과제를 논의함으로써, 차세대 보안 실험 환경 설계와 실무적 연구에 참고할 수 있는 시사점을 제공한다.

I. 서론

최근 정보통신기술의 급속한 발전과 더불어, IT 인프라, 산업 제어 시스템(Industrial Control System, ICS), 스마트 그리드 등 다양한 환경에서 복합적이고 지능화된 사이버 위협이 급증하고 있다. 기존 사이버위협 분석 방법은 공격 그래프와 같은 정적 분석 방법론이 주로 활용되어 왔다. 그러나 이러한 정적 분석 방법론은 실제 네트워크 구조의 복잡성과 공격의 동적 특성을 충분히 반영하지 못한다는 한계가 있다. 특히, 새로운 공격 기법의 등장이나 네트워크 환경 변화에 효과적으로 대응하고, 현실적인 위험을 입체적으로 평가하는 데에는 한계가 분명하다. 또한, 대규모 네트워크 및 산업 환경에서 실제 위협 시나리오를 반복적이고 체계적으로 실험하는 것은 비용, 시간, 시스템 안정성 측면에서 상당한 제약이 따른다. 이에 따라 효율적인 실험 및 연구를 위해서는 시뮬레이션 도구의 연구 및 개발이 필요하다[1]. 최근 몇몇 연구에서는 이러한 시뮬레이션 환경을 ‘Autonomous Cyber Operations(ACO) 플랫폼’이라는 용어로 부르기도 한다[2][3]. ACO 플랫폼은 공격자와 방어자 역할의 자율적 에이전트가 인간의 개입 없이 실시간으로 의사결정과 사이버 작전을 수행하는 환경을 의미한다. 시뮬레이션 기반 연구는 공격자와 방어자의 상호작용, 네트워크 구조, 위협 모델, 탐지·대응 전략 등 다양한 요소를 자유롭게 모델링하고 반복 실험함으로써, 실제 환경에서의 보안 정책 및 방어 전략의 효과를 사전에 검증할 수 있다는 장점이 있다. 또한 강화학습(Reinforcement Learning, RL)은 시뮬레이션 환경에서 최적의 전략을 학습하기 위한 방법으로 활용되며, 인공지능 기반 접근은 다양한 위협에 자율적으로 적응할 수 있는 가능성을 보여주고 있다[4]. 본 논문에서는 이러한 기술 동향과 발전 맥락을 체계적으로 분석하기 위해, 앞선 5년(2020-2024) 및 2025년 1분기에 발표된 문헌을 대상으로 IEEE Xplore, ACM Digital Library, ResearchGate, Web of Science, Google Scholar와 같은 주요 학술 데이터베이스와 더불어, GitHub 등에서 소개된 연구 결과까지 폭넓게 조사하였다. Cyber, Cybersecurity, Attack, Defense, Simulation, Environment의 키워드를 조합하여 1차적으로 87여 편의 관련 문헌을 수집하였으며, 이후 포함/제외 기준에 따라 단계적으로 문헌을 선별하였다. 먼저 1차 기준으로, 시뮬레이션 도구의 자체 개발 또는 구조적 설계에 대한 설명이 포함되어 있고, 실험 결과 분석 등 명확한 공헌이 있는 연구만을 남겼다. 이 과정에서 55편이 제외되어 32편을 선정하였다. 이후 2차 기준으로, 시뮬레이션을 직접 활용하지 않고 정책 제안에 그친 연구, 또는 시뮬레이션 도구를 단순 인용하거나 리뷰만 수행한 문헌을 추가로 제외하여, 최종적으로 23편의 주요 논문 및 프로젝트를 분석 대상으로 선정하였다. 문헌 선정의 전체 흐름은 아래 Fig 1.에서 표현하였다. 특히, 최근 시뮬레이션 환경에서는 강화학습이 공격·방어 전략을 보상 기반으로 스스로 학습하고 최적화하는 구조를 제공함으로써, 기존의 정적 시나리오 또는 규칙 기반 접근과 구별되는 전략 생성 방식의 중요한 전환점으로 작용하고 있다. 이에 본 연구에서는 강화학습 적용 여부를 기준으로 두 그룹으로 분류하고, 각 시뮬레이션 기술의 적용 환경, 자동화 수준, 시나리오 현실성, 실험 효과 등 다양한 측면에서 장단점과 한계를 비교·정리하였으며, 강화학습 적용 여부가 사이버 공격·방어 시뮬레이션 기술의 특성 및 현실성에 어떤 차이를 가져오는지, 두 접근 방식이 각각 어떤 상황과 목적으로 활용되고 있으며, 향후 상호 보완적 접근이 가능한지 등에 대하여 논의해보려 한다.

Fig. 1. PRISMA flowchart for study selection.

본 논문은 다음과 같은 구성을 가진다. 2장에서는 시뮬레이션 기반 사이버 공격·방어 기술의 개념과 기존 기술의 한계를 정리한다. 3장에서는 선정된 23개의 문헌 및 프로젝트를 강화학습 적용 여부를 기준으로 두 그룹으로 분류하고, 각 시뮬레이션의 적용 환경, 자동화 수준, 시나리오 현실성, 실험적 효과 등을 비교·정리한다. 4장에서는 분석 결과를 바탕으로 최신 연구의 흐름과 현행 연구의 한계를 논의하고, 향후 과제를 제안한다. 마지막으로 5장에서 본 논문의 결론을 제시한다.

II. 배경 지식

2.1 기존 사이버 공격 대응 기술의 한계와 시뮬레이션 접근의 필요성

최근 사이버보안 연구에서는 인공지능과 시뮬레이션 기법을 접목한 다양한 보안 실험 환경이 개발되고 있다. IT 인프라, 산업 제어 시스템, 사이버-물리 시스템(Cyber-Physical System, CPS) 등 다양한 환경의 복잡성이 증가하면서 전통적인 접근 방식만으로는 복합적이고 지능화된 공격에 대응하는 데 한계가 드러나고 있다[5]. 이에 따라 사이버 공격에 대응하기 위하여 사이버 공격 시뮬레이션 방법은 침투 테스팅(penetration testing)에서 시작해, 공격 그래프, Breach and Attack Simulation(BAS), 그리고 자율해킹 기반 시뮬레이션으로 발전해왔다[6].

침투 테스팅은 네트워크, 시스템, 애플리케이션 등에 존재하는 취약점을 실제 공격자의 입장에서 식별하고, 이를 활용해 보안 약점을 평가하는 방법이다. 일반적으로 침투 테스팅은 사전에 정의된 범위 내에서 모의 공격을 시도하여 보안 취약점이 실질적으로 악용될 수 있는지 검증한다. 이는 자동화 도구와 전문가의 수작업을 병행하며, 발견된 취약점에 대해 실제로 익스플로잇을 수행하여 조직 내 정보보호 수준을 점검한다. 침투 테스팅은 네트워크 및 시스템의 실질적인 보안 상태를 파악하고, 조직이 잠재적 위협에 얼마나 노출되어 있는지 확인하는 데 중요한 역할을 한다. 하지만 침투 테스팅에는 한계가 존재한다. 침투 테스트 결과는 수행자의 경험과 전문성, 그리고 투입된 시간에 크게 좌우되기 때문에 동일한 환경이라도 평가 품질이 달라질 수 있다. 모든 취약점을 한 번의 테스트에서 모두 발견하는 것도 사실상 불가능하며, 점검 시점에 한정된 일회성 평가에 그치기 쉽다. 따라서 시스템 환경이나 소프트웨어가 변경될 경우 이전 침투 테스트 결과가 더 이상 유효하지 않을 수 있다. CyCognito[7]의 조사에 따르면, 응답 조직의 70 % 이상이 침투 테스팅을 수행하지만, 정기적으로 전체 공격 표면을 검사하는 비율은 38 %에 불과하여, 테스트 범위 부족으로 주요 취약점이 놓일 위험이 있다고 밝혔다. 또한 대규모 네트워크나 복잡한 시스템에서는 수작업을 통한 테스트가 시간과 비용 면에서 비효율적일 수밖에 없고, 정기적인 반복 수행에도 현실적인 제약이 많다. 이러한 이유로 최근에는 자동화된 평가 및 시뮬레이션 기술에 대한 필요성이 강조되고 있다[8][9].

공격 그래프는 네트워크에 존재하는 다양한 취약점과 시스템 구성을 바탕으로, 공격자가 목표 자산에 도달할 수 있는 모든 잠재적인 공격 경로를 그래프 구조로 표현하는 기법이다. 각 노드는 공격자가 특정 상태에 도달한 단계를 나타내며, 엣지는 한 상태에서 다음 상태로 넘어가기 위한 공격 행위를 의미한다[10]. 하지만 공격 그래프는 실제 환경에 적용할 때 여러 한계가 있다. 공격 그래프는 개별 취약점을 연결하여 이론적으로 가능한 모든 공격 경로를 식별하지만, 공격자의 실제 역량이나 각 취약점의 실질적인 익스플로잇 가능성, 그리고 그로 인해 획득할 수 있는 권한까지는 충분히 반영하지 못한다. 이로 인해 생성된 그래프 내의 모든 경로가 현실적으로 사용될 수 있는 것은 아니며, 실제 공격자가 어떤 경로를 활용할지는 보장할 수 없다. Allodi와 Etalle[11]는 “공격 그래프는 모든 알려진 취약점과 공격 경로를 나열하지만, 실제 공격에서 악용되는 취약점은 극소수에 불과하며, 공격자 자원·환경·의도 등 현실적 제약은 모델에 거의 반영되지 않는다”고 지적한다. 또한, 많은 수의 경로가 도출되더라도 그 우선순위가 실제 위험도와 반드시 일치하지 않을 수 있으며, 현실적으로 모든 경로를 제거하거나 방어하기에는 비용과 자원 면에서 한계가 있다. 대규모 네트워크 환경에서는 그래프 크기와 복잡성 증가로 인해 계산적 부담도 크게 늘어나고, 사회공학적 요소 등 비기술적 방법에 의한 경로 연결도 제대로 반영하기 어렵다[6][12].

BAS는 자동화 기반의 공격 시뮬레이션 기법으로, 실제 해커가 사용하는 다양한 공격 경로와 행위를 기업 내부 환경에 반복적으로 적용하여, 방화벽, EDR, 이메일 보안 등 다양한 보안 통제의 효과를 실제적으로 점검하는 기술이다. BAS는 전통적인 레드팀, 침투 테스팅 등 수동·인력 중심의 평가 방식과 달리, 자동화된 도구를 활용해 반복적으로 다양한 공격 시나리오를 시뮬레이션하고, 시나리오별로 우선순위가 부여된 취약점과 대응 방안을 실시간으로 제공한다. 이러한 특성으로 인해 BAS는 조직이 보유한 보안 체계의 실효성을 정기적으로 검증하고, 신속한 탐지·대응 역량을 강화하는 데 기여한다[13]. 그러나 BAS에도 한계점이 존재한다. BAS가 활용하는 공격 시나리오와 TTPs는 주로 알려진 위협에 기반하고 있어, 제로데이 취약점이나 비정형적·창의적 공격에는 대응이 제한적이다. 2022년 Uber의 해킹 사건[14]의 경우 사회 공학(social engineering)및 측면 이동(lateral movement)이 사용되었는데, 이는 BAS 도구로 시뮬레이션하거나 탐지할 수 없는 전략이다[15]. 또한 시뮬레이션 환경과 실제 운영 환경 간에는 구성 및 정책, 사용자 행위 등에서 차이가 존재할 수 있어, BAS 결과가 실제 위협 상황을 완전히 대변하지 못할 수 있다. 또한, BAS 도구의 효과적인 운용을 위해서는 시나리오와 공격 체인, 탐지 로직의 지속적인 업데이트가 필요하며, 자동화 이후 시나리오 설정과 해석은 전문가의 개입에 의존하므로, 최신 위협 반영과 탐지 로직의 유지 측면에서도 제약이 존재한다. 또한, 대규모 네트워크 환경에서는 복잡성과 관리 비용이 증가한다는 점도 한계로 지적되고 있다[16][17].

이처럼 기존 대응 기술들은 IT 인프라와 네트워크 환경의 대규모화 및 복잡성, 그리고 공격 기법의 지능화와 보안 위협의 다변화에 효과적으로 대응하지 못하는 한계가 있다. 이러한 배경에서, 자동화·지능화된 시뮬레이션 환경의 중요성이 더욱 부각되고 있다. 시뮬레이션 기술은 공격자와 방어자의 상호작용을 실험적으로 분석할 수 있다는 점에서, 실제 시스템에 대한 무분별한 실험 없이 정책, 탐지 기법, 방어 전략의 효과를 반복적으로 검증하는 데 적합하다. 이에 따라 강화학습 등 인공지능 기술과 결합한 시뮬레이션 기술이 연구 및 실험의 중심 도구로 자리잡고 있다[3].

2.2 강화학습

강화학습은 에이전트가 환경과 상호작용하면서, 주어진 상황에서 어떤 행동을 선택해야 장기적으로 가장 큰 보상을 얻을 수 있는지 스스로 학습하는 문제를 다룬다. 지도학습과 달리, 강화학습에서는 어떤 행동이 최적인지에 대한 명시적인 정답이 주어지지 않으며, 에이전트는 시행착오를 통해 직접 최적의 행동을 발견해야 한다. 이러한 과정에서 에이전트는 환경으로부터 받은 보상을 기반으로 정책을 개선하며, 궁극적으로 장기적인 누적 보상을 최대화하는 방향으로 학습이 이루어진다[18]. 사이버 시뮬레이션 환경에서는 공격자와 방어자 모두를 자율 에이전트로 정의하고, 네트워크 탐색, 취약점 익스플로잇, 방어 정책 적용 등 다양한 행동을 실제 상황과 유사하게 모델링할 수 있다. 최근 사이버 공격 시뮬레이션 연구에서 강화학습 기반 접근이 도입되고 있으며, 공격·방어의 상호작용을 반복적으로 경험함으로써, 기존 머신러닝보다 더 유연하고 적응적인 보안 시스템을 구축할 수 있다는 점이 부각되고 있다. 실제로 강화 학습 기반 시뮬레이터는 다양한 위협 상황을 실시간으로 학습하고, 새로운 공격이나 변화하는 위협에도 효과적으로 대응할 수 있는 정책을 스스로 도출함으로써, 기존의 정적이고 규칙 기반의 방어 시스템의 한계를 극복할 수 있다[19].

III. 사이버 공격·방어 시뮬레이션 기술 연구 동향

본 장에서는 최근 사이버 공격·방어 시뮬레이션 기술의 연구 동향을 정리한다. 특히 시뮬레이션 환경에서 강화학습은 에이전트가 보상 기반의 반복 학습을 통해 전략을 자율적으로 형성할 수 있도록 설계된 구조적 특징을 가지며, 이는 고정된 규칙이나 시나리오에 따라 작동하는 기존 시뮬레이션 방식과 구별된다. 이에 따라 본 연구는 시뮬레이션 내 전략 결정 방식의 구조적 차이에 주목하여, 강화학습 적용 여부를 기준으로 문헌을 두 그룹으로 분류하고, 이를 바탕으로 주요 연구들을 비교·분석하였다. 이때 강화학습이 실제 실험에 적용되어 에이전트의 정책 학습이 수행된 경우를 강화학습 기반으로 정의하였으며, 단순히 강화학습 알고리즘과의 호환 가능성이나 향후 적용 가능성이 언급된 수준에 머무른 연구는 미적용 그룹에 포함하였다. 이러한 기준은 강화학습이 시뮬레이션 설계와 평가에 실질적으로 적용된 사례를 중심으로, 정책 학습의 자동화 수준을 정밀하게 비교하기 위함이다.

3.1 강화학습 기반 시뮬레이션

3.1.1 CyberBattleSim

Microsoft의 CyberBattleSim[20]은 강화학습 기반 자동화 에이전트의 상호작용을 실험하는 오픈소스 사이버보안 시뮬레이션 플랫폼이다. OpenAI Gym (현 Gymnasium) 인터페이스를 통해 고도로 추상화된 네트워크 환경에서 공격자와 방어자 에이전트의 전략을 모델링하며, 각 에이전트는 누적 보상과 시뮬레이션 스텝을 기준으로 평가된다. 실제 트래픽은 구현하지 않으며, 다양한 네트워크 설정과 강화학습 알고리즘의 실험 및 벤치마크가 가능하도록 경량화된 환경을 제공한다. 또한, 대규모 상태·행동 공간으로 인해 강화학습의 적용이 어려운 문제, 자동화된 보안 연구의 안전성 확보, 방어자 입장에서의 네트워크 구조 설계 등 다양한 연구 주제를 뒷받침한다[21].

Kunz 등[22]은 CyberBattleSim을 확장해, 강화학습 기반 공격자와 방어자 에이전트가 동시에 학습하고 상호작용할 수 있는 멀티에이전트 환경 MARLon(Multi-Agent Training ON CyberBattleSim)을 제안하였다. 웹사이트, 클라이언트, Azure 저장소 등으로 구성된 ToyCTF 가상 네트워크에서 PPO(Proximal Policy Optimization), A2C(Advantage Actor-Critic) 등 강화학습 알고리즘을 적용했으며, 양측 에이전트가 OpenAI Gym (현 Gymnasium) 인터페이스에서 동작하도록 AttackerWrapper와 DefenderWrapper를 구현해 유효하지 않은 행동 및 관찰 공간 문제를 해결하였다. 유효하지 않은 행동에 0 보상을 부여하는 방식이 탐험 및 학습 성능을 높였고, 네트워크 가용성 제약이 학습에 중요한 변수임을 확인하였다. 공격자와 방어자의 공동 학습 환경에서는 방어자의 성능과 일관성이 단독 학습 대비 향상되지만, 특정 공격자 유형에 과적합되는 현상이 나타나 방어 에이전트의 일반화 성능 제고가 향후 과제로 제시되었다.

Esteban[23]은 CyberBattleSim을 기반으로, 기업 네트워크의 침해 후 측면 이동단계를 시뮬레이션할 수 있는 웹 플랫폼을 개발하였다. Vue.js와 Flask로 구현된 이 플랫폼은 네트워크 토폴로지 시각화, 사용자 직접 탐색 및 Q-Learning 기반 자동화 공격 에이전트 기능을 제공한다. 이를 통해 다양한 네트워크 구성을 모델링하고, 강화학습 전략에 따라 자동화된 공격자의 이동 경로를 평가할 수 있다. 이는 사이버 공격 진행 분석 및 대응 전략 수립에 활용할 수 있으며, 향후에는 AI 알고리즘과 방어자 에이전트 도입도 계획하고 있다고 밝혔다.

Abid 등[24]은 CyberBattleSim을 기반으로, 스마트 홈을 모사한 IoT(Internet of Things) 네트워크를 시뮬레이션하는 CyberBattleSimIoT 환경을 설계하고, Q-learning 기반 강화학습 보안 전략의 효과를 검증하였다. 다양한 IoT 장치와 각종 취약점·방화벽 규칙을 구현하여 현실적 공격 시나리오를 재현한다. Q-learning 에이전트는 각 노드의 상태에 따라 공격/방어 행동을 선택하고, 반복 학습을 통해 위협 탐지 및 대응 성능을 향상시킨다. 실험 결과, Q-learning 에이전트는 평균 보상, 최대 보상, 평균 탐색 단계 등에서 Greedy·Random 에이전트 대비 우수한 성능을 보였다. 이를 통해 강화학습 기반 전략이 IoT 보안을 향상시키기 위한 실질적인 대안이 될 수 있음을 제시하였다.

Norris와 Madisetti[25]는 CyberBattleSim의 한계를 보완하기 위해 VLAN 기반 네트워크 세분화(segmentation)와 ACL(Access-Control List) 기반 트래픽 제어를 도입한 CyberBattleSegmented 환경을 구축하였다. 이 환경에서는 각 노드가 VLAN별로 분리되고, VLAN 간 트래픽은 ACL 정책에 따라 통제되어 공격자의 측면 이동이 효과적으로 제한된다. Q-learning, DQL(Deep Q-Learning) 등 다양한 강화학습 에이전트를 활용한 실험 결과, segmentation과 트래픽 차단 적용 시 공격 성공률과 누적 보상이 감소함을 확인하였다. 이들은 segmentation이 공격 경로 차단에 효과적임을 보여주며, 실무 및 연구 현장에 적용 가능한 보안 시뮬레이션 환경의 가능성을 보여주었다,

3.1.2 NASim

NASim(Network Attack Simulator)[26]은 Python 기반의 경량 네트워크 공격 시뮬레이터로, 강화학습 및 계획 기반 자동화 침투 테스트 에이전트의 신속한 실험 및 평가를 위해 개발되었다. 실제 시스템의 세부 동작을 모두 재현하지 않으나, 대규모 상태·행동 공간, 부분 관측성, 다양한 네트워크 토폴로지 등 실제 네트워크 침투 테스팅에서 중요한 핵심 요소들을 추상화해 반영한다[27]. OpenAI Gym(현 Gymnasium) 인터페이스를 통해 PPO, DQN(Deep Q-Learning) 등 강화학습 알고리즘의 연구 환경으로 활용할 수 있으며, 강화학습 기반 네트워크 보안 연구와 시나리오 기반 자동화 실험 환경 구축에 활용할 수 있다.

Janisch 등[28]은 NASimEmu 프레임워크[29]를 제안하여, 강화학습 기반 네트워크 침투 테스트의 현실성과 일반화 한계를 해결하고자 하였다. NASimEmu는 NASim 시뮬레이터를 개선한 가상 네트워크 환경과, Vagrant, VirtualBox, Metasploit 등 업계 표준 도구들을 활용한 에뮬레이터를 구축하여 시뮬레이션과 에뮬레이션을 모두 제공하였다. 다양한 네트워크 시나리오와 네트워크 구성 변화 환경에서, PPO 등 강화학습 에이전트를 학습·테스트하며, 시뮬레이션에서 훈련된 에이전트가 에뮬레이션 환경에서도 실제로 작동함을 실험적으로 검증하였다. 이를 통해 시뮬레이션의 현실성을 높이고, 자동화 침투 테스트 연구의 일반화 가능성을 제시하였다.

3.1.3 그 외 강화학습 기반 시뮬레이션

Jeong 등[30]은 복잡한 클라우드 환경에서 Command & Control(C&C) 기반 공격 시나리오를 시뮬레이션할 수 있는 코드 기반 사이버 환경 테스트 프레임워크인 CYE(CYber Environment)를 제안하였다. 이 프레임워크는 강화학습, 특히 DQL을 활용하여 자동화된 방어 에이전트를 훈련시키는 것을 목표로 한다. CYE는 네트워크 장비와 노드의 복잡한 상호작용을 유연하게 모델링할 수 있으며, 실제 사이버 위협 사례에서 영감을 받은 시나리오를 통해 고급 지속 위협(Advanced Persistent Threat, APT)과 같은 복잡한 공격 기법에 대응하는 방어 전략을 평가하고 개선할 수 있다.

Gracias와 Shad[31]는 사이버 공격 시나리오를 시뮬레이션하고 이에 대한 시스템 회복력을 향상시키기 위한 방안으로 디지털 트윈과 심층 강화학습(Deep Reinforcement Learning, DRL)을 결합한 모델을 제안하였다. 이 모델은 디지털 트윈 환경에서 다양한 사이버 공격 시나리오를 시뮬레이션하고, DRL 기반 방어 에이전트가 반복적 상호작용을 통해 최적의 방어 전략을 학습하도록 설계되었다. 실험 결과, DRL 적용 시 공격 탐지 시간 단축, 방어 성공률 향상, 회복 시간 감소 등 시스템 회복력이 개선되었으며, 자율적·적응적 보안 시스템의 가능성을 실증하였다.

Carrasco 등[32]은 네트워크 보안을 위한 경쟁형 사이버보안 훈련 시뮬레이션 환경 CyberShield를 제안하였다. CyberShield는 다양한 서비스, 취약점(CVSS 기반), 권한, 플래그(주요 자산)를 가진 네트워크 노드로 구성되며, 공격자와 방어자 에이전트가 번갈아 행동하는 강화학습 기반 턴제 환경이다. 이 환경은 강화학습 기반 에이전트의 행동 학습을 위해 마르코프 결정 과정(Markov Decision Process, MDP)에 기반하여 설계되었으며, 각 에이전트는 보상 함수와 제한된 행동 공간(action space)을 통해 전략을 최적화할 수 있다. 본 논문에서는 랜덤 에이전트와 휴리스틱 에이전트를 비교 실험하여, CyberShield가 실제 보안 시나리오에서 전략 차이를 반영할 수 있는 유의미한 실험 환경임을 보였으며, 향후에는 강화학습 기반 에이전트를 통해 보다 고도화된 공격·방어 전략 학습을 수행할 수 있는 플랫폼으로 발전 가능성이 있음을 시사하였다.

Oesch 등[33]은 자율형 사이버 보안 에이전트 훈련을 위한 시뮬레이션·에뮬레이션 환경 Cyberwheel[34]을 제안하였다. Cyberwheel은 라우터, 서브넷, 호스트 등으로 구성된 현실적인 네트워크 구조를 기반으로 하며, 각 에이전트의 행동 공간, 관측 공간, 보상 함수 등을 YAML 파일을 통해 손쉽게 정의할 수 있어 다양한 실험 설정이 가능하다. 훈련 알고리즘으로는 PPO를 활용하였고, IDS 탐지 기반 관측 정보를 사용하여 현실성과 전이 가능성을 높였다. 실험에서는 Blue agent가 다양한 위치에 decoy를 배치하여 Red agent의 공격을 회피시키거나 지연시키는 전략을 학습할 수 있음을 확인하였고, 임계값(gamma값)을 높게 설정할수록 더 효과적인 장기 전략이 학습됨을 보여주었다. Cyberwheel이 강화학습 기반 에이전트 연구 및 실제 네트워크 적용 확장이 가능한 범용 플랫폼임을 보여주었다.

Baillie 등[2]은 자율 사이버 작전(ACO) 환경에서 강화학습 기반 공격자·방어자 에이전트의 개발과 평가를 지원하는 시뮬레이션 프레임워크 CybORG를 제안하였다. CybORG는 동적이고 다양한 특성을 가진 ACO 환경을 모델링하며, 시뮬레이션과 고정밀 에뮬레이션을 모두 지원한다. 두 환경 모두 시나리오와 공통 API를 통해 반복 실험이 가능하며, 병렬·대규모 실험에도 최적화되어 있다. 또한, 이들은 DDQN(Double Deep Q Networks) 기반 공격자 에이전트가 CTF(Capture the flags) 시나리오에서 효과적 전략을 학습하는 사례를 제시하였다. CybORG는 오픈소스 연구 플랫폼으로, ACO 연구의 전략 다양성, 샘플 효율성, 현실성 확보 등의 과제를 해결할 기반을 제공하며, 향후 시나리오 라이브러리 확대 및 혼합 학습 적용 등 추가 확장을 계획하고 있다.

Limmen은 현실적인 네트워크 환경을 모사하는 사이버 보안 시뮬레이션 및 에뮬레이션 프레임워크인 Cyber Security Learning Environment(CSLE)[35]를 제안하였다. CSLE는 리눅스 기반 컨테이너와 가상 네트워크 링크를 활용해 실제 기업 인프라와 유사한 환경을 구성하며, 마르코프 결정 과정 및 마르코프 게임 기반의 시뮬레이션 환경 위에서 강화학습 기법, 특히 PPO, DQN 등 다양한 정책 최적화 알고리즘을 적용하여 자동화된 보안 정책을 학습할 수 있도록 설계되었다. 이 프레임워크는 보안 대응 에이전트가 침입 행위에 효과적으로 대응할 수 있는 최적의 방어 전략을 실험적으로 검증하고, 에뮬레이션 결과를 기반으로 시뮬레이션 환경을 반복적으로 재구성하여 학습 효율을 높이며, 실제 인프라를 방해하지 않고도 고도화된 사이버 공격/방어 전략을 반복적으로 실험하고 개선할 수 있는 구조를 제공하는 것이 목적이다.

3.2 강화학습 미적용 시뮬레이션

Muller와 Mondesire[36]는 사이버 보안 훈련 및 평가를 위한 가상 네트워크 시뮬레이션 환경 CyberSim을 제안하였다. CyberSim은 다양한 네트워크 구성과 취약점을 정의할 수 있으며, 공격자와 방어자 에이전트가 상호작용하도록 설계되었다. IoT, 디지털 트윈 등 현실적인 위협 시나리오를 지원하며, OpenAI Gym(현 Gymnasium) 등 표준 강화학습 프레임워크와 호환된다. 각 에이전트는 사전에 정의된 action을 수행하고, 시뮬레이터는 모든 에이전트가 매 타임스텝마다 state를 평가하고 행동을 선택하며, 네트워크 시뮬레이터와 독립적 에이전트 모듈로 분리되어 동작한다. 해당 논문에서는 머신 러닝 없이 실험을 진행하였지만, 향후 강화학습 알고리즘(PPO, DQN 등) 및 다양한 시나리오 확장이 계획되어 있다.

Lee 등[37]은 Live, Virtual, Constructive(LVC) 시뮬레이션 모델 간 상호운용성을 지원하는 사이버보안 시뮬레이션 플랫폼 Cy-Through를 제안하였다. Cy-Through는 Riverbed Modeler 기반 이산 사건 시뮬레이션(Discrete-event simulation, DES) 환경과 가상화 기술을 결합해, 실제 머신·가상환경·논리 모델 간 위협 패킷을 교환할 수 있도록 하였으며, MITRE ATT&CK 모델 기반 56개 위협 모듈을 구현하여 다양한 사이버 공격 시나리오를 지원하였다. 이들은 기존의 단일 fidelity 모델의 한계를 극복하고, 사이버보안 테스트 및 평가뿐만 아니라 사이버보안 훈련의 적용성을 향상시켰다.

Dehlaghi-Ghadim 등[38]은 ICS 보안 연구를 위한 가상 테스트베드 구축 프레임워크 ICSSIM을 제안하였다. ICSSIM은 Docker 컨테이너, 실제 하드웨어, GNS3 등에서 SCADA(Supervisory Control and Data Acquisition), DCS(Distributed Control System), PLC(Programmable Logic Controller) 등 주요 구성요소와 물리 프로세스를 통합적으로 시뮬레이션할 수 있으며, 파이썬 기반 물리 공정 모델링과 Modbus TCP 등 산업용 프로토콜을 지원한다. 또한, Sensor-Actuator 통신의 경우 SQLite, Memcached 등으로 구현하였으며, 컨테이너·실제 장치 결합 실험도 가능하다. 병입 공장 시나리오 실험을 통해 정찰, DDoS(Distributed Denial of Service), MITM(Man-in-the-Middle) 등 다양한 공격의 효과를 분석하였다. ICSSIM은 자동화 로그 기록, 다양한 공격 시나리오, 저비용·고확장성·재현성을 갖춘 ICS 보안 실험 환경을 제공하며, 머신러닝 기반 IDS(Intrusion Detection System) 및 IIoT(Industrial Internet of Things) 확장 등에도 활용 가능하다.

Drašar 등[39]은 고도화된 공격자의 전략적 행위 분석을 위해 세션 기반 비확률적 사이버 공격 시뮬레이션 모델을 제안하였다. 이들은 공격자의 의도와 행위(Action-Intent Framework, AIF)에 초점을 맞춰, 세션 단위의 상호작용을 기반으로 실제 네트워크 환경에서 발생 가능한 다양한 공격 시나리오를 설계할 수 있도록 하였다. Bronze Butler APT 그룹의 침입 전략을 활용한 사례 연구를 통해, 스크립트 기반, 무작위, 학습 기반(UCB1 Bandit 기반) 공격자를 비교·분석하고, 공격자의 액션 공간 축소 기법과 정량적 난이도 평가 방법을 제시하였다. 실험 결과, 학습 기반 공격자를 비교하여 전략별 수행 효율을 분석하였다. 특히, 공격자의 액션 공간을 효과적으로 축소하고, 공격 난이도를 정량화함으로써 공격 행위에 대한 세밀한 분석을 가능하게 한다. 본 연구는 공격 중심의 시뮬레이션을 통해 사이버 방어 체계의 평가 및 설계에 실질적 기여를 제공한다.

Li 등[40]은 산업 디지털화 환경에서 발생할 수 있는 사이버 보안 위협을 모델링하고 검증하기 위한 시뮬레이션 플랫폼 SpiderSim[41]을 제안하였다. SpiderSim은 통합 시나리오 모델링, 멀티에이전트 협업, 원자적 보안 기능 모듈을 기반으로 다양한 산업 도메인의 공격–방어 시나리오를 자동 생성하고 검증할 수 있도록 설계되었다. 실제 해양 목장(marine ranch) 사례에서 자동화된 공격·방어 실험을 통해 맞춤형 보안 전략의 효과를 입증하였으며, 경량·모듈 구조와 오픈소스 기반으로 외부 연구자들이 다양한 산업 환경에 손쉽게 적용·확장할 수 있음을 강조하였다.

Kara 등[42]은 실제 네트워크 실험의 한계를 극복하기 위해, DEVS(Discrete Event System Specification) 기반 이벤트 중심 사이버 공격 시뮬레이터 DEVS-CAS(DEVS-based cyber-attack simulator)를 제안하였다. DEVS-CAS는 Java 기반 DEVS-Suite 환경에서 3,000노드 이상의 대규모 네트워크와 DoS, DDoS, BruteForce, MITM, Sniffing 등 다양한 공격 시나리오를 객체지향적으로 모델링하며, 네트워크·서비스·취약점, IDS 경고 등 핵심 보안 요소를 추상화하고, 공격·탐지 과정을 자동 실행·분석할 수 있다. 이들은 실험을 통해 DEVS 기반 시뮬레이션의 확장성과 신뢰성, 저비용·고확장 실험 환경의 가능성을 입증하였으며, IDS 평가와 보안 정책 실험 등 다양한 연구·교육에 활용할 수 있음을 보였다.

Sen 등[43]은 스마트 그리드 환경에서 복합 사이버 공격·방어 시나리오를 자동 생성·평가할 수 있는 시뮬레이션 플랫폼을 제안하였다. 이 플랫폼은 PandaPower, NetworkX 등 오픈소스 도구를 활용해 송·배전망, 재생에너지 등 실제 전력망 구조를 통합적으로 모델링한다. 공격자는 Attack Tree 기반 다단계 전략을, 방어자는 게임이론 기반 대응을 자동화하여 시뮬레이션하며, IDS 등 방어 체계 효과와 통신·물리 계층의 동시 분석이 가능하다. 또한, 생성된 데이터로 머신러닝 기반 IDS 평가와 실시간 의사결정 지원이 가능함을 입증하였다. 본 연구에서 제안한 플랫폼은 스마트 그리드 환경에서 복합적인 공격·방어 시나리오 실험과 데이터셋 생성을 지원함을 실험적으로 검증하였다.

Le 등[44]은 스마트 그리드 환경에서의 사이버 공격·방어 시나리오 평가를 위한 통합 시뮬레이션 프레임워크 GridAttackSim을 제안하였다. GridAttackSim은 전력망 시뮬레이터(GridLAB-D), 통신망 시뮬레이터(ns-3), 그리고 이들을 연동하는 FNCS(Federated Networked Co-Simulation) 브로커를 결합하여, 실제 전력 계통의 동작과 네트워크 통신의 상호작용을 통합적으로 모델링하였으며, GUI 기반의 사용자 인터페이스를 제공하며, ENISA(European Union Agency for Cybersecurity) 분류에 기반한 재밍, 메시지 인젝션 등 다양한 공격 시나리오와 방어 전략을 실험할 수 있다. 이 프레임워크는 표준 전력망 모델(IEEE 13-Node Feeder 등) 및 커스텀 토폴로지에 대해 정상·공격 시나리오별 시장가격, 에너지 사용량, 경제적 영향 등 주요 지표를 실시간으로 시각화할 수 있다. 공격 패턴은 라이브러리 형태로 관리되어, 사용자가 시나리오를 자유롭게 설계·실행할 수 있으며, 결과 데이터는 방어자 교육 및 대응 전략 평가에 활용된다. GridAttackSim은 기존의 SGsim, SCADASim, ASTORIA 등과 비교하여 통합적 Co-simulation 환경과 시나리오 확장성, 직관적 분석 기능에서 차별성을 보인다. 실험 결과, 공격 유형 및 시점, 타겟에 따른 전력망 운영·시장 가격 변화, 피해 영향 평가가 가능함을 보였으며, 실제 스마트그리드 보안 연구와 교육 현장에서 활용 가능성을 제시하였다.

Aggarwal 등[45]은 실제 네트워크 환경과 유사한 사이버 공격·방어 시나리오를 실험적으로 구현할 수 있는 HackIt 시뮬레이션 도구를 제안하였다. HackIt은 네트워크 내 다양한 웹서버와 운영체제, 서비스, 취약점, 그리고 허니팟 등 현실적인 네트워크 구성을 지원하며, 참가자가 해커 역할을 맡아 nmap, exploit, scp 등의 실제 명령어를 활용해 정보 탐색과 공격, 파일 탈취 등의 행동을 수행할 수 있다. 이 도구를 활용한 실험에서는 디셉션 전략의 도입 시점(early/late)에 따라 공격자의 행동 변화를 분석하였으며, 실험 결과 디셉션을 늦게 도입할수록 허니팟 공격 비율이 증가하고, 정상 시스템에 대한 공격 비율은 감소함을 확인하였다. HackIt은 다양한 사이버 공격·방어 전략의 효과를 현실적인 환경에서 반복 실험할 수 있는 플랫폼으로, 네트워크 보안 연구와 방어 전략 평가에 폭넓게 활용될 수 있다.

Bel 등[46]은 스마트 그리드 환경에서 발생 가능한 다양한 사이버 공격 시나리오를 실험적으로 평가할 수 있도록, 통신·제어·물리 계층을 통합한 협업 시뮬레이션 프레임워크 NATIG(Network Attack Testbed in Grid)를 제안하였다. 이 프레임워크는 GridLAB-D, ns-3, HELICS를 연동하여 실제 전력망과 네트워크 인프라의 상호작용을 모델링하며, MITM, DNP3 변조, 릴레이 트립 등 주요 공격 시나리오와 그 영향을 실시간으로 분석할 수 있다. NATIG는 IEEE 123/9500 bus 등 실제 전력망 모델과 다양한 네트워크 구조를 지원하며, 사용자 정의 시나리오 기반의 실험, 데이터셋 생성, 공격 트래픽 및 물리 계층 변화의 시각화를 제공한다. 이를 통해, 스마트그리드 내 사이버 공격의 효과와 보안 방어 기법의 실험적 평가가 가능함을 입증하였다.

IV. 논의

4.1 연구 유형별 특징 및 한계 비교

본 논문에서 분석한 23개의 문헌 및 프로젝트는 강화학습 기반 시뮬레이션 13편, 강화학습 미적용 시뮬레이션 10편으로 구분된다. Table 1.은 강화학습 적용 여부에 따라 사이버 공격·방어 시뮬레이션 연구들을 분류한 것이다. 강화학습 기반 시뮬레이션 연구들은 주로 오픈소스 플랫폼을 활용하여, 추상화된 네트워크 환경이나 경량화된 시스템에서 에이전트의 행동 탐색, 정책 최적화, 반복적 실험에 집중하고 있다. 예를 들어, CyberBattleSim은 OpenAI Gym 환경을 통해 다양한 네트워크 시나리오와 보상 구조를 실험할 수 있도록 설계되어 있으며, IoT 네트워크 시뮬레이션[24]이나 VLAN 분리·ACL 제어[25] 등 활용 사례가 있다. 다만, 실제 네트워크 트래픽이나 복잡한 사용자 행위, 최신 공격 기법의 동적 변화 등은 충분히 반영하지 못하고 있으며, 학습 효율 저하와 정책 일반화의 어려움 등 한계도 있다[22][28]. 강화학습 미적용 시뮬레이션 연구들은 LVC 통합 시뮬레이터인 Cy-Through[37], ICS 보안 테스트베드 ICSSIM[38], 이벤트 기반 시뮬레이터 DEVS-CAS[42] 등 실제 산업 인프라나 전력망, 해양 인프라 등 현실 시스템의 구조와 운영 환경을 상세히 모사하는 데 초점을 맞추고 있다. 이 연구들은 실제 환경의 자산 구성과 다양한 공격·방어 유형, 통신 프로토콜 등 복잡한 요소를 구체적으로 구현함으로써, 실험 결과의 현실성과 활용도를 높이고 있다. 그러나 강화학습 기반 연구와 달리, 미적용 연구는 자동화된 정책 탐색이나 실시간 대응 체계 구현에서는 상대적으로 한계를 보인다. Cy-Through[37]의 경우, 실제 머신과 가상환경, 논리 모델 간 위협 패킷을 교환할 수 있도록 구조를 설계하였지만, 자동화된 반복 실험이나 정책 최적화에는 제약이 남아 있다. Table 2.는 각 문헌에서 제시된 시뮬레이터의 평가 방식을 정리한 것이다. 본 논문에서 다룬 연구들은 주로 시뮬레이터 개발이나 실험 환경 구현을 목표로 하기 때문에, 실제 시스템 성능을 정량적으로 비교하는 지표보다는 각 문헌이 제시한 지표 및 평가 방법에 중점을 두어 정리하였으며, 명확히 제시되지 않았거나 공식적으로 정리되어 있지 않은 시뮬레이션 기술은 제외하였다.

Table 1. Classification of Cyber Attack and Defense Simulation Research

Table 2. Summary Table of Evaluation Methods and Results

4.2 시뮬레이션 연구의 공통적 한계

강화학습 기반 연구들은 에이전트의 행동 자유도와 다양한 정책 탐색의 가능성을 제공하지만, 실제 산업 환경에서 요구되는 최신 위협 동향, 비정형 사용자 행위, 환경 변화 등 예측이 어려운 요소까지 포괄적으로 반영하는 사례는 아직 제한적이다. 반면, 강화학습 미적용 연구들은 실제 네트워크 구조와 자산, 통신 프로토콜, 공격·방어 유형 등을 상세히 반영해 시나리오의 현실성을 제고하지만, 정책의 자동화와 적응성 측면에서는 강화학습 기반 연구에 비해 상대적으로 약점을 가진다. 본 논문에서 분석한 연구들 역시 대부분 추상화된 네트워크 환경, 표준화된 공격·방어 시나리오, 제한된 취약점 기반의 실험에 집중하는 경향이 있으며, 실제 조직의 복잡한 네트워크, 최신 위협 유형, 비정형적 사용자 행위 등을 충분히 반영하지 못하는 한계가 있다. 또한, 시뮬레이션 환경에서의 실험 결과가 실환경 운영 시스템에 바로 적용되기 어려운 점, 실시간 탐지 및 자동 대응 기능 구현의 한계, 실서비스 연계 연구의 부족 등도 주요 과제로 남아 있다.

4.3 향후 연구 과제 및 전망

향후 연구에서는 실제 조직과 산업 현장의 다양한 네트워크 구조와 사용자 행위, 최신 위협 트렌드, 물리적 환경 요소까지 정밀하게 반영할 수 있는 시뮬레이션 모델의 개발이 필요하다. 현실 기반의 데이터 연동, 동적 공격·방어 시나리오 생성, 복수의 네트워크 및 물리 계층 통합 등 실환경과 유사한 실험 환경 구축이 요구된다. 실제로, 미국의 에너지 인프라 보호를 위한 DARPA RADICS 프로젝트[47]나, 금융권 사이버 레질리언스 확보를 위한 영국 FCA(Financial Conduct Authority)[48]의 디지털 샌드박스 프로젝트 등에서 강화학습 기반 시뮬레이션 기술이 중장기적으로 활용되기 시작하였다. 특히 조사한 강화학습 기반 시뮬레이션은 복잡하고 동적인 환경에서 자율적이고 적응적인 전략 학습에 강점이 있지만, 실제 네트워크의 세부 구조와 사용자 행위 등을 정밀하게 반영하는 데는 다소 부족하다. 반면 강화학습 미적용 시뮬레이션은 현실적 환경의 세부적인 특성을 잘 반영할 수 있으나, 복잡하고 변화하는 환경에 대한 자동화된 대응 능력은 상대적으로 미흡하다. 따라서 두 접근 방식의 장점을 결합한 하이브리드 모델 역시 향후 연구에서 중요하게 다루어질 필요가 있다. 또한, 단일 에이전트가 아닌 내부자, 공급망 등 다양한 역할이 동시에 존재하는 복합적 상호작용을 반영한 모델이 중요하다. 이를 위해 강화학습의 자율성과 기존 방식의 현실적 표현력을 결합한 멀티 에이전트 강화학습 및 내부자 대응 시나리오 모델링 등 다양한 정책 학습 연구가 확대되어야 한다. 시뮬레이션과 실서비스의 연동도 중요하다. 미국 국토안보부(DHS)의 CDM(Continuous Diagnostics and Mitigation) 프로그램[49]이나 EU의 CyberSec4Europe 프로젝트[50]와 같이 시뮬레이션 결과를 실제 보안 정책과 실시간 탐지·대응 체계에 반영하고자 하는 사례들이 나타나고 있으며, 실험 결과가 실제 운영 시스템의 탐지·대응 정책과 자동화된 실시간 보안 체계에 연계될 수 있도록 데이터 교환 표준화 및 실시간 피드백 반영이 뒷받침되어야 한다. 아울러, 최신 위협 동향과 비정형 사용자 행위까지 반영하는 대규모 실험 데이터셋과 벤치마크 개발, AI 기반 자동 시나리오 생성, 실사용자 로그와 CTI 데이터 연계 등 데이터 현실성 확보가 요구된다. 마지막으로, 정책 결정 과정의 설명가능성, 공통 평가 지표 및 벤치마크 확립 등 신뢰성 확보와 성능 평가의 표준화도 함께 이루어져야 한다. 이러한 연구가 축적되어야, 시뮬레이션 기반 보안 연구는 실제 환경에 가까운 실험과 실무적 활용성 강화를 동시에 달성할 수 있을 것이다.

V. 결론

본 논문에서는 최근 5년간 발표된 대표적인 사이버보안 시뮬레이션 연구를 강화학습 적용 여부를 중심으로 분류하고, 각 시뮬레이션의 기술적 특성, 적용 환경, 자동화 수준, 시나리오 현실성, 실험적 효과를 종합적으로 비교·분석하였다. 분석 결과, 강화 학습 기반 시뮬레이션은 공격자와 방어자 에이전트가 실제 환경과 유사한 조건에서 반복적으로 학습과 평가를 수행함으로써, 정적·규칙 기반 접근에 비해 복잡하고 변화가 많은 사이버 공격·방어 상황에 보다 유연하게 대응할 수 있음을 확인하였다. 한편, 모델 기반, 시나리오 기반, 규칙 기반 등 강화학습 미적용 시뮬레이션도 실제 산업 환경의 복잡한 특성을 세밀하게 반영하거나, 보안 교육·훈련 등 특수 목적에 적합한 실험 환경을 제공하는 등 여전히 유의미한 역할을 수행하고 있다. 이러한 연구의 진전에도 불구하고, 현행 시뮬레이션 연구는 네트워크 구조의 단순화, 제한된 위협 모델, 플랫폼별 표준화 미흡 등 한계를 보인다. 또한, 실환경과의 연계, 최신 위협 시나리오와 비정형적 행위 모델 반영, 실시간 자동 대응 등에서의 적용성에도 개선이 필요하다. 특히 강화 학습 적용 여부에 따라 각 시뮬레이션 접근 방식의 장단점이 명확하게 구분되는 만큼, 향후 연구는 이 두 접근 방식의 강점을 통합하여 상호 보완적인 모델을 개발하는 방향으로 진행되었을 때의 장점이 있을 것이다. 향후에는 실제 조직과 산업 현장의 다양한 네트워크 구조와 사용자 행위, 최신 위협 동향을 정밀하게 반영하는 고정밀 시나리오 개발, 강화학습의 동적 적응성과 미적용 접근법의 현실성을 통합한 시뮬레이션, 다중 에이전트 기반의 복합 상호작용 모델링, 시뮬레이션 정책의 실서비스 적용성 제고, 실시간 적응형 보안 체계로의 확장 등이 중요한 연구 과제가 될 것이다. 시뮬레이션과 실서비스가 연동되는 적응형 보안 체계 연구가 확대된다면, 실제 보안 운영 현장에서의 활용 가능성과 학술적·산업적 가치 역시 크게 높아질 것으로 기대된다.