Annual Conference of KIPS (한국정보처리학회:학술대회논문집)

  • 2024.10a
  • /
  • Pages.1117-1120
  • /
  • 2024
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Development of Reinforcement Learning-Based Network Attack Simulation Using the MITRE ATT&CK Framework

강화학습을 활용한 MITRE ATT&CK 기반 네트워크 공격 시뮬레이션 개발

  • Bum-Sok Kim (Dept. of Electronic Information System Engineering, Sangmyung University) ;
  • Jung-Hyun Kim (Dept. of Electronic Information System Engineering, Sangmyung University) ;
  • Ki-Jong Koo (Intelligent Convergence Research Laboratory, Electronics and Telecommunications Research Institute) ;
  • Min-Suk Kim (Dept. of Human Intelligence & Robot Engineering, Sangmyung University)
  • 김범석 (상명대학교 전자정보시스템공학과) ;
  • 김정현 (상명대학교 전자정보시스템공학과) ;
  • 구기종 (한국전자통신연구원 지능형네트워크보안연구실) ;
  • 김민석 (상명대학교 휴먼지능로봇공학과)
  • Published : 2024.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

본 논문에서는 강화학습을 활용하여 MITRE ATT&CK 프레임워크를 기반으로 한 사이버 공방시뮬레이션 환경을 개발하였다. 본 논문의 목적은 실제와 유사한 네트워크 환경에서 방어자의 존재여부가 공격 시퀀스의 복잡성과 학습 효율성에 미치는 영향을 분석하는 것이다. 본 논문에서 개발된 방어 전략은 공격 테크닉의 사전 및 사후 조건을 기반으로 하여 공격의 조건 및 결과와 반대되는 효과를 생성하였다. 이를 통해 공격자 및 방어자 간의 상호작용을 실시간으로 동기화하고, 네트워크 보안의 동적인 적응을 가능하게 한다. 이를 위해 Deep Q-Network (DQN), Proximal Policy Optimization (PPO), 그리고 Soft Actor-Critic (SAC) 등 다양한 강화학습 알고리즘을 사용하였다. 실험결과, 방어자가 없는 시나리오에서는 알고리즘들이 간단한 시퀀스로 빠르게 수렴하는 경향을 보였다. 이와 달리, 방어자가 포함된 시나리오에서는 DQN 과 PPO 가 반복적 행동으로, SAC 는 보다 다양한 행동 패턴으로 최대 스텝 수에 이르렀다. 이러한 결과는 방어자의 존재가 사이버 공격 전략의 복잡성을 크게 증가시키며, 강화학습 기반의 사이버 보안 전략 개발에 중요한 역할을 한다.

Keywords

Acknowledgement

This work was supported by the Institute of Information & Communications Technology Planning & Evaluation (IITP) grant funded by the Korea Government (MSIT) (No. RS-2022-II220961).

References

  1. Jjschwartz, "NetworkAttackSimulator," 2019, [Online]. Available: https://github.com/Jjschwartz/NetworkAttackSimulator.
  2. Mnih, V., Kavukcuoglu, K., Silver, D., Graves, A., Antonoglou, I., Wierstra, D. et al., "Playing Atari with deep reinforcement learning," Proc. NIPS Deep Learning Workshop, pp. 5-10, 2013.
  3. Schulman, J., Wolski, F., Dhariwal, P., Radford, A., Klimov, O., "Proximal Policy Optimization Algorithms," arXiv preprint arXiv:1707.06347, 2017.
  4. Haarnoja, T., Zhou, A., Abbeel, P., Levine, S., "Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor," Proceedings of the 35th International Conference on Machine Learning (ICML), pp. 1861-1870, 2018.