• 한국컴퓨터정보학회논문지
• /
• 제29권1호
• /
• pp.11-19
• /
• 2024

멀티에이전트는 전장 교전 상황, 무인 운송 차량 등 다양한 실제 협동 환경에 사용될 수 있다. 전장 교전 상황에서는 도메인 정보의 제한으로 즉각적인 보상(Dense Reward) 설계의 어려움이 있어 명백한 희소 보상(Sparse Reward)으로 학습되는 상황을 고려해야 한다. 본 논문에서는 전장 교전 상황에서의 아군 에이전트 간 협업 가능성을 확인하며, 희소 보상 환경인 Multi-Robot Warehouse Environment(RWARE)를 활용하여 유사한 문제와 평가 기준을 정의하고, 강화학습 라이브러리인 Ray RLlib의 QMIX 알고리즘을 사용하여 학습 환경을 구성한다. 정의한 문제에 대해 QMIX의 Agent Network를 개선하고 Random Network Distillation(RND)을 적용한다. 이를 통해 에이전트의 부분 관측값에 대한 패턴과 시간 특징을 추출하고, 에이전트의 내적 보상(Intrinsic Reward)을 통해 희소 보상 경험 획득 개선이 가능함을 실험을 통해 확인한다.

• 한국시뮬레이션학회논문지
• /
• 제29권2호
• /
• pp.105-117
• /
• 2020

현대합동작전의 기본 개념인 '효과중심의 동시·통합작전'에 부합하도록 신규 무기체계의 작전 요구 능력을 예측하기 위해서는 유·무인 무기체계 간의 전술적 협동 개념을 고려한 전투 효과분석이 요구된다. 그러나 수학적, 통계적 모형 등 해석적 기법으로는 비선형전 하에서의 복합체계 효과를 모의하기가 곤란한 실정이다. 이의 대안으로 실제 전장 상황과 유사하도록 시뮬레이션 환경을 조성하고 신규 무기체계가 작전에 미치는 영향을 분석할 수 있는 모의 분석 능력이 요구된다. 이에 본 논문에서는 무선 통신을 기반으로 유·무인 전투개체 간의 협동 교전 개념을 모의할 수 있는 전투 모의 모델을 제안한다. 먼저 미래 지상 체계의 요구 능력을 고려하여 로봇, 드론 등 무인전투개체와 전투원, 야포 등 유인전투개체를 모델링한다. 그리고 각 개체들이 무선 통신을 통해 전장 상황 정보를 공유하며 전투를 수행하는 전술적 과업을 모의한다. 마지막으로 소부대 기갑수색정찰 시나리오 하에서 정찰용 지상로봇 운용 시 표적 획득률, 원격 통제 성공률, 수색 소요 시간, 작전간 생존율, 적 손실률 등의 전투효과를 모의실험을 통해 산출함으로써 개발된 모델의 활용 가능성을 확인한다. 향후 제안된 모델은 유·무인 지상무기의 효과 분석은 물론 각종 워게임 전투 실험 분야에서 활용이 가능할 것으로 기대된다.