SE 프로세스 기반 국방 M&S체계 개발 절차 연구

A Study on SE Process based Defense M&S System Development Procedures

Abstract

The defense M&S system, which has been classified as a weapon system between requirements determination and project implementation, is being developed by applying the weapon system development procedure of the Defense Acquisition Program Administration. The M&S system abstracts and models the real world to suit the intended use and proceeds with the process of developing it as a software-oriented system. Overseas, the conceptual model development stage is staged before entering the design stage after the requirements analysis. In addition, each step includes verification and validation processes. In Korea, while establishing and applying the weapon system development procedure based on the SE process, the M&S system is also applied in the same way as the general weapon system, limiting appropriate development outputs and verification and validation. In this study, the system development procedure of the M&S system is established and presented based on the relevant standards and SE process of developed countries.

1. 서론

국방 M&S(Modelling & Simulation, 이하 M&S)체계란 국방 분야에 활용되는 M&S체계이다. 이는 군에서 사용하는 워게임과 그 외에도 국방획득과정에 사용되는 M&S체계를 포함한다. 국방전력 발전업무훈령은 “국방 M&S체계”란 워게임을 모의하는 연습ㆍ훈련, 분석, 획득, 합동ㆍ전투실험 4개 분야로 분류하고 이러한 분야의 워게임 운영 및 체계관리에 필요한 기반환경을 총칭하는 체계라 정의하고 있다.[1] 방위사업청의 과학적 사업관리 수행지침은 “M&S체계”라 함은 소요제기, 획득관리, 분석평가 및 훈련에 이르기까지 M&S 기법을 적용하여 과학적인 의사결정 및 사업관리를 지원하는 유형의 도구(HW 및 SW 일체)를 총칭하는 개념으로 훈련, 분석, 획득 M&S체계로 분류한다.[2]

본 연구는 M&S체계의 개발 절차에 관한 연구로 국방 분야에 활용되는 M&S체계를 대상으로 한다. 일반적인 체계와 차이가 있어 M&S체계의 특성이 반영된 개발 절차의 정립이 필요하기 때문이다.

훈련용 워게임, 시뮬레이터 등 국방 M&S체계는 무기체계로 분류되기 전까지 국방 정보화 체계 또는 비무기체계(현, 전력지원체계)로 구분되었다. 그러나 무기체계와 관련된 분석용 M&S체계, 다수의 M&S체계가 연동되는 복합 M&S체계 등의 개발예산이 증가하면서 무기체계 중 기타 무기체계로 분류되어 개발 관리되고 있다.

국방획득과정에서 M&S를 활용한 합리적인 의사결정에 의한 효율적인 획득관리가 필요하다. M&S 기반 획득(SBA : Simulation Based Acquisition) 개념에 의거 체계의 전 수명주기에 M&S 자원을 활용하고 있다. 특히, 시험평가계획에는 M&S를 활용한 시험평가 및 검증, 확인 및 인정(Verification, Validation & Accreditation, 이하 VV&A) 적용계획이 포함된다.

방위사업청은 국방 시스템의 체계 개발시 연구개발 제도(국방전력발전업무훈령, 방위사업관리규정 등)에 시스템엔지니어링(Systems Engineering, 이하 SE) 프로세스를 적용하도록 강조하고 있다.[3] SE를 적용하는 가이드북, 매뉴얼 등을 포함한 규정은 무기체계를 대상으로 한다.[4] 이에 따라 국방 M&S체계 중 무기체계로 분류된 개발사업 또한 무기체계 획득절차와 동일하게 적용하도록 하고 있다.

국방 M&S체계는 전장과 무기체계를 일부 또는 전부를 모델링하여 가상화하는 SW 중심으로 이루어져 무기체계와는 개발과정과 체계 형상이 다른 부분이 많다. 따라서 실 체계(SW, HW)와 장비 중심인 무기체계에 적용하는 개발 관리제도와 시험평가 규정에서 별도 표준화나 차이점에 관한 단서 조항이 필요하다.

미국, NATO 등은 2000년대부터 검증, 확인 및 인정(Verification, Validation & Accreditation, 이하 VV&A) 절차를 포함하여 M&S체계에 대한 개발 절차를 SE 기반으로 정립하여 표준화하여 적용하고 있다. 국내에서도 현실적 여건을 고려해서 일반 무기체계와 다른 특성을 반영한 국방 M&S체계의 개발 절차를 규정화하여야 한다.

본 연구의 흐름은 그림 1과 같이 해외의 국방 M&S체계 개발 표준을 참조하여 SE를 적용한 국방 M&S체계 개발 절차를 연구한다. 국내에는 체계개발 및 시험평가에 관한 규정이 있으므로 이에 대한 분석과 국내의 적용 여건 및 현실태를 반영한다. 연구 중점은 M&S체계 개발이 무기체계 개발과의 차이가 있는 M&S 요구 사항의 정의, 개념모델 개발, VV&A의 적용을 중심으로 구체적인 내용을 제시한다.

[Figure 1] Research flowchart

그리고, 국방 M&S체계 중 무기체계로 분류하지 않지만, 그 중요도로 인해 VV&A를 적용하도록 규정하고 있는 시험평가용 M&S체계에 대해서도 VV&A를 포함한 M&S체계 개발 절차를 차이점 위주로 제시한다.

2. 해외 M&S 개발 표준

해외 사례에서 국내 적용이 필요한 주요한 특징은 별도로 표준화한 M&S체계 개발 절차, M&S 요구 사항 정의, 개념모델 개발, 개발과정에 포함하고 있는 VV&A이다. 미 국방부 MSE는 2010년 다양한 국방 M&S체계에 관한 연구 및 개발 절차를 SE 프로세스 기반으로 별도로 정립하였다.[5]

M&S 요구 사항 도출은 사용자 영역, 문제 영역, 시뮬레이션 영역에서 도출되며, 각 영역에서 요구되는 충실도와 정확도 등을 정의한다. 사용자 영역에서는 M&S를 활용하여 운용 결과로 요구되는 사항을 정의하고, 문제 영역에서는 M&S가 표현해야 하는 대상으로의 요구 사항을 정의한다. 시뮬레이션 영역에서는 M&S 도구로서 소프트웨어와 하드웨어의 특성으로의 요구 사항을 정의한다. 이러한 요구사항들은 모두 M&S의 정확성과 신뢰성을 보장하기 위한 것이다.[6]

일반적인 소프트웨어 시스템 개발에 비해 M&S 개발에는 개념분석 단계가 추가되어 M&S체계가 실세계(Real World)가 아닌 모의 세계(Simulation World) 고유의 특성을 반영하고 있다.[7]

개념 분석(Conceptual Analysis) 단계는 개념모델 개발과 개념모델 확인(validation)으로 구성된다. 이해 관계자 및 운용 요구 사항 분석 후 설계에 앞서 개념분석을 별도로 구분하는 것이다.

복합 M&S체계는 서로 다른 다양한 M&S체계를 연동하여 운용하는 체계이다. 다른 체계와 다양한 연동방식(연동 미들웨어)을 운용하기 위해 지속해서 발전시켜왔다.

복합 M&S체계 개발 표준에서는 1단계에 체계운용계획 및 요구 사항 개발(DIS)[8], 페더레이션 목표 정의(FEDEP)[9], 시뮬레이션 환경 목표 정의(DSEEP)로부터 시작한다.[10] 그리고 개념모델 개발(DIS) 또는 개념분석 수행(FEDEP, DSEEP)을 진행하고 이후 설계, 구현 단계에도 V&V 활동을 실시한다.

3. 국방 M&S체계 개발 절차 적용방안

3.1 SE 기반 M&S 개발 절차

요구 사항 분석시 실 체계인 무기체계의 경우 요구 사항 분석을 위해 일반적인 시스템엔지니어링 방법론을 주로 사용한다. 반면에 M&S체계는 사용의도에 맞는 시뮬레이션 시스템을 개발하는 것이기 때문에 M&S체계의 요구 사항 분석은 사용자 영역, 문제 영역, 시뮬레이션 영역으로 도출하는 것이 필요하다. [6] 또한, 체계 개발과정은 무기체계의 경우 요구 사항 정의, 설계, 구현, 시험평가, 전력화 운영으로 진행되지만, M&S체계는 요구 사항 정의, 개념모델링, 시뮬레이션 개발, 검증 확인 및 인정, 운영으로 진행된다. 즉, M&S체계의 경우 요구 사항 정의와 개념모델링 단계에서 사용 의도를 충족하는 범위에서 전장과 무기체계의 요구 사항을 분석하고 모델링하여 시뮬레이션 시스템으로 구현하는 것이 특징이라고 할 수 있다.

미 국방부 2010년 보고서에서 제시한 M&S체계 개발 단계를 M&S체계 개발 절차로 하고 이를 현재 국내의 무기체계 개발 절차, 사업 진행 및 사업 관리제도에 반영하여 정리하면 표 1과 같다.

<Table 1> M&S system development process

미 국방부는 요구사항개발, 개념분석, 체계설계, 체계개발, 체계시험으로 구분하고 있는데 이를 국내 무기체계 개발과 비교하여 M&S체계 개발 절차로 정리하였다. 또한 국내 사업 진행은 선행연구, 탐색개발, 체계개발로 나누고 있으므로 탐색 개발이 별도로 구분되면 개념모델의 확인은 이때 완료되어야 한다고 본다. 개념분석은 초기 단계에서 수행되는 활동으로, 사용자 요구 사항을 수집하고 분석하여 시스템 설계의 기반이 되는 개념모델을 작성하는 과정이다. 이러한 개념분석은 일반적인 시스템 공학이나 소프트웨어 공학에서는 별도의 단계로 구분하지 않고 있다.

이와 같은 M&S체계 개발 절차를 VV&A를 포함하는 IEEE 1730.2 [10]에서 제시하는 동일한 형태의 그림으로 표현하면 그림 2와 같다.

[Figure 2] M&S system development process

국내에서도 연동체계는 복합 M&S체계이므로 미국의 IEEE 표준을 적용하는 것을 검토할 수 있다. 그러나 국내에서는 아직 HLA 연동체계만 적용하고 있고 TENA 등을 고려하고 있지 않다. 따라서 표 1과 그림 2에서 제시한 국방 M&S 개발 절차에 VV&A 내용이 단계별로 포함되어 있으므로 국내에서는 복합 M&S체계의 개발시에도 연동 방법 및 기술적 측면만 추가로 고려하면 된다고 본다.

또한 국내의 연동체계 개발관리는 무기체계 사업절차를 적용하여 미국의 IEEE 표준과는 다르다. 미국의 복합체계는 구성되는 M&S체계별 M&S 요구사항 정의 이전에 복합체계의 체계 운용 목표를 선정하고 개별 구성요소를 선정하는 과정으로 진행한다. 그러나 국내에서는 선행연구단계에 이미 복합 M&S체계의 목적과 시뮬레이션 환경의 구성, 구성된 M&S체계별 요구 사항까지 정의하고 있으므로 별도로 복합 M&S체계의 운용 목표를 선정하는 과정을 구분할 필요가 없기 때문이다.

무기체계로 분류되어 관리되는 국방 M&S체계에 대해 무기체계 획득절차와 VV&A 절차를 통합하면 그림 3과 같다. 상단은 무기체계 SE 가이드북의 그림이며 하단은 국방 M&S 적용매뉴얼의 VV&A 절차 그림이다.

[Figure 3] M&S system development and VV&A procedures

국방획득절차를 적용하는 국방 M&S체계는 그림 3과 같은 국방 M&S체계 개발 절차(안)로 통합관리가 필요하다. 무기체계와 차이가 있는 M&S 요구사항, 별도 개발이 필요한 개념모델, 그리고 시험평가와는 유사하지만 다른 VV&A를 실시하는 과정에서 관련기관의 협의가 진행되어야 하기 때문이다.

3.2 M&S 요구 사항

M&S 요구 사항 정의는 표현(Representation) 요구사항과 구현(Implementation) 요구 사항으로 구분한다. 표현 요구 사항은 모델이나 시뮬레이션에서 어떤 정보를 표현해야 하는지 그리고 그 정보의 정확도나 해상도가 어떠해야 하는지 등을 정의한다. 구현 요구 사항은 실제로 M&S 시스템이나 소프트웨어에서 어떤 기능을 제공해야 하는지, 그 기능이 어떤 제약사항을 가지는지 등을 정의한다. 이때 해상도 및 정확도는 표현 요구 사항에 해당하며, 시뮬레이션의 기능은 구현 요구 사항에 해당한다.[6]

무기체계로 분류된 국방 M&S체계 사업에서 제안요청서에 포함되는 요구 사항은 무기체계의 분류, 소요검증, 선행연구, 사업기본 추진전략 구체화 등의 과정에서 도출되고 있다. M&S 요구 사항은 제안요청서에 명확하게 정의되어, M&S 개발 활동이 이러한 M&S 요구 사항을 기반으로 진행되어야 한다.

사용자 영역, 문제 영역, 시뮬레이션 영역으로 도출된 M&S 요구 사항은 개념모델을 개발하는 데 기반이 되고 인정수락기준의 근거가 된다.

국내에서 M&S 요구 사항 정의에 대해 명시가 없으므로 본 연구에서 요구 사항 명세서 양식(안)을 예시로 제시한다. 특정의 M&S 요구 사항 명세서를 별도의 양식으로 하는 것은 실무차원에서는 필요한 양식이지만 M&S의 형상이 너무도 다양하므로 국방 CBD 방법론의 양식을 준용하여 제시하면 다음과 표 2와 같다.

<Table 2> Upper level requirements (example)

작성 항목은 1. 문서 개요 2. 상위 요구 사항 3. 요구 사항 4. 관련 자료(필요시)로 할 수 있다.

1장 문서 개요는 문서의 목적과 배경 작성 내용을 간략히 서술한다.

2장 상위 요구 사항은 M&S 요구 사항을 도출하기 위한 상위 문서에서 도출하는 것으로 표 2와 같이 식별자, 명칭, 설명. 근거문서, 기타사항으로 관련 근거에 명시된 가정. 제한사항을 포함한다.

3장 요구 사항은 3개 영역별로 식별자, 명칭, 설명, 핵심단어, 관련근거 등을 포함하며 표 3은 이를 작성하는 방법이다.

<Table 3> Requirements specification (example)

요구 사항 정의를 위해서는 개발자, 사용자는 군 요구 사항( M&S 사용 의도), 운용 시나리오 (시뮬레이션 진행 : 문제 영역 모의 대상 범위/수준), M&S 결과 분석 시나리오(시뮬레이션 영역, 사용자 영역), M&S 요구 사항과 인정수락기준의 관계, M&S 가정, 제한사항 등에 대한 관련 정보 수집이 필요하다.

3.3 개념모델

국내에서는 M&S체계를 신규로 개발하는 사례가 적었다. 이미 개발 운용 중인 해외모델을 참조하여 개발하였으므로 개념모델에 대한 개념과 의견이 매우 다양하다.

미 국방부, NASA, NATO 등 해외 선진국의 많은 관련 문헌에서는 모델 개발시 개념모델에 관한 연구와 설명, 규정이 있다.[7],[8],[9],[10] 국내에서는 개념모델 확인보고서에 대한 규정이 VV&A 절차에는 M&S 적용 매뉴얼에만 있고 개념모델에 대해서는 명시되어 있지 않다.[11]

St. Robinson은 개념모델은 추상적인 개념을 나타내는 모델로서 현실 세계를 단순화하고 일반화하는 표현이라고 정의한다. 그리고 개념모델은 의사소통의 수단으로서 다양한 이해 관계자들 사이에 공통의 이해관계를 조정하는 것이다. 그 핵심은 시스템의 구조와 행위를 이해하고 표현하는 것이며 M&S체계의 요구 사항을 분석하여 체계를 설계하는 데 사용하는 것이라 하였다.[12] 또한 M&S체계의 개발과 활용을 전체적으로 정리하면서 특히 개념모델 개발의 포함내용을 제시하였다.[13]

미 국방부는 St. Robinson의 연구를 포함하여 개념모델을 M&S 요구 사항과 연계하여 시뮬레이션 컨텍스트, 임무영역, 시뮬레이션 영역으로 포함내용을 제시하였다.[14]

이와 같은 해외의 연구와 사례를 기반으로 개념 모델을 정리하면 개념모델링이란 M&S체계의 사용의도를 충족시키기 위해 현실 세계를 모델링하고 이를 기반으로 시뮬레이션을 수행하는 데 필요한 개념들을 식별하고 정의하는 과정이다. 이 과정에서 모의 범위와 수준 등에 대한 설정이 이루어진다.

국내에서는 VV&A 규정에 포함된 항목 외에는 정리된 작성 방법이 없으므로 본 연구에서는 개념모델을 작성하는 방안을 다음과 같이 제시한다.

개념모델 작성을 설명 목적상 각각 단계로 구분하여 내용을 설명한다. 5단계로 문제상황 이해, 모델링 목표 설정, 입출력 선정, 모델 구성, 데이터 수집이다. 개념모델 작성의 첫 번째 단계는 문제상황에 대한 이해는 M&S체계나 M&S체계를 활용하는 절차에 대한 이해를 바탕으로 문제상황을 명확하게 정리하여 모델링에 필요한 정보를 정리하는 것이다. 즉, 사용자는 현실의 어떤 문제를 해결하기 위하여 M&S를 활용하는 방법을 채택하게 되었는가에 대한 것이다.

두 번째 단계인 모델링 목표 설정이란 M&S체계를 개발하는 이유와 체계를 운용하는 목표를 정의하는 것이다. 문제를 해결하는 방법으로서 M&S체계를 활용하는 방법이나 절차, 원하는 결과를 정의하는 것이다.

세 번째 단계는 M&S체계에 필요한 입력과 출력을 정의하는 것으로 입력은 시뮬레이션을 수행하는 초기 상태에 필요한 것이며, 출력은 모델링 목표를 달성하기 위한 시뮬레이션 결과를 의미한다.

네 번째 단계로 모델 구성이란 M&S체계의 구성요소들을 정의하고, 하위 구성 요소(모델)별로 모델링 입력 데이터, 모델 구성, 모델 동작(모의 논리), 출력 데이터 등을 정의한다. 이 단계에서는 모델의 범위(scope)와 수준(level)을 결정해야 한다.

모델의 범위는 모델이 포함하는 범위를 말한다. 예를 들어, 부대의 전투를 모의하는 경우 전투부대, 전투지원부대, 전투근무지원부대 모두를 범위로 하느냐, 포함하는 부대는 구성요소 별로 어느 범위까지 할 것이냐 등이다. 범위와 수준은 첫 번째 문제상황, 두 번째 모델링 목표가 기준이 되고 이러한 모델링 범위와 수준을 제한하면 모델 개발 시간과 노력을 줄일 수 있으며, 모델의 정확성도 높일 수 있다. 그러나, 모델의 범위가 너무 제한적이면, 전체 시스템의 동작을 이해하기 어려울 수 있다.

모델의 수준은 모델링에서 다루는 세부적인 상세도로서 단위 무기체계의 효과나 성능을 어느 수준으로 할 것이냐 등 고해상도(high resolution)와 저해상도(low resolution)로 구분할 수 있다. 저해상도 모델링은 전체 시스템의 동작을 파악하기 위한 모델링으로 더 추상적인 모델링이고, 고해상도 모델링은 더 상세한 정보를 다루는 모델링으로, 상세한 시스템 동작을 모델링한다. 모델의 수준을 결정할 때는 모델의 목적과 상황에 따라 적절한 수준을 선택해야 효율적인 모델 운용이 가능하고 사용 의도에 적합한 모델이다.

데이터 소요 식별 및 수집은 전체적인 단계에 해당하는 것으로 시뮬레이션 결과의 신뢰성을 보장하는 것이다. 시뮬레이션 결과를 도출하여, 모델링 목표를 달성하는 데 필요한 데이터를 수집해야하는데 개념모델 작성시 소요되는 데이터를 식별하고 수집하는 계획을 수립해야 한다.

사용자와의 의사소통과 연구를 통해 개념모델은 구체화 과정을 가진다. 미국은 KA(Knowledge Acquisition)로 모델의 의도된 용도에 필요한 관련 자료조사를 하고 KE(Knowledge Engineering)를 통해 의도된 용도를 충족할 모의 범위와 수준을 구체화하는 것으로 개발자와의 의사소통용으로 상호 이해하는 표현(테이블, 챠트 등)이 될수록 유용하다. 적절한 M&S체계 개발을 위해 개발자와 사용자의 협업이 필수적이지만 체계를 사용할 사용자의 구체적인 요구를 도출하는 것이 매우 중요하다.

다음 표 4는 개념모델의 산출물로서 개념모델 기술서에 포함되어야 할 내용의 예시이다.

<Table 4> Conceptual Model Document

표 4의 3.2.2에서 모의 범위는 모의 대상 시스템의 범위를 나타내며, 모의 대상 시스템의 구성요소, 환경 등을 포함한다. 모의 수준은 모의 범위와 밀접한 관련이 있으며, 모의 수준 설정은 모델링과 시뮬레이션의 정확도와 성능에 영향을 미치므로 상황에 맞는 최적의 모의 수준을 선택하기 위해서는 분석과 검증이 필요하다.

3.4 M&S체계 검증, 확인 및 인정(VV&A)

무기체계로 분류된 국방 M&S체계에 대해 국내에서는 무기체계와 동일한 절차로 시험평가를 진행하고, 또한 M&S체계이므로 VV&A 절차를 적용하여 인정평가를 받아야 한다. 부분적으로 중복성이 있어 현재 규정에는 운용시험으로 성능 확인이 가능하면 인정평가를 생략할 수 있다고 단서 조항(국방전력발전업무훈령 제75조 4항)을 두고 있다.

무기체계 시험평가는 개발시험평가와 운용시험평가로 나누어 평가한다. 개발시험평가는 기술적 개발 목표가 충족되었는지를 결정하기 위하여 수행하는 것이고, 운용시험평가는 소요군이 각종 작전환경 또는 이와 동등한 조건에서 작전운용성능 충족 여부를 확인하고, 교리․편성․통합체계지원요소 등에 대한 적합성을 시험평가 하는 것이다.[15]

VV&A에서 검증이란 개발자의 개념 서술과 규격을 정확하게 표현했는지 결정하는 과정이며 확인은 M&S 사용 의도 관점에서 실제를 정확하게 표현한 정도를 결정하는 과정이다. 인정은 특정 목적을 위해 사용 가능한지를 공식적으로 결정하는 과정이다.[2]

두 개의 평가 모두 사용자가 원하는 조건을 충족하는가를 평가하는 목적은 같다. 그러나 다음 표 5에서 보는 바와 같이 무기체계 시험평가와 M&S VV&A는 수행기관, 진행 절차, 대상체계의 특성, 평가 중점, 평가시기가 다르다. 따라서 무기체계로 분류된 M&S체계는 두 가지 규정에서 유사 사항에 대해 평가의 중복성도 있고 일부는 평가관점이 차이가 있다.

<Table 5> VV&A difference between test evaluation of weapon system and defense M&S system

실 체계를 대상으로 하는 무기체계의 개발은 물리적인 하드웨어와 소프트웨어를 개발하여 실제로 운용되는 무기체계를 구축하는 것이 주된 목적이다. 이에 따라 개발 단계에서는 하드웨어 설계, 시제품 제작 및 시험, 통합 테스트 등의 과정이 중요시되며, 최종적으로는 운용환경에서 무기체계를 시험 평가하여 실제 사용자에게 인도하는 것이 목표이다.

반면에 국방 M&S체계의 개발은 실 체계와 다르게 가상 세계를 대상으로 해서 하드웨어보다는 소프트웨어에 더 중점을 둔다. 가상 세계에서의 무기체계 및 전장 시뮬레이션을 위해서는 먼저 물리적 법칙 및 알고리즘, 모델링 방법론 등을 연구하고 개발해야 한다. 따라서 개발 단계에서는 소프트웨어 설계, 모델링 및 시뮬레이션, 검증 및 확인 등의 과정이 중요시되며, 최종적으로는 사용자가 원하는 용도에 맞는 가상 세계 시뮬레이션을 제공하는 것이 목표이다.

대상체계의 특성 면에서 현재 무기체계의 시험평가 대상은 연구개발 또는 구매의 최종 단계에 있는 실제 체계이며, 이를 구성하는 장비, 주로 하드웨어를 기반으로 체계의 성능을 평가하는 것을 포함한다. 한편, 무기체계로 분류되는 M&S체계는 소프트웨어 프로그램 중심으로 의도된 목적에 부합되도록 현실 세계를 모의하는 것을 목표로 한다.

평가 중점 면에서 무기체계 시험평가의 초점은 장비의 요구성능이 충족되는지와 운용자가 운용환경에서 임무를 잘 수행하는지이며, 인정평가는 요구사항 검증부터 최종 결과 확정까지 개발과정의 산출물을 추적·평가하며, 가상 세계의 모델링과 데이터가 적합한지를 평가한다.

평가시기면에서 무기체계 시험평가와 인정평가의 시기가 상이하다. 시험평가는 혹한기와 혹서기를 포함하여 3계절 이상에 걸쳐 진행되며 개발 프로세스가 완료된 후 시험평가 준비와 결과에 대한 행정기간을 포함하면 약 1년 동안 진행된다. 반면 인정평가는 개발 프로세스 초기에 요구 사항 및 개념모델을 검증 및 확인하고 개발 프로세스 산출물을 추적 및 완료한 후 종합적으로 평가하기 때문에 개발 완료 후 보다는 초기부터 개발과정에서의 검증과 확인의 노력이 요구된다.

국방 M&S체계의 VV&A는 현 제도와 평가기관의 운용, M&S체계 개발 사업의 특성을 반영하여야한다. 즉, 무기체계로 분류된 M&S체계는 현 제도상 시험평가와 M&S체계로서의 VV&A 절차를 적용하여 사용자의 의도대로 개발되었는지를 평가해야 한다. 따라서 현 제도를 적용하면서 M&S 특성을 반영하기 위해서는 시험평가와 VV&A의 역할 개선내용을 다음 표 6으로 정리하였다.

<Table 6> Improvement for VV&A and Test & Evaluation

인정평가의 영역은 M&S 요구 사항으로 볼 때 사용자 영역, 문제 영역, 시뮬레이션 영역으로 구분하여 진행하는 데 사용자 영역과 시뮬레이션 영역에서 무기체계로 분류된 M&S체계는 시험평가 활동, PMO 및 SW 감리 활동에 대한 담당 역할의 중복이 발생하므로 무기체계 시험평가, SW 감리 활동에서 평가/감독하는 사항은 인정수락기준 평가항목 검토 시 인정평가에서 제외하는 것이 필요하다.

시험평가의 성능 확인으로 인정평가를 생략한다면 시험평가기관은 인정평가 및 추천의 범위를 결정해야 한다. 또한 M&S 전문인력이 추가 편성되어 주요 산출물에 대한 검토가 필요하다.

시험평가 계획이 지연되어 인정수락기준과 평가항목 선정이 지연되므로 이를 조기에 선정하고 VV&A 완료시기를 TRR 이전으로 하는 것은 시제가 제작되어야 시제를 운용한 결과 확인 가능한데 이를 진행할 수 없으므로 운용시험시까지 조정이 필요하다.

이와 같이 M&S체계의 특성에 따라 VV&A 절차를 고려한 시험평가를 하려면 관련된 규정의 개정이 필요하다. 관련 규정의 개정이 필요한 부분을 정리하면 다음 표 7과 같다.

<Table 7> Revision of related regulations​​​​​​​

3.5 시험평가용 M&S

본 연구에서 제시하는 그림 1의 M&S체계 개발 절차는 모든 유형과 용도에 공통으로 적용되는 M&S체계 개발 절차이다. 무기체계로 분류되지 않는 정보화 체계, 전력 지원체계는 워게임 형태가 많으나 무기체계 관리 대상이 아니므로 제시한 개발 절차에 의거 적용하면 된다. 그러나 무기체계 연구개발간 활용되는 M&S체계는 군사훈련 및 작전 분석 중심의 M&S체계와는 개발관리가 다르게 적용되고 있다.

시험평가용 M&S체계는 대체로 VV&A 절차 적용이 규정화되기 전에는 무기체계 개발시 시험지원 장비로 관리되었다. 그러나 VV&A 대상으로 지정되면 VV&A 절차에서의 산출물은 M&S체계 개발에 따라 작성 및 제작되어야 한다. 또한 시험평가용 M&S체계는 시험평가 대상이 아니므로 별도의 평가가 없다. 이러한 이유로 시험평가용 M&S체계의 개발과 VV&A에 대한 지침과 규정이 무기체계로 분류된 국방 M&S체계와는 구분되어야 한다. 따라서 시험평가용 M&S체계에 대해서도 VV&A를 포함하는 개발 절차의 구체화가 필요하다.

시험평가용 M&S체계의 경우 M&S 요구 사항 도출은 3가지 영역에서 도출할 수 있다.

사용자 영역(User Domain)에서는 시험평가용 M&S 도구를 사용하는 사용자의 요구 사항을 도출한다. 사용자 의도와 관련된 근거로부터 사용자 요구(Needs)식별, 시험 대상 체계의 시험평가 지침 관련 문항에서 도출한다.

문제 영역(Problem Domain)은 시험평가용 M&S 도구가 표현해야 하는 대상으로의 요구 사항으로 시험평가 절차(기준, 방법) 등에서 모델링이 되어야 하는 표현요구사항을 식별한다. 시험평가 항목을 측정하기 위한 입력 및 출력 변수를 고려한 모의 범위와 수준 식별하는 것으로 시스템, 개체, 현상, 절차 등으로 구분하여 도출한다.

시뮬레이션 영역(Simulation Domain)에서는 시험평가용 M&S 도구의 구현에 필요한 기술적 요구사항으로 개발자의 개발 자원의 가용성을 고려하여 구현 요구 사항이 식별되어야 한다. 시뮬레이션 개발에 필요한 H/W, S/W 특성을 식별한다.

개념모델은 시험평가항목과 절차를 기준으로 표 4의 예시대로 작성하면 될 것이다. 다만 시험평가는 실제 시험을 하지 못하는 환경과 항목에 대한 것이므로 유사 데이터의 검증 및 확인을 위한 데이터 수집 및 확보계획이 중요하며 모의 범위와 수준에서 시험평가와 관련 없는 많은 부분이 모의 범위에서 제외되고 모의 수준에서 실제 장비로 시험평가하는 부분에 대해서는 저해상도로 모델을 개발하므로 이에 대한 가정과 제한사항이 적합해야 한다.

VV&A 측면에서는 인정 범위가 초기에 지정되어야 하는 점, 결과 확인을 위해 개발시험 결과 데이터의 활용이 필요한 점 등을 볼 때 인정평가 시기는 운용시험평가시기가 되어야 한다는 점이다.

4. 결론

국방 M&S체계개발은 무기체계로 분류되느냐에 따라 무기체계 개발 절차를 적용하고 있으며 그 외는 전력 지원체계 또는 정보화 체계로 구분되어 개발하고 있다. 이러한 절차에는 국방 M&S체계개발과 관련한 규정과 절차의 반영이 명시되어 있지 않다. 미 국방부, NASA, NATO 등 해외 선진국의 많은 관련 문헌에서는 M&S체계 개발시 M&S 요구사항에 대한 별도의 정의, 개념모델 개발이 포함되어 있으며, VV&A는 M&S체계 개발의 단계로 포함되어 있다.

M&S체계는 사용 의도별로 다양하므로 개발내용도 다양하게 진행된다. 그러나 무기체계로 분류되어 사업관리 대상이 된다면 효율적인 체계개발 절차와 산출물이 표준화 되어야 한다. 본 연구는 M&S체계 개발이 일반 무기체계와 다른 점을 명시하여 M&S 요구 사항의 정의 방법과 산출물, 개념모델에 대한 개념 정리와 포함사항에 대해 해외 이론과 사례를 바탕으로 국내 현실에 부합되는 개념모델 기술서, M&S체계의 개발에 포함되는 VV&A에 대하여 무기체계 시험평가와의 유사점과 차이점을 제시하였다. 제시한 산출물의 세부적인 작성 방법은 향후 지속적인 연구가 필요하다.

M&S체계이지만 구성이나 운용이 비교적 단순한 시험평가용 M&S체계 역시 체계개발과 VV&A에 대한 기준이 필요하다. 국내 규정이 워게임 위주의 M&S체계에 집중되어 적용상 혼선의 요소가 많다. 본 연구는 이러한 면에 착안하여 차이점 위주로 시험평가용 M&S체계에 대해서도 대안을 제시하였다.

M&S체계 개발 절차의 표준화가 중요성이나 시급성에 비해 이에 관한 연구가 부족하고 규정도 보완도 필요하다. 본 연구의 결과가 효율적인 M&S체계 개발에 활용할 수 있을 것이고 연구 결과가 이러한 표준화의 첫걸음으로 활용될 것으로 기대한다.