1. 서론
미국, 중국, 러시아 등 주요 강대국들을 중심으로 첨단 AI(Artificial Intelligence) 기술 확보를 위한 노력과 경쟁이 지속되고 있다. 우리나라도 국방 전 영역에 AI를 비롯한 신기술을 도입하기 위해 천문학적인 국방 R&D 예산을 투자하고 있으며 국방AI센터의 창설과 같은 조직적 변화도 시도하고 있다. 그러나 방대한 국방의 전 영역에 AI를 도입하기 위해서는 더욱 더 막대한 국방 자원이 요구될 것으로 전망된다.[1] 많은 국가들이 AI의 도입에 총력을 기울이고 있지만 아직 조직 운영의 본질인 자원의 효율적 투자에 대한 중요성은 간과되고 있다. AI의 도입 뿐만아니라 지속가능한 AI의 운용을 위해서는 초기 단계인 AI의 소요기획 단계에서부터 요구사항을 최적화 시키기 위한 연구가 필요하다.
국방 영역에 AI를 도입한다는 것은 요구되는 기능을 갖춘 AI 모델을 탑재한 시스템을 도입한다는 것을 의미한다. AI Model은 기계학습의 산물이기 때문이다. 따라서 다양한 국방 AI 요구사항들로부터 요구되는 AI Model을 획득하기 위한 데이터와 AI 알고리즘을 분석 및 식별함으로써 AI의 도입 시 발생할 수 있는 자원의 중복이나 낭비를 식별할 수 있다. 양적, 질적으로 충분한 데이터의 확보는 AI 프로젝트에서 가장 중요하며 많은 시간과 예산이 소모되는 영역으로 간주된다.[2],[3] 그러나 일정량 이상의 데이터가 축적되면 동일한 데이터로도 여러 AI 기능을 구현하는데 사용될 수 있다.[2],[3] AI 알고리즘 또한 새로운 유스케이스가 식별되면 Transfer Learning[4]과 같은 기법을 이용하여 기존 알고리즘을 비교적 손쉽게 새로운 분야에 접목시킬 수 있다.[3] 따라서 AI 기술의 이러한 특성을 활용하면 최소한의 자원으로 최대의 효과를 창출할 수 있는 국방 AI 도입 요구사항 관리를 수행할 수 있다.
본 연구에서는 JCA(Joint Capabilities Area) 체계와 AI 기술의 이론적 특성을 이용하여 방대한 조직의 AI 도입 요구사항들로부터 중복/낭비를 식별하고 최적화 시키기 위한 AI 능력의 역할에 대한 개념모델을 제시한다. JCA 체계란 미 DoD에서 사용하는 전사적 수준의 능력관리체계이다. JCA 체계에서 국방 조직이 수행하는 모든 기능은 중복이나 누락 없이 의미적 유사성을 바탕으로 “능력(Capability)”이라는 용어로 표현되며 의미론적으로 분류된 각 능력은 실무조직인 FCB (Functional Capabilities Boards)에 의해 관리된다. 본 연구에서 제시하는 AI 능력*의 역할은 국방 AI의 도입을 위해 AI 능력과 연결된 AI FCB가 수행해야 할 다양한 역할 중 AI 요구사항들로부터 발생할 수 있는 AI 기술에 대한 중복이나 낭비를 식별하고 최적화시키는 역할에 초점을 맞춘다. 복잡하고 방대한 국방 영역에 도입될 AI 기술의 중복과 낭비를 효과적으로 식별하기 위해 시스템 엔지니어링의 주요 개념 중 하나인 추상화 기법과 시스템에서 AI의 기능을 식별하기 위해 사용되는 IMO(Input-AI Model-Output) 논리구조를 결합한 이론적 접근법을 제시한다.
본 논문은 다음과 같이 구성되어 있다. 2장에서는 관련 연구를, 3장에서는 문제 정의와 AI 소요의 중복이 발생 가능한 유형을, 4장에서는 제안하는 AI 능력의 역할 개념모델을 제시 및 효과성을 분석하며 마지막 5장에서는 결론과 향후 연구방향을 제시한다.
2. 관련연구
조직에 AI를 효과적으로 도입하기 위한 다학제적인 연구들이 수행되고 있다. Rittlemeyer et al[5]은 기업들이 AI의 도입을 촉진하고 실패하지 않도록 AI가 전사적 아키텍쳐(Enterprise Architecture)에 미치는 영향을 연구했다. AK Agrawal et al[6]은 AI 도입에 있어 조직들이 상호작용하는 과업들로 이루어진 현실에 집중하지 못했으며, 시스템 수준의 변화가 필요함을 지적했다. Nahar et al[7]은 조직이 기계학습 모델을 실제 적용하는 것은 매우 도전적이며 요구사항의 식별과 분해, 그리고 전문가들의 작업 통합이 필요함을 주장했다. Jöhnk et al[8]은 25명의 AI 전문가 인터뷰를 통해 조직이 전략 수립, 자원, 지식, 문화, 데이터 등 AI의 도입을 위해 가져야 할 준비요소들을 제시하였다. AI의 도입을 위한 시스템 엔지니어링 분야의 연구도 많이 수행되었다. Alvarez‐Rodríguez et al[9]은 AI 모델의 생명주기와 SE(Systems Engineering) 프로세스의 통합을 위해 데이터, 기술, 하드웨어와 같은 요구사항을 설명하고 시스템 명세화 과정에 이를 포함시키기 위한 개념적 아키텍쳐를 제시했다. Belani et al[10]은 AI 기반의 복잡한 시스템을 개발하기 위한 데이터, 모델, 시스템 분야의 도전과제를 식별 및 제시하였다.
기존의 연구들은 대부분 AI의 도입에 초점을 맞추고 있으나, AI 도입 시 발생할 수 있는 조직 자원의 중복이나 낭비를 제거하기 위한 연구는 아직 수행된 사례는 없다. 국방 전 영역에 AI를 효과적으로 도입 및 운용하기 위해서는 전사적 수준에서 AI의 도입을 판단하고 국방 자원의 중복과 낭비의 최소화가 필요하다. 본 연구에서는 JCA 체계와 시스템 엔지니어링의 추상화 기법, 그리고 AI 기술에 대한 이론적 접근을 바탕으로 AI의 도입 시 발생할 수 있는 중복과 낭비를 식별하고 최적화 시키기 위한 개념모델을 제시하는데 초점을 맞춘다. 국방 AI의 도입은 아직 초기 단계이며, 본 연구와 동일 또는 유사한 연구를 다룬 사례가 없으므로 본 연구의 개념모델의 효과성은 6가지 예시 사례를 통해 요구사항의 양적/비용적 최적화 효과성 분석을 통해 제시된다.
3. 문제 정의
3.1 국방 AI 관련 예산의 급증 추이
국방부가 발표한 ’23~’27 중기계획에 따르면 향후 5년간 331조 이상이 투입되며 그 중에서 첫 번째로 내세운 국정과제는 국방개혁 4.0 추진을 통한 AI 과학기술 강군 육성이다. 이에 발맞추어 국방 AI를 도입하기 위해 수많은 AI 기능이나 요구사항들이 포함된 프로젝트들이 제출되고 있다. 표 1은 최근 5년간 우리나라의 국방 및 R&D 사업 예산 현황을 나타낸다.[1],[11]
<Table 1> ROK Defense and R&D budget 2018-2022
(Unit : Hundred million won)
표 1에서 볼 수 있듯이, 우리나라의 매년 국방 예산과 방사청에서 운용하는 R&D 예산은 큰 폭으로 증가하고 있음을 알 수 있다. 아직 AI 관련 예산 현황을 직접적으로 통계한 자료는 없지만 강력한 국방부의 국방개혁 4.0 추진 의지와 증가하는 R&D 예산을 고려하였을 때 AI 도입을 위한 예산과 프로젝트도 증가될 것으로 전망된다. 한국과학기술기획평가원(KISTEP)에서는 국방기술개발의 특성 상 신규예산이 큰 규모로 늘어나면 예산 부담이 3년 이상 누적되며 이것이 국가 재정에 압박으로 작용할 수 있음을 경고하였다.[1] 미국도 직접적인 AI 관련 예산이 공개되지는 않았지만[15] 국방 AI의 도입을 위한 R&D 예산의 증가 현상은 유사하게 나타난다. 표 2는 미국의 2021~2023년도 국방 및 R&D 예산 현황을 나타낸다.[12],[13]
<Table 2> US Defense and R&D Budget 2021-2023
(Unit : Billion dollar)
표 2에서 볼 수 있듯이, 미국의 2023년도 국방 예산은 약 7,730억 달러로 매년 증가하고 있으며 국방 R&D 예산 또한 2022년도 당시 2.6% 증가 대비 2023년도에는 12%로 대폭 증가하였다. 또한, 2022년 미 의회를 대신하여 정부 활동을 감사하고 평가하는 회계감사원(GAO, Gorvernment Accountability Office)의 자료에 따르면 미 DoD의 AI 도입 역할을 담당하는 JAIC은 2019년 예산 89 million 달러에서 2021년 예산 278 million 달러로 수직 상승했으며 2021년 미 DoD의 AI 프로젝트의 수는 약 600건이 넘는다.[14] 표 3은 2021년 기준 미 DoD의 세부 AI 프로젝트 현황을 나타낸다.[14]
<Table 3> US DoD's Detailed AI Project Status in 2021
문제는 미 DoD 또한 AI 프로젝트들을 분석한 예산 문서들에 AI의 기능에 대한 설명 또는 AI 기능 개발에 할당된 비용과 같은 핵심 정보들이 포함되어 있지 않아 각 AI 프로젝트들의 중복성을 평가하기 어렵다는 점이다.[12],[13],[14] 미 연방 기술 임원에게 필요한 비즈니스 정보를 제공하는 FCW(Federal Computer Week)에서도 685개에 이르는 이 프로젝트의 데이터가 불완전함을 지적하였다.[15] GAO도 이 사실을 인지하고 있지만, 아직 예산의 효과를 평가하기에는 이르다고 평가하고 있다.[16] 그러나 미 DoD는 세계에서 가장 많은 정부 예산을 사용하는 조직 중 하나로서, 국방 예산 증가에 대한 합리적 설명을 요구받으며[17] GAO와 같은 감시기구에 의해 예산 집행의 중복을 감시받는다.[18] 심지어, 미 DoD의 핵심 관심대상인 JADC2(Joint All-Domain Command and Control)에 대한 투자마저 비판의 목소리가 발생하고 있다.[19] 국방 AI 기술에 대한 예산이 급증하는만큼 AI 기술에 대한 중복이나 낭비를 제거하지 못한다면 향후 예산 집행은 좌절될 수 있다. 이는 비단 미 DoD에만 해당될 내용이 아니다. 아직은 우리군의 국방 AI 예산 사용의 중복이나 낭비에 대한 지적이 발생하고 있지 않다. 새로운 핵심 기술의 도입을 위한 초창기 일부 연구개발에서의 중복의 발생은 필연적이지만 우리군이 지속가능한 AI 기반의 첨단 국방력을 건설하기 위해서는 AI 소요에 대한 중복과 낭비를 체계적으로 제거하기 위한 장치가 필요하다.
3.2 AI 소요제기 창구의 분산 및 증가, 컨트롤 타워의 부재
국방 AI의 신속한 도입을 위해 많은 법적/제도적 개선이 수행되고 있다. 그러나 군이 보유한 AI 전문인력이나 기반시설은 민간에 비해 매우 부족한 수준이다. 이로인해 국방 AI의 도입은 상당부분 민간의 AI 기술을 군에 도입하기 위한 방향으로 발전하고 있다. 다음 표 4은 2022년 기준 우리군의 신기술 적용을 위한 민/관/군 R&D 소요발굴 체계 현황을 나타낸다.[20]
<Table 4> ROK Military R&D Needs(or Requirements) Discovery Systems
[20]에 의하면 현재 우리군은 총 15가지의 신기술 적용을 위한 R&D 소요발굴 체계를 운영하고 있으며, 대부분의 제도들이 AI를 포함한 민간의 제품이나 기술을 도입하는데 초점을 맞추고 있다.[20] 일반적인 국방 소요 프로세스는 도입시까지 많은 시간이 요구되어 빠르게 발전하는 기술의 발전 속도를 따라잡기 어려우므로 이러한 제도의 발전 방향은 시대의 흐름에 부합하고 있는 것으로 볼 수 있다. 그러나 문제는 각 사업별을 주관하는 부서가 매우 다양하고 대부분 소요가 개별적으로, 그리고 플랫폼 단위로 진행되고 있으며 이들 AI 소요들을 종합 및 중복성을 조정/통제하는 역할이나 기능이 존재하지 않는다는 점이다.[21] 이런 소요의 결과물들이 지속 증가한다면 AI 기술의 관점에서 몇가지 예산 사용의 중복이나 낭비의 문제가 발생할 수 있다.
첫 번째로 동일한 AI 기능을 수행하는 다종 플랫폼들이 증가할 수 있다. 예를들어, 울타리나 철조망 감시를 맡게 될 사단급/대대급 UAV나 위성이나 조기경보 자산으로부터 수집된 영상판독에 필요한 AI 기능은 대부분 특정 물체에 대한 식별 또는 탐지이다. 두 번째로 도입 후 AI 기술에 대한 관리 방법이 불명확하다. AI의 성능을 유지하기 위해서는 지속적인 데이터의 갱신, 알고리즘의 개선이 요구되나 현재의 제도상으로는 납품 이후 이를 수행하기 위해 성능개량 과정을 별도로 거쳐야 한다. 동일한 AI 기능을 가진 AI 시스템이 증가하였을 때 이를 각 소요별로 성능개량을 진행한다면 또다시 동일한 AI 기능에 대한 소요들의 중복은 물론 시간적, 비용적 측면에서도 비효율이 발생하게 된다.
3.3 AI 요구사항 중복의 발생 유형
3.3.1. 데이터/환경 요구사항의 중복
데이터나 환경은 학습된 AI 모델의 성능에 가장 큰 영향을 미치며 확보에 가장 많은 시간과 자원이 소모되는 요소이다. 데이터/환경 요구사항의 중복은 요구되는 AI의 기능이 다르더라도 동일한 범용(일반) 데이터나 환경이 요구될 수 있다는 것을 의미한다. 일반적으로 데이터/환경의 수집 과정은 AI 모델의 기능 요구사항을 식별하고 지속적인 데이터 수집과 AI 모델의 학습 및 평가의 반복으로 수행된다.[3] 여기서 요구되는 AI 기능을 달성하기 위해 필요한 데이터는 크게 범용(일반) 데이터와 세부 전문 데이터로 나뉠 수 있다.[2] 여기서 범용(일반) 데이터셋이란 현재 조직이 보유하고 있거나 COCO, Imagenet과 같이 온라인 등에서 이용 가능한 데이터셋을 의미한다. 세부 전문 데이터는 문제의 해결 과정에서 현재 가용한 범용(일반) 데이터에서 대상시스템의 운용환경(시간, 환경 등), 데이터의 속성(종류, 해상도, 발생빈도 등) 등의 차이로 인해 추가적으로 확보 및 학습이 필요한 데이터를 의미한다. AI 모델의 학습은 범용(일반) 데이터를 통해서 1차적인 요구 AI 기능의 학습이 수행되고 세부적이고 전문적인 학습을 위해 추가 수집 및 정제된 세부 전문 데이터가 사용된다. 예를들어, 최근 전세계적인 관심을 받고 있는 ChatGPT도 먼저 대규모 말뭉치 데이터셋을 이용하여 LLM(Large Language Model)을 학습시킨 후 현재 우리가 접하고 있는 ChatGPT 형태로 추가 학습되었다. 또한 학습된 ChatGPT 모델은 Fine-tuning, Prompt Engineering 등 다양한 기법을 통해 현재도 의학, 비즈니스 등 수많은 전문 분야의 세부 전문 데이터들로 추가 학습 및 활용이 진행되고 있다.
범용(일반) 데이터셋의 중복 유형을 우리군의 소요에 대입해보면 유사한 중복 사례가 식별될 수 있다. 예를들어 현재 진행중인 각각 0,000억원 규모의 A/B사업의 경우 요구되는 AI 기능은 AI 기반 감시장비를 이용한 주/야간 객체 인식이다. A/B사업은 00차량, 00체계로서 각각 플랫폼도, 센서도 아직 구체화되지 않았지만 요구되는 AI의 기능을 위해 필요한 범용(일반) 데이터는 Imagenet, 그리고 군에서 추가로 요구할 표적 영상(군인, 탱크, 무인기 등)들이 될 것이다. 이렇게 많은 예산이 사용되는 소요들로부터 발생될 수 있는 개발 초기의 데이터/환경의 중복을 최소화 시키기 위해서는 각 AI 소요들로부터 범용(일반) 데이터 소요들을 식별 및 분리하여 AI 기능 학습의 근간이 될 국방 데이터댐을 구축하고 데이터 아키텍쳐 표준을 개발해야 한다. 그리고 이로부터 각종 AI 소요들의 개발 초기에 요구되는 범용(일반) 데이터들을 제공하고 각 AI 소요가 구체화되면서 식별되는 추가적인 전문 데이터들을 다시 데이터 소요로 제기하여 데이터 수집→국방 데이터 댐→AI 소요(또는 실험) 제공의 순환 구조를 구축해야 한다.
3.3.2 AI 기능 요구사항의 중복
일반적으로 AI 모델의 학습은 기능 요구사항 식별-데이터 수집/정제-특징 엔지니어링-모델 학습/평가의 반복으로 수행된다.[3] 초기 요구사항 식별 과정에서 주어진 문제에 가장 적합한 모델을 선정하고 문제 해결에 적용이 가능한 범용(일반) 데이터가 있을 경우 모델을 학습시키면서 추가적으로 식별되는 추가적인 전문 데이터의 수집과 모델의 학습정보를 수정하는 특징 엔지니어링 및 모델 학습/평가 과정을 병행하게 된다.
국방 AI 요구사항에서 AI의 기능에 대한 요구사항은 주로 식별, 탐지, 판단 등의 형태로 나타나며, 이를 구현하기 위한 AI 알고리즘은 크게 지도/비지도 학습, 강화학습의 방법으로 분류된다. AI 기능 요구사항의 중복은 여러 AI 요구사항들로부터 요구되는 AI 기능이 동일 또는 유사할 경우 등으로 발생될 수 있다.
요구되는 AI 기능이 동일한 경우는 AI의 기능(식별, 탐지 등)과 역할(무엇을 식별/탐지하는지 등), 그리고 AI 모델의 운용환경(AI 시스템의 센서의 종류, AI 모델 구동환경 등)이 동일한 경우를 말한다. 이 경우 서로 다른 플랫폼에 요구되는 AI 기능이라도 동일한 AI 모델로 운용이 가능하다. 예를들어 3.3.1.절의 A/B사업이 구체화되는 과정에서 딥러닝 기반 객체인식 요구사항(식별해야 할 대상, 성능, 표현방법 등)이 동일하고 AI 모델 운용을 위한 시스템이 동일한 영상 센서와 AI 모델 운용환경으로 구성될 경우 하나의 사업에서 개발된 AI 모델을 다른 사업에 적용해도 가능하며 각 사업에서의 AI 요구사항은 완전한 중복이 된다.
요구되는 AI의 기능이 유사한 경우는 AI의 기능이 동일하나 역할이 다른 경우 또는 AI 모델의 운용환경이 다른 경우이다. 이는 요구되는 AI 기능은 동일(식별, 탐지 등)하나 역할이 다른 경우(식별해야 할 대상이 다른 경우 등), AI 모델의 운용 환경이 다른 경우(센서의 종류, AI 모델의 구동환경 등) 등으로 세분화 될 수 있다. 이 경우들은 완전히 새로운 모델을 개발해야하는 상황이 아니므로 Transfer Learning[4], Ensemble Learning[25], Fine-tuning과 같은 방법을 통해 요구되는 AI 기능을 갖춘 AI 모델을 개발할 수 있다. 따라서 기존 개발된 기능 또는 알고리즘을 단순히 도입 또는 대입하는 정도의 소요는 대부분이[21]이 AI 기능이 유사한 경우, 즉 부분 중복으로 분류될 수 있다.
마지막은 요구되는 AI의 기능이 새로운 연구나 실험을 통해 개발해야 하는 경우로 AI 기능은 동일할 수 있으나 역할(식별/판단/권고 등)이 새로운 경우이다. 예를들어, 인간, 동물 등의 단백질 구조 예측에 최초로 AI를 적용하여 성공한 Alphafold[29]의 사례가 있을 수 있다. 주로 요구사항과 관련된 기존 연구가 거의 없거나 복잡한 도메인 전문지식과 AI 지식이 결합되어야 하는 문제에 해당된다. 우리 군이나 미 DoD가 추진하고 있는 JADC2 영역과 관련된 AI 요구사항들이 해당될 수 있다.
이러한 AI 기능 요구사항의 중복을 최소화시키기 위해서는 첫째로 국방 AI 요구사항들로부터 AI 기능의 중복성을 평가할 수 있는 전문가들로 구성된 집단이 필요하다. 현재 대부분 소요제기서/제안서는 높은 수준의 추상적 운용개념으로만 구성되어 있어 AI에 대한 구체적인 요구사항(시스템, AI 기능, 역할 등) 식별이 어렵다.[21] 제기된 소요들로부터 AI 요구사항들을 구체화시키고 중복성을 평가할 수 있는 전문가 집단이 필요하다. 두 번째로는 AI 기능을 수행하는 AI 모델, 시스템/소프트웨어 아키텍쳐의 표준화가 필요하다. AI의 발전속도는 매우 빠르고 다양하다. 이러한 AI 기술의 특성을 고려하여 국방 AI의 도입 시 AI 기능의 중복성을 평가하기 위해서는 표준화 된 아키텍쳐 정립을 위한 연구가 필요하다. 마지막으로 국방 데이터 댐 구축과 병행하여 국방 AI 개발/실험을 위한 AI 플랫폼 구축이 필요하다. 이를 통해 현재 제기된 소요들 중 완전 또는 부분 중복 소요의 확대적용 가능 케이스를 실험/실증을 통해 찾고, 나아가 AI 전문가들이 알기 어려운 국방 도메인 영역의 고유한 문제(험지 임무 수행을 위해 필요한 강(强) 자율 인공지능의 정의 등)를 해결할 수 있는 다양한 방법들에 대한 초기 아이디어를 실험하고 새롭고 구체적인 소요로 반영할 수 있어야 한다.
4. JCA 체계 기반 AI 능력 역할 개념모델 제안
조직이 지속가능한 AI의 도입과 운용을 위해서는 AI 요구사항의 발굴을 다양화함과 동시에 중복이나 낭비를 효과적으로 제거하여 최적화시키는 것이 필수적이다. 이번 장에서는 JCA 체계를 통해 국방 전 영역의 AI 요구사항을 효과적으로 최적화시키기 위한 개념모델을 제시한다.
4.1 JCA 체계란 무엇인가?
4.1.1 JCA 체계의 정의와 특징
JCA 체계는 미 DoD의 능력 관리 언어 및 엔터프라이즈 프레임워크로서 국방의 모든 기능을 유사성을 바탕으로 그룹화하여 능력이라는 단위로 분류하고 각 능력별로 연결된 실무조직인 FCB에 의해 관리가 수행되는 체계이다.[22] 각 능력은 국방 영역 전체를 포괄해야하며 중복과 낭비를 제거하기 위해 상호배제(MECE)의 원칙에 따라 상호배타적이며 가능한 한번만 표시된다. 그림 1은 국방의 기능과 현재 최신 공개된 미 DoD의 JCA 체계의 최상위 Tier 능력 및 FCB들과의 관계를 간략히 추상화시킨 개념을 나타낸다.
[Figure 1] Relationship Between the DoD’s Functions and US DoD’s Tier 1 Capabilities of JCA
4.1.2 AI 능력의 정의와 역할
본 연구에서는 다른 국방의 핵심 능력과 중복되지 않는 핵심 기능으로써 국방 AI의 도입 및 운영과 관련된 모든 제반 기능을 AI 능력으로 분류하여 사용한다. AI FCB는 AI 능력을 담당하는 실무조직을 의미한다. 현재까지 공개된 미 DoD의 JCA 체계[22]에서 직접적으로 표현된 AI 능력은 존재하지 않으며 다만 의미적 유사성을 통해 Communications & Computers 능력에 본 논문에서 사용하는 AI 능력이 포함되어 있을 것으로 추정할 수는 있다. 그러나 본 연구의 목적이 AI라는 명칭의 관련 능력이 미 DoD의 JCA 체계에 존재하는지 여부보다 JCA 체계의 의미 하에서 자원의 중복/겹침 없이 국방 AI를 도입하는 능력을 다루므로 미 DoD의 JCA 체계 분류와 관계없이 연구목적을 위해 AI 능력이라는 용어를 사용한다.
4.2 국방 전 영역에 AI 도입을 위한 SE적 접근
4.2.1. SE 관점을 이용한 국방 기능의 표현방법
국방부 조직은 방대하며 복잡한 기능을 수행하고 있다. 방대하고 복잡한 조직의 기능에 AI를 적용하기 위해서는 먼저 문제를 보다 단순하게 추상화시킬 필요가 있다. 그림 2는 SE의 관점에서 바라보는 시스템의 구조[23]와 국방부가 가지고 있는 여러 기능과의 관계를 나타낸다. 국방부가 본질적 기능을 수행하기 위해 보유하고 있는 전력 획득, 작전 기획, 지휘통제 시스템 등 다양한 기존의 시스템들은 SoS(Systems of Systems)[23] 구조로 추상화하여 표현될 수 있다. 국방 조직이 가지고 있는 복잡하고 다양한 시스템들에 AI를 효과적으로 도입하기 위해서는 다양한 이해관계자들의 소통과 의사결정을 지원할 수 있는 공통의 언어로서 AI 시스템에 대한 정의와 표현방법이 필요하다.
[Figure 2] Relationship Between System Hierarchy and DoD’s Functions
4.2.2 AI 기술의 표현을 위한 IMO 구조의 정의
AI 기술의 정의는 광범위하며 아직 명확하지 않다.[24] AI 기술 요구사항에서 발생할 수 있는 중복을 설명하기 위해 본 논문에서는 AI 기술을 소프트웨어 기술로서 특정한 입력값에 대해 인간이 의도한 결과를 출력하여 인간의 지능을 대체할 수 있는 기술이라는 의미를 적용한다. 이러한 AI 기술의 정의는 그림 3과 같이 IMO 형태의 논리구조를 통해 추상화시켜 표현될 수 있다. 여기서 Input은 AI Model에 입력되는 데이터를, AI Model은 의도된 AI의 기능을 구현하도록 학습된 AI Model을, Output은 AI Model이 Input을 통해 출력하는 결과물, 즉 AI Model이 의도된 AI 기능을 수행하기 위해 입력된 데이터로부터 반환하는 구체적인 출력값을 의미한다.
[Figure 3] IMO Structure and Example
4.2.3 IMO 구조를 이용한 AI System의 정의와 표현방법
System은 일반적으로 “공통의 목표를 달성하기 위해 함께 작동하는 상호 연관된 서로 다른 구성요소들의 집합”으로 정의될 수 있다.[23] 시스템은 설계자의 의도에 따라 분해 과정을 통해 서브시스템, 컴포넌트와 같은 서로 다른 레벨에 존재하는 요소들의 조합으로 구성된다. AI 기술은 기술의 결과물인 AI Model이 포함된 소프트웨어 모듈에 존재하며, 시스템에서 소프트웨어 컴포넌트로 표현될 수 있다. AI 기능이 포함된 컴포넌트는 시스템 분해 과정에 따라 다양한 레벨에 존재할 수 있으며 여기에 4.2.2절에서 제시한 IMO 구조가 포함된다. 따라서 시스템 이론적 관점에서 AI 시스템은 하나 이상의 AI 기능을 가진 컴포넌트를 보유한 시스템이라고 정의할 수 있다. 그림 4는 AI 시스템의 일반화된 이론적 구조와 시스템 내부에 존재하는 IMO 구조의 위치 나타낸다.
[Figure 4] Generallized AI System Hierarchy and Location of the IMO Structure
4.3 JCA 체계 기반 AI 요구사항 최적화 방안
이번 절에서는 AI 요구사항으로부터 중복을 식별하기 위한 AI 능력의 역할 개념모델을 제시한다. 본 연구에서 제시하는 AI 능력의 역할은 미 DoD의 요구사항 개발 체계인 JCIDS(Joint Capabilities Integration and Development System)의 틀 안에서 수행된다. 본 연구의 범위와 목적을 명확히 하기 위해 미 DoD의 JCIDS에 대한 개요와 제시하는 AI 능력의 역할 개념모델의 초점을 제시하고 세부 수행개념을 제시한다.
4.3.1 JCIDS의 요구사항 개발 프로세스와 제안하는 AI 능력 역할 개념모델의 초점
그림 5는 JCIDS에서 요구사항을 개발하는 전체 흐름도를 나타낸다. 요구사항의 개발은 크게 능력의 격차(GAP)를 식별하고 대안을 찾는 과정을 통해 수행되며 이 과정을 CBA(Capabilities-Based Assessment) 프로세스라고 한다. 일반적으로 능력의 격차는 국방 전략, 잠재적 적 능력, 기술의 진보와 같은 상위 전략 문서들로부터 문제 또는 임무를 식별하는 과정에서 식별된다. 이 과정은 합동군의 과업을 공통의 언어로 표현하는 UJTL(Universal Joint Task List)로부터 문제나 임무를 가장 잘 설명할 수 있는 UJT를 배열함으로써 수행되며 격차의 분석은 문제나 임무의 목표, 임무환경과 같은 제약요인(조건(Conditions)) 등을 고려하여 각각의 선택된 UJT들의 세부 방법(Measure)들의 표준(Standards)을 분석하고 격차를 정의함으로써 수행된다.[30]
[Figure 5] Overall Requirements Development Process Flow Chart of US DOD's JCIDS
JCIDS의 틀 안에서 AI와 연관된 요구사항을 개발하기 위해 AI FCB는 AI와 연관된 UJT나 방법, 조건 등의 개발과 같은 여러가지 역할들을 수행해야 하지만 본 연구에서는 그림 6에서 파란색으로 표시된 영역인 식별된 격차에 대한 대안을 구체화 시키는 과정에서 4.2.3절에서 제시한 시스템 추상화 기법과 3.3절에서 제시한 AI 요구사항의 중복을 식별하는 역할에 대한 개념모델을 제시하는데 초점을 맞춘다.
[Figure 6] The Scope of the Proposed AI Capability Role Conceptual Model
4.3.2 AI 능력의 역할 개념모델 세부 수행개념
이번 절에서는 AI 요구사항의 중복을 식별 및 최적화 시키기 위한 AI 능력의 역할에 대한 세부 수행 개념을 제시한다. 그림 7은 제시하는 AI 능력의 역할에 대한 개념모델을 간략히 나타낸다. 세부 수행 개념은 다음과 같다.
[Figure 7] A Conceptual Model of the Role of AI Capability to Optimize Duplication/Overlapping of AI Requirements
첫 번째, 기본적으로 JCIDS의 요구사항 개발 과정에 따라 상급 전략/지침으로부터 식별된 모든 AI와 관련된 격차들은 AI 능력으로 매핑된다. 이 단계에서는 각 능력과 연결된 FCB들로부터 AI가 수행해야 할 기능이나 AI의 기능이 요구되는 운용개념을 식별한다. 예를들어, 군수(Logistics) FCB의 경우 “함정 수리부속의 고장을 예측하는 AI가 필요하다”와 같은 사례가 있을 수 있다.
두 번째, 각 AI 요구사항들을 수행하기 위한 현재(As-Is)의 시스템과 미래(To-Be)의 시스템을 식별한다. 이 단계에서는 운용개념이나 요구되는 AI의 기능을 달성하기 위한 시스템이 식별된다. 식별된 미래의 시스템은 기존 시스템의 개선 또는 새로운 시스템이 될 수 있다. 예를들어, 기존 시스템에 AI 모델을 탑재하여 AI 요구사항이 만족될 수 있다면 기존 시스템의 개선이 대안이 될 수 있다. 그러나 운용개념이 무인기와 같은 기존의 시스템으로 달성할 수 없는 새로운 시스템을 요구하게 될 경우 대안이 될 수 있는 새로운 시스템이 검토되어야 한다.
세 번째, 미래의 시스템을 분해하여 AI 요구사항을 달성할 수 있는 IMO 구조를 식별한다. 이 단계에서는 요구되는 AI 기능의 구현을 위한 미래의 시스템의 구조, 그리고 데이터의 종류와 속성, 흐름이 식별된다. AI 요구사항을 달성할 수 있는 IMO구조는 3.3절에서 언급한 바와 같이 데이터, AI 기술의 중복 가능성으로 인해 다양한 후보군들이 존재할 수 있다. 따라서 이 단계에서 시스템 분해는 비용, 기술적 구현 가능성 등을 고려하여 최적의 IMO 구조가 식별될 때까지 수행되어야 한다.
마지막으로, 모든 AI 요구사항들로부터 식별된 IMO 구조를 통해 필요한 데이터와 AI 기술을 최적화한다. 이 단계에서 데이터와 AI 기술의 최적화는 3.3절에서 제시한 각각의 중복 가능성을 극대화하여 요구사항들의 유사도를 바탕으로 가능한 한 데이터와 AI 기능들을 통합하는 것이다. 각 군에서 사용하는 지휘통제체계나 무기체계와 같이 각각의 시스템들은 운용개념과 환경이 서로 상이할 수 있지만 AI 기술의 구현 측면에서 보면 유사성이 발견될 수 있다. 예를들어, 각 군은 서로 다른 지휘통제체계를 사용하고 있지만 전장에서 표적을 평가/판단하기 위해 필요한 정보는 표적의 위치, 침로-속력, 주요속성(적군, 아군 등) 등이 공통적으로 사용된다.
AI 능력은 상기 네가지 역할 수행 단계를 통해 국방 AI 도입과 운용 시 발생할 수 있는 데이터나 AI 기술의 중복이나 겹침을 최적화시킬 수 있다. 최적화된 요구사항은 각각 데이터, AI 기술 요구사항으로 구분하여 획득을 위한 나머지 의사결정 과정을 진행하기 위한 대안으로 활용된다. 또한 식별된 요구사항의 분석을 통해 요구되는 데이터나 AI 기술의 빈도, 그리고 대응하는 대상시스템의 임무의 중요성과 상급 전략/지침의 방향 등을 고려하여 데이터 수집 전략이나 AI 기술 확보 계획을 수립하는 등 국방 AI 능력을 관리해야 한다.
4.3.3 AI 능력 역할 개념모델의 효과성 분석
본 연구에서 제시한 개념모델은 미 DoD의 JCA 체계에 기반을 두고 있으며, 우리군은 현재 3.2절에서 언급한 바와 같이 각 군별 소요제기 방법을 채택하고 있어 차이가 존재한다. 그러나 제안하는 AI 능력의 역할 개념모델의 핵심은 식별된 격차들에 대한 AI 요구사항의 중복을 최적화시키는 것이며, 비록 현재 우리군에 이 역할을 수행할 AI FCB와 같은 기능조직이 존재하지는 않지만 식별된 각 군의 AI 요구사항들을 구체화 시키는 과정에서 본 연구의 개념모델이 동일하게 적용될 수 있다. 따라서 연구목적을 위해 현재 우리군의 각 군별 소요제기 방법과 우리가 제시한 개념모델을 비교하여 본 연구의 개념 모델이 양적, 비용적으로 얼마나 중복을 제거할 수 있는지를 분석/산출하여 제시한다. 비교를 위해 사용되는 예시 사례이므로 분석에 사용된 우리군의 AI 요구사항들은 미 DoD의 JCIDS를 통해 식별된 AI와 관련된 격차와 동일하게 간주하여 효과성을 분석한다. 보안 상 실제 각 군에서 제기된 AI 요구사항이 아닌 가상의 미래 AI 시스템 요구사항 6가지를 예시로 선정하였다.
4.3.3.1 국방 AI 요구사항 사례 유형
그림 8은 현재 우리군의 소요제기 과정을 간략하게 나타낸다. 그림에서 붉은색으로 표시된 A~F 시스템은 효과성 분석을 위해 사용될 가상의 각 군별 AI 시스템 요구사항들을 나타낸다.
[Figure 8] ROK Defense Requirements Process Model
그림 8에서 육군의 A 드론 시스템은 적 정찰 UAV로서 지정된 지역을 자율비행하며 적군이나 장갑차를 탐지하는 UAV를, 그리고 E 무인탱크 시스템은 지정된 지역을 자율주행하며 적군이나 장갑차를 탐지 및 공격하는 시스템으로 가정하였다. 해군의 B 드론 시스템은 정찰 및 자폭 UAV로서 지정된 지역을 자율비행하며 적 함정을 탐지 및 자폭공격하는 UAV를, 그리고 C 드론 시스템은 군수 UAV로서 해상에서 함정 간 군수품을 보급하기 위한 UAV를 가정하였다. 공군의 D 위성 시스템은 자동으로 위성 영상의 변화를 탐지하는 시스템을, F 자동 공격 시스템은 미 RAND 연구소의 연구[26]와 유사하게 C2 체계와 연동되어 자동으로 공중 공격 결심을 지원하는 시스템으로 가정하였다. 그림 9는 각 군으로부터 제기된 가상의 AI 시스템 요구사항들을 4.3.2절에 제시된 세부 수행개념에 따라 구체화 시킨 결과를 나타낸다.
[Figure 9] System Decomposition and Identification Results of Data and AI Technologies from AI Requirements
4.3.3.2 제안하는 AI 능력 역할 개념모델을 이용한 중복/낭비 제거 양적 비교
이번 절에서는 제안하는 AI 능력 역할의 개념모델을 통해 AI 요구사항의 중복이나 낭비를 얼마나 양(量)적으로 줄일 수 있는지를 확인한다. 그림 9에서 알 수 있듯이, 각 군에서 별도로 제기된 AI 요구사항을 분해하여 데이터와 AI 기술을 식별한 결과 데이터, AI 기술 측면에서 중복이 식별됨을 확인할 수 있다. 아래 그림 10은 각 군의 AI 요구사항들을 3.3절의 AI 기술의 중복 유형을 적용하여 중복 또는 낭비를 최적화시킨 결과를 나타낸다.
[Figure 10] Comparison Before and After Application of the Proposed AI Capability Conceptual Model
아래 표 5는 제시한 개념모델이 각 AI 요구사항의 중복 또는 낭비를 얼마나 감소시킬 수 있는지를 나타낸다. 상기 개념모델을 통해 6건의 개별 AI 요구사항들을 개별 소요로 진행하였을 때 대비 데이터는 적군 및 장갑차 이미지, 해군함정 이미지 확보 소요를 각각 50%로 감소시켰으며 강화학습을 위한 환경은 UAV용 환경 확보 소요를 약 66.7%로 감소시킬 수 있다. 전체 데이터 소요 건수로는 약 41.7%가 감소하였다. AI 기술은 탐지/식별을 위한 기술은 75%, 자율주행을 위한 강화학습 기술은 80% 감소하였으며 전체 AI 기술 소요 건수로는 70%가 감소하였다.
<Table 5> Quantitative Comparison Before and After Application of the Proposed AI 능력 Conceptual Model
4.3.3.3 제안하는 AI 능력 역할 개념모델을 이용한 중복/낭비 제거 비용 비교
이번 절에서는 제안하는 AI 능력 역할의 개념모델을 통해 AI 요구사항의 중복이나 낭비를 얼마나 비용적으로 줄일 수 있는지를 확인한다. 단, 비용의 산출의 범위는 AI 프로젝트의 복잡성, 요구되는 정확도 등에 따라 차이가 있을 수 있으므로 일반적인 결론을 도출하기 위해 AI Model을 획득하기 위한 데이터 및 디지털 실험환경 구축, AI Model 획득을 위한 비용만 고려한다. 또한 비용 산출을 위한 자료는 미국 노동 통계국[27]에서 제공하는 직업별 평균 연봉 정보를 월 급여로 환산하여 사용하였다. 표 6은 효과도 분석을 위해 필요한 인력과 비용, 그리고 역할을 나타낸다.
<Table 6> Human Resources and Costs for Implementing AI Requirements
여기서 하급 데이터 과학자는 군인, 탱크 등 필요한 데이터를 수집, 분석 및 레이블링을 수행하며, 소프트웨어 개발자는 강화학습 Model을 얻기위해 필요한 디지털 환경과 적절한 API를 구축하는 역할을 수행한다. 중간 레벨 AI 엔지니어는 탐지나 식별 등 인지 AI를 구축할 수 있는 수준의 인력을 의미하며 고급 레벨 AI 엔지니어는 요구된 기능이나 행동을 수행할 수 있는 강화학습 AI를 구축할 수 있는 수준으로 분류하였다. 표 7은 각 능력에서 제시된 요구사항들에서 필요한 AI Model을 얻기 위한 과정과 할당된 인력, 그리고 비용을 나타낸다.
<Table 7> Allocated Human Resources and Costs for Implementing AI Requirements
여기서 군인, 탱크, 함정과 같은 비교적 단순 데이터 수집 및 레이블링은 1명의 데이터 과학자를, 위성 이미지는 이미지 분석의 전문성, 레이블링의 복잡성 등을 고려하여 2명을 할당하였다. 디지털 실험환경 구축은 UAV나 Tank 등이 할동할 가상의 정밀한 그래픽 및 물리 환경을 구축하고 현재의 C2 체계와 유사한 가상환경과 API을 구축하기 위해 각 2명의 소프트웨어 개발자를 할당하였다. 인지 AI Model을 학습시킬 인력은 다양한 알고리즘의 소스코드와 모델이 온라인에 상당수 공개되어 있다는 점과 Transfer Learning 등 학습을 용이하게 진행시킬 수 있는 방법들이 존재하므로 1명의 중급 AI 엔지니어를, 강화학습 AI는 기존 공개된 알고리즘들이 주로 실험된 환경에 독립적으로 의존되고 있다는 점과 실험 및 보상함수 설계의 복잡성 등을 고려하여 고급 AI 엔지니어 2명을 할당하였다. 연구목적을 위해 각 소요별로 요구되는 AI 모델의 획득기간은 일괄적으로 1달로 가정하였다. 그림 11과 그림 12는 제안하는 AI 능력 개념모델을 적용하기 전/후의 산출된 비용을 통한 효과도를 나타낸다.
[Figure 11] Implementation Cost of AI Requirements Before Applying the proposed AI Capability Role Conceptual Model
[Figure 12] Implementation Cost of AI Requirements After Applying the proposed AI Capability Conceptual Model
그림 11과 12에서 알 수 있듯이, 제시하는 AI 능력 역할의 개념모델을 적용하였을 경우 각각의 소요별로 AI Model을 획득하는 것보다 약 35.5% 비용이 감소하였다. 물론 앞서 언급한 바와 같이 개발 난이도, 기간 등 다양한 변수에 의해 비용은 변경될 수 있지만 제시된 사례들은 공개된 AI 기술, 그리고 난이도를 고려한 인력 할당 및 공개된 인건비를 적용함으로써 최대한의 일반성을 얻는데 초점을 맞추었다.
5. 결론 및 향후연구
5.1 결론
지금까지 JCA 체계를 중심으로 AI 요구사항들로부터 발생할 수 있는 중복을 최적화 시키기 위한 AI 능력의 역할 개념모델을 제시하였다. 제시한 예시 사례들을 통해 효과성을 분석한 결과 본 연구에서 제시한 개념모델은 미래의 국방 AI의 도입 시 발생할 수 있는 데이터와 AI 기술의 중복을 효과적으로 식별하고최적화 시킬 수 있음을 확인하였다.
비록 우리군이 JCA 체계를 완전하게 채택하고 있지는 않지만 우리군도 국방 AI 소요들을 총괄할 수 있는 기능부서를 운용하게 된다면 본 연구의 개념모델을 적용할 수 있을 것이다. 또한, 현재 우리군의 소요검토 과정에서 수행중인 선행과제와의 중복성 검사 과정에도 본 연구의 개념모델을 적용할 수 있을 것이다. 문헌조사에 의하면 아직 국내/외에서 조직의 AI 도입 과정에서 데이터나 AI기술의 중복 최적화를 다루는 연구는 수행된 사례가 없다.
그러나 점차 증가할 국방 AI 소요의 전망을 고려하였을때 국방 AI의 지속적이고 효율적인 도입과 운용을 위해 데이터와 AI 기술에 대한 중복 소요를 AI 시스템(또는 모델)의 전 생명주기에서 최적화시키기 위한 연구는 반드시 필요하다.
국방 AI의 성공적인 도입과 운영을 위해서는 앞으로 많은 연구과제들이 남아있다. 아직 우리군은 국방 AI 전문인력이 부족하여 많은 AI 소요의 초점이 민간의 우수한 기술을 도입하는데 맞추어져 있다. 향후에는 군이 주도적으로 미래 운용개념을 설계하고 이로부터 필요한 AI의 요구사항들을 식별하기 위한 AI 시스템 아키텍쳐 설계 방법과 이를 현행 국방 획득체계에 접목하기 위한 방법에 대한 연구를 이어갈 예정이다.
5.2 연구의 한계
아직 우리군이 추진 중인 수많은 국방 AI사업의 결과물(데이터, 기술 등)들이 구체적으로 식별되지 않은 상태이므로 본 연구는 AI 기술에 대한 이론적 관점에서 개념적 수준으로만 접근하였다는 한계점은 존재한다. 앞으로 국방 AI사업들의 구체적인 결과물들이 더 많이 가시화되고 국방 AI의 도입을 주도할 국방AI센터가 창설되고 나면 본 연구에서 이론과 예시 사례로만 제시하였던 AI 소요의 중복을 실제의 사례들을 통해 분석할 필요가 있다.
참고문헌
- 임승혁, 안광수, "국방연구개발 예산 체계 진단과 제언", 한국과학기술기획평가원(KISTEP) 통권 제344호, (2023).
- Y. Roh, G. Heo et al, "A Survey on Data Collection for Machine Learning: A Big Data-AI Integration Perspective," IEEE Trans Knowlege & Data Engineering. 33 (2021), pp.1328-1347. https://doi.org/10.1109/TKDE.2019.2946162
- S. Amershi, A. Begel et al, "Software Engineering for Machine Learning: A Case Study," Proceedings - 2019 IEEE/ACM 41st International Conference on Software Engineering: Software Engineering in Practice, ICSE-SEIP 2019. (2019), pp.291-300.
- Chuanqi Tan, Fuchun Sun et al, "A survey on deep transfer learning." International conference on artificial neural networks, Springer, Cham, (2018), pp. 270-279.
- J.D. Rittelmeyer, K. Sandkuhl, "Effects of Artificial Intelligence on Enterprise Architectures - A Structured Literature Review," IEEE International Enterprise Distributed Object Computing Workshop, EDOCW, (2021).
- A.K. Agrawal, J.S. Gans et al, "AI Adoption and System-Wide Change,"National Bureau of Economic Research (2021).
- N. Nahar, S. Zhou et al, "Collaboration Challenges in Building ML-Enabled Systems: Communication, Documentation, Engineering, and Process,"International Conference on Software Engineering. (2022) pp. 413-425.
- J hnk, Jan et al. "Ready or not, AI comes-an interview study of organizational AI readiness factors." Business & Information Systems Engineering 63 (2021), pp. 5-20. https://doi.org/10.1007/s12599-020-00676-7
- Alvarez-Rodr guez, Zuiiga et al,"Challenges and opportunities in the integration of the Systems Engineering process and the AI/ML model lifecycle,"INCOSE International Symposium. 29 (2019), pp. 560-575.
- H. Belani, M. Vukovic et al, "Requirements engineering challenges in building ai-based complex systems,"IEEE 27th International Requirements Engineering Conference Workshops, (2019), pp. 252-255.
- 국회예산정책처, "2023년도 예산안 총괄분석 II", (2022).
- FY2023 Defense Budget Overview, US DoD, (2022); https://comptroller.defense.gov
- Federal R&D Funding, by Budget Function: Fiscal Years 2021-2023, National Center for Science and Engineering Statics, (2023)
- ARTIFICIAL INTELLIGENCE Status of Developing and Acquiring Capabilities for Weapon Systems, United States Government Accountability Office(GAO), (2022).
- Lauren C. Williams, "A recent watchdog report tallies nearly 700 projects that are mostly in the R&D phase," https://fcw.com/defense/2022/02/dods-ai-portfolio-skews-toward-research-gao-reports/362292/, 2022. 2.22., (검색일 : 2023.4.12.)
- Peter Burt, "Military AI Audit: Congress scrutinises how the US is developing its warfighting AI capabilities,"(2022).
- Mark F.Cancian, "Military Forces in FY 2021: The Budget and Strategy Overview: Four Challenges and a Wild Card", CRISIS, (2020).
- New Opportunities to Reduce Fragmentation, Overlap, and Duplication and Achieve Billions in Financial Benefits, United States Government Accountability Office, (2021).
- Travis Sharp, "JADC2 spending is sprawling. DoD should keep watch, but Let It Go,"Breakdefense, 2022. 8.20., (검색일 : '23. 5. 1.)
- 선제적 기술적용을 위한 「자전적 R&D 소요발굴체계」 하달, 해군미래혁신단, (2022).
- 방사청, "AI 기반 무기체계 획득 방안", 2023. 4.
- Joint Staff, "Charter of The Joint Requirements Oversight Council and Implementation of The Joint Capabilities Integration and Development System," Chairman of the Joint Chiefs of Staff Instruction(CJCSI) 5123.01I (2021).
- D.M. Buede, William D. Miller, The Engineering Design of Systems: Models and Methods, (2016).
- J. Schuett, "A Legal Definition of AI,"Article in SSRN Electronic Journal. (2019).
- Xibin DONG, Zhiwen YU et al, "A survey on ensemble learning," Frontiers of Computer Science 14.2, (2020), pp. 241-258. https://doi.org/10.1007/s11704-019-8208-z
- Zhang, Li Ang et al,"Air Dominance Through Machine Learning: A Preliminary Exploration of Artificial Intelligence-Assisted Mission Planning,"RAND Corporation, (2020).
- https://www.bls.gov/oes/current/oes_nat.htm
- S. Li, Y. Wang et al,"MF-SRCDNet: Multi-feature fusion super-resolution building change detection framework for multi-sensor high-resolution remote sensing imagery," International Journal of Applied Earth Observation and Geoinformation. 119, (2023).
- J. Jumper, R. Evans et al, "Highly accurate protein structure prediction with AlphaFold", Nature. 596 (2021).
- JCS J-8, "Capabilities-Based Assessment (CBA) User's Guide Version 3", (2009).