Certification Framework for Aviation Software with AI Based on Machine Learning

머신러닝 기반 AI가 적용된 항공 소프트웨어 인증체계

Abstract

Recently, the Machine Learning based Artificial Intelligence has introduced in aviation field. In most cases, safety assurance of aviation software is achieved by applying RTCA DO-178C or DO-278A or similar standards. These standards were developed for and are well-suited to software that has inherent deterministic properties and explainability. Considering the characteristics of AI software based on ML, it is not feasible to assure the integrity of those new aviation systems using traditional software assurance standards mentioned above. In this paper, we research the certification framework that is newly suggested by EASA to deal with the aviation system including ML AI functions, and discuss what should the Korean authority and related industries prepare to cope with this issue.

항공 분야에도 머신러닝 (ML; machine learning) 기반의 인공지능(AI; artificial intelligence)를 활용하는 시스템 개발이 본격적으로 시작되었다. 항공용 소프트웨어는 항공무선기술위원회(RTCA; Radio Technical Commission for Aeronautics) DO-178C 또는 DO-278A 등의 표준을 통해 안전성 보증을 하고 있으며, 이 표준들은 결정론적 특성과 설명가능성을 내재한 소프트웨어를 대상으로 개발되었고 잘 적용된다. 반면 ML 기반 AI는 그 특성을 고려할 때, 이러한 기존 소프트웨어 인증 표준 적용만으로는 그 신뢰성을 제대로 보증하기 어렵다. 본 논문에서는 유럽항공안전청(EASA; european union aviation safety agency)이 이에 대응하기 위해 제시하는 새로운 인증 방법론에 대해 알아보고, AI가 적용된 항공 소프트웨어 인증을 위해 국내 규제당국과 산업계가 어떤 준비를 해야 하는지 논의한다.

Ⅰ. 서론

현재 세상에서 운영되는 많은 시스템과 장비들은 그 주요 역할을 소프트웨어가 담당하고 있으며, 그 비율은 지속적으로 증가하고 있다. 항공, 자동차, 철도 등 교통 분야도 마찬가지이나, 한가지 차이가 있다면 안전이 매우 중요시되는 분야이므로 관련 소프트웨어에 대한 안전성 인증 역시 소프트웨어 기술개발과 병행하여 발전해나가고 있다는 점이다.

현행 항공 시스템에서도 소프트웨어가 주요 기능을 담당하기 시작한지 상당한 시간이 흘렀고, 관련 인증 절차에서 소프트웨어의 안전성과 신뢰성을 보증하기 위해 RTCA DO-178C를 비롯한 표준이 널리 적용되고 있다[1].

최근 일반 산업 분야에서는 2000년대 인터넷의 대중적 보급과 2010년대 모바일 기기의 확산을 통해 수집된 빅데이터를 기반으로 기계학습 기반의 인공지능 소프트웨어가 급속히 도입되고 있다. 2016년 알파고나 최근 Chat-GPT 사례에서 볼 수 있듯이, 비정형데이터 및 빅데이터를 다루는 문제에서 기존 규칙 기반 소프트웨어 대비 확실한 성능 우위를 보여, 항공 분야에서도 기계학습 기반 인공지능의 도입이 준비 중이다. 예를 들어, 디지털 관제시스템, 스마트 항공보안검색장비, 드론 기반 정비 영상 판독 등이 현재 우리나라에서 진행 중이거나 진행을 계획하고 있는 사례이다.

본 논문에서는 항공용 소프트웨어에 기계학습 기반 인공지능이 적용될 경우, 기존의 안전성 인증 표준 및 절차가 그대로 적용가능한지, 이에 대한 해외 규제당국의 최신연구 현황이 무엇인지 살펴보고 국내 항공 소프트웨어 인증 프레임워크의 나아갈 방향에 대해 논의한다.

Ⅱ. 기존 항공 S/W 인증

기존 항공 소프트웨어 인증은 RTCA DO-178C와 DO-278A 표준이 대표적이며 그림 1과 같은 관계가 있다[2]. 각각 항공기와 항행시스템에 대한 소프트웨어 안전성/신뢰성 표준으로서 각 인증당국이 수락가능한 입증방법 (AMoC; acceptable means of compliance)로서 식별하고 있다[3]-[6]. 해당 표준들은 기본적으로 소프트웨어 공학을 기반으로 하나, 안전성 요구사항이나 보증등급, 인증당국과의 협력체계 등을 추가하여 항공 분야 표준으로서 특성을 가진다. DO-278A의 경우, 항행시스템에 조금 더 특화하여 상용품(COTS; commercial off the shelf )에 대한 신뢰성 보증요건을 강화하였다.

그림 1. 소프트웨어 표준

Fig. 1. Software standards.

이 표준들은 인증 신청자가 소프트웨어 개발 과정에서 준수해야 할 목표사항을 서술하며, 해당 목표사항들은 소프트웨어의 개발보증등급에 따라 적용범위가 달라진다. 개발보증등급에 따른 각 목표사항 적용여부와 관련 산출물은 각 표준에서 그림 2와 같이 요약하여 제시된다.

그림 2. DO-278A 목표사항 요약 표

Fig. 2. Objective table of DO-278A.

표준의 목표사항들은 소프트웨어 개발 생명주기에 따라 다양한 요구를 하고 있지만, 종합적으로 이해해보면 결국 안전성 및 신뢰성 보증을 위해 그림 3과 같이 크게 3가지 특성을 확인하게 된다. 첫 번째, 상위요구사항-하위요구사항-설계-코드-실행파일-검증활동으로 이어지는 추적성이다. 상위에서 요구되는 사항을 달성하기 위해서 빠짐없이 하위 요구사항을 상세 할당하고, 그에 대한 설계와 코드 구현과 실행파일을 합치시키고, 다시 요구사항 만족여부를 확인하는 절차를 진행하는 동안 추적성 정보를 잘 유지한다면, 누락되는 부분이나 과잉되는 부분 없이 적절한 개발이 이루어졌음을 확인할 수 있다는 개념이다.

그림 3. 소프트웨어 표준 특성

Fig. 3. Features of software standards.

두 번째, 정확한 문서화를 통해 최초 개발자와 다른 사람이나 다른 조직이 재현 가능해야 한다는 재현가능성이다. 정확한 문서화를 통해 개발의 의도와 방향성을 명확히 하고, 추후 오류 발견 및 관련 분석과 수정을 용이하게 할 수 있는 중요한 특성이다. 정확한 문서화를 통해 다른 사람이나 조직은 물론이고, 기존 담당자 역시 기억의 오류나 희석에 의한 문제점을 방지할 수 있다.

세 번째, 같은 입력에 대해 같은 출력을 산출할 것이라는 결정론적 특성이다. 소프트웨어는 상위 수준에서 볼 때 비결정론적으로 보이는 경우가 많으나, 하위 요구사항 수준에서 입력 데이터와 정의된 함수를 생각하면 결국 결정론적인 특성을 가진다. 커버리지 테스트를 하는 경우, 이러한 결정론적 특성을 기반으로 한다.

Ⅲ. ML 기반 AI 특성

인공지능이라는 용어가 등장한지는 매우 오래되었고, 20세기 중후반에 전문가 시스템과 같은 인공지능 적용분야가 확산하기도 했다. 그러나 이 당시의 인공지능은 결국 정교하게 설계된 규칙을 기반으로 명시적인 소프트웨어 코딩을 통해 구현된 프로그램이었고, 신뢰성 보증 관점에서는 일반적인 소프트웨어와 다를 바가 없다.

21세기에 인터넷과 모바일 기기의 대중적 보급을 통해 빅데이터가 생성되기 시작했고, 특히 이미지와 음성 같은 비정형성이 높은 데이터가 급증했다. 산업계에서는 기존의 규칙 기반 소프트웨어가 빅데이터를 효율적으로 처리하기에 부족함을 절감하고 기계학습 특히, 딥러닝 알고리즘을 적극적으로 도입하기 시작했다. 2016년 구글의 알파고가 등장하면서 일반대중에게 학습을 통한 인공지능의 강력함이 인지되었고, 최근 Chat-GPT를 통해 다시 한번 새로운 패러다임을 맞이하고 있다.

다만, 이러한 기계학습 기반 인공지능은 다음과 같은 특성을 가지기 때문에 기존의 전통적인 규칙 기반 소프트웨어에 적용해왔던 인증 표준을 제대로 적용할 수 없어 신뢰성 보증 측면에서 새로운 고민거리를 안겨주게 된다.

첫 번째, 학습을 통해 결정되는 모델 내부 파라미터 또는 가중치는 대부분 개발자가 이해하거나 추적할 수 없는 형태이다. 입력(독립변수)과 출력(종속변수) 간 관계를 설명하고 의미를 찾는데 목적이 있는 통계학과 달리, 기계학습은 최종 결과 추론 능력을 극대화하는데 초점이 맞춰지므로 학습 알고리즘이 스스로 독립변수를 선별하는 경우가 많아 개발자가 모두 이해하거나 추적하기가 매우 어렵다. 이는 기존 소프트웨어 인증 표준에서 요구하는 추적성에 대한 충분한 설명을 어렵게 한다.

두 번째, 학습과정을 조절하는 초매개변수 및 난수초기값이 모델의 최종 성능에 영향을 미친다는 점이다. 이러한 파라미터들은 기본적으로 물리적 의미를 가지지 않는 값이며 개발 도구나 알고리즘에 따라 개발자와 무관하게 내부적으로 지정되는 경우도 있어, 추적성과 재현가능성을 저하하는 주요인이 된다.

세 번째, 입력데이터의 비정형성이 높고 도메인이 매우 넓어 학습의 완전성이나 테스트의 완전성을 확인하기 어렵다. 최적의 성능을 위한 학습 데이터의 수집 범위와 샘플링에 대해 별도의 검토가 필요하며, 소프트웨어 테스트 단계에서 경계값 분석 등의 전통적 방식이 적용 불가하게 된다.

네 번째, 개발자의 명시적인 소프트웨어 수정이 없더라도 재학습을 통해 모델의 동작방식 및 성능이 달라진다는 점이다. 이는 새로운 버전의 소프트웨어가 되는 것과 유사한 상황으로 최초 인증에 대한 유효성 문제를 가져오게 된다. 미국과 유럽 역시, 이 부분을 매우 까다로운 문제로 인식하고 인공지능 신뢰성 인증에 대한 프레임워크 연구 중에서도 추후에 검토할 사항으로 미뤄두고 있다.

Ⅳ. ML 기반 AI 인증 해외 현황

미국의 경우, 기본적으로 항공인증당국인 연방항공청 (FAA; Federal Aviation Administration)와 미항공우주청 (NASA; National Aeronautics and Space Administration)이 협력하고 관련 산업계 및 연구소의 지원을 받아 인공지능 신뢰성 인증에 대응하고 있다[7]. 기계학습 기반 인공지능의 특성과 현행 소프트웨어 인증 표준 간의 격차 분석을 바탕으로 관련 연구를 위한 계획을 수립하였고, 기계학습 기반 인공지능 적용 항공시스템 인증을 위한 새로운 프레임워크를 최종적으로 산출할 예정이다. 유럽의 경우, 항공인증당국인 EASA이 주관하고 관련 산업계 및 연구소의 지원을 받아 AI 로드맵을 발표하였다[8]. 해당 로드맵은 인증뿐 아니라 항공 분야에 AI가 도입됨에 따라 영향을 받는 측면을 종합적으로 분석하고 그림 4와 같이 시계열에 따른 EASA의 계획까지 정리하고 있다. 해당 로드맵을 수립하기 위해 산출되었거나 로드맵에 따라 발간된 자료들도 부분적으로 외부에 공개되고 있으며, 소프트웨어 개발자 및 인증담당자가 이해하기 쉽게 기존 표준과 유사한 objective 설정 방식 및 표 1과 같은 레벨 구분 등으로 인증 프레임워크를 정리해나가고 있다[9]-[11].

그림 4. EASA 인공지능 시계열 로드맵

Fig. 4. EASA AI roadmap time table.

표 1. EASA의 인공지능 등급 구분표

Table 1. AI level in EASA AI guidance.

해외 항공당국의 신규 인증 프레임워크 연구에서 공통적인 부분은 항공기보다 항행·관제시설 등의 지상기반 시스템들을 우선적으로 사례 분석하고 있다는 점이다. 지상기반 시스템은 항공기 대비 소프트웨어 비중 및 COTS 적용 비율이 높으며, 소프트웨어 실패 이후에도 관제사와 조종사의 판단과 개입을 통해 위협의 치명도를 낮추기 비교적 용이하기 때문이라 볼 수 있다.

Ⅴ. EASA Concept Paper

본 장에서는 EASA에서 발간한 자료 중 가장 AI 신뢰성 인증 개념을 잘 정리한 개념서[10]에 대해 요약한다. 개념서 도입부 및 Annex1에 제시된 내용을 보면, 해당 문서는 추후 유럽의 항공교통관리 및 항행서비스(ATM/ANS; air traffic management/air navigation services) 시스템 및 구성품에 대한 인증 규정[12]과 항공기 등에 대한 감항 인증 규정[13]의 AMoC로 채택될 예정임을 알 수 있다.

개념서에서는 기계학습 기반 인공지능이 적용된 경우에 준수해야 할 objective 117개를 제시하고 있으며, 추후 개정판에서 더 늘어날 예정이다. 그림 5는 objective를 정리한 표를 일부 발췌한 것인데, 각 objective에 대해 소프트웨어 보증 등급에 따라 적용범위가 달라지는 것을 볼 수 있으며, 이는 기존 소프트웨어 신뢰성 표준과 동일하다. 검정색 원을 통해 독립성을 추가로 요구하는 부분 역시 기존 표준들과 동일하게 구성된다.

그림 5. 보증등급에 따른 목표사항 적용 구분 예시

Fig. 5. Objective table upon assurance level.

기존 표준과 다른 점은 그림 6과 같이 각 objective에 대한 적용범위 여부를 배경색으로 추가 지정한다는 점이다. 배경색 차이에 따른 적용범위 구분은 그림 7과 같이 제시되는ㄴ데, 앞서 표 1에 분류된 것 중 Level 3 인공지능에 대해서는 적용여부 자체가 제시되어 있지 않다. 이는 현행 개념서가 아직 Level 3까지 다루고 있지 못하기 때문이며, 추후 개정판에서 제시될 예정이다. 또한, 소프트웨어 보증 등급 1~3에 대해서는 현재 제시된 objective 적용성이 경우에 따라 적절치 않을 수 있다는 점도 명시되고 있다. 이와 같은 구성을 감안하면, 기계학습 인공지능이 적용된 소프트웨어의 보증 등급과 인공지능 레벨 산출이 초기에 이루어져야 함을 알 수 있으며, 이 부분 역시 표 2와 같이 objective로서 지정되어 있다.

그림 6. 인공지능 등급에 따른 목표사항 적용 구분 예시

Fig. 6. Objective table upon AI level.

그림 7. 인공지능 등급에 따른 적용성 차이 기준

Fig. 7. Applicability by AI level.

표 2. 인공지능 신뢰성 보증 초기 단계 목표사항

Table. 2. Objectives in initial phase.

개념서에 제시된 수많은 objective를 본 논문에서 모두 다룰 수는 없으나, 최종 성능 평가와 관련된 objective를 대표적으로 살펴보자면 그림 8과 같다. 여기서 학습된 모델이란 개발환경에서 학습용 데이터셋으로 학습 완료된 모델을 의미하고, 추론 모델이란 학습된 모델을 실제 운용에 사용할 타겟 하드웨어 상에 실제 구현 완료한 모델을 의미한다. 성능지표는 적용된 학습 알고리즘이 무엇인지, 적용되는 애플리케이션의 도메인 특성이나 기능 목적이 무엇인지 등에 따라 달라지는데, 대표적으로 Accuracy, Precision, F1-score, R2-score, Mean Square Error(MSE), Mean Absolute Error(MAE), Confusion Matrix, Intersection over Union(IoU) 등이 있다.

그림 8. 인공지능 성능측정 목표사항 관계도

Fig. 8. Objectives for performance measurement.

EASA 개념서에서는 몇 가지 유스케이스도 제공하는데, 시각적 착륙 안내 시스템의 경우 성능 지표로서 F1-score와 IoU 등을 예시로 보여주고 있다.

Ⅵ. 결론

앞서 서론에서 서술한 바와 같이 우리나라도 기계학습 기반 인공지능을 항공 시스템에 도입 준비하는 단계에 와 있다. 그러나 이에 대비한 기존 인증 표준 적용 가능성이나 신규 프레임워크에 대한 연구는 전혀 이루어지지 않고 있다. 아직까지 항공 분야 주요 의사결정권자들이 기계, 화학, 전자를 지식 기반으로 하고 있어 최신 소프트웨어 및 인공지능 기술에 대한 관심도와 이해도가 상대적으로 낮기 때문으로 추정된다. 이는 최근 화두가 되는 도심항공교통(UAM; urban air mobility) 산업 준비를 위한 powered-lift 형태의 신규 기체 인증, 이산화탄소 저감을 위한 수소연료 엔진 인증 등을 준비하는데 많은 관심과 지원이 집중되는 것과 대비해보면 알 수 있다.

기계학습 기반 인공지능의 안전한 항공 분야 적용을 위해, 우리 항공 규제당국은 4단계에 걸친 준비를 할 필요가 있다. 첫 번째, 해외 항공당국의 정책과 국내 타 부처의 AI 안전성 대응 방향, 규정 등을 시급히 분석해야 한다. 두 번째, 분석된 기초정보들을 바탕으로 최소한의 안전 보증을 할 수 있는 임시 인증프레임워크 또는 지침서를 공시하여 산업계가 미리 대응할 수 있도록 해야 한다. 세 번째, 관련 산업계 및 연구기관들과 협력하여 새로운 인공지능 기술에 대한 적절한 항공 인증 프레임워크를 본격적으로 연구·수립해야 한다. 마지막으로, 적절한 시점까지 공식적인 규정 제·개정을 시행해야 한다.

일반적으로 규제는 산업발전을 가로막는 것으로 여겨지기도 하지만, 신기술 분야는 ‘규제가 없는 것이 가장 큰 규제’라는 말도 적용된다. 산업계는 항상 효율성과 경제성을 우선하여 진화하므로 저 멀리 앞서가는데, 제도와 인증은 보수적이고 경직된 특성으로 인해 뒤처지고 있어, 적절한 시점에 적절한 규제 기준이 없는 것이 오히려 더 큰 규제가 되는 역설적 상황이 벌어질 우려가 있다. IT기술 강국으로서 항공 분야에 또 다른 경쟁력 확보를 위해서라도 기계학습 기반 인공지능 인증프레임워크는 시급히 준비되어야 할 것이다.