금융권 AI 시스템 위협 식별: MITRE ATLAS 기반 시나리오 매핑 및 기술적·관리적 통제 방안

Identifying Threats to AI Systems in the Financial Sector: MITRE ATLAS-Based Scenario Mapping and Technical and Managerial Controls

Abstract

본 연구는 MITRE ATLAS 프레임워크를 활용하여 금융권 AI 시스템에 특화된 위협을 식별하고, 이에 대응하는 기술적·관리적 통제 방안을 제시한다. 금융 AI는 실물 자산과 직결된 데이터를 처리하고 다층적 규제 의무를 부담하며 시스템 리스크 전파 가능성을 내포한다는 점에서 범용 AI와 차별화된 위협 특성을 지닌다. 본 논문은 금융권 AI를 대화형, 분석·예측형, 업무 효율화형, 보안·컴플라이언스형의 4가지 유형으로 분류하고, 챗봇·이상거래탐지·내부 지원형 AI 등 대표 시나리오를 선정하여 공격자 관점의 TTP(Tactics, Techniques, and Procedures) 기반 위협 시나리오를 구성한 뒤 ATLAS 전술·기법에 매핑하였다. 이를 토대로 데이터·모델·아키텍처·공급망을 포괄하는 기술적 통제와 AI 거버넌스·검증·인적 통제를 포함하는 관리적 통제를 제안하고, 금융 영향도 기반 리스크 우선순위와 단계적 도입 로드맵을 함께 제시하였다. 제안 방안의 타당성은 선행 연구·사례 비교 및 규제 정합성 검증과 더불어, 시뮬레이션 기반 모의공격 실험을 통해 정량적으로 확인하였다.

This study leverages the MITRE ATLAS framework to identify threats unique to financial AI-characterized by real asset linkage, regulatory constraints, and systemic risks-and proposes corresponding technical and managerial controls. By classifying financial AI into four types (conversational, analytical/predictive, operational efficiency, and security/compliance) and mapping attacker TTPs to specific scenarios, the research develops a risk-prioritized control strategy. The proposed framework is validated through simulation-based adversarial experiments and alignment with existing regulations.

I. 서론

금융 산업 전반에서 AI는 자동화와 효율화를 촉진하고 있으나[1, 2], ‘실물 자산’ 및 ‘신용’과 직결되는 도메인 특성상 새로운 보안 위협을 동반한다[3, 25]. 일반적인 AI 위협이 서비스 품질이나 윤리 문제에 집중된다면, 금융 AI에 대한 공격은 이상거래탐지를 회피하여 불법 자금을 이체하거나 신용평가 모델을 기만하여 부당 이득을 취하는 등 명확한 ‘금전적 이득’을 목적으로 한다는 점에서 차별화된다[2, 7].

금융안정위원회(Financial Stability Board, FSB)는 AI가 효율성을 높일 수 있으나, 이러한 특수성이 금융 시스템의 안정성을 저해할 수 있음을 경고하며, 다층적 규제 환경과 기초 모델 공유로 인한 리스크의 시스템적 전파 위험을 지적한다[3, 25]. 최근 LLM과 생성형 AI의 확산은 딥페이크 금융 사기부터 프롬프트 인젝션까지 공격의 진입 장벽을 낮추고 있으나[4-10], 현행 보안 대응은 컴플라이언스 중심의 통제에 머물러 있고, 공격자 TTP 기반으로 통제 효과를 검증·최적화하는 성숙도는 기관·서비스별 편차가 크다[11-15]. 특히 AI가 계좌 조회 및 자금 이체 등 실질적 업무를 수행하는 에이전트로 진화함에 따라, 전통적 보안과 AI 특화 위협을 포괄하는 방어 전략이 요구된다[16].

이에 본 연구는 MITRE ATLAS 프레임워크를 활용하여 금융권 AI 시스템을 4가지 유형(대화형, 분석·예측형, 업무 효율화형, 보안·컴플라이언스형)으로 분류하고, 공격 표면과 TTP를 구조적으로 분석한다. 이를 위해 각 유형별 대표 사례에 대한 공격 시나리오를 설계하여 ATLAS TTP에 매핑하고, 금융 환경에 최적화된 기술적·관리적 통제 방안을 제안한다. 특히 챗봇 시나리오를 대상으로 오픈소스 LLM 및 가상 금융 데이터셋을 활용한 모의 실험을 수행하여, 공격 시나리오의 실현 가능성과 제안된 통제 방안의 효과를 실증적으로 검증한다. 본 논문의 구성은 제2장(현황·선행연구), 제3장(방법론), 제4장(시나리오·매핑), 제5장(통제 방안 및 검증), 제6장(결론) 순으로 제시한다.

II. 배경 지식 및 관련 연구

2.1 금융권 AI 기술 현황

본 연구는 4장의 위협 식별을 위해 금융권 AI 시스템을 대화형, 분석·예측형, 업무 효율화형, 보안·컴플라이언스형의 네 가지 유형으로 분류한다. 이 분류는 유형별로 상이한 공격 표면과 보호 자산을 명확히 하여, 후속 장에서 ATLAS 기반 시나리오 위협을 식별하는 기준으로 활용된다.

최근 금융권은 생성형 AI를 업무 절차에 직접 결합하는 추세로, 국내는 SaaS 및 온프레미스 환경에서 Retrieval-Augmented Generation(RAG) 및 에이전트 적용을 확대하고[1, 17], 해외는 자율적 에이전틱 AI 확산과 규제 대응을 위한 거버넌스 정비를 병행하고 있다[19, 25].

대화형 AI는 국내에서는 생성형 AI 기반 상담 및 복합 질의 대응[1, 18], 해외에서는 대규모 고객 응대 및 직원용 코파일럿(Copilot)을 통한 지식 보조 장치로 구체화 된다[16, 20-24, 26-28]. 분석·예측형 AI는 국내에서는 뉴스·공시 요약, 감성 분석과 로보어드바이저 기반 운용과 대안 신용평가 등 데이터 기반 의사결정 고도화로 연결되고 있다[1, 18]. 해외는 자동 리밸런싱, XAI 기반 대출 심사, 거시지표 연동 리스크 관리 등의 기술로 고도화되고 있다[22-23, 33].

업무 효율화형 AI는 국내에서는 규정 RAG, SQL 생성, OCR 문서 분류 등으로 구현되며[18], 해외에서는 지식 노동 자동화 도구 확산과 AI와 사람의 검수가 결합된 개발 모델이 관찰된다[26-28]. 보안·컴플라이언스형 AI는 국내에서는 머신러닝 기반 이상거래탐지를 중심으로 발전하고, XAI 적용을 통해 탐지 근거 제시와 오탐 관리를 강화하는 방향으로 확장되고 있다[18]. 해외에서는 이상거래탐지 및 자금세탁방지에 AI 적용이 확대되며 탐지 성능 개선이 추구[29, 30-32]되는 한편, 금융안정위원회는 이에 따른 제3자 리스크와 공격 표면 확대를 경고한다[3].

2.2 MITRE ATLAS 프레임워크

2021년 공개된 MITRE ATLAS(Adversarial Threat Landscape for Artificial-Intelligence Systems)는 실제 공격 사례 기반의 AI 위협 지식 베이스로[34], ATT&CK를 모태로 하되 AI 모델·데이터 등 고유 자산을 중심으로 매트릭스를 구성하였다. 최신 v5.1.1은 생성형 AI와 LLM 확산을 반영하여 총 16개 전술과 약 140개 기법을 정의하며, 전통적 IT와 AI 고유 위협의 통합적 해석 기반을 제공한다[35].

이는 단순 취약점 목록을 넘어 공격자 관점의 위협 흐름을 식별하는 도구로서, 실제 사고를 TTP와 연결한 Case Studies[37]는 금융권 등 고위험 환경의 AI 보안 거버넌스 및 방어 전략 수립에 핵심 참조 모델로 활용될 수 있다.

2.3 관련 연구 및 사례

2.3.1 AI 보안 위협 및 ATLAS 프레임워크 연구

선행 연구들은 AI 위협을 ‘공격 대상’이자 ‘공격 수단’으로 확장하고, MITRE ATLAS를 통해 이를 구조화하여 통제 설계로 연결하는 데 집중하였다.

Carroll[36]은 핵심 인프라 리스크를 ATLAS TTP와 결합한 평가 절차를, Kaloudi·Li[38]와 Singh 등[39]은 AI를 공격 도구로 활용하는 관점까지 포함하여 ATLAS 기반의 위협 기반 방어(Threat-Informed Defense) 접근법을 제시하였다.

AI 라이프사이클 및 운영 관점에서는 Hu 등[10]이 데이터·파이프라인 전반의 연쇄적 위협 식별을, 최정완[40]이 모델 유출 방지와 내부자 통제를 위한 사이버 킬 체인 적용을 강조하였다. 나아가 Schmitt·Koutroumpis[8]와 이주영·이태진[9]은 생성형 AI가 피싱·악성코드 등 기존 위협을 증폭시키고 공격·방어의 자동화를 가속화하는 ‘AI 대 AI’ 구도를 형성함을 시사하였다.

구체적 공격 기법에 대한 실증 연구도 수행되었다. Greshake 등[6]은 외부 데이터를 참조하는 과정에서 발생하는 간접 프롬프트 인젝션(Indirect Prompt Injection)이 시스템 권한 탈취로 이어짐을 규명하였으며, Cartella 등[7]은 정형 데이터의 미세한 조작만으로 금융 사기 탐지 모델을 우회하는 적대적 예제(Adversarial Examples)의 취약성을 입증하여 금융권 AI 모델에 대한 실질적 위협을 경고하였다.

2.3.2 산업계 사례

산업계 사례는 AI가 공격 효율을 높이는 도구이자 공격의 직접적인 표적이 되는 양면성을 보여준다.

공격 도구 측면에서 위협 그룹은 LLM을 정찰 및 스크립트 작성에 활용하고 있으며[41], 특히 2025년 중국계 조직(GTG-1002)은 AI 에이전트로 해킹 절차의 80~90%를 자율 수행하며 공격 주체로 진화하였다[42].

반면 표적 측면에서는 Microsoft Tay의 데이터 중독 사례가 서비스 중단 및 평판 리스크를[43], PyTorch-nightly 사태가 프레임워크 공급망 오염을 통한 정보 유출 위험을 경고하였다[44]. 또한 MathGPT 사례는 프롬프트 인젝션이 시스템 정보 탈취나 오작동으로 이어질 수 있음을 시사한다[45]. 종합하면 금융권 AI는 이러한 이중 위협에 노출되어 있어, 본 연구의 ATLAS 기반 위협 식별 및 통제 설계의 필요성과 실증적 근거를 제공한다.

2.4 기존 연구의 한계점 및 본 연구의 차별성

앞서 관련 연구는 주로 인프라 전반의 리스크 평가나 특정 공격 기법의 실증에 집중되어 왔다. 특히 개별 기술적 취약점 연구는 활발하나, 이를 금융권을 대상으로 하는 시나리오와 연계하여 정찰부터 영향에 이르는 전체 공격 흐름으로 구체화한 연구는 부족한 실정이다. 본 논문에서는 금융권 AI 시스템을 4가지 유형으로 세분화하여, 각 운영 목적과 데이터 특성에 최적화된 위협을 식별한다. 이러한 식별된 위협을 MITRE ATLAS 프레임워크와 매핑하여 공격자 관점의 TTP 기반 시나리오를 수립함으로써, 금융 현장에 적용할 수 있는 실질적인 기술적·관리적 통제 방안을 제시한다.

III. 연구 방법론

3.1 연구절차 개요

본 논문은 금융권 AI 시스템의 보안 위협을 식별하고 대응 방안을 도출하기 위해 환경 분석, 시나리오 기반 위협 식별, 통제 도출의 3단계 절차를 수행한다. 먼저 문헌 및 최신 보고서를 분석하여 연구의 기반을 마련하고, 제2장 2.1절에서 정의한 네 가지 AI 유형(대화형, 분석·예측형, 업무 효율화형, 보안·컴플라이언스형)을 분석 단위로 설정한다. 각 유형별 데이터 처리 특성과 적용 기술(예: LLM, RAG)을 고려하여 API, 학습·재학습 데이터 경로, RAG 인덱싱 등 공격 표면과 보호 자산을 식별하고, 공격자가 악용 가능한 경로를 구체화한다. 다음으로 식별된 공격 표면을 바탕으로 공격자 관점의 위협 시나리오를 설계하고 MITRE ATLAS TTP에 매핑한다. 마지막으로 ATLAS 완화 방안을 토대로 기술적·관리적 통제 방안을 도출한다.

3.2 시나리오 기반 위협 식별 절차

MITRE ATLAS 접근을 차용해 공격 흐름을 단계적으로 구성한다. 시나리오의 현실성은 제2장 2.3절의 선행 사례와 ATLAS Case Studies를 근거로 확보하며, 각 AI 유형에서 목표 달성에 필요한 행위를 인과관계에 따라 연결하여 위협을 분석한다.

3.3 MITRE ATLAS TTP 매핑 및 통제 도출 절차

도출된 시나리오의 각 단계별 행위는 MITRE ATLAS 전술·기법에 매핑하여 표준화한다. 매핑은 기법 정의와 실제 행위 간 의미적 정합성을 우선으로 하되, 금융 환경에서의 적용 변형 가능성을 함께 검토한다. 통제 방안은 ATLAS의 완화 방안을 1차적으로 검토한 후, 금융권 운영 현실에 맞춰 적용이 가능한 수준의 기술적·관리적 통제로 구체화하여 제시한다.

3.4 평가 방법 및 타당성 검증

본 연구는 정성적 분석과 정량적 모의실험을 병행하여 제안 방안의 타당성을 검증하였다.

정성적 검증에서는 시나리오 및 TTP 매핑이 주요 위협을 포괄하는지 점검하고, 금융권 보안 수준에 부합하는지 대조하여 적용 가능성을 확인하였다.

정량적 검증은 운영 중인 실제 금융 챗봇에 대한 공격 실험이 불가한 현실적 제약을 고려하여 시뮬레이션 환경에서 수행하였다. 실험 모델로는 자체적인 가드레일이 강력한 상용 모델보다, 통제 방안 적용 전후의 차단 효과를 명확히 비교할 수 있도록 상대적으로 가드레일이 약한 오픈소스 LLM(Qwen3 8B)을 채택하였다.

실험은 MITRE ATLAS 기반 4대 공격 기법(인젝션, 탈옥 등)의 프롬프트 400건을 사용하여, 통제 미적용(Phase 1)과 ATLAS 기반 통제 적용(Phase 2) 상태의 성공률을 비교 분석하였다. 평가는 공격 성공률, 데이터 유출률, 차단 단계별 분포 등을 지표로 삼았으며, 이를 통해 제안한 통제 메커니즘의 실효성을 정량적으로 입증하였다.

IV. MITRE ATLAS 기반 AI 보안 위협 식별

4.1 금융 도메인 특수성 및 리스크 기반 위협 우선순위

서론에서 논의한 금융 AI의 도메인 특수성을 반영하여 객관적인 위협 우선순위를 도출하기 위해, NIST SP 800-30 Rev.1[46]과 OWASP Risk Rating Methodology[47]를 기반으로 ‘금융 AI 리스크 스코어링(Financial AI Risk Scoring, FARS)’을 수행하였다.

4.1.1 평가 기준 및 방법

일반적으로 리스크는 위협 사건의 발생 가능성(Likelihood)과 발생 시 영향(Impact)의 함수로 정의된다. 본 연구에서는 이를 금융 환경에 최적화하기 위해 다음과 같이 평가 척도를 재정의하였다.

영향도를 기존의 기밀성·무결성·가용성 중심 평가를 넘어, 금융 시스템의 핵심 리스크 요인을 반영하여 금전적 손실(Financial), 규제 위반(Regulatory), 평판 훼손(Reputational)의 3대 축으로 재정의하여 구체화했다. 각 항목 중 가장 치명적인 영향을 미치는 요소를 최종 영향도 점수(1~5점)로 산정한다.

발생 가능성을 NIST AI RMF[48]에서 제시하는 AI 공격의 기술적 복잡도와 공격 도구의 가용성, 그리고 금융권의 망분리 환경 특성을 고려하여 5단계 척도로 재정의하여 적용하였다. 점수가 높을수록 공격 실행의 용이성이 높음을 의미한다. 이에 따른 리스크 산정 공식은 식(1)과 같다.

S = max(I_fin,I_reg,I_rep) x L       (1)

여기서 S는 리스크 스코어(Risk Score), L은 발생 가능성(Likelihood)을 의미하며, I_fin,I_reg,I_rep,은 각각 금전적(Financial), 규제적(Regulatory), 평판적(Reputational) 영향도를 나타낸다. 최종 영향도는 이 세 가지 요소 중 최댓값(max)을 적용한다. 평가 기준은 Table 1.과 같이 정의되며, 각 점수는 1점(Negligible)부터 5점(Critical)까지의 척도를 따른다.

Table 1. Evaluation Criteria for Financial AI Risk Scoring (FARS)

Note. FARS was adapted from NIST SP 800-30 Rev.1, OWASP Risk Rating Methodology, and NIST AI RMF for the financial AI context. The final impact score equals the maximum of Financial, Regulatory, and Reputational impact. Likelihood reflects attack feasibility considering tool availability, required expertise, and the need for insider access or special conditions. Scores were assigned by the author using the above criteria.

4.1.2 위협 우선순위 도출

위 기준을 바탕으로 금융권 AI의 주요 위협을 평가한 결과는 Table 2.와 같다. 평가 시 동일 기법이라도 대상 시스템에 따라 영향도와 발생 가능성이 달라질 수 있으므로, 각 위협은 가장 높은 영향을 받는 시나리오를 기준으로 점수를 산정하되, 산정 근거(Rationale)에 시나리오별 차이를 명시하였다.

Table 2. Prioritization of AI Threats based on FARS

평가 결과, ‘방어 회피(Defense Evasion)’ 전술에 속하는 모델 회피 공격(Rank 1)이 가장 높은 리스크 점수(20점)를 기록하였다. 이는 금융권 보안의 최우선 순위가 FDS 탐지 우회 방지를 통한 직접적인 자금 탈취 예방에 있음을 시사한다.

이어 모델 추출(Rank 2)과 LLM 탈옥(Rank 3)이 동일한 15점으로 평가되었으나, 두 위협의 리스크 속성은 분명한 차이를 보인다. 모델 추출은 발생 빈도는 낮으나 핵심 자산 유출이라는 치명적 영향을 갖는 반면, 탈옥은 진입 장벽이 낮아 빈번하게 발생하지만 현재 국내 AI 챗봇 기술 현황상 직접적 금전 손실보다는 평판 피해에 집중된다. 따라서 이에 대한 통제 전략 또한 자산 보호와 입력 통제로 차별화되어야 한다.

AI 서비스 거부(Rank 4)는 대상 시스템의 가용성 요구사항에 따라 리스크 점수(12~16점)의 변동폭이 가장 큰 위협이다. 챗봇과 달리 실시간 탐지가 필수적인 FDS의 경우, 서비스 중단이 곧 보안 공백으로 이어지므로 고위험군으로 상향 평가될 수 있다.

한편, ‘자원 개발’ 및 ‘지속성’ 전술에 속하는 데이터 중독(Rank 5)은 금융권의 망분리 특성상 외부에서의 접근 및 실행 가능성이 낮아 상대적으로 후순위로 평가되었다. 그러나 성공 시 모델 내부에 백도어를 형성하여 지속적인 악용이 가능하고 무결성을 근본적으로 훼손하므로, 공급망 보안 관점의 장기적 모니터링이 요구된다.

이상의 FARS 기반 우선순위는 제5장 통제 방안의 리스크 기반 적용 지침 수립의 근거로 활용된다. 단, 리스크 점수는 개별 기관의 AI 시스템 유형, 대외 노출 범위, 운영 맥락에 따라 조정될 수 있으므로, 실제 도입 시에는 기관별 환경에 최적화된 재평가 수행을 권고한다.

4.2 유형별 AI 위협 식별

4.2.1 대화형 AI(Interactive AI)의 공격 대상과 위협

대화형 AI의 공격 표면은 사용자 입력 프롬프트, 시스템 정책 프롬프트, 그리고 지식 정보를 관리하는 RAG 인덱스(벡터 DB)로 요약된다. 본 절은 이들 접점을 통한 위협을 MITRE ATLAS 프레임워크에 대입하여 다음과 같이 구체화한다.

우선 실행(Execution) 단계에서 공격자는 LLM Prompt Injection: Direct(AML.T0051.000)를 통해 악성 명령을 직접 주입하거나, 검색 대상 문서에 숨겨진 지시문을 활용하는 LLM Prompt Injection: Indirect(AML.T0051.001) 기법으로 시스템 통제 권한을 우회하고 비의도적 동작을 유도한다.

이어지는 상호작용 과정에서 안전장치를 무력화하는 LLM Jailbreak(AML.T0054, Defense Evasion)는 내부 지침이나 민감 정보를 노출하는 LLM Data Leakage(AML.T0057, Exfiltration)로 직결된다. 아울러 복잡한 연산 프롬프트를 반복 입력하여 자원을 고갈시키는 행위는 Denial of AI Service(AML.T0029, Impact)에 해당하며, 이는 서비스 가용성을 저해하는 실질적 위협이다.

마지막으로 RAG 구조의 데이터 무결성 위협이다. 문서 전반을 오염시켜 장기간 왜곡을 유발하는 RAG Poisoning(AML.T0070, Persistence)과, 특정 거짓 정보를 삽입하여 검색 결과를 조작하는 False RAG Entry Injection(AML.T0071, Defense Evasion)은 결과적으로 데이터셋의 신뢰성을 저하시키는 Erode Dataset Integrity (AML.T0059, Impact)로 귀결된다. 이는 동일 공격이 ‘지속-회피-영향’의 관점에서 복합적인 TTP 체인을 형성함을 시사한다.

4.2.2 분석 및 예측형 AI(Analytical & Predictive AI)의 공격 대상과 위협

분석 및 예측형 AI의 공격 표면은 데이터 파이프 라인부터 MLOps 구성요소, 추론 API에 이르는 전 과정에서 식별된다.

우선 데이터 무결성 측면에서, 공격자는 Craft Adversarial Data(AML.T0043)를 통해 탐지 패턴을 우회하는 데이터를 학습셋에 주입하여 Poison Training Data(AML.T0020)를 유발할 수 있다. 이는 모델의 판단 기준을 왜곡하여 모델 성능과 신뢰성을 점진적으로 저하(Erode AI Model Integrity, AML.T0031)시키거나, 오염된 공개 데이터셋(Publish Poisoned Datasets, AML.T0019)을 통해 공급망 위협으로 확산될 수 있다.

모델 보안 측면에서는, 입력값을 미세하게 변조하여 탐지 모델을 우회하는 Evade AI Model(AML.T0015) 위협이 존재하며, 이는 규칙 기반 탐지와 달리 통계적으로 유사해 보이는 입력을 통해 학습된 모델의 맹점을 공략한다는 점에서 탐지가 어렵다. AI Model Inference API Access(AML.T0040)를 통한 반복질의는 학습 데이터 포함 여부를 추론(Infer Training Data Membership, AML.T0024.000)하거나 모델을 복제(Extract AI Model, AML.T0024.002)하는 역공학 위협으로 구체화된다.

마지막으로 시스템 가용성 측면에서, 연산 복잡도를 고의로 증가시키는 ‘스펀지 예제’[49] 공격은 Denial of AI Service(AML.T0029)에 해당한다. 이는 실시간 신용평가나 자동화된 의사결정 시스템과 같이 신속한 응답이 요구되는 환경에서 추론 지연을 유발하며, 결과적으로 서비스 타임아웃이나 비즈니스 연속성을 저해하는 운영상 리스크로 작용할 수 있다.

4.2.3 업무 효율화 및 자동화 AI(Operational Efficiency AI)의 공격 대상과 위협

업무 효율화 및 자동화 AI의 공격 표면은 내부 지식정보가 집약된 RAG 인덱스, 개발 자산이 관리되는 코드 저장소, 그리고 실제 업무 시스템과 연동되는 자동화 에이전트 워크플로우로 식별된다.

먼저 문서 기반 RAG 환경에서는 내부 정책이나 매뉴얼을 오염시켜 왜곡된 정보를 제공하는 RAG Poisoning(AML.T0070, Persistence)과 특정 항목을 조작하는 False RAG Entry Injection(AML.T0071, Defense Evasion)이 발생할 수 있으며, 이는 Erode Dataset Integrity(AML.T0059, Impact)로 귀결된다. 또한 참조 문서에 숨겨진 악성 명령을 실행하는 LLM Prompt Injection: Indirect(AML.T0051.001, Execution)는 문서 내 API 키 등을 탈취하는 RAG Credential Harvesting(AML.T0082, Credential Access)으로 확장될 수 있다.

개발 도구와 연계된 공급망 위협 또한 중요하다. 공격자가 악성 모델을 배포하는 Publish Poisoned Models(AML.T0058, Resource Development)은 도입 시점의 AI Supply Chain Compromise: Model(AML.T0010.003, Initial Access)로 연결되며, 이후 모델 가중치를 조작하여 취약한 코드를 생성하도록 유도하는 Poison AI Model(AML.T0018.000, Persistence)과 결합된다.

마지막으로 자동화 에이전트는 LLM Prompt Injection: Direct(AML.T0051.000) 및 LLM Jailbreak(AML.T0054)를 통해 안전장치를 우회하고 권한을 악용하여 비정상적 업무를 실행할 수 있다. 종합하면 이 유형은 지식 오염, 자격증명 노출, 공급망 침투, 그리고 에이전트 권한 악용이 문서·코드·워크플로우 전반에서 연쇄적으로 결합된 복합 위협으로 나타난다.

4.2.4 보안 및 컴플라이언스 AI(Security & RegTech AI)의 공격 대상과 위협

보안 및 컴플라이언스 AI의 공격 표면은 FDS/AML 데이터 파이프라인, 탐지 룰 및 모델 운영 체계, 그리고 보안 코파일럿의 추론 API로 요약된다.

우선 데이터와 피드백 루프가 표적인 경우, 공격자는 탐지 회피 패턴을 반복 주입하여 학습 데이터를 오염시키는 Poison Training Data(AML.T0020)를 수행하고, 이는 모델 성능을 저하시키는 Erode AI Model Integrity(AML.T0031)로 이어진다. 또한 거래 피처를 정교하게 조작하는 Craft Adversarial Data(AML.T0043)는 실행 단계에서 탐지 기준을 우회하는 Evade AI Model(AML.T0015)로 구체화된다.

운영 및 인터페이스 단계에서는 내부자가 탐지 로직을 무단 변경하는 Poison AI Model(AML.T0018.000) 위협이 존재하며, 보안 코파일럿에 대한 반복 질의(AI Model Inference API Access, AML.T0040)는 분석 정보를 유출하는 Exfiltration via AI Inference API(AML.T0024)로 연결된다.

마지막으로 가용성 측면의 위협은 시스템 자원 소모와 관제 업무 가중으로 나타난다. 공격자가 ‘스펀지 예제’[49]를 주입하여 이상거래탐지의 추론 시간을 지연시킬 경우, 시스템 가용성 유지를 위해 탐지 절차가 생략되는 상황이 발생할 수 있다. 또한, 임계값을 자극하는 노이즈 데이터를 대량 생성하는 행위 역시 Denial of AI Service(AML.T0029)에 해당하며, 이는 과도한 오탐으로 관제 자원을 소모시키거나 보고 처리를 지연시키는 요인이 된다.

4.3 시나리오 기반 위협 식별

4.3.1 대화형 AI 챗봇 시스템 시나리오 및 TTP

금융권 대화형 AI는 단순 상담을 넘어 계좌 이체·대출 실행 등 실물 자산을 다루고, 약관·금리 등 규제 정보에 기반한 RAG를 활용한다는 점에서 공격 표면을 갖는다. 본 시나리오는 이러한 금융 특수성을 고려하여 공격자 관점의 위협 행위를 MITRE ATLAS TTP로 매핑하고 Fig. 1.과 같이 제시한다.

Fig. 1. Attack graph for customer-facing AI chatbot

정찰 단계에서 공격자는 금융 IT 인프라 특성을 파악하기 위해 공개 기술 자료(Search Open Technical Databases, AML.T0000)와 전자금융거래 약관 및 API 구조(Search Victim-Owned Websites, AML.T0003)를 분석한다. 실제 뱅킹앱 대화를 통해 적용된 모델을 식별(Discover AI Model Family, AML.T0014)하고, RAG가 참조하는 금리표·상품 설명서 등 금융 핵심 문서를 표적화(Gather RAG-Indexed Targets, AML.T0064)하여 공격 대상을 구체화한다. 이어 자원 개발 단계에서는 금융 특화 가드레일(금지어, 윤리 필터)을 우회할 프롬프트를 설계(LLM Prompt Crafting, AML.T0065)하거나 공개된 탈옥 템플릿을 수집·변형(Obtain Capabilities, AML.T0016)하고, RAG 엔진이 정상적인 금융 서류로 오인할 악성 문서를 제작(Retrieval Content Crafting, AML.T0066)한다.

초기 접근은 정상적인 금융 소비자로 위장한 계정(Valid Accounts, AML.T0012)을 이용하며, 민원 게시판이나 증빙 서류 제출 기능 등 내부 업무망과 연동된 경로로 악성 문서를 침투(Prompt Infiltration via Public-Facing Application, AML.T0093)시킨다. 실행 단계에서는 직접 인젝션(LLM Prompt Injection: Direct, AML.T0051.000)으로 내부 통제 규정을 무력화하거나, 검색된 악성 문서가 간접 인젝션(Indirect, AML.T0051.001)을 트리거하도록 유도한다. 이 과정에서 금융 보안 필터링을 회피하기 위해 탈옥(LLM Jailbreak, AML.T0054)과 난독화(LLM Prompt Obfuscation, AML.T0068) 기법이 동원된다. 지속성을 위해 RAG 인덱스 내 금융 상품 정보를 광범위하게 오염(RAG Poisoning, AML.T0070)시키거나 금리·수수료 등 민감 수치를 미세 조작(False RAG Entry Injection, AML.T0071)하며, 이는 금융 데이터셋 신뢰도 저하(Erode Dataset Integrity, AML.T0059)로 이어진다.

마지막 유출 및 영향 단계에서는 내부 신용평가 기준이나 미공개 투자 전략 같은 민감정보가 유출(LLM Data Leakage, AML.T0057)되거나 시스템 프롬프트가 탈취(Extract LLM System Prompt, AML.T0056)될 수 있다. 특히 ‘스펀지 예제’[49]와 같은 고부하 연산 공격은 Denial of AI Service(AML.T0029)를 유발하여 시분할이 중요한 금융 거래를 마비시키며, 왜곡된 정보 제공으로 인한 불완전판매와 금전적 손실은 기관 신뢰 추락 및 규제 제재(Reputational Harm, AML.T0048.001)를 초래한다. 본 시나리오의 매핑 결과는 Table 3.에 요약된다.

Table 3. MITRE ATLAS Mapping for Customer-Facing AI Chatbot Scenario

4.3.2 AI기반 신용평가 시스템 시나리오 및 TTP

AI 기반 신용평가 시스템(Credit Scoring System, CSS)은 비금융 대안 정보를 머신러닝으로 분석하여 정밀한 의사결정을 지원하나, 외부 데이터 의존성과 블랙박스 모델 특성으로 인해 데이터 오염 및 모델 회피 공격에 취약하다. 본 시나리오는 신용평가 모델을 대상으로 공격자 관점의 단계적 위협 행위를 MITRE ATLAS TTP로 매핑하고, 이를 Fig. 2.와 같이 제시한다.

Fig. 2. Attack graph for AI-Based Credit Scoring System

정찰 단계에서 공격자는 금융기관이 제공하는 오픈 API 명세서나 개발자 문서를 탐색(Search Open Technical Databases, AML.T0000)하여 신용 평가 시 입력받는 변수의 종류와 데이터 형식을 파악한다. 또한, 핀테크 앱이나 웹사이트의 대출 한도 조회 서비스를 반복적으로 호출(Search Victim-Owned Websites, AML.T0003)하며 입력값 변화에 따른 신용점수 변동 민감도를 분석하여 모델의 특성을 추론한다.

자원 개발 단계에서는 모델의 판단 기준을 교란하기 위해 정상적인 금융 활동으로 위장한 적대적 데이터 패턴을 설계(Craft Adversarial Data, AML.T0043)한다. 예를 들어, 특정 시간대의 소액 결제 패턴이나 통신비 납부 이력을 인위적으로 생성하여 상환 능력이 높은 것처럼 데이터를 조작하는 방식이다. 또한, 공급망 공격의 일환으로 신용평가 모델이 참조하는 오픈 데이터셋이나 공공 데이터 소스에 조작된 정보를 게시(Publish Poisoned Datasets, AML.T0019)하여, 모델 학습 단계부터 오염된 데이터가 유입되도록 유도할 수 있다.

초기 접근은 정상적인 대출 신청 프로세스를 통해 이루어진다. 공격자는 위조된 신원이나 확보한 대포계정(Valid Accounts, AML.T0012)을 이용해 시스템에 접근하며, API 호출 권한을 획득한다. 실행 단계에서 공격자는 앞서 설계한 적대적 데이터를 입력값으로 전송하여 모델이 고위험군을 저위험군으로 오분류하도록 유도함으로써 탐지 모델을 회피(Evade AI Model, AML.T0015)하고 부당한 대출 승인을 획득한다.

공격의 지속성 확보 및 데이터 오염은 모델의 재학습 주기를 악용한다. 공격자가 대출 승인 후 의도적으로 연체를 발생시키거나, 반대로 부실 차주 데이터를 우량 차주처럼 위장하여 지속 주입함으로써 학습 데이터셋을 오염(Poison Training Data, AML.T0020)시킨다. 이러한 오염이 누적되면 모델 자체가 오염(Poison AI Model, AML.T0018.000)돼 모델의 판단 기준 왜곡으로 전반적인 평가 신뢰도가 하락(Erode AI Model Integrity, AML.T0031)하는 결과를 초래한다.

마지막 유출 및 영향 단계에서는 자동화된 스크립트를 통해 신용평가 API에 다량의 질의를 전송(AI Model Inference API Access, AML.T0040)한다. 이를 통해 모델의 작동 논리를 역공학하여 유사 모델을 복제(Extract AI Model, AML.T0024.002)하거나, 특정 개인의 데이터가 학습셋에 포함되었는지 추론(Infer Training Data Membership, AML.T0024.000)하여 민감한 프라이버시를 침해할 수 있다. 가용성 측면에서는 연산 부하를 의도적으로 증폭시키는 ‘스펀지 예제’를 입력하여 추론 리소스를 고갈시키는 Denial of AI Service(AML.T0029) 공격이 수행될 수 있다. 이는 실시간 대출 심사 서비스의 지연 및 중단을 유발하며, 결과적으로 잘못된 대출 승인에 따른 막대한 금전적 손실(Financial Harm, AML.T0048.000)과 공정성 시비에 따른 평판 하락(Reputational Harm, AML.T0048.001)으로 이어진다. 본 시나리오의 단계별 TTP 매핑 결과는 Table 4.에 요약된다.

Table 4. MITRE ATLAS Mapping for AI-based Credit Scoring System Scenario

4.3.3 AI기반 이상거래·자금세탁 탐지 시스템 시나리오 및 TTP

AI 기반 이상거래·자금세탁방지(AML/FDS) 시스템은 카드 결제, 계좌 이체, 해외 송금 등 다채널에서 발생하는 금융 거래를 실시간으로 분석하여 위험을 선별·차단하는 보안 및 컴플라이언스의 핵심 인프라다. 해당 시스템은 오탐과 미탐이 즉각적인 자산 손실 및 규제 위반으로 직결되는 특수성을 가지며, 이에 따라 공격자는 탐지 논리를 우회하거나 시스템 가용성을 저해하여 부당 이득을 취하는 데 집중한다. 본 시나리오는 이러한 금융 환경의 특성을 반영하여 공격자 관점의 단계적 위협 행위를 MITRE ATLAS TTP로 매핑하고, 이를 Fig. 3.과 같이 제시한다.

Fig. 3. Attack graph for AI-based Fraud and AML Detection system

정찰 단계에서 공격자는 대상 금융기관의 탐지 운영 방식과 차단 절차를 파악하기 위해 공개된 약관 및 안내 정보를 수집(Search Victim-Owned Websites, AML.T0003)하고, 소액 결제나 송금 등 다양한 거래 유형을 반복 수행하며 차단 임계값을 능동적으로 탐색(Active Scanning, AML.T0006)한다. 이 과정에서 반환되는 차단 사유 코드나 리스크 등급 등의 출력 정보는 모델의 판단 논리를 역추적하는 단서(Discover AI Model Outputs, AML.T0063)로 활용된다.

자원 개발 단계에서는 장기적인 공격 수행을 위해 타인 명의의 계정·카드·법인 명의를 확보(Establish Accounts, AML.T0021)하고, 정찰 단계에서 수집된 입·출력 데이터를 기반으로 원본 모델을 모사한 프록시 모델(Train Proxy via Replication, AML.T0005.001)한다. 이후 해당 프록시 모델을 대상으로 탐지 임계값을 우회할 수 있는 최적의 적대적 거래 패턴을 설계(Craft Adversarial Data, AML.T0043)하여 공격 자산을 구체화한다.

초기 접근은 정상적인 전자금융 소비자로 위장한 계정(Valid Accounts, AML.T0012)을 통해 이루어지며, 이는 네트워크 트래픽 상에서 정상 거래와 구분이 어렵다. 실행 단계에서 공격자는 검증된 적대적 패턴을 실제 운영 환경에 전이(Black-Box Transfer, AML.T0043.002)하여 거래 금액, 시간, 가맹점 유형 등을 정상 분포 내로 은폐함으로써 탐지를 회피(Evade AI Model, AML.T0015)한다. 공격의 지속성을 확보하기 위해 공격자는 경계값 근처의 거래를 지속적으로 발생시켜 학습 데이터와 피드백 루프를 오염(Poison Training Data, AML.T0020)시키며, 이는 모델의 이상 징후 식별 능력을 점진적으로 약화(Erode AI Model Integrity, AML.T0031)시킨다. 또한, 경보량을 인위적으로 증가시키는 노이즈 트랜잭션을 대량 발생(Spamming AI System with Chaff Data, AML.T0046)시켜 관제 조직의 분석 역량을 분산시키는 방어 회피가 병행될 수 있다.

마지막 유출 및 영향 단계에서 공격자는 축적한 입력–출력 쌍과 프록시 모델을 활용해 원 모델을 근사·복제(Extract AI Model, AML.T0024.002)하고, 이를 기반으로 탐지 사각지대를 확대하여 대규모 사기·자금세탁을 수행함으로써 막대한 금전적 피해(Financial Harm, AML.T0048.000)와 탐지 실패에 따른 신뢰 훼손(Reputational Harm, AML.T0048.001)을 야기한다. 추가적으로, 연산 복잡도가 높은 ‘스펀지 예제’[49] 등을 주입하여 추론 시간을 지연시키는 Denial of AI Service(AML.T0029) 공격이 수행될 경우, 시스템 가용성 유지를 위해 탐지 절차가 생략되는 상황이 발생하여 피해 규모가 가중될 수 있다. 본 시나리오의 단계별 TTP 매핑 결과는 Table 5.에 요약된다.

Table 5. MITRE ATLAS Mapping for AI-based Fraud and AML Detection Scenario

4.3.4 내부 지원형 AI 시스템 시나리오 및 TTP

금융기관의 내부 지원형 AI는 사내 규정·지침을 검색하는 RAG 기반 어시스턴트, 코드 작성을 보조하는 코파일럿(Copilot), 그리고 결재·티켓 발행을 수행하는 에이전트로 구성된다. 이러한 환경은 업무 효율을 제고하나, 문서 내 자격증명 노출과 에이전트의 권한 오남용이라는 새로운 공격 표면을 형성한다. 본 시나리오는 내부 RAG와 에이전트 워크플로우를 대상으로 한 복합 공격 위협을 MITRE ATLAS TTP로 매핑하여 Fig. 4.와 같이 제시한다.

Fig. 4. Attack graph for Internal Support AI

정찰 단계에서 공격자는 채용 공고나 기술 블로그 등 공개 자료를 분석(Search Open Technical Databases, AML.T0000)하거나 웹사이트를 통해 조직 내 AI 도입 현황을 파악(Search Victim-Owned Websites, AML.T0003)하여, 사내 규정 검색 봇이나 자동화 에이전트의 존재를 식별한다. 자원 개발 단계에서는 RAG 검색 알고리즘에 상위 노출되도록 최적화된 악성 문서 템플릿을 제작(Retrieval Content Crafting, AML.T0066)하고, 문서의 숨김 영역이나 메타데이터에 LLM만이 인식 가능한 은닉 지시문을 삽입(LLM Prompt Crafting, AML.T0065)하여 공격 자산을 준비한다.

초기 접근은 채용 포털이나 협력사 문서 접수 채널을 통해 악성 문서를 외부에서 유입(Prompt Infiltration via Public-Facing Application, AML.T0093)시키거나, 탈취된 내부 계정(Valid Accounts, AML.T0012)을 이용해 사내 위키·공유 폴더에 직접 업로드함으로써 달성된다. 실행 단계에서 해당 문서가 RAG 벡터 DB에 인덱싱되면, 직원의 정상적인 업무 질의 시 검색 결과로 호출되어 간접 프롬프트 인젝션(LLM Prompt Injection: Indirect, AML.T0051.001)을 유발한다. 특히 에이전트 기능이 결합된 경우, 은닉 지시문은 도구 호출로 전이(AI Agent Tool Invocation, AML.T0053)되어 승인 절차 우회나 임의 결재 상신 등 비인가 업무 수행으로 확장된다.

공격의 지속성을 위해 다수의 오염 문서를 지속 투입하여 RAG 인덱스 전반을 오염(RAG Poisoning, AML.T0070)시키거나, 특정 규정 항목만을 교묘히 변조(False RAG Entry Injection, AML.T0071)하여 데이터셋 신뢰도를 저하(Erode Dataset Integrity, AML.T0059)시킨다. 마지막 유출 및 영향 단계에서는 문서나 코드 내 포함된 API 키·토큰이 답변을 통해 노출되는 자격증명 수확(RAG Credential Harvesting, AML.T0082)이 발생하거나, 외부 URL 호출을 통한 데이터 유출(Exfiltration via AI Inference API, AML.T0024)이 이루어질 수 있다. 이는 결과적으로 내부 통제 무력화에 따른 재무적 손실(Financial Harm, AML.T0048.000)과 컴플라이언스 위반에 따른 신뢰 훼손(Reputational Harm, AML.T0048.001)을 초래한다. 본 시나리오의 단계별 TTP 매핑 결과는 Table 6.에 요약된다.

Table 6. MITRE ATLAS Mapping for Internal Support AI Scenario

V. 금융권 AI 보안 위협 통제 방안

본 장은 제4장에서 도출한 시나리오 기반 위협을 완화하기 위해 MITRE ATLAS 완화 방안을 참조하여 기술적·관리적 통제 방안을 제안한다.

5.1 기술적 통제 방안

기술적 통제는 접근 제어, 입출력 방어, 무결성 확보, 공급망 검증으로 분류할 수 있다.

첫째, 자산 보호 및 접근 통제이다. 데이터와 모델 파일은 Control Access to AI Models and Data at Rest(AML.M0005) 및 in Production(AML.M0019)을 통해 저장·운영 단계의 접근 권한을 엄격히 제한하고, Encrypt Sensitive Information(AML.M0012)으로 전 구간 기밀성을 보장해야 한다. 또한 Limit Model Artifact Release(AML.M0001)로 모델 자산의 무단 반출을 차단하며, Limit Public Release of Information(AML.M0000) 관점에서 모델 역추론의 단서가 될 수 있는 아키텍처나 시스템 프롬프트 정보의 대외 노출을 통제한다.

둘째, 실행 권한 및 동작 통제이다. 에이전트의 도구 호출 권한은 AI Agent Tools Permissions Configuration(AML.M0028)로 최소화하고, 고위험 기능을 수행하는 에이전트는 Privileged/Single-User Permissions Configuration(AML.M0026, AML.M0027)을 적용해 격리·감사한다. 외부 데이터 유입 시 간접 인젝션을 막기 위해 Restrict Tool Invocation on Untrusted Data(AML.M0030)로 자동 실행을 제한하며, 출력단에서는 Generative AI Guardrails(AML.M0020) 및 Model Alignment(AML.M0022)를 통해 규제 위반 답변을 사전에 차단한다.

셋째, 입출력 방어 및 가용성 확보이다. 입력단은 Input Restoration(AML.M0010)으로 비정상 문자를 정규화하고, Use Ensemble Methods(AML.M0006)을 통해 적대적 패턴에 대한 모델의 내성을 강화하며 Adversarial Input Detection(AML.M0015)으로 인젝션 및 회피 시도를 실시간 탐지한다. 대량 질의를 통한 모델 추출 및 DoS 시도는 Restrict Number of AI Model Queries(AML.M0004)와 AI Model Distribution Methods(AML.M0017)을 통해 요청 빈도와 연산 자원을 제한하여 차단한다. 출력단은 Passive AI Output Obfuscation(AML.M0002)을 통해 점수 정밀도 조정 등 내부 정보의 과도한 노출을 방지한다.

넷째, 무결성 및 공급망 검증이다. 학습 데이터는 Sanitize Training Data(AML.M0007)와 Maintain AI Dataset Provenance(AML.M0025)를 통해 오염을 제거하고 변경 이력을 관리한다. 모델 배포 시 Verify AI Artifacts(AML.M0014)와 Code Signing(AML.M0013)으로 무결성을 검증하고, 운영 전 Validate AI Model(AML.M0008), Vulnerability Scanning(AML.M0016), Model Hardening(AML.M0003)을 수행하여 보안성을 강화한다. 외부 구성요소는 AI Bill of Materials(AML.M0023)로 명세화하여 관리한다.

5.2 관리적 통제 방안

관리적 통제는 기술적 조치를 보완하는 정책, 프로세스, 인력 관리 체계를 포함한다.

첫째, AI 거버넌스 정립이다. Generative AI Guidelines(AML.M0021)을 통해 시스템 유형별 허용 업무와 데이터 등급을 명문화하고, Model Alignment(AML.M0022) 관점에서 소비자 보호 및 준법 요건을 프롬프트와 가드레일 정책에 일관되게 반영하여 조직 목표와의 정합성을 유지한다.

둘째, 변경 관리 및 모니터링 체계화이다. Maintain AI Dataset Provenance(AML.M0025)를 기반으로 데이터 처리에 대한 감사 추적성을 확보한다. 특히 신용평가 등 민감 모델의 경우, 데이터 표류 및 성능 저하를 지속적으로 모니터링하고, Validate AI Model(AML.M0008)과 연계하여 배포 전후의 편향성·보안성 검증을 의무화하며 문제 발생 시 즉각적인 롤백 계획을 수립해야 한다.

셋째, 인적 통제 및 공급망 관리 강화이다. User Training(AML.M0018)을 통해 직무별 맞춤형 보안 교육을 실시하고, 고위험 에이전트 작업에는 Human In-the-Loop(AML.M0029) 원칙을 적용해 승인 절차를 의무화한다. 외부 위탁 시에는 계약 단계부터 AI Bill of Materials(AML.M0023) 제출과 Code Signing(AML.M0013) 등을 요구하여 공급망 리스크 전이를 차단한다.

5.3 연구 검증

제4.2절에서 도출한 위협 시나리오의 포괄성과 제5.1절 및 제5.2절의 통제 방안에 대한 적용 가능성 및 실효성을 정성적·정량적 검증하였다. 정성적 검증은 선행 연구·침해 사례 비교와 국내 금융권 규제·운영 환경 부합성을 기준으로 수행하였으며, 정량적 검증은 대화형 AI 챗봇 시나리오(4.2.1)를 대상으로 모의공격 실험을 수행하여 통제의 탐지·차단 효과를 수치로 제시하였다.

5.3.1 시나리오 및 TTP 매핑의 적절성 검증

선행 연구 및 침해 사례에서 반복적으로 보고된 AI 특화 위협(프롬프트 인젝션, 데이터·지식베이스 오염 등)을 기준 위협군으로 정의하고, 제4.2절의 4개 대표 시나리오와 단계별 TTP에 매핑하여 포괄성 및 누락 여부를 검증하였다. 검증 결과, 대화형 챗봇 시나리오(4.2.1)는 MathGPT 사례[45] 등에서 확인된 프롬프트 인젝션·탈옥 및 응답 기반 정보 유출과 같은 상호작용 기반 위협을 포괄하였다. 신용평가 시나리오(4.2.2)는 외부 대안 데이터 의존성을 악용한 학습 데이터 오염(AML.T0020), 적대적 입력을 통한 모델 회피(AML.T0015), 재학습 주기를 이용한 피드백 루프 공격, API 반복 질의를 통한 모델 추출(AML.T0024.002) 등 분석·예측형AI의 전주기 위협을 반영하였다. 이상거래·자금세탁 탐지 시나리오(4.2.3)는 프록시 모델 기반 회피 공격, 채프 데이터를 통한 가용성 저하(AML.T0046) 등 보안·컴플라이언스형AI 고유의 위협을 포함하며, Tay 사례[43]는 도메인은 상이하나 데이터/피드백 오염이 모델 동작을 왜곡한다는 점에서 참고 사례로 활용될 수 있다. 내부 지원형AI 시나리오(4.2.4)는 PyTorch 공급망 침해[44]와 같은 모델·의존성 손상뿐 아니라 RAG 기반 지식베이스 오염에 따른 지식/콘텐츠 공급망 무결성 훼손과 자격증명·내부정보 탈취를 포함한다. 종합하면 네 시나리오는 상호작용(챗봇), 데이터·모델 전주기(신용평가), 실시간 탐지(AML/FDS), 지식베이스·공급망(내부지원)의 공격 표면을 아우르며, 제4.1절의 FARS 평가에서 고위험으로 분류된 모델 회피(20점)·모델 추출(10~15점)·탈옥(15점)·서비스 거부(12~16점) 위협이 모두 시나리오 내에서 식별·매핑되어 있음을 확인하였다.

5.3.2 통제 방안의 정성적 검증

제5장에서 제안한 기술적·관리적 통제가 금융권의 규제 및 운영 제약에 부합하는지 검증하였다. 기술적 통제(5.1)는 접근통제·권한관리, 실행/도구 호출 통제, 입출력 방어, 무결성·공급망 네 가지로 구성되며, 금융권이 운용 중인 IAM, DLP, 로그 감사, 변경관리 체계와 결합할 수 있으므로 적용 가능성이 높다. 특히 최소권한 기반의 모델·데이터 접근통제, 시스템 프롬프트/정책/키 보호, 도구 호출 허용목록 및 승인 흐름, 입력 정규화·필터링과 출력 민감정보 통제는 기존 인프라를 활용해 비교적 낮은 비용으로도 도입할 수 있으며 감사 추적성과 사고 대응성을 강화한다.

관리적 통제(5.2)는 AI 거버넌스, 변경관리 체계화, 인적 통제 및 공급망 관리로 구성되어 규제·준법 요구와 운영 지속성을 보완한다. 예를 들어 데이터셋/모델 변경 이력·출처 관리, 배포 전 검증 및 롤백 계획 수립은 전자금융감독규정상 프로그램 변경 통제의 취지(변경 권한자 지정, 변경 전후 내용 기록·보존, 제3자 확인/검증, 충분한 테스트 및 승인 등)와 정합적이며, 현행 IT 내부통제 절차에 통합 가능하다.

한편, 대규모 로깅·광범위한 콘텐츠 검사·상시 무결성 점검 등 고도화된 검증은 지연 시간 증가와 운영부담을 수반할 수 있으므로, 제4.1절의 FARS 기반 리스크 등급에 따라 단계적 적용이 필요하다. 고위험 위협(모델 회피·모델 추출·탈옥)에 대한 입출력 방어와 접근통제는 단기적으로 우선 적용하고, 공급망 명세화·데이터 출처 관리·정기 레드팀 점검 등은 중기적으로 확대하는 것이 현실적이다. 종합하면, 제안한 통제 방안은 선행 연구·사례와 정합하며 금융권의 규제 및 운영 제약 하에서도 적용 가능함을 확인하였다. 이러한 정성적 검증 결과는 다음 절의 정량적 실험 결과와 함께 본 연구의 통제 프레임워크가 논리적 타당성과 실증적 효과를 동시에 갖추고 있음을 뒷받침한다.

5.3.3 통제 방안의 정량적 검증

제3.4절에서 기술한 실험 설계에 따라 대화형 AI 챗봇 시나리오(4.2.1)에 대한 모의공격 실험을 수행하였다. 총 800건(공격 400건 × 2 Phase)의 테스트 결과를 Table 7., Table 8., Table 9.에 요약한다.

Table 7.은 통제 적용 전후의 핵심 지표 변화를 보여준다. 베이스라인(통제 미적용) 환경에서 공격 성공률은 56.5%(226/400건), 데이터 유출률은 54.0%(216/400건)로 나타나, 통제가 부재한 LLM 기반 챗봇이 프롬프트 인젝션 공격에 상당히 취약함을 확인하였다. ATLAS 완화 방안 기반 통제를 적용한 이후 공격 성공률은 2.5%(10/400건), 데이터 유출률은 2.5%(10/400건)로 감소하여, 통제의 전체 차단 효과는 95.6%로 나타났다.

Table 7. Comparison of Key Metrics

Table 8.은 ATLAS TTP별 공격 유형에 따른 성공률 변화를 보여준다. 통제 적용 전 가장 높은 성공률을 보인 유형은 정보 추출(AML.T0057/AML.T0056, 70.0%)과 간접 프롬프트 인젝션(AML.T0051.001, 68.0%)이었다. 통제 적용 후 탈옥(AML.T0054)과 간접 프롬프트 인젝션은 성공률 0.0%로 완전 차단되었고, 직접 프롬프트 인젝션(AML.T0051.000)은 1.0%로 대폭 감소하였다. 반면, 정보 추출은 9.0%의 잔여 성공률을 보여 여타 유형 대비 통제 우회 가능성이 상대적으로 높았다. 이는 정보 추출 공격이 직접적인 악성 명령보다는 맥락적 질의 형태를 취하는 경우가 많아, 패턴 기반 입력 필터링만으로는 완전 차단이 어렵기 때문으로 분석된다. 이러한 결과는 Exfiltration 전술에 대해 쿼리 제한(AML. M0004)이나 출력 난독화(AML.M0002) 등의 추가적 다계층 통제가 필요함을 시사한다.

Table 8. Comparison of Attack Success Rates by Attack Type

Table 9.는 통제 적용 환경에서 차단이 이루어진 단계별 분포를 제시한다. 총 367건의 차단 중 입력 검증 단계에서 197건(53.7%)이 차단되었고, LLM 자체 거부가 143건(39.0%), 출력 검증 단계 차단이 27건(7.4%)으로 나타났다. 입력단에서 과반 이상의 공격이 사전 차단된 점은 Input Restoration(AML.M0010)과 Adversarial Input Detection(AML.M0015)의 1차 방어 효과가 유효함을 보여준다. LLM 자체 거부 비율이 39.0%로 높게 나타난 것은 Generative AI Guardrails(AML.M0020)와 Model Alignment(AML.M0022)에 해당하는 시스템 프롬프트 기반 정책 설정이 2차 방어 계층으로 기능함을 의미한다. 출력 검증은 7.4%로 상대적으로 낮으나, 입력 필터링과 LLM 거부를 통과한 잔여 위협을 최종적으로 포착하는 역할을 수행하여, 다계층 방어의 필요성을 뒷받침한다.

Table 9. Distribution of Blocked Stages

종합하면, ATLAS 완화 방안에 기반한 입력 검증·출력 검증·가드레일의 다계층 통제는 대화형 AI 챗봇에 대한 프롬프트 인젝션 공격의 95.6%를 차단하는 것으로 나타났다. 특히 Execution(직접/간접 인젝션)과 Defense Evasion은 사실상 완전 차단에 근접한 반면, Exfiltration은 잔여 위험이 존재하여 쿼리 제한, 민감정보 마스킹, 응답 범위 제한 등 추가 통제의 적용이 요구된다. 통제 적용 전후 평균 응답 시간은 30.22초에서 25.77초로 단축되었는데, 이는 입력 검증 단계에서 악성 프롬프트가 조기 차단되어 LLM 추론 자체가 생략된 사례가 다수 포함된 결과이다. 이는 입력단 통제가 방어율뿐만 아니라 연산 자원 절감에도 가장 크게 기여하며, 후단 검증은 잔여 위험 보완에 기능함을 확인해 준다. 이를 바탕으로 금융권에서는 실시간 지연이 적은 입력 검증·접근통제·민감정보 마스킹을 1차적으로 우선 도입하고, 추가적인 추론 비용이 발생하는 출력 검증·광범위 로깅·상시 무결성 점검은 리스크 등급에 따라 단계적으로 확대하는 전략이 현실적이다.

다만, 본 실험은 단일 오픈소스 LLM(Qwen38B)과 자동 생성 공격셋을 활용한 시뮬레이션이므로, 총소유비용이나 정상 업무 프롬프트 기준 오탐률까지 포함한 포괄적 비용·효과 분석은 아니다. 따라서 본 실험 결과는 통제 도입에 따른 예비적 운영 영향 평가로 해석할 필요가 있다. 상용 LLM 적용 시의 세부 성능 오버헤드, 다양한 공격자 수준에 대한 방어력, 정상 트래픽 기준 오탐률과 실제 운영 비용 등은 실제 금융 운영 환경에서의 후속 연구가 필요하다.

VI. 결론

본 연구는 금융권 AI 시스템을 4가지 유형으로 분류하고, 이를 MITRE ATLAS 프레임워크에 매핑하여 금융 도메인에 특화된 위협 시나리오와 기술적·관리적 통제 방안을 체계화하였다. 제안된 통제 모델은 국내 금융 규제와의 정합성을 확보하였으며, 대화형 AI 챗봇 시나리오에 대한 정량 실험 결과 공격 성공률을 56.5%에서 2.5%로 낮춤으로써 그 실효성을 입증하였다. 이는 모호했던 AI 위협을 금융 비즈니스 로직과 결합하여 구체화하고, 리스크 기반의 의사결정 도구를 제공했다는 점에서 실무적 의의가 크다.

한편, 본 연구의 정량 검증은 실제 금융 시스템에 대한 직접 공격의 제약과 통제 효과 비교의 명확성을 위해 챗봇 시나리오와 오픈소스 LLM(Qwen3 8B) 기반의 시뮬레이션에 한정하였다. 따라서 본 결과는 제안 통제 방안의 초기 실증으로 해석되어야 하며, 상용 모델 및 실제 운영 환경에서의 추가 검증이 필요하다. 또한 특정 버전의 ATLAS 기준 분석에 따른 주기적 갱신 필요성과 복잡한 레거시 연동성 반영 미흡 등의 한계가 존재한다.

향후 연구에서는 상용 LLM 대상 자동화 레드티밍과 챗봇 외 시나리오로 검증 범위를 확대하고, 통제 적용 시 발생하는 지연 시간 등 운영 오버헤드를 고려하여 시나리오별 통제 효과를 정량화할 계획이다. 이와 더불어 MITRE ATLAS 업데이트에 따른 매핑 갱신 체계를 수립하고, 실제 금융기관 환경에서 레거시 연동·성능 오버헤드·오탐률 등 현실적 제약을 반영한 실증 연구를 수행하고자 한다. 아울러 FARS 평가 체계를 다수 기관에 적용하여 금융권 공통의 AI 위협 벤치마크로 발전시키는 연구도 의미가 있을 것이다.