A Study on the Effectiveness of AI-Based Hacking Email Response Training

AI를 활용한 해킹메일 대응 훈련의 실효성에 대한 연구

Abstract

This study empirically examines whether AI-based phishing response training provides more effective learning experiences than conventional manual training, using large-scale data from 12,180 public institution employees, and proposes an automated training framework. Existing manual training has structural limitations in both content diversity and measurement metrics. Recent studies demonstrate that large language models (LLMs) can automatically generate expert-level persuasive text, and since phishing emails are fundamentally persuasive communication, this capability can be leveraged as a training tool. Results show that participants exposed to AI-based training perceived threats more realistically and demonstrated statistically significant improvements in training effectiveness perception and threat identification capability. AI-generated scenarios combining real-time information and personalization maximized training realism through complex social engineering elements, consistent with prior research on LLM persuasion. Based on these findings, this study proposes the Intelligent & Adaptive Phishing Training Framework (IATF) reflecting the core principles of NIST SP 800-50r1.

본 연구는 생성형 인공지능(AI)을 활용한 해킹메일 대응 훈련이 기존 수작업 기반 훈련 대비 더 효과적인 학습 경험을 제공할 수 있는지를 대규모 실증 데이터를 통해 검증하고, 이를 체계화한 자동화 훈련 프레임워크를 제안한다. 기존 수작업 훈련은 콘텐츠 다양성과 지표 구조 두 가지 측면에서 구조적 한계를 가지며, 최근 연구들은 대규모 언어 모델(LLM)이 전문가 수준의 설득력 있는 텍스트를 자동으로 생성할 수 있음을 실증하였다. 국내 공공기관 구성원 12,180명을 대상으로 수행된 비교 훈련 결과, AI 기반 훈련에 노출된 사용자들은 위협을 보다 현실적으로 체감하였으며, 훈련 효과성과 식별 능력 향상에 대한 긍정적 인식이 통계적으로 유의하게 확인되었다. 특히 실시간 정보와 개인화를 결합한 AI 시나리오는 사회공학적 설득 요소를 복합적으로 구현함으로써 훈련의 현실성을 극대화하였으며, 이는 LLM의 설득적 글쓰기 역량이 훈련 도구로 역활용될 수 있음을 실증적으로 뒷받침한다. 이러한 결과를 바탕으로 본 연구는 NIST SP 800-50r1의 핵심 철학을 반영한 지능형·적응형 피싱 대응 훈련 자동화 프레임워크(IATF)를 제안하였다.

I. 서론

이메일 기반 피싱(phishing) 공격은 오늘날 사이버 침해사고의 가장 주요한 초기 침투 수단으로 자리잡고 있다. 최근의 사이버 공격은 단일 기술적 취약점을 직접 악용하는 방식에서 벗어나 사회공학 기법을 활용한 초기 접근 이후 내부 시스템을 단계적으로 장악하는 다단계 침투(Multi-stage intrusion) 형태로 진화하고 있으며, 이 과정에서 피싱 이메일은 내부 네트워크 진입을 위한 출발점으로 빈번하게 활용되고 있다[1].

기술적 취약점을 기반으로 한 공격은 방화벽, 침입 탐지 시스템, 엔드포인트 보안 솔루션 등의 고도화로 점차 차단 효과가 향상되고 있는 반면, 사용자의 인지적·심리적 취약성을 노리는 사회공학적 공격은 여전히 높은 성공률을 유지하고 있다. 글로벌 침해사고 분석 보고서에 따르면 계정 탈취(Account Takeover), 내부 정보 유출, 랜섬웨어 감염과 같은 주요 보안 사고의 상당수가 이메일을 통한 피싱 공격을 기점으로 발생하고 있다[1][2][3][4]. 국내 환경 역시 유사한 양상을 보이고 있으며, KISA의 전망에 따르면 2026년에도 생성형 AI를 활용하여 타겟 조직의 맥락을 정밀하게 반영한 지능형 피싱 공격이 증가할 것으로 예상된다[5].

이러한 공격 양상이 지속되는 근본 이유는 공격자가 기술이 아닌 인간을 주요 공격 대상으로 삼고 있기 때문이다. 피싱 이메일은 긴급성(urgency), 권위성(authority), 정당성(legitimacy)을 가장한 메시지를 통해 사용자가 합리적인 검증 과정을 수행하기 전에 행동하도록 유도하는 특성이 있다. Hong[6]은 피싱 공격이 기술적 방어선을 우회하여 인간이라는 '가장 취약한 링크'를 직접 공략하는 메커니즘을 상세히 설명하며, 사회공학적 공격의 본질이 인간의 인지적 판단 오류에 있음을 지적하였다.

이로 인해 기술적 보안 체계만으로는 피싱 공격을 완전히 차단하기 어려우며, 조직 구성원의 인식 수준과 행동 양식 변화가 보안 대응의 핵심 요소로 부각되고 있다. 이러한 맥락에서 해킹메일 대응 훈련은 인간 중심 보안(Human-centric Security)의 핵심 수단으로 인식되어 왔으나, 기존의 수작업 기반 훈련은 두 가지 구조적 한계가 있다. 첫째, 보안 담당자가 직접 시나리오를 작성하는 방식으로 인해 콘텐츠의 다양성과 현실성이 떨어지며, 반복될수록 사용자가 패턴을 학습하여 실전성이 저하되는 훈련 적응 효과(training adaptation effect)가 발생한다[7]. 둘째, 국가 정보보안 기본지침 제77조 제5항은 의심 이메일의 열람 금지와 즉시 신고를 명시하고 있으며[8], 이 지침에 기반한 기존 훈련은 열람율과 신고율을 핵심 성과지표로 운영되어 왔다. 그러나 이러한 지표 구조는 실제 침해사고의 핵심 단계인 링크 클릭 행동을 측정 범위 밖에 두는 지표 구조상의 공백이 있다.

최근 생성형 인공지능(Generative AI)의 발전은 이러한 기존 훈련 방식의 한계를 보완할 수 있는 새로운 가능성을 제시하고 있다. 피싱 메일은 본질적으로 수신자의 판단을 우회하기 위한 설득 커뮤니케이션이며, 이 관점에서 LLM의 설득적 글쓰기 역량은 훈련 도구로서의 가능성을 이해하는 핵심 근거가 된다. 최근 연구들은 LLM이 전문가 수준의 설득력있는 텍스트를 자동으로 생성할 수 있음을 실증하였으며[9][10], Hazell[11], Heiding 등[12]의 연구는 이 역량이 피싱 시나리오 생성에도 유효하게 적용될 수 있음을 보였다. 이는 LLM을 공격 도구가 아닌 훈련 도구로 역활용(reverse utilization)하여, 수작업으로는 구현하기 어려운 수준의 설득력 있는 훈련 시나리오를 자동으로 생성하고 실전성 높은 훈련 환경을 구축할 수 있는 가능성을 시사한다.

본 연구는 이러한 문제의식에서 출발하여, 기존 수작업 기반 훈련과 생성형 AI 기반 훈련을 동일한 조직 구성원 12,180명을 대상으로 순차적으로 수행하고, AI 기반 훈련이 더 효과적인 학습 경험을 제공하는지를 행동 데이터와 설문 데이터를 통해 실증적으로 검증한다. 특히 4종의 LLM이 생성한 12종의 시나리오를 대상으로 발신자 주소 정교성, 사회공학적 요소 구현 수준, 맥락 적합성 등을 분석하여 AI 기반 시나리오의 훈련 도구로서의 가능성을 구체적으로 탐색한다. 이를 통해 실제 조직 환경에 적용 가능한 AI 기반 해킹메일 대응 훈련 자동화 프레임워크(Intelligent & Adaptive phishing Training Framework, IATF)를 제안함으로써 향후 보안 교육 체계 설계에 실질적인 시사점을 제공하고자 한다.

II. 연구 배경 및 선행 연구

2.1 피싱 공격과 인간 중심 보안

피싱 공격은 기술적 취약점보다 인간의 인지적 판단 과정을 직접적으로 공격 대상으로 삼는 대표적인 사회공학 기법이다. 공격자는 제한된 시간 내에 사용자가 합리적인 검증 과정을 수행하기 전에 행동하도록 유도하기 위해 긴급성, 권위성, 정당성, 혹은 보상과 위협 요소를 정밀하게 결합한 메시지를 설계한다. 이러한 특성으로 인해 피싱 공격은 기술적 보안 장비의 탐지를 회피하면서도 비교적 높은 성공률을 유지할 수 있다[1].

특히 Alkhalil 등[13]은 피싱 공격이 단순 이메일 기반에서 스피어 피싱, 스미싱, 비싱 등 지속적으로 변형되고 있음을 체계적으로 분류하였으며, Hong[6]은 피싱 공격의 본질이 인간의 인지적 판단 오류를 유도하는 데 있음을 지적하였다. Downs 등[14]은 사용자가 이메일의 정당성을 판단할 때 의존하는 인지적 휴리스틱이 공격자에 의해 정밀하게 악용될 수 있음을 분석하였으며, Parsons 등[15]은 보안인식 수준이 높을수록 실제 피싱 탐지 성과도 유의하게 향상됨을 확인하였다. Wash와 Rader[16]는 보안 지식과 실제 보호 행동 간의 괴리 문제를 지적하며, 인식 제고를 넘어 실제 행동 변화를 유도하는 교육 접근의 필요성을 강조하였다. Verizon DBIR[1]에 따르면 이메일 기반 침해사고에서 공격의 성공 여부는 기술적 방어 수준보다 사용자의 행동에 크게 의존하며, 이는 인간이 여전히 ‘가장 취약한 링크’로 작용하고 있음을 실증한다.

2.2 해킹메일 대응 훈련의 효과와 한계

해킹메일 대응 훈련은 조직 구성원이 피싱 이메일을 식별하고 적절히 대응하도록 유도하는 대표적인 인적 보안 교육 수단이다. NIST SP 800-50[17] 및 개정판(800-50r1)[18]는 조직 전체 구성원을 대상으로 한 보안 인식 훈련 체계 구축과 행동 변화 기반 학습을 핵심 원칙으로 강조한다. 국내 공공기관의 해킹메일 대응 훈련은 국가 정보보안 기본지침 제77조 제5항의 규정에 따라 의심 메일의 열람 금지와 즉시 신고를 행동 기준으로 삼아 왔으며[8], 이에 따라 열람율과 신고율이 훈련의 주요 성과지표로 정착되었다. 이러한 지표 체계는 최근 공공기관 훈련 현장에서도 일관되게 확인된다. 2023년 과기정통부 산하 65개 기관 훈련에서 열람률·신고율·신고신속도가 공식 평가 기준으로 채택되었고[19], 2024년 한국중부발전은 매월 반복 훈련을 통해 신고율 99%를 달성한 사례를 공개하였으며[20], 2025년에도 전북교육청과 세종교육원이 미열람 여부 및 즉시 신고 여부를 핵심 점검 항목으로 운용하였다[21][22]. 이는 열람율·신고율 중심의 훈련 체계가 특정 기관의 관행이 아닌 국내 공공부문 전반의 표준적 지표 구조로 정착되어 있음을 시사한다.

그러나 이러한 지표 구조는 실제 피싱 공격의 피해가 발생하는 핵심 단계를 포착하지 못하는 한계가 있다. 피싱 공격에서 실질적 피해는 사용자가 이메일을 열람한 이후 링크를 클릭하는 순간 발생하지만, 열람율·신고율 중심의 지표 체계는 이 단계를 측정 범위 밖에 두어 왔다. 또한 수작업 기반 훈련은 고품질의 시나리오를 지속적으로 생산하는 데 막대한 자원이 소요될 뿐만 아니라, 담당자의 주관에 의존하여 문체와 구성에서 유사성이 누적되기 쉽고, 실제 공격자 수준의 정교함을 재현하기 어렵다는 구조적 한계가 있다. Sheng 등[23]은 안티피싱 교육 개입이 피싱 사이트에 정보를 입력하는 경향을 약 40% 감소시키지만, 훈련 후에도 참여자의 28%가 여전히 피싱에 속아 넘어간다는 점에서 콘텐츠 품질의 한계가 훈련 효과의 상한을 형성할 수 있음을 시사하였다. Kumaraguru 등[7]은 실전과 유사한 위협에 노출되는 임베디드 훈련 방식이 장기적인 행동 변화에 더 효과적임을 실증하였는데, 이는 역설적으로 훈련 시나리오의 현실성이 훈련 효과의 핵심 변수임을 시사한다.

국내에서도 임일권 등[24]은 단계별 행동을 추적하는 모의훈련 시스템을 제안하였으며, 이준희[25]는 인적요인이 훈련 메일 열람률에 유의한 영향을 미침을 실증하였다. 강영묵[26]은 3년 종단 데이터를 통해 반복 훈련의 효과를 확인하는 한편, 훈련 효과의 지속성을 위해서는 최신 공격 트렌드를 반영한 콘텐츠의 지속적 갱신이 필요함을 강조하였다.

2.3 생성형 AI의 설득적 글쓰기 역량과 훈련 도구로서의 가능성

피싱 메일은 본질적으로 수신자의 판단을 우회하기 위한 설득 커뮤니케이션이다. 수작업 기반 훈련이 콘텐츠 다양성과 현실성에서 구조적 한계를 가지는 상황에서, LLM의 설득적 글쓰기 역량은 이 한계를 보완할 수 있는 핵심 기술적 근거가 된다. LLM은 다양한 도메인의 언어 패턴을 재현하고 맥락을 유지하면서 실제 업무 이메일과 구분하기 어려운 수준의 메시지를 자동으로 생성할 수 있으며[27], Hazell[11], Heiding 등[12], Francia 등[28]의 연구는 이 역량이 피싱 시나리오 생성에 실제로 유효하게 적용됨을 확인하였다.

LLM의 설득 역량을 훈련 도구로 역활용하는 것이 타당한 이유는 피싱 이메일과 일반 설득 커뮤니케이션이 동일한 설득 메커니즘을 공유하기 때문이다. Cialdini[29]의 설득 원칙(권위성·긴급성·개인화 등)이 피싱 공격에서도 동일하게 작동함은 Hong[6], Alkhalil 등[13]의 연구에서 확인된 바 있다. 이 원칙에 기반한 설득 텍스트를 LLM이 전문가 수준으로 자동 생성할 수 있다는 점[9], 특히 개인화가 결합될수록 설득 효과가 크게 향상된다는 점[10]은, LLM을 훈련 도구로 활용할 경우 수작업으로는 재현하기 어려운 수준의 시나리오 현실성을 확보할 수 있음을 시사한다. 결국 2.2절에서 확인한 기존 훈련의 콘텐츠 한계는 LLM의 자동화된 설득 텍스트 생성 역량으로, 지표 구조의 공백은 클릭 행동 측정 추가로 보완 가능하다는 것이 본 연구의 출발점이다.

2.4 본 연구의 차별성 및 필요성

기존 해킹메일 대응 훈련 연구들은 주로 수작업으로 제작된 시나리오를 사용하여 열람율과 신고율을 측정하는 데 초점을 맞춰 왔으며, LLM을 훈련 시나리오 생성 도구로 역활용하고 그 효과를 대규모로 실증한 연구는 아직 초기 단계에 있다. 본 연구는 LLM이 전문가 수준의 설득력 있는 글을 자동으로 생성할 수 있다는 선행연구[9][10]의 발견을 실제 피싱 훈련 환경에 적용하고, AI 기반 훈련이 수작업 대비 더 효과적인 학습 경험을 제공하는지를 행동 데이터와 설문 데이터를 통해 검증한다는 점에서 차별성이 있다.

구체적으로 동일한 조직 구성원 12,180명을 대상으로 수작업 기반 훈련과 AI 기반 훈련을 순차적으로 비교하고, 2022~2024년 종단 데이터와의 비교를 통해 단순 반복 훈련의 자연 감소 패턴과 AI 기반 훈련의 질적 차이를 분리하여 분석한다. 또한 기존 훈련 체계에서 측정하지 못하였던 링크 클릭 행동을 독립 지표로 추가함으로써 AI 시나리오의 실질적 위협 전환 효과를 측정하고, 4종의 LLM이 생성한 12종 시나리오의 텍스트 특성 분석을 통해 AI 기반 훈련의 정교성을 구체적으로 탐색한다. 나아가 이러한 실증 결과를 바탕으로 IATF를 제안하여 향후 보안 교육 체계 설계에 실질적인 기여를 하고자 한다.

III. 연구 대상 및 실험 환경

3.1 연구 대상 및 실험 환경

본 연구는 생성형 AI 기반 해킹메일 대응 훈련의 실효성을 객관적으로 검증하기 위해, 동일 조직에 소속된 총 12,180명의 구성원을 대상으로 수행되었다. 연구 대상에는 신입 직원부터 관리자에 이르기까지 다양한 직급이 포함되었으며, 행정·기술·지원 부서 등 서로 다른 직무 특성을 가진 구성원이 고르게 분포되어 있다. 모든 훈련은 사전 고지 없이 실제 업무 환경과 동일한 조건에서 진행되었으며, 사용자의 행동 데이터는 메일 서버 로그와 내부 신고 시스템을 통해 수집되어 데이터의 객관성과 신뢰성을 확보하였다. 수집된 행동 데이터는 통계 분석 목적으로 비식별화하여 처리하였으며, 개별 사용자 식별이 불가능한 형태로 분석하였다.

3.2 1차 훈련: 수작업 기반 해킹메일 훈련 구성

1차 해킹메일 대응 훈련은 두 가지 목적으로 설계되었다. 첫째, AI 기반 훈련과의 비교를 위한 기준점을 설정하는 것이다. 이에 따라 해당 조직이 수년 간 운영해 온 수작업 기반 훈련 방식을 변형 없이 그대로 적용하였으며, 평가 지표는 이메일 열람 여부와 신고 여부로 한정하였다. 둘째, 기존 수작업 훈련 체계가 열람·신고 중심의 지표 구조를 운영해 왔음을 실증적으로 확인하는 것이다. 링크 클릭 요소를 포함하지 않은 것은 기존 훈련 방식의 구조를 원형 그대로 재현함으로써 비교 기준의 타당성을 확보하기 위한 의도된 설계적 선택이다. 이는 동시에 기존 훈련 체계가 실제 침해 사고의 핵심 단계인 링크 클릭 행동을 측정 범위 밖에 두어 왔음을 보여주는 사례이기도 하다. 다만 이로 인해 두 훈련 방식 간 위험 행동 전환율의 직접 비교에는 설계상 공백이 존재하며, 본 연구가 2차 훈련에서 링크 클릭 지표를 추가한 것은 이러한 공백을 부분적으로 보완하고, 기존 체계에서 포착하지 못했던 위험 행동을 측정하고자 하였다.

3.3 2차 훈련: 생성형 AI 기반 해킹메일 훈련 구성

2차 해킹메일 대응 훈련은 LLM의 설득적 글쓰기 역량[9][10]과 피싱 시나리오 자동 생성 가능성[11][12]을 실제 훈련 환경에 적용하는 것을 핵심 목표로 한다. GPT 계열 모델을 포함하여 Gemini, Perplexity, DeepSeek 등 서로 다른 특성을 가진 4종의 LLM을 활용하여 총 12종의 서로 다른 해킹 메일 시나리오를 생성하였다. 각 시나리오는 생성 방식에 따라 4종 모델에 동일한 공통 프롬프트를 적용한 시나리오(-1)와, 각 모델이 자체적으로 주제와 내용을 선택하여 생성한 시나리오(-2, -3)로 구분된다. 생성된 시나리오는 전체 훈련 대상자 12,180명에게 무작위로 배정되어 발송되었으며, 링크는 교육용 안내 페이지로 연결되도록 구성하였다. Table 2는 논문 게재를 위해 실제 발송본의 식별 요소를 제거하여 재구성한 예시이다.

Table 1. Command prompt example

Table 2. Example of AI-generated hacking emails

3.4 행동 지표 정의

본 연구에서는 해킹메일 대응 과정을 단계적 행동 흐름으로 보고, 세 가지 주요 행동 지표를 정의하였다. 첫째, 이메일 열람 여부는 사용자의 초기 관심 행동을 반영한다. 둘째, 링크 클릭 여부는 실제 피해로 이어질 수 있는 위험 행동 전환을 의미하며, 기존 수작업 훈련에서는 측정하지 못하였던 이 단계를 본 연구의 2차 훈련에서 독립 지표로 추가함으로써 AI 생성 시나리오의 실질적 위협 전환 효과를 측정하고자 하였다. 셋째, 신고 여부는 조직 정책에 따른 올바른 대응 행동을 나타낸다. 신고율은 조직의 보안 신고 채널 인지도, 신고 절차 편의성 등 훈련 시나리오 외의 조직적 요인에 영향을 받을 수 있어, 본 연구에서는 훈련 효과의 질적 변화를 보여주는 보조 지표로 위치시키고 행동 데이터와 함께 수집하여 제시하기로 하였다.

3.5 설문조사 구성 및 분석 계획

설문조사는 행동 데이터만으로 포착하기 어려운 ‘훈련의 현실성 인식’과 ‘식별 능력 향상 체감’을 측정하기 위해 훈련 종료 후 실시하였다. 전체 9,218명이 설문에 응답하였으며, 이 중 1차 및 2차 훈련에 모두 참여한 구성원(Q5 응답 ‘둘 다’) 1,606명을 분석 대상으로 선별하였다.

IV. 해킹메일 대응 훈련 결과 분석

본 장에서는 수작업 기반 해킹메일 대응 훈련(1차 훈련)과 생성형 AI 기반 해킹메일 대응 훈련(2차 훈련)의 결과를 비교·분석한다. 특히 AI 기반 훈련이 더 효과적인 학습 경험을 제공하는지를 행동 데이터와 시나리오 분석을 중심으로 검증한다.

4.1 연도별 훈련 결과 추이 및 열람율 분석

수작업 기반 반복 훈련만으로도 열람율은 2022년 44.68%에서 2024년 37.01%로 연평균 약 3.8%p씩 감소하는 추세를 보였다. 이는 강영묵[26]이 3년 종단 데이터에서 확인한 반복 훈련의 학습 효과 패턴과 일치하며, 같은 기간 열람 후 신고율은 81~88% 수준으로 오히려 향상되어 기존 열람·신고 중심 지표 체계 내에서 반복 훈련이 긍정적인 효과를 발휘하고 있었음을 보여준다. 2025년 1차 훈련의 급락은 대상자 규모 확대(약 5,000명 → 12,180명)에 따른 집단 구성 변화의 영향이 혼재되어 있어 절대값 비교 시 이를 고려해야 한다.

주목할 점은 AI 기반 훈련이 도입된 2차 훈련에서 열람 후 신고율이 35.89%로 급락한 결과이다. 이 수치만을 단독으로 보면 훈련 효과가 저하된 것으로 해석될 수 있으나, 이는 훈련 실패를 의미하는 것이 아니다. 2022~2024년 수작업 반복 훈련에서 신고율이 82~88%로 안정적으로 유지되었던 것은 사용자들이 기존 수작업 시나리오의 패턴을 학습하여 식별이 용이해진 결과이며, AI 기반 2차 훈련에서의 급락은 기존 훈련으로 형성된 패턴 기반 식별 전략이 고현실성 AI 시나리오에서는 충분하지 않음을 시사하는 것으로 해석된다. 즉, 신고율 급락은 훈련 시나리오가 기존 패턴 기반 식별 전략을 넘어설 수 있음을 시사하며, 그 정교성이 실제 공격 환경에 근접했을 가능성을 보여준다. 이러한 체감 경험이 사용자들의 위협 인식을 재각성시키는 교육적 효과로 이어졌는지는 5장의 설문 분석(Q17, Q9→Q10)에서 검증한다.

Table 3. Annual phishing training results (2022–2025)

4.2 훈련 방식에 따른 이메일 관심 행동 분석

1차 수작업 기반 훈련에서 이메일을 열람한 대상자는 총 2,375명(19.50%)이었으며, 약 2개월 후 실시한 2차 AI 기반 훈련에서는 1,449명(11.90%)으로 감소하였다. Table 4의 Reported는 전체 대상자 수 기준의 신고 인원이며, 열람 후 신고율은 열람자 대비 비율로 별도 계산하였다.

Table 4. Distribution of email interest behavior by training method

카이제곱 검정 결과, 훈련 방식과 이메일 관심 행동 간의 관계는 통계적으로 매우 유의미한 것으로 확인되었다(χ²(1)=265.990, p<.001). 열람율의 감소는 1차 훈련을 통해 형성된 보안 경각심이 행동 수준의 학습 효과로 전이되었음을 시사한다.

4.3 위험 행동 전환율 분석: 링크 클릭 행위

피싱 공격의 실제 위험성은 사용자가 이메일을 열람한 이후 어떠한 행동을 수행하는지에 따라 결정된다. 1차 훈련은 기존 수작업 방식의 베이스라인을 재현하는 설계상 링크 클릭 요소가 포함되지 않았으며, 이는 기존 훈련 체계가 실제 위험 행동을 측정 범위 밖에 두어 왔다는 구조적 공백을 드러낸다. 본 연구의 2차 훈련은 기존 열람·신고 중심의 지표 체계에서 측정되지 않았던 링크 클릭 행동을 독립 지표로 포함하여 분석하였다.

분석 결과, 2차 훈련에서 이메일을 열람한 1,449명 중 238명이 링크를 클릭하였으며 이는 열람자 대비 약 16.43%에 해당한다. 이 수치는 AI가 생성한 고현실성 시나리오가 기존 훈련으로 형성된 경계심을 넘어서는 위협 체감 경험을 제공하였음을 보여준다.

4.4 AI 생성 시나리오의 정교성 분석

본 절에서는 LLM 4종이 생성한 12종 시나리오의 텍스트 특성을 발신자 정교성, 사회공학적 요소 구현 수준, 시나리오 내용 비교의 세 측면에서 분석한다. 이를 통해 시나리오의 어떤 특성이 사용자 행동 차이로 이어졌는지를 탐색적으로 확인하고, 향후 훈련 시나리오 설계에 참고할 수 있는 요소를 도출하고자 한다.

먼저 발신자 정교성 측면에서, AI는 각 시나리오에서 실제 기관의 공식 도메인과 시각적으로 유사한 위장 도메인을 자동으로 생성하였다. 국가통계청(kostat.go.kr) 사칭 시나리오에서 ‘kostat-gov.kr’을, KISA(kisa.or.kr) 사칭 시나리오에서 ‘kisa-security.kr’을 생성하는 등 실제 도메인과 1~2개의 문자 또는 구조만 다른 위장 주소를 12종 시나리오 모두에서 일관되게 자동 구성하였다. 이는 수작업 훈련에서 담당자 역량에 따라 구현 수준이 달라지던 발신자 위장 요소를 AI가 일관되게 자동화할 수 있음을 보여주며, 훈련 시나리오의 현실성 확보 측면에서 중요한 의미가 있다.

다음으로 사회공학적 요소 구현 측면에서, 본 연구는 Hong[6], Alkhalil 등[13]의 개념과 Cialdini[29]의 설득 원칙을 바탕으로 권위성(Authority), 긴급성·손실 프레이밍(Urgency/Loss framing), 희소성·개인화(Scarcity/Personalization), 발신자 신뢰도(Sender credibility), 맥락 적합성(Contextual fit), 실시간 정보 반영(Real-time information)의 6개 요소를 분석 기준으로 도출하였다. 분석 결과 12종 중 권위성 High 8종(66.7%), 긴급성·손실프레이밍 High 7종(58.3%)으로, 대다수의 시나리오가 복합적인 사회공학적 요소를 자동으로 구현하였다. 이는 훈련 담당자가 수작업으로 구현하기 어려웠던 다양한 사회공학적 요소 조합을 AI가 일관되게 생성할 수 있음을 보여준다.

Table 5. Comparison of training results by generative AI model

Table 6. Summary of 12 training scenarios

마지막으로 시나리오 내용 비교 측면에서, 동일 주제를 사용한 시나리오들의 메일 내용이 사회공학적으로 어떻게 다르게 구성되었는지를 구체적으로 살펴본다. DeepSeek-1은 "법정의무조사에 해당하며 미참여 시 과태료가 부과됩니다"라는 강한 법적 위협 표현을 사용하여 Table 7에서 권위성·긴급성이 High로 분류되었으나, 과도한 강압적 표현이 오히려 수신자의 경계심을 유발하여 클릭율이 5.56%에 그쳤다. 이는 설득적 글쓰기에서 강압적 표현이 오히려 역효과를 낼 수 있음을 보여주며, LLM이 생성한 시나리오라도 프롬프트 설계 방향에 따라 훈련 효과가 달라질 수 있음을 시사한다. 다만 본 절의 분석은 탐색적 성격을 가지며, 모델 간 성능 차이를 인과적으로 확정하기보다는 시나리오 특성과 사용자 반응 간의 연관성을 확인하는 데 목적이 있다. 향후 연구에서는 복수 평가자 기반의 정량적 검증이 필요하다.

Table 7. Social engineering element analysis by scenario

각 요소에 대한 High/Medium/Low 평정은 Cialdini[29], Hong[6], Alkhalil 등[13]의 선행연구에서 제시된 개념 정의를 기준으로 시나리오 원문에 근거하여 분류한 탐색적 분석이다. 단일 연구자에 의한 분류라는 점에서 주관성의 한계가 있다. 향후 연구에서는 사이버보안 및 사회공학 분야 전문가 3인 이상을 독립 평가자로 구성하고, 동일한 평정 기준표에 따라 개별적으로 평가를 수행한 뒤 Cohen's Kappa 등의 평정자 간 신뢰도 지표를 산출함으로써 본 분류 체계의 객관성 확보가 필요하다.

Table 7의 분석 결과와 행동 데이터를 결합하면, 시나리오 설계 요소의 결합 방식이 실제 훈련 효과에 미치는 영향을 구체적으로 확인할 수 있다. 동일한 국민건강보험공단 건강검진 주제를 사용한 Gemini-3과 Perplexity-3의 열람 후 클릭율은 각각 7.14%와 41.50%로 약 5.8배의 격차를 보였다. Gemini-3은 발신자 주소가 국민건강보험공단과 무관한 CJ대한통운 도메인(cjlogistics.com)으로 설정되어 메일 내용과 발신자 간 맥락 불일치가 발생하였으며, 이로 인해 Table 7에서 권위성(L), 발신자 신뢰도(L), 맥락 적합성(M)이 낮게 평가되었다. 반면 Perplexity-3은 "2025년 귀하의 정기 건강검진 결과가 확인되었습니다"라는 개인화 문구, "결과는 7일 이내 미확인 시 자동 폐기됩니다"라는 손실 프레이밍, 실시간 연도 정보, 그리고 실제 도메인과 유사한 'nhis-check.kr'을 결합함으로써 6개 요소 모두 High 또는 Yes를 달성하였다. 이는 훈련 시나리오에서 발신자 맥락 일치, 개인화, 실시간 정보의 복합 결합이 사용자의 실제 행동 반응에 직접적인 영향을 미치며, 향후 AI 기반 훈련 시나리오 설계 시 이러한 요소를 고려할 필요가 있음을 시사한다. 또한 동일 공통 프롬프트를 적용한 -1 시나리오 4종에서도 ChatGPT-1(18.57%)~DeepSeek-1(5.56%)으로 최대 3.3배의 격차가 나타나, 복수의 LLM을 활용하여 시나리오 다양성을 확보할 필요가 있음을 시사한다.

4.5 훈련결과 종합

4.1절부터 4.4절까지의 행동 데이터를 종합하면, AI 기반 훈련이 수작업 방식 대비 더 효과적인 학습 경험을 제공한다는 본 연구의 핵심 주장을 세 가지 측면에서 뒷받침하는 결과를 확인할 수 있다.

첫째, 열람율 감소가 단순 반복 훈련의 자연 감소 패턴을 넘어선다. 2022~2024년 수작업 반복 훈련에서 열람율은 연평균 약 3.8%p씩 감소하였으나, 2차 AI 기반 훈련에서 열람율은 1차 훈련 대비 19.50%에서 11.90%로 7.6%p 감소하였다. 동기간 수작업 훈련의 열람 후 신고율은 82~88%로 안정적으로 유지 혹은 향상되었는데, AI 기반 훈련에서는 35.89%로 급락하였다. 이는 사용자들이 기존 수작업 시나리오의 패턴 인식을 통해 형성한 식별 전략이 고현실성 AI 시나리오 앞에서는 충분하지 않았음을 시사하며, AI 기반 훈련이 수작업 훈련과 질적으로 다른 위협 체감 경험을 제공하였음을 보여준다.

둘째, 링크 클릭 행동 분석을 통해 기존 훈련 지표 체계의 공백이 확인되었다. 2차 훈련에서 열람자 1,449명 중 238명(16.43%)이 링크를 클릭하였다. 이 수치는 열람 후 신고율(35.89%)과 함께 볼 때 의미가 있다. 즉 메일을 열람한 사용자 중 상당수가 신고보다 클릭을 먼저 선택하였으며, 이는 기존 열람·신고 중심의 지표 체계만으로는 포착할 수 없었던 실제 위험 행동 전환을 보여주는 결과이다.

셋째, 시나리오 설계 요소가 훈련 효과에 직접적인 영향을 미쳤다. Gemini-3(7.14%) vs Perplexity-3(41.50%)의 최대 5.8배 격차, 동일 공통 프롬프트 -1 시나리오 간 3.3배 격차는, AI 기반 훈련이라도 시나리오의 설계 방향(발신자 맥락 일치, 개인화, 실시간 정보 결합 여부)에 따라 훈련 효과가 크게 달라짐을 보여준다. 이는 AI 훈련 도입 자체보다 시나리오 설계 품질 관리가 훈련 효과를 결정하는 핵심 요소임을 시사하며, 기존 수작업 훈련에서 담당자 역량에 의존하던 품질 격차 문제가 AI 기반 훈련에서도 프롬프트 설계 방향에 따라 재현될 수 있음을 의미한다. 이러한 고현실성 훈련 경험이 사용자들의 위협 인식과 식별 능력 향상으로 이어졌는지는 5장의 설문 분석에서 검증한다.

V. 훈련 후 설문조사 결과 분석

4장에서 행동 데이터를 통해 AI 시나리오의 정교성과 실제 위협 전환 효과를 확인하였으며, 본 장에서는 이러한 경험이 실제로 사용자의 위협 인식과 역량 향상으로 이어졌는지를 설문 데이터로 검증한다. AI 기반 훈련이 수작업 방식 대비 더 효과적인 학습 경험을 제공하는지를 사용자 인식과 태도 변화를 중심으로 정량적으로 확인한다.

5.1 설문조사 개요 및 분석 방법

설문조사는 두 훈련 방식을 모두 경험한 구성원 1,606명을 분석 대상으로 실시되었다. 전체 응답자는 9,218명이었으나, 두 훈련 방식의 비교 인식을 동시에 가진 구성원(Q5 응답 '둘 다')으로 한정하여 훈련 방식 변화에 따른 인식 차이를 정확하게 비교·분석하였다. 모든 문항은 리커트(Likert) 5점 척도(1점: 전혀 아니다, 5점: 매우 그렇다)로 구성되었으며, 일표본 t-검정, 대응표본 t-검정, 등분산을 가정하지 않는 Welch's 독립 2표본 t-검정을 단계적으로 적용하였다.

5.2 AI 기반 훈련 효과성 인식에 대한 일표본 t-test

"AI 기반 훈련이 해킹메일 사고 예방에 더 효과적이라고 생각하십니까?"(Q17)에 대한 일표본 t-검정 결과, 평균 3.761점(SD=1.013), t(1605)=30.091, p<.001로 중립값(3점)을 통계적으로 유의미하게 상회하였다. 이는 응답자들이 AI 기반 훈련을 기존 수작업 방식 대비 더 효과적이라고 인식하고 있음을 의미한다. 4장에서 확인된 AI 시나리오의 높은 현실성이 Kumaraguru 등[7]이 강조한 실전형 훈련의 학습 전이 메커니즘을 통해 사용자들의 훈련 효과성 인식을 높인 것으로 해석된다.

5.3 훈련 전·후 해킹메일 식별 능력 인식 변화 분석

훈련 전 식별 능력(Q9)과 훈련 후 향상 정도(Q10)를 비교한 대응표본 t-검정 결과, 3.328점에서 3.823점으로 0.495점 향상되었으며(t(1605) =-17.716, p<.001), 통계적으로 매우 유의미한 차이가 확인되었다. 이는 AI 기반 고현실성 훈련에 노출된 사용자들이 실제 위협의 정교함을 체감하는 경험을 통해 스스로 인지하는 식별 역량이 유의미하게 향상되었음을 의미한다. Kumaraguru 등[7]이 강조한 실전형 임베디드 훈련 방식이 장기적인 행동 변화에 효과적임을 고려할 때, 이 결과는 AI 기반 훈련이 단순한 시나리오 배포를 넘어 실질적인 보안 역량 향상으로 이어질 수 있음을 시사한다.

5.4 보안 관심도에 따른 훈련 효과성 인식 차이 분석

Q18(보안 관심도)을 기준으로 고관심(N=954)과 저관심(N=111) 집단을 분류하여 Welch's 독립 2표본 t-검정을 수행한 결과, 고관심 그룹 평균 4.101점, 저관심 그룹 평균 2.829점으로 두 집단 간 1.272점의 유의미한 차이가 확인되었다(t(1063)=10.024, p<.001). 이는 NIST SP 800-50r1[18]에서 강조하는 역할 기반(Role-based) 차별화 훈련의 필요성을 실증적으로 뒷받침하며, IATF의 개인화 피드백 설계의 타당성을 지지한다.

5.5 설문조사 결과 종합

설문조사 결과는 AI 기반 훈련이 수작업 방식 대비 더 효과적인 학습 경험을 제공한다는 본 연구의 핵심 주장을 사용자 인식 차원에서 통계적으로 지지한다. Q17의 효과성 긍정 평가와 Q9→Q10의 식별 능력 향상은 AI 시나리오의 고현실성이 사용자로 하여금 실제 위협을 체감하게 하고 학습 전이를 유발하였음을 시사한다.

행동 데이터와의 연계 분석도 이러한 해석을 뒷받침한다. Q11(올바른 대응 방법 인지, M=4.107, t(1605)=49.042, p<.001)과 실제 열람 후 신고율 35.89% 간의 괴리는 Wash와 Rader[16]가 지적한 보안 지식과 보호 행동 간의 간극을 수치로 실증하며, Q12(더 신중하게 확인하게 됨, M=4.193, t(1605)=53.326, p<.001)의 높은 인식은 실제 열람율 감소(11.90%)와 방향성이 일치한다. 단, 설문이 익명으로 진행되어 행동 데이터와 개인 단위 매칭이 불가능하였으므로 행동-설문 연계 분석은 집단 수준의 비교에 한정됨을 밝혀둔다.

이러한 결과를 종합하면, AI 기반 훈련은 수작업 방식 대비 세 가지 측면에서 더 효과적인 학습 경험을 제공하였음이 확인된다. 첫째, 사용자들이 AI 훈련을 더 효과적이라고 인식하였고(Q17), 둘째, 훈련 전보다 식별 능력이 유의미하게 향상되었으며(Q9→Q10), 셋째, 행동 변화 인식이 실제 열람율 감소 방향과 일치하였다(Q12). 고현실성 AI 시나리오에의 노출이 사용자로 하여금 실제 위협을 체감하게 하고, 이것이 위협 인식과 대응 역량의 실질적 향상으로 이어졌음을 행동 데이터와 설문 결과가 일관되게 지지한다.

VI. AI 기반 해킹메일 대응 훈련 자동화 프레임워크 제안

본 연구의 실증 분석 결과는 AI 기반 훈련이 수작업 방식 대비 더 효과적인 학습 경험을 제공할 수 있음을 보여준다. 이를 체계화하기 위해 본 연구는 NIST SP 800-50r1[18]의 핵심 철학을 반영한 지능형·적응형 피싱 대응 훈련 자동화 프레임워크(Intelligent & Adaptive phishing Training Framework, IATF)를 제안한다.

6.1 기존 해킹메일 훈련 체계의 구조적 한계

기존의 해킹메일 대응 훈련은 보안 담당자의 경험에 의존하여 시나리오를 제작하고 일괄 발송하는 방식으로 운영되어 왔다. 첫째, 시나리오 다양성의 한계이다. 수작업 방식은 제작 비용과 시간 제약으로 인해 LLM이 자동으로 구현하는 수준의 개인화·실시간 정보 결합을 달성하기 어렵다[10]. 둘째, 훈련 난이도의 정적 구조이다. 기존 훈련은 개별 사용자의 취약 수준과 무관하게 동일한 난이도의 메일을 일괄 발송한다. 셋째, 지표 측정의 구조적 공백이다. 열람·신고 중심 지표로는 링크 클릭이라는 핵심 위험 행동을 포착하지 못한다. 이는 NIST SP 800-50[17]의 정적·선형적 교육 모델의 한계를 그대로 보여준다.

6.2 제안 프레임워크의 설계 원칙

IATF는 NIST SP 800-50r1[18]의 행동 변화(Behavior Change) 기반 학습 원칙을 토대로 세가지 핵심 설계 원칙을 준용한다. 첫째, 지능화(Intelligence): LLM의 설득적 글쓰기 역량을 활용하여 실제 공격자 수준의 정교한 시나리오를 자동으로 생성함으로써 훈련의 현실성을 극대화한다. 둘째, 적응성(Adaptivity): 사용자의 과거 훈련 이력과 행동 데이터를 분석하여 개인별 취약 수준에 맞는 난이도의 훈련을 자동으로 제공한다. 셋째, 지속성(Sustainability): 최소한의 인적 개입으로 대규모 조직 대상 반복·진화하는 훈련을 장기간 운영할 수 있도록 자동화 구조를 채택한다.

6.3 AI 기반 해킹메일 대응 훈련 자동화 프레임워크 구조

제안하는 IATF는 총 네 개의 계층으로 구성된 순환형 구조를 가지며, 8단계의 폐쇄 루프(closed-loop) 프로세스로 유기적으로 연결된다.(Fig. 1 참조)

Fig. 1. Intelligent & Adaptive phishing Training Framework(IATF)

Table 8. Traditional training vs IATF comparison

Table 9. IATF 8-step operational process

6.3.1 시나리오 자동 생성 계층 (Scenario Generation Layer)

1단계(사용자 프로파일링)에서 직무·부서·훈련 이력·행동 로그를 기반으로 개인별 취약도 점수와 위험 등급을 산출한다. 2단계(시나리오 생성)에서 LLM이 조직의 업무 특성, 최근 보안 이슈, 직무별 역할 정보를 반영한 맞춤형 피싱 메일을 자동 생성한다. 본 연구에서 확인된 실시간 정보·개인화 결합의 효과[10]는 이 단계의 설계 원리를 실증적으로 뒷받침한다. 3단계(훈련 발송)에서 무작위 발송 시점이 결정되어 훈련 대상자에게 전달된다.

6.3.2 적응형 피드백 및 난이도 조절 계층 (Adaptive Feedback Layer)

4단계(행동 수집)에서 사용자의 이메일 열람, 링크 클릭, 신고 여부 등 모든 대응 과정을 타임스탬프 기반으로 수집한다. 기존 훈련 체계에서 포착하지 못하였던 링크 클릭 행동을 핵심 지표로 포함함으로써, 실제 위험 행동 전환을 실시간으로 감지하고 즉각적 피드백 발송 여부를 결정한다(5단계).

6.3.3 개인별 맞춤형 대응 계층 (Individualized Response Layer)

6단계(개인화 피드백)에서 행동 유형별 교육 콘텐츠를 매핑하여 사용자에게 맞춤형 피드백을 제공한다. 본 연구에서 보안 관심도에 따라 훈련 효과성 인식이 유의미하게 다르게 나타난 결과는, 이 단계의 차별화 접근이 필수적임을 실증한다. 7단계(난이도 조절)에서 누적 행동 이력에 따라 차기 훈련 파라미터를 결정한다(Table 10 참조).

Table 10. IATF difficulty adjustment criteria based on user behavior

6.3.4 지속적 최적화 계층 (Continuous Optimization Layer)

8단계(전략 최적화)에서 전체 조직의 훈련 결과와 장기 추이를 분석하여 프롬프트 구조와 훈련 전략을 지속적으로 개선한다. 개선된 프롬프트는 다시 1단계로 환류되어 폐쇄 루프 구조를 완성하며, 이는 NIST 800-50r1이 강조하는 동적 성숙도 측정 및 지속적 개선 모델을 구현한다.

6.4 제안 프레임워크의 기대 효과

IATF는 본 연구에서 실증된 AI 기반 훈련의 효과를 조직 수준에서 체계적으로 확장하는 구조를 제공한다. 첫째, LLM의 설득적 글쓰기 역량[9][10]을 활용하여 수작업 방식의 콘텐츠 다양성 한계를 극복하고 훈련의 현실성을 지속적으로 유지할 수 있다. 둘째, 사용자 행동 데이터 기반의 적응형 난이도 조절을 통해 개인별 맞춤형 학습 효과를 극대화할 수 있다. 셋째, 대규모 조직에서도 운영 비용을 최소화하면서 지속 가능한 훈련 체계를 구축할 수 있다.

VII. 논의

7.1 훈련 결과 해석 및 학습 효과에 대한 논의

본 연구에서 가장 주목할 만한 결과는 연도별 종단 데이터를 통해 수작업 기반 반복 훈련이 열람율 감소와 신고율 향상이라는 이중적 학습 효과를 제공해 왔음이 확인되었다는 점이다. 이는 기존 열람·신고 중심 지표 체계 내에서 반복 훈련이 긍정적인 효과를 발휘하고 있었음을 의미한다.

한편, 1차 훈련 시 링크 클릭 지표가 포함되지 않아 두 훈련 방식 간 직접 비교에 한계가 있음을 인정한다. 이를 보완하기 위해 2022~2024년 3개년 종단 데이터를 역사적 대조군(Historical Control)으로 활용하였다. 지난 3년간 열람 후 신고율이 82%에서 88%로 향상되었던 추세와 비교할 때, AI 기반 훈련 도입 시점에서 나타난 신고율 급락은 단순한 순서 효과만으로는 충분히 설명되지 않는다. 만약 순서 효과가 주요 원인이었다면, 기존 반복 훈련에서 나타난 신고율 유지 또는 증가 추세가 일정 부분 지속될 가능성이 있었다. 그러나 2차 훈련에서의 신고율 감소(82~88%에서 35.89%로)는 역사적 대조군과의 비교에서 확인되듯 기존 추세와 다른 양상을 보였으며, 이는 AI 기반 시나리오의 현실성 강화와 사회공학적 요소 구성 변화가 사용자 반응에 영향을 미쳤을 가능성을 시사한다. 다만 보다 엄밀한 인과적 검증을 위해서는 향후 병렬 대조군 또는 집단 무작위 배정 기반 연구가 필요하다. 나아가 본 연구의 비교는 동일 지표 기반의 직접적 성능 검증이 아니라, 기존 훈련 체계(열람·신고 중심)와 확장된 행동 기반 체계(클릭 포함) 간의 구조적 차이를 드러내는 데 목적이 있다. 따라서 본 연구는 훈련 방식 간 성능 비교가 아니라, 기존 훈련 체계의 한계와 확장 필요성을 실증하는 연구로 해석되어야 한다. 아울러 본 연구 결과는 AI 기술 자체의 우수성을 직접 비교한 결과라기보다, 훈련 시나리오 설계 방식의 변화가 사용자 행동과 인식에 미치는 영향을 보여주는 것으로 이해해야 한다.

7.2 AI 기반 훈련의 효과성에 대한 논의

설문조사 결과는 AI 기반 훈련이 수작업 방식 대비 더 효과적인 학습 경험을 제공한다는 본 연구의 핵심 주장을 통계적으로 지지한다. Q17의 훈련 효과성 긍정 평가(M=3.761, p<.001)와 Q9→Q10의 식별 능력 향상(+0.495점, p<.001)은, AI가 자동으로 구현한 고현실성 시나리오가 사용자의 위협 체감을 극대화하고 학습 전이(transfer of learning)를 유발하였음을 시사한다. 이는 Kumaraguru 등[7]이 강조한 실전형 임베디드 훈련의 효과성과 일관된 결과이다. 다만 이러한 효과는 AI 기술 자체의 우수성에서 비롯된 것이라기보다, AI가 가능하게 한 고현실성 시나리오 설계가 사용자 경험을 질적으로 변화시킨 결과로 해석하는 것이 보다 정확하다.

4.4절의 시나리오 분석은 이러한 결과가 나타난 메커니즘을 구체적으로 설명해준다. 수작업 훈련에서 담당자 역량에 따라 구현 수준이 달라지던 발신자 위장, 사회공학적 요소 결합, 개인화·실시간 정보 반영을 AI가 일관되게 자동 구현함으로써 훈련 시나리오의 현실성이 높아졌고, 이것이 사용자의 위협 체감과 학습 전이로 이어진 것으로 해석된다. 반면 DeepSeek 시나리오들에서 확인된 것처럼, 공통 프롬프트를 적용한 DeepSeek-1(클릭율 5.56%)과 개별 자체 생성 시나리오인 DeepSeek-2(0.76%), DeepSeek-3(16.67%) 간에는 시나리오별 사용자 반응 차이가 관찰되었다. 이는 동일한 AI 모델을 활용하더라도 프롬프트 구성 방식과 시나리오 설계 방향에 따라 사용자 반응이 달라질 수 있음을 시사한다.

7.3 실무적 시사점

본 연구의 결과는 조직의 인적 보안 훈련이 AI 기반 지능적·적응적 체계로 전환되어야 함을 시사한다. 첫째, LLM의 설득적 글쓰기 역량을 활용하여 수작업의 콘텐츠 다양성 한계를 극복하고 훈련의 현실성을 지속적으로 유지할 수 있다. 둘째, 링크 클릭을 포함한 단계별 행동 지표 체계를 도입함으로써 기존 훈련의 지표 구조상 공백을 보완할 수 있다. 셋째, 설문에서 확인된 보안 관심도에 따른 훈련 효과 차이는 NIST SP 800-50r1[18]가 강조하는 역할 기반 맞춤형 훈련의 필요성을 실증적으로 뒷받침한다.

7.4 연구의 한계 및 위협 요인

본 연구는 다음과 같은 설계적 한계가 있다. 첫째, 실험 설계의 제약이다. 단일 순서 설계로 인해 교차 검증이나 완전한 대조군 설정에 한계가 있었다. 2022~2024년 3개년 종단 데이터를 역사적 대조군으로 활용하여 이를 보완하였으나, 향후 연구에서는 집단 분리 및 무작위 배정 설계가 필요하다. 둘째, 지표 측정의 범위이다. 1차 훈련에서 링크 클릭 지표를 측정하지 않았기 때문에 두 훈련 방식 간 클릭율의 직접 비교에는 구조적 제한이 존재한다. 또한 익명 설문으로 인해 개인 단위의 설문 응답과 행동 데이터를 매칭하지 못하였으며, 이로 인해 보안 지식 향상이 실제 행동 변화로 이어졌는지를 개인 수준에서 인과적으로 확인하는 데 제약이 따른다. 따라서 행동-설문 연계 분석은 집단 수준의 비교에 한정하여 해석되어야 한다. 아울러 본 연구는 단일 공공기관을 대상으로 수행되었으므로, 조직 규모·업종·보안 문화가 상이한 다른 기관으로의 결과 적용에는 신중한 해석이 요구된다. 셋째, 시나리오 변수 통제의 한계이다. 본 연구의 목적은 훈련 시나리오 텍스트의 직접 비교가 아니라 두 훈련 방식이 사용자 행동과 인식에 미치는 효과를 실증하는 데 있다. AI 기반 시나리오의 설득적 정교성은 Goldstein 등[9], Matz 등[10]의 선행연구를 통해 이론적으로 뒷받침되며, 4.4절의 시나리오 분석에서 실제 메일 내용과 행동 데이터를 연결하여 그 정교성을 구체적으로 확인하였다.

이러한 한계에도 불구하고, 본 연구는 1만 명 이상의 실제 조직 구성원을 대상으로 LLM의 설득적 글쓰기 역량을 훈련 도구로 역활용하는 접근의 효과성을 대규모 실증 데이터로 검증하고, IATF를 제안하였다는 점에서 학문적·실무적 가치가 있다. 한편, 본 연구가 활용한 LLM의 설득적 글쓰기 역량은 훈련 목적 외에 악용될 경우 실제 피싱 공격의 정교화에 기여할 수 있다는 점에서 양면적이다. 향후 AI 기반 보안 콘텐츠 생성에 대한 윤리적 가이드라인 연구가 병행되어야 할 것이다.

VIII. 결론

본 연구는 생성형 AI 기반 해킹메일 대응 훈련이 기존 수작업 기반 훈련 대비 더 효과적인 학습 경험을 제공할 수 있는지를 대규모 실증 데이터를 통해 검증하였다. 동일한 조직 구성원 12,180명을 대상으로 두 차례의 훈련을 순차적으로 수행하고, 2022~2024년 종단 데이터와의 비교 분석, 12종 시나리오의 텍스트 특성 분석, 그리고 설문 기반 통계 검증을 통해 AI 기반 훈련의 실효성을 다각적으로 확인하였다.

핵심 결과는 세 가지로 요약된다. 첫째, AI 기반 훈련은 기존 수작업 훈련의 콘텐츠 한계를 실질적으로 보완하였다. 발신자 위장 주소 자동 생성, 사회공학적 요소의 복합 구현, 실시간 정보와 개인화의 결합을 AI가 일관되게 자동 달성함으로써, 담당자 역량에 의존하던 수작업 방식으로는 재현하기 어려운 수준의 훈련 시나리오 현실성을 확보하였다. 특히 실시간 정보와 개인화를 결합한 시나리오(Perplexity-3)에서 열람 후 클릭율이 41.50%에 달하였으며, 동일 주제 시나리오 간 최대 5.8배의 격차는 시나리오 설계 요소가 훈련 효과에 중요한 영향을 미치는 변수임을 시사한다. 둘째, AI 기반 고현실성 훈련이 사용자의 위협 인식과 식별 역량 향상으로 이어졌다. 설문조사 결과 AI 기반 훈련의 효과성에 대한 긍정적 평가(Q17, p<.001)와 훈련 전·후 식별 능력의 유의미한 향상(+0.495점, p<.001)이 확인되었으며, 이는 실제 공격 수준에 근접한 시나리오에 노출되는 경험이 단순한 패턴 인식을 넘어 실질적인 보안 역량 향상으로 이어질 수 있음을 실증하였다. 셋째, 이러한 실증 결과를 바탕으로 제안된 IATF는 AI의 설득적 글쓰기 자동화 역량과 적응형 학습 원칙을 결합하여 기존 훈련 체계의 콘텐츠·지표 구조상 한계를 동시에 극복하는 방향을 제시한다.

본 연구는 LLM의 설득적 글쓰기 역량에 관한 선행연구[9][10]의 발견을 실제 대규모 피싱 훈련 환경에 적용하고 그 교육적 효과를 실증하였다는 점에서 의의가 있다. 실무적으로는 공공기관 및 대규모 조직이 현실적으로 적용 가능한 AI 기반 훈련 모델과 운영 전략을 제시함으로써 보안 교육 체계 설계의 직접적인 참고 자료로 활용될 수 있을 것이다.

생성형 AI의 확산으로 피싱 공격의 정교함이 지속적으로 향상되는 환경에서, 이에 대응하는 훈련 체계 역시 동일한 기술적 진화를 수용해야 한다. 이는 향후 인적 보안 훈련이 정적 콘텐츠 기반에서 동적·적응형 시나리오 기반 체계로 전환되어야 함을 시사한다. 본 연구는 LLM의 설득적 글쓰기 역량을 훈련 도구로 역활용하는 접근이 인적 보안 강화의 유의미한 대안이 될 수 있음을 실증적으로 제시하였으며, 향후 다양한 조직과 환경에서의 검증 연구를 통해 이 접근의 일반화 가능성이 더욱 확대될 것으로 기대한다.