I. 서론
1.1 연구 배경 및 필요성
대규모 언어 모델(Large Language Model, LLM) 기술은 단순한 텍스트 생성을 넘어 외부 API, 데이터베이스, 파일 시스템 등과 상호작용하며 복잡한 임무를 자율적으로 수행하는 에이전트 형태로 확산되고 있다. 특히 사용자의 자연어 요구사항을 해석하고, 그에 적합한 외부 도구를 선택·실행하는 도구 호출(tool calling) 기능은 엔터프라이즈 환경의 업무 자동화에서 핵심 구성요소로 활용되고 있다[1]. 그러나 LLM 에이전트의 자율성과 외부 데이터 접근 권한이 확대됨에 따라 새로운 보안 위협도 함께 증가하고 있다. 대표적으로 악의적인 명령어를 웹페이지, 문서, 이메일 등 외부 콘텐츠에 은닉하여 에이전트가 이를 정상적인 지시로 오인하게 만드는 간접 프롬프트 주입(Indirect Prompt Injection, IPI) 공격이 있다[2]. 이러한 공격은 사용자의 원래 의도와 에이전트의 실제 수행 행위 사이에 의미론적 불일치를 유발하며, 결과적으로 의도하지 않은 도구 호출, 정보 유출, 권한 오남용 등의 보안 문제로 이어질 수 있다[2][3][4].
이러한 배경에서 LLM 에이전트의 도구 호출 과정에서 발생하는 이상 행위를 탐지하는 기술은 중요한 보안 연구 주제로 부상하고 있다. 최근에는 별도의 LLM 기반 안전 필터 또는 검증기를 활용하여 입력·출력의 위험 여부를 판단하는 방식이 연구되고 있다[5]. 그러나 이러한 방식은 방어 효과와 모델 유용성, 계산 비용 사이의 절충을 동반할 수 있으며, 실시간 도구 호출 검증 환경에서는 낮은 지연시간과 배포 용이성도 중요한 요구사항이 된다[6]. 따라서 기존 LLM 자체를 수정하지 않으면서도 사용자 의도와 도구 호출 간의 의미적 불일치를 빠르게 탐지할 수 있는 경량화된 보조 방어 기법이 필요하다.
본 연구는 간접 프롬프트 주입으로 인해 발생할 수 있는 비정상 도구 호출 문제를 사용자 프롬프트와 호출된 도구 이름 간 의미론적 정합성 검증 문제로 정의한다. 이를 위해 사용자의 자연어 프롬프트와 호출된 도구의 이름을 각각 문장 임베딩 벡터로 변환하고 두 벡터 간 차이를 특징값으로 추출하는 경량 분석 기법을 제안한다. 제안 기법은 단순히 특정 도구의 위험성을 판별하는 것이 아니라 특정 사용자 프롬프트의 문맥에서 해당 도구 호출이 의미적으로 적절한지를 판단하는 데 초점을 둔다.
1.2 위협 모델
본 연구는 신뢰할 수 없는 외부 콘텐츠에 포함된 지시가 LLM 에이전트의 도구 선택 과정에 영향을 미쳐 사용자의 원래 요청과 의미적으로 부합하지 않는 도구 호출이 생성되는 상황을 위협 모델로 가정한다. 여기서 외부 콘텐츠는 웹페이지, 문서, 이메일, 외부 API 응답 등 LLM 에이전트가 작업 수행 과정에서 참조할 수 있는 비신뢰 입력을 의미한다. 공격자는 이러한 외부 콘텐츠에 악성 지시를 삽입하여 에이전트가 사용자의 원래 의도보다 공격자의 지시를 우선적으로 따르도록 유도할 수 있다.
공격자의 목표는 도구를 직접 실행하는 것이 아니라 LLM 에이전트가 사용자의 원래 요청과 다른 도구를 선택하도록 유도하는 것이다. 예를 들어 사용자가 문서 요약을 요청한 상황에서 이메일 전송 도구가 호출되거나 일정 조회를 요청한 상황에서 일정 생성 또는 삭제 도구가 호출되는 경우가 이에 해당한다. 이러한 호출은 반드시 실제 공격 성공 로그를 의미하는 것은 아니지만 간접 프롬프트 주입 공격 등으로 인해 발생할 수 있는 사용자 의도와 도구 호출 간 정합성 불일치 상황으로 볼 수 있다.
본 연구에서는 공격자가 웹페이지, 문서, 이메일 등 외부 콘텐츠에 악성 지시를 삽입할 수 있다고 가정한다. 그러나 공격자는 LLM의 모델 파라미터, 시스템에 등록된 도구 목록, 정합성 검증기의 학습 데이터와 임계값을 직접 조작할 수 없다고 가정한다. 또한 사용자의 원래 프롬프트는 방어자가 신뢰할 수 있는 기준 입력으로 간주하며 공격자는 이를 직접 수정하지 못한다고 가정한다.
방어자는 도구 실행 직전 단계에서 사용자의 원래 프롬프트와 LLM 에이전트가 선택한 호출 도구 정보를 관측할 수 있다고 가정한다.
본 연구의 검증기는 도구 호출의 최종 허용 여부를 단독으로 결정하는 완전한 보안 정책 엔진이 아니라 도구 실행 직전 사용자 의도와 도구 호출 간 불일치 가능성을 점검하는 경량 보조 탐지 계층으로 가정한다. 검증 결과 정합성이 낮은 호출은 즉시 실행하지 않고 차단하거나 사용자 재확인을 요구하는 방식으로 활용될 수 있다. 다만 본 논문은 실제 간접 프롬프트 주입 공격 로그를 직접 탐지하는 것이 아니라 그러한 공격으로 인해 발생 가능한 의미적 불일치 상황을 ToolBench 기반 데이터로 구성하여 평가한다. 도구 입력 인자, 도구 설명, 도구 반환 결과, 이전 대화 문맥까지 포함한 정합성 검증은 본 연구의 범위를 벗어나며 향후 연구 과제로 둔다.
1.3 설계
제안 기법의 효과를 검증하기 위해 본 연구는 ToolBench의 성공적인 도구 호출 로그에서 사용자 프롬프트와 실제 호출 도구 이름으로 구성된 정상 호출 쌍을 추출하였다[7]. ToolBench는 16,000개 이상의 실제 API 환경을 포함하는 도구 사용 벤치마크로 사용자 요청과 이에 대응하는 도구 호출 궤적을 제공한다. 비정상 호출인 정합성 불일치 호출 쌍은 동일한 사용자 프롬프트를 유지한 상태에서 실제 호출된 도구가 아닌 다른 ToolBench 관측 도구 이름을 결합하여 생성하였다. 이는 실제 간접 프롬프트 주입 공격 로그 자체를 직접 탐지하는 것이 아니라 간접 프롬프트 주입으로 인해 발생할 수 있는 사용자 의도와 도구 호출 간 불일치 상황을 묘사한 것이다. 이후 문장 단위 의미 표현에 널리 활용되는 SBERT 계열 임베딩 방법과 경량 Transformer 구조인 MiniLM의 특성을 바탕으로 all-MiniLM-L6-v2를 사용하여 사용자 프롬프트와 호출된 도구의 이름을 각각 임베딩하였다[8][9]. 생성된 두 임베딩 벡터의 차이 벡터를 XGBoost[10], LightGBM[11], Isolation Forest[12], Random Forest[13] 모델에 입력하여 탐지 성능을 비교하였다. 이후 코사인 유사도 기반 베이스라인 검증과 절제 연구를 진행하였다.
1.4 결과
실험 결과, 1:1 균형 데이터셋에서 LightGBM은 Precision 0.9739, Recall 0.9657, F1-score 0.9698, Accuracy 0.9699를 달성하여 가장 우수한 종합 성능을 보였다. 또한 Random Forest 기반 모델은 Precision 0.9639, Recall 0.9726, F1-score 0.9682, Accuracy 0.9681을 기록하여 유사한 수준의 성능을 보였다. 이는 임베딩 벡터 차이 기반 특징이 사용자 프롬프트와 도구 호출 간 의미적 불일치를 탐지하는 데 효과적으로 활용될 수 있음을 보여준다.
1.5 기여 및 구성
본 논문의 주요 기여는 다음과 같다.
첫째, 간접 프롬프트 주입으로 인해 발생 가능한 비정상 도구 호출을 사용자 의도와 도구 호출 간 정합성 불일치 탐지 문제로 정의하였다.
둘째, 사용자 프롬프트와 호출된 도구의 이름을 각각 임베딩 벡터로 변환한 뒤, 두 벡터의 차이를 특징값으로 사용하는 경량화된 탐지 기법을 제안하였다.
셋째, ToolBench 기반 데이터를 이용하여 정상 호출과 정합성 불일치 호출로 구성된 실험 데이터셋을 구축하고 LightGBM, Random Forest, XGBoost, Isolation Forest 모델을 비교함으로써 임베딩 차이 벡터의 탐지 특징으로서의 유효성을 실험적으로 검증하였다.
넷째, 제안 기법이 별도의 대규모 LLM 검증기를 사용하지 않고도 높은 탐지 성능을 확인하였으며, LLM 에이전트의 도구 호출 직전 단계에 적용 가능한 경량 보조 탐지 계층으로 활용될 가능성을 제시하였다.
본 논문의 구성은 다음과 같다. 2장에서는 프롬프트 주입 공격, 도구 호출 기반 LLM 에이전트의 보안 위협, 기존 방어 기법의 한계, 임베딩 기반 의미론적 탐지 연구를 검토한다. 3장에서는 제안 방법의 전체 절차를 설명하고, 데이터셋 구축 방법, 임베딩 벡터 차이 기반 특징 추출 방법, 실험 설정 및 평가 지표를 제시한다. 4장에서는 실험 결과를 제시하고 결과 분석을 실시한다. 마지막으로 5장에서는 결론을 제시하고, 본 연구의 한계와 향후 연구 방향을 논의한다.
연구에 사용된 코드, 데이터셋 및 실험 결과는 GitHub를 통해 공개한다.
(https://github.com/Seungun-Bang/ESTA)
II. 관련 연구
2.1 프롬프트 주입 공격의 개념과 발전
대규모 언어 모델은 자연어 지시를 기반으로 사용자의 의도를 해석하고 응답을 생성한다. 이러한 특성은 인간과 모델 간의 상호작용을 직관적으로 만들지만 동시에 공격자가 조작된 자연어 명령을 삽입하여 모델의 원래 지시 체계를 우회할 수 있는 취약점을 만든다. Perez와 Ribeiro[14]는 “이전 지시를 무시하라”와 같은 악성 프롬프트를 통해 모델에 내장된 안전 필터와 개발자의 지시를 무력화하는 직접 프롬프트 주입 공격을 체계화하였다. 이 연구는 프롬프트 주입 공격이 단순한 입력 오류가 아니라 자연어 지시를 그대로 따르는 LLM의 구조적 특성에서 비롯되는 보안 문제임을 보여주었다.
이후 LLM이 외부 문서, 웹페이지, 이메일, 데이터베이스 등과 결합되면서 공격 방식은 직접 프롬프트 주입에서 간접 프롬프트 주입(Indirect Prompt Injection, IPI)으로 확장되었다. Greshake 등[2]은 공격자가 사용자의 입력창에 직접 악성 명령을 입력하지 않더라도 LLM이 참조할 가능성이 있는 외부 콘텐츠에 악성 페이로드를 숨겨 시스템을 조종할 수 있음을 보였다. 간접 프롬프트 주입 공격은 외부 콘텐츠 내부의 악성 지시가 정상 데이터처럼 모델에 입력된다는 점에서 탐지가 어렵고 사용자가 공격 발생 여부를 인지하기 어렵다는 특징을 가진다.
Yi 등[15]은 BIPIA 벤치마크를 통해 다양한 간접 프롬프트 주입 공격 패턴을 정형화하고 여러 LLM 환경에서 공격 성공 가능성을 평가하였다. Liu 등[16]은 프롬프트 주입 공격과 방어 기법을 형식화하고 다양한 공격 및 방어 조합을 여러 LLM과 태스크에서 평가할 수 있는 벤치마크를 제안하였다. 이러한 연구들은 간접 프롬프트 주입 공격이 단순한 악성 문장 탐지를 넘어 사용자 지시와 외부 콘텐츠에 포함된 지시를 어떻게 구분할 것인지, 그리고 공격으로 인해 모델 또는 에이전트의 행위가 사용자 의도에서 벗어나는지 체계적으로 평가해야 하는 문제임을 보여준다.
2.2 도구 호출 기반 LLM 에이전트의 보안 위협
최근 LLM은 단순 텍스트 생성 모델을 넘어 외부 도구를 호출하고 API와 상호작용하며 복합적인 작업을 수행하는 에이전트 형태로 발전하고 있다[17]. Karpas 등[18]은 LLM을 외부 지식원 및 이산 추론 모듈과 결합하는 MRKL 시스템을 제안하여 LLM을 단일 생성 모델이 아니라 외부 모듈을 조합하는 시스템 구성요소로 활용할 수 있음을 보였다. Schick 등[1]은 LLM이 외부 API를 호출하여 문제 해결 능력을 확장할 수 있음을 보였고, Shen 등[19]은 HuggingGPT를 통해 LLM이 사용자 요청을 하위 작업으로 분해하고 모델 설명을 기반으로 적절한 전문 모델을 선택·실행하는 에이전트 구조를 제시하였다. Qin 등[7]은 16,000개 이상의 실제 API를 기반으로 LLM의 도구 사용 능력을 학습·평가할 수 있는 ToolBench를 제안하였다. Patil 등[20]은 Gorilla를 통해 LLM이 대규모 API 문서와 검색기를 활용하여 적절한 API 호출을 생성할 수 있는지를 평가하였다. 이후 Patil 등[21]은 BFCL을 통해 단일·복수·병렬 함수 호출과 다중 턴 환경에서의 함수 호출 능력을 평가하였으며, Li 등[22]과 Chen 등[23]은 각각 실제 API 사용 환경과 단계별 도구 활용 능력 평가를 통해 LLM의 도구 사용 연구가 독립적인 평가 영역으로 확장되고 있음을 보였다. 또한 Yao 등[24]는 τ-bench를 통해 사용자와 에이전트 간 동적 상호작용, 도메인별 정책 준수, API 도구 사용을 함께 평가하는 환경을 제시하였다. 이러한 연구들은 LLM이 단순한 텍스트 생성기를 넘어 외부 시스템과 능동적으로 상호작용하는 실행 주체로 발전하고 있음을 보여준다.
그러나 도구 호출 능력은 LLM의 활용성을 높이는 동시에 보안 위협을 증가시킨다. 일반적인 LLM 출력은 사용자가 읽고 판단할 수 있는 텍스트에 머무르지만, 도구 호출은 이메일 전송, 파일 접근, 데이터베이스 조회, 외부 API 실행 등 실제 시스템의 상태를 변경할 수 있다. Ruan 등[25]는 도구 실행을 에뮬레이션하는 방식으로 언어모델 기반 에이전트의 고위험 도구 사용 실패를 분석하였으며, 이러한 실패가 잠재적으로 심각한 피해로 이어질 수 있음을 보였다. Andriushchenko 등[26]은 AgentHarm 벤치마크를 통해 LLM 에이전트가 악성 요청이나 jailbreak 공격에 의해 다단계 유해 작업을 수행할 수 있음을 평가하였다. 따라서 도구 호출 기반 LLM 에이전트 환경에서는 잘못된 응답보다 잘못된 도구 호출이 더 직접적인 피해를 유발할 수 있다.
이러한 위협은 간접 프롬프트 주입 공격 환경에서 더욱 커진다. Zhan 등[3]은 도구 통합 LLM 에이전트 환경에서 간접 프롬프트 주입 공격이 에이전트의 행동과 도구 호출을 어떻게 조작할 수 있는지 평가하기 위한 벤치마크를 제시하였다. 또한 Debenedetti 등[4]는 신뢰할 수 없는 외부 데이터를 사용하는 LLM 에이전트 환경에서 프롬프트 주입 공격과 방어를 평가하는 동적 벤치마크를 제안하였다. 이들 연구는 간접 프롬프트 주입 공격이 단순히 모델의 응답을 왜곡하는 수준을 넘어 에이전트가 공격자의 의도에 따라 잘못된 도구를 호출하거나 민감한 정보를 유출하도록 유도할 수 있음을 보여준다. 따라서 LLM 에이전트 보안에서는 입력 프롬프트의 악성 여부뿐만 아니라 최종적으로 생성된 도구 호출이 사용자의 원래 의도와 부합하는지를 검증하는 문제가 중요해진다.
2.3 기존 방어 기법과 한계
프롬프트 주입 공격에 대응하기 위한 기존 연구는 입출력 필터링, 입력 경계 분리, 모델 방어, 에이전트 행동 검증 등으로 발전해왔다. Inan 등[5]의 Llama Guard는 사용자 입력과 모델 출력을 검사하여 안전 위험 여부를 분류하는 LLM 기반 안전 필터로, 인간-AI 대화에서 유해한 입력이나 출력을 식별하는 데 활용될 수 있다. 이러한 방식은 일반적인 유해 콘텐츠 탐지에는 유용하지만 도구 호출 기반 에이전트 환경에서 특정 도구 호출이 사용자 의도와 의미적으로 일치하는지 판단하는 데에는 한계가 있다.
Jain 등[6]은 정렬된 언어 모델을 대상으로 한 적대적 입력 공격과 기준 방어 기법을 분석하였다. 이 연구는 탐지 기반 방어와 입력 전처리 방식이 공격 성공률을 낮출 수 있지만 방어 효과와 모델 유용성 사이의 절충이 존재하며, 일부 방식은 추가 연산 비용을 유발할 수 있음을 보여준다. 이는 프롬프트 주입 방어에서 단순한 탐지 성능뿐 아니라 비용, 지연시간, 정상 작업 유지율을 함께 고려해야 함을 시사한다.
Yi 등[15]은 BIPIA에서 경계 인식과 명시적 상기 기반 방어를 제안하였다. 이는 사용자 지시와 외부 콘텐츠의 경계를 명확히 하고 외부 콘텐츠 내부의 지시를 실행하지 않도록 모델에 명시적으로 상기시키는 방식이다. 이러한 접근은 간접 프롬프트 주입 공격의 핵심 원인인 명령과 데이터의 혼동 문제를 완화한다는 점에서 의미가 있다. Hines 등[27]은 Spotlighting 기법을 통해 외부 데이터의 출처를 지속적으로 표시함으로써 LLM이 신뢰된 지시와 신뢰할 수 없는 외부 콘텐츠를 구분하도록 유도하였다. Chen 등[28]은 StruQ를 제안하여 프롬프트와 데이터를 별도의 구조적 채널로 분리하고 모델이 프롬프트 영역의 지시만 따르도록 학습시키는 방식을 제시하였다.
이러한 방어 기법들은 사용자 지시와 외부 데이터의 경계를 구분하거나 입력 단계에서 공격 지시가 모델의 제어 흐름을 장악하지 못하도록 한다는 점에서 효과적이다. 그러나 이들 접근은 주로 입력 구조 또는 모델의 지시 해석 방식을 보호하는 데 초점을 두며, 최종적으로 생성된 도구 호출의 이름과 인자가 사용자 의도에 부합하는지를 직접 검증하지는 않는다.
Jia 등[29]의 Task Shield는 본 연구와 가장 밀접한 선행연구로 LLM 에이전트의 중간 지시와 도구 호출이 사용자의 원래 목표에 기여하는지를 검증해야 한다는 관점을 제시하였다. 이 연구는 사용자 지시, 보조자 메시지, 도구 출력 간의 계층 관계를 고려하여 도구 출력에 포함된 지시가 사용자 지시보다 우선하지 않도록 검증한다. 이는 도구 호출을 사용자 목표와 연결하여 판단해야 한다는 점에서 본 연구의 문제의식과 직접적으로 연결된다.
다만 Task Shield는 지시 추출과 정합성 판단 과정에서 강력한 방어용 LLM에 의존하므로 비용과 추론 지연 시간이 증가할 수 있다. 또한 방어용 LLM이 충분히 강하지 않거나 적대적으로 조작될 경우, 지시 추출 또는 기여도 평가가 실패하여 오탐이나 미탐이 발생할 수 있다. 실제 운영 환경에서 보조자 응답과 도구 출력마다 LLM 기반 검증을 수행하는 것은 시스템 성능 측면에서 부담이 될 수 있다. 따라서 기존 연구의 흐름은 프롬프트 주입 공격의 위험성과 도구 호출 검증의 필요성을 보여주지만 사용자 프롬프트와 호출된 도구의 이름 간 의미적 정합성을 보다 경량적으로 판별하는 방법은 여전히 추가 연구가 필요한 영역이다.
2.4 임베딩 기반 의미론적 탐지 연구
프롬프트 주입 공격 방어에서 임베딩 기반 접근은 LLM 기반 판별기보다 낮은 비용과 빠른 추론 속도를 기대할 수 있다는 점에서 주목받고 있다. 임베딩 기반 탐지는 입력 프롬프트, 외부 콘텐츠, 모델 출력 등을 벡터 공간에 매핑한 뒤 의미적 거리, 임베딩 차이, 또는 경량 분류 모델을 활용하여 공격 여부나 이상 여부를 판별한다. 이러한 접근은 대규모 LLM을 반복 호출하지 않고도 의미적 변화나 불일치를 탐지할 수 있다는 장점이 있다.
Sekar 등[30]은 Zero-Shot Embedding Drift Detection을 통해 정상 입력과 의심 입력 사이의 임베딩 거리를 측정하고, 이를 기반으로 프롬프트 주입 공격을 식별하는 경량 방어 기법을 제안하였다. 이 연구는 별도의 복잡한 에이전트 실행 검증 없이도 입력과 출력 간 의미 변화가 공격 탐지의 단서가 될 수 있음을 보여준다. 그러나 이 방식은 주로 프롬프트와 출력 사이의 의미적 표류를 분석하는 데 초점을 두며, 호출된 도구의 이름이 사용자 의도와 일치하는지 직접 판단하지는 않는다.
Ayub 등[31]은 악성 프롬프트와 정상 프롬프트를 임베딩한 뒤 Random Forest와 XGBoost 등 전통적 기계학습 분류기를 적용하여 프롬프트 주입 공격을 탐지할 수 있음을 보였다. 이는 임베딩 기반 특징과 경량 분류기의 결합이 LLM 보안 탐지 문제에 활용될 수 있음을 보여준다는 점에서 본 연구와 관련된다. 다만 해당 연구는 프롬프트 자체의 악성 여부를 분류하는 데 초점을 두며, 사용자 요청에 대해 생성된 도구 호출이 의미적으로 적절한지를 검증하는 문제와는 구분된다.
Alamsabi 등[32]은 임베딩 모델로 추출한 의미 특징을 XGBoost, LightGBM 등 전통적 분류기에 입력하여 외부 콘텐츠에 포함된 간접 프롬프트 주입 공격을 탐지하는 방법을 제안하였다. 이 연구는 임베딩 기반 특징과 경량 분류기의 결합이 간접 프롬프트 주입 공격 탐지에 활용될 수 있음을 보여준다는 점에서 의미가 있다. 그러나 분석 대상이 주로 웹 문서에 포함된 공격 여부에 한정되어 있으며, LLM 에이전트가 생성한 실제 도구 호출의 정합성을 검증하는 문제까지 확장되지는 않는다.
한편 임베딩 공간에서의 의미적 차이는 프롬프트 주입 공격뿐 아니라 텍스트 이상 탐지와 OOD(Out of Distribution) 탐지에서도 중요한 신호로 활용되어 왔다. Chen 등[33]은 문장 임베딩 기반 OOD 탐지에서 거리 기반 방법의 유효성을 보이고 다양한 층과 토큰 정보를 활용한 문장 표현이 분포 밖 입력 탐지 성능을 향상시킬 수 있음을 제시하였다. Lee 등[34]은 임베딩 차이를 비교하여 OOD 및 환각 텍스트를 탐지하는 CED(Comparing Embedding Differences) 방법을 제안하였으며, 이는 임베딩 공간에서의 상대적 차이가 분포 외 입력 및 환각 텍스트 탐지에 활용될 수 있음을 보여준다. 또한 Cao 등[35]은 다양한 데이터셋, 임베딩 모델, 이상 탐지 알고리즘을 결합한 TAD-Bench를 제안하여 임베딩 기반 텍스트 이상 탐지 방법의 일반화 가능성과 한계를 체계적으로 평가하였다.
종합하면, 임베딩 기반 의미론적 탐지 연구는 자연어로 표현된 입력, 외부 콘텐츠, 모델 출력 등을 동일한 벡터 공간에 표현하고 이들 사이의 의미적 거리나 차이를 이상 탐지 신호로 활용할 수 있음을 보여주었다. 특히 Ayub 등[31]은 악성 프롬프트와 정상 프롬프트를 임베딩 벡터로 표현한 뒤 Random Forest와 XGBoost 등 전통적 기계학습 분류기를 적용하여 프롬프트 주입 공격을 탐지하였다. Alamsabi 등[32]은 이러한 접근을 간접 프롬프트 주입 환경으로 확장하여, 사용자 의도와 외부 콘텐츠 간 의미 관계를 임베딩 특징으로 표현하고 XGBoost, LightGBM, Random Forest 등의 경량 분류 모델을 이용해 간접 프롬프트 주입 여부를 판별하였다. 이들 연구는 임베딩 기반 의미 표현과 경량 분류기의 결합이 LLM 보안 이상 탐지 문제에서 유효한 접근이 될 수 있음을 보여준다.
그러나 기존 연구들은 주로 프롬프트 자체의 악성 여부, 외부 콘텐츠에 포함된 공격 지시, 또는 사용자 의도와 외부 콘텐츠 간 의미적 불일치를 탐지하는 데 초점을 두었다. 반면 도구 호출 기반 LLM 에이전트 환경에서는 최종적으로 선택된 도구가 사용자의 원래 의도와 의미적으로 부합하는지를 검증하는 문제가 추가로 요구된다. 본 연구는 이러한 문제를 사용자 프롬프트와 호출 도구 이름 간 의미론적 정합성 검증 문제로 정의하고 두 텍스트를 동일한 문장 임베딩 공간에 매핑한 뒤 임베딩 차이 벡터를 경량 분류 모델의 입력 특징으로 사용한다. 즉, 본 연구는 기존 임베딩 기반 보안 이상 탐지 접근을 도구 호출 직전 단계의 사용자 의도–도구 호출 정합성 불일치 탐지 문제로 확장한다.
III. 설계
3.1 연구 절차 개요
본 장에서는 LLM 에이전트의 도구 호출이 사용자의 원래 의도와 의미적으로 부합하는지를 검증하기 위한 임베딩 벡터 차이 기반 탐지 방법을 설명한다. 제안 방법은 사용자 프롬프트와 호출된 도구의 이름을 동일한 문장 임베딩 공간에 매핑하고, 두 임베딩 벡터의 차이를 경량 기계학습 모델의 입력 특징으로 사용하여 정상 도구 호출과 비정상 도구 호출을 분류한다. [Fig. 1]은 본 연구의 전체적인 흐름을 나타낸다.

Fig. 1. Overview of Research Procedure for Embedding Difference-based Tool-call Alignment Validation
전체 절차는 다음과 같다. 먼저 ToolBench의 성공 도구 호출 로그에서 정상 도구 호출 쌍을 추출하고 동일한 사용자 프롬프트에 실제 호출 도구가 아닌 다른 관측 도구를 결합하여 정합성 불일치 도구 호출 쌍을 구성한다. 이후 각 데이터에서 사용자 프롬프트와 호출된 도구의 이름을 추출하고, 정상 호출은 0, 비정상 호출은 1로 라벨링한다. 다음으로 두 텍스트를 임베딩 모델을 이용해 정규화된 벡터로 변환한 뒤, 프롬프트 임베딩 벡터에서 도구 이름 임베딩 벡터를 뺀 값을 차이 벡터로 사용한다. 마지막으로 생성된 차이 벡터를 LightGBM, Random Forest, XGBoost, Isolation Forest 모델에 입력하여 탐지 성능과 모델 추론시간을 비교한다.
제안 방법의 핵심은 도구 자체의 위험성을 판별하는 것이 아니라 특정 사용자 프롬프트의 문맥에서 호출된 도구가 의미적으로 적절한지를 판단하는 데 있다. 예를 들어 이메일 전송 도구는 그 자체로 악성 도구가 아니지만 사용자가 단순 문서 요약을 요청한 상황에서 호출되었다면 사용자 의도와 불일치하는 호출로 볼 수 있다. 따라서 본 논문은 간접 프롬프트 주입 대응을 위해 사용자 프롬프트와 호출된 도구의 이름 간 의미론적 정합성을 검증하는 방식으로 비정상 도구 호출을 탐지한다.
다만 도구 호출 정합성 중에서도 우선 사용자 프롬프트와 호출된 도구 이름 간의 의미적 정합성 검증에 초점을 두며, 도구 입력 인자, 도구 설명, 반환 결과, 이전 대화 문맥까지 포함한 정합성 검증은 향후 연구 범위로 둔다.
3.2 데이터셋 구축
사용자 프롬프트와 호출된 도구 이름 간 의미론적 정합성 검증 가능성을 평가하기 위해 본 연구는 정상도구 호출 쌍과 정합성 불일치 도구 호출 쌍을 결합하여 실험 데이터셋을 구축하였다. 정상 도구 호출은 사용자의 프롬프트와 호출된 도구 이름이 의미적으로 부합하는 경우를 의미하며, 비정상 도구 호출은 특정 사용자 프롬프트의 문맥에서 호출된 도구가 사용자의 원래 목적과 부합하지 않는 경우를 의미한다.
데이터셋은 GitHub에 공개한 생성 스크립트 scripts/build_toolbench_mismatch_dataset.py를 이용하여 재현 가능하도록 구성하였다. 원본 ToolBench/ToolLLM JSON 파일을 rawdata/ 디렉터리에 배치한 뒤 해당 스크립트를 실행하면, 실험에 사용되는 dataset/toolbench_mismatch_dataset.csv와 데이터 생성 요약 파일이 생성된다. 기본 seed는 42로 설정하였다.
정상 호출 쌍은 성공적으로 완료된 ToolBench 궤적(trajectory)에서 추출하였다. 다음 조건을 만족하는 JSON만 사용하였다.
- win=True
- answer_generation.valid_data=True
- finish_type="give_answer"
사용자 프롬프트는 우선 answer_generation.query에서 추출하고, 해당 값이 없는 경우 가장 긴 train_messages 내 user message를 사용하였다. 또한 노이즈로 작용할 수 있는 사용자 프롬프트 내 이메일 주소와 URL은 각각 [EMAIL], [URL]로 마스킹하였다.
호출된 도구 이름은 가장 긴 train_messages에서 assistant message의 function_call.name을 추출하여 구성하였다. 이때 최종 응답 생성을 나타내는 Finish 함수는 제외하였고 동일 궤적 내 중복 호출은 한 번만 유지하였다. 사용 가능한 도구 목록은 answer_generation.function에서 추출하였으며 function description에 포함된 원도구명 또는 function name의 _for_ 이후 문자열을 이용하여 원도구 그룹 정보를 기록하였다.
비정상 호출 쌍은 정상 호출 쌍의 사용자 프롬프트를 그대로 유지한 상태에서 해당 프롬프트에 실제로 사용되지 않은 다른 도구를 결합하여 생성하였다. 먼저 정상 데이터에서 한 번 이상 등장한 도구명을 전체 관측 도구 어휘로 구성하고 각 사용자 프롬프트 별로 실제 정상 궤적에서 호출된 도구들은 비정상 후보에서 제외하였다. 이후 남은 도구 후보 중에서 고정된 random seed를 사용해 정상 호출 수와 동일한 수의 불일치 도구를 샘플링하였다. 또한 동일한 사용자 프롬프트–도구 호출 쌍이 정상 라벨과 비정상 라벨에 동시에 포함되는 충돌이나, 비정상 데이터 내부의 중복 쌍이 발생하지 않도록 생성 후 검사를 수행하였다. 이때 정합성 불일치 샘플에 사용되는 도구 이름은 별도의 악성 도구 목록이나 외부 도구 집합에서 가져오지 않고 정상 호출 데이터에서도 실제로 등장한 ToolBench 도구 어휘에서만 선택하였다. 이를 통해 특정 도구 이름 자체가 비정상 클래스를 직접적으로 나타내는 편향을 완화하고 모델이 도구의 악성 여부가 아니라 사용자 프롬프트와 호출 도구 이름 사이의 의미적 불일치를 학습하도록 하였다. 본 실험은 실제 공격 환경 전체를 재현하기보다 사용자 프롬프트와 호출 도구 이름 간 의미적 불일치가 임베딩 차이 벡터를 통해 구분 가능한지를 확인하는 초기 가능성 검증을 목적으로 한다.
최종적으로 구축한 전체 데이터셋은 정상 호출 102,187개와 정합성 불일치 호출 102,187개로 구성된다. 각 샘플은 사용자의 자연어 요청에 해당하는 사용자 프롬프트, 호출된 도구 이름, 라벨, 그리고 원본 프롬프트 그룹 정보를 나타내는 메타데이터로 구성된다. 라벨은 정상 호출을 0, 정합성 불일치 호출을 1로 부여하였다.
본 연구에서는 제안 특징의 변별력을 다양한 클래스 비율에서 평가하였다. 먼저 정상 호출과 정합성 불일치 호출을 동일한 수로 구성한 1:1 균형 데이터셋을 사용하여 기본 탐지 성능을 확인하였다. 이후 실제 LLM 에이전트 운영 환경에서는 정상 호출이 비정상 호출보다 훨씬 많이 발생할 가능성이 높다는 점을 고려하여 정상 호출 수를 100,000개로 고정하고 정합성 불일치 호출 수를 줄이는 방식으로 7:3, 8:2, 10:1, 100:1 비율의 불균형 데이터셋을 추가로 구성하였다. 이를 통해 제안 방법이 균형 데이터셋뿐만 아니라 클래스 불균형 환경에서도 도구 호출 정합성 검증에 활용될 수 있는지를 평가하였다.
3.3 임베딩 벡터 차이 기반 특징 추출
사용자 프롬프트와 호출된 도구의 이름 간 의미적 차이를 정량화하기 위해 문장 임베딩 기반 특징 추출 방법을 사용하였다. 문장 임베딩 모델로는 ‘sentence-transformers/all-MiniLM-L6-v2’를 사용하였으며, 사용자 프롬프트와 호출된 도구의 이름을 각각 정규화된 임베딩 벡터로 변환하였다.
각 샘플에 대해 사용자 프롬프트를 Ui, 호출된 도구의 이름을 Ti라고 할 때, 문장 임베딩 모델을 통해 각각의 임베딩 벡터 ui와 ti를 생성하였다. 이후 프롬프트 임베딩 벡터 ui에서 도구 이름 임베딩 벡터 ti를 뺀 값, 즉 수식 1과 같은 di = ui - ti를 임베딩 차이 벡터로 사용하였다.
di = ui - ti (1)
이 차이 벡터는 사용자 프롬프트와 호출 도구 이름의 상대적 위치 차이를 표현하며, 본 연구에서는 이를 정합성 불일치 여부를 분류하기 위한 입력 특징으로 활용한다.
이때 절댓값을 취하지 않고 부호가 있는 차이 벡터를 사용하였다. 이는 두 벡터 간 차이의 크기뿐 아니라, 프롬프트 임베딩에서 도구 이름 임베딩으로 이동할 때 발생하는 방향성도 함께 보존하기 위함이다. 구현 과정에서는 프롬프트 임베딩 행렬과 도구 이름 임베딩 행렬의 차이를 계산하여 'delta_emb_000', 'delta_emb_001', … 형태의 차이 벡터 특징을 생성하였다. 최종적으로 생성된 임베딩 차이 벡터는 분류 모델의 입력 특징으로 사용되며 각 샘플의 라벨은 정상 호출 또는 비정상 호출을 나타낸다.
3.4 실험 설정 및 평가 지표
임베딩 차이 벡터를 이용한 정합성 불일치 탐지 성능을 비교하기 위해 LightGBM, XGBoost, Random Forest, Isolation Forest 네 가지 모델을 사용하였다. LightGBM과 XGBoost는 부스팅 기반 트리 앙상블 지도학습 모델로 고차원 임베딩 벡터에서 단일 차원만으로 설명하기 어려운 비선형적인 차원 간 조합 관계를 학습하는 데 적합하다. 특히 두 모델은 이전 단계의 오분류를 보완하면서 결정 경계를 점진적으로 개선하므로 사용자 프롬프트와 도구 이름 간 정합성 불일치가 단순한 거리 차이가 아니라 여러 임베딩 차원의 조합으로 나타나는 경우를 평가하기 위해 사용하였다.
Random Forest는 여러 결정 트리를 독립적으로 학습한 뒤 예측을 결합하는 배깅 기반 앙상블 지도학습 모델이다. 이는 부스팅 계열 모델과 달리 각 트리를 독립적으로 구성하므로, 동일한 임베딩 차이벡터에 대해 배깅 기반 비선형 모델이 어느 정도의 탐지 성능을 보이는지 비교하기 위한 기준선으로 사용하였다. 이를 통해 부스팅 방식과 배깅 방식의 성능 차이를 비교하고, 모델별 오분류 양상의 차이를 분석할 수 있다.
Isolation Forest는 앞선 세 모델과 달리 비지도 이상탐지 모델이다. 정합성 불일치 호출이 정상 호출 분포에서 벗어난 이상치로 나타날 수 있는지를 확인하기 위해 Isolation Forest를 포함하였다. 특히 Isolation Forest는 지도학습 모델처럼 label 1의 패턴을 직접 학습하는 방식이 아니므로 지도학습 기반 모델의 성능이 데이터의 라벨 특성에 의존했는지를 비교하는 보조 기준선으로 활용하였다.
따라서 모델 구성은 단순히 여러 분류기를 나열한 것이 아니라 부스팅 기반 지도학습 모델, 배깅 기반 지도학습 모델, 비지도 이상탐지 모델을 비교함으로써 임베딩 차이 벡터가 어떤 학습 방식에서 효과적으로 활용되는지를 확인하기 위한 것이다. 각 모델의 주요 설정은 [Table 1]과 같다. 자세한 설정은 공개된 노트북에서 확인할 수 있다.
Table 1. Hyperparameter Settings for Models

실험 데이터는 학습 데이터, 검증 데이터, 테스트 데이터로 분할하였다. 본 연구의 데이터셋은 동일한 사용자 프롬프트로부터 정상 호출과 정합성 불일치 호출이 함께 생성될 수 있으므로, 단순 무작위 분할을 적용할 경우 동일 프롬프트 계열의 샘플이 학습 데이터와 테스트 데이터에 동시에 포함될 수 있다. 이러한 정보 누수는 모델의 일반화 성능을 실제보다 높게 평가하게 만들 수 있다. Roberts 등[36]은 데이터에 시간적, 공간적, 계층적 구조와 같은 의존성이 존재하는 경우, 이를 고려하지 않은 검증 방식이 예측 오차를 과소추정할 수 있음을 지적하였다. 이에 본 연구에서는 프롬프트 단위 정보 누수를 완화하기 위해 source_prompt_hash를 기준으로 그룹 분할(group split)을 적용하였다. 데이터 분할 비율은 학습 64%, 검증 16%, 테스트 20%로 설정하였다.
지도학습 모델인 XGBoost, LightGBM, Random Forest는 학습 데이터의 임베딩 차이 벡터와 라벨을 사용하여 학습하였다. 이때 XGBoost와 LightGBM에는 클래스 불균형 보정을 위한 가중치 옵션을 적용하였고 Random Forest에는 balanced subsample 기반 class weight를 적용하였다. 반면 Isolation Forest는 이상 탐지 모델의 특성을 고려하여 학습 데이터 중 정상 호출 데이터만 사용해 정상 도구 호출의 임베딩 차이 벡터 분포를 학습하였다. 이후 검증 단계에서 F1-score가 가장 높은 임계값을 선택하고 테스트 단계에서 최종 성능을 평가하였다.
모델 성능은 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-score를 기준으로 평가하였다. 보안 탐지 환경에서는 비정상 호출을 정상으로 오분류하는 경우 실제 보안 사고로 이어질 수 있으므로 재현율이 중요하다. 반면 정상 호출을 과도하게 비정상으로 탐지하면 에이전트의 정상 업무 수행이 방해될 수 있으므로 정밀도 역시 함께 고려하였다.
경량 탐지 모델로서의 적용 가능성을 확인하기 위해 모델별 평균 추론시간을 측정하였다. 모든 비교 모델은 동일한 임베딩 모델과 동일한 임베딩 차이 벡터를 사용하므로, 임베딩 생성 시간은 모델 구조에 따른 차이를 반영하지 않는다. 따라서 지연시간 비교에서는 임베딩 차이 벡터가 생성된 이후 각 모델이 입력 벡터에 대해 예측 점수를 산출하는 데 소요된 시간만을 모델 추론시간으로 측정하였다. 추론시간은 테스트 데이터에서 무작위로 추출한 100개 샘플을 대상으로 Python의 'time.perf_counter()'를 이용해 측정하였으며, 각 모델별 100개 샘플의 평균값을 최종 추론시간으로 산출하였다.
특정 임계값에 의존하지 않는 모델의 전반적 분리 능력을 평가하기 위해 수신자 조작 특성 곡선 아래 면적(AUROC)과 정밀도-재현율 곡선 아래 면적(AUPRC)을 함께 측정하였다. AUROC는 정상 호출과 정합성 불일치 호출에 대한 예측 점수의 전반적인 순위화 능력을 평가하는 지표이다. AUPRC는 정합성 불일치 호출을 양성 클래스로 설정했을 때, 정밀도와 재현율 사이의 관계를 평가한다. 본 연구에서는 정상 호출이 다수를 차지하는 운영 환경을 고려하여 AUROC와 함께 AUPRC를 주요 평가 지표로 사용하였다.
3.5 코사인 유사도 기반 베이스라인 검증
제안한 임베딩 차이 벡터 기반 방법이 단순한 의미 유사도 계산보다 효과적인지를 확인하기 위해 코사인 유사도 기반 베이스라인을 추가로 구성하였다. 사용자 프롬프트와 호출된 도구 이름을 동일한 문장 임베딩 모델로 변환한 뒤, 두 임베딩 벡터 사이의 코사인 유사도를 계산하였다.
본 실험에서는 임베딩 생성 시 L2 정규화를 적용하였기 때문에, 두 벡터의 내적을 코사인 유사도로 사용하였다. 사용자 프롬프트와 도구 이름의 의미적 관련성이 낮을수록 비정상 호출 가능성이 높다고 보고 코사인 유사도의 음수 값을 비정상 점수로 사용하였다.
최종 분류 임계값은 검증 데이터에서 F1-score가 가장 높게 나타나는 값으로 선택하였으며, 테스트 데이터에 동일하게 적용하였다. 이 베이스라인 실험은 앞서 구성한 1:1 균형 샘플에서 수행하였고 임베딩 차이 벡터를 사용하는 네 가지 경량 모델과 성능을 비교하였다.
3.6 절제 연구
제안한 임베딩 차이 벡터가 실제로 사용자 프롬프트와 호출 도구 이름 간의 상대적 의미 관계를 반영하는지 확인하기 위해 절제 연구를 수행하였다. 이는 지도학습 모델의 성능이 사용자 프롬프트 또는 도구 이름 자체의 분포적 단서에 의해 과대평가되었는지 검토하기 위한 목적이다.
절제 연구에서는 모델 차이에 따른 영향을 배제하고 입력 특징 구성의 효과만을 비교하기 위해 모든 설정에서 동일한 LightGBM 모델을 사용하였다. 또한 동일한 데이터 분할과 동일한 평가 지표를 적용하였다. 비교 대상은 사용자 프롬프트 임베딩만 사용하는 설정, 호출 도구 이름 임베딩만 사용하는 설정, 사용자 프롬프트 임베딩과 도구 이름 임베딩을 이어 붙인 결합 벡터 설정, 그리고 본 연구의 제안 특징인 임베딩 차이 벡터 설정으로 구성하였다.
이 비교를 통해 프롬프트 임베딩만 사용하거나 도구 이름 임베딩만 사용하는 경우에도 높은 성능이 나타난다면 모델이 두 요소 간 정합성 관계가 아니라 개별 텍스트의 분포적 편향을 학습했을 가능성을 확인할 수 있다. 반대로 제안 특징인 임베딩 차이 벡터가 단일 입력 특징보다 높은 성능을 보일 경우 사용자 프롬프트와 호출 도구 이름 사이의 상대적 의미 관계가 정합성 불일치 탐지에 중요한 신호로 작용함을 확인할 수 있다.
IV. 실험 결과
4.1 모델별 탐지 성능
3장에서 설명한 임베딩 벡터 차이 기반 특징의 유효성을 확인하기 위해 LightGBM, Random Forest, XGBoost, Isolation Forest 네 가지 모델의 탐지 성능을 비교하였다. 본 실험에서는 사용자 프롬프트와 호출 도구 간 의미적 정합성이 낮은 샘플을 비정상 클래스(label 1)로 설정하였으며, Precision, Recall, F1-score, Accuracy를 기준으로 성능을 평가하였다.
[Table 2]는 1:1 균형 데이터셋에서 각 모델의 탐지 성능을 나타낸다. 실험 결과, LightGBM이 F1-score 0.9698, Accuracy 0.9699로 가장 높은 종합 성능을 보였다. Random Forest 역시 F1-score 0.9682, Accuracy 0.9681을 기록하여 LightGBM과 유사한 수준의 성능을 나타냈으며, XGBoost도 F1-score 0.9637로 높은 탐지 성능을 유지하였다. 이는 임베딩 벡터 차이 기반 특징이 사용자 프롬프트와 도구 호출 간 정합성 불일치를 효과적으로 구분할 수 있음을 보여준다.
Table 2. Comparison of Model Detection Performance on the 1:1 Dataset

반면 Isolation Forest는 F1-score 0.9254, Accuracy 0.9234로 비교 모델 중 가장 낮은 성능을 보였다. 이는 본 실험이 정상·비정상 라벨이 명확히 주어진 이진 분류 문제이기 때문에 비지도 이상탐지 방식에 가까운 Isolation Forest보다 지도학습 기반 모델들이 더 적합했기 때문으로 해석할 수 있다.
종합하면, 1:1 균형 데이터셋에서는 LightGBM이 가장 우수한 성능을 보였으며, Random Forest와 XGBoost도 유사하게 높은 성능을 나타냈다. 이러한 결과는 사용자 프롬프트 임베딩과 도구 호출 임베딩의 차이 벡터만으로도 도구 호출 정합성 불일치를 탐지할 수 있음을 시사한다.
4.2 혼동행렬 기반 오분류 분석
각 모델의 오분류 특성을 확인하기 위해 혼동행렬과 실제 오분류 사례를 함께 분석하였다. [Table 3]은 1:1 균형 데이터셋의 테스트 세트 39,895개에 대한 모델별 TN, FP, FN, TP 값을 나타낸다. 또한 각 모델별 false positive와 false negative 사례를 각각 50개씩 추출하여 사용자 프롬프트, 예측 도구 이름, 정상 도구 이름, 원도구 그룹 정보를 함께 검토하였다. 이때 원도구 그룹 정보는 모델 학습에 사용한 입력 특징이 아니라, function description 또는 function name 구조에서 추출한 사후 분석용 메타정보이다.
Table 3. Confusion Matrix Results by Model

실험 결과, LightGBM은 FP 516건, FN 684건으로 전체 오류 1,200건을 기록하여 네 모델 중 가장 낮은 오류율을 보였다. 특히 FP가 가장 적어 정상 도구 호출을 정합성 불일치로 잘못 판단하는 오탐을 가장 효과적으로 억제하였다. Random Forest는 FN 547건으로 미탐이 가장 적어 정합성 불일치 호출을 놓치는 경우가 가장 적었으나 FP가 727건으로 LightGBM보다 높게 나타났다. XGBoost는 FN 608건으로 비교적 낮은 미탐을 보였지만 FP가 850건으로 세 지도학습 모델 중 가장 많았다. Isolation Forest는 FP 2,058건, FN 999건으로 오탐과 미탐이 모두 가장 많아 정상 분포 기반 비지도 이상탐지만으로는 정합성 불일치 패턴을 충분히 분리하기 어려운 것으로 나타났다.
실제 오분류 사례를 검토한 결과, false positive는 실제로는 정상 호출이지만 도구 이름만으로 사용자 요청과의 관계가 충분히 드러나지 않는 경우에서 주로 발생하였다. 즉, 사용자의 요청을 수행하기 위해 실제로 호출된 도구임에도, 도구 이름이 짧거나 일반적인 표현으로 구성되어 모델이 이를 정합성 불일치로 오판한 사례가 확인되었다.
반면 false negative는 비정상 호출 쌍임에도 도구 이름이 사용자 프롬프트와 부분적으로 의미가 맞아 보이는 경우에서 주로 발생하였다. 이는 도구 이름 수준에서는 정상 도구와 비정상 도구의 의미 차이가 충분히 드러나지 않는 일부 경계 사례가 존재함을 보여준다.
모델별 성능 차이는 각 알고리즘이 임베딩 차이 벡터를 학습하는 방식의 차이에서 비롯된 것으로 해석할 수 있다. LightGBM과 XGBoost는 모두 부스팅 기반 모델이지만, LightGBM은 고차원 임베딩 특징에서 세밀한 결정 경계를 효율적으로 형성하여 FP를 가장 낮게 유지한 것으로 보인다. 반면 XGBoost는 불일치 호출 탐지에는 비교적 민감하게 반응했지만 FP가 상대적으로 높아 정상 호출과 불일치 호출의 경계에서 더 공격적인 판단 경향을 보였다. Random Forest는 여러 결정 트리를 독립적으로 학습한 뒤 결과를 평균화하는 배깅 기반 모델이므로 FN이 가장 낮게 나타났지만, 일부 정상 호출을 불일치로 판단하는 FP가 증가하였다. Isolation Forest는 label 정보를 사용하지 않고 정상 분포에서 벗어난 정도만으로 이상치를 판단하므로, 정합성 불일치가 단순한 이상치 형태로 분리되지 않는 본 데이터셋에서는 지도학습 모델보다 높은 오류율을 보였다.
종합하면, LightGBM은 오탐과 미탐의 균형 및 전체 오류율 측면에서 가장 안정적인 모델로 나타났다. Random Forest는 미탐을 줄이는 데 강점이 있었으나 오탐이 증가하였고, XGBoost는 불일치 호출 탐지에는 민감했지만 정상 호출을 불일치로 판단하는 경향이 상대적으로 컸다. Isolation Forest는 비지도 기준선으로 의미는 있으나, 본 데이터셋에서는 지도학습 모델보다 높은 오류율을 보였다. 이러한 결과는 제안 방법이 도구 호출 정합성 불일치 탐지에 효과적임을 보여주는 동시에, 일부 경계 사례에서는 도구 설명, 입력 인자, 실행 권한 정보 등을 함께 활용할 경우 검증 성능을 추가로 개선할 수 있음을 시사한다.
4.3 AUROC 및 AUPRC 기반 성능 분석
앞선 모델별 성능 비교에서는 검증 세트에서 선택한 임계값을 기준으로 Precision, Recall, F1-score, Accuracy를 평가하였다. 그러나 특정 임계값에서의 성능만으로는 모델이 정상 호출과 정합성 불일치 호출을 전반적으로 얼마나 잘 구분하는지 충분히 설명하기 어렵다. 이에 본 절에서는 1:1 균형 데이터셋의 테스트 세트에 대해 모델별 ROC curve와 Precision-Recall curve를 분석하였다. ROC curve는 다양한 임계값에서의 False Positive Rate와 True Positive Rate의 관계를 나타내며, Precision-Recall curve는 정합성 불일치 호출을 양성 클래스로 설정했을 때 Recall 변화에 따른 Precision 변화를 보여준다.
[Fig. 2]는 1:1 균형 데이터셋에서 네 모델의 ROC curve를 나타낸다. 실험 결과, LightGBM은 AUROC 0.9953으로 가장 높은 값을 기록하였으며, Random Forest는 0.9943, XGBoost는 0.9935로 유사한 수준의 성능을 보였다. 세 지도학습 모델 모두 AUROC 0.99 이상을 달성하여, 임계값 변화와 관계없이 정상 호출과 정합성 불일치 호출을 안정적으로 구분할 수 있음을 확인하였다. Isolation Forest는 AUROC 0.9692로 지도학습 모델보다 낮았지만 정상 호출 데이터만을 사용해 학습한 이상 탐지 모델이라는 점을 고려하면 여전히 높은 수준의 성능을 보였다.

Fig. 2. ROC Curves on the 1:1 Dataset
[Fig. 3]은 동일한 테스트 세트에서의 Precision-Recall curve를 나타낸다. 1:1 균형 데이터셋에서는 정합성 불일치 호출의 비율이 약 0.5000이므로, 무작위 분류기의 AUPRC 기준선은 약 0.5이다. 실험 결과 LightGBM은 AUPRC 0.9955로 가장 높은 성능을 보였고, Random Forest는 0.9937, XGBoost는 0.9936을 기록하였다. 이는 세 지도학습 모델이 높은 Recall 구간에서도 Precision을 안정적으로 유지했음을 의미한다. Isolation Forest는 AUPRC 0.9585로 상대적으로 낮았지만, 기준선보다 충분히 높은 값을 보여 정상 호출 분포에서 벗어난 정합성 불일치 호출을 효과적으로 포착할 수 있음을 확인하였다.

Fig. 3. PR Curves on the 1:1 Dataset
종합하면, 1:1 균형 데이터셋에서 모든 비교 모델은 AUROC와 AUPRC 모두 높은 값을 보였다. 특히 LightGBM은 AUROC 0.9953, AUPRC 0.9955로 가장 우수한 성능을 보였으며, Random Forest와 XGBoost도 근접한 성능을 기록하였다. 이는 사용자 프롬프트와 호출 도구 이름 사이의 임베딩 벡터 차이가 정상 호출과 정합성 불일치 호출을 구분하는 데 강한 판별 정보를 포함하고 있음을 보여준다. 또한 PR curve 결과는 제안 기법이 정합성 불일치 호출을 양성 클래스로 설정했을 때도 높은 정밀도와 재현율 균형을 유지할 수 있음을 시사한다.
4.4 지연시간 비교
제안 기법이 도구 호출 직전 단계에서 경량 검증 계층으로 활용될 수 있는지 확인하기 위해 모델별 지연시간을 비교하였다. 모든 모델은 동일한 임베딩 모델을 사용하므로, 모델 구조에 따른 차이를 확인하기 위해 임베딩 벡터 차이 특징이 생성된 이후 각 모델이 예측 점수를 산출하는 데 걸린 시간을 측정하였다. 지연시간은 1:1 데이터셋의 테스트 샘플 100개를 대상으로 [Table 4]와 같은 환경에서 측정하였으며, [Table 5]는 모델별 평균 추론시간을 나타낸다.
Table 4. Experimental Environment

Table 5. Comparison of Average Inference Time by Model on the 1:1 Dataset

[Table 5]에서 XGBoost는 평균 0.80ms로 가장 짧은 모델 추론시간을 보였다. LightGBM 역시 평균 1.80ms로 낮은 지연시간을 기록하였다. 두 모델은 앞선 성능 평가에서도 높은 탐지 성능을 보였기 때문에, 실시간 도구 호출 검증 환경에 적용하기에 적합한 후보로 볼 수 있다. 반면 Isolation Forest는 평균 39.41ms, Random Forest는 평균 73.19ms로 상대적으로 긴 추론시간을 보였다. 이는 다수의 트리 구조를 기반으로 예측을 수행하는 모델 특성의 영향으로 해석된다.
특히 LightGBM은 1:1 균형 데이터셋에서 가장 높은 F1-score를 보이면서도 모델 추론시간이 1~2ms 수준에 머물렀다. XGBoost는 모델 추론시간이 가장 짧고, 불균형 데이터셋 실험에서도 상대적으로 안정적인 성능을 보였다. 따라서 탐지 성능과 지연시간을 함께 고려할 때, LightGBM과 XGBoost가 LLM 에이전트의 도구 호출 직전 검증을 위한 경량 모델로 적합하다고 판단된다.
다만 실제 운영 환경에서는 모델 추론시간뿐 아니라 사용자 프롬프트와 도구 이름을 임베딩하는 시간도 함께 고려해야 한다. 1:1 데이터셋 기준 end-to-end 평균 지연시간은 XGBoost 20.02ms, LightGBM 20.94ms 수준으로 측정되었다. 이는 제안 방식이 별도의 대규모 LLM 검증기를 매 요청마다 호출하는 방식보다 낮은 비용으로 도구 호출 정합성을 사전 점검할 수 있음을 보여준다.
4.5 운영 환경을 고려한 불균형 데이터셋 실험
실제 LLM 에이전트 운영 환경에서는 대부분의 도구 호출이 정상적으로 수행되며, 사용자 의도와 호출 도구 간 정합성이 맞지 않는 경우는 상대적으로 드물게 발생할 가능성이 높다. 따라서 1:1 균형 데이터셋에서의 성능만으로는 제안 기법이 실제 운영 환경에서도 안정적으로 동작할 수 있는지를 충분히 설명하기 어렵다. 이에 본 연구에서는 정상 호출(normal) 수를 100,000개로 고정하고, 정합성 불일치(mismatch) 호출 수를 비율에 따라 줄여 1:1, 7:3, 8:2, 10:1, 100:1의 다섯 가지 데이터셋을 구성하였다. [Table 6]은 가장 높은 클래스 불균형 조건인 100:1 데이터셋에서의 모델별 탐지 성능을 나타낸다.
Table 6. Comparison of Model Detection Performance on the 100:1 Dataset

[Fig. 4]는 정상 호출과 정합성 불일치 호출의 비율 변화에 따른 모델별 F1-score를 나타낸다. 1:1과 같이 7:3과 8:2 조건에서도 LightGBM이 각각 F1-score 0.9499, 0.9387로 가장 높은 성능을 유지하였다. 그러나 불균형이 더 커지는 10:1 조건에서는 XGBoost가 F1-score 0.8822로 가장 높은 성능을 보였고, 100:1 조건에서도 XGBoost가 F1-score 0.5634로 가장 높은 값을 기록하였다. 이는 균형 또는 약한 불균형 조건에서는 LightGBM이 효과적이지만 정합성 불일치 호출이 희소해지는 조건에서는 XGBoost가 상대적으로 안정적인 성능을 보였음을 의미한다.

Fig. 4. F1-score Comparison under Different Ratios
[Fig. 5]와 [Fig. 6]은 각각 비율 변화에 따른 AUROC와 AUPRC 변화를 나타낸다. AUROC의 경우 대부분의 모델이 불균형 조건에서도 높은 값을 유지하였다. 특히 XGBoost는 1:1, 7:3, 8:2, 10:1, 100:1 조건에서 각각 AUROC 0.9935, 0.9922, 0.9929, 0.9924, 0.9755를 기록하여 전체 비율에서 안정적인 성능을 보였다. Random Forest 역시 10:1 조건에서 AUROC 0.9891을 보였고, Isolation Forest는 100:1 조건에서 AUROC 0.9714를 기록하였다. 반면 LightGBM은 10:1 조건에서 AUROC 0.8771로 일시적으로 크게 하락하였다. 오분류 사례를 검토한 결과 오탐이 미탐보다 상대적으로 높았다. 오탐은 사용자 프롬프트와 의미적 관계가 도구 이름만으로 명확히 드러나지 않는 경우에서 주로 발생하였다. 동일한 10:1 조건에서 XGBoost와 Random Forest는 상대적으로 높은 AUROC를 유지하였으므로 이러한 결과를 단순히 데이터셋 난이도만으로 설명하기는 어렵다. 본 연구에서는 이를 10:1 조건에 포함된 경계적 샘플과 LightGBM의 학습 설정이 상호작용한 결과로 해석한다. 특히 10:1 조건에서는 정합성 불일치 클래스가 상대적으로 적고 LightGBM에 적용된 클래스 불균형 보정이 소수 클래스 패턴을 더 크게 반영하도록 작용했을 가능성이 있다. 다만 이를 단정하기 위해서는 반복 split 및 seed별 분산 분석과 함께 scale_pos_weight, num_leaves 등 LightGBM 하이퍼파라미터 변화에 따른 민감도 분석이 필요하다.

Fig. 5. AUROC Comparison under Different Ratios

Fig. 6. AUPRC Comparison under Different Ratios
AUPRC는 클래스 불균형의 영향을 더 직접적으로 반영하였다. 1:1 조건에서는 LightGBM, XGBoost, Random Forest가 모두 0.99 수준의 AUPRC를 보였지만, 정합성 불일치 호출의 비율이 감소할수록 AUPRC는 전반적으로 하락하였다. 10:1 조건에서는 XGBoost가 AUPRC 0.9504로 가장 높은 성능을 보였고, Random Forest는 0.9123, Isolation Forest는 0.7314를 기록하였다. 100:1 조건에서는 XGBoost가 AUPRC 0.5900으로 가장 높았으며, LightGBM은 0.5377, Isolation Forest는 0.2957, Random Forest는 0.2788을 기록하였다. 이는 정합성 불일치 호출이 전체 데이터에서 약 1% 수준으로 감소하면 AUROC가 높게 유지되더라도 실제 탐지 관점에서 Precision과 Recall의 균형을 유지하기가 어려워진다는 것을 보여준다.
종합하면, 정상 호출과 정합성 불일치 호출의 비율이 균형에 가까운 조건에서는 LightGBM이 가장 높은 F1-score를 보였고, 불균형이 심해지는 10:1 및 100:1 조건에서는 XGBoost가 가장 안정적인 성능을 보였다. AUROC는 대부분의 모델에서 높은 수준을 유지했으나, AUPRC와 F1-score는 정합성 불일치 호출 비율이 낮아질수록 뚜렷하게 감소하였다. 이는 클래스 불균형 환경에서 ROC 기반 지표만으로는 실제 양성 탐지 성능을 충분히 설명하기 어렵고, 정밀도-재현율 기반 지표를 함께 고려해야 한다는 기존 연구의 지적과도 일치한다[37][38]. 따라서 제안한 임베딩 벡터 차이 기반 특징은 불균형 환경에서도 정합성 불일치 호출을 일정 수준 탐지할 수 있지만, 실제 운영 환경에 적용하기 위해서는 클래스 불균형을 고려한 임계값 조정, 모델 선택, 오탐과 미탐 비용을 반영한 정책 설정이 필요하다.
4.6 코사인 유사도 기반 베이스라인 검증
제안한 임베딩 차이 벡터 기반 방법이 단순한 의미 유사도 계산보다 효과적인지를 확인하기 위해, 코사인 유사도 기반 베이스라인과의 추가 비교 실험을 수행하였다.
실험 결과, 코사인 유사도 기반 베이스라인은 1:1 데이터셋에서 F1-score 0.9332, AUROC 0.9734, AUPRC 0.9607을 기록하였다. 이는 사용자 프롬프트와 도구 이름 사이의 직접적인 의미 유사도만으로도 불일치 호출을 어느 정도 구분할 수 있음을 보여준다. 그러나 임베딩 차이 벡터를 입력으로 사용한 경량 분류 모델 중 Isolation Forest를 제외한 세 모델들이 더 높은 성능을 보였다.
특히 코사인 유사도 기반 방법보다 임베딩 벡터 차이를 입력으로 사용한 LightGBM 모델을 사용한 경우 [Table 7]을 보면 F1-score 기준 3.66%p 향상된 결과를 확인할 수 있다.
Table 7. Performance Comparison between Cosine Similarity and LightGBM

이 결과는 단순히 프롬프트와 도구 이름의 유사도가 낮은지를 보는 방식도 유효한 기준이 될 수 있지만, 임베딩 차이 벡터를 학습 모델에 입력하면 두 텍스트 사이의 차이를 더 세밀하게 활용할 수 있음을 시사한다.
4.7 절제 연구
실험 결과, 사용자 프롬프트 임베딩만 사용하는 설정은 F1 0.6667, AUROC 0.4998, AUPRC 0.5000으로 무작위 분류 수준의 성능을 보였다. 이는 사용자 프롬프트 자체만으로는 정상 호출과 정합성 불일치 호출을 구분하기 어렵다는 것을 의미한다. 호출 도구 이름 임베딩만 사용하는 설정은 F1 0.7038, AUROC 0.7275, AUPRC 0.6983으로 사용자 프롬프트 임베딩만 사용하는 설정보다 높은 성능을 보였으나 제안 특징인 임베딩 차이 벡터 설정과는 큰 차이를 보였다. 이는 도구 이름 자체에 일부 분포적 단서가 존재할 수는 있지만 도구 이름만으로 사용자 의도와 호출 도구 간 정합성 여부를 충분히 판단하기는 어렵다는 것을 보여준다.
반면 임베딩 차이 벡터 설정은 F1 0.9698, AUROC 0.9953, AUPRC 0.9955로 가장 높은 성능을 보였다. 이는 LightGBM이 개별 프롬프트나 도구 이름 자체의 분포적 단서만을 학습한 것이 아니라 사용자 프롬프트와 호출 도구 이름 사이의 상대적 의미 차이를 주요 판단 신호로 활용했음을 시사한다. 또한 사용자 프롬프트 임베딩과 도구 이름 임베딩을 이어붙인 결합 벡터 설정은 F1 0.9695, AUROC 0.9945, AUPRC 0.9943으로 임베딩 차이 벡터 설정과 유사한 성능을 보였다. 그러나 결합 벡터는 두 임베딩을 직접 연결하므로 임베딩 차이 벡터보다 두 배의 특징 차원을 사용한다. 따라서 임베딩 차이 벡터는 더 낮은 차원의 표현으로도 결합 벡터보다 약간 높은 성능을 보였으며 도구 호출 정합성 불일치 탐지를 위한 경량 특징으로 적합함을 확인할 수 있다.
종합하면, 절제 연구 결과는 제안 모델의 성능이 사용자 프롬프트 또는 도구 이름 단독의 분포적 편향만으로 설명되기 어렵다는 점을 보여준다. 특히 사용자 프롬프트 임베딩만 사용하는 설정이 무작위 수준에 머물고, 호출 도구 이름 임베딩만 사용하는 설정이 임베딩 차이 벡터 설정보다 현저히 낮은 성능을 보였다는 점에서, 사용자 프롬프트와 호출 도구 이름 사이의 상대적 의미 관계가 정합성 불일치 탐지에 중요한 신호로 작용함을 확인할 수 있다.
V. 결론
본 논문은 LLM 에이전트의 비정상 도구 호출 문제를 사용자 프롬프트와 호출 도구 이름 간 의미론적 정합성 검증 문제로 정의하고 임베딩 벡터 차이 기반의 경량 탐지 기법을 제안하였다. 제안 기법은 사용자 프롬프트와 도구 이름을 동일한 문장 임베딩 공간에 매핑한 뒤, 두 임베딩 벡터의 차이를 특징값으로 사용하여 정상 호출과 정합성 불일치 호출을 분류한다. 이를 통해 별도의 대규모 LLM 검증기를 호출하지 않고도 도구 호출 직전 단계에서 사용자 의도와 호출 도구 간 불일치를 빠르게 점검할 수 있음을 보였다.
실험 결과, 1:1 균형 데이터셋에서 LightGBM이 F1-score 0.9698로 가장 높은 성능을 보였다. 이는 사용자 프롬프트와 호출 도구 이름 사이의 임베딩 벡터 차이가 도구 호출 정합성 검증에 유효한 특징으로 활용될 수 있음을 보여준다. 또한 정상 호출과 정합성 불일치 호출의 비율을 변화시킨 실험에서는 불균형이 심해질수록 F1-score와 AUPRC가 감소하는 경향을 확인하였다. 특히 정합성 불일치 호출이 희소한 조건에서는 XGBoost가 상대적으로 안정적인 성능을 보였으며, 이는 실제 운영 환경에서는 클래스 불균형을 고려한 모델 선택과 임계값 조정이 필요함을 시사한다.
지연시간 측면에서도 제안 기법은 경량 보조 검증 계층으로 활용될 가능성을 보였다. 임베딩 생성 이후의 모델 추론은 밀리초 단위로 수행되었으며, 이는 LLM 기반 검증기를 매 요청마다 호출하는 방식보다 낮은 비용으로 도구 호출 정합성을 사전 점검할 수 있음을 의미한다.
다만 본 연구에는 다음과 같은 한계가 있다.
첫째, 본 연구의 실험 데이터는 실제 간접 프롬프트 주입 공격 로그에서 직접 수집한 것이 아니라 ToolBench의 정상 도구 호출 쌍을 기반으로 동일 사용자 프롬프트에 다른 관측 도구를 결합하여 구성한 것이다. 따라서 본 연구의 실험은 실제 IPI 공격 탐지 성능을 직접 검증한 것이라기보다 간접 프롬프트 주입 등으로 인해 발생할 수 있는 사용자 의도와 도구 호출 간 의미적 불일치가 임베딩 차이 벡터를 통해 구분 가능한지를 확인하기 위한 프록시 실험으로 해석되어야 한다.
둘째, 현재의 비정상 샘플 생성 방식은 실제 호출 도구가 아닌 다른 도구를 결합하는 방식이므로, 사용자 요청과 호출 도구가 비교적 명확히 어긋나는 비교적 쉬운 샘플을 생성할 가능성이 있다. 이러한 설정은 임베딩 차이 벡터가 사용자 프롬프트와 도구 이름 간의 거친 의미적 불일치를 포착할 수 있는지 확인하는 데에는 적합하지만 실제 공격 상황에서 발생할 수 있는 더 미묘한 도구 오용을 충분히 반영하지는 못한다. 예를 들어 이메일 읽기 요청에 대해 이메일 삭제 도구가 호출되는 경우, 일정 조회 요청에 대해 일정 수정 또는 삭제 도구가 호출되는 경우처럼 같은 도메인 내에서 기능, 행위 목적, 권한 수준만 달라지는 어려운 사례에 대한 추가 검증이 필요하다.
셋째, 본 연구는 사용자 프롬프트와 호출 도구 이름만을 입력 특징으로 사용하였다. 따라서 도구 설명, 입력 인자, 반환 결과, 이전 대화 문맥, 외부 콘텐츠에 포함된 지시문 등은 모델 판단에 반영하지 못하였다. 실제 LLM 에이전트 환경에서는 동일한 도구라도 입력 인자에 따라 위험성이 달라질 수 있고, 이전 대화 문맥이나 외부 문서의 지시에 의해 도구 호출의 정합성이 달라질 수 있다. 따라서 향후 연구에서는 도구 이름 수준의 정합성 검증을 넘어 도구 설명, 인자, 권한 수준, 실행 결과, 다중 턴 문맥을 함께 고려하는 확장된 정합성 검증 구조가 필요하다.
단순 무작위 도구 치환 기반 평가는 모델의 다양한 실패 양상을 충분히 드러내기 어렵기 때문에, 향후에는 모델 행동을 체계적으로 검증할 수 있는 더 동적인 평가셋으로 확장할 필요가 있다[39][40]. 이러한 관점에서 본 연구의 향후 과제는 단순 무작위 도구 치환으로 생성한 쉬운 비정상 샘플을 넘어 동일 도메인 내 도구 혼동, 권한 수준 차이, 인자 수준 불일치, 다중 턴 문맥 불일치와 같은 어려운 비정상 평가셋으로 확장하는 것이다. 향후 도구 설명, 입력 인자, 실행 결과, 이전 대화 문맥을 함께 반영하는 다중 특징 기반 검증으로 확장한다면, 도구 호출 직전 단계에서 정합성이 낮은 호출을 점검하고 사용자 재확인을 요구하는 경량 보조 검증 방법으로 발전시킬 수 있을 것이다.
References
- T. Schick, J. Dwivedi-Yu, R. Dessì, R. Raileanu, M. Lomeli, E. Hambro, L. Zettlemoyer, N. Cancedda, and T. Scialom, "Toolformer: language models can teach themselves to use tools," Advances in Neural Information Processing Systems, vol. 36, pp. 68539-68551, Dec. 2023.
- K. Greshake, S. Abdelnabi, S. Mishra, C. Endres, T. Holz, and M. Fritz, "Not what you've signed up for: compromising real-world LLM-integrated applications with indirect prompt injection," Proceedings of the 16th ACM Workshop on Artificial Intelligence and Security, pp. 79-90, Nov. 2023.
- Q. Zhan, Z. Liang, Z. Ying, and D. Kang, "Injecagent: benchmarking indirect prompt injections in tool-integrated large language model agents," Findings of the Association for Computational Linguistics: ACL 2024, pp. 10471-10506, Aug. 2024.
- E. Debenedetti, J. Zhang, M. Balunović, L. Beurer-Kellner, M. Fischer, and F. Tramèr, "Agentdojo: a dynamic environment to evaluate prompt injection attacks and defenses for LLM agents," Advances in Neural Information Processing Systems, vol.37, pp. 82895-82920, Dec. 2024.
- H. Inan, K. Upasani, J. Chi, R.Rungta, K. Iyer, Y. Mao, M.Tontchev, Q. Hu, B. Fuller, D.Testuggine, and M. Khabsa, "Llamaguard: llm-based input-output safeguard for human-ai conversations," arXiv preprint arXiv:2312.06674, Dec.2023.
- N. Jain, A. Schwarzschild, Y. Wen,G. Somepalli, J. Kirchenbauer, P.Chiang, M. Goldblum, A. Saha, J.Geiping, and T. Goldstein, "Baselinedefenses for adversarial attacksagainst aligned language models," arXiv preprint arXiv:2309.00614, Sep.2023.
- Y. Qin, S. Liang, Y. Ye, K. Zhu, L.Yan, Y. Lu, Y. Lin, X. Cong, X.Tang, B. Qian, S. Zhao, L. Hong, R.Tian, R. Xie, J. Zhou, M. Gerstein,D. Li, Z. Liu, and M. Sun, "Toolllm:facilitating large language modelstomaster 16000+ real-worldapis," Proceedings of the 12th International Conference on Learning Representations, May 2024.
- N. Reimers and I. Gurevych,"Sentence-bert: sentence embeddingsusing siamese bert-networks," Proceedings of the 2019 ConferenceonEmpirical Methods in Natural Language Processing and the 9thInternational Joint ConferenceonNatural Language Processing, pp.3982-3992, Nov. 2019.
- W. Wang, F. Wei, L. Dong, H. Bao,N. Yang, and M. Zhou, "Minilm: deepself-attention distillation for taskagnostic compression of pre-trainedtransformers," Advances inNeural Information Processing Systems, vol.33, pp. 5776-5788, Dec. 2020.
- T. Chen and C. Guestrin, "Xgboost: a scalable tree boosting system," Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 785-794, Aug. 2016.
- G. Ke, Q. Meng, T. Finley, T. Wang, W. Chen, W. Ma, Q. Ye, and T. Liu, "Lightgbm: a highly efficient gradient boosting decision tree," Advances in Neural Information Processing Systems, vol. 30, pp. 3146-3154, Dec. 2017.
- F. T. Liu, K. M. Ting, and Z.-H. Zhou, "Isolation forest," Eighth IEEE International Conference on Data Mining, pp. 413-422, Dec. 2008.
- L. Breiman, "Random forests," Machine Learning, vol. 45, no. 1, pp. 5-32, Oct. 2001.
- F. Perez and I. Ribeiro, "Ignore previous prompt: attack techniques for language models," Proceedings of the NeurIPS ML Safety Workshop, Dec. 2022.
- J. Yi, Y. Xie, B. Zhu, E. Kiciman, G. Sun, X. Xie, and F. Wu, "Benchmarking and defending against indirect prompt injection attacks on large language models," Proceedings of the 31st ACM SIGKDD Conference on Knowledge Discovery and Data Mining, vol. 1, pp. 1809-1820, Aug. 2025.
- Y. Liu, Y. Jia, R. Geng, J. Jia, and N. Z. Gong, "Formalizing and benchmarking prompt injection attacks and defenses," 33rd USENIX Security Symposium, pp. 1831-1847, Aug. 2024.
- S. Yao, J. Zhao, D. Yu, N. Du, I. Shafran, K. Narasimhan, and Y. Cao, "React: synergizing reasoning and acting in language models," Proceedings of the 11th International Conference on Learning Representations, May 2023.
- E. Karpas, O. Abend, Y. Belinkov, B.Lenz, O. Lieber, N. Ratner, Y.Shoham, H. Bata, Y. Levine, K.Leyton-Brown, D. Muhlgay, N. Rozen,E. Schwartz, G. Shachaf, S.Shalev-Shwartz, A. Shashua, andM.Tenenholtz, "MRKL systems: amodular, neuro-symbolic architecturethat combines large language models,external knowledge sources anddiscrete reasoning," arXiv preprintarXiv:2205.00445, May 2022.
- Y. Shen, K. Song, X. Tan, D. Li, W.Lu, and Y. Zhuang, "HuggingGPT:solving ai tasks with chatgpt anditsfriends in hugging face," AdvancesinNeural Information ProcessingSystems, vol. 36, pp. 38154-38180,Dec. 2023.
- S.G. Patil, T. Zhang, X. Wang, andJ.E. Gonzalez, "Gorilla: large languagemodel connected with massive APIs," Advances in Neural InformationProcessing Systems, vol. 37, pp.126544-126565, Dec. 2024.
- S.G. Patil, H. Mao, F. Yan, C.C. Ji,V. Suresh, I. Stoica, andJ. E.Gonzalez, "The berkeley functioncalling leaderboard (BFCL): fromtool use to agentic evaluation of largelanguage models," Proceedings of the42nd International ConferenceonMachine Learning, Proceedingsof Machine Learning Research, vol. 267,pp. 48371-48392, Jul. 2025.
- M. Li, Y. Zhao, B. Yu, F. Song, H.Li, H. Yu, Z. Li, F. Huang, andY.Li, "API-bank: a comprehensivebenchmark for tool-augmentedLLMs," Proceedings of the 2023 ConferenceonEmpirical Methods in Natural Language Processing, pp. 3102-3116, Dec. 2023.
- Z. Chen, W. Du, W. Zhang, K. Liu, J. Liu, M. Zheng, J. Zhuo, S. Zhang, D. Lin, K. Chen, and F. Zhao, "T-eval: evaluating the tool utilization capability of large language models step by step," Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics, vol. 1, pp. 9510-9529, Aug. 2024.
- S. Yao, N. Shinn, P. Razavi, and K. Narasimhan, "τ-bench: A benchmark for tool-agent-user interaction in real-world domains," Proceedings of the 13th International Conference on Learning Representations, Apr. 2025.
- Y. Ruan, H. Dong, A. Wang, S. Pitis, Y. Zhou, J. Ba, Y. Dubois, C. J. Maddison, and T. Hashimoto, "Identifying the Risks of LM Agents with an LM-Emulated Sandbox," Proceedings of the 12th International Conference on Learning Representations, May 2024.
- M. Andriushchenko, A. Souly, M. Dziemian, D. Duenas, M. Lin, J. Wang, D. Hendrycks, A. Zou, J. Z. Kolter, M. Fredrikson, Y. Gal, and X. Davies, "AgentHarm: a benchmark for measuring harmfulness of LLM agents," Proceedings of the 13th International Conference on Learning Representations, Apr. 2025.
- K. Hines, G. Lopez, M. Hall, F. Zarfati, Y. Zunger, and E. Kiciman, "Defending against indirect prompt injection attacks with spotlighting," Proceedings of the Conference on Applied Machine Learning in Information Security, CEUR Workshop Proceedings, vol. 3920, pp. 48-62, Oct. 2024.
- S. Chen, J. Piet, C. Sitawarin, and D. Wagner, "StruQ: defending againstprompt injection with structuredqueries," 34th USENIXSecuritySymposium, pp. 2383-2400, Aug. 2025.
- F. Jia, T. Wu, X. Qin, andA.Squicciarini, "The task shield:enforcing task alignment to defendagainst indirect prompt injectioninLLM agents," Proceedings of the63rdAnnual Meeting of the AssociationforComputational Linguistics, vol. 1, pp.29680-29697, Jul. 2025.
- A. Sekar, M. Agarwal, R. Sharma, A.Tanaka, J. Zhang, A. Damerla, andK. Zhu, "Zero-shot embeddingdriftdetection: a lightweight defenseagainst prompt injections inLLMs," arXiv preprint arXiv:2601.12359, Jan.2026.
- M.A. Ayub and S. Majumdar,"Embedding-based classifiers candetect prompt injection attacks," Proceedings of the ConferenceonApplied Machine LearninginInformation Security (CAMLIS2024),CEUR Workshop Proceedings, vol.3920, pp. 257-268, Oct. 2024.
- M. Alamsabi, M. Tchuindjang, andS.Brohi, "Embedding-based detectionof indirect prompt injection attacksinlarge language models using semanticcontext analysis," Algorithms, vol. 19,no. 1, Art. no.92, Jan. 2026.
- S. Chen, X. Bi, R. Gao, and X. Sun,"Holistic sentence embeddings forbetter out-of-distribution detection," Findings of the AssociationforComputational Linguistics: EMNLP2022, pp. 6676-6686, Dec. 2022.
- H. Lee, K. Park, H. Byun, J. Yeom,J. Kim, G. Park, and K. Song, "CED:comparing embedding differencesfordetecting out-of-distributionandhallucinated text," Findings of the Association for Computational Linguistics: EMNLP 2024, pp. 14866-14882, Nov. 2024.
- Y. Cao, S. Yang, C. Li, H. Xiang, L. Qi, B. Liu, R. Li, and M. Liu, "TAD-bench: a comprehensive benchmark for embedding-based text anomaly detection," arXiv preprint arXiv:2501.11960, Jan. 2025.
- D.R. Roberts, V. Bahn, S. Ciuti, M. S. Boyce, J. Elith, G. Guillera-Arroita, S. Hauenstein, J.J. Lahoz-Monfort, B. Schröder, W. Thuiller, D.I. Warton, B.A. Wintle, F. Hartig, and C.F. Dormann, "Cross-validation strategies for data with temporal, spatial, hierarchical, or phylogenetic structure," Ecography, vol. 40, no. 8, pp. 913-929, Aug. 2017.
- J. Davis and M. Goadrich, "The relationship between precision-recall and ROC curves," Proceedings of the 23rd International Conference on Machine Learning, pp. 233-240, Jun. 2006.
- T. Saito and M. Rehmsmeier, "The precision-recall plot is more informative than the ROCplot whenevaluating binary classifiers onimbalanced datasets," PLOSONE,vol. 10, no. 3, e0118432, Mar. 2015.
- M. T. Ribeiro, T. Wu, C. Guestrin,and S. Singh, "Beyond accuracy:behavioral testing of NLPmodelswith checklist," Proceedings of the58th Annual Meeting of theAssociation for Computational Linguistics, pp. 4902-4912, Jul. 2020.
- D. Kiela, M. Bartolo, Y. Nie, D.Kaushik, A. Geiger, Z. Wu, B.Vidgen, G. Prasad, A. Singh, P.Ringshia, Z. Ma, T. Thrush, S.Riedel, Z. Waseem, P. Stenetorp, R.Jia, M. Bansal, C. Potts, andA.Williams, "Dynabench: rethinkingbenchmarking in NLP," Proceedingsof the 2021 Conference of the NorthAmerican Chapter of the Associationfor Computational Linguistics: HumanLanguage Technologies, pp. 4110-4124, Jun. 2021.