A.T. Field: 파일 I/O 시퀀스 추적 기반 실시간 Anti-Ransomware 시스템

A.T. Field: A Real-Time Anti-Ransomware System Based on File I/O Sequence Tracing

Abstract

본 논문은 파일 I/O 시퀀스 추적 기반의 실시간 랜섬웨어 차단 시스템인 A.T. Field를 제안한다. 본 시스템은 Windows의 핵심 I/O 이벤트를 수집해 파일 단위의 전이 상태로 정규화한다. 단일 프로세스에서 다수 파일로 확산되는 암호화 패턴을 포착하여, 허용 목록(allowlist)이나 기계학습 모델 없이도 악성 행위를 식별한다. 이러한 행위 기반 접근은 정상 서명 바이너리, LOTL(Living-off-the-Land), 파일리스 및 제로데이 위협 방어에 효과적이다. 데이터 훼손을 막기 위해 파괴적 쓰기 직전 원본 데이터를 캐싱하고, 탐지 즉시 프로세스를 격리하여복구한다. 25개 패밀리의 1,023개 샘플을 평가한 결과, 암호화 행위가 발현된 854개 샘플을 전량 탐지하였다. 5종의 정상 I/O 워크로드에서는 오탐 없이 평균 4%의 낮은 런타임 오버헤드를 기록하여 실효성을 입증하였다.

This paper proposes A.T. Field, a real-time anti-ransomware system based on file I/O sequence tracing. It collects core Windows I/O events (create, read, write, rename, delete, memory mapping) and normalizes them into per-file transition states. By tracking encryption patterns spreading across multiple files within a process, A.T. Field identifies malware without allowlists or machine learning models. This behavior-based approach effectively mitigates evasion techniques like signed binaries, Living-off-the-Land (LOTL), fileless scripts, and zero-day threats. To prevent data loss, the system caches original data just before destructive writes, enabling immediate process isolation and recovery upon detection. Evaluating 1,023 ransomware samples across 25 families, A.T. Field detected all 854 actively encrypting samples. Tests on five I/O-intensive benign workloads yielded zero false positives with a 4% average runtime overhead, confirming its practicality.

I. 서론

1.1 개요

랜섬웨어는 더 이상 “악성 실행 파일 배포 → 대량 암호화 → 금전 요구”로 단순화하기 어려운 위협이 되었다. 최근 공격자는 정상 운영체제 구성요소나 서명된 시스템 바이너리(rundll32.exe, msiexec.exe 등)를 악용해 악성 페이로드 실행을 우회적으로 위임하는 Signed Binary Proxy Execution(T1218)과 같은 Living off the Land(LOTL) 전술을 광범위하게 사용한다[1,2]. 이 경우 실행 주체가 OS가 신뢰하는 바이너리로 관측되므로, 프로세스 이미지·서명 기반의 차단 정책만으로는 “정상 도구의 정상 사용”과 “정상 도구의 악성 사용”을 구분하기가 구조적으로 어렵다.

또한 공격은 파일리스(fileless) 및 하이브리드 형태로 확대되고 있다. PowerShell, WMI, 매크로 등 기존 스크립팅·관리 인터페이스를 이용하거나 메모리 내에서 직접 페이로드를 전개함으로써 디스크상의 명확한 악성 바이너리를 남기지 않으려는 경향이 강해졌고, 그 결과 전통적인 파일 기반 IOC 수집이나 정적 시그니처 탐지의 가시성이 크게 낮아지고 있다[3,4]. 방어 관점에서는 “무엇을 근거로 실시간 차단 신호를 만들 것인가”가 점점 더 어려운 문제로 이동하고 있다.

암호화 단계 자체도 탐지 회피에 최적화되는 방향으로 변하고 있다. 다수의 현대 랜섬웨어는 파일 전체를 암호화하지 않고 일부 블록만 선택적으로 암호화하는 간헐적(부분) 암호화 전략을 채택하여 처리 속도를 높이면서도, 엔트로피 급상승과 같은 콘텐츠 기반 지표나 단순 대량 I/O 폭주 지표의 민감도를 낮춘다[5,6]. 더 나아가 파일 이름·확장자를 바꾸지 않거나, 교체·이동 API(MoveFileEx, ReplaceFile)를 활용해 정상 애플리케이션의 원자적 저장(atomic save)과 유사한 I/O 순서를 모방함으로써 “단순 저장/업데이트”와 “악성 암호화”의 구분을 어렵게 만드는 사례도 보고되고 있다[5,9]. 즉, 단일 API 호출이나 단일 파일의 변화(예: 엔트로피)만으로는 악성 암호화를 확정하기가 점점 힘들어지고 있다.

이러한 환경에서 다양한 행위 기반 방어 기법이 제안되어 왔으며, 일부는 랜섬 노트 확인, 허니파일(디코이) 훼손 관찰, 또는 모델 기반 이상 징후 판별 등 추가 신호를 결합해 오탐을 줄이면서 실시간 차단을 시도한다[10]. 그러나 추가 신호의 설계·운영(예: 디코이 관리)과 같은 부가 비용이 발생하거나, 특정 계층(예: 암호화 API 호출)에 대한 관측/개입을 전제로 하는 등 적용 조건이 명확히 존재한다[10]. 따라서 (i) 실행 주체 식별(서명/이미지)이나 (ii) 로 그/콘텐츠/머신러닝/디코이 같은 부가 신호에 대한 의존을 최소화하면서도, 실제 랜섬웨어의 “다수 파일에 대한 반복적 파괴 동작”을 실시간으로 포착할 수 있는 경량화된 판정 기준이 필요하다.

본 논문은 이러한 문제의식 하에, 로그/머신러닝/디코이 없이도 실시간 판정을 목표로 하는 파일 I/O 시퀀스 기반 anti-ransomware 시스템 A.T.Field를 제안한다. A.T. Field는(i) Windows상의 파일 I/O 이벤트를 관측하여 Cr/Rd/Wr/Ren/Del 전이 시퀀스로 정규화하고, (ii) 랜섬웨어의 파일 변조 동작을 세 가지 계열(이름 변경 후 암호화, 사본 생성 후 교체·삭제, 원본 제자리 덮어쓰기)과 총 아홉 개 세부 시퀀스로 모델링하며, (iii)단일 파일·단일 이벤트가 아니라 서로 다른 원본파일들에 대해 동일한 악성 시퀀스가 짧은 시간에 반복되는 버스트 조건을 만족할 때만 악성으로 확정함으로써 정상 워크플로(예: 원자적저장)와의 충돌을 완화한다.

또한 파괴적 변경이 커밋되기 전에 원본 파일을 사전 스냅샷으로 보존하고, 악성 확정 시 프로세스를 격리한 뒤 복구 절차를 수행하여 차단 시점 이후의 파일 손실을 최소화하도록 설계되었다.

1.2 관련 연구 및 본 연구의 위치

랜섬웨어 방어 연구는 관측 신호와 판정 방식에 따라 대체로 (i) 정적 IOC/시그니처 기반, (ii)콘텐츠 변화량(엔트로피·쓰기량 등) 기반, (iii) 디셉션(디코이/허니파일)·랜섬 노트 확인 기반, (iv) 행위 기반(후킹/ETW 기반 규칙형·ML형)으로 분류할 수 있다. 각 접근은 탐지 신호의 “명확성”과“운영 비용(오탐·성능·관리)” 사이에서 서로 다른 트레이드오프를 갖는다.

첫째, 정적 시그니처·확장자·경로 패턴에 의존하는 방식은 구현이 단순하고 즉각적 차단이 가능하나, 난독화·다형성, 확장자 미변경(in-place) 전략, 그리고 LOTL/fileless 전술처럼 실행 주체가 정상 바이너리로 관측되는 상황에서는 식별력이 급격히 저하될 수 있다[1–4]. 또한 정상 워크플로(대량 리네임/정리 등)와 행위열이 충돌할 경우 오탐 위험도 존재한다.

둘째, 콘텐츠/변화량 기반 접근은 암호화가 유발하는 엔트로피 상승, 단시간 쓰기 빈도 증가, 읽기/쓰기 비율 변화 등을 신호로 삼는다. 그러나 대형 동기화·빌드·압축·미디어 변환 등 정상 작업도 유사한 대량 I/O 패턴을 만들 수 있어 신호 분리도가 낮아질 수 있으며, 특히 간헐적·부분 암호화는 “파일 전체를 빠르게 변조한다”는 전제를 약화시켜 이러한 지표의 민감도를 낮추는 우회가 가능하다고 보고된다[5–8]. 더불어 I/O 경로에서 고해상도 특성을 지속 수집하는 방식은 실행 지연 및 저장장치 성능 저하(오버헤드) 문제로 이어질 수 있다는 지적도 있다[12].

셋째, 디셉션(디코이/허니파일) 및 랜섬 노트 확인 기반 접근은 “트리거 신호”가 비교적 명확해 오탐을 줄이는 데 유리하다[13–15]. 반면 디코이의 배치·동기화·보호 정책 등 운영 요소가 설계의 핵심이 되며, 공격자가 디코이를 우회/무시하거나 정상 애플리케이션이 우발적으로 접근하는 경우 등 환경 의존적 리스크가 존재한다[13–15].

넷째, 행위 기반 방어는 후킹/ETW 등을 통해 API 호출열(또는 이벤트열)을 관측하고 규칙 또는 모델로 판정한다. 규칙형 접근은 설명 가능성과 상대적으로 낮은 계산 비용이 장점이지만, 규칙이 순서에 과도하게 민감하거나 정상 워크플로(원자 저장/버저닝/빌드)와의 충돌이 충분히 고려되지 않으면 오탐 또는 탐지 누락이 발생할 수 있다.

ML형 접근은 API n-그램 및 부가 피처를 결합해 표현력을 높일 수 있으나, 학습/재학습 비용과 데이터 편향, 로그·특징 저장에 따른 성능·개인정보 부담이 존재한다[2,13,16]. 한편 ranDecepter는 CryptoAPI/BCrypt/OpenSSL 등 암호화 API 후킹으로 “암호화 호출 자체”를 직접 겨냥하고, 보조 신호로 랜섬 노트 확인 등을 활용하여 실시간 억제와 파일 손실 최소화를 보고하였다[10].

이 접근은 검증 신호의 명확성이 높은 장점이 있으나, 암호화 API 계층의 관측/개입 및 보조 신호 설계를 전제로 한다는 점에서 적용 조건이 비교적 명시적이다[10].

본 연구는 위 접근들과 상보적인 위치에서, 허용 목록(allowlist), 사전 로그 수집, 콘텐츠 지표(트로피), 디코이, 머신러닝 없이Windows 파일 I/O 시퀀스만으로 실시간 판정을 목표로 한다. 구체적으로 (i) 파일 생성·읽기·쓰기·이름 변경/교체·삭제 및 MMIO를 Cr/Rd/Wr/Ren/Del로 정규화하고, (ii) 랜섬웨어의 파일 변조 동작을 3개 계열(A/B/C)·9개 시퀀스로 모델링하며, (iii) 엄격한 순서를 경직되게 강제하지 않고 부분 순서 매칭으로 호출 재배열·분할 I/O·지연 삭제 커밋 등 현실적 변형을 흡수한다. 또한 (iv) 단일 파일의 단발 이벤트가 아니라 서로 다른 원본 파일들에 대해 동일 시퀀스가 짧은 시간창 내 ≥k회 반복되는 k-burst 연속성 조건을 만족할 때만 악성으로 확정하여, 정상 원자 저장 및 대량 처리 워크플로와의 구조적 충돌을 완화한다.

마지막으로 파괴적 변경이 커밋되기 전에 원본 파일을 사전 스냅샷으로 보존하고, 확정 시 프로세스를 격리한 뒤 복구를 수행함으로써 실질 손실을 최소화하도록 설계하였다.

요약하면, A.T. Field는 “어떤 프로세스가 악성인지”를 정적 속성으로 규정하기보다, 파일 시스템상에서 관측되는 ‘반복적 파괴 시퀀스의 전파’를 최소 신호로 포착하는 것을 목표로 한다. 본 논문의 구성은 다음과 같다.

Ⅱ장에서는 파일 I/O 이벤트의 정규화, 정상 워크플로에서 발생 가능한 경계 패턴, 그리고 위협 모델을 정의한다. Ⅲ장에서는 A.T. Field의 설계로서 3개 계열(A/B/C)·9개 파일 I/O 시퀀스 모델과 부분 순서 매칭, k-burst 확정 규칙, 스냅샷 기반 복구 절차를 제시한다.

Ⅳ장에서는 실험 환경과 데이터셋을 설명하고, 랜섬웨어 탐지 성능 및 정상 워크로드에서의 오탐/오버헤드를 평가한다. Ⅴ장에서는 결과를 요약하고 결론을 맺는다. 또한 Ⅳ장 말미(4.5절)에서 한계 및 향후 연구 방향을 논의한다.

Fig. 1은 A.T. Field의 전체 아키텍처를 요약한다. 커널 드라이버(ATField‑K)는 프로세스 생성 이벤트를 감지하여 사용자 공간 서비스에 통지하고(①), 사용자 공간의 ATField Service(Injector)는 보호 대상 프로세스에 ATField 모듈을 주입한다(②).

Fig. 1. Overall architecture of A.T. Field

주입된 모듈은 성공한 파일 I/O 호출을 수집하여 Cr/Rd/Wr/Ren/Del 이벤트로 정규화한 뒤 중앙 엔진(ATField Engine)으로 전달하며(③), 중앙 엔진은 시퀀스 정규화/매칭과 시간창 기반 burst 규칙을 통해 프로세스 단위로 악성 여부를 결정한다. 악성 확정 시 제어 평면은 프로세스를 일시정지/종료하는 containment 조치를 수행하고(④,④a), 파괴적 변경 이전에 확보된 파일 단위 스냅샷을 기반으로 복구를 요청·수행한다(⑤,⑤a). 탐지 및 대응 결과는 경보/텔레메트리 채널로 기록된다(⑥).

II. 배경 및 위협 모델

2.1 파일 I/O 기본 정규화

본 연구는 파일 변조를 개별 호출의 존재가 아니라 호출들 간 의미적 전이(transition)로 인식한다. 관측 이벤트는 Create/Read/Write/Rename/Delete의 다섯 축으로 정규화하며(이하 각각 Cr/Rd/Wr/Ren/Del), Cr(X:DISP)의 DISP는 OE(OPEN_EXISTING), CN(CREATE_NEW), CA(CREATE_ALWAYS)로 구분한다. Cr(O:OE)는 기존 원본(O)에 대한 접근·수정 의도, Cr(N:CA|CN)은 신규 대상(N) 생성 의도를 표지한다. 버퍼드 쓰기와 메모리 매핑 쓰기(CreateFileMapping, MapViewOfFile)는 효과가 동일하므로 Wr로 통합한다. Ren은 MoveFileEx, SetFileInformationByHandle, FileRenameInfo와 ReplaceFile을 포괄하는 이름 변경·원자 교체의 통일 표기이며, 삭제는 DeleteFile 뿐 아니라 FileDispositionInfo 및 FILE_FLAG_DELETE_ON_CLOSE 등에 의한 지연 삭제까지 포함하고, 커밋 시점을 Del로 정규화한다[11]. 시퀀스의 시간축은 성공한 API 이벤트의 발생 순서를 따르며, 실패·중복 호출은 최소 집합으로 축약한다. 경로 표기는 NT/Win32 네임스페이스를 정규화된 절대 경로로 통일해 동일 개체를 일관되게 식별한다. 이상의 약어–API 대응과 해석 기준은 Table 1에 요약되며, 이후 모든 시퀀스 비교는 본 정규화 규칙을 전제로 수행된다.

Table 1. Abbreviations ↔ Windows APIs

2.2 정상 워크플로와 오탐의 근원

정상 애플리케이션은 (i) 원자 저장(atomicsave), (ii) 동기화/백업·버저닝 과정의 반복적 rename 및 임시/백업 파일 정리, (iii) IDE빌드·대량 변환 파이프라인에서 짧은 시간에 다수 파일을 Cr→Wr 하는 버스트 패턴을 보인다.

또한 delete-on-close(지연 삭제)나 교차 볼륨 rename(내부적으로 복사+삭제)등 구현상 차이로 인해, 정상 동작이 암호화 시퀀스와 형태적으로 유사한 흔적을 남길 수 있다. 이로 인해 A/B 계열 시퀀스와 정상 원자 저장의 행위열 충돌, 대량 처리 버스트와 암호화 버스트의 시계열 혼동, 지연 삭제에 따른 관측 공백이 오탐의 주요 원인이 된다.

본 연구는 콘텐츠·허용 목록(allowlist)·로그/ML 의존 없이 오탐을 억제하기 위해,

(1) 새 대상 생성 경로에서 Cr(N)의 DISP 제약(대개 CA|CN)을 점검하고,

(2) 동일 프로세스가 서로 다른 O 파일에 대해 동일 악성 시퀀스를 단시간에 ≥k회 반복할 때만 악성으로 확정하며,

(3) delete-on-close 등 지연 삭제는 커밋 시점에 Del로 정규화하여 비교 일관성을 유지한다. 정상–악성 최소 대비는 Table 2에 요약하였다.

Table 2. Benign vs. ransomware families (normalized; ReplaceFile→Ren unified)

2.3 위협 모델

본 연구는 다음의 위협 모델을 전제로 한다. 공격자 진입 벡터는 (i) 운영체제가 신뢰하는 서명 바이너리의 프록시 실행(LOTL, T1218), (ii) 스크립트 기반 파일리스 경로(PowerShell/VBS/WMI 등), (iii) 제로데이 악용 등으로 한정하지 않는다.

공격자는 일반 사용자 계정부터 관리자 권한까지 다양한 권한에서 실행될 수 있으며, 완전 또는 간헐적(부분) 암호화를 수행하고, Cr/Rd/Wr/Ren/Del 및 MMIO(메모리 매핑 쓰기)를 조합해 파일 내용을 변경한다. 또한 확장자/이름·메타데이터 보존(Rename/atomic replace 활용)이나 delete-on-close에 의한 지연 삭제를 통해 사용자의 인지 시점을 늦출 수 있다.

Table 3. Threat model summary

방어자 관측점은 사용자 모드에서 타깃 프로세스에 주입된 후킹 모듈로, Cr/Rd/Wr/Ren/Del을 성공 이벤트 기준으로 관측하고, 이를 정규화된 시퀀스로 변환한다. 판정 정책은 동일 프로세스에서 서로 다른 원본(O) 파일에 대해 동일 악성 시퀀스가 단시간 내(시간창 T) ≥k회 반복될때만 악성으로 확정한다. 확정 시에는 프로세스 격리(일시정지·종료)및 스냅샷 기반 복구를 수행하며, 격리·복구 단계는 원자적 저장 등 정상 워크플로의 원복 가능성을 훼손하지 않도록 설계한다.

범위 밖(Out-of-scope)에는 (i) 부트 이전(Pre-OS) 단계에서의 디스크 전면 암호화, (ii) \\.\PhysicalDriveX 등 로우 디바이스/볼륨 직접변 조, (iii) 원격 시스템에서만 발생하는 서버 측 암호화, (iv) 커널 모드 루트킷에 의한 사용자 모드 관측점 은닉/우회가 포함된다. 이러한 위협은 본 시스템의 사용자 모드 관측 가정과 상충하므로 별도 방어 기법과의 결합이 필요하다.

Table 4는 1.2절에서 논의한 대표 선행 방어 기법을 운영 관점에서 압축 비교한 표이다.

Table 4. Comparison with prior defenses

‘False Positives’는 각 접근의 오탐 가능성과 오탐 억제 방식(예: 반복 조건 요구 여부)을, ‘Validation’은 랜섬웨어로 확정하기 위해 요구되는 검증 신호(예:ransom note 확인, CryptoAPI/행위 신호 등)를, ‘ML/Heuristic Cost’는 학습·튜닝 및 운영 부담을, ‘Decoy Mgmt’는 디코이/허니파일 관리 필요성을 나타낸다. 비교 결과, A.T. Field는 파일 I/O 시퀀스와 k‑burst 조건만으로 확정하는 sequence‑only 접근으로서 추가 로그 수집이나 콘텐츠 지표, 디코이, 머신러닝 없이도 오탐을 억제하도록 설계되었다. 이후 절에서는 A.T. Field의 시퀀스 정규화, 부분순서 매칭, k‑burst 확정 규칙 및 복구 절차를 구체적으로 정의한다.

III. 제안 기법: A.T. Field

3.1 관측 이벤트와 정규화(후킹 범위, 경로/핸들 정규화, 재진입 가드)

A.T. Field는 프로세스 내부에 주입된 사용자 모드 모듈이 “성공한 파일 I/O 호출”만을 수집하고, 이를 Cr/Rd/Wr/Ren/Del 다섯 축으로 정규화한다.

약어와 대표 Windows API의 대응은 Table 1에 정리되어 있으며, 본 시스템의 후킹 범위는 제시된 항목을 포괄한다.

경로 식별은 NT/Win32 네임스페이스를 정규화한 절대 경로 기반으로 수행하고, 핸들↔경로 매핑을 유지하여 동일 파일 개체를 일관되게 추적한다. 삭제는 즉시 삭제와 지연 삭제(delete-on-close)를 구분하되, 관측의 일관성을 위해 커밋 시점을 Del로 정규화한다. 메모리 매핑에 의한 쓰기(CreateFileMapping/MapViewOfFile 등)는 효과상 Wr로 귀속한다. 내부 로깅이나 스냅샷 I/O가 다시 후킹 경로로 유입되는 것을 방지하기 위해, 스레드 지역(thread-local) 플래그 기반의 재진입 가드를 적용한다. 시계열은 성공 이벤트의 발생 순서를 기준으로 하며, 실패·중복 호출은 최소 집합으로 축약한다.

3.2 시퀀스 모델: Family A/B/C(필수전제·제약)

정규화된 행위는 (A) 이름 변경 후 암호화, (B)사본 생성 후 암호화·원본 제거/교체, (C) 원본 제자리 덮어쓰기(in-place)로 조직한다. 각 계열의 대표 시퀀스와 해석은 Table 5에 요약하였다. 본 시스템의 시퀀스 인식기는 Table 5의 정준 순서를 그대로 강제하지 않고, 현실에서 흔한 호출 재배열을 흡수하기 위해 “부분순서 매칭”을 사용한다. 부분순서 매칭이란 각 패턴이 요구하는 핵심 선후관계만 유지하고(예: A-1은 Ren(O→N) ≺Cr(N:OE)≺Wr(N)),

Table 5. Sequence model (A/B/C families; canonical order)

그 사이의 비핵심 변동은 허용하는 방식이다. 구체적으로, (i) 다른 파일 접근이나 메타데이터 조회와 같은 비관련 이벤트의 삽입, (ii) Rd/Wr의 반복(분할 I/O)과 재시도, (iii) 선택 단계의 존재 여부(예: A-1의 Rd(N)은 있으면 Cr(N)과 Wr(N) 사이), (iv) 의미 등가 치환(ReplaceFile≡Ren),(v) 지연 삭제의 커밋 시점 정규화(delete-on-close → Del ), (vi) 한 시퀀스에 속하는 이벤트가 시퀀스 창 W_seq(수백 ms~수 초)내에서 발생하는 조건을 인정한다.

반대로, 정준 순서의 핵심 선후관계 자체를 뒤집는 변화(B-1에서 Wr(N)이 Del(O)보다 먼저 발생 등)는 해당 패턴으로 인정하지 않고 다른 패턴으로 재평가하거나 불일치로 처리한다.

3.3 버스트․연속성 판정 규칙(서로 다른 다수 파일에서 동일 시퀀스의 단시간 반복)

랜섬웨어는 동일한 파괴 시퀀스를 짧은 시간 안에 다수 파일로 전파한다는 행위적 특성을 가진다. A.T. Field는 단일 파일에서 패턴이 1회 성립했다고 즉시 차단하지 않고, “서로 다른 원본 파일들에 대한 반복 전파”가 관측되는지 추가로 확인한 뒤 악성 여부를 확정한다.

구체적으로 엔진은 3.2절의 부분순서 매칭 규칙을 적용해, 각 파일 I/O 스트림이 Table 5의 패턴(A/B/C 계열) 중 하나로 성립하는지 판정한다. 이후 슬라이딩 윈도우(time window) T 동안 동일 프로세스에서 동일 패턴이 성립한 사례를 누적하되, 누적의 기준은 이벤트 개수가 아니라 “해당 패턴이 성립한 서로 다른 원본 파일의 개수”로 정의한다. 즉, 동일 파일에서 동일 패턴이 여러 번 반복되더라도 1회로만 반영하며, Fig. 2와 같이 시간창 T 내에서 서로 다른 원본 파일들(O1, O2, O3 …)에 대해 동일 패턴이 연속적으로 성립하여 그 개수가 k에 도달하는 순간 랜섬웨어의 k-burst로 확정한다.

Fig. 2. Time-Window Burst Confirmation across Distinct Originals (Example with Pattern B-1)

A.T. Field의 확정 규칙은(k, T)로 매개변수화 되며, 동일 프로세스에서 동일 패턴이 시간창 T 내에 서로 다른 원본(O) 파일 기준으로 k개 누적될 때 악성으로 확정한다. 이 규칙은 공격자가 파일 단위 변조를 분산(low-and-slow)할 경우 탐지 지연이 증가할 수 있음을 내포한다. 예를 들어, 평균적으로 파일 단위 패턴 성립률을 r(files/s)라 할 때, r < k/T이면 어떤 시점에서도 시간창 내 누적이 k에 도달하지 못할 수 있다(즉, 탐지조건을 만족시키기 위한 최소 처리율 하한이 존재).

특히 C-1(in-place overwrite)은 정상 편집/저장 행위와 구조적으로 유사하므로, C 계열은 오탐 억제를 위해 별도의 보수적 시간창 T_C(≤T)를 둘 수 있으며, 본 구현에서는 A/B 계열에 T를, C 계열에 T_C를 적용한다.

이 규칙은 정상 애플리케이션의 원자 저장(임시파일 생성 후 교체), 동기화/백업, 빌드/대량 변환과 같이 일부 단계가 패턴과 유사하게 보일 수 있는 경우에도, 짧은 시간에 동일 파괴 시퀀스가 여러 “기존 원본” 파일로 전파되는 경우가 상대적으로 드물다는 점을 이용해 오탐을 억제한다. 특히 in-place(C 계열)는 정상적인 파일 갱신 동작과 형태적으로 유사할 수 있으므로, 원본 파일 기준 누적 및 보수적인 시간창 설정을 병행하여 판정의 안정성을 확보한다.

악성으로 확정되는 즉시 시스템은 해당 프로세스를 격리(일시정지 또는 종료)하여 추가 I/O를 차단하고, 파괴적 변경 커밋 이전에 확보된 파일 단위 스냅샷을 이용해 복구 절차를 수행하여 파일 손실을 최소화한다. 확정 시에는 프로세스를 격리하고, 파괴적 변경 커밋 이전에 확보된 파일 단위 스냅샷을 이용해 복구를 수행한다.

3.3.1 통합 파이프라인 시각화(혼재 스트림 필터링과 노이즈 허용 매칭)

실제 실행 환경에서는 정상 프로세스의 I/O와 악성 프로세스의 I/O, 그리고 하나의 프로세스 내부에서도 여러 파일에 대한 접근이 시간축에서 상호 교차(interleaving)되므로, “정규화된 시퀀스가 어떤 단계로 추출·확정되는지”를 직관적으로 보여줄 필요가 있다. Fig. 3은 이러한 혼재 스트림을 입력으로 받아 A.T. Field의 판정 신호로 변환하는 전체 과정을 요약한다.

Fig. 3. End-to-end pipeline on interleaved file I/O streams

먼저, 관측된 원시(raw) 이벤트는 정규화되어 Cr/Rd/Wr/Ren/Del 이벤트로 변환되며( 3.1절), 핸들↔경로 매핑을 이용해 파일 단위 컨텍스트로 조립된다. 이후 패턴 매칭기는 Table 5의 A/B/C계열 템플릿을 적용하되(3.2절), 필수 선후관계만을 확인하고 그 사이에 삽입되는 비관련 이벤트(메타데이터 조회, 다른 파일 접근, 재시도/분할I/O 등)는 “노이즈”로 허용하는 방식으로 후보(patternhit)를 생성한다. 하단의 상세 예시는 설명 편의를 위해 가장 단순한 C-1 템플릿(Cr(O:OE)→Rd(O)→Wr(O))을 블록으로 나타내고, 시퀀스 창 W_seq내에서 interleaved 노이즈 이벤트가 존재하더라도 핵심 블록 순서가 보존되면 후보 시퀀스로 인식됨을 보인다.

마지막으로 burst 집계기는 슬라이딩 윈도우 T 동안 동일 프로세스에서 동일 패턴 후보가 성립한 “서로 다른 원본(O) 파일”의 개수를 누적하고(3.3절), count≥k가 되는 순간에만 랜섬웨어로 확정한다.

다음 절에서는 확정 이전에도 복원 가능성을 보장하기 위한 스냅샷 생성 시점과 격리→복원 절차를 설명한다.

3.4 복원 안전성(사전 스냅샷 시점/공간 관리, 격리→ 복원 절차)

확정 이전에도 복원 가능성을 보장하기 위해 파괴적 I/O 직전의 사전 스냅샷을 사용한다. A/B 계열은 보통 Wr(N) 직전 또는 Del(O) 커밋 직전에 O의 스냅샷을, C 계열은 Wr(O) 직전에 O의 스냅샷을 생성한다.

스냅샷은 증분/중복 제거를 적용하여 공간 예산 내에서 관리하고, 정책적으로 임계 크기 이상의 대상은 제외할 수 있다.

스냅샷의 유지/삭제 정책은 “어떤 패턴(A/B/C)으로 분류되었는지”와 분리하여 파일 단위로 관리한다. 즉, 특정 파일 O에 대해 첫 파괴적 변경이 커밋되기 직전(예: Wr 또는 Del 커밋 직전)에 스냅샷을 1회 생성한다. 이후 동일 프로세스가 파일마다 서로 다른 API 조합으로 시퀀스를 수행하거나(A-1과 A-2가 혼재, 또는 C-1로 분기) 이벤트가 교차하더라도 해당 파일의 스냅샷은 파일 핸들 종료 및 안정 시간 경과, 프로세스 정상 종료, 또는 악성 확정 후 복구 완료 시점까지 보존한다. 이를 통해 시퀀스가 단일 형태로 반복되지 않는 실제 환경에서도 복구 가능성을 최대화한다.

악성 확정 시 프로세스를 일시정지 또는 종료하여 추가 쓰기를 차단한 뒤, 스냅샷 복구→핸들 정리→교체 완료의 순서로 원복한다.

이 과정에서 원자 저장과의 충돌을 피하기 위해 잠금 해제 순서와 Ren의 메타데이터 보존 시맨틱을 준수한다. 확인 지연에 따른 실질 손실은 k와 T, 스냅샷 정책의 함수이며, 이에 대한 정량 평가는 IV장에서 제시하고 결론(V장)에서 요약한다.

IV. 실험 및 평가

4.1 실험 환경

본 실험에서는 A.T. Field 프로토타입을 실제 랜섬웨어 실행 환경에 배치하여 탐지 성능과 실행 오버헤드를 평가하였다. 실험은 x86-64 멀티코어 CPU, 8GB 메모리, NVMe SSD를 갖춘 호스트에서 VMware Workstation 기반 가상 환경으로 수행하였다. 게스트 VM은 Windows 10 x64 및 Windows 11 x64로 구성하였고, 각 샘플 실행 전 VM을 동일 OS 스냅샷 상태로 롤백하여 파일 시스템/레지스트리/프로세스 상태가 항상 동일한 초기 조건에서 시작되도록 하였다.

샘플 실행과 로그 수집은 자동화된 실행 하네스(harness)로 수행하였다. VM 내부의 경량 에이전트는 서버로부터 실행 작업을 가져와 샘플을 다운로드·실행하고, 실행 제한 시간(기본 5분) 내 동작을 관찰한 뒤 탐지 이벤트 및 탐지 지연(latency)을 수집하여 서버로 업로드한다. 각 샘플은 Windows10 VM과 Windows 11 VM에서 각각 1회씩 실행하였다.

A.T. Field는 대상 프로세스에서 성공한 파일 I/O 호출을 수집하여 Cr/Rd/Wr/Ren/Del로 정규화하며, 후킹 대상 API의 범위는 Table 1에 따른다. 정규화된 이벤트는 제안한 시퀀스 모델(A/B/C계열)과 부분순서 매칭 규칙을 적용해 판정되며, 동일 프로세스에서 서로 다른 원본 파일에 대해 동일 시퀀스가 시간창 내 반복될 때 악성으로 확정한다. 본 실험의 탐지 파라미터는 전 구간에서 k=3, T=1s, T_C=0.8s, W_seq=2s로 고정하였다.

본 연구는 “탐지 후 복구”를 포함하는 운영 시나리오를 전제로 하므로, 확정 지연이 길어질수록 스냅샷 생성 수와 복구 대상이 증가해 시스템 오버헤드 및 사용자 피해가 커질 수 있다. 반대로 k를 낮추거나 T를 늘려 low-and-slow 공격까지 포괄하려하면, C-1과 구조적으로 유사한 정상 파일 갱신 (예: 문서 편집기의 저장, 브라우저/애플리케이션의 상태·메타데이터 파일 갱신)이 시간창에 누적되어 오탐 가능성이 증가한다. 본 값은 (i) 실시간 차단/복구를 위한 지연 상한과 (ii) C-1 계열 오탐 억제 요구를 동시에 만족시키기 위한 보수적 기본값으로 설정하였다.

또한 Word/Chrome과 같은 GUI 기반 응용프로그램은 실험 파이프라인에서 동일 조건의 반복 실행 및 정량 측정 자동화가 어렵기 때문에(입력·사용 패턴의 재현성 확보 문제), 본 논문의 벤치마크 워크로드에는 포함하지 못하였다. 이에 대한 체계적 민감도 분석은 향후 과제로 남긴다.

4.2 데이터셋 구성 및 실행 결과

4.2.1 랜섬웨어 데이터셋 개요

실험에 사용한 악성 샘플은 Mendeley Data에서 공개된 “Ransomware PE Header Feature Dataset”의 랜섬웨어 부분 1,023개이다[17]. 이 데이터셋은 총 2,157개의 PE 실행 파일 헤더로 구성되며, 그 중 1,134개는 정상 소프트웨어(goodware), 1,023개는 25개 랜섬웨어 패밀리에 속하는 샘플로 구성되어 있다. 원 데이터셋은 PE 헤더 1,024바이트를 정적 특징 벡터로 사용하여 랜섬웨어/정상 이진 분류를 수행하기 위한 목적으로 설계되었으나, 본 논문에서는 동일한 랜섬웨어 부분을 실제 실행 파일로 다운로드하여 동적 파일 I/O 시퀀스 기반 탐지 성능을 평가하는 데 재활용하였다.

데이터셋의 각 샘플에는 ID, SHA-256(파일명 필드), 클래스 레이블(GR: goodware/ransomware), family ID, 그리고 0~1023 바이트에 해당하는 헤더 바이트 값이 포함된다. family ID는 1~25 범위의 정수로 정의되며, 25개 패밀리로 구성된다.

본 실험에서는 goodware 부분은 사용하지 않고, 랜섬웨어 1,023개만 추출하여 A.T. Field 테스트 베드에 투입하였다. 각 SHA-256 해시는 Ransomware_headers.csv를 통해 family ID 및 패밀리명을 복원한 뒤, Windows 10/11 테스트 결과 CSV와 조인하여 패밀리별 실행 및 탐지 통계를 산출하였다. 패밀리별 샘플 수는 랜섬웨어 데이터셋 요약 Table 6에 정리하였다.

Table 6. Overview of Ransomware Dataset (Distribution of 1,023 Ransomware Samples by Family)

4.2.2 실행 가능/불가능 샘플 분류

데이터셋의 1,023개 랜섬웨어 샘플은 Windows 10, Windows 11 VM 각각에서 한 번씩 실행되며, 각 실행 결과는 “실행 성공(viable) 샘플”과 “비정상 실행(non-viable) 샘플”로 분류하였다. 여기서 실행 성공 샘플은 (1) 프로세스가 정해진 타임아웃 내에 정상적으로 시작되고, (2) 사용자 디렉터리 내 다수의 파일에 대해 암호화로 추정되는 파일 I/O 시퀀스(대량의 쓰기, rename/delete, 배경화면 변경 등)가 관찰된 경우로 정의하였다. 반대로 프로세스 생성 실패, DLL 로딩 오류, anti-VM 탐지로 인한 조기 종료, 장시간 sleep, WERFault에 의한 즉시 크래시 등으로 인해 명확한 랜섬 행위가 나타나지 않은 경우는 비정상 실행 샘플로 분류하였다.

실험 결과, 전체 1,023개 랜섬웨어 샘플 중 제안한 테스트베드 환경에서 두 가상 환경(Windows 10, Windows 11) 가운데 적어도 한 곳에서 랜섬행위가 실제로 관찰된 샘플은 총 854개(83.5%)였다. 나머지 169개(16.5%) 샘플은 위에서 설명한 프로세스 실행 오류, 긴 sleep, WERFault에 의한 강제 종료 등으로 인해 설정된 타임아웃 내에 랜섬행위가 발생하지 않아, 행위 기반 탐지율 계산에서는 모수에서 제외하였다. 이러한 결과 요약은 Table 7에 정리하였다.

Table 7. Execution Outcomes of Ransomware Samples (Based on Observation of Ransomware Behaviour)

비정상 종료의 세부 원인(launch error, 시스템 에러 다이얼로그, 초기 크래시, 타임아웃 등)은 에이전트가 남긴 오류 코드와 로그를 통해 추적할 수 있으나, 본 논문에서는 개별 샘플 수준의 원인 분석보다는 데이터셋 전체에서 동적 평가가 가능한 범위(실행 성공 집합)가 어느 정도인지에 초점을 맞춘다. 이후 4.3 절에서 제안 기법의 탐지 성능을 평가할 때 “실제로 랜섬 행위를 수행한 샘플”과 “애초에 암호화를 수행하지 못한 샘플”을 명확히 분리하기 위함이다.

4.2.3 패밀리별 실행 특성

패밀리별로 살펴보면, 상대적으로 최근까지 활발히 활동했던 Avaddon, Conti, Lockbit, Phobos, Pysa 등은 대부분의 샘플이 최신 Windows 10/11 환경에서도 정상적으로 실행되어, 실행 성공 비율이 높은 편이었다. 반면 Doppelpaymer, RansomeXX, Mountlocker 등 일부 패밀리는 테스트베드 환경에서 비정상 실행 샘플의 비율이 높았다. 이는 해당 패밀리가 특정 OS 버전, 관리자 권한, 네트워크 조건을 강하게 가정하거나, 가상 환경 및 분석 도구를 탐지하여 조기 종료하는 anti-analysis 기술을 사용한 결과로 해석할 수 있다. 이러한 실행 특성은 4.3 절의 패밀리별 탐지율에서도 그대로 반영된다.

4.3 파일 I/O 시퀀스 패턴 및 랜섬웨어 탐지 결과

후킹 DLL은 Ⅱ·Ⅲ장에서 정의한 A/B/C 계열 파일 I/O 시퀀스 모델을 기준으로, 감시 대상 프로세스의 파일 생성·읽기·쓰기·이름 변경·삭제 등의 이벤트를 정규화된 형태로 기록하고, 이들 조합이 사전에 정의된 랜섬웨어 패턴에 해당하는 경우 탐지 이벤트를 서버로 전송한다.

따라서 이후 결과에서 “탐지되었다”는 것은 곧 실행 중에 적어도 한 번 이상 랜섬웨어 특유의 파일 I/O 시퀀스가 관찰되었음을 의미한다.

세부 API 목록과 축약 표기는 앞에서 제시한 Ransomware 데이터셋 개요 및 약어/Windows API 매핑 표를 참고한다(Table 6, Table 1).

전체 1,023개 랜섬웨어 샘플의 패밀리 구성은 25개 패밀리로 이루어져 있으며, 각 패밀리별 샘플 수와 비율은 Ransomware 데이터셋 개요 표에 정리하였다. 여러 패밀리가 50개 내외의 샘플을 포함하고 있어, 제안 기법을 다양한 암호화 전략에 대해 평가할 수 있도록 한다.

실행 관점에서 보면, 전체 1,023개 랜섬웨어 샘플 중 제안한 테스트베드 환경에서 두 가상 환경(Windows 10, Windows 11) 가운데 적어도 한곳에서 랜섬 행위가 실제로 관찰된 샘플은 총 854개(83.5%)였다. 나머지 169개(16.5%) 샘플은 프로세스 실행 오류, 긴 sleep, WERFault에 의한 강제 종료 등으로 인해 실험 타임아웃 내에 랜섬 행위가 발생하지 않았고, 탐지된 854개 샘플의 패턴 그룹(A/B/C) 분포는 Table 8에 요약하였다.

Table 8. Pattern Group Distribution for Detected Ransomware Samples (Any Environment)

실행 성공으로 분류된 854개 샘플에 대해, 제안 기법은 모두 적어도 한 번 이상 랜섬웨어 시퀀스를 포착하여 탐지 신호를 발생시켰으며, 실험 범위내에서는 탐지 실패(거짓 음성) 사례를 관찰하지 못하였다(854/854). 운영체제별로 나누어 보면, Windows 11 환경에서 탐지된 샘플은 820개, Windows 10 환경에서 탐지된 샘플은 603개이며, 이 중 569개는 두 환경에서 공통으로 탐지되었다. 나머지 탐지된 샘플은 Windows 11 전용 251개, Windows 10 전용 34개로 나타나, OS 버전 및 환경 차이에 따른 일부 탐지 편차가 존재함을 알 수 있다.

탐지된 854개 샘플에 대해, 각 샘플에서 “주도적으로 관찰된” 패턴 그룹(최초로 k-burst 조건을 충족시킨 그룹 또는 실행 동안 우세하게 나타난 그룹)을 기준으로 분류한 결과는 다음과 같다. A계열(rename 기반 암호화)이 687개(80.4%)로 대부분을 차지하였고, B 계열(복사 후 삭제/교체)이 93개(10.9%), C 계열(in-place overwrite)이 74개(8.7%)를 차지하였다.

이는 실제 랜섬웨어 공격이 여전히 “새 파일로 암호화본을 생성하거나 경로를 변경하는 방식(A/B 계열)”에 크게 의존하고 있으며, 동일 파일을 직접 덮어쓰는 C 계열 전략은 상대적으로 적은 비중을 차지함을 시사한다.

또한 본 연구에서 관찰된 C-1 패턴은 Lockbit뿐 아니라 Netwalker 및 Conti 계열에서도 빈번하게 나타났다. 특히 Lockbit 계열은 선행 연구에서 보고된 것처럼 파일 전체가 아닌 일부 구간만 선택적으로 암호화하는 간헐적(부분) 암호화 전략을 사용할 수 있으나[5,6], 이러한 경우에도 파일 단위 I/O 전이는 Cr(O:OE)→Rd(O)→Wr(O)의 in-place 형태로 귀결되므로 부분순서 매칭 규칙에 의해 C-1 후보가 생성된다. 이후 동일 프로세스가 짧은 시간창 T 내에서 서로 다른 원본(O) 파일들에 대해 이러한 후보를 반복 생성하여 count≥k가 되면 k-burst 조건을 만족하여 탐지 신호가 발생한다. 다만 Wr 단위를 극단적으로 축소하고 호출 간격을 늘리는 변종에서는 count≥k에 도달하기까지 시간이 길어져 탐지 지연이 증가할 수 있다.

요약하면, 제안된 파일 I/O 시퀀스 기반 모델은 실행 성공한 랜섬웨어 샘플(854개)에 대해 실험 범위 내에서 거짓 음성이 관찰되지 않았으며, 전체 데이터셋 기준으로는 83.5%의 샘플에서 적어도 한 번 이상 랜섬웨어 패턴을 포착하였다. 동시에, 탐지된 샘플의 약 80%가 A 계열 패턴에 의해 설명된다는 점에서, 향후 방어 체계 설계 시 rename 기반 암호화 시퀀스를 우선적으로 고려하는 것이 효과적임을 보여준다. 반면, C 계열과 같이 상대적으로 드문 전략에 대해서는 더 다양한 테스트베드 환경과 추가 샘플 확보를 통해 커버리지를 확장할 필요가 있다.

4.4 정상 워크로드에 대한 오탐 및 오버헤드

4.4.1 벤치마크 워크로드 정의

제안 기법이 일반적인 사용자·개발 환경에서 허용 가능한 수준의 오탐률과 성능 오버헤드를 보이는지 확인하기 위해, 파일 I/O가 많이 발생하는 정상 워크로드를 선정하여 벤치마크를 구성하였다. 워크로드는 (1) 로컬 압축, (2) 파일 전송, (3) 형상관리(버전 관리) 작업의 세 범주로 나누어 설정하였다.

특히 형상관리 작업은 짧은 시간 내에 다수의 메타데이터 변경 및 파일 덮어쓰기를 유발하므로, 랜섬웨어의 동시다발적 I/O 버스트 패턴과 구조적으로 유사하여 오탐률 검증에 적합하다.

모든 워크로드는 동일한 입력 디렉터리를 공유하도록 구성하여, 서로 다른 응용프로그램이 동일한 파일 집합에 대해 작업을 수행하도록 하였다. 이를 통해 각 워크로드 간 비교 가능성을 확보하고, 워크로드 특성에 따른 상대적인 오버헤드를 평가할 수 있도록 하였다.

압축 워크로드는 7-Zip 명령줄 도구와 Windows 운영체제 내장 ZIP 기능(명령줄 인터페이스)을 사용하였다. 두 워크로드는 공통 입력 디렉터리 내 모든 파일을 재귀적으로 읽어 하나의 아카이브 파일(각각 7z, ZIP 형식)로 압축하고, 측정이 끝난 뒤 결과 아카이브를 삭제하여 다음 반복 실행에 영향을 주지 않도록 구성하였다.

파일 전송 워크로드는 두 종류의 FTP 클라이언트를 사용하여 동일한 입력 파일들을 로컬 FTP 서버로 업로드하는 시나리오로 구성하였다. 한 워크로드는 전용 FTP 클라이언트의 콘솔 버전을 사용해 스크립트 기반으로 디렉터리 전체를 업로드하고, 다른 워크로드는 범용 명령줄 도구를 이용해 각 파일을 개별 FTP PUT 요청으로 업로드한다. 두 워크로드 모두 로컬 파일 시스템 관점에서는 입력 파일을 읽기만 하고 삭제나 이름 변경을 수행하지 않아, 읽기 중심의 접근 패턴을 생성한다.

형상관리 워크로드는 로컬 Git 저장소를 매 실행마다 새 작업 디렉터리로 복제(git clone)하는 작업으로 구성하였다. 실험 전에 입력 파일 집합을 이용해 테스트용 Git 저장소를 준비해 두고, 벤치마크에서는 이 저장소를 매번 새로운 대상 디렉터리로 복제한 뒤, 종료 시 대상 디렉터리를 삭제하여 동일한 초기 상태를 유지한다. 이 워크로드는 수많은 작은 파일 생성과 메타데이터 갱신, 읽기/쓰기 혼합 패턴이 포함된 개발자 워크플로우를 대표한다.

벤치마크 실행과 측정은 파이썬으로 구현된 자동화 스크립트를 이용하여 수행하였다. 이 스크립트는 각 워크로드에 대해 A.T. Field 모듈을 비활성화한 상태(OFF)와 활성화한 상태(ON)를 번갈아가며 실행하고, 각 상태별로 동일 워크로드를 여러 차례 반복 수행한다. 실행 시간은 프로세스 시작 시점부터 종료 시점까지의 경과 시간을 기준으로 측정하였다.

최종 측정에서는 스케일 인자(scale factor)를 2로 설정하여 워크로드의 작업량을 확대하고, OFF/ON 상태 각각에 대해 10회씩 반복 실행하였다. 즉, 하나의 워크로드에 대해 총 20회 실행 결과를 얻은 뒤, 상태별 평균 실행 시간을 계산하여 런타임 오버헤드를 산출하였다. Table 9는 벤치마크에 사용된 정상 워크로드 구성을 요약한 것이다.

Table 9. Benign workloads used for evaluation

4.4.2 정상 I/O 시퀀스와 악성 패턴의 충돌 분석

제안 기법은 파일 I/O 시퀀스 패턴만을 기반으로 랜섬웨어를 탐지하므로, 정상 응용프로그램의 파일 접근 패턴이 악성 시퀀스와 얼마나 겹치는지가 오탐률을 결정하는 핵심 요인이다. 특히 C 계열 패턴 중 하나인 C-1 패턴(기존 파일을 열어 읽은 뒤 같은 파일에 다시 쓰는 in-place overwrite 패턴)은 사용자가 문서를 열어 수정 후 저장하는 일반적인 동작과 구조적으로 유사하다. 특히 문서 편집기/IDE의 “열기→수정→저장”은 기존 파일을 대상으로 Cr(O:OE)→Rd(O)→Wr(O) 형태로 관측될 수 있어, 단일 파일 단위 C-1 성립만으로는 랜섬웨어 판정이 불가능하다.

따라서 별도의 완화 전략 없이 단일 C-1 시퀀스만으로 탐지를 수행할 경우, 정상 워크로드에서 잦은 오탐이 발생할 수 있다.

이를 방지하기 위해, A.T. Field는 C-1 패턴과 관련하여 다음과 같은 제약 조건과 체인(burst) 기반 판정 규칙을 함께 적용한다.

첫째, C-1 패턴은 기존에 존재하는 파일에 대한 Cr → Rd → Wr 시퀀스만을 대상으로 한다. 여기서 Cr은 파일 열기 동작으로, 생성 옵션과 결과 코드를 조합하여 실제로 기존 파일을 여는 경우(예를들어 OPEN_EXISTING, 또는 이미 존재하는 파일을 다시 여는 형태)만을 인정한다. 새 파일 생성이나 기존 파일 truncate 등과 같이 파일 내용을 초기화하는 동작은 C-1 후보에서 제외한다.

둘째, 단일 C-1 시퀀스만으로는 랜섬웨어로 판정하지 않고, 동일 프로세스가 서로 다른 최소 세 개의 파일에 대해 C-1 시퀀스를 짧은 시간 창 (T_C=0.8s) 안에서 반복할 때에만 랜섬웨어 확정 조건을 만족하도록 설계하였다. 구현 측면에서는 C-1 패턴이 완성될 때마다 해당 파일 경로를 순차적으로 기록하고, 최근 세 개의 경로가 모두 서로 다른 파일인지, 그리고 이 세 시퀀스가 설정한 시간 윈도우 안에 발생했는지를 동시에 확인한다. 두 조건을 모두 만족할 때에만 C 계열 패턴에 의한 랜섬웨어 탐지 플래그를 설정한다.

셋째, 정상 응용프로그램은 실행 과정에서 로그, 캐시, 임시 파일 등을 새로 생성한 뒤, 같은 파일을 여러 번 열고 쓰는 패턴을 보이는 경우가 많다. 이러한 경우를 오탐으로부터 보호하기 위해, A.T. Field는 분석 대상 프로세스가 실행 도중 새로 생성하거나 truncate한 파일에 대해서는 일정 시간 동안 C-1 패턴을 무시하는 예외 규칙을 적용한다.

파일 생성 동작이 관측되면 해당 파일을 일정 시간 동안 “로컬 생성 파일”로 표시하고, 이 기간 동안 관측되는 Cr → Rd → Wr 시퀀스는 C-1 후보에서 제외한다. 예외 시간이 지난 이후에 동일 파일에 대해 Cr(기존 파일 열기) → Rd →Wr 패턴이 반복적으로 나타날 경우에만 C-1 후보로 재평가된다. 이를 통해 편집기나 압축 도구가 생성한 임시 파일, 로그 파일 등에 대한 정상적인 in-place 쓰기 패턴은 랜섬웨어로 잘못 탐지되지 않는다.

넷째, A 계열 패턴(A-1 등)은 파일 이름 변경 후 새 경로에 대량 쓰기를 수행하는 시퀀스를 포착하는 것이 핵심이다. 제안 기법은 단일 이름 변경 후 소량만 쓰는 경우를 탐지하지 않기 위해, 새 경로에 대한 누적 쓰기 바이트 수가 사전에 설정한 임계값 이상일 때에만 A 계열 시퀀스로 인정한다. 또한 동일 프로세스가 서로 다른 파일들에 대해 이러한 이름 변경이후 overwrite 시퀀스를 반복할 때, 비로소 랜섬웨어로 확정하도록 체인 조건을 함께 적용한다.

이와 같은 제약 조건과 예외 처리 덕분에, 압축·파일 전송·Git 복제와 같은 정상 워크로드에서는 일부 부분 시퀀스가 A/B/C 계열과 부분적으로 유사하게 나타나더라도, 기존 파일이 아닌 새로 생성한 아카이브나 임시 파일만을 대상으로 하거나, 동일 프로세스가 여러 사용자 파일에서 연속적인 overwrite를 수행하지 않거나, 자기 자신이 생성한 파일에 대한 접근에 그치는 경우에 해당하여 최종적인 랜섬웨어 탐지 조건을 만족하지 않는다. 실제로 본 벤치마크에서 사용한 다섯 가지 정상 워크로드를 실행한 결과, A.T. Field는 단 한 건의 랜섬웨어 탐지 알림도 발생시키지 않았으며, 내부 로그에서도 랜섬웨어 확정 조건(반복 횟수, 시간 윈도우, 바이트 임계값 등)을 만족하는 체인을 관찰하지 못하였다.

4.4.3 런타임 오버헤드 측정

런타임 오버헤드는 A.T. Field 모듈을 비활성화한 상태와 활성화한 상태에서 같은 워크로드를 여러번 실행하고, 각 상태별 평균 소요시간을 비교하는 방식으로 측정하였다. 각 워크로드마다 모듈 OFF 상태에서 10회, ON 상태에서 10회를 실행한 뒤, 두 상태의 평균 실행 시간을 기준으로 모듈 활성화로 인해 추가로 걸린 시간을 퍼센트(%)로 환산하여 오버헤드 값으로 사용하였다. 측정 결과는 Table 10과 같다.

Table 10. Overhead of A.T. Field on benign workloads

측정 결과, 제안 기법의 오버헤드는 모든 워크로드에서 약 2.6%에서 7.6% 사이에 분포하였다. Git 로컬 클론과 Windows 내장 ZIP 압축은 각각 약 2.6%, 3.0% 수준의 오버헤드를 보여, 다수의 파일 생성·쓰기 작업이 포함됨에도 불구하고 비교적 낮은 성능 저하를 보였다.

FTP 업로드 워크로드 중 전용 클라이언트를 사용하는 경우에는 약 3.4% 수준의 오버헤드가 측정되었고, 범용 명령줄 도구를 사용하는 경우에는 약 7.6%로 가장 높은 오버헤드를 보였다. 후자의 경우 각 파일을 개별 명령으로 전송하는 과정에서 파일 열기·읽기 호출이 상대적으로 조밀하게 발생하고, 그에 따라 후킹 및 시퀀스 추적 오버헤드가 더 크게 누적되었기 때문으로 해석할 수 있다. 다섯 워크로드에 대한 단순 평균 오버헤드는 약 4% 수준으로, 일반적인 데스크톱·개발 환경에서 항상 활성화된 보호 기능으로 운용하기에 수용 가능한 범위라고 판단된다.

4.5 한계 및 향후 연구

본 절에서는 IV장의 실험 결과가 시사하는 바를 요약한 뒤, 제안 시스템의 적용 한계와 향후 연구 과제를 논의한다.

공개 데이터셋(25개 패밀리, 1,023개 샘플) 기반 실험에서 A.T. Field는 실제 랜섬웨어 행위가 관찰된 854개(83.5%) 샘플 모두에 대해 최소 1회 이상탐지 신호를 발생시켰고, 정상 워크로드(압축·전송·형상관리 등 5종)에서는 오탐이 관찰되지 않았으며 평균 약 4% 수준의 런타임 오버헤드를 보였다. 또한 탐지된 샘플의 상당수는 A/B 계열(원본 교체·삭제 또는 이름 변경 후 암호화) 시퀀스로 포착되었고, C 계열(원본 제자리 덮어쓰기)은 상대적으로 비중이 낮게 나타났다.

이는 현대 랜섬웨어의 다수가 “다수 파일에 대한 교체/삭제/이름 변경”이라는 구조적 특성을 반복하며, 제안 기법의 핵심이 단일 파일의 정적 특성(엔트로피/서명)이 아니라 “다수 파일로의 전파(확산) 속도”에 있음을 실험적으로 뒷받침한다.

다만 A.T. Field는 탐지 후 복구(restoreaware)까지 포함하는 실시간 차단 시나리오를 전제로 하므로, 파라미터(k, T) 선택에 따른 민감도, 저속/분산 회피, 간헐적(부분) 변조, 프로세스 분할, 스냅샷 운영 정책 및 정상 워크로드 대표성 측면에서 다음과 같은 한계가 존재한다.

4.5.1 Low-and-Slow 한계

A.T. Field의 악성 확정은 시간창 T 내에서 서로 다른 원본 파일들에 대해 동일 시퀀스가 ≥k회 전파되는지를 확인하는 k-burst 규칙에 기반한다. 따라서 공격자가 파일 간 변조 간격을 늘려 “단위 시간당 파일 전파율(k/T)”을 낮추는 low-and-slow전략을 취할 경우 탐지 확정이 지연되거나 누락될 수 있다.

이론적으로는 k를 낮추거나 T를 늘려 저속 공격까지 포괄할 수 있으나, 본 시스템은 단순 경고가 아니라 프로세스 격리 및 복구 I/O를 수반하므로 거짓 양성의 비용이 매우 크다. 특히 C-1과 구조적으로 유사한 정상 파일 갱신(문서 편집기의 저장, 브라우저/애플리케이션의 상태·메타데이터 파일 갱신 등)이 시간창에 누적될 수 있어, k/T 완화는 오탐 가능성을 증가시키는 트레이드 오프가 존재한다. 본 연구는 실시간 차단/복구를 위한 지연 상한과 C계열 오탐 억제 요구를 동시에 만족시키기 위해 기본 파라미터를 보수적으로 설정하였다(4.1절).

향후에는 다양한 정상 워크로드(특히 GUI 기반 편집·브라우저 환경)를 포함한 파라미터 민감도 분석을 수행하고, 단일 시간창이 아닌 다중 시간창(예: 짧은 T의 고신뢰 차단 + 긴 T의 누적 감시) 또는 프로세스별 베이스라인 기반의 적응형 임계값을 통해 저속 회피까지 포괄하는 운영 튜닝 가이드를 제시할 계획이다.

4.5.2 간헐적(부분) 암호화

간헐적 암호화(Intermittent encryption)와 부분 암호화(Partial encryption)는 실질적으로 “파일의 일부 블록만 선택적으로 변조하여 처리량을 낮추는 회피 전략”으로 동일 범주로 정리할 수 있다. A.T. Field는 콘텐츠 엔트로피나 암호화 API가 아니라 파일 I/O의 상태 전이(Cr/Rd/Wr/Ren/Del)로 패턴을 정의하므로, 변조 범위가 전체이든 일부이든 Cr/Rd/Wr(±Ren/Del) 전이는 동일하게 관측된다.

따라서 패턴 매칭 단계 자체는 원리적으로 간헐적(부분) 암호화에도 적용 가능하다. 다만 확정 조건이 k-burst에 달려 있으므로, 공격자가 파일 간 변조 간격을 늘리거나(저속/분산), 또는 파일당 변조량을 극단적으로 줄여 보조 임계조건(예: A 계열의 최소쓰기량 조건)을 회피하는 경우에는 탐지 확정이 지연되거나 누락될 여지가 있다. 향후에는 소량 쓰기 이벤트의 누적 모델링, 변조량·주기 기반의 보조 신호 결합, 그리고 대표 샘플/케이스 스터디 기반 정량 검증을 통해 간헐적(부분) 변조 회피에 대한 대응 범위를 확장할 것이다.

4.5.3 프로세스 분할 한계 & 확장 방향

본 연구는 단일 프로세스 내 시퀀스 추적을 기본으로 하므로, 공격자가 암호화 작업을 여러 프로세스(또는 자식 프로세스/스레드)로 분할해 수행할 경우 각 프로세스는 k-burst 임계치에 도달하지 않아 우회가 가능하다. 이는 “시퀀스 + 전파 속도”라는 경량 신호만으로 실시간 차단/복구를 수행하는 설계가 갖는 적용 한계이며, 프로세스 상호작용을 고려하는 확장이 필요하다.

향후 연구로는 프로세스 트리/세션/작업 단위(job object 등)로 파일 I/O를 일원화하여 집계하고, 동일 디렉터리·유사 파일 집합에 대한 분산 전이를 그룹 단위로 추적하는 방법을 개발할 예정이다.

4.5.4 스냅샷 운영비용/정리정책 및 GUI 워크로드 정량 한계

A.T. Field는 파괴적 변경 전에 원본 파일을 스냅샷으로 선백업하고, 악성 확정 시 프로세스를 격리한 뒤 복구한다. 스냅샷 방식은 보호 파일 수와 파일 크기에 따라 저장소 사용량이 커질 수 있으며, 최악의 경우 파일당 최대 2배의 추가공간을 요구한다.

또한 프로토타입의 단순 정리 정책(탐지된 프로세스 종료 또는 탐지 시퀀스 종료 시 해당 프로세스의 스냅샷 삭제)은 공격자가 여러 시퀀스를 교차 사용하거나 다양한 파일 조작 API를 혼합할 경우 보존/삭제 정책이 복잡해질 수 있다. 향후에는 스냅샷 수명 주기를 파일 단위로 관리하고, 다중 시퀀스·다중 API 환경에서의 안전한 보존/GC 및 저장소 예산 기반 운영 정책을 정교화할 필요가 있다.

또한 본 연구의 정상 워크로드 평가는 GUI 기반 실사용 응용(문서 편집기, 브라우저, IDE 등)의 I/O 특성을 충분히 반영하지 못했다. 이를 보완하기 위해 실제 응용의 대표적인 파일 I/O 시퀀스를 측정하고 Table 5 규칙과의 중첩 정도를 정량화하여, 오탐 억제를 위한 기본 파라미터 및 운영 정책을 체계화하는 후속 평가가 요구된다.

V. 결론

본 논문에서는 파일 I/O 시퀀스 추적만으로 Windows 환경에서 랜섬웨어를 실시간 탐지·차단하고, 파괴적 변경 이전의 원본을 보존하여 복구까지 수행하는 A.T. Field 시스템을 제안하였다.

A.T. Field는 파일 생성·읽기·쓰기·이름 변경·교체·삭제 및 메모리 매핑 I/O를 관찰해Cr/Rd/Wr/Ren/Del 상태 전이로 정규화하고, 실행 중 상호 교차(interleaving)되는 혼재 I/O 스트림을 파일 단위 컨텍스트로 재구성한다. 이후 노이즈-내성 부분순서(Partial-order) 템플릿 매칭을 통해 핵심 전이 관계가 유지되는 시퀀스 후보를 추출하고, 동일 프로f세스가 짧은 시간창 내 서로 다른 원본 파일들에 동일 시퀀스를 반복 전파하는지(k-burst)를 집계하여 악성 여부를 확정한다.

악성 확정 시에는 프로세스를 격리하고 사전 스냅샷을 이용해 파일을 원복함으로써, 피해 확산과 복구 비용을 동시에 줄이는 restore-aware 방어를 지향한다.

공개 랜섬웨어 데이터셋 기반의 동적 실행 평가에서, 25개 패밀리 1,023개 샘플 중 실제 랜섬웨어 행위가 관찰된 854개 샘플 모두에서 최소 1회 이상의 탐지 신호가 발생했으며, 파일 압축·전송·형상관리 등 5종 정상 워크로드에서는 오탐이 관찰되지 않았다.

또한 평균 약 4% 수준의 런타임 오버헤드로 동작해, 허용 목록이나 사전 로그 수집, 머신러닝 모델에 의존하지 않으면서도 실무 환경에서 적용 가능한 경량 실시간 방어 설계를 제시하였다. 더 나아가 정식 서명 실행 파일, LOTL 유틸리티 악용, fileless 스크립트, 제로데이 기반 변종 등 다양한 공격 형태에서도 “다수 파일로의 전파 속도”라는 구조적 신호에 기반해 대응 가능한 설계 방향을 보여준다.