TinyML 기반 IDS 성능 평가를 위한 프레임워크 연구

A Performance Evaluation Framework for TinyML-Based Intrusion Detection Systems

Abstract

본 논문은 데스크탑에서 MCU의 자원·전력·지연 제약을 등가(iso-resource)로 근사 재현해 온디바이스 성능을 추정하고 보고하는 Desktop-to-Device(D2D) 프레임워크를 제안한다. 모델을 연산자 단위로 요약한 op_summary.json과 MCU 특성을 담은 mcu_profile.json을 결합하여 지연(P50/P95/P99), SRAM/Flash, 추론당 에너지, EPcD, deadline miss(%)를 표준 형식으로 산출한다. 전처리와 윈도 갱신을 포함한 E2E 경로를 평가하며, 마이크로벤치마크로 LUT 및 테일 계수(α, β)를 교정해 예측-실측 오차를 제시한다. 두 IDS 태스크에서 데스크탑 지표/나이브 MACs 스케일링이 MCU 지연을 과소추정하거나 비교를 왜곡한 반면, D2D는 L/M/H 프로파일 간 지연과 자원 및 에너지 차이를 보드 없이도 일관되게 제공하고 저사양 환경의 비선형 지연 증가와 자원 적합성을 현실적으로 반영하였다.

This paper proposes a Desktop-to-Device(D2D) framework that estimates and reports on-device performance by approximately reproducing MCU resource, power, and latency constraints on a desktop in an iso-resource manner. By combining op_summary.json, which summarizes a trained model at the operator level, with mcu_profile.json, which captures MCU characteristics, the framework outputs standardized metrics including latency (P50/P95/P99), SRAM/Flash usage, energy per inference, EPcD, and the deadline miss rate (%). The framework evaluates the end-to-end (E2E) path, including preprocessing and window updates, and uses a microbenchmark to calibrate the operator lookup table (LUT) and tail-latency coefficients (α, β), reporting the resulting prediction-measurement error. Across two IDS tasks, desktop-only measurements and naive MACs scaling systematically underestimated MCU latency or distorted relative comparisons, whereas D2D consistently provided latency, resource, and energy differences across L/M/H profiles without requiring a physical board, realistically capturing non-linear latency increases and memory-fit constraints in low-end settings.

I. 서론

인터넷 및 사물인터넷(Internet of Things, IoT)의 급속한 확산으로 개인 및 산업 환경에서 민감 정보가 실시간으로 전송되고 처리되는 빈도가 증가하고 있다. 동시에 사이버 공격이 고도화되면서 전통적 보안 체계만으로는 복합 위협에 대응하기 어렵다. 이에 침입 탐지 시스템(Intrusion Detection System, IDS)은 네트워크와 시스템 활동을 모니터링하여 악의적 행위나 이상 징후를 탐지하고 경고하는 핵심 보안 기술로 주목받고 있다[1, 2]. 최근 AI 기반 IDS는 높은 정확도와 자동화된 판단 기능을 제공하지만, 일반적으로 높은 연산 성능과 전력을 요구하므로 자원이 제한된 IoT 환경에서 적용에 제약이 존재한다[3].

이러한 한계를 완화하기 위해 TinyML이 주목받고 있다. TinyML은 마이크로컨트롤러(Micro Controller Unit, MCU)나 센서 노드 등 저전력 임베디드 시스템에서 경량화된 머신러닝(ML)/딥러닝(DL) 모델을 실행하도록 설계된 기술로, 전력 효율성, 지연 감소, 개인정보 보호 측면에서 이점을 제공한다[4]. 이에 따라 TinyML 기반 IDS는 스마트홈, 산업 제어, 차량과 의료 등 다양한 도메인에서 온디바이스 실시간 탐지 가능성을 제시하고 있다.

그러나 TinyML 기반 IDS에서 온디바이스 성능(지연, 메모리, 에너지)의 정확한 평가는 여전히 도전적이며, 많은 연구가 보드 실측 대신 데스크탑/시뮬레이터 환경의 지표에 의존하여 설계와 평가를 수행한다(Table 1.). 이 경우 실제 임베디드 장치의 클럭, 메모리(SRAM/Flash), 전력 특성 및 런타임 오버헤드가 충분히 반영되지 않아, 보고된 성능이 실제 배치(deployment) 시 괴리가 발생하거나 특정 환경에 최적화된 결과로 나타날 수 있다[21, 22].

Table 1. Prior TinyML-IDS studies categorized by evaluation setting

이를 보완하기 위해 양자화된 모델의 크기와 추론 시간, 메모리를 데스크탑에서 재측정하거나, 특징 수 축소 및 에너지/통신량 대체 지표로 임베디드 제약을 수치화하는 접근이 널리 사용된다(Table 4.). 그러나 이러한 방식은 (i) 평균 지연 중심의 보고로 테일지연(P95/P99)과 데드라인 초과를 포착하기 어렵고, (ii) 전압, 클럭, 유휴전류, 가속기 등 하드웨어 특이값을 직접 반영하지 못하며, (iii) 전처리와 윈도 갱신, 데이터 이동을 포함한 엔드투엔드(E2E) 비용이 누락될 수 있고, (iv) 클럭 및 SRAM/Flash 제약을 등가(iso-resource) 조건으로 강제하는 데 한계가 있어, 실제 MCU 결과와 괴리가 발생할 수 있다[23, 24, 25].

이러한 한계를 체계적으로 완화하기 위해, 본 논문은 데스크탑에서 MCU 제약을 등가 지향으로 근사 주입하여 온디바이스 지표를 일관된 절차로 추정·보고하는 Desktop-to-Device(D2D) 평가 프레임워크를 제안한다. D2D는 온디바이스 실측을 완전히 대체하기보다, 명시된 가정 하에서 근사 추정치를 제공하며, 소규모 보드 교정으로 절대치 정밀도를 보완한다. 본 논문의 기여는 다음과 같다.

⦁ Measurement 기반 기여: 본 논문은 새로운 IDS 모델을 제안하는 solution 논문이 아니라, Desktop-to-Device(D2D) 평가 프레임워크로 TinyML 기반 IDS 모델의 탐지 성능을 다양한 MCU 자원·지연·에너지 제약 하에서 실험적으로 측정하고 비교하는 measurement 논문이다.

⦁ D2D 평가 프레임워크: 데스크탑에서 MCU의 자원과 전력, 지연 제약을 근사 재현하여 지연(p50/p95/p99), SRAM/Flash, 에너지, EPcD 및 Deadline miss%를 일관된 절차로 산출하고 보고하도록 구성한다.

⦁ 일반성/이식성: 모델과 데이터셋 비의존을 지향하며, op_summary.json과 mcu_profile.json 기반으로 L/M/H 등 다양한 보드 가정을 동일 포맷으로 비교 가능하게 한다.

⦁ E2E 관점 반영: 전처리(FFT 등)와 윈도 갱신, 데이터 이동을 포함한 엔드투엔드(E2E) 지표를 함께 보고하도록 구성하여 데스크탑 평균 지연 편향을 완화한다.

⦁ 교정과 오차 공개: 소규모 보드 마이크로벤치로 LUT를 교정하고, 예측–실측 오차(MAPE 및 신뢰구간)를 함께 제시한다.

⦁ 재현 가능 리포팅: 공통 metrics JSON과 누수 방지 분할 규칙을 제공하여 실험 재현성과 비교 가능성을 높인다.

Table 2. Metrics of TinyML-based IDS evaluated on desktop/simulator and not reported

II. TinyML IDS

2.1 기존 ML과 TinyML

TinyML은 저전력, 저비용, 실시간 처리, 개인정보 보호 등의 이점을 제공하는 소형 장치에서 머신러닝(ML) 및 딥러닝 모델을 실행할 수 있도록 최적화된 기술이다[4]. 전통적인 머신러닝 및 딥러닝 모델은 주로 클라우드 서버나 고성능 GPU 환경에서 실행되며, 대규모 데이터를 처리하기 위해 높은 수준의 연산 자원과 메모리를 요구한다. 이러한 환경은 높은 정확도와 복잡한 모델 설계를 가능하게 하지만, 에너지 효율성과 실시간 처리 측면에서 한계가 존재한다. TinyML과 기존 ML의 자원, 시스템 관점에서의 차이를 Table 3.[5]에 정리하였다.

Table 3. Comparison of traditional ML and TinyML resource requirements

TinyML은 마이크로컨트롤러(MCU)와 같은 소형 디바이스에서 구동될 수 있도록 모델을 경량화함으로써 수 밀리와트(mW) 수준의 전력으로 추론(inference)을 수행할 수 있다[4]. 또한, IoT 환경에서는 클라우드와의 통신 없이 데이터를 로컬에서 직접 처리함으로써 응답 지연(latency)을 줄이고, 개인정보 유출의 위험을 완화할 수 있다[6]. 이러한 특성으로 인해 TinyML은 어디서나 실행 가능하며, '즉각 대응이 가능한' 경량화된 머신러닝 기술로, 기존 ML과는 적용 대상 및 설계 기준에서 명확히 구분된다. 이에 따라 CPU, 메모리, 전력 등의 자원이 제한된 IoT 또는 엣지(edge) 환경에서는 TinyML이 보다 현실적이고 유효한 대안으로 간주된다[3].

2.2 TinyML 기반 IDS

TinyML 기반 IDS는 제한된 연산, 메모리, 전력 예산의 MCU급 장치에서도 침입 탐지를 수행할 수 있도록 모델과 실행 계층을 경량화하여 inference-only로 동작하도록 설계한 온디바이스 보안 시스템이다[4, 7, 8]. TinyML 기반 IDS는 전통적 IDS와 서명 기반 또는 정상행위 학습 기반으로 이상을 탐지한다는 점에서는 동일하지만[2], 이 탐지 기능을 소형 장치에서 실시간으로 수행할 수 있도록 모델 크기와 연산 경로를 최적화한다. 실행 계층은 TFLite Micro, CMSIS-NN 등 초경량 런 타임을 대표적으로 활용한다[4].

처리 파이프라인은 여러 문헌에서 유사하게 다음 흐름으로 보고된다:입력 수집(네트워크 플로우/패킷, CAN, 장비 텔레메트리·센서 등) → 전처리/특징 추출 → 경량 모델 추론(예: 소형 CNN, TCN, 트리, 경량 MLP) → 알림 및 로깅 → 업데이트[4, 9, 10]. 업데이트 방식은 연구와 시스템마다 다르며, (i) 정적 재배포/로컬 교체(모델을 재컴파일해 장치에 재탑재), (ii) 연합학습(FL)을 통한 장치별 가중치 교환[11], (iii) 클라우드, 엣지에서 학습 후 장치에서 추론(on-device inference)[4] 등이 보고된다.

평가 관점에서는 정확도 외에도 지연(ms), 메모리(Flash/RAM(KB)), 에너지(mJ) 등 자원 지표를 함께 보고하는 것이 바람직하며, 실제 임베디드 평가에서는 SRAM/Flash/지연이 핵심 비교 지표로 활용된다[9]. 그러나 다수의 선행연구는 데스크톱이나 시뮬레이터 환경에서 측정된 정확도 위주의 결과만을 제시할 뿐, 메모리, 에너지, 지연 지표에 대한 보고는 상대적으로 제한적이어서(Table 2.), 실제 타겟 장치의 자원 예산 충족 여부를 판단하기 어렵다.

2.3 기존 연구의 온디바이스 평가 근사 기법

데스크탑/시뮬레이터 환경에서 온디바이스 평가를 모사하기 위해 사용된 근사 방법은 Table 4.에, 보고 지표는 Table 2.에 정리하였다. 온디바이스 평가를 간접 근사하기 위해 네 가지 접근을 주로 사용한다. (i) 런타임 포맷 변환과 정수 양자화로 배포 형태를 모사하고, (ii) 데스크탑 계측으로 자원 제약을 반영하며, (iii) 입력 차원 축소로 예산을 맞추고, (iv) 전력과 통신 비용은 추정치로 대체한다.

Table 4. Methods used to mimic on-device evaluation on desktop/simulator and not reported

- TFLite 변환 + 정수 양자화로 MCU 배포 형태를 근사

실제 MCU에 올리는 대신, 학습은 고자원 환경에서 수행하고 이후 런타임 포맷(TFLite/LiteRT)으로 변환해 “배포 가능한 형태”를 먼저 맞춘 뒤 정수 양자화를 적용하거나 검토한다[8, 11]. 이때 정확도 변화와 함께 모델 크기/지연 변화로 배포 가능성을 판단한다[10, 13].

- 데스크탑 계측 기반 제약 추정

타깃 보드 실측을 대체하기 위해 데스크탑 환경에서 model size, latency(inference time), inference memory 등을 측정하고 이를 MCU 예산(용량과 지연, 메모리)의 근사치로 사용한다[10]; 일부 연구는 플랫폼을 명시하지 않은 채 지연시간만 보고한다[7].

- 특징 수 축소로 MCU 예산 근사

입력 차원 자체를 줄이면 모델 파라미터뿐 아니라 연산량과 메모리 접근이 함께 감소하므로, 디바이스 제약을 “모델 설계”가 아니라 “입력 축소”로 맞추는 방식이 사용된다. feature selection/PCA가 대표적이며, FL에서는 클라이언트 입력을 통제하는 형태로 확장되기도 한다[11, 16].

- 에너지·통신 오버헤드의 추정치 사용

온디바이스 전력 실측이 어렵기 때문에, 통신량과 에너지를 계산/시뮬 기반 모델로 산출해 효율 지표로 보고하는 연구가 있다[19]. 또한 일부는 트리 깊이/leaf 수 등 복잡도 제한과 예측시간 비교로 효율을 논의한다[20].

이러한 데스크탑 중심 근사는 테일 지연, HW 의존적 전력·메모리 특성, E2E 비용, 그리고 타깃 디바이스와의 자원·성능 비동형성(iso-resource 불일치) 측면에서 한계를 남긴다. 본 논문은 이를 체계적으로 완화하기 위한 평가 프레임워크를 제안한다.

III. Methodology: D2D 평가 프레임워크

본 절에서는 데스크탑 환경에서 MCU의 실행 제약(주파수, 메모리 한도, 연산자별 사이클 모델, 전력 모델)을 등가(iso-resource) 조건으로 고정하여, 온디바이스 배치 성능을 일관된 절차로 근사 추정하고 보고하는 Desktop-to-Device(D2D) 평가 프레임워크를 제안한다. 여기서 등가란 특정 타깃 보드에 대해 (i) 동작 주파수, (ii) SRAM/Flash 한도, (iii) 연산자별 사이클 모델(LUT), (iv) 전력 모델 파라미터를 고정한 “가상 MCU 실행 조건”을 데스크탑에서 모사하는 것을 의미한다.

핵심 원칙은 (i) 특정 모델과 데이터셋에 대한 적용 범용성, (ii) 자원 제약(클럭, SRAM/Flash, 연산자별 사이클)의 명시적 적용, (iii) 전처리, 윈도 갱신, 데이터 이동을 포함하는 엔드투엔드(E2E) 관점, (iv) 테일 지연(P95/P99), 에너지, 자원 적합성, 오차를 동시에 보고하는 것이다. 구현은 학습 완료 모델을 연산자 단위로 분석해 op_summary.json을 생성하고, 보드 가정을 기술한 mcu_profile.json과 결합하여 지연, 메모리, 에너지, 적합 여부를 산출하는 파이프라인으로 구성된다. D2D는 온디바이스 실행을 완전히 대체하기보다, 명시된 가정 하에서의 근사 추정치를 제공하며 소규모 보드 교정을 통해 정밀도를 보완한다.

3.1 입력 산출물과 MCU 프로파일

학습 완료 모델은 연산자(op) 단위로 분해하여 다음 정보를 추출하고 op_summary.json에 기록한다: (a) 연산량(MACs 또는 처리 원소 수 elems), (b) 가중치 크기(weights_bytes), (c) 활성/스크래치 메모리 및 피크 텐서 사용량(peak_tensor_bytes). 각 op 항목은 필수적으로 {op_type, weights_bytes, peak_tensor_bytes}를 포함하며, 연산량 지표로는 MACs_op와 elems_op 중 하나 이상을 (필요시 혼합하여) 기록한다. 전처리 및 윈도 갱신(예: FFT, 통계 집계, 슬라이딩 복사)과 데이터 이동 비용도 동일 스키마의 “연산자 항목”으로 기록하여 E2E 경로 평가에 포함한다. Flash·SRAM 추정의 일관성을 위해 기본 저장 정밀도는 int8(가중치/활성 1 byte)을 가정하되, 일부 연산자(예: 활성/정규화/softmax 등)에서 중간 버퍼 dtype이 int16/float 등으로 달라질 수 있으므로 LUT 및 피크 메모리 산출에서 op별 dtype 오버라이드를 허용하고 적용 여부를 명시한다. 타깃 보드 가정은 mcu_profile.json으로 정의한다. 본 프로파일은 (a) 주파수 f_MHz(MHz), (b) SRAM/Flash 한도(sram_limit_KB, flash_limit_KB), (c) 연산자별 사이클 LUT(예: cycles_per_mac, cycles_per_elem, CMSIS-NN 등 가속 선택), (d) 전력 모델 파라미터(전압 V, 유휴 전류 I_idle, MHz당 활성 전류 계수 m)를 포함한다. 테일 지연 근사를 위한 경험계수 alpha, beta와 TFLM arena/입력 버퍼/스택 여유를 보수적으로 반영하기 위한 메모리 여유계수(gamma, 권장 범위: 1.2–1.5)도 동일 프로파일에 포함한다. 또한 input_buffer_bytes와 stack_bytes는 보드 및 런타임 특성에 따른 상수로 취급한다. 이 값들은 보드 SDK나 TFLM의 실제 설정(예: 입력 링버퍼 크기, 태스크 스택 예약량)에 기반하여 고정하며, 선정된 값과 그 근거를 명시한다.

3.2 지표 산출(지연, 메모리, 에너지)과 E2E 포함

본 절에서 보고하는 지연은 기본적으로 ms 단위로 통일하며, 계산 과정에서만 초(s)를 사용한다(이후 T50, T95, T99는 모두 ms 단위로 보고한다).

3.2.1 지연

연산자별 비용(사이클)을 기반으로 지연을 추정하기 위해, 먼저 각 연산자 op에 대해 “MACs 기반 비용”과 “원소 처리 기반 비용”을 합산하여 사이클을 계산하고, 이를 전체 연산자에 대해 누적하여 총 사이클 cycles를 산출한다.

\(\begin{align}cycles=\sum_{op}(MACs_{op}{\cdot}c_{op}^{mac}+elems_{op}{\cdot}c_{op}^{elem})\end{align}\)        (1)

여기서 MACs_op는 연산자 op의 곱-누산(multiply-accumulate) 횟수이며, elems_op는 연산자가 처리하는 원소(element) 개수(예: 출력 텐서 원소 수 또는 사전에 정의한 처리 단위 기준)이다. c_op_mac와 c_op_elem는 mcu_profile.json에 정의된 연산자별 LUT(lookup table)에서 연산자 타입에 따라 조회되는 단위 비용(사이클/MAC, 사이클/element)이다. 기본 원칙으로 Conv/GEMM 등 곱-누산 중심 연산은 MACs_op 항에 비용을 기록하고, 활성함수/풀링/정규화/리쉐이프/복사 및 통계 집계(reduction) 등 원소 단위 처리가 핵심인 연산은 elems_op 항에 비용을 기록한다. 필요 시 하나의 연산자에 대해 MACs 항과 elems 항을 동시에 갖는 혼합 모델도 허용한다(예: 메모리 이동과 연산이 모두 지배적인 경우).

전처리 연산 중 FFT는 O(n log n) 복잡도를 가지므로 LUT에서 별도 모델로 취급한다. 예를 들어 FFT 길이를 n이라 할 때, 사이클을 다음과 같이 근사한다(또는 입력 크기별 테이블을 사용한다).

cycles_fft = a ∙ n ∙ log₂(n) + b ∙ n       (2)

FFT 이외의 전처리 연산은 일반 연산자와 동일하게 elems_op 및 c_op_elem(또는 전처리 전용 LUT 항목)을 이용하여 수식 (1)의 합산에 포함한다. 총 사이클이 구해지면, 보드 주파수를 f_MHz (MHz)로 둘 때 중앙값 지연(P50)을 다음과 같이 계산한다.

\(\begin{align}T_{50, s}=\frac{\text { cycles }}{f_{M H z} \cdot 10^{6}}, T_{50, m s}=1000 \cdot T_{50, s}\end{align}\)       (3)

보고 단위는 T_50,ms로 통일하여 ms 단위로 제시한다. 또한 테일 지연(tail latency)은 보드 및 런타임에 따른 지터(예: 인터럽트, 런타임 오버헤드, 메모리 접근 변동 등)를 경험 계수로 흡수하여 다음과 같이 근사한다.

T₉₅ = α ∙ T₅₀, T₉₉ = β ∙ T₅₀       (4)

여기서 alpha, beta는 3.3절의 마이크로벤치마크 결과를 이용해 교정(calibration)한다.

3.2.2 메모리/적합성

메모리 평가는 피크 텐서 사용량만을 단순히 보고하는 대신, 실제 TFLM 실행을 보수적으로 반영하기 위해 입력 버퍼(input_buffer_bytes)와 스택 여유(stack_bytes)를 함께 포함하고, 여유계수를 적용하여 SRAM 피크 사용량 SRAM_peak_KB를 산출한다.

\(\begin{align}S R A M_{\text {peak }, K B}=\gamma \cdot \frac{B_{\text {peak }}+B_{i n}+B_{\text {stack }}}{1024}\end{align}\)       (5)

여기서 B_peak, B_in, B_stack은 각각 peak_tensor_bytes, input_buffer_bytes, stack_bytes에 대응한다. 여유계수는 SRAM 피크 산출에만 적용하며 Flash 산출에는 적용하지 않는다. 또한 TFLM arena는 정렬/패딩 및 프래그먼테이션으로 인해 추가 여유가 필요할 수 있으므로, 해당 오버헤드는 여유계수 또는 보드별 상수(예: stack_bytes)에 포함되도록 설정하고, 사용한 값과 근거를 함께 명시한다.

Flash 사용량 Flash_KB는 가중치 크기(weights_bytes)를 기준으로 다음과 같이 계산한다.

\(\begin{align}Flash_{K B}=\frac{\text { weights_bytes }}{1024}\end{align}\)       (6)

산출된 SRAM/Flash 사용량은 보드 한도(sram_limit_KB, flash_limit_KB)와 비교하여 적합 여부를 판정한다.

sram_ok = (SRAM_peak,KB ≤ sram_lim,KB)       (7)

flash_ok = (Flash_KB ≤ flash_lim,KB)       (8)

3.2.3 전력/에너지/EPcD

전력과 에너지는 주파수에 따른 활성 전류 증가를 반영하여 선형 전력 모델로 추정한다. 유휴 전류 I_idle과 주파수 비례 항 m × f_MHz를 mA 단위 전류 항으로 정의하면, 여기에 전압 V(V)를 곱했을 때 V × mA = mW 관계가 성립하여 전력 단위를 일관되게 맞출 수 있다. 따라서 전력은 P_mW ≈ V × ( I_idle + m × f_MHz )로 근사한다. 이때 m의 단위는 mA/MHz로 둔다(f_MHz는 MHz).

MCU의 전압 및 클럭 도메인 특성에 따라 전력-주파수 관계가 구간별(piecewise) 선형 모델에 더 잘 맞을 수 있으므로, 교정 단계에서 필요 시 이를 반영한다. 추론 1회당 에너지는 중앙값 지연(초 단위) T_50,s를 사용하여 E_mJ = P_mW × T_50,s로 계산한다(mW·s = mJ). 정탐 1건당 에너지(EPcD)는 EPcD_mJ = E_mJ / TP_rate로 정의하며, 다중분류 문제에서는 TP_rate로 micro-recall을 사용하는 것을 권장한다.

3.2.4 E2E/Deadline/재현성

E2E 평가는 “입력 수집 → 윈도 갱신 및 전처리 → 추론 → 알림 및 로깅”을 하나의 경로로 정의한다. 이 경로에 포함된 모든 항(전처리 및 데이터 이동 포함)을 동일한 방식으로 합산하여 E2E 기준의 P50/P95/P99 지연과 에너지를 함께 보고한다. 마감 초과는 Pr( T_E2E > deadline )로 정의하되, 기본 설정에서는 확률을 직접 추정하기보다 보수적 상계 지표로서 deadline_miss_pct = 1{T_99,E2E > deadline}을 보고하여 상계적으로 근사한다. 필요 시 경험분포(ECDF) 추정 또는 로그정규 분포 등 모수 가정을 사용해 연속 확률을 산출하며, 이때 사용한 방법을 명시한다. 재현성을 위해 모든 데스크탑 평가는 단일 스레드, BLAS 비활성, CPU affinity 고정, 그리고 DVFS 비활성 조건에서 수행하며, 필요 시 콜드/웜 스타트, 인터럽트 간섭, Batch size=1 조건을 구분하여 보고한다.

3.3 교정(캘리브레이션), 검증 및 리포팅

예측 정확도를 높이기 위해 타겟 보드 1종에서 주요 연산자(Conv, GEMM, Activation, FFT)를 대상으로 2~3가지 입력 크기에 대한 마이크로벤치 마크를 수행한다. 이를 통해 실측 사이클 및 지연 시간을 확보하고, 연산자 LUT의 비용 상수와 앞서 정의한 테일 지연 보정 계수 alpha, beta를 선형 회귀(Linear Regression) 또는 스케일/오프셋 방식으로 보정한다.

검증 단계에서는 무작위로 추출한 5~10개의 샘플에 대해 프레임워크의 예측값(D2D)과 실측값(지연, 에너지, SRAM 적합성)을 비교한다. 평가 지표로는 평균절대백분율오차(MAPE)를 사용하며, 부트 스트랩 등의 방법으로 산출한 신뢰구간을 함께 보고한다.

모든 평가 결과는 자동화된 분석을 위해 공통 JSON 포맷으로 저장한다. 여기에는 성능 지표뿐만 아니라 재현성을 보장하기 위한 메타데이터(모델 커밋 해시, 프로파일 및 교정 버전, 난수 시드 등)를 포함한다. 데이터 구조 예시는 다음과 같다.

{

latency_ms:{p50,p95,p99},

memory_kb:{sram_peak,flash},

energy_mJ,

EPcD_mJ,

deadline_miss_pct,

fit:{sram_ok,flash_ok},

meta:{model_commit, profile_version,

calib_version, seed}

}

아울러 실험 데이터 분할 시에는 시간적 순서나 세션 단위를 고려하여 정보 누수를 방지하는 원칙을 준수한다.

IV. 실험(Experiments)

본 장에서는 제안한 D2D 프레임워크를 두 가지 IDS 태스크에 적용하여 검증한다. 실험 A는 기존 온디바이스 선행 연구[14]의 모델(8-클래스, 시계열 윈도우 기반 MLP)을 데스크탑에서 재현한 뒤 D2D를 적용한 사례이며, 실험 B는 데스크탑 전용 설정(3-클래스, 단일 레코드 기반 MLP)에 D2D를 적용하여 프레임워크의 일반성을 보인다. 두 실험 모두 동일한 리포팅 포맷(지연 P50/P95/P99, SRAM/Flash, 추론당 에너지, EPcD)을 사용하며, 기존의 단순 연산량 비례 방식(Before: Desktop + Naive MACs)과 제안하는 D2D 프레임워크(After: D2D)를 정량적으로 비교한다.

4.1 공통 설정 및 태스크

실행 환경(iso-resource). 모든 평가는 등가 자원 환경을 모사하기 위해 단일 스레드, BLAS 비활성, CPU affinity 고정, DVFS 비활성 조건에서 수행하였다. 학습 및 평가의 난수 시드는 고정하며, 결과 JSON에는 모델 커밋 해시, 프로파일/교정 버전, 시드 등의 메타데이터를 포함하여 재현성을 확보하였다. 메모리 계산은 int8 정밀도(가중치와 활성값 1 byte)를 기본으로 하되, TFLM 아레나, 입력 버퍼, 스택 등의 오버헤드를 보수적으로 반영하기 위해 여유계수를 1.2에서 1.5 범위(gamma ∈ [1.2, 1.5])로 적용하였다. 성능 지표인 EPcD는 TP_rate로 micro-recall을 사용한다. 전력 모델은 다음의 선형 근사를 기본으로 하며, 필요 시 보드별 교정을 통해 보정한다: P_mW ~= V * (I_idle + m * f_MHz).

데이터셋/태스크. 실험 A는 8-클래스 멀티클래스 IDS(시계열 윈도우 기반) 태스크이다. 실험 B는 IDSH SmartThermostat 데이터셋[26]을 사용하여 Normal/DoS/MITM의 3-클래스 분류를 수행하며, 레코드 단위로 평가하고 슬라이딩 윈도우는 사용하지 않는다(W = 1). 두 태스크 모두 시간 순서 및 세션 단위로 데이터를 분할하여 정보 누수를 방지하였다.

모델/학습. 실험 A의 모델은 MLP(입력 510, 은닉 32–32, 출력 8) 구조이며, 실험 B는 MLP(입력 21, 은닉 32–32, 출력 3) 구조를 갖는다. 두 모델은 동일한 최적화 설정(배치 크기, 에폭, 학습률)과 특성 표준화를 적용하였다.

MCU 프로파일. 세 가지 대표 프로파일인 L(저클럭/저메모리), M(중간), H(고클럭)을 사용한다. 각 프로파일은 주파수, SRAM/Flash 한도, 연산자별 사이클 LUT, 전력 파라미터, 테일 보정 계수(alpha, beta)를 포함하며, 실험 A와 B에 동일하게 적용한다.

4.2 평가 프로토콜(Before/After)

비교 평가는 기존의 단순 접근법인 Before와 제안하는 프레임워크인 After로 구분한다. Before 단계에서는 (i) 데스크탑 환경에서 직접 측정한 지연시간(P50/P95)과, (ii) 연산자별 특성을 고려하지 않고 총 연산량에 비례하여 추정한 ‘나이브(naive) MACs 스케일링’ 지연을 제시한다. 이때 나이브 방식은 단위 비용을 c_mac = 1, c_elem = 0으로 가정하여 이상적인 하드웨어 성능만을 반영한다. 반면 After 단계에서는 제안하는 D2D 프레임워크를 적용하여, L/M/H 세 가지 프로파일에 따른 상세 지연(P50/P95/P99), SRAM 및 Flash 메모리 사용량, 그리고 추론 1회당 에너지(mJ)와 정탐 단위 에너지(EPcD)를 산출하여 보고한다.

4.3 결과

4.3.1 실험 A — 8-클래스(윈도 기반 MLP)

실험 A에서 데스크탑 기준 성능은 정확도 0.9205, 매크로 F1 스코어 0.8457을 기록하였으며, 이때 측정된 지연시간은 P50 0.0218 ms, P95 0.0250 ms였다(Table 5.). 단순 연산량에 기반한 나이브 MACs 스케일링(총 MACs 17,600, 사이클 당 1 MAC 가정) 결과는 L, M, H 프로파일에서 각각 0.275 ms, 0.147 ms, 0.073 ms로 산출되었다. 이는 실제 하드웨어 오버헤드를 반영하지 못해 MCU 지연을 일관되게 과소추정(underestimate)하는 경향을 보였다. 이에 반해, 연산자별 LUT와 테일 지연 보정을 적용한 D2D(After) 예측 결과는 P50 기준으로 L 0.6068 ms, M 0.2354 ms, H 0.0883 ms를 기록하여 나이브 방식보다 현실적인 수치를 보였다. 특히 테일 지연(P95/P99)은 L 0.7281/0.8191 ms, M 0.2825/0.3178 ms, H 0.1060/0.1192 ms로 나타나 프로파일별 성능 변동성을 명확히 구분하였다(Table 6.).

Table 5. desktop baseline for Experiment A

Table 6. comparison of estimated latencies: naive MACs scaling vs. Proposed D2D framework across MCU profiles

메모리 사용량은 SRAM 16.0 KB, Flash 17.26 KB로 산출되어 모든 프로파일의 한도 내에서 적합(fit) 판정을 받았다. EPcD는 실험에서 얻은 micro-recall(0.9205)을 TP_rate로 사용하여 계산하였다. 이러한 결과는 데스크탑 측정값이나 단순 MACs 계산만으로는 실제 MCU 환경의 지연과 자원 제약을 체계적으로 분석하기 어려움을 시사한다(Table 7.).

Table 7. predicted memory usage and energy efficiency(EPcD) for Experiment A using D2D

4.3.2 실험 B — 3-클래스(레코드 기반 MLP, IDSH)

실험 B에서 데스크탑 기준 성능은 정확도 0.7358, 매크로 F1 스코어 0.7003을 기록하였고, 데스크탑에서 측정된 지연시간은 P50 0.0216 ms, P95 0.0247 ms였다(Table 8.). 나이브 MACs 스케일링(총 MACs 1,792, 사이클당 1 MAC 가정) 결과는 L/M/H 프로파일에서 각각 0.0280 ms, 0.0149 ms, 0.00747 ms로 산출되어 실제 MCU 지연을 과소추정하는 경향을 보였다(Table 9.). 반면 D2D(After) 예측 결과는 P50 기준 L 0.0629 ms, M 0.0244 ms, H 0.00917 ms로 나타났으며, 테일 지연(P95/P99)은 L 0.0755/0.0849 ms, M 0.0293/0.0330 ms, H 0.0110/0.01238 ms로 산출되었다(Table 9.).

Table 8. desktop baseline for Experiment B

Table 9. comparison of estimated latencies: naive MACs scaling vs. Proposed D2D framework across MCU profiles

메모리 사용량은 SRAM 16 KB, Flash 1.82 KB로 모든 프로파일에서 한도 내 적합 판정을 받았으며, EPcD는 TP_rate로 micro-recall(0.7358)을 사용하여 계산하였다(Table 10.). 특히 본 결과에서는 데스크탑 측정 지연(P50 0.0216 ms)이 고성능 MCU 프로파일(H)의 예측값(P50 0.00917 ms)보다 오히려 느리게 나타나는 역전 현상이 관찰되었다. 이는 데스크탑 OS의 스케줄링 오버헤드가 매우 작은 연산 모델에서는 지배적인 영향을 미치기 때문으로 분석된다. 따라서 데스크탑 측정값은 MCU 성능의 상한이나 하한 어느 쪽으로도 단정하기 어렵다는 점을 재확인하였다(Table 10.).

Table 10. predicted memory usage and energy efficiency(EPcD) for Experiment B using D2D

4.4 논의

두 가지 IDS 태스크에 대한 실험 결과, 데스크탑에서의 단순 지연 측정이나 나이브 MACs 스케일링 방식은 MCU의 실제 지연 시간을 심각하게 과소추정하거나, 프로파일(L/M/H) 간의 성능 격차를 왜곡하는 경향을 보였다. 특히 실험 B의 일부 프로파일(H)에서 관찰된 데스크탑–MCU 간 성능 역전 현상은 TinyML 모델 평가 시 데스크탑 지표를 맹신해서는 안 됨을 시사한다.

반면, 제안하는 D2D 프레임워크는 실제 보드 없이도 연산자 LUT와 테일 보정, 메모리 및 전력 모델을 결합하여 표준화된 MCU 지표(P50/P95/P99, SRAM/Flash, 에너지, EPcD)를 제공함으로써 이러한 한계를 실용적으로 완화하였다. 특히 저사양(L) 프로파일에서 발생하는 비선형적인 지연 증가를 현실적으로 반영한다는 점에서 실효성이 높다.

다만, D2D 예측의 절대적인 정밀도를 더욱 높이기 위해서는 타겟 보드에 대해 소규모 마이크로벤치 마크를 수행하여 LUT 및 테일 계수를 보정하는 과정이 권장된다. 본 연구의 모든 실험은 앞서 3장과 4장에서 정의한 엄격한 재현성 프로토콜(단일 스레드, 고정 시드, 공통 JSON 포맷 등)을 준수하여 수행되었으므로, 향후 다양한 MCU 및 모델 아키텍처에서도 일관된 기준으로 성능을 비교하고 평가하는데 기여할 수 있을 것이다.

V. 한계

본 논문은 데스크탑 기반의 근사 평가이므로 RTOS 스케줄링, 버스 대기, 온도·전압 변동, 무선 스택, 캐시/버스 경합 등 플랫폼 특이 지터를 완전 재현하지 못한다. 이를 보완하기 위해 소규모 보드 교정과 보수적 여유계수를 병행하고, E2E 지표(전처리·윈도 갱신 포함), 테일 지연(P95/P99), 자원 적합성(SRAM/Flash)을 동시 보고하여 데스크탑 단일 환경 지표 중심 평가의 편향을 완화하였다. 다만 본 논문의 D2D 지표는 상대 비교와 설계 의사 결정(모델/프로파일 선택)을 지원하기 위한 것으로, 절대치 보증은 보드 실측 교정 범위 내에서만 유효하다.

또한 다수의 TinyML IDS 선행연구가 코드 공개가 제한적이어서, 본 실험은 논문 본문과 부록, 저자 제공 설정을 근거로 재현 구현을 수행하였다. 이 과정에서 전처리 세부(윈도 생성, 정규화), 하이퍼파라미터, 프레임워크/버전 차이로 미세한 성능 편차가 발생했을 수 있다.

추가적으로, (i) 전력 모델은 기본 선형 근사 P ≈ V * (I_idle + m * f)을 사용하므로, 클럭 도메인 경계나 가속기 활성 시에는 구간 보정이 필요할 수 있다. (ii) SRAM 추정은 activation 워터마크 + 입력 버퍼 + 스택 + 여유계수로 보수화했으나, TFLM arena의 정렬/단편화에 따른 최악 상계를 보장하지 않는다. (iii) 본 교정은 특정 보드 클래스와 워크로드 클래스(MLP 중심)에서 검증되었으므로, 다른 MCU 클래스(M0/M23 등)나 다른 워크로드(FFT-heavy/CNN)로의 외삽에는 추가 교정이 요구된다.

VI. 결론

본 논문은 데스크탑 환경에서 MCU의 자원, 전력 및 지연 제약을 등가 관점에서 근사 재현하여 온디바이스 성능을 일관된 절차로 추정하고 보고하는 D2D 프레임워크를 제안하였다. 핵심은 연산자 단위의 사이클과 메모리, 전력 모델을 MCU 프로파일(JSON)로 명시해 파이프라인에 주입하고, 데스크탑에서도 지연(P50/P95/P99), SRAM/Flash, 추론당 에너지, EPcD, deadline miss(%)를 표준 형식으로 산출할 수 있게 한 점이다. 두 IDS 태스크(8-클래스 윈도, 3-클래스 레코드)에서 데스크탑 지표와 단순 MACs 스케일링은 MCU 지연을 과소추정하거나 상대 비교를 왜곡했으며, D2D는 LUT, 테일 보정, 메모리·전력 모델을 결합해 L/M/H 프로파일 간 지연·자원·에너지 지표를 보드 없이도 제공하였다. 본 접근은 근사 평가이므로 보드 교정(마이크로벤치마크)과 여유계수를 병행하는 것이 바람직하며, E2E, 테일, 자원 적합성의 동시 보고를 통해 평가 편향을 완화하였다. 향후 과제로는 전력 모델의 구간 보정, 무선·센싱을 포함한 시스템 전력 모델링, 다양한 워크로드, MCU 클래스 확장, 공개 벤치마크 및 프로파일 표준화 정립을 제시한다.