Clock Glitch-based Fault Injection Attack on Deep Neural Network

Deep Neural Network에 대한 클럭 글리치 기반 오류 주입 공격

Abstract

The use of Deep Neural Network (DNN) is gradually increasing in various fields due to their high efficiency in data analysis and prediction. However, as the use of deep neural networks becomes more frequent, the security threats associated with them are also increasing. In particular, if a fault occurs in the forward propagation process and activation function that can directly affect the prediction of deep neural network, it can have a fatal damage on the prediction accuracy of the model. In this paper, we performed some fault injection attacks on the forward propagation process of each layer except the input layer in a deep neural network and the Softmax function used in the output layer, and analyzed the experimental results. As a result of fault injection on the MNIST dataset using a glitch clock, we confirmed that faut injection on into the iteration statements can conduct deterministic misclassification depending on the network parameters.

심층 신경망(DNN, Deep Neural Network)은 데이터 분석 및 예측에 있어서 높은 효율성으로 인하여 점점 다양한 분야에서 활용되고 있다. 그러나 심층 신경망의 사용이 빈번해짐에 따라, 이와 관련된 보안 위협 요소도 증가하고 있다. 특히, 심층 신경망의 예측에 직접적인 영향을 미칠 수 있는 순전파(forward propagation) 과정과 활성화 함수(activation function)에서 오류가 발생하면, 모델의 예측 정확도에 치명적인 영향을 미칠 수 있다. 본 논문에서는 심층 신경망에서 입력층을 제외한 각 계층으로의 순전파 과정과 출력층에서 사용되는 Softmax 함수에 오류 주입 공격을 수행하고, 그 실험 결과를 분석하였다. MNIST 데이터셋에 대해 글리치 클럭을 이용한 오류 주입 결과, 반복문에 오류를 주입하면 시스템 파라미터에 따른 결정론적 오분류가 일어남을 확인하였다.

I. 서론

최근 몇 년간 자율주행차, 산업 시스템, IoT 등 다양한 분야에서 심층 신경망(Deep Neural Network, DNN)의 사용량이 계속해서 증가하고 있다. 특히, IoT, 홈 네트워크 그리고 산업용 장비에서는 저전력과 저비용의 임베디드 시스템을 널리 사용되고 있다. 심층 신경망은 복잡한 데이터 분석과 예측을 가능하게 하는 이점을 사용자에게 제공하지만, 동시에 보안 취약점이 존재하면 심각한 문제를 초래할 수 있다. 이러한 취약점을 악용한 공격자는 심층 신경망 내의 주요 정보를 탈취하거나 시스템을 혼란에 빠뜨려, 모델의 안정성과 신뢰성을 크게 위협할 수 있다.

심층 신경망은 일반적으로 입력층, 2개 이상의 은닉층, 출력층으로 구성된 신경망을 의미한다. 심층 신경망의 예측 과정은 입력 데이터(input data)를 기반으로 순전파(forward propagation)에서 가중치와 편향(weights and bias)으로 중간값이 조정된다[1]. 그리고 활성화 함수(activation function)에 의해 비선형성을 추가함으로써 더욱 정교한 예측을 가능하게 한다.

심층 신경망의 보안을 위협하는 여러 공격들 중 하나인 오류 주입 공격(Fault Injection Attack, FIA)은 공격자가 의도적으로 오류를 주입함으로써 모델의 오동작 또는 오분류를 유도하는 공격이다. 오류는 클럭 글리치(clock glitch), 전압 글리치(voltage glitch), 레이저 빔(laser beam) 등을 사용하여 다양한 방법으로 주입할 수 있다. 특히, 클럭 글리치 공격은 임베디드 디바이스에서 상대적으로 쉽게 구현될 수 있으며, 이러한 공격은 디바이스의 정상적인 동작을 방해하여 심층 신경망의 예측 정확도에 직접적인 영향을 미칠 수 있다.

본 논문은 MNIST 데이터셋으로 학습된 심층 신경망을 대상으로 클럭 글리치를 이용한 오류 주입 공격을 수행하고, 그 결과를 분석한다. 특히, 입력 데이터에 대한 예측값을 계산하는 순전파 과정과 다중 분류에서 주로 사용되는 소프트맥스 함수에 오류를 주입하였다. 그리고 공격 성공률을 높이기 위해 글리치 파라미터를 세밀하게 조정하고, 최적화된 값으로 설정하여 실험을 진행하였으며, 공격이 신경망의 성능과 안정성에 미치는 영향을 분석하였다.

본 논문은 다음과 같이 구성된다. 2장에서 배경지식과 관련 연구를 소개하여 내용 이해를 돕는다. 3장에서는 오류 주입을 수행한 모델과 오류가 주입되는 실험 환경에 대해 간략히 설명한다. 4장에서는 오류 주입 위치와 그 오류 주입 결과에 대해 분석하고, 마지막으로 5장에서는 결론 및 향후 연구 방향에 대해 다룰 예정이다.

II. 배경지식

2.1 심층 신경망

심층 신경망은 인공 신경망(Artificial Neural Network, ANN)[2]의 발전된 형태로, 딥러닝의 핵심 기술 중 하나이다. 심층 신경망은 기본적으로 입력층, 은닉층, 출력층으로 구성된다. 입력층은 입력 데이터를 신경망에 전달하는 역할을 하며, 출력층은 신경망이 수행하는 작업에 맞게 정의된다. 심층 신경망의 핵심인 은닉층은 두 개 이상으로 구성될 수 있으며, 이는 신경망의 깊이를 형성하여 복잡한 데이터를 학습하는 데 중요한 역할을 한다. 아래 Fig. 1은 다층 구조의 신경망을 시각적으로 나타낸 것이다.

Fig. 1. An example of DNN structure

심층 신경망에는 다양한 종류가 있으며, 그 중 다층 퍼셉트론(Multi-Layer Perceptron, MLP)은 여러 은닉층을 통해 고차원 데이터와 복잡한 패턴을 학습하는 데 활용된다. 이미지 처리에 특화된 합성곱 신경망(Convolutional Neural Network, CNN)은 공간적 구조를 파악하고 특징을 효과적으로 추출하는 데 뛰어난 성능을 보인다. 또한, 순환신경망(Recurrent Neural Network, RNN)은 순차적 데이터를 처리하며, 이전의 상태 정보를 현재 입력과 결합해 출력을 생성하는데 주로 사용된다. 실험에서는 간단한 구조의 다층 퍼셉트론을 실험 모델로 사용하였다.

2.2 활성화 함수

활성화 함수(activation function)는 심층 신경망이 복잡한 데이터 패턴과 관계를 효과적으로 학습하는 데 중요한 요소 중 하나이다. 대표적인 활성화 함수로는 시그모이드(Sigmoid), 렐루(ReLU), 하이퍼볼릭 탄젠트(Tanh), 그리고 소프트맥스(Softmax) 등이 있으며, 이런 함수들은 출력값을 특정 범위로 제한하여 모델의 안정성을 높이고 학습 효율성을 향상시킨다. 특히, 소프트맥스는 엣지 디바이스(edge device)에서 많이 활용되는 객체 탐지와 이미지 분류 등을 위해 자주 사용된다.

2.3 MNIST

MNIST(Modified National Institute of Standards and Technology) 데이터셋[3]은 기계 학습과 딥러닝 연구에서 자주 사용되는 표준 데이터셋으로, 0부터 9까지의 손글씨 숫자 이미지로 구성되어 있다. 이 데이터셋은 흑백 이미지로 이루어져 있으며, 각각의 이미지는 28x28 픽셀의 크기를 가지고 있다. 아래 Fig. 2는 MNIST 데이터셋에서 0부터 9까지의 숫자 이미지 예시를 보여준다.

Fig. 2. MNIST dataset image

MNIST 데이터셋은 훈련 세트(training set)와 테스트 세트(test set)로 나뉘며, 각각 약 60,000개의 학습 데이터와 10,000개의 테스트 데이터로 구성된다. 본 실험에서는 훈련 세트를 사용하여 모델의 학습을 수행하였으며, 이를 통해 모델이 손글씨 숫자를 효과적으로 인식하고 예측할 수 있도록 하였다. 테스트 세트는 학습이 완료된 후 모델의 예측 정확도와 성능을 측정하여 평가하는 데 사용하였다.

2.4 오류 주입 공격

현재 IoT나 산업용 단말 장치에는 저전력, 저사양의 임베디드 장치들이 많이 사용되고 있다. 이러한 단말 디바이스에 적용 가능한 공격 중 하나인 오류 주입 공격은 심층 신경망의 구현 과정에서 존재하는 취약점을 이용한 구현 공격(implementation attack)[4, 5]의 일종이다. 이 공격은 악의적인 공격자가 특정 부분에 의도적으로 오류를 주입하여 오분류(misclassification)나 오작동(malfunction)을 유발하는 공격이다. 이러한오류 주입 공격 시스템의 보안과 안정성을 저해하여 가용성을 해치거나 네트워크 내부의 주요 비밀 정보를 탈취하는데 악용되고 있다.

오류는 클럭 글리치(clock glitch)[6], 전압 글리치(voltage glitch)[7], 레이저 빔(laser beam)[8] 등 다양한 방식으로 주입할 수 있다. 특히, 레이저 빔은 공격자가 원하는 위치에 정밀한 오류를 주입할 수 있다는 장점에 비해 공격 비용이 높다는 단점이 있다. 본 연구에서는 공격의 가성비를 고려하면서 효과적인 오류 주입을 위하여 클럭 글리치 기반의 오류 주입 공격을 수행하였다.

클럭 글리치를 이용한 오류 주입 공격은 정상적인 클럭 사이클에 글리치를 삽입하여특정 명령어 실행(execute)을 건너뛰는 공격 방법이다. 글리치가 클럭 사이클에 삽입되면 시스템의 동작이 중단되거나 일시적으로 변경될 수 있으며, 이를 통해 시스템의 결과가 예측 불가능하게 조작할 수 있어 심각한 혼란을 초래할 수 있다. Fig. 3은 클럭사이클에 대한 글리치를 삽입한 경우의 명령어 흐름 변화를 나타낸 것이다.

Fig. 3. Instruction flow depending on clock glitch-based fault injection

2.5 관련 연구

최근 다양한 연구에서 오류 주입 공격이 심층 신경망의 예측 정확도와 안정성에 미치는 영향을 분석하고 있다. 문헌 [1]에서 Y. Liu 등은 처음으로 심층 신경망에 대한 오류 주입 공격의 가능성을 보여주었다. 이 연구에서는 모델의 계산 과정에 오류를 발생시키기 위해 가중치에 오류를 주입함으로써 모델의 예측 정확도를 떨어뜨리는 방법을 제시하였다.

S. Tajik 등은 가장 기본적인 신경망인 인공 신경망에 오류 주입 공격을 수행하여그 영향을 분석하였다[2]. 이 연구에서는 인공 신경망 모델의 학습단계 또는 추론 단계에서 발생할 수 있는 오류 주입 공격이 모델의 정확도를 크게 감소시키고, 잘못된 예측 결과를 유도할 수 있다고 주장하였다. 또한, 모델 강화 및 입력 데이터 검증 등의 대응 방안을 통해 모델을 보호할 필요성을 제안하였다.

문헌 [6]에서 Y. Fukuda 등은 마이크로컨트롤러에서 처리되는 신경망에 대해 파형의 패턴 매칭을 사용한 오류 주입 공격을 제안하였다. 이 문헌에서는 신경망의 처리 과정 중 특정한 파형 패턴을 주입하여 신경망의 출력에 오류를 유발할 수 있음을 입증하였다. 마이크로컨트롤러의 메모리나 센서 데이터에 파형을 삽입함으로써 신경망의 분류 정확도가 크게 감소하는 것을 확인하였다.

III. 심층 신경망에 대한 오류 주입 공격

3.1 심층 신경망 모델

실험에서 사용한 심층 신경망 모델은 MNIST 손글씨 숫자 이미지 데이터셋을 학습한 간단한 구조의 모델이다. 입력층은 28x28 픽셀 크기의 이미지를 평탄화한 값인 784를 입력으로 받는다. 은닉층은 총 2개로, STM32F3 칩의 SRAM(40KB)과 Flash 메모리(256KB) 크기로 인하여 얕게 설정하였다. 각각 노드는 64와 32로 지정하였으며, 활성화 함수는 렐루를 사용하였다. 마지막으로, 출력층의 노드는 MNIST의 클래스 개수인 10으로 설정하고, 다중분류를 위해 활성화 함수는 소프트맥스를 사용하였다. 아래 Table 1은 심층 신경망 모델의 구조를 간략히 나타낸 것이다.

Table 1. Deep neural network model structure

3.2 오류 주입 공격 장비

클럭 글리치 기반 오류 주입 실험을 수행하기 위해 PC, ChipWhisperer-Lite (CW-Lite), CW308 (STM32F3 chip)을 사용하였다. PC와 CW-Lite는 USB 연결을 통해 통신한다. 그리고 PC에서 Python을 사용하여 글리치 파라미터를 CW-Lite로 전송하면, CW-Lite는 전송받은 글리치 파라미터 값을 기반으로 오류가 주입될 트리거(trigger)의 위치와 크기를 조정한다. CW308(STM32F3 chip)에는 C 언어로 작성된 심층 신경망 코드를 ARM GCC 10.2.1 (none) 컴파일러를 사용하여 어셈블리 코드로 변환한 후빌드한다. STM32FX 칩의 경우, 외부 클럭 대신 내부 클럭으로 작동하는 특징이 있어, C 언어 기반 심층 신경망 코드 내부에 트리거 명령어를 미리 작성해 준다. 아래 Fig. 4는 실험 장비들의 인터페이스와 동작 과정을 나타낸 것이다.

Fig. 4. Interface of experimental equipment for fault injection attack

3.3 오류 주입 지점

오류가 주입될 대상은 크게 두 부분으로 나누었다. 첫 번째는 입력층을 제외한 각 계층으로의 순전파 과정이고, 두 번째는 출력층에서 사용되는 소프트맥스 함수이다. Fig. 5는 순전파 알고리즘으로, 이중 반복문을 사용하여 구현하였다. 이전 계층에서 다음 계층으로의 예측 과정을 모두 건너뛰면 어떤 결과를 초래하게 되는지 분석하고자 어셈블리 코드 상에서 분기(branch) 명령어를 건너뛰도록 첫 번째 반복문에 오류를 주입하였다.

Fig. 5. Fault injection position for forward propagation

Fig. 6은 소프트맥스 함수 알고리즘으로, 총 두 개의 반복문을 사용하여 구현하였다. 소프트맥스 함수는 순전파와 달리 오분류의 영향을 확인하고자 첫 번째 반복문을 한 번만 실행하고 건너뛰도록 오류를 주입하였다.

Fig. 6. Fault injection position for Softmax function

3.4 글리치 파라미터

클럭 글리치 기반 오류 주입 공격의 성공률을 결정하는 주요 글리치 파라미터로는 width, offset, ext_offset, repeat이 있다. Fig. 7은 각 파라미터의 설정에 따라 글리치를 생성하는 과정을 시각적으로 보여준다.

Fig. 7. Glitch generation depending on clock glitch parameters

오류 주입 실험에서 반복 횟수를 결정하는 repeat은 값을 1로 설정하여 오류가 정확히 공격 지점에만 영향을 미칠 수 있도록 하였다. 오류가 주입될 위치를 조절하는 ext_offset은 STM32F3 칩의 코어인 ARM Cortex-M4 매뉴얼을 기반으로 설정하였으며 순전파 과정에는 5로, 소프트맥스 함수에는 7로 지정하였다. 또한, 오류의 길이를 결정하는 width와 offset은 -44부터 44까지의 전체 범위에 걸쳐 오류 주입을 시도한 후, 가장 높은 공격 성공률을 나타낸 값으로 설정하였다. 이러한 설정을 통해 최적의 글리치 파라미터를 선택한 후 각 공격 대상인 반복문을 건너뛰었을 때의 실험을 진행하였다. 아래 Table 2는 공격 대상에 따라 최적화된 글리치 파라미터의 요약하여 제시하고 있다.

Table 2. Clock glitch parameters to inject a fault

IV. 오류 주입 결과 분석 및 대응책

4.1 순전파에 대한 오류 주입 결과 분석

입력층을 제외한 각 계층의 순전파 과정을 건너뛴 결과, 특정 클래스로 고정된 오분류가 발생하는 것을 확인하였다. 첫 번째 은닉층의 순전파가 생략된 경우, 모델은 두 번째 은닉층의 편향을 입력값으로 사용하여 예측을 진행하게 된다. 이로 인해, 입력된 이미지에 관계없이 동일한 값을 입력 이미지로 받아들이게 된다. 그 결과, 특정 클래스에고정된 오분류가 발생한다. Fig. 8은 이러한 실험을 통해 클래스 5로 고정된 오분류가 일어난 실험 결과를 시각적으로 보여준다.

Fig. 8. Result of the loop skip for forward propagation in first hidden layer

두 번째 은닉층의 순전파를 생략할 때도 유사하게 출력층의 편향을 입력값으로 사용하게 된다. 그러나 첫 번째 은닉층을 건너뛸 경우에는 출력층의 가중치와 편향이 복합적으로 작용하여 오분류의 정확한 원인을 파악하기 어려웠다. 그러나 두 번째 은닉층에서는 출력층의 편향만이 입력 이미지로써 사용되기 때문에, 해당 편향의 가장 큰 값이 모델의 예측 결과를 지배하게 된다. 그 결과, 특정 클래스에 고정된 오분류가 발생하며, 이는 입력된 이미지와 무관하게 출력이 왜곡되는 원인이 된다. 아래 Fig. 9는 두 번째 은닉층에 대한 오류 주입이 이루어진 결과를 시각적으로 보여준다. MNIST의 테스트 세트 전체에 대하여 클래스 2로 고정된 오분류가 일어난 것을 확인할 수 있다.

Fig. 9. Result of the loop skip for forward propagation in second hidden layer

기본적으로 각 계층의 연산 결과를 저장하는 중간값 배열은 초기화 시 0으로 설정된다. 출력층의 순전파 과정을 생략할 경우, 이 배열의 값은 소프트맥스 연산에 도달할 때까지 계속 0으로 유지된다. 그 결과, 소프트맥스 함수는 모든 클래스에 대해 약 0.1이라는 동일한 확률이 부여하며, 이로 인해 오분류가 발생한다. 오분류가 어떤 클래스로 선택되는지는 최댓값 탐색 알고리즘의 구현방식에 따라 달라질 수 있다. 본 실험에서는 0번째 인덱스부터 순차적으로 탐색하는 방식을 사용했으며, 이로 인해 클래스 0으로 오분류가 일어나는 것을 Fig. 10에서 확인할 수 있다.

Fig. 10. Result of the loop skip for forward propagation in output layer

4.2 소프트맥스에 대한 오류 주입 결과 분석

소프트맥스 함수의 첫 번째 반복문이 한 번만 수행되도록 오류를 주입하면, 항상 클래스 0으로 오분류가 일어나게 된다. 첫 번째 반복문이 한 번만 수행되고 이어서 두 번째 반복문을 수행하면, 순전파 알고리즘인 Fig. 5에서 line 3의 O_k와 line 4의 sum이 동일한 값을 가지게 된다. 그리고 두 번째 반복문을 거치면 첫 번째 인덱스의 값은 1이 되고, 나머지 인덱스의 값은 모두 0이 되는 결과를 얻게 된다. 아래 Fig. 11은 소프트맥스 함수에 대한 오류 주입 결과 클래스 0으로 오분류가 일어난 이미지이다.

Fig. 11. Result of the loop skip for Softmax

4.3 각 레이어 오류 주입 공격에 대한 대응

상기한 바와 같이 최근 심층 신경망에 대한 오류 주입 공격의 목적은 오분류를 일으켜 시스템의 신뢰도를 떨어뜨리는 것이다. 오류 주입 공격에 대한 대응책은 일반적으로 하드웨어 장치에 대한 오류 탐지 기술을 적용하는 방법과 알고리즘적으로 내부 동작을 확인하는 방법을 고려할 수 있다. 특히, 구현 알고리즘 내부에 오류 주입 여부를 탐지하는 기술을 심층 신경망에 적용하기 위해서는 두 가지 방법을 생각해 볼 수 있다.

먼저, 실험에 사용한 오류 주입 공격은 반복문을 생략하여 각 레이어의 노드가 정상적인 연산을 하지 못하는 공격이므로 반복문이 노드 수에 맞게 수행되는지 검사하는 기능을 추가할 필요가 있다. 즉, 정상적으로 반복문이 수행되지 않는 경우, 심층 신경망의 동작을 멈추게 함으로써 오분류를 방지할 수 있다.

두 번째 대응책으로는 각 노드에서 사용하는 가중치나 편향 값이 정확히 사용되었는지 확인하는 방법을 고려해야 한다. 예를 들어, 가중치나 편향을 검사할 수 있도록 이들을 더한 값을 미리 사전에 계산하여 저장한 후 실제 신경망이 동작할 때 사용된 값을 더하여 서로 비교함으로써 모든 반복문이 정상적으로 수행되었는지 확인할 수 있다. 따라서 각 레이어의 파라미터들이 연산 과정에서 모두 정상적으로 사용되었음을 확인하는 알고리즘적인 대응책이 필요하다.

V. 결론

최근 심층 신경망의 활용 범위가 점점 늘어나면서, 그만큼 심층 신경망 동작에 대한 안전성 확보도 중요해지고 있다. 특히, 심층 신경망의 예측 과정에 직접적인 영향을 미칠 수 있는데이터, 순전파, 가중치와 편향, 활성화 함수 등에 오류를 주입하면 오작동 또는 오분류를 유도할 수 있다.

본 논문에서는 손글씨 숫자 이미지 데이터셋인 MNIST로 학습된 심층 신경망에 클럭 글리치 기반 오류 주입 공격을 수행하고, 그 결과를 분석하였다. 현재 계층의 정보를 다음 계층으로 전달하는 순전파 과정과 다중 분류에서 주로 사용되는 소프트맥스에 오류를 주입하였다. 그 결과, 각 은닉층의 순전파는 다음 계층의 편향을 입력값으로 사용하여 예측을 진행하는 것을 확인하였다. 반면, 출력층은 다음 계층이 없어 중간값을 저장하는 배열이 0인 상태를 유지하다 소프트맥스 함수를 거쳐 모든 클래스가 동일한 확률을 가지게 되면서 오분류가 발생하였다. 결과적으로, MNIST 테스트 데이터셋에 대한 반복문에 오류를 주입하면 시스템 파라미터에 따른 결정론적 오분류가 일어남을 확인하였다. 향후에는 경량화 기법을 사용하여 좀 더 깊은 층을 가진 모델에서의 오류주입 공격을 수행하여 그 영향을 분석하고, 이에 대한 대응 방안을 연구하고자 한다.