A Study on the Feasibility of Chained Inference Attacks in Federated Learnin

연합학습에서의 연쇄 추론 공격 가능성에 관한 연구

Abstract

Membership inference attacks are a representative privacy-violating attack that infers the inclusion or absence of a specific data sample in a training data set corresponding to a public deep learning model. Much research is being conducted in the federated learning environment, a privacy-preserving mechanism. Recently, a provenance inference attack concept was proposed that enables membership inference for local models in federated learning environments. However, this attack was designed based on the assumption that perfect inference for the global model has been achieved in advance, completely disregarding the realistic federated learning environment and the feasibility of membership inference attacks. In this paper, we establish and propose a chain inference attack concept that combines the concepts of membership inference attack for global models and provenance inference attack for local models for a more realistic attack method, and analyze in detail the feasibility of the attack. Through this, we experimentally verify the feasibility of chain inference attacks in a direction as similar as possible to an actual federated learning environment, and further describe future research directions on membership inference attacks based on this.

멤버십 추론 공격은 공개된 딥러닝 모델에 대응하는 학습 데이터 집합에 대한 특정 데이터 샘플의 포함 유무를 추론하는 대표적인 프라이버시 침해 공격으로써, 프라이버시 보존형 메커니즘인 연합학습 환경에서 많은 연구가 진행되고 있다. 최근에는 연합학습 환경에서 지역 모델에 대한 멤버십 추론이 가능한 출처 추론 공격 개념이 제시되었다. 그러나, 해당 공격은 사전에 전역 모델에 대한 완벽한 추론이 이루어짐을 가정한 상태에서 설계되었으며, 이는 현실적인 연합학습 환경 및 멤버십 추론 공격의 실현 가능한 성능을 전혀 고려하지 않았다. 본 논문에서는 보다 현실적인 공격 방법을 위해, 전역 모델에 대한 멤버십 추론 공격 및 지역 모델에 대한 출처 추론 공격개념을 혼합한 연쇄 추론 공격 개념을 정립하고 제안하며, 해당 공격의 실현 가능성에 대해 상세히 분석한다. 이를 통해 실제 연합학습 환경에 최대한 유사한 방향으로 연쇄 추론 공격의 실현 가능성을 실험적으로 검증하며, 나아가 이를 기반으로 멤버십 추론 공격에 관한 향후 연구 방향을 서술한다.

I. 서론

멤버십 추론 공격(Membership Inference Attack, MIA)[1]은 특정 데이터가 딥러닝 모델의 학습 데이터에 포함되었는지를 추론하는 공격 기법으로, 주어진 데이터가 학습에 사용된 멤버(member)인지 혹은 사용되지 않은 비멤버(non-member)인지를 식별한다. 이러한 공격은 개인 정보 노출로 이어져 데이터 프라이버시 측면에서 심각한 위협이 되며, 개인 데이터를 직접 공개하지 않고 학습을 수행하는 프라이버시 보장형 분산 학습 방식인 연합학습(federated learning)[2] 환경에서도 프라이버시 위협 기술로 주목받고 있다[3-6].

최근에는 연합학습에서 MIA 기법을 활용 및 응용하여 특정 클라이언트의 데이터 정보까지 유출하는 출처 추론 공격(source inference attack, SIA)이 Hongsheng Hu 등에 의해 제안되었다[7]. 해당 공격은 서버가 수동적(honest-but-curious) 공격자임을 가정하며, 전역 모델에 대응되는 멤버 데이터를 대상으로 특정 클라이언트의 지역 모델에 대한 멤버십 추론을 수행한다. 이를 통해 공격자는 해당 클라이언트가 소유한 데이터를 추정할 수 있으며, 결과적으로 연합학습 환경에서 기존의 MIA보다 더욱 자세한 프라이버시 정보 유출을 일으킬 수 있다.

그러나, SIA 기법은 사전에 전역 모델에 대한 완벽한 추론이 이루어짐을 가정한 상태에서 설계되었다. 즉, 전역모델에 대한 100% 정밀도를 갖는 MIA가 사전에 특정 조건 없이 수행되어야만 하는 것이다. 최근 연구된 MIA[3]의 정밀도가 최대 83%에 불과하다는 점을 고려하면 이러한 가정은 현실적인 연합학습 환경 및 멤버십 추론 공격의 실현 가능한 성능을 전혀 고려하지 않았다. 이러한 흐름은 실제 MIA 기술을 고려한 SIA의 상세한 설계 및 분석을 통해 추론 공격에 대한 재검증을 수행할 필요가 있음을 의미한다.

따라서, 본 논문에서는 보다 현실적인 공격 방법을 위해, 전역 모델에 대한 MIA 및 특정 클라이언트의 지역 모델에 대한 SIA를 연쇄적으로 결합하여 공격을 수행하는 연쇄 추론 공격(Chained Inference Attack, CIA) 개념을 정립하고 제안한다. 이를 기반으로 대표적인 MIA 기술을 적용한 CIA의 성능을 비교하고 상세한 실험 및 분석을 통해 클라이언트의 데이터에 대한 추론 가능성을 상세히 분석하며, 연합학습 환경에서의 추론 공격에 관한 향후 연구 방향을 제시한다.

본 논문은 다음과 같은 구성으로 서술한다. 2장에서는 연합학습, MIA 그리고 SIA에 대한 배경지식을 설명한다. 3장에서는 특정 MIA 기법 및 연합학습에 적용하는 방법에 관해 설명하고, 이를 기반으로 구축한 CIA 환경을 설명한다. 4장에서는 데이터 분포 수준에 따른 MIA 및 CIA의 성능 비교를 기반으로 추론 공격의 실제 적용 가능성을 분석한다. 5장에서는 CIA에 대한 분석을 기반으로 연합학습에서의 프라이버시 침해에 관한 향후 연구 방향을 논의한다. 마지막으로 6장에서는 연구의 결론을 서술한다.

II. 배경 및 관련 연구

2.1 멤버십 추론 공격 (MIA, Membership Inference Attack)

MIA는 딥러닝 모델에 대한 프라이버시 침해 공격으로, 특정 데이터에 대한 멤버십 판별을 목표로 한다[1]. 예를 들어, ‘A’ 병원에서 학습된 모델을 대상으로 MIA를 수행하는 경우, 특정 환자의 정보가 학습에 사용된 것으로 판단되면 member, 그렇지 않으면 non-member로 분류한다. 이를 통해 병원의 환자 리스트와 같은 민감한 개인 정보가 유출되어 심각한 데이터 프라이버시 침해가 발생할 수 있다.

MIA의 기본적인 방식은 이진 분류 기반의 공격 모델(attack model)을 구축하여 member와 non-member를 분별한다. Fig. 1은 공격 모델의 학습 과정을 나타낸 것이며, 공격 모델은 특정 데이터에 대한 대상 모델(target model)의 쿼리 결과를 입력으로 받아 member 여부를 추론한다. 구체적으로 공격 모델의 학습 과정은 목표 모델에 대한 질의(query)단계와 데이터 전처리 단계 그리고 학습 단계로 구성되며, 각 과정은 아래와 같은 방식으로 진행된다.

Fig. 1. Attack Model setup in Membership InferenceAttacks

⦁ 질의단계에서는 공격자가 보유한 non-member와 member를 대상 모델에 쿼리하여 결과를 수집한다. 쿼리 결과는 모델의 출력(softmax)[1], 기울기(gradient)[8] 등을 사용할 수 있으며 공격 기법에 따라 다양하게 적용할 수 있다.

⦁ 전처리 단계에서는 쿼리 결과를 member 여부에 따라 레이블링(labeling)한다. member에 대한 정보는 레이블 1로 지정하고 나머지 정보는 0으로 지정하여 공격 모델의 학습 데이터를 구성한다.

⦁ 학습 단계에서는 전처리 단계에서 구성한 학습 데이터를 기반으로 이진 분류기를 학습시키며, 학습이 완료된 분류기를 공격 모델로 사용한다.

그러나 이와 같은 공격 모델의 학습에서는 공격자가 대상 모델에 대한 member 여부를 알 수 없다는 근본적인 한계가 존재한다. 이는 공격 모델 학습 과정 중 데이터 전처리 단계에서 레이블링이 불가능함을 의미하며, 공격자가 대상 모델의 학습 데이터 일부를 알고 있다는 가정이나 대상 모델의 행동을 모방하는 그림자 모델(shadow model)[1]의 구축 등을 기반으로 공격 모델을 학습시킬 수 있다. 그림자 모델은 대상 모델의 구조를 모방하여 공격자가 직접 학습한 모델로, 그림자 모델의 학습에 사용한 데이터와 사용하지 않은 데이터를 알 수 있으므로 공격 모델의 학습에 활용할 수 있다.

2.2 연합학습 (Federated Learning)

연합학습은 다수의 클라이언트가 자신의 학습 데이터를 공개하지 않고 모델 학습에 참여함으로써 개인 프라이버시를 보장할 수 있는 분산 AI 학습 프레임워크이다[2]. 연합학습은 총 T 라운드에 걸쳐 전역 모델을 학습한다. 각 라운드에서는 학습에 참여할 클라이언트의 선정을 시작으로 업데이트의 가중 평균화 작업을 통한 전역 모델의 학습을 수행한다.

먼저, 선정된 k명의 클라이언트가 현재의 전역 모델을 받아 지역 모델(local model)로 사용하며, 자신의 학습 데이터를 활용하여 지역 모델을 학습시킨다. 클라이언트들은 자신의 지역 모델과 전역 모델의 weights 차이를 업데이트 값으로 하여 파라미터 서버(parameter server)로 전송한다. 이후 파라미터 서버에서 기본적인 집계 알고리즘인 FedAvg(Federated Averaging)[1]을 통해 업데이트 값들을 가중 평균화하여 전역 모델을 갱신한다.

\(\begin{align}w^{f+1}=w^{f}+\sum_{k=1}^{K} \frac{n_{k}}{n}\left(w^{f}-w_{k}\right)\end{align}\)       (1)

w^t+1은 t라운드를 통해 학습된 전역 모델의 가중치이며, w^t는 t라운드에 클라이언트에게 배포한 전역 모델의 가중치이다. K는 해당 라운드에 선택된 클라이언트의 수이며, K명의 업데이트 값들의 가중 평균한 값을 w^t에 합하여 새로운 전역 모델의 가중치로 갱신한다. w_k는 각 클라이언트 k가 학습한 지역 모델의 가중치이며, w^t - w_k를 통해 자신의 업데이트 값을 계산한다. 업데이트 값의 가중 평균은 참여자 k가 보유한 데이터 수에 비례하여 계산한다. n_k는 참여자 k의 보유 데이터 수를 말하며, n은 모든 참여자의 데이터 수를 합한 값이다. 이같이 수식 1을 통해 클라이언트의 데이터 수에 비례하여 전역 모델을 학습할 수 있다.

연합학습은 이러한 집계 알고리즘을 통해 개인 프라이버시를 보장하면서 모델을 학습할 수 있다. 그러나 최근 연구에서는 이러한 프라이버시 보장 메커니즘이 근본적으로 취약할 수 있음이 드러나고 있으며, MIA와 같은 프라이버시 침해 공격이 활발하게 연구되면서 프라이버시 측면에서의 위협이 증가하고 있다.

2.3 출처 추론 공격 (SIA, Source Inference Attack)

연합학습 환경에서 전역 모델을 대상으로 MIA를 수행할 경우, 모델 학습에 사용한 클라이언트의 데이터가 추론되어 개인 프라이버시가 침해될 수 있다. 나아가, 전역 모델에 대한 추론 결과를 기반으로 SIA를 수행하면 특정 데이터가 어떤 클라이언트의 소유인지 식별할 수 있어 보다 심각한 수준의 프라이버시 침해로 이어질 수 있다[7].

SIA는 전역 모델에 대한 member 데이터가 어떤 클라이언트의 소유인지를 추론하는 공격 기법이다. 예를 들어, ‘z’라는 데이터가 전역 모델의 member임을 알고 있다면, SIA는 전체 K명의 클라이언트 중에서 z를 소유한 클라이언트의 식별을 목표로 한다.

이러한 출처 추론은 특정한 공격 환경을 전제로 수행된다. 먼저, 전역 모델의 member 데이터만을 수집해야 하며, 클라이언트의 지역 모델에 대한 접근이 가능해야 한다. SIA는 공격 환경을 구축하기 위해 전역 모델에 대한 완벽한 추론 기술을 가정하며, 서버를 수동적 공격자로 설정하여 모든 클라이언트의 모델 업데이트 정보를 수집한다. 이를 통해 전역 모델에 대한 member 데이터만을 확보할 수 있으며, 수집한 업데이트 정보를 기반으로 모든 지역 모델을 복구하여 지역 모델에 대한 접근을 가능하게 한다.

이러한 환경을 기반으로 SIA는 다음과 같이 출처 추론을 수행한다. 먼저 공격자는 전역 모델에 대한 member 데이터 z를 각 클라이언트의 지역 모델에 입력하고, 이에 대한 손실 값(loss)을 계산한다. 이후 손실 값을 기반으로 z가 각 클라이언트의 데이터셋에 포함될 조건부 확률을 계산하고, 가장 높은 확률을 가진 클라이언트를 z의 소유자로 판단한다. 이를 통해 단순히 학습 데이터 여부를 식별하는 수준을 넘어, 특정 클라이언트의 소유 데이터까지 식별하는 심각한 프라이버시 침해가 발생할 수 있다.

III. 연합학습에서의 연쇄 추론 공격

본 장에서는 딥러닝 모델을 대상으로 연구된 두 가지의 대표적인 MIA 기법을 연합학습 환경에서 분석하고, 전역 모델에 대한 MIA를 기반으로 지역 모델에 대한 SIA를 수행하는 CIA 시나리오를 설계한다.

3.1 연합학습에서의 Prediction MIA

Prediction MIA는 Shokri 등에 의해 제안된 MIA 기법이며, 특정 데이터에 대한 대상 모델의 출력을 쿼리 결과로 활용하여 member 여부를 추론한다[1]. 대상 모델의 출력은 softmax 함수를 통해 출력한 각 class에 대한 확률값이며, 대부분의 딥러닝 모델은 학습에 사용된 데이터에 대해서 정답 class에 치중된 예측 확률 분포를 가지고, 학습에 사용하지 않은 데이터에 대해서는 비교적 균등한 예측 확률 분포를 가진다. 이러한 member 여부에 따른 예측 확률 분포의 차이는 멤버십 추론을 가능하게 하며, Prediction MIA는 이진 분류 구조의 공격 모델을 구축하여 확률 분포의 차이를 분석한다. member 유무에 따른 확률 분포의 정확한 분석을 위해 공격자는 그림자 모델을 활용하여 공격 모델의 학습 데이터를 구성한다. Fig.2는 그림자 모델을 활용한 공격 모델의 학습 과정을 나타내며, 해당 과정을 통해 데이터의 클래스(class) 개수만큼 공격 모델을 구축한다.

Fig. 2. Attack Model Training Process Using the Shadow Model in Predict MIA[1]

구체적으로 공격 모델의 구축 과정은 그림자 모델의 구축과 공격 모델의 학습 데이터 구성 그리고 공격 모델의 학습으로 진행된다. 먼저, 공격자는 K개의 그림자 모델을 자신의 데이터로 학습시킨다. 이후, 그림자 모델k의 학습에 사용한 데이터는 shadow training set k로 분류하고, 학습에 사용하지 않은 데이터는 shadow test data set k로 분류하여 그림자 모델에 대한 member 데이터와 non-member 데이터를 구분한다. 이후 공격자는 각 데이터에 대한 그림자 모델의 예측확률을 측정하고, 측정된 값을 데이터의 클래스에 따라 추가 분류한다. 이 과정을 통해 공격자는 n개의 클래스에 대한 공격 모델의 학습 데이터를 구성하며, n개의 공격 모델을 학습시킨다.

해당 MIA 기법은 중앙집중식 학습(centralized machine learning) 환경을 기반으로 설계되었으며, 연합학습 환경에서도 적용할 수 있다. 공격 수행 과정은 중앙집중식 학습 환경과 유사하며, 클라이언트 혹은 서버가 공격자가 되어 전역 모델을 대상으로 멤버십을 추론한다. CIA에서는 서버가 공격자가 되어 MIA를 수행하며, 그림자 모델을 구축하기 위해 서버가 자신만의 데이터를 보유하고 있음을 가정한다. 공격자는 자신의 데이터를 기반으로 그림자 모델을 구축하고, 그림2의 과정을 통해 각 클래스에 대한 공격 모델을 학습시킨 후 전역 모델에 대한 멤버십 추론을 수행한다.

3.2 연합학습에서의 Gradient MIA

Gradient MIA는 Nasr[8] 등에 의해 제안된 중앙집중식 학습 환경 기반의 MIA 기법으로, 특정 데이터에 대한 손실함수의 기울기(gradient)를 쿼리 결과로 사용하여 멤버십을 추론한다. 해당 기울기는 각 모델 파라미터에 대한 손실함수의 편미분을 통해 계산되며, member 유무에 따라 다른 패턴을 보인다. 예를 들어, member에 대한 기울기는 상대적으로 작거나 방향성이 일관되게 나타나며, non-member에 대해서는 기울기 크기가 크거나 방향이 불안정하게 측정되는 경향이 있다. Gradient MIA는 이러한 기울기 패턴의 차이를 기반으로 멤버십을 추론하며, 다음과 같은 과정을 수행한다.

먼저 주어진 데이터 x를 대상 모델에 입력하여 모든 파라미터에 대한 기울기를 측정하고, 모델의 각 층(layer)별로 기울기를 분류한다. 이후 각 층의 기울기 벡터에 대해 L2 노름(L2 norm)을 계산하여 단일 스칼라(scalar) 값으로 요약한다. 스칼라 값은 해당 층에 대한 기울기 크기로 간주하며, 이진 분류 구조의 공격 모델은 모든 층에 대한 기울기 크기를 입력으로 받아 멤버십 여부를 판단한다.

연합학습 환경에서의 Gradient MIA는 서버 혹은 클라이언트를 공격자로 가정하여 전역 모델에 대한 MIA를 수행할 수 있으며, 본 논문에서는 서버가 공격자인 경우를 가정하여 CIA에서의 MIA로 활용한다. 멤버십 추론 과정은 딥러닝 모델에서와 동일하며, 서버 공격자가 전역 모델의 학습 데이터 일부를 알고 있다는 강력한 가정을 기반으로 공격을 수행한다. 먼저, 공격자는 알고 있는 학습 데이터에 대한 전역 모델의 기울기를 측정하고 L2 노름을 활용하여 모델 각 층의 기울기 크기를 계산한다. 계산된 기울기 크기는 member에 대한 기울기 패턴에 해당하며, 이를 기반으로 공격 모델을 학습시킨 후 전역 모델에 대한 멤버십을 추론한다.

3.3 연쇄 추론 공격 (CIA, Chained Inference Attack)

SIA는 전역 모델에 대한 완벽한 추론이 진행되었다는 가정하에 설계된 지역 모델 대상의 멤버십 추론 기법이다. 하지만 최신 MIA의 최대 정밀도가 83%인 것을 통해 전역 모델에 대한 추론 가정은 비현실적인 가정이 된다. 따라서 연합학습에 대한 추론 공격의 실현 가능성을 판단하기 위해서는 전역 모델에 대한 MIA 결과를 기반으로 SIA를 수행할 필요가 있다. 이를 위해 다양한 MIA 기법을 기반으로 SIA를 수행할 수 있는 CIA 시나리오를 다음과 같이 제안한다.

CIA는 연합학습 환경에서 수동적인 공격자를 서버로 가정하며, 공격 단계에서 MIA와 SIA를 연쇄적으로 수행한다. Fig. 3은 CIA의 전체과정을 나타낸 개념도이며, MIA 수행과정에 해당하는 (A)와 (A)의 결과를 기반으로 SIA를 수행하는 (B)가 연쇄적으로 작동하는 것을 보여준다. 해당 과정에 대한 수식은 Fig.4의 Server process 단계와 같이 나타낼 수 있다.

Fig. 3. Overview of Chained Inference Attack in FL. In each round, the selected clients transmit the data necessary for updates to the parameter server. A (honest-but-curious) server aggregates this information to update the global model and then sequentially performs membership inference and source inference attacks on the global model.

Fig. 4. Chained Inference Attack Algorithm

연합학습은 ClientUpdate와 Server process로 구성되며, 해당 환경에서 수행되는 CIA 알고리즘은 Fig. 4와 같다. 공격자는 Server process 단계에서 우호적인 서버로 위장하여 전역 모델에 대한 CIA를 수행한다. 초기에는 우호적인 서버로서 각 클라이언트로부터 업데이트 정보를 수집하며, 수집한 업데이트 정보를 기반으로 전역 모델을 갱신한다. 이후 전역 모델은 클라이언트에게 재배포하며, 수집한 업데이트 정보를 기반으로 다음과 같이 추론 공격을 수행한다.

먼저, 주어진 데이터 z에 대한 MIA를 수행하기 위해 전역 모델(w^t+1)에 쿼리하며, 이에 대한 결과인 q를 수집한다. 이때, q는 MIA 기법에 따라 다른 값을 측정하며, 수집된 q를 기반으로 z가 member인지 판단한다. member로 분류된 데이터에 대해서는 SIA를 추가 수행하며, Server process 단계에서 수집한 ClientUpdate 정보를 기반으로 모든 로컬 모델에 대한 z의 손실 값을 계산한다. 최종적으로 가장 낮은 손실 값을 출력한 로컬 모델의 출처로 간주한다.

이러한 연계 과정에서 볼 수 있듯이, SIA는 MIA의 결과를 무조건 신뢰해야 한다는 결점이 존재한다. 예를 들어, MIA에서 non-member를 잘못 판단하게 되면, SIA에서는 이를 member로 오인식하여 소유 클라이언트를 추론하기 위해 분석한다. 그러나, 실제로 해당 데이터를 보유한 클라이언트가 존재하지 않으므로 잘못된 결과를 도출하게 된다. 이처럼 멤버십 추론으로부터 전달받은 모든 데이터를 전역 모델의 member로 가정하는 것은 SIA의 정확도에 영향을 주게 되며, 결과적으로 CIA의 성능 하락을 초래할 수 있다. 이러한 관점에서, MIA의 오차가 SIA에 미치는 영향을 실험적으로 분석할 필요가 있으며, 이를 기반으로 CIA의 실현 가능성을 실험적으로 검증해야 한다. 이에 4장에서 여러 MIA에 대응하는 CIA의 성능을 실험 및 분석하여 CIA의 실현 가능성을 판단한다.

IV. 실험 결과 및 분석

4.1 실험 환경

본 연구에서는 이미지 분류를 수행하는 연합학습 환경에서의 MIA와 SIA를 구현하여 CIA의 실현 가능성을 분석한다. 연합학습은 CNN(Convolutional Neural Network) 기반의 전역 모델을 통해 수행한다. 해당 CNN 모델은 각각 32 채널과 64 채널로 구성된 두 개의 5*5 합성곱 계층 뒤에 ReLU 함수와 2*2 맥스풀링이 적용되어 있으며, 512와 128 뉴런을 가지는 완전연결층 두개와 softmax 출력층으로 구성한다.

데이터셋은 CIFAR-10을 활용하였으며, 전체 50,000개의 훈련 데이터 중 10,000개는 전역 모델의 학습에 사용하고 나머지 40,000개는 서버가 별도로 보유하는 데이터로 간주한다. 전역 모델의 학습 데이터는 Dirichlet 분포 기반의 ⍺값을 조절하여 클라이언트⍺ = 1과 ⍺ = 100울 사용하여 각각 중간 수준과 균등한 수준의 데이터 분포를 구성한다.

또한, 연합학습을 수행하는 전체 클라이언트 수는 10명으로 구성하며, 매 라운드마다 모든 클라이언트를 선택 및 참여시킨다. 선택된 클라이언트는 해당 라운드에서 5 epoch 동안 로컬 모델을 학습하고 파라미터 서버로 업데이트한다. 연합학습은 총 20라운드 동안 반복 수행하며, 연합학습을 완료한 이후에 서버는 공격자가 되어 전역 모델에 대한 CIA를 수행한다.

본 논문에서 정립한 CIA 과정 중 선행되는 MIA 기법은 Predict MIA와 Gradient MIA를 적용한다. Predict MIA는 MLP(Multi-Layer Perceptron) 기반의 공격 모델 10개와 CNN 기반의 그림자 모델 100개를 구축한다. 이때 공격자는 자신이 보유한 40,000개의 데이터를 활용하여 100개의 그림자 모델을 학습시킨다.

Gradient MIA는 로지스틱 회귀(logistic regression) 기반의 이진 분류기를 구축하여 멤버십을 판별하며, 전체 10,000개의 클라이언트 데이터 중 5,000개를 member 데이터로 알고 있다고 가정하여 공격 모델을 학습한다.

MIA의 결과를 기반으로 수행하는 SIA는 기존의 SIA 기법을 그대로 활용하며, 20번째 라운드에서 클라이언트에게 전달받은 업데이트 정보를 이용하여 데이터의 출처를 식별한다.

4.2 성능 지표 및 분석 방법

본 논문에서는 연합학습 환경에서 수행하는 CIA의 실제 적용 가능성을 분석하기 위해 MIA와 CIA의 공격 성능을 평가한다. 성능 측정을 위한 평가 데이터는 전역 모델의 member 데이터 5,000개와 non-member 데이터 5,000개로 구성한다. member에 해당하는 평가 데이터는 전체 클라이언트의 데이터에서 무작위로 선택하며, non-member에 해당하는 평가 데이터는 60,000개의 CIFAR-10 데이터 중 10,000개의 테스트 데이터에서 무작위로 선택한다. 10,000개의 평가 데이터에 대한 MIA와 CIA의 성능은 다음과 같이 측정한다.

MIA의 성능은 공격 모델의 정밀도(precision)로 나타내며, 10,000개의 평가 데이터에 대해서 member로 분류한 데이터 중 실제로 member인 데이터의 비율로 정밀도를 측정한다. 또한, 특정 실험에서는 MIA의 FPR(False Positive Rate) 변화도에 따른 정밀도를 측정한다. FPR은 공격 모델이 실제로는 non-member인 데이터를 member로 잘못 추론한 비율을 나타내며, MIA 기법에 따라 측정방식을 다르게 한다. Grad MIA는 하나의 공격 모델이 임계값(threshold)을 기준으로 member 여부를 추론하기 때문에 임계값 조정을 통해 FPR을 조절할 수 있다. 반면 Predict MIA는 10개의 공격 모델로 구성되어 임계값 조정만으로는 원활한 FPR 조절이 어렵다. 따라서 Predict MIA의 FPR에 따른 정밀도는 FPR이 0인 경우(non-member가 포함되지 않은 평가 데이터 사용)와 FPR이 존재하는 경우(기존 평가 데이터 사용)의 두 가지 조건으로 평가 데이터를 나누어 측정한다.

CIA의 성능은 MIA 결과를 기반으로 수행한 SIA의 정확도로 나타내며, MIA로 판별한 member 데이터 중에서 실제 소유 클라이언트를 올바르게 식별한 비율로 SIA의 정확도를 측정한다.

4.3 실험 결과

Table 1은 전체 클라이언트 수(K)가 10명과 100명인 환경에서의 i.i.d 수준에 따른 전역 모델에 대한 MIA 정밀도와 CIA 정확도를 나타낸 것이다. K = 10인 환경에서는 전체적으로 MIA는 약 55% 이상의 정밀도를 유지하며, 이에 대한 CIA가 약 25% 수준의 낮은 정확도를 보이며 전반적인 성능 한계를 드러낸다. 특히, ⍺ = 100의 균등한 데이터 분포환경에서는 MIA가 각각 56.65%와 63.31%의 최대 정밀도를 기록하지만, 이에 대한 CIA는 각각 24.02%와 25.17%의 가장 낮은 정확도를 보여준다. 특히, K = 100인 환경에서는 MIA가 약 10% 정도 하락하였지만, 이에 대응하는 CIA는 대부분 0%에 근접한 결과를 보여준다. 이러한 결과는 현실적인 수준의 MIA를 기반으로 한 CIA의 실현 가능성이 제한적임을 시사하며, 동시에 MIA와 SIA 간에 역상관 관계가 존재함을 보여준다.

Table 1. Comparison of MIA precision and CIA accuracy under various ⍺ values in environments with K = 10 and K = 100 clients. For K = 10, CIA consistently shows low accuracy. In particular, at ⍺ = 100, MIA precision reaches its maximum of 56.65% and 63.31% (highlighted in bold black), while CIA records its minimum of 24.02% and 25.17% (highlighted in bold red). For K = 100, MIA precision decreases by about 10%, and CIA remains very low, ranging from 0.00% to 5.26%(highlighted in red).

실제로 Table 1에서의 MIA 정밀도 변화와 Fig. 5에서의 CIA 성능 변화를 통해 ⍺에 대한 MIA와 SIA의 관계를 구체적으로 확인할 수 있다. Fig. 5의 빨간색 실선 그래프는 MIA의 정밀도가 100%라고 가정했을 때의 CIA 성능을 나타내며, 이는 이상적인 SIA의 성능을 의미한다. 해당 그래프에서는 ⍺ 값이 작을수록 SIA의 정확도가 높아지는 경향을 보이며, 이는 non-i.i.d 환경에서 SIA가 더 효과적으로 작용함을 의미한다. 반면, Table 1에서 확인할 수 있듯이 MIA는 ⍺값이 커질수록 정밀도가 높아지는 높아지며, 이는 SIA와 반대되는 특성이다. 이러한 상반된 특성은 MIA와 SIA를 연쇄적으로 수행하는 CIA 환경에서 두 공격 간의 조화를 고려한 전략적 설계가 필요함을 시사한다.

Fig. 5. Accuracy of Chained Inference Attack using Predict MIA at with and without non-member data in the Dataset

Table 1에 대한 분석을 통해서는 MIA와 SIA 간의 간접적인 영향 관계를 확인할 수 있었다. 그러나 CIA 환경에서는 두 공격 간의 직접적인 영향 관계도 존재하며, 이는 MIA의 FPR에 따른 CIA 성능 변화를 통해 명확히 드러난다.

Fig. 5는 Predict MIA를 기반으로 수행한 CIA의 정확도 변화를 나타낸다. Fig. 5의 파란색 점선 그래프는 FPR을 고려한 현실적인 SIA 성능을 나타내며, 이상적인 SIA 성능을 나타내는 빨간색 그래프 보다 약 20% 낮은 정확도를 보인다. 이는 MIA의 잘못된 추론으로 인해 non-member가 SIA의 과정에 포함된 결과이며, MIA의 FPR이 SIA의 판단에 영향을 주어 CIA의 성능 저하를 초래한 것이다.

이와 유사한 유형으로 Fig. 6을 분석할 수 있다. Fig. 6은 Grad MIA의 FPR에 따른 MIA의 정밀도와 CIA의 정확도를 데이터 분포 수준별로 나타낸 그래프이다. 파란색 점선 그래프가 MIA 정확도이며 빨간색 실선 그래프가 CIA의 성능을 나타내고 있다. 두 그래프 모두 FPR이 0에 근접할수록 높은 성능을 보이며, Fig. 5의 결과와 유사함을 알 수 있다. 즉, MIA의 잘못된 추론으로 인한 SIA 과정으로의 non-member 유입이 감소할수록 SIA의 성능이 향상되며, 결과적으로 CIA의 성능 향상으로 이어진다.

Fig. 6. Precision of Gradient MIA and Accuracy of Chained Inference Attack with various FPR levels

한편, Fig. 6에서는 특정 FPR 지점 이후부터 두 그래프의 성능이 일정 수준으로 유지되는 특이한 현상이 관측되기도 한다. FPR이 증가함에도 MIA와 CIA의 성능이 유지되는 것은 앞에서의 분석 결과에 상반될 수 있는데, 이는 MIA의 FPR과 TPR(True Positive Rate)의 증가 비율이 유사하기 때문에 나타나는 현상이다. Fig. 5처럼 TPR의 증가없이 FPR만 증가하는 상황에서는 SIA 및 CIA의 성능 하락으로 이어지게 된다. 이는 CIA의 실현 가능성을 높이기 위해서는 높은 TPR과 낮은 FPR을 동시에 만족하는 균형 잡힌 MIA 기법의 분석이 필요함을 시사한다.

V. 고찰

본 논문에서 정립하고 구성한 연합학습 환경에서의 CIA 기법은 기존의 MIA 기법보다 상세한 프라이버시 정보를 유출할 수 있는 매우 위협적인 공격이다. 그러나, 효과적인 CIA를 수행하기 위해서는 기본적으로 MIA가 높은 정밀도로 수행되어야 하며, 이를 4.3절의 실험 결과로 확인하였다. 즉, Hu 등[7]이 주장한 바와 같은 높은 정밀도의 추론 성능을 기대하려면 매우 극단적인 가정을 필요로 하게 된다. 실제로 기존 MIA 연구는 전체 참여자를 2~10명으로 설정하거나[10,11], 단일 클라이언트만을 대상으로 공격을 수행하는[4] 등의 다소 비현실적인 조건에서 실험을 수행하여 MIA의 성능을 입증하였다. 특히, 참여 클라이언트의 수가 증가할수록 MIA의 성능이 뚜렷하게 감소한다는 연구 결과도 존재한다[11].

본 연구에는 다른 연구에서 진행된 환경보다 완화된 조건을 기준으로 확인하기 위해 클라이언트의 수가 10명인 환경을 구성하여 실험을 수행하였다. 그 결과, CIA의 최종 공격 성능은 기존의 공격 방식에 비해 낮게 나타났다. 추가적으로, 참여자 클라이언트를 100명으로 늘린 환경에서는 CIA 성능이 0%에 근접하게 측정되었다. 이러한 결과를 기반으로, 실제 연합학습 환경에서는 아직 특정 클라이언트의 프라이버시를 실질적으로 위협할만한 유효한 추론 성능을 기대하기는 어려운 것으로 판단된다.

따라서 실제 연합학습 환경에서의 프라이버시 침해 공격에 대한 실현 가능성은 매우 낮다고 판단되며, 최신 MIA 기법[4,5,6,9,12]에 대한 분석을 기반으로 추론 공격 기법의 고도화 수행에 관한 추가적인 연구가 필요할 것으로 판단된다. 특히, 적대적 예제를 활용한 멤버십 추론 기법[5,9]과 데이터 포이즈닝 공격을 활용한 멤버십 추론 기법[6] 등 연합학습 환경에서 연구되는 최신 멤버십 추론 기술에 대한 상세 분석을 통해 현실적인 연합학습 시나리오로 확장하여야 한다.

VI. 결론

본 연구에서는 연합학습 환경에서의 최신 추론 공격을 CIA(Chained Inference Attack)라는 공격 시나리오로 정립 및 제안하고, 이에 대한 실현 가능성과 한계를 실험적으로 분석하였다. 대표적인 MIA 기법을 적용하여 CIA의 성능을 실험해 본 결과, 일정 수준 이상의 정밀도를 유지하는 MIA 기법에 대응되는 성능은 상대적으로 낮은 수준을 보였으며, 이를 통해 현실적인 상황에서 CIA의 효과가 다소 제한적일 수 있음을 시사한다. 특히, 데이터 분포의 수준 정도(i.i.d 또는 non-i.i.d)에 따른 MIA와 SIA의 상반되는 성능 변화를 통해 CIA 구조 자체에 대한 한계점이 뚜렷하다는 것을 발견하였으며, 이는 향후 고도화된 추론 공격 시나리오가 구성되어야만 실질적인 연합 학습에 위협이 될 수 있음을 시사한다. 또한, MIA에서 발생하는 FPR이 SIA의 오판단을 유도하여 CIA 전체의 성능 저하를 유발한다는 사실을 실험적으로 규명하였고, 이는 현실적인 MIA 환경에서 CIA의 실현 가능성을 제한하는 핵심 요인으로 작용한다.

따라서 보다 고도화된 추론 공격을 수행하기 위해서는 현존하는 MIA 기법에 대한 상세한 분석이 필수적이며, CIFAR-10 데이터 이외의 다양한 데이터와 환경을 기반으로 연합학습 환경에 대한 최신 MIA 기술 및 CIA의 체계적인 연구가 필요하다. 또한, 본 논문의 결론에서 보이듯, 현재의 MIA 기반 공격은 실제 연합학습에 큰 영향을 미치지 못하고 있지만, 구조적 변화를 통해 고도화된 공격 전략이 개발될 가능성이 존재한다. 이에 따라 향후 고도화되는 위협 기술에 대응하는 실질적인 방어 전략 수립도 병행되어야 할 것이다.

특히, cross-silo 연합학습 환경[13]은 소수의 신뢰 가능한 기관이 대규모 데이터를 기반으로 학습을 수행하기 때문에 개별 클라이언트 단위의 프라이버시 유출 가능성이 상대적으로 높을 수 있다. 이에 따라 해당 환경에 특화된 MIA 및 CIA에 관한 추가 연구와 함께 대응방법에 관한 연구가 필요하다.