DOI QR코드

DOI QR Code

An Empirical Study on the Robust Adversarial Patches(RAP) for Performance Degradation of Object Detection AI Models

객체탐지 AI모델 성능저하를 위한 강건한 적대적 패치(RAP) 실증적 연구

  • Received : 2025.09.08
  • Accepted : 2025.10.01
  • Published : 2025.10.31

Abstract

This paper proposes an integrated framework for generating robust adversarial patches that can be practically applied in real-world scenarios to effectively evade object detection AI models. Unlike previous adversarial patch studies, the proposed framework introduces innovative shape-based enhancements by simultaneously optimizing the patch's size, position, and color. The framework also applies a joint loss function that balances visual naturalness, suppression of detection, and model transferability. Experimental results demonstrate that the proposed RAP model outperforms existing approaches, achieving high attack success rates on two types of object detection models while maintaining superior visual concealment. These findings suggest that the proposed patches can be extended for broader applications in current and future battlefield environments.

본 논문은 객체탐지 AI모델에 대해 실전에서 사용할 수 있고 효과적으로 회피할 수 있도록, 적대적 패치를 변형해서 강건한 적대적 패치를 생성하고 이를 검증할 수 있는 통합 프레임워크를 제안한다. 기존의 적대적 패치 연구에서는 시도하지 않았던 혁신적인 형태 개선으로 패치의 크기, 위치, 색상을 동시에 최적화하는 통합 프레임워크를 구현 하였다. 제안하는 패치는 시각적 자연스러움을 동반하며 탐지 억제, 모델 간 전이성을 균형있게 고려하고 객체탐지 회피를 위한 최적 인식률 저하 성능지표를 적용해서 기존모델보다 제안된 RAP 모델의 성능이 우수함을 검증했다. 실험 결과, 2가지 유형의 객체탐지 모델에 대해 높은 공격 성공률을 달성하면서도 우수한 시각적 은폐성을 유지함을 확인할 수 있어 현대전과 미래전에서 활용 할 수 있는 패치를 확대 적용할 수 있다.

Keywords

I. 서론

객체탐지 AI 모델은 이미지 분류와 객체 인식을 수행하는 인공신경망 기반 기술로, 최근 상업시설 보안, 군사 감시, 경계 작전 등 다양한 분야에서 활용되고 있다[1]. 그러나 이와 동시에 모델의 강건성을 저하 시킬 수 있는 ‘적대적 공격(Adversarial Attack)’에 대한 연구도 활발하다. 특히 적대적 패치(Adversarial Patch)는 단순한 부착만으로도 AI 모델을 무력화할 수 있어 특히 주목받지만, 기존 연구는 형태, 색상, 위치, 크기 등 개별 요소만 다루어 종합적 접근이 부족하다.

특히 현대 전장에서는 자폭 드론, 감시 정찰 등 AI 활용이 확대되면서 적대적 패치는 저비용·고효율 위장 수단으로 전투원의 생존성을 높일 수 있다[2]. 또한 전투 로봇이나 군복과 연계된 실용적 연구는 병력 감축 상황에서 전투력 보존과 생존율 향상에 기여할 수 있다. 동시에 아군 객체탐지 기술의 고도화에 따라 적군도 유사 기술을 개발할 가능성이 크므로, 이에 대응하는 방어 모델 개발 또한 필수적이다[3].

Fig. 1.에서와 같이 적대적 패치는 이미 자율주행차를 속이는 교통 표지판[4], 안면 인식을 회피하는 안경형태[5], 마스크형태[6], CCTV 무력화 스웨터 등에서 활용 사례가 나타나고 있다. 이는 사생활 보호와 같은 긍정적 측면도 있으나, 동시에 범죄 악용 가능성이라는 심각한 문제점을 내포한다. 따라서 적대적 패치 기술은 AI 보안 시스템의 보완과 발전을 위한 중요한 연구 주제로 부상하고 있으며, 공격과 방어를 동시에 고려한 균형 잡힌 기술 개발이 필요하므로 다양한 요소를 고려해야 한다.

JBBHCB_2025_v35n5_1143_2_f0001.png 이미지

Fig. 1. Adversarial Patch

패치를 생성 시 대부분의 연구는 정사각형 형태, 크기 변화에만 집중해 위치 제약과 가려짐에 취약했다. 일부연구[7, 8]는 동물 얼굴 형태 등으로 바꾸거나 분산형 형태[9]를 시도했으나, 여전히 객체 중심에 위치하거나 전체를 덮는 방식으로 실용성이 부족했다. 따라서 군사적 실용성과 위장 효과에 한계를 보여 비정형화된 형태로 상반신 전반에 분산배치 되고 노출 가능한 설계가 필요하다.

패치는 크기가 클수록 인식률을 저하 시키나 육안 탐지 위험이 커지고, 작으면 효과가 감소하므로, 면적 대비 효과를 극대화하는 자연스러운 설계가 필요하다. 또한 색상은 AI 인식에는 영향이 적지만, 육안식별에는 영향이 커서 주변 환경과 유사한 색상을 선택해야한다.

특히 기존 패치들은 특정 모델에 국한되어 전이성과 통합적인 검증이 부족했기에 전이성을 고려해야 패치의 효과를 볼 수 있으므로 동시 전이성을 고려해야 한다.

따라서 본 연구는 기존 스티커 형태의 패치 부착을 통한 인식률 저하 논문과의 차별화된 형태라는 새로운 차원을 바탕으로 패치를 재구성해 군복에 실용적이고 위장효과가 높은 적대적 패치 및 프레임워크를 개발하고자 한다. 형태, 위치, 크기, 색상 요소를 통합적으로 고려한 손실함수로 다양한 모델에서 검증 가능한 패치를 통해 적대적 방어모델에 대응 가능한 실증적 연구를 목표 하였다.

II. 적대적패치 관련연구 시사점

2.1 적대적 패치의 형태 연구

적대적 패치 연구는 Fig. 2.에서와 같이 적대적 패치[10]에서 제안한 패치를 기반으로 시작되었다. 이후 대부분의 연구들이 사각형 패치를 기본으로 하여 크기 변화[11]에 집중 했는데 형태 변형을 시도한 연구로는 다른 형태 패치[7], 동물 얼굴형태 등의 자연모방 패치[8], 십자형태로 변경했던 형태[12] 등이 있다. 그러나 이들 연구는 여전히 객체 중심부를 기준으로 단일 패치를 위치시키는 방식을 채택했다. 상업적으로는 Adversarial Fashion의 Capeable Hoody(2019)와 같이 셔츠 전체를 패치화한 제품이 등장했으나, 군복의 경우 도입시 군복전량 교체가 필요하고 비용이 높다는 한계를 보인다. 또한 다중 분산 배치의 형태[9]연구도 시도했으나, 실전에서 적용하기에는 제한되는 형태로 제작되었다.

JBBHCB_2025_v35n5_1143_2_f0002.png 이미지

Fig. 2. Traditional Adversarial Patch Type

2.2 적대적 패치의 위치 연구

초기 연구들은 패치를 노이즈[13]로 이미지 전체 위치에 대해 적용하였고 주로 디지털 공격성능에 대해 집중하였다. 이후 패치의 현실세계 확장을 위하여 안면 인식 회피를 위해 얼굴 중심에 패치[14]를 배했고, 사람 탐지 회피를 위해 몸통 중앙에 패치[15]를 위치시켰다. 중앙위치를 변화시키기 위해 학습 기반 위치 탐색으로 독립적이고 전이 가능한 적대적 패치[11]를 연구하였고, 패치를 전체에 분산 배치하는 연구[16]로 효과성을 입증했으나 실제 환경에서의 행동 제약과 실용성은 고려하지 않았다. 또한 이미지 내에서 다양한 위치로 변화 시키는 연구[17]를 시도해 보았고 다양한 위치로 해석되게 하는 패치[18]도 있었다. 이렇게 위치 최적화를 시도한 연구들은 위치 조정을 하더라도 단일 패치의 최적 위치 찾기에 집중했으며, 행동에 따른 가려짐 문제는 고려하지 않았다.

2.3 적대적 패치의 크기 연구

초기 연구[10]에서는 전체 이미지의 10~20% 크기를 제안했다. 이후 연구들은 크기와 성능 간의 관계를 분석했는데 2% 크기[19]로도 적대적 노이즈를 집중시켜, 이미지 내 주요 객체를 피하여 배치하여 효과적인 공격이 가능함을 보였고, 현실인 도로 표지판에서도 10~20%비율 크기로[20] 효과를 검증했다. 사람 객체 대상 연구에서는 프린팅한 종이판을 20~25% 비율[15]로 비교적 작게 생성 하였으며, T-Shirt에 직접 프린팅 하는 비율은 35~40%[21]로 상대적으로 크게 제안하였다. 그러나 이러한 비율들은 육안 탐지 위험성을 충분히 고려하지 않았으며, 군사 환경에서의 은밀성 요구사항과는 부합하지 않았다. 결론적으로 패치의 크기가 커질수록 공격 성공률은 커지나[22] 여전히 정형화된 형태에 대해 연구를 하여 크기에 대해 적절성을 확인할 연구는 없다.

2.4 적대적 패치의 색상 연구

초기 적대적 패치 연구들은 주로 노이즈와 같은 무작위 색상이나 붉은 계열을 사용했다[10, 11, 15]. 이는 AI 모델 공격에는 효과적이나 육안 탐지가 용이하다는 문제점이 있었다. 따라서 위장성을 고려한 연구들로 가시성을 줄이기 위해 노이즈를 제거하면서 핵심적인 작은 픽셀집합으로 만든 패치[23], 패치의 투명도를 이용한 패치[24], 밝기 제한 기법을 적용한 패치[25]와 자연스럽게 위장되면서 효과적인패치[26]가 있다. 그러나 이들은 특정 환경에 한정되어 범용성이 떨어지고 군사 목적 위장과는 거리가 있었다. 따라서 군사 목적의 위장을 고려한 연구로는 전투기 등의 대형 군사장비 위장 패치[27, 28]가 있으나 색상이 군사장비와는 많이 다르고, 전차를 대상으로 한국군 색상과 유사하게 연구한 패치가 있었으나 전차장비 대상[29]으로 설계되어 개인 군복에는 적용하기 어려웠다. 따라서 여전히 객체별·환경별 색상 변경이 필요하다는 한계를 보인다.

2.5 AI모델 전이성 연구

초기 연구들에서는 블랙박스 상황에서 다른 모델에서도 여전히 효과적으로 오분류를 유도하는 결과들을 연구했다[30, 31]. 이후에는 높은 전이성을 고려한 연구들이 등장했는데, 기존의 공격(BIM, I-FGSM 등)에서 영감을 얻어, 모멘텀 기법을 통합함으로써 공격의 전이성 및 공격 성공률 향상을 연구[32]했고, 광학 흐름(optical flow)기반[33] 전이성 향상 방법을 제안했다. Transformer 등장 이후, Transformer 패치[14]에서 CNN과 전이성을 연구했고 Transformer에서 적대적 패치가 더 효과적인 결과도 보였으나[34] 결과는 제한적[35, 36]으로 실제 적군 모델의 블랙박스 상황에 대한 불확실성을 완전히 해결하지는 못했다.

III. Robust Adversarial Patch(RAP)

3.1 Robust Adversarial Patch(RAP) 정의

RAP(Robust Adversarial Patch)는 실전에서 활용할 수 있는 형태의 강건한 적대적 패치로, 형태를 혁신적으로 변형하여 크기, 위치, 주변과 육안으로 탐지가 어려운 색상이 변경이 가능한 패치이다. RAP는 RAP-F(RAP-Framework)를 통하여 쉽게 변형가능하며 다중모델에 대해 전이성 및 효과를 한번에 검증가능하다.

RAP를 위한 손실함수 Ltotal은 α·Lshape, β·Lvisual, γ·Lsize, δ·Lposition의 4개 손실함수들로 구분되며 식은 (1), (2)와 같이 표현된다. 이미지 크기에 대한 Height(H), Weight(W), 패치를 P, 마스크를 M, 목표를 target, 좌표(i,j), 채널 c를 활용한 각각의 손실함수들은 패치의 강건성을 향상시키는 함수로 선형결합으로 Ltotal이 표현된다. 각 요소의 가중치(α, β, γ, δ)는 상황에 맞게 조정하여 최적의 균형점을 식별한다.

Ltotal = αLshape + βLvisual + γLsize + δLposition       (1)

*α, β, γ, δ ≥ 0

\(\begin{align}\begin{array}{l}L_{\text {total }}=\alpha \frac{1}{H W} \sum_{i, j}\left(P_{i j}-M_{i j}^{\text {target }}\right)^{2} \\ \quad+\beta \frac{1}{H W} \sum_{i, j} \sum_{c \in R, G, B} \omega_{c}\left(P_{i j}^{\alpha}\left(P_{i j}^{c}-B_{i j}^{c}\right)\right)^{2} \\ \quad+\gamma\left(A_{\text {patch }}-A_{\text {target }}\right)^{2}+\delta\left\|C_{\text {patch }}-C_{\text {target }}\right\|_{2}^{2}\end{array}\end{align}\)       (2)

Lshape은 적대적 패치의 형태를 위한 선과 두께, 차원의 거리 및 패치의 배경 선택에 자연스러움을 조절하는 함수로 H×W는 이미지 크기, Pij는 패치 픽셀값, Mij는 목표 마스크로 수식 (3)과 같이 표현된다.

\(\begin{align}L_{\text {shape }}=\frac{1}{H W} \sum_{i=1}^{H} \sum_{j=1}^{W}\left(P_{i j}-M_{i j}^{\text {target }}\right)^{2}\end{align}\)       (3)

Lvisual은 색상이 자연스럽게 조화되도록 이미지 픽셀값과 패치 픽셀의 c채널 값에 대해 R, G, B 채널의 가중치를 반영하는 함수로 수식 (4)와 같이 표현된다.

\(\begin{align}L_{\text {visual }}=\beta \frac{1}{H W} \sum_{i=1}^{H} \sum_{j=1}^{W} \sum_{c \in R, G, B} \omega_{c}\left(P_{i j}^{\alpha}\left(P_{i j}^{c}-B_{i j}^{c}\right)\right)^{2}\end{align}\)       (4)

Lsize는 이미지 내 객체에서 패치 크기 및 면적을 적절히 조절하여 공격성능을 향상하는 함수로 현재 패치 면적 Apatch를 수식 (5)와 같이 표현된다.

Lsize = (Apatch - Atarget)2       (5)

Lposition은 객체 내 특정 위치에 패치를 배치하는 것으로 중심좌표를 적절히 조절하는 함수로 패치 중심 좌표 Cpatch를 수식 (6)과 같이 표현된다.

Lposition = ||Cpatch - Ctarget||22       (6)

3.1.1 RAP(Robust Adversarial Patch) 특징

RAP(Robust Adversarial Patch)는 4가지의 특징을 가진다. 첫째 다양한 패치의 형태 및 스케일을 제공하며 다양한 모델에 대해 동시에 적용 가능하므로 다양성(diversity)을 가진다. 둘째 형태의 변형으로 크기, 위치를 더욱 효율적으로 활용하여 객체에 대한 패치의 실전적 효율성을 높여주어 최적화(optimization)를 가진다. 셋째, 패치의 투명도 조절이 가능하여 육안으로 탐지가 어려워 위장효과가 강한 투명성(transparency)을 가진다. 마지막으로 움직임에 의해 중심이 가려질 경우 패치의 효과가 차단 되는데 실전에서 착용하기 쉽고 중심이 가려지더라도 공격 효과가 강건할 수 있는 이동성(mobility)을 가진다.

3.1.2 RAP Requirements

Fig. 3.에서와 같이 RAP를 생성하고 검증하는 요구사항은 시스템 요구사항과 사용자 요구사항으로 구성되어 있다. 먼저 시스템 요구사항에서는 데이터 수집 및 전처리를 실시하고 AI모델(탐지·적대적 패치)을 학습 후 적대적 패치 검증을 실시한다. 이러한 프로세스에 대해 사용자는 세부적인 행동절차를 시행하며 아래 그림과 같은 프로세스로 진행하여 요구사항을 충족한다.

JBBHCB_2025_v35n5_1143_4_f0001.png 이미지

Fig. 3. RAP Requirements

3.1.3 RAP-F(RAP-Framework)

RAP 요구사항들이 충족되면 RAP의 특징을 가질 수 있는 패치를 생성 후 합성 및 시각화를 통해 쉽게 검증한다. RAP는 Fig. 4.에서와 같은 Framework으로 동작되며 효과적인 RAP를 생성하고 다중 모델에 대해 동시 검증한다.

JBBHCB_2025_v35n5_1143_5_f0001.png 이미지

Fig. 4. RAP-Framework

3.2 RAP 활용 데이터 수집방법

데이터 수집방법은 Table. 1.에서와 같이 군인과 민간인, 기타 객체에 대해 웹 크롤링(google, bing, flickr, yahoo, unsplash)과 Roboflow, 국방부, 육군 홈페이지 및 네이버 이미지 등에서 수집하였으며, 자체 실물객체 촬영까지 포함 하여 수집하였다. 수집결과 10431개의 데이터를 수집하였으나 군인이라는 특수성으로 데이터 수집에 제한사항이 많았으며 외국군의 경우는 수집이 되었으나 한국군의 경우는 수집에 제한사항이 너무 많았고 노이즈가 많으며 중복되는 사진들이 많아 정제 결과 4097개로 정제 하였다. 수집된 데이터의 카테고리는 Fig. 5.에서와 같이 총 8개로 한국군, 민간인, 미군, 북한군, 중국군, 인도군, 이집트군, 기타이며 한국군의 경우는 자체촬영 객체를 포함하였다. 특히 한국군의 경우는 탐지율 향상을 위하여 증강(augmentation)과 같은 효과가 되도록 자체촬영 시 각도와 장소를 달리하여 수집하였다. 또한 학습효과와 향후 패치적용을 위해 가급적 단독 또는 5인 이하의 단독 객체위주의 학습을 하도록 정제하였으며, 해상도를 640x640으로 정제하였으며 모델에 따라 resize 및 rescale을 실시하였다. 데이터는 각각 학습데이터 70%, 검증데이터 10%, 테스트데이터 20%로 구성하였으며 중복되지 않도록 하여 각각의 모델에 동일한 데이터셋을 적용하였다.

Table 1. Data Summary

JBBHCB_2025_v35n5_1143_5_t0001.png 이미지

JBBHCB_2025_v35n5_1143_5_f0002.png 이미지

Fig. 5. Data Category

3.3 RAP 활용을 위한 객체탐지 AI모델

AI모델을 학습 시는 VSCode를 사용하였다. 환경은 3080Ti의 로컬PC와 Runpod 클라우드에서 학습하였으며 많이 사용하는 AI모델의 형태와 모델의 전이성을 위하여 CNN과 Transformer를 선정하였다. CNN에서는 Yolov8s, Faster R-CNN-ResNet50을 사용하였고, Transformer에서는 DETR-ResNet50을 선정하였다. 해당 모델들은 연구용으로도 많이 사용하는 모델들이며 실제 객체탐지 장비에 가장 많이 활용하므로 해당 모델들을 대상으로 신뢰성을 검증하기 위하여 선정하였다. 학습 방법은 200Epoch 이상을 수행하였으며 20Epoch 이상 변화가 없거나 학습율이 저하되면 멈추도록 하며 하이퍼파라미터를 조정하여 최적의 탐지율을 찾기 위해 학습하였다.

IV. RAP 검증(RAP Assessment)

4.1 검증방법 시나리오 환경

적대적 패치의 개발을 위한 연구 순서는 다음과 같다. 우선 객체탐지 AI모델을 생성하는데 객체탐지는 나라별 군인, 군인과 민간인, 기타를 구분하도록 모델을 설계한다. 이에 따라 원하는 8가지 객체에 대한 클래스를 선정한 이후, 데이터를 수집·정제·가공 한 이후 AI모델을 학습 시킨다. 학습된 각각의 AI모델들에 대해 테스트를 하여 mAP(Mean Average Precision) 및 Confidence, ASR(Attack Success Rate)을 확인하여 AI모델의 탐지율을 입증한다. mAP는 전체 클래스(Class) 개수 N, 클래스 i에 대한 평균 정밀도 APi에 대해 수식 (7)에 Confidence는 수식 (8)에 ASR은 수식 (9)에 나타내었다. 이후 Fig. 6.에서와 같이 한국군의 이미지를 업로드하고 형태와 색상이 변경된 적대적 패치를 생성 후 위치, 크기를 조정하여 테스트 데이터셋에 합성 시키고 Scale을 조절하며 패치를 선정한다. 이후 적대적 패치가 합성된 테스트 데이터셋을 AI모델에 넣어 Table. 2, 3.에서와 같이 패치 부착시와 패치제거시의 탐지율(score)을 비교하고 Fig. 7.에서와 같이 패치로 인식되는 이미지가 무엇인지 확인한다. 탐지율을 비교하여 탐지율이 저하되거나 다른 클래스로 오분류 또는 미분류시 AI모델의 강건성을 저하시켰으므로 성공한 적대적 패치로 선정하여 입증한다.

\(\begin{align}m A P=\frac{1}{N} \sum_{i=1}^{N} A P_{i}\end{align}\)       (7)

Confidence = P(object) x P(class | object)       (8)

\(\begin{align}A S R=\frac{\text { Nmberof Success ful Attacks }}{\text { Total Numberof Attacks }} \times 100 \%\end{align}\)       (9)

JBBHCB_2025_v35n5_1143_6_f0001.png 이미지

Fig. 6. Patch Generator

Table 2. Patch Detection Result

JBBHCB_2025_v35n5_1143_6_t0001.png 이미지

Table 3. Detach Detection Result

JBBHCB_2025_v35n5_1143_7_t0001.png 이미지

JBBHCB_2025_v35n5_1143_7_f0001.png 이미지

Fig. 7. Patch Comparison

4.2 분석결과 논의

본 연구결과 기존연구에서 시도해보지 않았던 새로운 형태를 적용하며 새로운 프레임워크를 구성 하였다. 형태는 실제 군복 위에 적용시 움직임에 문제없이 설계되어 기존과 다르게 면적은 축소하되 크기를 상대적으로 키울 수 있었고 위치를 중앙이 아닌 객체 상체로 분산시켜 효율성과 범용성을 극대화 시킬 수 있었다. 특히 색상 또한 여러 가지 색상을 시각적으로 확인해 볼 수 있으며 군복과 유사한 색상을 적용하여 육안 탐지에도 위장효과를 달성할 수 있었다. 이에 대해 Table 4, 5. 및 Fig 8.과 같이 패치 미부착(clean), 부착(patch), 제거(clean_patched)한 사항에 대해 Confidence score와 mAP, AP50, ASR, AP100 성능지표를 활용하여 최저 인식률을 시각적으로 확인 가능하여 AI모델의 강건성 저하를 입증했다. Faster R-CNN의 경우 patch 부착시 mAP가 0.31로 강건성이 가장 잘 저하됨을 확인할 수 있다. 따라서 현재 가장 많이 사용하고 있는 CNN과 Transformer 2가지 계열 모델에 모두 패치가 적용됨에 따라 모델의 전이성까지 만족하여 어떠한 모델에 대해서든 패치가 적용될 수 있음을 입증하였다. 또한 Table 6.에서와 같이 RAP(Robust Adversarial Patch) 제안 모델 적용 시 패치 부착 시 0.92에서 0.78로 TPR(True Positive Rate)이 14%, ASR이 15%의 패치부착 시 가장 낮은 인식률 저하를 나타내어 제안된 RAP모델이 가장 안정적인 성능을 보였다. Fig. 9.에서와 같이 다른 모델들은 패치 부착 시 TPR의 변화가 커졌다. 이는 적대적 패치가 성공적으로 부착됨을 확인하여 타 모델 대비 우수함을 확인 했다.

Table 4. Evaluation Summary1

JBBHCB_2025_v35n5_1143_7_t0002.png 이미지

Table 5. Evaluation Summary2

JBBHCB_2025_v35n5_1143_7_t0003.png 이미지

JBBHCB_2025_v35n5_1143_7_f0002.png 이미지

Fig. 8. Table Visualization(Heatmap)

Table 6. Evaluation Summary3

JBBHCB_2025_v35n5_1143_7_t0004.png 이미지

JBBHCB_2025_v35n5_1143_8_f0001.png 이미지

Fig. 9. Comparison Model

V. 결론

본 연구에서는 적군의 객체탐지 AI모델에 대해 강건성을 저하시켜 전투원의 생존성을 보장할 수 있도록 저비용·고효율을 달성 할 수 있는 적대적 패치를 생성하고 패치 프레임워크를 연구하였다. 적대적 패치는 실전에서 적용 가능하도록 착용하기 편하며 저비용으로 대량 생산되어야 하며 육안관측에서도 위장효과를 발휘하여야 한다. 따라서 본 연구에서는 적대적 패치를 기존과 다르게 형태를 변경함에 따라 크기, 위치를 다양하게 조정하여 적대적 공격 효율성을 극대화시켜 적군의 AI모델의 강건성을 낮출 수 있음을 입증하였다. 또한 군복과 유사한 색상을 적용하여 위장효과를 달성하며 환경에 대한 범용성을 확보할 수 있었다. 이는 모양, 패턴, 색상 등의 패턴결합 공식의 가중치 총합을 손실함수로 적용해서 Visual Loss를 정규화 하여 낮은 탐지율로 적대적 패치가 전장에서도 눈에 띄지 않는 패치로 적용할 수 있다. 특히 현재 가장 많이 사용하고 있는 객체탐지 AI모델인 CNN과 Transformer 2가지 모델에 패치가 다 적용됨에 따라 모델의 전이성까지 만족하여 블랙박스 상황에 쉽게 적용 가능하고 적군의 적대적 방어 모델에 대해서도 충분히 대응할 수 있음을 입증하였다. 비록 본 연구에서는 데이터셋 부족으로 지상위주 군인객체에 대해서만 적용하였고, 객체의 전면에 대해 단면적인 이미지 탐지에 대해서만 연구 하였다. 따라서 물리적 프린팅으로 실증이 필요하겠으며 全 방향 및 각도에 대해 모두 공격이 되도록 영역의 확장이 필요하며 전차, 드론 등 군에서의 다른 객체에 대해 추가 연구가 필요하겠다.

따라서 차후에는 군인 객체에 대해 다양한 환경을 바탕으로 패치를 실제 프린팅하여 실시간 영상촬영 간 360도 기준으로 모두 오탐 또는 미탐지 되도록 해야 하며 드론촬영을 고려 항공데이터를 고려한 적대적 패치를 연구해야 한다. 또한 군인 이외 다른 객체들의 특성을 고려하여 전차, 군용차량 드론 등에 본 모델의 패치를 적용하여 다양성(diversity), 최적화(optimization), 투명성(transparency), 이동성(mobility)을 고려한 최적의 적대적 패치를 부착하여 확대 적용할 수 있다. 향후 아군 및 적군의 적대적 방어 모델에 대한 본 모델 적용 확대를 고려한 연구가 더 필요하다.

References

  1. Hyun-jeong Mun, Gyu-tae Oh,  Eun-seong Yu, Jeong-yoon Lm,  Jin-young Shin, and Gyu-young Lee, "A  study on adversarial AI attack and  defense techniques," Proceedings of the  KIPS Conference, 29(2), pp. 1022-1024,  Nov. 2022.
  2. Hyun Kwon and Seungho Bang,  "Considerations for military adoption of  artificial intelligence (AI) from the  perspective of information security,"  Defense&Technology, (486), pp. 86-101,  Aug. 2019.
  3. Jung Yup Rhee, Wonyoung Cho, Leo  Hyun Park, and Taekyoung Kwon,  "Reverse-update adversarial data for  enhancing adversarial attack and  adversarial  training  performance,"  Journal of The Korea Institute of  Information Security & Cryptolo, 34(5),  pp. 981-991, Oct.
  4. K. Eykholt, I. Evtimov, E. Fernandes,  B. Li, A. Rahmati, C. Xiao, A. Prakash,  T. Kohno, and D. Song, "Robust  physical-world attacks on deep learning visual classification," Proceedings of the  IEEE conference on computer vision and  pattern recognition, pp. 1625-1634, Jun.  2018.
  5. Z. Xiao, X. Gao, C. Fu, Y. Dong, W. Gao,  X. Zhang, J. Zhou, and J. Zhu,  "Improving transferability of adver sarial patches on face recognition with  generative models," Proceedings of the  IEEE/CVF conference on computer  vision and pattern recognition, pp.  11845-11854, Jun. 2021.
  6. M. Wang, J. Zhou, T. Li, G. Meng, and  K. Chen, "A survey on physical  adversarial  attacks against face  recognition systems," arXiv preprint  arXiv:2410.16317, Oct.
  7. A. Guesmi, R. Ding, M. A. Hanif, I.  Alouani, and M. Shafique, "Dap: a  dynamic adversarial patch for evading  person detectors," Proceedings of the  IEEE/CVF Conference on Computer  Vision and Pattern Recognition, pp.  24595-24604, Jun.
  8. Y. C. T. Hu, B. H. Kung, D. S. Tan, J.  C. Chen, K. L. Hua, and W. H. Cheng,  "Naturalistic physical adversarial patch  for  object  detectors,"  IEEE/CVF  international conference on computer  vision, pp. 7848-7857, Oct. 2021.
  9. Y. Fu, S. Zhang, S. Wu, C. Wan, and Y.  Lin, "Patch-fool: are vision transformers  always robust against adversarial  perturbations?," arXiv preprint arXiv:  2203.08392, Mar. 2022.
  10. T. B. Brown, D. Mané, A. Roy, M. Abadi,  and J. Gilmer, "Adversarial patch,"  arXiv preprint arXiv:1712.09665, Dec.  2017.
  11. X. Liu, H. Yang, Z. Liu, L. Song, H. Li,  and Y. Chen, "Dpatch: an adversarial  patch attack on object detectors," arXiv  preprint arXiv:1806.02299, Jun. 2018.
  12. J. Bao, "Sparse adversarial attack to  object  detection,"  arXiv preprint  arXiv:2012.13692, Dec. 2020.
  13. A. Kurakin, I. J. Goodfellow, and S.  Bengio, "Adversarial examples in the  physical world," Artificial intelligence  safety and security, pp. 99-112, Jul.  2018.
  14. M. Sharif, S. L. Bhagavatula, Bauer,  and M. K. Reiter, "Accessorize to a  crime: real and stealthy attacks on  state-of-the-art  face  recognition,"  Proceedings of the 2016 acm sigsac  conference on computer and communi cations security, pp. 1528-1540, Oct.  2016.
  15. S. Thys, W. Van Ranst, and T. Goedemé,  "Fooling automated surveillance ca meras: adversarial patches to attack  person detection," Proceedings of the  IEEE/CVF conference on computer  vision  and pattern recognition  workshops, pp. 0-0, Jun. 2019.
  16. S. Wu, T. Dai, and S. T. Xia, "Dpattack:  diffused patch attacks against universal  object  detection,"  arXiv preprint  arXiv:2010.11679, Oct. 2020.
  17. S. Rao, D. Stutz, and B. Schiele,  "Adversarial training against location optimized adversarial patches," Euro pean conference on computer vision, pp.  429-448, Aug. 2020.
  18. S. Zhang, Y. Cheng, W. Zhu, X. Ji, and  W. Xu, "CAPatch: physical adversarial  patch against image captioning Sys tems," Proceedings of the 32nd USENIX  Security Symposium, pp. 679-696, Aug.  2023.
  19. D. Karmon, D. Zoran, and Y. Goldberg,  "Lavan: localized and visible adver sarial noise," International conference  on machine learning, pp. 2507-2515,  July. 2018.
  20. D. Song, K. Eykholt, I. Evtimov, E.  Fernandes, B. Li, A. Rahmati, and T. Kohno, "Physical adversarial examples  for object detectors," 12th USENIX  workshop on offensive technologies, pp.  1-12, Aug. 2018.
  21. K. Xu, G. Zhang, S. Liu, Q. Fan, M. Sun,  H. Chen, and X. Lin, "Adversarial  t-shirt! evading person detectors in a  physical world," European conference on  computer vision, pp. 665-681, Aug. 2020.
  22. Y. Yu, H. J. Lee, H. Lee, and Y. M. Ro,  "Defending person detection against  adversarial patch attack by using  universal defensive frame," IEEE  Transactions on Image Processing, vol.  31, pp. 6976-6990, Nov. 2022. https://doi.org/10.1109/TIP.2022.3217375
  23. H. Huang, Y. Wang, Z. Chen, Z. Tang,  W. Zhang, and K. K. Ma, "Rpattack:  refined patch attack on general object  detectors," arXiv preprint arXiv:2103.12469, Mar. 2021.
  24. A. Van Etten, "The weaknesses of  adversarial camouflage in overhead  imagery," 2022 IEEE Applied Imagery  Pattern Recognition Workshop(AIPR),  pp. 1-7, Oct, 2022.
  25. M. Shao, "Brightness-restricted adversarial attack patch," arXiv preprint  arXiv:2307.00421, Jul. 2023.
  26. R. Duan, X. Ma, Y. Wang, J. Bailey, A.  K. Qin, and Y. Yang, "Adversarial  camouflage: hiding physical-world  attacks with natural styles," Proceedings of the IEEE/CVF conference on  computer vision and pattern recognition, pp. 1000-1008, Jun. 2020.
  27. A. Adhikari, R. D. Hollander, I. Tolios,  M. van Bekkum, A. Bal, S. Hendriks,  and S. Raaijmakers, "Adversarial patch  camouflage against aerial detection,"  arXiv preprint arXiv:2008.13671, Aug.  2020.
  28. C. Wise and J. Plested, "Developing  imperceptible adversarial patches to  camouflage military assets from  computer vision enabled technologies,"  arXiv preprint arXiv:2202.08892, May.  2022.
  29. Jeonghun Kim, Hunmin Yang and  Se-Yoon Oh, "Camouflaged adversarial  patch attack on object detector," Journal  of the KIMST, 26(1), pp. 44-53, Feb.  2023. https://doi.org/10.9766/KIMST.2023.26.1.044
  30. C. Szegedy, W. Zaremba, I. Sutskever,  J. Bruna, D. Erhan, I. Goodfellow, and  R. Fergus, "Intriguing properties of  neural networks," arXiv preprint  arXiv:1312.6199, Dec. 2013.
  31. I. J. Goodfellow, J. Shlens, and C.  Szegedy, "Explaining and harnessing  adversarial examples," arXiv preprint  arXiv:1412.6572, Dec. 2014.
  32. Y. Dong, F. Liao, T. Pang, H. Su, J. Zhu,  X. Hu, and J. Li, "Boosting adversarial  attacks with momentum," Proceedings  of the IEEE, conference on computer  vision and pattern recognition, pp.  9185-9193, Jun. 2018.
  33. B. Wortman, "Hidden patch attacks for  optical flow," ICML 2021 Workshop on  Adversarial Machine Learning, pp. 1-4,  Jun. 2021.
  34. J. Gu, V. Tresp, and Y. Qin, "Are vision  transformers robust to patch perturbations?," European Conference on  Computer Vision, pp. 404-421, Oct.  2022.
  35. J. Zhang, Y. Huang, W. Wu, and M. R.  Lyu, "Transferable adversarial attacks  on vision transformers with token  gradient regularization," Proceedings of  the IEEE/CVF conference on computer  vision and pattern recognition, pp.  16415-16424, Jun. 2023.
  36. C. Li, H. Yan, L. Zhou, T. Chen, Z. Liu,  and H. Su, "Prompt-guided environ mentally consistent adversarial patch,"  arXiv preprint, arXiv:2411.10498, Nov.  2024.