Drone Classification and Performance Evaluation Based on RF Signal through Image Transformation

이미지 변환을 통한 RF 신호 기반의 드론 및 성능 평가

Abstract

The rapid advancement of drone technology has led to increasing security threats, requiring effective countermeasures. This study presents a CNN-based model for drone classification using RF signals, processed with wavelet transform, STFT, and Mel-spectrogram. By optimizing parallel image conversion, the model achieves faster computation and supports real-time detection. The proposed approach enhances both classification accuracy and real-time performance compared to conventional methods.

드론 기술의 급속한 발전과 다양한 산업에서의 응용이 크게 확대되어감과 함께 보안 위협 또한 증가하고 있으며, 이를 해결하기 위한 연구가 요구되고 있다. 본 연구에서는 드론 분류를 위하여 RF 신호를 사용하였고, 이를 전처리하기 위해 웨이블릿 변환, STFT 및 Mel-Spectrogram 분석을 수행하고, 이를 이미지로 변환하여 학습하는 CNN 기반 학습 모델을 개발하였다. 또한 Image 변환 과정에서 병렬 처리를 최적화하여 계산 속도를 향상시켰다. 제안된 모델은 기존 Spectrogram 변환 방식 대비 학습 속도를 크게 단축하며, 실시간 탐지에 적합한 성능을 보였다. 결론적으로, 본 연구는 Image 변환 방식을 통한 CNN 모델을 통해 RF 신호 기반 드론 탐지의 분류의 정확성과 실시간성을 향상시켰다.

I. 서론

급속히 발전하는 드론 기술은 군사, 물자수송, 재난관리와 같은 임무용부터 농작물관리, 건축물관리, 물류수송 등 상업용에 이르기까지 다양한 산업 분야에서 응용 영역이 크게 확대되고 있다. 각 산업 분야에서 중요한 역할을 하고 있는 드론 기술의 발전과더불어 드론의 안전한 운용과 효율적인 관리가 중요한 사안으로 떠오르고 있다. 그러나, 드론 기술의 확산은 드론을 대상으로 한 보안 위협의 대두와 드론을 이용한 공격 시도를 증가시키는 부정적 측면도 유발한다. Axon의 드론 위반 데이터베이스에 따르면 2024년 1월부터 11월까지 보고된 드론 사건은 약 1,068,030건으로, 국경 밀수, 교도소 불법 물품 전달, 공항 위험, 커뮤니티 위협 등 다양한 분야에서 발생하였다[1]. 따라서, 드론 기술의 안정성을 확보하기 위해 주요 안전 이슈에 대한 문제점을 정밀하게 분석하고, 이를 해결하기 위한 다양한 보안 영역별 연구가 집중적으로 필요하다[2].

드론에서 발생할 수 있는 보안 위협에 대한 기존 연구들은 레이더, 카메라로 찍은 영상, 그리고 음성 데이터 등에 의존하고 있다. 이것은 데이터 특성상 프라이버시 논쟁을 유발할 수 있고, 드론이 비행하는 공간상에 구름과 같은 장애물이 있거나, 위장한 다른 드론이 존재할 경우 탐지와 분류를 위한 인식률이 떨어진다는 단점을 보여준다[3]. 따라서, 본 논문에서는 RF(Radio Frequency) 신호를 활용하여 드론을 분류하고, 해당 드론의 종류를 분류하는 방법을 제안한다. 또한, RF 신호의 전처리 방법에 따른 성능을 비교 분석하여 가장 우수한 방법을 제시한다. 본 연구에서는 드론의 RF 신호를 추출하여 웨이블릿 변환과 Spectrogram 분석을 수행하였으며, 전처리를 위한 Image 변환 기술을 적용하였다.

본 논문의 구성은 다음과 같다. II 장에서는 배경 지식 및 관련 연구에 대하여 설명하며, III 장에서는 RF 신호 추출, Image화 및 드론 분류 모델 생성 구조를 서술한다. IV 장에서는 본 연구 환경에서 III 장의 분류 모델을 구동하고 그 성능을 평가하고, V 장에서 결론 및 향후 연구 방향을 제시하며 마무리한다.

II. 배경지식 및 관련 연구

2.1 Residual Neural Network

ResNet(Residual Neural Network)은 딥러닝에서 네트워크의 층수가 깊어질수록 발생하는 기울기 소실과 같은 성능 저하 문제를 해결하기 위해 K. He 등이 제안한 구조이다[4]. ResNet은 기존 CNN(Convolutional Neural Network) 모델이 지닌 네트워크 깊이가 증가함에 따라 발생하는 기울기 소실 문제를 잔차 블록(residual block)을 도입하여 극복하였다. 잔차 블록은 층간 직접 연결을 통해, 이전 층의 입력값을 출력에 그대로 더하는 방식을 취한다. Bottleneck 구조인 잔차 블록은 1x1 크기의 Kernel을 가지는 Conv를 통해 채널 수를 줄여 파라미터 수를 제어한다. 이는 기울기의 역전파 과정에서 정보가 소실되지 않도록 하여, 깊은 신경망에서도 안정적인 학습을 가능하게 한다. 특히. RF 신호와 같이 시간에 따른 주파수 변동이 큰 데이터를 처리할 때, ResNet의 깊은 네트워크는 계층적으로 중요한 특징을 추출할 수 있다. 잔차 블록에서 신호 x는 기본적인 합성곱층을 통과하여 추출된 특성 F(x)와 더해져, 더욱 복합적인 패턴을 학습한다. 이를 수식으로 표현하면 수식(1)과 같고, 합성곱층에서의 연산은 수식(2)와 같이 정의 가능하다[5-7].

y = F(x) + x       (1)

F(x) = σ(W*x + b)       (2)

ResNet 네트워크는 학습 과정에서 특징맵을 생성하여 주요 특징을 추출하고 최종적으로 분류 작업을 수행한다. 본 논문에서는 드론의 종류 분류를 위해 ResNet을 이용하여 신호의 시간적 패턴을 계층적으로 추출하여 고차원의 특징을 학습한다.

2.2 데이터 압축 및 추출 방법

Wavelet Transform은 신호의 시간-주파수 특성을 효율적으로 분석하기 위해 설계된 방법이다. Fourier 변환이 신호의 주파수 성분을 분석하는 데 주로 사용되지만, 이는 시간 정보를 잃어버리는 단점이 존재한다. 이에 반해 Wavelet Transform은 시간에 따른 신호의 변동과 주파수 특성을 동시에 분석할 수 있다[8]. Wavelet Transform은 특정 모함수(mother wavelet)를 기반으로 신호를 다중 해상도로 분해하여 고주파 성분과 저주파 성분을 분석한다. 이 과정에서 신호는 몇 개의 시간과 주파수 스케일로 확정 및 축소되며, 이를 통해 국소적 주파수 변동을 포착할 수 있다. 또한, 신호의 고주파 부분과 저주차 부분을 다른 해상도로 분석할 수 있어 고주파 성분은 짧은 시간 창에서 분석되고, 저주파 성분은 긴 시간 창에서 분석되어, 신호의 다양한 시간-주파수 특성을 세밀하게 포착할 수 있다[9].

STFT(Short Time Fourier Transform) 또한 시간 정보를 제공하지 못하는 일반적인 푸리에 변환의 한계를 극복하기 위해 설계된 신호 분석 방법중 하나이다[10]. STFT는 수식(3)의 윈도우 함수(w)를 가지고 신호를 각 시간 구간에 대해 국소화된 스펙트럼으로 나눈 후, 푸리에 변환을 적용하여 시간과 주파수 영역 모두에서 신호를 표현하고 분석을 가능하게 한다. 여기서, x(t)는 원래 신호, ω(t - m)는 윈도우 함수, 그리고 ω는 주파수 변수를 의미한다.

X(m, ω) = ∫^∞_-∞x(t)ω(t - m)e^-jωtdt       (3)

고정된 윈도우 크기에서의 최적화 어려움이나 중첩된 구간에서의 STFT의 계산복잡도 증가와 같은 STFT가 가지는 한계에도 불구하고, STFT는 구현이 간단하며 시간-주파수 정보를 효과적으로 캡처할 수 있어 RF 신호 탐지 분야에서 여전히 유용한 도구로 사용되고 있다[11].

MFCC(Mel-Frequency Cepstral Coefficients)는 음성 신호 분석을 위해 개발되었으나, 현재는 드론 탐지 및 분류 등의 다양한 신호 처리 작업에서 널리 사용되는 특징 추출 방법이다. MFCC는 신호의 주파수 스펙트럼을 멜 스케일(Mel Scale)로 변환하여, 인간 청각 시스템과 유사한 방식으로 주파수를 처리한다[12]. MFCC를 통한 특징 추출은 먼저 신호에 프리-엠퍼시스 필터를 적용하여 고주파 성분을 강조한 후, 일정 시간 프레임으로 신호를 나눈 후 해밍 창을 적용하여 프레임 간 불연속성을 줄인다. 그 다음 푸리에 변환을 사용해 주파수 스펙트럼을 구하고, 멜 스케일 필터뱅크를 통해 주파수 성분을 변환한다. 마지막으로 로그 변환과 이산 코사인 변환(discrete cosine transform)을 통해 신호의 최종 MFCC 계수를 얻는다. 이렇게 생성된 MFCC 계수는 신호의 스펙트럼 특성을 간결하게 나타내며, 적은 수의 계수로도 중요한 정보를 효과적으로 추출한다[12].

Mel-Spectrogram은 MFCC 계수를 시각적으로 표현한 것으로써, 시간에 따른 MFCC의 변화를 보여준다. 일반적인 Spectrogram과 달리, Mel-Spectrogram은 음성 신호나 드론의 특정 주파수 패턴을 더 간결하게 나타내며, 신호의 중요한 주파수 성분을 인간의 청각 특성에 맞춰 변환한 후 이를 시간 축에 따라 시각화한다[13].

2.3 기존의 드론의 종류 탐지 연구

Bilal Taha 등은 드론 탐지 및 분류를 위한 머신러닝 기반 시스템을 제안했다. 이 연구는 레이더, 영상, 음향, RF 신호 등 다양한 감지 방식을 활용하여 드론의 종류 탐지 성능을 높였다. 특히, SVM과 CNN 모델을 사용하여 레이더 데이터를 분석하고, 영상 기반의 YOLO 및 Faster R-CNN과 같은 딥 러닝 모델을 적용하여 탐지하였다[14]. Zhai Xianxu 등은 YOLOv8을 기반으로 작은 목표물을 비교적 높은 정확도로 탐지할 수 있는 고해상도의 YOLO-Drone 종류의 탐지 시스템을 제안하였다. 기존의 YOLOv8 모델에서 큰 목표물 탐지 레이어를 제거하고, SPD-Conv와 GAM 주의 메커니즘을 통합하여 성능을 최적화하였다[15]. Chengtao Xu 등은 STFT를 통해 RF 신호를 Image화 하고, PCA를 사용해 차원을 축소하여 SVM(Support Vector Machine)과 KNN(K-Nearest Neighbor) 알고리즘으로 드론의 종류 탐지 여부를 높은 정확도로 탐지하였다. 특히, 다중 UAV 침입 탐지에서 이 방법은 높은 성능을 보였다[16]. Ulzhalgas Seidaliyeva 등은 드론 탐지 및 분류를 위한 최신 기술 동향을 종합적으로 정리하였다. 이 연구는 레이더, RF, 음향, 비전 기반 탐지 기술의 장단점을 비교하고, 센서 융합 기법의 필요성을 강조하였다. 또한 RF 신호를 이용한 UAV 탐지와 식별에서 데이터 처리 효율성과 정확성을 높이기 위해 머신러닝 및 딥러닝 기반의 모델을 활용한 사례를 소개하였다. 예를 들어, XGBoost와 KNN을 결합한 계층적 학습 방식을 통해 UAV 탐지 정확도를 향상시킨 사례와, VGG-16을 기반으로 RF 신호의 시간-주파수 특징을 학습하여 UAV 모델과 비행 모드를 식별한 연구가 포함된다. 연구는 다양한 환경적 요인과 UAV의 동적 특성이 탐지 시스템 성능에 미치는 영향을 분석하며, UAV 탐지 및 분류 기술의 발전 방향을 제시하였다[17]​. Harini Kolamunna 등은 Mel-Spectrogram을 생성하여 CNN과 ResNet을 기반으로 드론의 종류 탐지 시스템을 제안하였다. 음향 데이터를 사용해 드론 소리와 비-드론 소리를 구분하였으며, 다양한 소음과 방해 요소가 존재하는 열린 환경에서도 높은 탐지 성능을 보였다[18].

서술한 내용에서도 알 수 있듯이 기존의 연구들은 특징 추출에 있어서 주로 YOLO와 같은 시각적 방식이나 레이더 방식, 음향적 방식에 의존한다. 그러나, 비행 중인 드론을 측량할 때, 구름, 나무, 건물 등의 장애물이 존재하거나 직선의 측량이 어려운 가시성 문제, 위장, 그리고 짧은 탐지 거리 등으로 인해 측량에 제약이 발생한다. 또한, 기존 연구에서 적용된 STFT 방식이나 Mel-Spectrogram은 생성 시간이 길고 용량이 크기 때문에, 실시간으로 탐지가 가능한 기능이 필요한 환경에서는 비효율적이다[19].

III. 방법론

본 논문에서는 기존 연구에서의 시각적, 음향적, 레이더 방식의 제약사항을 극복하기 위해, ​원본 RF 데이터를 그대로 Image로 변환하여 CNN을 활용한 학습 방법을 제안한다. 이미지 분석에서 많이 사용되는 YOLO는 객체 탐지 문제를 위해 바운딩 박스 회귀와 본류를 동시에 수행하므로, 연산량이 많고 데이터 전처리가 복잡하다. 반면 CNN은 분류 문제에 초점이 맞춰져 있어 연산량이 적고 계산 효율성이 높기에 드론 RF 신호의 이미지 데이터를 빠르고 정확하게 처리할 수 있기에 분류 속도에 초점을 둔 본 연구에서는 CNN을 채택하였다.

제안된 방법은 더 적은 용량의 Image를 입력 데이터로써 사용하며, 결과적으로, 계산 효율성과 학습 속도를 크게 향상시켰다. 또한, RF 신호가 약하거나 저주파 성분이 주를 이루는 드론 타입에 대해서도 효과적으로 데이터를 학습할 수 있으며, 주파수의 세기나 대역에 상관없이 일관된 성능을 제공할 수 있다. Fig. 1.은 다양한 Standard CNN 모델에 적용하여 드론 분류를 수행하는 과정을 보인다.

Fig. 1. RF signal based drone classification framework

우선 HackRF 기기를 이용하여 RF 신호를 수집한 후, 실시간 주파수 스펙트럼 분석을 통해 드론의 신호를 특정한다. 특정된 신호는 image 데이터 혹은 .WAV 데이터로 사용된다. Image 데이터를 사용하는 경우, .WAV를 image로 변환하는 과정을 거친다. 이후, Wavelet을 사용한다면 정규화 과정을 거쳐 분류 알고리즘을 수행하고, 사용하지 않는 경우 주파수 증강 과정 후 정규화 과정을 거쳐 분류 알고리즘을 수행한다.

3.1 Data 수집

데이터는 HackRF 기기를 이용하여 각 드론의 RC(Remote Controller)로부터 출력되는 RF 신호를 수집하여 생성되었다. Fig. 2.에서 보는 것처럼, 4개의 드론을 이용하였다.

Fig. 2. Drones used in experiments. (a) DJI MINI4 Pro, (b) PX4(CUAV V5+), (c) ONEOK, (d) ZHENDUO

HackRF는 1MHz에서 6GHz까지의 넓은 주파수 범위를 커버하는 SDR 장비로써 RF 신호 송수신 기능을 제공한다. 본 연구를 수행하기 위해, HackRF 기기를 이용하여 각 드론이 50분간 항행시의 개별 RF 신호를 WAV 파일로 저장하고, 저장한 WAV을 Wavelet, Spectrogram, Image로 변환하여 사용하였다.

Fig. 3.과 Fig. 4.는 각각 WAV 파일을 Spectrogram과 Image로 변환한 결과를 보여준다. Wavelet은 시간과 주파수 정보를 동시에 제공할 수 있어, 신호의 변동이 있을 때 더 정밀하게 분석할 수 있으며, Spectrogram은 신호의 주파수 성분을 시간에 따라 시각적으로 표현하기 때문에, 주파수 대역의 변화 파악에 유용하다. 마지막으로 Image는 복잡한 데이터의 시각적 표현으로 패턴 파악이 가능하다.

Fig. 3. Convert a WAV file into a spectrogram

Fig. 4. Convert a WAV file into an image

3.2 드론 통신의 주파수 특정

시중에 판매되는 상업용 드론은 RC와 통신하기 위해 대부분 FHSS(Frequency Hopping Spread Spectrum) 혹은 DSSS(Direct Sequence Spread Spectrum) 다중접속 알고리즘을 사용한다[20]. 본 연구에서 사용된 DJI를 제외한 3가지 드론들은 FHSS와 DSSS 방식으로 통신을 진행하고 있다.

이 중, FHSS는 시간이 지남에 따라 알고리즘에서 정해진 의사(pseudo) 랜덤 값으로 주파수를 이동하며 통신하는 방식이다[21]. 따라서, 드론에 입력되는 명령어를 RF 신호로부터 찾기 위해서는 RC가 통신 프로토콜의 대역 내에서 FHSS 기법을 어떤 채널를 이용하여 전달하는지 파악해야 한다.

본 논문에서는 RF 스펙트럼을 수신하여 시각화하는 소프트웨어인 GQRX를 이용하여 2.4~2.5GHz 까지의 실시간 주파수 스펙트럼 분석하였다. 먼저, 드론의 신호가 없을 때 배경 잡음과 기계적 잡음 측정하였다. 이후, 드론의 통신이 발생하지 않을 때와 통신 중일 때의 실시간 주파수를 비교하여 드론이 명령 통신에 사용하는 주파수를 특정하였다. 이 과정은 실시간 드론 통신 주파수에서 강력한 세기로 새롭게 드러나는 주파수 채널을 50MHz 구간별로 확인하여 통신채널을 특정하는 알고리즘으로 진행된다. Fig. 5.는 GQRX를 이용하여 드론이 통신에 사용하는 것으로 추측되는 채널을 시각화한 자료이다.

Fig. 5. Identification of drone RF signal frequencies using GQRX

다음으로 GNU Radio를 사용하여 데이터 캡처를 시작하였고, 데이터를 WAV 파일로 저장하였다. GNU Radio는 소프트웨어에 기반한 무선 통신 시스템 제작 도구이다. Fig. 6.은 GNU Radio를 이용해 RF 신호를 WAV 파일과 IQ 파일로 저장하는 코드의 동작을 보여준다.

Fig. 6. RF Signal Capture Flow using GNU Radio

앞서 서술한 바와 같이 드론은 일반적은 2.4GHz 혹은 5.8GHz와 같은 ISM 대역을 사용한다. ISM 대역은 공유기나 Bluetooth 기기 등과 주파수 대역을 공유하므로 간섭이 발생할 가능성이 높다. 때문에, 통신 주파수 분석에 있어 외부의 간섭을 어떻게 통제하는지와 주파수를 수신하는 SDR 장비의 상태에 따라 주파수 특정 결과의 신빙성이 결정된다.

3.3 RF 신호 변환 및 전처리

드론 통신의 주파수 특정을 진행한 후에는 학습에 이용할 RF 신호의 형태를 결정하는 과정이 수행된다. 해당 RF 신호는 ResNet모델의 입력값으로 입력되어 알고리즘 내에서 자체적으로 Spectrogram으로 변형되거나 Image로 변환되어 정규화 과정을 거치게 된다.

본 연구에서는 WAV 포맷으로 추출된 RF 데이터를 정의된 시간 내 빠르게 Image로 변환하기 위해 matplotlib이라는 Python 스크립트를 작성하였다. matplotlib는 Python에서 시각화 데이터를 추출하는 기능을 제공하는 대표적인 라이브러리로써, 표, 그래프 시각화 및 Image로 추출할 수 있으나 대규모 데이터를 처리할 때 성능상 한계가 존재한다. 특히, RF 데이터는 10MHz 이상의 sample rate를 가지므로 충분히 빠른 속도로 Image를 추출할 수 없다. 이를 해결하기 위해 병렬 프로그래밍 수행과 Image 추출 최적화를 적용하여 Python 스크립트를 새로 작성해 Image 추출 속도를 향상시켰다. 이 과정에서 본 논문에 적용된 분류 모델은 주파수의 시간 흐름대로 순차적으로 학습하는 기존의 모델과는 다르게 Image 데이터를 병렬적으로 학습하는 것이 가능한 이점을 지닌다. 상기 단계의 구현은 RF 데이터를 분할하여 각 스레드(Thread) 별로 처리하도록 하였으며, Image 크기에 비해 RF 데이터의 sample rate가 매우 크므로 Image를 구성하는 데 필요한 주파수 대역의 특징적인 값만 선별적으로 추출하여 데이터 손실을 최소화하면서 처리 성능을 극대화하였다.

본 논문의 실험은 Table 1.과 같이 구성된 환경 하에서 수행되었다. 10MHz의 sample rate를 가진 180s 길이의 RF 데이터를 2초 간격으로 추출했을 때 matplotlib 라이브러리 기반의 코드와 재작성한 Optimized code의 성능을 비교하였다. Table 2.에서 보는 바와 같이 Optimized code가 약 22배 빠른 성능을 보이고 있음을 알 수 있다.

Table 1. Test environment

Table 2. Speed of RF to image transformation

Image 추출 시 일정 길이의 데이터를 특정 범위에 맞춰 잘라내며 인접 구간의 일정 영역이 겹치도록 지정한다. 이를 통해 각 Image가 시간적 연속성을 더 잘 나타내게 되며, 각 Image의 경계에 위치한 데이터가 인접한 Image에서 중간 영역에 위치하게 되므로 ResNet 모델 학습 시 경계 데이터를 더욱 효과적으로 학습하도록 해준다.

3.4 드론 종류 식별 알고리즘

3.4.1 Image 변환 Stanard CNN

본 논문에서 제안한 모델은 학습 데이터로 Image로 변환된 RF 신호를 이용하며, Standard CNN, ResNet50, 그리고 DenseNet121을 사용한다. 이 모델들은 각각의 구조적 차이를 통해 RF 신호의 시각적 특징을 학습하며, 다음과 같은 방식으로 구현되었다. 본 논문에서 사용한 Standard CNN은 다음과 같은 레이어로 구성된다. 우선, Conv2D 레이어는 단일 채널의 입력 Image에 대해 3x3 크기의 필터 8개를 사용하여 합성곱 연산을 수행하며, 패딩을 적용하여 출력 Image의 크기가 입력 Image와 동일하게 유지된다. 다음으로, MaxPooling 레이어는 Conv2D 레이어의 출력을 받아 2x2 크기의 풀링 연산을 수행하여 특징맵의 크기를 절반으로 줄인다. 이 과정을 거친 데이터는 일차원 벡터로 변환된 후 Fully Connected 레이어로 전달되며, 첫 번째 Fully Connected 레이어는 128개의 노드로 구성되어 있으며, 활성화 함수로는 ReLU가 사용된다. 과적합을 방지하기 위해 이 레이어에는 25%의 드롭아웃이 적용된다. 마지막 Output 레이어는 네 가지 클래스(Px4, ZHENDUO, DJI, OneOk)로 구분하는 4개의 노드를 가진다. 이 레이어는 소프트맥스 함수 대신 선형 활성화 함수를 통해 결과값을 출력한다. Table 3.은 본 논문에서 사용한 StanDard CNN의 hyperparamerer 설정값이다.

Table 3. Hyperparameter Tuning

3.4.2 Image 변환 ResNet(50)

ResNet(50) 변환 Image 평가를 위해 Image로 변환된 RF 신호를 학습 데이터로 이용하였으며, ResNet(50) 모델을 적용하였다. ResNet(50)의 특징 추출 단계는 입력된 이미지를 통해 시간-주파수 패턴을 계층적으로 학습하도록 설계되었다. 마지막 fully-connected layer는 드론 분류를 위한 4개의 노드로 구성되며, 각 노드는 네 가지 클래스(Px4, ZHENDUO, DJI, OneOk)로 예측한다. 모델 학습에서는 교차 엔트로피를 손실 함수로 사용하여 예측된 클래스와 실제 클래스 간의 차이를 최소화하도록 설계되었다. 데이터 증강을 위해 훈련 데이터에 수평 반전 및 회전 변환 등을 적용하여 모델의 일반화 성능을 개선하였다.

3.4.3 Image 변환 DenseNet(121)

DenseNet121 변환 Image 평가를 위해 Image로 변환된 RF 신호를 학습 데이터로 이용하였으며, DenseNet121 모델을 적용하였다. DenseNet121 모델의 특징 추출 단계는 입력된 이미지를 통해 시간-주파수 패턴을 계층적으로 학습하도록 설계되었다. DenseNet121은 Dense Block과 Transition Layer로 구성되며, 각 Dense Block에서 이전 레이어의 출력이 다음 레이어의 입력으로 연결되어 특징 추출 과정이 심화된다. 이러한 구조는 DenseNet121이 드론 신호의 세부적인 시각적 패턴을 효과적으로 학습할 수 있도록 한다. 마지막 fully-connected layer는 드론 분류를 위한 4개의 노드로 구성되며, 각 노드는 네 가지 클래스(Px4, ZHENDUO, DJI, OneOk)로 예측한다. 모델 학습에서는 교차 엔트로피를 손실 함수로 사용하여 예측된 클래스와 실제 클래스 간의 차이를 최소화하도록 설계되었다. 데이터 증강을 위해 훈련 데이터에 수평 반전 및 회전 변환 등을 적용하여 모델의 일반화 성능을 개선하였다.

3.4.4 STFT 변환 Spectrogram

STFT 변환 Spectrogram 평가를 위해 Image로 변환된 RF 신호를 학습 데이터로 이용하였으며, ResNet(50) 모델을 적용하였다. 입력 데이터는 드론의 RF 신호를 2초 단위로 분할하여 얻은 Spectrogram을 활용한다. 이를 위해 먼저, torchaudio 라이브러리를 사용하여 입력 신호에 STFT 변환을 수행한다. STFT는 시간 영역의 신호를 주파수 영역으로 변환하여 시간에 따른 주파수 변화 패턴을 시각적으로 표현한 Spectrogram을 생성한다. 생성된 Spectrogram은 주파수 성분을 dB 스케일로 변환한 후 크기를 확장하여 ResNet(50)의 입력에 맞도록 변환된다. ResNet(50)의 합성곱층들은 입력된 Spectrogram에서 시간에 따른 주파수 패턴을 추출하고, 이를 기반으로 계층적인 특징맵을 생성하여 고차원의 특징을 학습하게 된다. 마지막 fully-connected layer는 드론 분류를 위한 4개의 노드로 구성되며, 각 노드는 PX4, ZHENDUO, DJI, OneOk 드론 클래스를 예측한다. 모델 학습에서는 교차 엔트로피를 손실 함수로 사용하여 예측된 클래스와 실제 클래스 간의 차이를 최소화하도록 설계되었다.

3.4.5 MFCC 변환 Spectrogram

본 방식은 WAV 데이터 파일을 로딩하고 MFCC Spectrogram을 생성하는 방식이다. 주어진 데이터는 드론의 오디오 신호로 구성되어 있으며, 각 오디오 파일을 2초 단위로 분할하여 학습에 적합한 형식으로 변환된다. 음향 데이터는 torchaudio 라이브러리를 사용하여 파일을 로딩하고, 모든 파일을 동일한 샘플레이트(즉, 단위 시간당 샘플링 횟수)로 리샘플링한다. 이후 총 오디오 샘플을 2초 단위로 분할하여 세그먼트를 생성하고, 각 세그먼트는 MFCC 변환을 거친다. MFCC는 주파수 도메인에서 시간 영역의 특징을 반영하여 신호를 효과적으로 분석할 수 있으며, 40개의 MFCC를 추출하여 사용한다. 이때 2048개의 고속 푸리에 변환과 512의 hop length를 적용한다. 생성된 MFCC Spectrogram은 모델 입력에 맞게 적절한 형식으로 변환되어 ResNet(50) 모델에 사용된다. Spectrogram 생성을 위해, 고속 푸리에 변환을 통해 시간-주파수 변환을 수행한 후 Mel 스케일을 적용하고, Mel 필터를 거친 후 Cepstral Coefficients를 추출한다. 마지막으로 dB 스케일로 변환하여 Spectrogram을 생성한다. ResNet(50)의 마지막 fully-connected layer와 손실 함수는 STFT 변환 Spectrogram 적용 방법과 동일하다.

3.4.6 Haar wavelet

드론의 RF 신호를 분석하기 위해 웨이블릿 변환을 적용한 Spectrogram을 생성하는 방식이다. 입력 데이터는 드론의 RF 신호를 2초 단위로 분할하여 각 세그먼트에 하르 웨이블릿(Haar Wavelet) 변환을 수행한다. 각 신호 세그먼트는 Haar 웨이블릿 변환을 적용하여 5단계로 분해되고, 이를 통해 시간과 주파수 정보가 모두 반영된 웨이블릿 계수가 생성된다. 생성된 웨이블릿 계수는 고정된 크기로 수정되어 ResNet 모델의 입력에 적합한 형태로 변환된다. 이 과정에서 계층적으로 웨이블릿 변환이 적용되어, 드론 신호의 주요 패턴을 효과적으로 학습할 수 있다.

DJI 데이터는 고주파 성분과 RF 신호의 세기가 상대적으로 강해 다른 증강 방식이 필요하지 않다고 판단되어 증강 과정에서 제외되었다. 대신 다른 아마추어 드론 신호(ZHENDUO, OneOk)에 대해서는 고주파 성분 증강, 저주파 성분 증강과 같은 데이터 증강 기법이 적용되었다.

ResNet(50) 모델은 이러한 웨이블릿 변환된 Spectrogram을 입력으로 받아, 다층 합성곱 연산을 통해 신호의 시간에 따른 주파수 특징을 추출한다. ResNet(50)의 합성곱 층들은 웨이블릿 변환된 Spectrogram에서 계층적인 특징을 학습한다. 마지막 fully-connected layer와 손실 함수는 STFT 변환 Spectrogram 적용 방법과 동일하다.

IV. 실험 결과 및 평가

4.1 평가 지표

드론 RF 신호를 분류하는 모델의 성능을 평가하기 위해 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-score, 그리고 Time cost를 weighted average 방식으로 각 클래스의 샘플 수에 비례하여 측정하였다. 성능 평가를 위해 각 지표를 10번 반복 측정한 후 평균값을 계산하였으며, 실시간 환경에서의 활용 가능성을 평가하기 위해 time cost 평가 지표도 추가로 포함하였다.

정확도는 모델이 전체 예측 중에서 올바르게 분류한 비율을 나타내며, 전반적인 성능을 평가하는 주요 지표로 사용되었다. 정밀도는 모델이 양성으로 예측한 것 중 실제로 양성인 것의 비율을 나타내며, False Positive를 최소화하는 데 중점을 둔다. 이재현율은 실제 양성인 것 중에서 모델이 양성으로 올바르게 예측한 비율을 나타낸다. F1-score는 정밀도와 재현율 사이의 균형을 잡기 위한 조화평균 값이며, 두 지표의 균형을 평가하기 위해 사용된다. Time cost는 모델의 처리 성능을 평가하는 지표로써, 데이터를 처리하는 데 소요된 시간을 의미한다. 이와 같은 성능 지표를 통해 모델의 전반적인 성능을 평가하였으며, 특히 실시간 환경에서의 활용 가능성을 고려한 성능 평가를 진행하였다.

4.2 성능 평가

본 연구에서 제안한 Image 변환을 통한 Standard CNN, CNN+ResNet(50)과 CNN+DenseNet(121)을 활용한 Image 변환 방식 학습 방식과 기존의 STFT 및 MFCC Spectrogram 변환 방식, 그리고 웨이블릿 변환 방식을 비교하였다. 성능 평가는 정확도, 정밀도, 재현율, F1-score, Time cost로 이루어졌으며, 각각의 방법론에 대해 CNN+ResNet(50) 알고리즘을 사용하여 드론의 RF 신호를 분류하였다. 그 결과는 Table 4.에 요약되어 있으며, Image 변환을 통한 CNN 학습 방식은 STFT 및 MFCC Spectrogram 방식보다 성능이 약간 떨어지거나 비슷했으나, Time cost에서 압도적인 우위를 보였다.

Table 4. Result of performance test

Table 4.의 결과를 통해 알 수 있듯이, Image 변환을 통한 Standard CNN 학습 방식은 STFT Spectrogram과 MFCC Spectrogram 변환보다는 정확도 면에서 낮은 편이지만, Time cost가 2.23초로써 다른 방식에 비해 매우 낮은 수치를 보였다. 이는 실시간 성능이 중요한 환경에서 큰 장점을 제공한다. Image ResNet(50)을 사용한 학습 방식은 정확도 97.06%, F1-score 96.93%로 높은 성능을 기록하였다. Time cost는 5.09초로 상대적으로 짧았으나, Standard CNN 방식보다는 계산 복잡도가 높았다. 그럼에도 불구하고, STFT 및 MFCC Spectrogram 방식의 199.41초와 비교할 때 여전히 매우 효율적이며, 실시간 성능을 제공하기에 충분한 수치이다.

Image DenseNet(121)을 사용한 학습 방식은 정확도 98.61%, F1-score 98.66%로 MFCC 방식의 가장 높은 성능을 기록하였다. Time cost는 6.45초로, ResNet(50)보다는 약간 높은 수준이지만, 여전히 STFT 및 MFCC Spectrogram 방식에 비해 훨씬 낮은 계산 복잡도를 가졌다. DenseNet(121)을 사용한 방식은 실시간 탐지가 가능하면서도 매우 높은 정확도를 제공할 수 있는 이상적인 접근법임을 확인할 수 있었다.

반면 STFT Spectrogram 변환 후 CNN+ResNet(50)을 이용한 학습 방식은 정확도 97.44%, F1-score 97.42%로 성능 면에서 높은 결과를 보였으나, Time cost가 199.41초로 계산복잡도가 높았다. 이는 Spectrogram 생성 시간이 오래 걸리고, 데이터 용량이 커서 학습 시간이 많이 소요되기 때문이다.

MFCC Spectrogram 변환 후 CNN+ResNet(50) 학습 방식은 정확도와 모든 성능 지표에서 매우 높은 점수를 기록하였으며, STFT Spectrogram 변환보다 약 2배 빠른 Time cost를 기록했지만, 108.14초로 여전히 실시간 성능이 요구되는 환경에서는 다소 제한적일 수 있다.

웨이블릿 변환 방식을 사용한 학습 방식은 고주파 성분이 강한 드론신호(DJI, PX4)에서는 높은 정확도와 F1-score의 분류 성능을 보였으나, 신호가 약하거나 저주파 성분이 많은 아마추어 드론(ZHENDUO, ONEOK)에서는 성능이 크게 떨어졌다. 웨이블릿 방식은 다른 방법론에 비해 성능이 낮았으며, 데이터를 증강하는 작업이 추가되어 Time cost도 244.05초로써 매우 높은 계산복잡도를 보였다.

결과적으로 STFT Spectrogram과 MFCC Spectrogram 변환 방식은 Image 변환 방식보다는 약간 높은 성능을 제공하지만, 실시간 환경에서의 활용에는 제한이 있을 수 있으며, 웨이블릿 방식은 신호가 약한 드론에서 성능 저하가 발생하여 모든 드론에 대해 일관되게 좋은 성능을 제공하지 못하였다.

Image 변환을 통한 CNN 학습 방식은 약간의 성능 손실을 감수하더라도, 처리 속도 면에서 압도적인 이점을 제공하기 때문에, 실시간으로 드론에 대한 종류 탐지 시스템에 적합한 방법론임을 확인할 수 있었다. 또한, Fig. 7.과 Fig. 8. 그리고 Fig. 9.을 통해 Image를 이용한 CNN 분류 모델이 과적합 문제없이 드론의 유형을 잘 분류함을 확인할 수 있다.

Fig. 7. Training and validation accuracy of CNN that using image data

Fig. 8. Confusion matrix of CNN that using image data

Fig. 9. Validation accuracy of CNN that using image data

단, 앞서 서술한 바와 같이 본 모델은 이미지를 병렬로 학습하는 모델을 이용하므로 분산된 데이터의 경사도를 취합하거나 파라미터를 동기화하는 과정에서 발생하는 통신 비용 및 대규모 데이터 처리 중 메모리 부족으로 인한 제한적인 디바이스 활용, 메모리 락킹 등의 문제가 발생할 수 있음에 유의해야 한다.

V. 결론

본 논문은 드론에 대한 기존의 종류 분류 방법의 한계를 극복하기 위해 RF 신호 분석을 통한 드론의 종류 탐지 방법을 제안하고, 그 효율성에 대해 논하였다. Wavelet 변환, Spectrogram, Image 처리 기술을 활용하여 드론을 성공적으로 분류하였다. 각 방법의 효율성을 비교한 결과, 본 연구에서 새롭게 제안한 Image 기반의 모델은 실시간 환경에서 높은 정확도를 유지하며 탐지 속도의 향상을 도출한 것을 확인할 수 있었다. 본 논문에서 제안한 Image 기반의 모델은 시각적 및 환경적 장애물을 극복할 뿐만 아니라, 다양한 신호 강도를 가진 드론의 종류에 대한 분류를 효과적으로 수행하는데 유효함을 입증하였다. 향후 연구에서는 더 다양한 유형의 드론을 대상으로 종류 분류 정확도를 검증할 예정이고, 동일 회사의 같은 드론에 대한 분류도 가능한지 추가 연구를 진행할 계획이다.