DOI QR코드

DOI QR Code

A General Acoustic Drone Detection Using Noise Reduction Preprocessing

환경 소음 제거를 통한 범용적인 드론 음향 탐지 구현

  • Received : 2022.09.13
  • Accepted : 2022.10.05
  • Published : 2022.10.31

Abstract

As individual and group users actively use drones, the risks (Intrusion, Information leakage, and Sircraft crashes and so on) in no-fly zones are also increasing. Therefore, it is necessary to build a system that can detect drones intruding into the no-fly zone. General acoustic drone detection researches do not derive location-independent performance by directly learning drone sound including environmental noise in a deep learning model to overcome environmental noise. In this paper, we propose a drone detection system that collects sounds including environmental noise, and detects drones by removing noise from target sound. After removing environmental noise from the collected sound, the proposed system predicts the drone sound using Mel spectrogram and CNN deep learning. As a result, It is confirmed that the drone detection performance, which was weak due to unstudied environmental noises, can be improved by more than 7%.

다양한 장소에서 드론이 활발하게 이용되면서 비행금지구역 내 불법 침입, 정보 유출, 항공기 충돌 등의 위험이 증가하고 있다. 이러한 위험을 줄이기 위해 비행금지구역으로 침입하는 드론을 탐지할 수 있는 시스템 구축이 필요하다. 기존의 드론 음향 탐지 연구는 탐지 모델에 환경 소음에 노출된 드론 음향을 그대로 학습시켰기 때문에 환경 소음에 독립적인 성능을 얻지 못했다. 이에 본 논문에서는 다양한 공간에서 환경 소음에 노출된 드론 음향을 명확하게 탐지하기 위해 주변 환경 소음을 별도로 수집하고, 드론 음향 신호에서 환경 소음을 제거하여 시끄러운 환경 속에서도 견고한 성능을 나타내는 범용적인 드론 탐지 시스템을 제안한다. 제안하는 시스템은 수집한 드론 음향 신호에서 환경 소음을 제거한 후 Mel Spectrogram 특성추출과 CNN 딥러닝을 이용하여 드론 존재 여부를 예측하였다. 실험 결과, 환경 소음으로 인해 감소했던 드론 탐지 성능을 7% 이상 향상시킴을 확인하였다.

Keywords

I. 서론

드론의 비행은 많은 위험을 발생시킬 수 있어 다양한 사회적 문제점으로 대두되고 있다[1-3]. 국가 중요시설에서 드론에 의한 정찰, 테러 공격 같은 위협도 증가하고 있다. 드론이 비행장과 같은 비행 금지구역(No-Flight Zone) 내에서 비행하게 될 경우, 항공기와 충돌하는 사고가 발생할 수 있다. 이러한 충돌 사고를 방지하기 위해 항공기일정을 지연시키는 등 경제적인 손해를 입힌다[4-5]. 독일의 공항에서 2020년 한 해동안 92 건의 드론 관련 침입 사건이 보고되었으며, 그 중 3분의1이 항공교통에 심각한 지장을 초래했다[6]. 국가 중요시설 내 드론의 불법 침입으로 인해 기밀 정보가 유출되거나, 직접 폭발물을 옮겨 공격에 피해를 입을 수 있다[7]. 2019년 9월 사우디아라비아 국영 석유회사의 최대규모의 정유시설이 드론에 탑재된 폭탄에 의해 폭파되어 막대한 피해를 입었다[8]. 이러한 사건이 발생한 지역에는 안티드론 시스템을 구비하지 않았기 때문에 드론의 침입을 허용하게 되어 사고를 방지하지 못 했다. 따라서 드론의 불법 침입으로 인한 위험을 줄이기 위해 드론의 침입을 탐지할 수 있는 기술에 대한 필요성이 증가하고 있다.

드론의 침입을 탐지하기 위해 여러 분야에서 활용되는 기술들이 제안되고 있고, 각 기술의 제한점을 극복하기 위한 연구가 진행되고 있다. 드론 탐지 기술은 센서를 사용하여 드론에서 방출되는 주파수, 소리, 열 등과 같은 신호를 수집하고 드론의 침입 여부를 탐지한다. 이렇게 드론에서 방출되는 신호를 수집하는 기술에 따라 주파수, 음향, 이미지, 레이더 등 4가지로 나누어진다[9]. 드론 탐지 기술 중 하나인 음향기반 탐지 기술은 저렴한 구축 비용과 시야 및 기상에 제한점이 없는 장점이 있지만, 환경 소음에 성능이 좌우되는 단점을 가지고 있다[10-11].

음향 탐지 기술의 한계점을 해결하기 위해 드론의 음향 신호를 강화하고 환경 소음을 감소시키는 기술이 필요하다[12]. 본 논문은 드론 음향 신호를 강화하면서 환경 소음을 감소시키는 전처리 과정을 수행하는 듀얼 마이크 음향 탐지 시스템을 제안한다. 제안한 시스템은 2개의 마이크를 통하여 음향 신호를 수집하고, 환경 소음의 평균 노이즈를 제거하여 드론 신호를 증가시킴과 동시에 잡음을 감소시킴으로써 낮은 신호대잡음비(Signal to Noise Ratio)를 나타내는 시끄러운 환경에도 견고한 성능을 나타냈다. 추가로 다양한 환경 소음에 노출된 상황에서 검증하기 위해 도심, 공원, 도로변 등 다양한 환경에서 드론 소리를 수집하여 제안한 드론 탐지 시스템의 범용성을 확인했다.

II. 관련 연구

드론 탐지에 활용되는 기술 중 음향 기반 탐지 시스템은 단거리(약 200m 이하)에서 효과적이고 실현 가능한 기술이다[13-14]. 드론은 비행하기 위해 뚜렷한 음향 신호를 생성하며, 이를 통해 효과적으로 드론을 탐지 및 분류할 수 있다[15]. Nijim과 Mantrawadi[16]는 드론의 프로펠러가 발생하는 소리를 통해 드론의 종류를 분류하였다. 그들은 드론 음향 데이터로부터 주파수 및 음량 패턴을 추출하고 이를 통해 효과적으로 드론을 식별 및 분류할 수 있음을 주장했다. Bernardini 등[17]은SupportVector Machine을 사용하여 드론 음향 서명을 학습하고 탐지하는 시스템을 제안했다. 그들은단기간 및 중기간으로 오디오를 분할 후 단계별 특성을 추출하고 SVM 알고리즘을 통해 드론을 탐지하는시스템을 제작했다. Anwar 등[18]은 드론 소리에서 주요한 특성을 추출하기 위한MFCC(Mel Frequency cepstral coefficients) 기술과 다양한 SVM 커널로 드론을 탐지했고 높은 정확도의 탐지 성능을 달성함을 확인했다.

표준 머신러닝 알고리즘은 음향 분류과정에서 합리적인 성능을 제공해줄 수 있지만, 딥러닝 알고리즘을 사용하여 탐지 모델을 제작할 경우 더욱 정교한 성능을 출력할 수 있다[19-20]. Al-Emadi 등[21]은 음성 인식에서 잘 알려진 딥러닝 알고리즘인CNN(Convolutional Neural Network),RNN(Recurrent Neural Network),CRNN(Convolutional Recurrent Neural Network)를 사용하여 효과적인 성능을 도출했다. Yang 등[22]은 MFCC 및 STFT를 통해 음향 신호에서 특성을 추출한 후 SVM과 CNN 두가지 유형의 모델을 훈련했다. 음향 신호는20m범위에서 음향 수집 시스템의 구조를 변형하며 다양한 음향 신호를 수집했다. Kolamunna 등[23]은 공개드론 음향 데이터세트의 부족을 지적하며 온라인 음향 소스로 데이터 세트를 증강시키는 방법을 제안했다. 그들은 드론 13개 종류의 음향을 혼합시킨 데이터세트로 분류 성능을 86%까지 달성했다. Dong등[24]은 드론의 존재 여부를 구별하기 위해Log-멜스펙트로그램과 MFCC를 사용하여 특성을 추출하고 CNN 네트워크를 통해 탐지했다.

실제 드론의 음향을 마이크로 수집하게 되면 환경소음도 함께 수집되기 때문에 마이크의 성능 및 환경소음의 학습과 관련된 연구가 진행됐다. Liu등[25]은 30대의 카메라와 3개의 마이크를 사용하는 하이브리드 탐지 시스템을 제안했다. Christnacher등[26]은 드론의 탐지 및 추적을 위해 저격 위치 추적용으로 개발된 음향 안테나 어레이를 활용했다. 하지만 제안된 탐지 시스템은 탐지거리가 증가하였으나 방위각이 좁아지는 결과를 보였다. Busset 등[27]은 120개의 마이크 어레이와 카메라로 구성된 드론 탐지 시스템을 제안했다. 제안된 마이크 어레이는 지향성 마이크보다 우수한 성능을 달성했다. Shi 등[2]은 마이크 어레이를 통한 드론 탐지 및 위치 추적 시스템을 제안했다. 그들은 4개의 마이크가 장착된 마이크 어레이 1쌍을 통해 드론 음향을 수집했다. Sedunov 등[28]은 도착 방향 기반 드론 탐지 및 추적 시스템을 제안했다. 그들은 여러 형태의 마이크 어레이 노드를 구성하여 시스템의 성능을 평가했다. Jeon 등[29]은 실제 드론 비행 소리와 배경 음향 데이터 세트를 결합하여 데이터를 보강하여 연구를 진행했다. 논문에서는 음향 분류에 자주 사용되는 세가지 딥러닝 모델로 실험을 수행했지만, 학습되지 않은 음향 데이터에는 다소 성능이 떨어졌다. Uddin 등[30]은 독립 벡터 분석(IVA)을 사용하여 환경 소음과 드론 음향 신호를 분리하는 전처리 과정을 제안했다. 그들은 제안한 음향 분리 알고리즘을 통해 환경 소음이 혼합된 음향에서도 효과적으로 드론의 존재 여부를 탐지했다. Aydın과 Kızılay[31]은 환경 소음이 큰 공간에서 드론을 탐지하기 위한 경량합성곱 신경망(Light-Weight CNN)을 제안했다. 논문은 멜 스펙트럼 기반 음향 처리와 저차원CNN구조를 사용하여 짧은 시간 안에 효과적인 탐지 성능을 달성했다.

III. 제안 방법

기존 문헌에는 환경 소음이 포함된 장소에서 드론 음향 탐지 성능을 향상시키기 위해다수의 마이크 어레이를 구성하거나, 환경 소음을 딥러닝 모델에 직접 학습시키려는 연구가 제안되었다. 하지만 이러한 연구는 신호대잡음비가 낮아질 경우나 학습하지 않은환경 소음이 존재하는 공간에서는드론 탐지 성능을 유지하기 어려운 제한점이 존재한다. 반면 제안된시스템은 드론 음향 신호에서 환경소음을 제거하여 학습하지 않은 공간에서도 안정적인 성능을 나타낸다. Table 1.와 같이 제안된 방법은 기존의 연구와 달리 두 개의 마이크 어레이를 사용하며, 소음 제거 전처리 과정을 추가하였다. 또한, 평가 단계에서는 딥러닝 모델 학습에 사용했던 데이터세트를 사용하지 않고 다양한 환경에서 직접 수집한 드론 음향 신호를 통해 기존 연구에서 확인할 수 없던 탐지 모델 성능의 범용성을 검증하였다.

Table 1. Comparison of drone detection methods

JBBHCB_2022_v32n5_881_t0001.png 이미지

본 논문에서는 듀얼 마이크로 수집되는 음향 신호를 합성하는 전처리 과정을 통한 수집되는 드론 신호를 강화시키고 환경 소음을 감소시키는 드론 탐지 시스템을 제안한다. 제안된 시스템의 프로세스는 Fig. 1.과 같이 크게 2가지 부분으로 구성되어 있다. 모델 학습 과정에는 드론 음향 신호 관련 공개 데이터 세트를 사용하여 모델을 학습하여 특정한 환경 소음에 노출되지 않은 일반적인 드론 탐지 모델을 생성했다. 그리고 모델 평가 과정에는 다양한 장소에서 수집한 실제 드론 음향 신호와 환경 소음 신호를 사용하여 전처리를 수행한 후 평가 과정을 진행했다. 본 논문에서 모델 학습 및 평가에 사용된 음향 신호는 멜 스펙트로그램 이미지로 변환한 후 CNN 딥러닝 모델의 학습 및 평가 데이터로 사용했다.

JBBHCB_2022_v32n5_881_f0001.png 이미지

Fig. 1. Acoustic drone detection process with environmental noise reduction

3.1 음향 신호 수집

딥러닝 모델 학습 과정에서 사용한 데이터세트는 공개 데이터 세트인 “Drone audio dataset”를 사용하였다[14]. 이 데이터세트는 드론 음향이 포함된 양성 음향 신호 데이터와 드론 음향이 포함되지 않은 음성 음향 신호 데이터로 구성되어 있다. 양성 음향 신호 데이터는 조용한 실내 환경에서 드론이 정지 비행하는 소리를 수집하여 수집된 소리를 1초 단위로 분할 처리한 소리 데이터이며, 양성 음향 신호 데이터로 레이블링 되어있다. 그리고 드론 음향이 포함되어 있지 않고 구분되지 않은 다양한 음향 신호 데이터는 음성 음향 신호 데이터로 레이블링 되어있다. 이렇게 레이블링 되어있는 데이터세트는 1332개의 양성 음향 신호와 10372개의 음성 음향 신호로 구분되어 각각 1초 길이의 WAV 형식 음원 파일로 제공된다.

환경 소음이 포함된 드론 음향 신호 데이터세트는 MEMS(Micro ElectroMechanical System) 마이크가 탑재된 Galaxy S22 2대를 1m 간격으로 설치하고, 드론(DJI Mini 2)을 실제 환경에서 직접 비행하여 음향 신호를 수집했다. 드론은 마이크로부터 20m 이격된 거리에서 고도2m로 정지 비행하면서 드론에서 발생하는 소리를 수집했다. 이과정에서 각 스마트폰은 48kHz의 샘플링 주파수와 256kbps의 비트 전송률인 WAV 형식으로 도심옥상, 도로변, 공원, 하천변에서 각각 5 분 동안 소리를 수집하여 총 20분의 오디오 클립을 생성했다.

드론 음향 신호를 수집하는 과정에서 음향 신호를 선명하게 수집하기 위한 마이크 설치 위치의 선정이 필요하다. 마이크를 설치할 때 실내, 구조물, 나무등 장애물에 영향을 받지 않는 실외에서 주위 사물과 이격하여 드론 음향 신호에 감쇠 또는 왜곡이 발생하지 않도록 설치해야 원활한 소음 제거 및 드론 탐지 성능 출력이 가능했다.

3.2 환경 소음 제거

환경소음 제거 전처리를 진행하기 위해 수집된 음향 신호를 샘플링 속도 22kHz, 1초단위로 분할하여 일정한 길이의 음향 신호로 변환했다. 분할된 드론 음향 신호는 Fig. 2.에서 보는 것처럼 FFT(Fast Fourier Transform)를 통하여 신호에 대한 주파수 정보로 변환한 뒤 소음 제거 과정을 진행한다. 이때 환경 소음을 별도로 추출하여STFT(Short-Time Fourier Transform) 기반 노이즈를 분석하고 노이즈의 평균값을 드론 음원 스펙트럼에서 제거하는 방식으로 드론 음원에 포함된 환경 소음을 제거한다. 소음이 제거된 스팩트럼은 드론 음원의 페이즈에 맞추어 복구한 후 IFFT(Inverse Fast Fourier Transform)을 사용하여 음향 신호로 복원한다. 환경 소음 제거를 위한 Spectral subtraction 과정을 수식으로 나타내면 다음과 같다.

JBBHCB_2022_v32n5_881_f0002.png 이미지

Fig. 2. Signal enhancement process usingspectral subtraction

\(|\hat{X}(f)|=|Y(f)|-\alpha \overline{|N(f)|} \)        (1)

수식 (1)에서 \(|\hat{X}(f)|\)은 드론 신호로 추정하는 신호 스팩트럼이고 |Y(f)| 는 드론과 노이즈가 포함된 신호 스펙트럼, 그리고 \(\overline{|N(f)|} \)은 노이즈 및 잡음의 평균 스펙트럼을 의미한다. α는 제거하려는 노이즈 의 양을 조절하는 값이다.

3.3 음향 합성 및 특성추출

환경 소음을 제거한 두 개의 음향 신호는 하나의 음향 신호로 합성했다. 이를 통해 각 마이크에 수집 된 드론 소리는 증가되고, 환경 소음 제거 과정으로 제거되지 않은 잡음 소리는 감소될 수 있다. Fig. 3.은 본 논문에서 이용한 드론 음향 신호 원음 파형과 환경 소음 제거 과정을 수행한 파형의 스펙트럼을 나타낸 것이다. 기존 파형보다 소음 제거를 통한 파형이 드론 특성을 뚜렷하게 보인다.

JBBHCB_2022_v32n5_881_f0003.png 이미지

Fig. 3. Signal enhancement spectrum before & after using noise cancellation

앞의 과정에서 합성한 음향 신호로부터 특성을 추출하기 위해 멜 스펙트로그램 변환을 사용했다. 변환 과정은 음향 신호를 시간-주파수 영역으로 STFT 수행하고 주파수 간격을 멜 필터(Mel-Filter) 간격으로 조정하는 과정으로 진행했다. 멜스펙트로그램은 스펙트럼의 주파수를 식 (2)와 같이 Hz 단위에서 Mel-scale로 변환하여 표현한다.

\(M(f)=2595 x \log _{10}\left(\frac{f}{700}+1\right) \)       (2)

M(f)은 멜 스펙트로그램의 스케일 단위이며, f는 원 음향 신호 스펙트럼의 주파수(Hz)이다.

3.4 딥러닝 모델 학습

딥러닝 모델의 학습은 3.1절에서 수집한 공개 데이터세트인 “Drone audio dataset”을사용하였고, 데이터세트의 양성 음향 신호 및 음성 음향 신호로 레이블링된 음향 신호 세트를 통해 학습했다. 모델을 학습시키기 위하여 데이터세트의 음향 신호를 크기가128 × 55인 멜 스펙트로그램 데이터로 변환한 후, 학습 및 검증용 하위 세트를 위해 8:2의 비율로 데이터세트를 분할하였다.

학습 모델은 딥러닝 알고리즘인 CNN을사용했다. CNN은 Table 2.와 같이 모델을 구성하였고 filter 16, kernel size 2, activationrelu, epochs 20, batch size 8로 파라미터 및 모델 학습 방식을 지정하여 진행했다. 학습된 CNN 모델은 검증 데이터세트를 사용하여 드론 탐지 성능을 검증한 결과는 정확도 0.9855로 우수한 성능을 나타냈다. CNN 모델은 학습 과정에 사용된 음향 신호와 유사한 특징을 가지는 검증 데이터세트로 검증할 시 정상적으로 드론 탐지가 가능했다.

Table 2. Layer summary of CNN model

JBBHCB_2022_v32n5_881_t0002.png 이미지

Total params: 43,570

Trainable params: 43,570

IV. 실험 결과

본 논문이 제안한 환경 소음 제거를 위한 전처리와 음향 신호 특징추출 및 딥러닝 과정은 Intel(R) Core(TM) i7-7700K CPU와 32GiB 메모리가 탑재된 데스크탑 컴퓨터에서 Jupyter notebook 및 파이썬(python) 언어를 통해 작성되어 진행되었다.

4.1 실험 결과

본 논문에서 제안한 시스템을 통해 전처리 된 실외 드론 음향 신호와 환경 소음 제거 전처리를 수행하지 않은 드론 음향 신호를 각각 입력값으로 하여 드론 음향 탐지 모델에서 드론 유무를 탐지하였고 출력된 탐지 성능을 비교하였다. 평가에 사용한 실외 드론 음향 데이터는 드론 음향이 포함되어있는 904개의 양성 음향 신호와 드론 음향이 포함되어있지 않은 2616개의 음성 음향 신호로 레이블링되어 있다.

모델 학습에 사용한 데이터로 모델을 평가한 경우와 실제 음향 신호로 모델을 평가한 경우 그리고 환경 소음을 제거한 음향 신호로 모델을 평가한 경우 각각의 성능은 Table 3.와 같이 나타났다. 모델 학습 과정에서 확인한 결과와 같이 학습 데이터세트와 유사한 특징을 가지는 검증 데이터세트를 사용한 경우 정확도 98.55%의 우수한 탐지 성능을 나타냈지만, 학습되지 않은 실외 드론 음향 데이터를 사용한 경우 드론 탐지 성능의 정확도가80.14%까지 급격히 하락했다. 특히 환경 소음이 큰 도심, 도로변의 경우 정확도가 75.05%, 77.66%와 같이 보이며 환경 소음으로 인한 성능 감소가 더 급격하게 나타났다. 드론 음향 수집 과정에서 환경 소음이 크게 포함되어 신호대잡음비가 낮아졌기 때문에, 환경소음사이에서 드론 음향 특성을 식별하는 것이 제한되어 탐지 성능에 악영향을 주는 것으로 확인할 수 있다.

Table 3. Evaluate accuracy and delay

JBBHCB_2022_v32n5_881_t0003.png 이미지

본 논문에서 제안하는 방법을 통해 환경소음을 제거한 음향 신호로 탐지한 결과 정확도가86.14%로 상승하여 7% 이상의 성능 향상을 나타내며, 환경 소음 제거 전처리가 학습되지 않은 환경에서 드론 탐지 성능에 긍정적인 효과를 주는 것을 알 수 있다. 하지만 전처리 과정에서 환경 소음을 제거하기 위해 음향 데이터를 FFT 변환및IFFT변환,Spectral Subtraction 하는 전처리 과정이 추가되면서 기존의 환경 소음 제거가 없는 드론 탐지보다 약 3초의 추가적인 시간 지연이 발생하게 되었다.

4.2 실험 결과 분석

드론 탐지 성능은 신호대잡음비에 의존적이기 때문에 환경 소음을 탐지 모델에 직접학습하는 것은 지역에 특화된 탐지 모델을 제작하는데 적합할 수 있다. 하지만 이렇게 제작하는 드론 탐지 모델은 다양한 드론 음향이 포함되어 있는 온라인 드론 음향 데이터를 사용하지 못하거나, 각 환경에 맞추어 별도로 환경 소음과 드론 음향의 증강 과정과 모델 학습 시간이 필요하기 때문에 범용성이 떨어진다.

기존 선형 연구와 제안하는 방법의 탐지 모델과 평가방법에 따른 비교는 Table 4와 같이 나타난다.기존 연구에서는 환경 소음을 결합하여 별도의 데이터세트를 제작한 후 드론 음향 탐지 모델을 새롭게 학습해야 하기 때문에 구현에 시간이필요하지만, 본 논문에서 제안한 방법을 이용하는 경우 기존에 구현한 드론 탐지 모델을 그대로 사용할 수 있으므로 특정 장소에서 드론의 침입을 거부하는데 즉각적인 효과를 발휘할 수 있다.

Table 4. Comparison of detection model and Evaluation metrics

JBBHCB_2022_v32n5_881_t0004.png 이미지

기존 연구와 비교하여 제안한 방법은 전처리 과정을 추가함으로써 드론 음향 발생으로부터 탐지까지의 시간이 약 3초이상 더 필요한 제한점을 갖고 있다.이러한 지연시간은 빠르게 이동하는 드론의 침입에 대응하는데 부정적인 영향을 끼칠수있다. 음향기반 탐지기술의 탐지 범위는 약 200m 내외로, 10m/s 의 속도로 비행하는 드론의 경우 외부에서 목표 지점으로 침투하는데 약 20초 정도 소요될 것을 알 수 있다. 침투하는 시간이 짧기 때문에 지연시간은 적게 발생할수록 드론을 조기에 발견하고 거부하기 유리하다, 제안하는 방법은 전처리 과정이 추가되어 지연시간이 길어지게 됨에 따라 반응시간이 늦어지게 되는 한계점이 존재하나, 기존 연구들에서 나타난 지연시간과 큰 차이를 발생시키지 않는다. 또한 제안한 방법은 큰 환경 소음에 노출된 공간에서 데이터를 수집하였기 때문에, 환경 소음 제거 전처리를 수행했지만 선형 연구들에 비교하여 평가지표가 낮게 나오는 제한점이 존재한다.

드론 탐지의 성능은 정밀한 소음 제거 기술이 사용될수록 탐지 성능이 높아질 것이다. 본 논문의 실험에서 사용한 환경 소음 제거 과정은 환경 소음 제거를 위한 간단한 알고리즘을 통해 구현되어 지연시간의 발생과 정교한 소음 제거를 수행하지 못했다. 실시간으로 환경 소음을 제거하는 적응형 노이즈 캔슬링(Active Noise Cancelling)을 적용한다면 짧은 지연시간과 함께 더욱 정교한 탐지성능을 도출해 낼 수 있을것으로 예상된다.

V. 결론

본 논문에서는 환경 소음이 드론 탐지 모델의 성능에 부정적인 영향을 보이기 때문에, 이를 제거하기 위해 듀얼 마이크로 드론 음향신호를수집하고, 환경 소음의 평균 노이즈를 감산하는시스템을 제안했다. 드론 음향 신호를 처리하기 위해 스마트폰 MEMS 마이크로 녹음하였고 멜 스펙트로그램 데이터로 변환하여 음향 신호의 특징을 추출한후 CNN딥러닝 모델을 사용하여 탐지하였다. 수집된 음향 신호는 평균 환경 소음을 감산한 후 음원으로 복원하여 음향 신호 수집 및 전처리 과정에서 발생할 수 있는 잡음을 억제하고 드론 음향 신호를 증폭하였다.

제안된 시스템은 환경 소음으로 인한 드론 탐지 모델의 성능을 기존 문헌 방식에 따른모델 성능인 80.14%에서 제안한 시스템의 성능인 86.14%로 7% 이상 탐지 성능을 보완하며, 학습되지 않은 다양한 환경에서도 드론 탐지가 가능함을 확인하였다.이를 통해 특정 지역에서 발생하는 환경 소음을 합성하여 데이터세트를 별도로 제작하고, 탐지 모델을 다시 학습하지 않아도, 온라인 등에서 수집할 수 있는 다양한 드론 음향 데이터가 포함된 양질의 데이터세트를 사용하여 범용적인 모델을 사전에 구성해 놓을수 있으며, 이를 통해 즉각적으로 드론 탐지 시스템을 설치하여 드론 침입을 탐지할 수 있음을 보였다.

하지만 본 논문에서는 소음 제거를 위한 환경소음 수집 과정이 실시간으로 이루어지지 않고 평균환경 소음을 제거했기 때문에 소음 제거 과정의 정밀성이 낮고 지연시간이 발생하였다. 이 문제를 실시간환경 소음 제거 등의 기술을 통하여 해결하면 더욱 높은 성능으로 드론을 탐지할 수 있을 것이다.

향후 연구에서는 실외 드론의 음향을 수집함과 동시에 환경 소음을 독립적으로 수집할 수 있도록 지향성 마이크를 혼합한 마이크 어레이를 구현하여 적응형 노이즈 캔슬링을 적용한 드론탐지를 수행할 예정이다. 더욱 효과적으로 환경 소음을 제어하여 낮은 신호대잡음비의 음향 신호에서도 딥러닝 모델의 탐지성능을 더욱 높일 예정이다.

References

  1. A. Choi-Fitzpatrick, "Drones for good:technological innovations, social movements, and the state," Journal of International Affairs, vol. 68, no. 1, pp. 19-36, Oct. 2014.
  2. Z. Shi, X. Chang, C. Yang, Z. Wuand J. Wu, "An acoustic-based surveillance system for amateur drones detection and localization," IEEE transactions on vehicular technology, vol. 69, no. 3, pp. 2731-2739, Jan. 2020. https://doi.org/10.1109/tvt.2020.2964110
  3. I. Guvenc, F. Koohifar, S. Singh, M.L. Sichitiu and D. Matolak, "Detection, tracking, and interdiction for amateur drones," IEEE Communications Magazine, vol. 56, no. 4, pp. 75-81, Apr. 2018. https://doi.org/10.1109/mcom.2018.1700455
  4. D. Gettinger and A.H. Michel, "Drone sightings and close encounters: an analysis," Center for the Study of the Drone, Bard College, Dec. 2015.
  5. S. Park, H.T. Kim, S. Lee, H. Joo and H. Kim, "Survey on anti-drone systems: components, designs, and challenges," IEEE Access, vol. 9, pp. 42635-42659, Mar. 2021. https://doi.org/10.1109/ACCESS.2021.3065926
  6. DFS Deutsche Flugsicherung GmbH, "Drones Still a Problem Even with Little Traffic," https://www.dfs.de/homepage/en/media/press/2021/18-01-2021-drones-still-a-problem-even-with-little-traffic/, Jan. 2021.
  7. J.P. Yaacoub, H. Noura, O. Salman and A. Chehab, "Security analysis of drones systems: Attacks, limitations, and recommendations," Internet of Things, vol. 11, pp. 100218, Sep. 2020.
  8. The New York Times, "Two major Saudi oil installations hit by drone strike, and US blames Iran," https://www.nytimes.com/2019/09/14/world/middleeast/saudi-arabia-refineries-drone-attack.html, Sep. 2019.
  9. M.A. Khan, H. Menouar, A. Eldeeb, A. Abu-Dayya and F.D. Salim, "On the detection of unauthorized drones-techniques and future perspectives: a review," IEEE Sensors Journal, vol. 22, no. 12, pp.11439-11455, Apr. 2022. https://doi.org/10.1109/JSEN.2022.3171293
  10. S. Jamil, M. Rahman, A. Ullah, S.Badnava, M. Forsat andS.S.Mirjavadi, "Malicious uav detectionusing integrated audio andvisual features for public safetyapplications," Sensors, vol. 20, no. 14,pp. 3923, Jul. 2020.
  11. U. Seidaliyeva, D. Akhmetov, L.Ilipbayeva and E.T. Matson,"Real-time and accurate dronedetection in a video with astaticbackground," Sensors, vol. 20, no. 14,pp. 3856, Jul. 2020.
  12. Y. Seo, B. Jang and S. Im, "Dronedetection using convolutional neural networks with acoustic stft features," In 2018 15th IEEE International Conference on Advanced VideoandSignal Based Surveillance (AVSS),pp. 1-6, Nov. 2018.
  13. X. Shi, C. Yang, W. Xie, C. Liang, Z.Shi and J. Chen, "Anti-drone systemwith multiple surveillancetechnologies: architecture,implementation, and challenges," IEEE Communications Magazine, vol.56, no. 4, pp. 68-74, Apr. 2018. https://doi.org/10.1109/mcom.2018.1700430
  14. A. Rabaoui, M. Davy, S. Rossignol and N. Ellouze, "Using one-class SVMs and wavelets for audiosurveillance," IEEE Transactionson information forensics and security, vol. 3, no. 4, pp. 763-775, Nov. 2008. https://doi.org/10.1109/TIFS.2008.2008216
  15. S. Salman, J. Mir, M.T. Farooq, A.N.Malik and R. Haleemdeen, "Machinelearning inspired efficient audio dronedetection using acoustic features," In 2021 International BhurbanConference on Applied Sciences andTechnologies (IBCAST), pp. 335-339,Jan. 2021.
  16. M. Nijim and N. Mantrawadi, "Drone classification and identification system by phenome analysis using data mining techniques," In 2016 IEEE Symposium on Technologies for Homeland Security (HST), pp. 1-5, May. 2016.
  17. A. Bernardini, F. Mangiatordi, E. Pallotti and L. Capodiferro, "Drone detection by acoustic signature identification," Electronic Imaging, vol. 29, no.10, pp. 60-64, Jan. 2017.
  18. M.Z. Anwar, Z. Kaleem and A. Jamalipour, "Machine learning inspired sound-based amateur drone detection for public safety applications," IEEE Transactions on Vehicular Technology, vol. 68, no.3, pp. 2526-2534, Jan. 2019. https://doi.org/10.1109/tvt.2019.2893615
  19. P. Casabianca and Y. Zhang, "Acoustic-based uav detection using late fusion of deep neural networks," Drones, vol. 5, no. 3, pp. 54. Jun. 2021.
  20. D. Utebayeva, A. Almagambetov, M. Alduraibi, Y. Temirgaliyev, L. Ilipbayeva and S. Marxuly, "Multi-label uav sound classification using stacked bidirectional lstm," 2020 4th IEEE International Conference on Robotic Computing (IRC), pp. 453-458, Nov. 2020.
  21. S. Al-Emadi, A. Al-Ali, A. Mohammad and A. Al-Ali, "Audio based drone detection and identification using deep learning," 2019 15th International Wireless Communications & Mobile Computing Conference (IWCMC), pp. 459-464, Jun. 2019.
  22. B.Yang, E.T. Matson, A.H. Smith, J.E. Dietz and J.C. Gallagher, "Uav detection system with multiple acoustic nodes using machine learning models," 2019 3rd IEEE International Conference on Robotic Computing(IRC), pp. 493-498, Feb. 2019.
  23. H. Kolamunna, T. Dahanayaka, J. Li,S. Seneviratne, K. Thilakaratne, A.Y.Zomaya and A. Seneviratne,"Droneprint: acoustic signaturesforopen-set drone detectionandidentification with online data," Proceedings of the acmon interactive,mobile, wearable and ubiquitoustechnologies, vol. 5, no. 1, pp. 1-31,Mar. 2021.
  24. Q. Dong, Y. Liu and X. Liu, "Dronesound detection systembasedonfeature result-level fusion usingdeeplearning," Multimedia Tools andApplications, pp. 1-23, Jun. 2022.
  25. H. Liu, Z. Wei, Y. Chen, J. Pan, L.Lin and Y. Ren, "Drone detectionbased on an audio-assisted cameraarray," 2017 IEEE 3rd International Conference on Multimedia BigData(BigMM), pp. 402-406, Apr. 2017.
  26. F. Christnacher, S. Hengy, M.Laurenzis, A. Matwyschuk, P. Naz, S.Schertzer and G. Schmitt, "Optical and acoustical uav detection," Electro-Optical Remote SensingX,Vol. 9988, pp. 83-95, Oct. 2016.
  27. J. Busset, F. Perrodin, P. Wellig, B.Ott, K. Heutschi, T. Ruhl and T.Nussbaumer, "Detection and trackingof drones using advanced acousticcameras," Unmanned/UnattendedSensors and Sensor Networks XI; andAdvanced Free-Space Optical Communication Techniques andApplications, Vol. 9647, pp. 53-60,Oct. 2015.
  28. A. Sedunov, D. Haddad, H. Salloum,A. Sutin, N. Sedunov and A.Yakubovskiy, "Stevens drone detectionacoustic system and experimentsinacoustics uav tracking," 2019 IEEE International Symposium on Technologies for Homeland Security (HST), pp. 1-7, Nov. 2019.
  29. S. Jeon, J.W. Shin, Y.J. Lee, W.H. Kim, Y. Kwon and H.Y. Yang, "Empirical study of drone sound detection in real-life environment with deep neural networks," 2017 25th European Signal Processing Conference (EUSIPCO), pp. 1858-1862, Aug. 2017.
  30. Z. Uddin, J. Nebhen, M. Altaf andF.A. Orakzai, "Independent vectoranalysis inspired amateur dronedetection through acoustic signals," IEEE Access, vol. 9, pp. 63456-63462,Apr. 2021. https://doi.org/10.1109/ACCESS.2021.3074966
  31. I. Aydin and E. Kizilay, "Development of a new light-weight convolutional neural network for acoustic-basedamateur drone detection," AppliedAcoustics, vol. 193, pp. 108773, May.2022.