Deep Learning based Abnormal Vibration Prediction of Drone

딥러닝을 통한 드론의 비정상 진동 예측

Abstract

In this paper, in order to prevent the fall of the drone, a study was conducted to collect vibration data from the motor connected to the propeller of the drone, and to predict the abnormal vibration of the drone using recurrent neural network (RNN) and long short term memory (LSTM). In order to collect the vibration data of the drone, a vibration sensor is attached to the motor connected to the propeller of the drone to collect vibration data on normal, bar damage, rotor damage, and shaft deflection, and abnormal vibration data are collected through LSTM and RNN. The root mean square error (RMSE) value of the vibration prediction result were compared and analyzed. As a result of the comparative simulation, it was confirmed that both the predicted result through RNN and LSTM predicted the abnormal vibration pattern very accurately. However, the vibration predicted by the LSTM was found to be 15.4% lower on average than the vibration predicted by the RNN.

본 논문에서는 드론의 추락을 예방하기 위해 드론의 프로펠러와 연결된 모터로부터 진동 데이터를 수집하고 순환 신경망(recurrent neural network, RNN)과 long short term memory (LSTM)을 사용하여 드론의 비정상 진동을 예측하는 연구를 진행하였다. 드론의 비정상 진동 데이터를 수집하기 위해 드론의 프로펠러와 연결된 모터에 진동 센서를 부착하여 정상, 바(bar) 손상, 로터(rotor) 손상, 축 휨에 대한 진동 데이터를 수집하고 LSTM과 RNN을 통해 비정상 진동을 예측한 결과의 평균 제곱근 오차 (root mean square error, RMSE) 값을 비교분석 하였다. 시뮬레이션 비교 결과, RNN과 LSTM을 통해 예측한 결과 모두 비정상 진동 패턴을 매우 정확하게 예측하는 것을 확인하였으며 LSTM을 통해 예측한 진동이 RNN을 통해 예측한 진동보다 RMSE값이 평균 15.4% 낮은 것을 확인하였다.

1. 서론

최근 드론은 4차 산업혁명의 중요한 기술 중 하나로 급부상하고 있으며 다양한 산업 분야에서 활용되고 있다. 2017년에 발표된 ‘드론 산업발전 기본계획‘에 따르면 2022 년까지 시장규모는 1.4조 원이며 2026년까지 4조 4, 000억 원으로 성장시키고 사업용 드론 5.3만대를 상용화하는 것을 목표로 설정했다 [1]. 하지만 드론의 보급에 따른 추락에 대한 사고도 급증하고 있으며 최악의 경우 인명 사고까지 이어질 수 있는 큰 위험을 갖고 있다. 한국소비자원의 드론 안전실태 조사에 따르면 드론 이용 경험자 중 20.5%가 안전사고를 경험한 적이 있다고 응답했으며 드론 제품의 불안전성 측면은 프로펠러 부위가 67.0%로 가장 높았고, 모터나 엔진 부분 49.8%, 배터리 및 충전기 46.2% 등의 순으로 발표됐다. 또한, 드론의 임무 수행 중 추락 때에는 위치에 따라 2차 사고로 이어질 수 있는 위험이 매우 크다고 보고하고 있다 [2].

이처럼 드론의 추락은 드론 산업발전의 가장 큰 장애물이다. 특히 미래에는 드론 택시, 드론 택배 등 많은 산업 분야에서 사용될 예정이기 때문에 드론 산업의 발전을 위해선 드론 추락을 예방하기 위한 기술 개발이 필수적이다. 본 논문서는 드론의 추락을 예측하기 위해 드론의 추락의원인 중 고장 빈도가 제일 잦은 모터의 진동으로부터 RNN과 LSTM을 사용하여 비정상적인 진동의 움직임을 예측하였다.

기존 모터의 진동에 대한 고유 진동수와 모양을 분석하여 동적인 특성과 물체에 미치는 영향에 대한 연구가 진행되었다 [3-5]. 또한 모터의 진동으로부터 FFT(fast Fourier transform)와 DWT(discrete wavelet transform)를 사용하여 결함을 감지하는 연구가 진행되었다 [6]. 또한 딥러닝 기술이 발전함에 따라 딥러닝 기술과 LSTM을 사용하여 모터의 진동으로부터 결함을 감지하는 연구가 진행되었다 [7-11]. 하지만 순환 신경망(recurrent neural network, 이하 RNN)과 long short term memory(LSTM)을 통해 드론의 모터로부터 발생하는 비정상 진동 현상을 예측하고 비교 분석한 연구는 아직 진행되지 않았다.

따라서 본 연구에서는 모터의 이상 예측을 위해 드론의 회전하는 모터로부터 진동 데이터를 수집하고 RNN과 LSTM을 통해 진동을 예측하고 두 기술을 통해 예측된 결과와 실제 진동값 사이의 RMSE 값을 비교하였다. 비정상 진동과 결과값을 비교하기 위해 드론의 프로펠러와 연결된 모터로부터 정상 진동과 3가지 비정상 진동을 수집하고 RNN과 LSTM을 사용하여 드론 모터의 정상, 비정상 진동을 예측하는 연구를 진행하였다.

2. RNN과 LSTM

2.1. RNN

RNN은 하나의 입출력 형태를 보이는 심층 신경망 (deep neural network, DNN) 병렬 체인 구조가 연결한 형태로, 과거 학습 결과를 현재 학습에 사용하는 딥러닝 기술이다. RNN의 출력은 이전 계산으로부터 영향을 받기 때문에 시계열 데이터를 처리하는 데 효과적이다. 아래 그림 1 은 RNN의 구조를 나타낸다.

(그림 1) RNN 구조

(Figure 1) RNN structure

그림 1의 t, x, h, c는 각각 타임 스텝(time step), 입력, 출력, 다음 스텝으로의 이동을 의미한다. 본 연구에선 입력값은 모터로부터 수집한 진동값이다. RNN은 하나의 tanh 혹은ReLU(Rectified Linear Unit) 활성화 함수를 가진 구조로 비용함수를 최소화하기 위하여 파라미터를 조정해나가는 방식인 경사 하강법을 사용한다. 따라서 학습 과정에서긴 시퀀스를 처리하는 데 있어서 이전의 정보가 시간의 단계에 따라 소실되는 경사 소실 문제가 발생하여 데이터의 장기 의존성을 고려하는데 한계가 있기 때문에 이러한 한계를 극복하기 위해 LSTM이 제안되었다.

2.2. LSTM

LSTM은 RNN의 장기 의존성 문제를 해결하기 위해 제안한 기술이다 [12]. LSTM은 전체 체인을 관통하는 셀 스테이트(cell state)를 통해 과거 학습 결과를 큰 변함없이 전달하는 구조로 장기 의존성 문제를 해결한다. 아래 그림 2 는 LSTM의 구조를 나타낸 그림이다.

(그림 2) LSTM 구조

(Figure 2) LSTM structure

그림2의 t, x, h, c는 각각 타임 스텝(time step), 입력, 출력, 다음 스텝으로의 이동을 의미한다. 본 연구에선 입력값은 모터로부터 수집한 진동값이다. LSTM은 첫 번째 단계로 시그모이드(sigmoid) 함수를 이용해 삭제할 정보를 결정하고, 두 번째 단계로 또 다른 시그모이드 함수와 tanh 함수를 통해 새로운 정보가 셀 스테이트에 저장될지 판단한다. 세 번째 단계는 셀 스테이트를 업데이트하고 마지막으로 마지막 시그모이드 함수와 셀 스테이트에서 나온 출력을 통과시킨 마지막 tanh 함수로 출력값을 결정한다.

3. 제안한 진동 예측 모델

3.1 진동 예측 모델

아래 그림 3은 드론의 프로펠러와 연결된 모터로부터 진동 데이터를 수집하고 RNN과 LSTM을 통해 비정상 진동을 예측하기 위해 제안한 모델의 순서도를 나타낸다.

(그림 3) 제안한 진동 예측 모델의 순서도

(Figure 3) Flowchart of the proposed vibration prediction model

그림 3의 Data Storage는 모터로부터 수집된 진동 데이터를 저장하고 그중 70%의 진동 데이터는 Training Dataset 에 저장되며 나머지 30%의 진동데이터는 Testing Dataset 에 저장되어 RNN과 LSTM을 통해 예측된 진동 결과값 사이의 RMSE를 비교한다.

Training Dataset에 저장된 데이터는 RNN과 LSTM를 통해 학습하고 미래 30%의 모터의 진동을 예측한다. 그림3 의 Prediction Result-1과 Prediction Result-2는 각각 RNN과 LSTM을 통해 예측된 진동 결과를 의미하며 실제 진동 값과의 차이를 비교하기 위해 Testing Dataset에 저장된 실제 진동 값 사이의 RMSE(root mean square error)를 비교한다.

그림 4는 진동 데이터 수집을 위해 드론의 모터로부터 진동을 측정하는 환경을 나타낸다.

(그림 4) 진동 데이터 수집을 위한 구성

(Figure 4) Configuration for collecting vibration data

진동 데이터 수집을 위해 사용된 드론은 모터의 진동 이외의 다른 진동을 방지하기 위해 드론의 4개 프레임을 움직이지 않게 고정하였으며 모터에 진동 측정 센서를 부착하여 진동 데이터를 수집하였다.

3.2 시뮬레이션 환경

수집한 진동 데이터를 사용하여 진동 예측을 위해 진동데이터는 Google Colaboratory Pro와 TensorFlow의 RNN과 LSTM을 통해 학습하고 진동을 예측한다. 아래 표 2는 시뮬레이션 환경을 나타낸다.

(표 1) 시뮬레이션 환경

(표 1) Simulation environment

또한 RNN과 LSTM의 진동 예측 시뮬레이션을 위한 epoch, hidden layer, batch, evaluation interval은 아래 표 2과같이 설정하였다.

(표 2) RNN과 LSTM의 시뮬레이션 변수 값

(표 2) Simulation parameters of RNN and LSTM

또한 반복되는 가중치를 효율적으로 업데이트하기 위해 Diederik Kingma와 Jimmy Ba가 제안한 Adam(Adaptive Moment Estimation: 적응적 모멘트 추정) 알고리즘을 사용했다 [13].

3.3 RMSE

RNN과 LSTM이 예측한 정확도의 차이를 확인하기 위해 두 기술이 예측한 진동 값과 실제 진동 값 사이의 RMSE 값을 비교 분석하였다. 예측된 진동 값과 실제 진동 값을 비교하기 위한 RMSE는 아래와 같이 정의할 수 있다.

\(\mathrm{RMSE}=\sqrt{\frac{\sum_{i}^{n}\left(P_{i}-A_{i}\right)^{2}}{n}}\)       (1)

여기서 P_i는 예측된 진동 값이며 A_i는 실제 진동 값을 나타낸다.

4. 진동 데이터 수집 및 진동 파형

본 연구에선 드론의 정상 진동을 예측하기 위해 드론의 모터로부터 정상, 그리고 세 가지 유형의 비정상 진동 데이터를 사용하여 드론의 비정상 진동을 예측했다. 표 3는 손상으로 인한 비정상 진동의 종류를 나타낸다. 여기서 드론의 로터는 각 코일을 분리해 주는 역할을 한다.

(표 3) 드론 모터의 3가지 비정상 진동 유형

(Table 3) 3 types of abnormal vibration of the drone motor

표 3과 같이 정상 진동 데이터와 3가지 비정상 진동 데이터 수집을 위해 1, 205 revolution per minute (RPM) 으로회전하는 드론의 모터에 진동 센서를 부착하고 30초간 100 msec 주기로 진동 데이터를 샘플링하여 수집했다. 아래 그림 5는 정상 모터의 진동 데이터와 3가지 비정상 진동 그래프를 나타낸다.

그림 5의 x축과 y축은 각각 타입 스텝과 진동의 가속 (acceleration)을 의미한다. 또한 그림 5 (a), (b), (c), (d)는 각각 정상 진동, 로터 바 손상, 로터 손상, 축 휨에 대한 진동 파형을 나타낸다. 수집된 진동 파형의 7, 000개의 타임 샘플은 파형의 진동 예측을 위해 사용된다.

(그림 5) 수집된 진동 데이터

(Figure 5) Collected vibration data

5. 시뮬레이션 결과

5.1 RNN을 통한 진동 예측 결과

본 절에서는 드론의 모터로부터 수집한 정상 진동 데이터와 3가지 비정상 진동 데이터를 RNN을 사용하여 예측한 결과를 설명한다. 아래 그림은 RNN을 통해 진동을 예측한 결과이다.

(그림 6) RNN을 통한 진동 예측 결과

(Figure 6) Vibration prediction result by RNN

그림 6의 파란색 그래프는 실제 진동 그래프를 나타내며 빨간색 그래프는 RNN을 통해 예측한 진동 그래프를 나타낸다. 그림 6의 결과에 따르면 RNN을 통해 예측한 진동 결과는 y축의 크기는 동일하지 않지만 x축 시간에 따른 진동의 변화 패턴은 매우 정확하게 예측하는 것을 확인할 수 있었다.

5.2 LSTM을 통한 진동 예측 결과

본 절에선 LSTM을 통해 예측한 진동 결과에 대해 설명한다.

(그림 7) LSTM을 통한 진동 예측 결과

(Figure 7) Vibration prediction result by LSTM

그림 7의 파란색 그래프는 실제 진동 그래프를 나타내며 빨간색 그래프는 LSTM을 통해 예측한 진동 그래프를 나타낸다 [11]. 그림7의 결과에 따르면 LSTM을 통해 진동을 예측한 결과 RRN이 예측한 진동 결과와 매우 유사하게 예측한 것을 확인하였다. 또한 LSTM을 통해 예측한 결과는 RNN을 통해 진동을 예측한 결과보다 진동의 크기를 좀 더 정확하게 예측한 것을 확인할 수 있다.

5.3 RNN과 LSTM의 진동 예측 결과 비교

본 절에선 RNN과 LSTM을 통해 예측한 진동 값과 실제값 사이의 RMSE 값을 비교한 결과를 설명한다.

(표 4) RNN과 LSTM의 R-Squared와 RMSE 값 비교

(표 4) Comparison of R-Squared and RMSE values

표 4에 따르면 RNN과 LSTM를 통해 예측한 진동 값과 실제 값 사이의 평균 RMSE 값은 각각 0.13과 0.11으로 LSTM의 RMSE 값이 RNN 대비 약 15.4% 더 낮은 것을 확인하였다.

6. 결론

본 논문에서는 드론의 모터에서 수집된 진동 데이터를 바탕으로 비정상적인 움직임을 RNN과 LSTM을 통해 비정상 진동을 예측하는 연구를 진행하였다. 정상 진동 예측과 세 가지 비정상 진동 데이터를 사용하여 이상 탐지를 예측했다. 실험 결과로 LSTM을 활용해서 예측한 진동 값이 RNN을 통해 예측한 진동 값보다 RMSE값이 약 15.4% 더 낮은 것을 확인하였다.

또한 높은 정확도를 나타내는 LSTM을 통한 비정상 진동 감지 모델은 드론에 적용 가능한 진단시스템을 구성할 수 있는 것을 확인하였으며 향후 다양한 드론의 내외부의 환경변수를 고려하여 비정상 진동을 예측하는 연구를 진행할 예정이다.