Metaformer 기반의 전동기 고장 진단 알고리즘 연구

A Study on Metaformer based Motor Failure Diagnosis

Abstract

As electric motors are widely used as the main power source, the demand for reliability and efficiency is increasing. As a result, the importance of early fault diagnosis of motor failures has been emphasized. To overcome the limitations of model-based fault diagnosis, we perform our work based on data-based fault diagnosis techniques. In this paper, we introduce LSTMFormer, which improves the performance of motor fault diagnosis by combining Metaformer structure and LSTM. To verify the proposed algorithm, we utilize the electrical fault data set of synchronous motors. The experimental results show excellent performance with an average accuracy of 99.79% and an average F1-score of 1. This indicates that the model can classify most faults and shows balanced performance in various fault types. In addition, it progresses learning stably and achieves high performance with a few of learning iterations. These results verify the effectiveness of the algorithm proposed in this paper.

1. 서론

전동기는 현대 산업의 핵심 동력원으로, 제조업, 운송, 에너지 등 다양한 분야에서 광범위하게 활용되고 있다[1]. 산업 현장에서는 컨베이어 벨트, 펌프 등을 구동하기 위하여 필수적이며, 운송분야에서는 전기 자동차 및 철도 시스템의 주요 동력원으로 그 중요성이 날로 증대되고 있다[2]. 이에 따라 전동기의 신뢰성과 효율성에 대한 요구가 증가하고 있으며, 전동기의 고장을 조기에 진단하고 전동기의 상태를 실시간으로 모니터링하는 기술에 대한 중요성이 강조되고 있다.

전동기의 고장은 전기적 결함과 기계적 결함으로 분류된다[3]. 전기적 결함에는 권선 개방, 권선단락, 중성선 단락 등 회로에 의한 결함을 의미하며, 기계적 결함에는 베어링 고장, 회전자 파손, 편심 등이 있다. 다양한 형태의 결함은 과열로 인한 화재, 기계적 사고 등 안전사고를 초래할 수 있으며, 전동기의 정상적인 작동을 방해하여 성능에 영향을 미친다. 이에 따라 전동기의 안정성 및 운영 효율성 확보를 위해 전동기의 전기적, 기계적 결함을 조기에 진단하는 기술에 대한 중요성이 두드러지게 나타나고 있다[4].

전동기의 고장을 진단하기 위한 기술은 크게 모델 기반 기법과 데이터 기반 기법으로 구분된다. 전통적인 모델 기반 고장 진단은 전동기의 물리적 특성과 수학적 모델을 바탕으로 고장을 진단한다. 그러나 이러한 방법은 복잡하거나 비선형적 특성을 가진 고장에 대해서는 정확한 진단에 한계를 나타낸다[5].

반면, 데이터 기반 고장 진단은 전동기에서 발생하는 신호 데이터를 학습하여 고장 유무를 판단하는 기법으로, 정확한 모델링을 필요로 하지 않는다는 장점이 있다[6]. 지도학습 기반 방법으로는 서포트 벡터 머신(SVM: Support Vector Machine), 랜덤 포레스트 등의 머신러닝 기법이 있으며, 최근에는 합성곱 신경망(CNN: Convolutional Neural Network), 순환 신경망(RNN: Recurrent Neural Network) 등의 딥러닝 기법도 활발히 연구되고 있다[7-8]. 이러한 AI 기반 방법들은 복잡한 패턴을 인식하고 비선형적 관계를 모델링 하는데 강점을 보이며, 대량의 데이터를 효과적으로 처리할 수 있다. 그러나 고품질 데이터 확보의 어려움과 모델의 해석 가능성 부족 등의 한계점을 가진다[9].

본 연구에서는 AI 기반 고장진단의 성능 향상을 위해 Metaformer 구조를 적용한 새로운 고장 진단 기법을 제안한다. Metaformer 구조에 LSTM(Long Short Term Memory)과 피라미드 형태의 컨볼루션을 적용하여 새로운 고장 진단 알고리즘을 설계하였다. 이를 통해 전동기의 시간에 따른 특성 데이터를 효과적으로 포착하면서도 복잡한 패턴을 학습할 수 있는 모델을 제안한다.

본 연구의 주요 기여는 다음과 같다.

첫째, 전동기 고장 진단을 위한 새로운 딥러닝 모델인 LSTMFormer를 제안하였다.

둘째, 전동기 데이터의 특성을 포착하기 위해 피라미드 형태의 컨볼루션을 적용하였고. 전동기 고장 데이터의 복잡한 패턴을 인식할 수 있는 모델 구조를 설계하였다.

셋째, 다양한 조건에서 실험을 통해 제안된 모델의 우수성을 입증하였다.

2. 제안 알고리즘

2.1 Architecture

본 논문에서 제안하는 아키텍처는 Fig. 1과 같다. 먼저, 전동기에서 발생한 신호를 입력으로 받아 컨볼루션 임베딩 과정을 거친다. 임베딩 과정에서 보다 의미 있는 특징을 추출하기 위하여 피라미드 형태로 컨볼루션을 수행하였다. 이 과정에서 원시 신호 데이터를 의미 있는 특징 표현으로 변환한다. 변환된 데이터는 레이어 정규화를 통해 학습의 안정성을 높이고, 시간적 특징을 반영하기 위해 LSTM 레이어를 거친다. 이후 잔차 연결을 통해 소실된 원본 데이터의 특징과 LSTM 레이어를 거쳐 강조된 특징들을 결합한다. 이를 통해 정보의 손실 및 기울기 소실 문제를 완화하고 원본 데이터에서 특징을 강조한 형태로 변환한다. 그 이후 레이어 정규화와 MLP(Multi Layer Perceptron) 레이어를 통해 전동기의 고장 유형에 따라 분류한다. 분류 과정에서도 잔차 연결을 활용하여 특징은 강조하면서 일반적인 전동기의 데이터 특성 또한 반영하여 학습한다. 이러한 구조는 신호 데이터의 복잡한 패턴을 효과적으로 학습하여 고장 분류의 정확도를 향상시킨다.

Fig. 1. LSTMFormer architecture

2.2 Metaformer

본 논문에서 제안한 알고리즘은 Metaformer를 기반으로 설계하였다[10]. Metaformer는 Transformer의 기반이 되는 구조로 다양한 도메인에서 우수한 성능을 보인다. 구조는 레이어 정규화, MLP, 잔차 연결로 구성되어 있으며, Token mixer에 따라 다양한 형태의 알고리즘으로 정의된다. 이는 (1)-(2) 식과 같이 표현한다.

y′ = x + tokenmixer (LayerNorm(x))       (1)

Y = y' + MLP(LayerNorm (y'))       (2)

여기서 x는 원신호 데이터, Y는 분류 결과에 해당하며, y′은 중간결과에 해당한다.

2.3 Embedding

원신호 데이터의 효과적인 특성을 사용하기 위하여 입력 임베딩 과정을 거친다. 이때 1D 컨볼루션을 계층적으로 적용하여 입력 데이터의 특징을 추출한다. 4개의 연속된 1D 컨볼루션 레이어를 사용하며, 각 레이어에서 커널 크기는 7, 5, 3, 1 단계별로 작아지는 피라미드 형태로 설정하였다. 이를 통해 데이터의 긴 시간에 따른 특성과 더불어 짧은 시간에 나타나는 데이터의 특성도 유용하게 학습한다. 또한, 레이어 간에는 ReLU 함수를 적용하여 비선형성을 도입하였다. 이러한 계층적 구조는 다양한 시간 스케일의 특징을 추출하기 위하여 효과적이며, 결과적으로 원신호 데이터로부터 효과적인 데이터 특성을 추출할 수 있다.

2.4 LSTM

본 연구에서 제안하는 LSTMFormer는 Token mixer로 LSTM을 적용한다. LSTM은 시계열 데이터 처리에 특화되어 있으며, 데이터의 시간적 특성과 그에 따른 장기 의존성 문제를 해결한 알고리즘이다. LSTM의 구조는 Fig. 2와 같으며, (3)-(8) 식과 같이 표현된다.

Fig. 2. LSTM architecture

f_t = σ(W_f ∙ [h_{t - 1}, x_t] + b_f)       (3)

i_t = σ(W_i ∙ [h_{t - 1}, x_t] + b_i)       (4)

C_t = tanh(W_C ∙ [h_{t - 1}, x_t] + b_C)       (5)

\(\begin{align}C_{t}=f_{t}^{*} C_{t-1}+i_{t} * \widetilde{C}_{t}\end{align}\)       (6)

o_t = σ(W_o ∙ [h_{t - 1}, x_t] + b₀)       (7)

h_t = o_t*tanh(C_t)       (8)

여기서 f_t, i_t, o_t는 각각 forget, input, output gate를 나타내며, C_t는 cell state, h_t는 hidden state를 나타낸다. 이때 t는 현재 시점에 해당한다.

이에 본 논문에서는 다양한 도메인에서 우수한 Metaformer 구조와 시계열 데이터의 특성 학습에 적합한 LSTM을 결합한 전동기의 고장진단 알고리즘을 제안한다.

3. 딥러닝 모델 학습

3.1 학습 환경 구성

본 연구는 Ubuntu 22.04 운영체제를 탑재한 서버에서 학습환경을 구축하였다. CPU 및 GPU 사양은 Intel(R) Xeon(R) Gold 6426Y @2.50GHz, NVIDIA A100이다.

TensorFlow 기반으로 학습 환경을 구성하였으며 학습 시 반복 횟수는 학습 횟수에 따른 정확도 비교를 위하여 50, 100 두 가지로 설정하였다. 또한, 배치 사이즈는 128로 설정하였다.

3.2 데이터셋 구성

본 연구에서 사용한 데이터는 동기전동기의 전기적 고장에 대해 구축된 데이터셋을 사용한다[11]. 해당 데이터셋은 각 상에서의 전압, 전류와 회전자의 속도, 전동기 속도 등의 특징으로 구성된다. 고장 유형은 정상 상태와 대표적 전기적 고장 5가지(정상, 개방 회로, 두 상의 단락, 한 상과중성선의 단락, 로터 전압 분리, 로터 전류의 분리)를 포함한다.

해당 데이터의 특징 중 전기적 고장을 잘 나타낼 수 있는 고정자의 전류 데이터를 활용하였다. 데이터의 recoding points는 400, 600, 800으로 구분하여 데이터의 길이에 따른 알고리즘 정확도도 함께 비교하였다. 학습 데이터와 테스트 데이터는 7:3으로 설정하여 모델의 정확도를 검증하였으며, 클래스 불균형으로 인한 영향을 없애기 위하여 각 고장 유형 간의 데이터 개수는 동일하게 설정하였다.

3.3 모델 검증

본 연구에서는 제안된 LSTMFormer의 성능을 검증하기 위해 시계열 데이터에 많이 활용되고 있는 LSTM, Transformer를 비교 알고리즘으로 선정하였다. 모든 알고리즘은 동일한 데이터셋을 활용하여 학습 및 평가되었으며, 주요 평가지표로 분류 정확도와 F1-score를 사용하였다.

Table 1은 반복 횟수를 50으로 설정한 경우, recoding points의 길이마다 각 모델의 정확도를 나타낸다. 반복 횟수를 작게 설정하였을 때 LSTM의 평균 정확도는 63.84%, Transformer의 평균 정확도는 78.82%, LSTMFormer는 98.39%의 정확도를 갖는다. 다른 알고리즘과 비교하여 LSTMFormer가 학습 횟수가 적음에도 불구하고 높은 성능을 갖는 것을 확인할 수 있다.

Table 1. Test accuracy at 50 epoch

Table 2는 반복 횟수를 50으로 설정한 경우, 각 모델의 F1-score이다. LSTM과 Transformer와 비교하여 LSTMFormer는 모든 recoding points에서 1의 값을 가지므로 각 고장 유형별로 균형 있는 성능을 나타내며 모델의 정밀도와 재현율이 모두 높은 값을 갖는 것을 확인할 수 있다.

Table 2. F1-score at 50 epoch

Table 3은 반복 횟수를 100으로 설정한 경우, 각 모델의 정확도를 나타낸다. 반복 횟수가 증가함에 따라 모든 알고리즘의 성능이 대체로 향상되었음에도 제안한 LSTMFormer의 정확도가 평균 99.79%로 여전히 가장 높은 성능을 가지는 것을 확인할 수 있다.

Table 3. Test accuracy at 100 epoch

Table 4는 반복 횟수를 100으로 설정한 경우, 각 모델의 F1-score이다. 반복 횟수가 증가함에 따라 LSTM, Trasnformer의 모든 F1-score가 0.8 이상으로 성능 향상을 보였으나 여전히 LSTMFormer가 F1-score가 1의 값을 가지므로 가장 균형 잡히고 좋은 성능을 보여주는 것을 확인할 수 있다.

Table 4. F1-score at 100 epoch​​​​​​​

성능을 직관적으로 확인하기 위하여 recoding points가 600인 데이터를 100번의 반복 횟수로 학습한 경우를 대표적으로 학습 손실 및 정확도, 혼돈 행렬을 비교하였다. 학습 정확도와 학습 손실 그래프는 Fig. 3-5이며, 파란색 실선은 학습 정확도 및 손실, 주황색 실선은 검증 정확도 및 손실을 의미한다.

LSTM의 경우, Fig. 3과 같이 학습이 진행됨에 따라 학습 정확도는 상승하는 경향을 보이고 있으나, 검증 정확도가 일관되지 않고 경향성이 없는 것을 확인할 수 있다. 학습 손실 또한 줄어드는 경향을 보이고 있으나, 검증 손실은 이상치가 발생하여 안정적인 학습이 이루어지지 않음을 확인하였다.

Fig. 3. Accuracy and loss graph in LSTM

Fig. 4의 Transformer는 학습 정확도는 안정적으로 증가하며 학습 손실 또한 안정적으로 감소하는 형태를 띠지만, 검증 정확도 감소 및 검증 손실 증가를 보아 학습 데이터에 과적합 됨을 알 수 있다. 이는 Transformer에서 사용되는 Attention 특성상 많은 양의 데이터를 학습하여야 하지만 고장 데이터는 많지 않아 데이터 부족에 의한 결과로 판단된다.

Fig. 4. Accuracy and loss graph in Transformer​​​​​​​

Fig. 5의 LSTMFormer는 학습 정확도가 빠르게 목표치에 도달할 뿐만 아니라 LSTM, Transformer와 비교하여 검증 정확도도 안정적으로 상승하는 경향성을 갖는다. 학습 손실에서도 다른 알고리즘과 비교하여 안정적으로 학습 및 검증 손실이 줄어드는 경향을 볼 수 있으며, 안정적인 학습과 검증이 이루어지는 것을 확인할 수 있다. 이는 LSTM과 비교하여 원본 데이터와 특성 데이터를 연결하는 구조를 통해 데이터의 전역적 특징과 지역적 특징을 모두 반영할 수 있음을 의미한다.

Fig. 5. Accuracy and loss graph in LSTMFormer​​​​​​​

정확도 및 손실 그래프뿐만 아니라 Fig. 6-8의 혼돈행렬을 비교하여 고장 유형별 정확도를 비교하여 성능을 확인하였다.

LSTM의 경우, Fig. 6에서 보이는 것과 같이 다수의 고장 유형에서 다른 고장 유형으로 분류하는 것을 확인할 수 있다. 대체로 높은 분류 정확도를 가지지만 각 고장 유형별로 성능이 차이가 나는 것을 확인할 수 있다.

Fig. 6. Confusion matrix in LSTM​​​​​​​

Transformer는 Fig. 7과 같이 테스트 데이터에서 분류 정확도가 낮게 나타난다. Fig. 4에서와 같이 학습 시에 과적합이 발생하여 학습에 활용되지 않은 테스트 데이터에서는 분류의 정확도가 낮은 것을 확인할 수 있다.

Fig. 7. Confusion matrix in Transformer​​​​​​​

LSTMFomer의 혼돈행렬은 Fig. 8과 같다. 대부분의 고장 유형을 정확하게 분류하며, 각 고장 유형별로 정확도의 차이가 발생하지 않으며, 이는 특정 고장 유형만 분류할 수 있는 것이 아닌 모든 고장 유형에 대하여 균형 있는 성능을 나타낸다고 볼 수 있다. 이는 다양한 전동기 고장유형을 효과적으로 진단할 수 있음을 보여준다. 특히, 시계열 데이터의 특성을 잘 반영하면서도 복잡한 패턴을 인식할 수 있어 전동기 고장 진단에 적합함을 입증하였다.

Fig. 8. Confusion matrix in LSTMFormer​​​​​​​

4. 결론

본 연구에서는 전동기의 전기적 고장을 진단하기 위한 새로운 딥러닝 모델인 LSTMFormer를 제안하였다. LSTMFormer는 Metaformer 구조를 기반으로 구현하였으며, Token mixer로 LSTM을 활용하여 시계열 데이터의 특성을 효과적으로 반영할 수 있도록 설계되었다.

해석 결과, LSTMFormer는 기존의 시계열 데이터 학습에 적합한 LSTM, Transformer의 모델과 비교하여 우수한 성능을 나타내었다. 평균 정확도 99.79%, 평균 F1-score는 1로, 전동기 고장 진단 작업에서 효과성을 입증하였다. 모든 고장 유형에 대해 균형 잡힌 성능을 보였다.

따라서, 본 연구에서 제안한 LSTMFormer는 전동기 고장 진단에서 높은 성능을 나타내었으며, 향후 더 다양한 운전조건과 고장 유형에 대한 검증을 진행하고자 한다. 또한, 실제 산업현장에서 적용을 통해 설비 신뢰성 향상과 유지보수 비용 절감에 기여할 수 있을 것으로 기대한다.