Design of CBM Algorithm for Naval On-board Equipment

함정 탑재장비 상태진단 알고리즘 설계

Abstract

The Integrated Condition Assessment System (ICAS) is a system that supports Condition Based Maintenance (CBM) by diagnosing the status of major onboard equipment on a naval ship in real time and allowing maintenance personnel to immediately perform maintenance when an abnormal condition occurs to maintain the operational performance of the on-board equipment. This study introduces the necessity of data preprocessing collected from naval ship, and compare and review baselines generated through statistical and designed machine learning algorithms using the same data preprocessing. Through these, this paper analyzes and proposes the suitability of a baseline algorithm, a machine learning methods that has not been applied to the condition based maintenance of naval ship equipment.

1. 서론

함정에서 운용되는 통합조건평가계통(Integrated Condition Assessment System, ICAS)은 통합기관제어체계(Engineering Control System, ECS)의 주요 하부 체계로서, 통합기관제어체계 데이터 연동을 기반으로 장비 특성에 따라 추가적인 센서(진동, 가속도)를 설치하여 함정 주요 탑재장비의 상태를 진단하고, 이상상태 발생 시 정비요원이 즉각 정비를 수행하여 탑재장비의 운용성능을 유지할 수 있도록 지원하는 시스템이다.

현재 함정에서는 시간기반정비(Time Based Maintenance, TBM)를 중심으로 정비업무를 수행하고 있으며, 통합조건평가계통은 보조적 역할을 수행하는 데에 머무르고 있다. 그러나 인구절벽이라는 시대적 영향으로 함정 운용을 위한 적정 수의 승조원 인력 확보가 제한됨에 따라 승조원 정비인력 감축이 필수적인 상황이다.

제한된 정비인력으로 함정의 주요 탑재장비의 운용성능을 보장하기 위해서는 함정 탑재장비의 정비방법을 상태기반정비(Condition Based Maintenance System, CBMS)로 전환하는 것이 반드시 필요하지만, 현재 함정에서 운용중인 통합조건평가계통은 전통적인 통계학적 분석방법을 적용하고 있어, 함정 탑재장비에 대한 상태진단의 정확성이 높지 않은 상태이다. 또한 실제 운용중인 함정 탑재장비에 대해 상태기반정비 수행 가능여부를 판단할 수 있는 진단 정확도에 대한 정량적인 데이터가 부족하여 상태기반 정비로의 전환이 어려운 실정이다.

본 연구에서는 실 함정의 운용데이터를 기반으로 CBMS를 위한 데이터 전처리의 필요성과 베이스라인 생성 알고리즘에 사용한 전처리 기법을 소개한다. 그리고 통계적 기법과 머신러닝 기법의 베이스라인 생성 알고리즘을 동일한 전처리 기법을 통하여 설계하고 이를 비교, 분석하여 머신러닝 기법의 베이스라인 생성 알고리즘에 대한 함정 상태기반 정비방법으로서의 적합성을 확인한다[1][2].

2. 데이터 전처리

데이터 전처리(Data Preprocessing)는 수집된 데이터 중 목적에 맞게 여과하는 과정이다. 함정에서 수집되는 데이터는 운용중에 수집되는 모든 데이터로서 일차적으로 통합기관제어체계에 저장된다. 이러한 과정으로 저장된 데이터는 상태기반 정비를 위하여 CBMS로 전달되는데 작전 및 항해 등의 운용 시 발생하는 데이터뿐만 아니라, 정박과 같은 불필요한 데이터 또는 순간적으로 발생하는 이상 데이터까지 수집된다. 그러므로 신뢰성 있는 상태 기반 정비를 하기 위해서는 전처리가 수반된 데이터를 기반으로 베이스라인을 생성할 필요가 있다.

2.1 데이터 획득 및 저장경로

본 연구에서 사용한 데이터는 함정의 시운전 환경에서 수집된 장비의 데이터이다. 약 3개월의 기간(‘22. 07. 01 – 09. 30)동안의 데이터이며 추진체계는 개스터빈과 추진전동기로 구성된 복합식 추진체계이다. 그리고 함정 전력 공급을 위한 발전기는 총 4기로 구성되어 있다. 함정이 운용되면 함정 통합기관제어체계에는 1초 간격으로 장비의 온도, 압력 등의 센서를 통해 수집된 데이터가 자동으로 저장된다. 이러한 데이터 중 정비를 위한 장비의 상태진단에 필요한 데이터를 식별해서 함정 상태기반진단체계에 저장하게 된다. Fig. 1에 앞서 서술한 데이터 이동 경로를 나타내었다. 여기서 CBM을 위해 필요한 데이터를 정비자는 식별해야 하며, 이는 함형별로 다르게 식별될 수 있다. CBMS 서버에 저장된 데이터는 목적에 맞게 전처리 되어 다시 CBMS 서버에 저장된다.

Fig. 1 Data Flow Between ECS and CBMS.

2.2 데이터 전처리

2.1절에서 데이터 획득 및 저장경로를 Fig. 1을 통하여 알아보았다. 이때, CBMS 서버에 저장된 데이터는 진단 및 베이스라인 설정을 위한 데이터만 여과해서 저장한 데이터이다. 그러나 저장한 데이터 중에서도 장비를 운용하지 않을 때 발생하는 데이터, 장비 시동 및 정지등과 같은 과도상태의 운용데이터 등의 정확한 진단에 불필요한 데이터까지 함께 저장되어 있다. 그러므로 Fig. 2와 같은 과정으로 데이터를 전저리 하는 과정이 필요하다[3].

Fig. 2 Data Preprocessing Diagram.

Fig. 2를 좀 더 살펴보면, 함정 운용데이터로 표현된 CBMS에 저장된 데이터는 1초 단위의 데이터로서 실시간 제어 및 감시 목적으로 ECS에 저장된 데이터이다. 이 데이터는 축적된 데이터를 바탕으로 장비의 상태를 진단하는 CBMS 데이터와는 특성이 다르다고 볼 수 있다. 그러므로 1차 전처리 전에 데이터를 5분간 300개의 데이터 통계량을 기반으로 데이터 분석을 진행하면 데이터 전처리를 효율적으로 할 수 있다. 이는 데이터 전처리 속도를 높일 수 있을 뿐만 아니라, 전처리 결과 데이터 역시 5분 단위로 줄어들어 저장공간을 절약할 수 있는 이점이 있다. 그러나 무엇보다도 시간적으로 나열된 시계열 데이터의 경우 일반적으로 사용하는 통계, 머신러닝 방식에서 시간 단위가 짧으면 자기상관성(Autocorrelation)이 높아 관측치들의 독립성 가정이 없어진다. 그러므로 요구하는 독립성 조건을 만족하기 어려워 시간 구간을 나누어 해당 구간의 데이터 통계량을 쓰는 것이 일반적이다. 다음 식은 k 기간의 시계열 값을 평균하여 t의 추세 주기를 측정하는 대표적인 이동 평균 방법을 나타낸 것이며, 시점 t에서의 관측값 \(\begin{align}\hat {T}_t\end{align}\)은 t+j에서의 관측값인 y_t+j의 평균을 나타낸 것이다[4].

\(\begin{align}\widehat{T}_{t}=\frac{1}{m} \sum_{j=-k}^{k} y_{t+j}\end{align}\)       (1)

이때, m=2k+1이다. 5분 단위의 통계량으로 전처리하는 방법의 타당성을 입증하기 위하여 5분이 아닌 단위시간으로 평균을 그래프로 나타낸 후 비교해 보면 확인 가능하며, CBMS 진단 신호 중 제 1발전기 교류발전기 권선온도를 각기 다른 시간의 통계량을 Fig. 3에 나타내었다. 여기서 가로축은 데이터의 개수를 나타내며, 세로축은 온도를 나타낸다. Fig. 3의 그래프에서 확인할 수 있듯이 3분, 4분, 10분의 데이터 통계량이 본 연구에서 적용한 5분 데이터 통계량과 큰 차이가 없음을 확인하였다. 즉, 사전에 설정한 5분이 최종 결과에 큰 영향을 미치지 않음이 확인된다.

Fig. 3 Statistical Graphs by Setting Time

3. 베이스라인 생성 알고리즘

3.1 통계적 기법 생성 알고리즘

현재 함정에 적용된 통합조건평가계통은 정상상태에서 운용되는 장비의 정상 예측값을 계산하고 이를 통합기관제어체계에 축적되는 실시간 운용데이터와의 잔차를 계산하여 장비 상태를 진단하는 선형회귀모델을 적용하여 베이스라인을 생성한다. 이때 적용되는 선형회귀모델은 변수 간 관계(association)을 추정하는 대표적인 모수적(parametric) 방법이며 변수들의 관계를 다음과 같은 다항함수로 가정하고 계수를 추정하는 방법이다.

A. 1차 선형회귀모델(linear regression)

Y = β₀ + β₁X + 𝜖, where 𝜖 ~ N(0, σ²)       (2)

B. 2차 선형회귀모델(quadratic regression)

Y = β₀ + β₁X + β₂X² + 𝜖, where 𝜖 ~ N(0, σ²)       (3)

C. 3차 선형회귀모델(cubic regression)

Y = β₀ + β₁X + β₂X² + β₃X³ + 𝜖, where 𝜖 ~ N(0, σ²)       (4)

식 (2)-(4)은 독립변수 X에 대한 종속변수 Y의 관계를 1-3차 선형회귀모델로 나타낸 식이며, β_n는 다항식의 계수를 나타낸다. 이 식의 선형회귀모델의 장점은 변수들간의 관계를 표현하는 함수형태를 가정하고 시작하기 때문에 적은 수의 데이터로도 정확하고 설명 가능한 결과를 도출할 수 있다는 점이다. 이론적으로 데이터 수가 충분하다면 복잡한 모델은 간단한 모델이 설명할 수 있는 부분까지 설명할 수 있다. 본 연구의 경우 베이스라인을 설정하는데 사용하는 데이터는 전처리 과정을 거치므로 데이터의 양을 필터를 통하여 조절가능하다. 전처리 과정을 통하여 충분한 데이터를 필터링 과정을 통해 확보하면 여과 후 데이터로 구간별 선형모델을 적용했을 때 정확한 관계 파악이 가능하다.

Table 1은 본 연구에서 사용된 데이터에 대한 설명을 도표화한 것이며, 아래의 Table 2, 3은 획득한 실 함정의 디젤발전기 운용데이터를 기반으로 각 모델의 예측성능을 비교하여 나타낸 것이다. 5-fold CV를 이용하여 RMSE(Root Mean Squared Error)를 계산했으며, RMSE는 실제 관측 실효값(y_i)과 예측 실효값(ŷ_i)의 차이를 나타내는 지표이다. 오차값 자체가 실제값과 동일한 단위로 표현되기 때문에 직관적이 확인이 가능하다. 이를 식 (5)에 나타내었다.

\(\begin{align}R M S E=\sqrt{\frac{1}{n} \sum_{i=1}^{n}\left(y_{i}-\hat{y_{i}}\right)^{2}}\end{align}\)       (5)

Table 1. Signal list of No. 1 & No. 2 Diesel Generator

Table 2. No. 1 DG A1 Cylinder Temperature

Table 3. No. 2 DG A1 Cylinder Temperature.

디젤발전기 장비 신호에 대한 정확도 시험 결과, No.1, No.2 모두 3차 선형모델이 가장 높은 정확도를 보였으며, 실제 함정에서도 3차 선형모델이 적용되고 있다. 따라서 본 연구에서도 머신러닝 기반 베이스라인 알고리즘의 정확도를 확인하기 위하여 3차 선형모델과 비교 평가를 수행하였다.

3.2 머신러닝 기법 생성 알고리즘

본 연구는 함정 탑재장비 상태진단을 위해 머신러닝 기법을 활용한 베이스라인 생성 알고리즘을 설계로서 다양한 방식을 검토하였다. 다양한 머신러닝 알고리즘 검토를 위하여 Support Vector Machine(SVM), Decision Tree(DT), LightGBM를 사용하였으며, 각 회귀 알고리즘을 적용하여 성능을 비교하였다. 각 기법에 대한 설명과 특징은 다음과 같으며 각 모델의 성능 비교를 수행하였다[5][6].

3.2.1 Support Vector Machine

Support Vector Machine(SVM)은 주로 분류 문제에서 사용되지만, 회귀 분석에서도 사용될 수 있다. SVM 회귀는 결정 경계를 찾는 대신, 허용 가능한 오차 내에서 최대 마진을 갖는 회귀 평면을 찾는 것을 목표로 한다. SVM 회귀의 주요 장점은 고차원 공간에서의 회귀 문제를 해결할 수 있는 능력이다. 커널 트릭을 통해 비선형 회귀 문제를 효과적으로 해결할 수 있으며, 데이터의 과적합을 방지하기 위한 정규화 기법도 포함한다. 그러나 SVM 회귀는 데이터셋의 크기가 커질수록 연산량이 급격히 증가해, 대규모 데이터셋에 적용하기 어렵다는 단점이 있다[7][8].

3.2.2 Decision Tree

Decision Tree(DT)는 데이터의 특성 공간을 여러 구간으로 나누고, 각 구간에서의 평균 값을 예측하는 방식으로 회귀를 수행한다. 결정 트리는 각 노드에서 특정 특성에 대한 분할 기준을 설정하고, 이를 통해 데이터를 하위 노드로 계속 분할해 가는 방식으로 이루어진다. 회귀 분석에서 결정 트리는 리프 노드에 도달할 때까지 데이터셋을 분할하며, 리프 노드에서는 해당 구간의 평균값을 예측치로 사용한다. 결정 트리 회귀는 범주형 변수와 연속형 변수를 모두 처리할 수 있으며, 직관적인 모델 해석이 가능하다는 장점이 있다. 그러나 결정 트리는 과적합에 취약할 수 있으며, 트리의 깊이가 깊어질수록 일반화 성능이 저하될 수 있다[9].

3.2.3 Light GBM

LightGBM(Light Gradient Boosting Machine, LGBM)은 Gradient Boosting Decision Tree(GBDT) 기법을 기반으로 한 경량화된 부스팅 알고리즘이다. 대규모 데이터셋에서도 빠르게 학습이 가능하며, 메모리 효율성이 높다는 점이 큰 특징이다. 리프별 성장(Leaf-Wise) 방식을 사용해, 더 깊은 트리를 생성함으로써 학습 효율성을 극대화한다. Gradient-based One-Side Sampling(GOSS)와 Exclusive Feature Bundling(EFB) 기술을 통해 과적합을 방지하고 모델 성능을 향상시킨다[10][11].

3.2.4 머신러닝 모델 성능 비교

아래의 표는 디젤발전기 운용데이터를 기반으로 각 모델의 예측 성능을 비교하여 나타내었으며, 5-fold CV를 이용하여 RMSE를 계산하였다.

No.1, No.2 디젤 발전기 모두 LightGBM 알고리즘이 가장 높은 정확도를 보였으며, 회귀 모델을 활용해 함정 추진체계 상태진단을 수행한 연구에서도 LightGBM을 활용한 머신러닝 기반 베이스라인 알고리즘이 함정 장비 상태진단에 적합하다고 판단하고 있다[12]. 따라서 머신러닝 알고리즘 중 LightGBM을 통계 기법인 3차 선형모델과 비교, 평가하였다.

Table 4. No. 1 DG A1 Cylinder Temperature.

Table 5. No. 2 DG A1 Cylinder Temperature

4. 베이스라인 생성 알고리즘 분석

본 절에서는 함정의 디젤 발전기 2기로부터 약 3개월 동안 수집된 40개의 신호 데이터를 활용하여 통계 기법 중 3차 선형회귀와 머신러닝 기법 중 LightGBM의 알고리즘을 비교 분석하였다. 베이스라인 생성 및 모델 학습을 위해 2022년 7월부터 8월까지의 2개월 데이터를 사용하였으며, 2022년 9월의 1개월 데이터를 운용 중 상황으로 모사하여 진단 정확도를 비교하였다.

4.1 결과 평가

Table 6은 생성한 베이스라인을 통해 No. 1, No. 2 디젤 발전기에 대하여 상태진단을 수행한 RMSE 결과를 정리한 것이다. 두 장비의 38개 신호에서 머신러닝 기법인 LightGBM 성능이 우수한 것으로 나타나며, 교류 발전기 권선온도의 경우 No. 1 디젤 발전기에서 약 15배, No. 2 디젤 발전기에서는 약 6배 정도의 성능차이가 발생한 것으로 나타났다. Fig. 4는 3차 선형회귀와 LightGBM으로 예측한 결과를 시각화를 통해 나타낸 것이며, LightGBM을 통해 생성한 베이스라인의 RMSE 값이 가장 낮게 나타나 운용데이터를 가장 잘 예측하는 것을 확인할 수 있다.

Table 6. Diesel Generator Evaluation Results.

* ST : Statistical / ML : Machine Learning

Fig. 4 No. 1 DG Winding Temperature of Phase U [3rd Order Regression VS. Light GBM]

4.2 결과 분석

No. 1 디젤 발전기 신호 중 3차 선형 회귀 모델이 더 높은 정확도를 보인 연료 온도 신호에 대한 분석을 진행하였다. Fig. 5, 6은 각 베이스라인 알고리즘으로 예측한 결과와 실제 운용데이터 간의 차이를 시각적으로 보여주는 그래프이다. LightGBM 기법의 잔차 그래프에서는 예측 오차 값이 –5.0 ~ 2.5 사이의 범위에 들어오는 것을 확인할 수 있다. 반면, 3차 선형 회귀 모델의 경우에는 일부 오차 값이 –5.0 - 2.5 범위를 넘어서는 경향이 나타났다. 이는 3차 선형 회귀 모델이 RMSE 성능면에서는 우수하지만, 특정 구간에서는 예측값의 변동이 크게 나타날 수 있음을 의미한다.

Fig. 5 No. 1 DG Fuel Temperature

Fig. 6 No. 2 DG Fuel Temperature

추가로, 통계적 기법과 머신러닝 기법 베이스라인 생성 알고리즘의 성능 차이가 큰 신호인 교류 발전기 권선온도(No. 16-18)에 대한 분석을 진행하였다. Fig. 7은 2개월간의 데이터를 기반으로 생성된 교류 발전기 권선온도의 베이스라인을 나타내며, 참조신호인 Electric Load에 따른 권선온도의 변화를 보여준다. 붉은색 점은 3차 선형 회귀 곡선을 나타내며, 파란색 점은 1개월 동안 운용된 데이터를 나타낸다. 그림을 확인하면 파란색 점이 붉은색 점보다 아래에 위치하고 있으며, 이는 생성된 통계 베이스라인이 정확하지 않음을 알 수 있다.

Fig. 7 No. 1 DG Winding Temperature of Phase U, V, W

5. 결론

본 연구에서는 함정 탑재장비에 대한 상태진단 알고리즘 설계기법에 대한 분석을 수행하였다. 함정 통합기관제어체계의 데이터를 CBM을 위한 데이터로 전환하고 효율적인 전처리를 위하여 5분간 300개의 통계량을 기반으로 전처리를 수행하였다. 이때, 5분간 데이터 통계량 사용의 타당성을 입증하기 위해 다른 시간 간격의 통계량을 확인하여 통계량 설정시간 간의 큰 차이가 없음을 확인하였다. 전처리가 수행된 데이터를 바탕으로 통계적 기법과 머신러닝 기법 생성 알고리즘을 통해 베이스라인을 생성하고, RMSE를 도출하여 비교한 결과를 분석하였다. 분석결과 40개 신호 중 38개의 신호에서 머신러닝 기법의 베이스라인 생성 알고리즘이 더 오차율이 적은 것으로 확인되었다. 이렇듯 95% 이상의 신호에서 높은 성능을 확인할 수 있었으며, 통계적 기법이 나은 결과를 보이는 경우도 RMSE 이외에 잔차 분포면에서 머신러닝 기법이 더 우수한 것으로 나타났다. 그러므로 함정 탑재장비를 상태기반 정비를 하기 위한 알고리즘으로는 머신러닝 기법으로 베이스라인을 생성하는 것이 적합한 것으로 판단된다.

후기

본 연구는 정부(방위사업청)의 재원으로 국방기술진흥연구소의 지원을 받아 수행된 핵심 SW(응용개발) “함정 추진체계 상태기반 진단 SW 개발(20-108-D00-016(2021.12.14.)” 과제의 연구 결과임.