Enhancing Autonomous Vehicle RADAR Performance Prediction Model Using Stacking Ensemble

머신러닝 스태킹 앙상블을 이용한 자율주행 자동차 RADAR 성능 향상

Abstract

Radar is an essential sensor component in autonomous vehicles, and the market for radar applications in this context is steadily expanding with a growing variety of products. In this study, we aimed to enhance the stability and performance of radar systems by developing and evaluating a radar performance prediction model that can predict radar defects. We selected seven machine learning and deep learning algorithms and trained the model with a total of 49 input data types. Ultimately, when we employed an ensemble of 17 models, it exhibited the highest performance. We anticipate that these research findings will assist in predicting product defects at the production stage, thereby maximizing production yield and minimizing the costs associated with defective products.

레이다는 자율주행 차에 있어 필수적인 센서 부품으로, 레이다가 활용되는 시장은 점차 커지고 있으며 제품 종류도 다양해지고 있다. 본 연구에서는 평가 공정에서부터 레이다의 불량 여부를 예측해 자율주행의 안정성과 효율성을 높일 수 있도록 성능 예측 모델을 구축하고 평가하였다. 레이더 공정 과정의 39607개 입력 데이터로 모델을 학습하였으며, 결과적으로 17개 모델을 스태킹 앙상블했을 때 Meta Ridge 모델이 가장 높은 학습률을 나타내는 것을 확인하였다. 이러한 연구 결과가 제품의 불량을 공정 단계에서 우선 예측해 수율을 극대화하고 불량으로 인한 제품 폐기 비용을 감축하는 데 도움이 될 것으로 기대 한다.

1. 서론

자율주행 차량은 운전자의 제어 없이 RADAR(이하 레이다), LiDAR(이하 라이다), 카메라 등의 센서를 이용하여 주변 환경을 인지하고 스스로 판단하여 목표지점까지 자동으로 주행하는 자동차를 의미한다. 자율주행이 2030년부터 운전자를 대체할 수 있다고 본 Litman은 자율주행의 대체는 신뢰할 만한 자율주행 환경과 능력이 보장되었을 때 가능하다는 전제를 두었다[1]. 자율주행 시스템에 요구하는 성능이 고도화되고 처리해야 할 환경의 시나리오가 다양해질수록 여러 상황에 대처하기 위한 더 많고 정밀한 센서의 장착이 요구된다[2].

레이더는 인지를 담당하는 센서 중 하나로 자율주행차의 안전성 확보에 있어 차량과의 거리, 상대 속도, 방향 등을 측정해 주는 필수적인 센서 부품인 레이다가 중요한 역할을 한다. 자율주행차뿐 아니라 전기자동차, 로보 택시, 자율주행 택배 로봇 등 레이다가 활용되는 시장은 점차 커지고 있으며, 제품 종류도 기존 단거리, 중거리 및 장거리 레이다에서부터 차량 실내용 및 4D 이미징 레이다 등으로 다변화되는 추세다. 자율주행 기술 개발이 운전자의 부주의 등으로 발생하는 사고를 줄이고 안전을 확보하기 위해 개발되고 이 같은 방향으로 발전하고 있다는 점을 고려할 때, 자율주행 알고리즘에 대한 사전적인 시험과 검증은 필수적이며 이 중 자동차의 눈을 담당하는 레이다 역시 중요한 실험 대상이 됨은 응당하다.

본 연구에서는 레이다의 성능 예측 모델을 통해 자율 주행 자동차의 안정성을 높이는 것에 더해, 제품의 성능 평가 공정에서부터 AI 시스템을 도입해 양품과 불량을 선별하도록 하고, 불량으로 인한 제품 폐기율과 비용을 감축시키고자 하는 것을 목적으로 두었다. 이러한 연구 목적의 해결하기 위해 자율주행 자동차 공정을 다루는 기업 AI 연구소에서 제공한 평가 공정 데이터 세트를 대상으로 성능 예측 모델을 구축하고 평가하고자 하였다.

2. 이론적 배경

2.1 레이다 개념 및 주요 요소

자율주행의 핵심은 인지, 판단, 제어 기술이다. 레이다(Radar, Radio Detection and Ranging)는 이 중 자율주행차의 눈, 즉 인지를 담당하는 이미지 센서 중 하나다. 19세기 독일 물리학자 하인리히 헤르츠의 전자기장 방사 실험 이후 2차 대전을 거쳐 자동차 운전자 보조 시스템(ADAS)의 기반으로 발전해 왔으며 자율주행 안전 기능 개선에 레이다의 기술 발전이 기여해 온 바가 크다[3].

기본적으로 레이더는 전파를 내보내는 송신기와 반사된 전파를 받아들이는 수신기, 안테나로 구성되어 있으며 RF 신호에 투명한 재료로 구성된 레이어 돔인 레이돔으로 덮여 있다. 각각의 구성 요소들은 위치, 면적, 무게, 시간 등에 따라 레이다 성능에서 변수로 작용하게 된다.

레이다는 자율주행에서 대표적으로 사용하는 또 다른 센서인 라이다(LiDAR, Light Detection And Ranging) 기술과 비교된다. 라이다는 자동 광학 기술에 기반을 둔 카메라로 빛을 매개하며 레이다는 전파를 매개해 사물을 인지하는 방식에서 차이가 있다. 좀 더 구체적으로는 라이다는 고출력 레이저 펄스를 발사해 레이저가 목표물에 맞고 돌아오는 시간을 측정하지만, 레이다는 전파를 반사해 물체에 맞고 돌아오는 데이터로 물체의 거리, 속도, 방향 정보를 파악한다[4].

두 기술의 장단을 판단할 수 없고 정밀도가 상대적으로 낮다는 단점에도 불구하고, 레이다는 라이다에 비해 외부 환경의 영향, 디자인, 가성비 측면에서 우세하다는 평을 받는다. 전파의 경우 광파에 비해 물체에 닿았을 때 흡수되는 정도가 작기 때문에 레이다는 날씨에 영향을 많이 받지 않지만, 라이다는 악천후에서 성능이 떨어지며 외부 환경에도 영향을 상대적으로 많이 받는다. 디자인 측면에서도 상대적으로 소형화 기술이 발전하지 않은 라이다보다 레이다가 우세한 실정이며, 업계 내 가격 경쟁력에서도 상대적 우위를 점하고 있다[4].

2.2 레이다 성능 예측 선행 연구

자율주행의 레이다는 자율주행 기술에 있어 안정성과 효율성 확보에 영향을 끼치는 요소로, 자율주행 연구 발전에 따라 레이다 관련 연구도 지속적해서 이루어져 왔다. 레이더의 특징 중 하나인 레이더 단독으로 사용하는 경우 탐지 정확도가 감소하는 문제점을 해소하기 위해 레이더의 노이즈를 제거하여 품질을 높이거나, 다양한 센서와 융합해서 사용하는 연구들이 주로 진행되었다.

Arien P. Sligar 연구[5]는 레이다 센서 성능을 위해 다른 센서와 독립적으로 물체를 감지하고 분류하는 기술을 파악하고자 지각 알고리즘을 응용했으며, 박휘수 외 [6]는 레이다와 라이다 센서의 데이터 값을 이용하여 센서 융합을 했을 때 각각의 성능이 어떻게 달라지는지 확인하고 센서의 각각 측정값보다 센서 융합을 했을 때 센서 융합 값이 더 좋은 성능을 낸다는 것을 GOSPA 알고리즘을 통해 밝혀냈다. 이에 반해 양우성 외[7]는 퓨전 없이 단독으로 사용해도 높은 정확도를 얻는 알고리즘을 도입했다. 카메라나 라이다에 비해 레이다 기술이 자율주행에서 큰 역할을 하지 못한다는 관점에서 360도 커버리지를 수용하는 빔포밍 기술 및 4D 이미징 구현 등을 레이더에 적용한 연구들도 존재한다[8,9].

기술이 발달함에 따라 레이더 성능 향상에도 딥러닝 기술을 적용한 연구들이 제안되기 시작했다. Qu et al.[10]와 Li et al.[11]은 노이즈 제거를 위해 딥러닝 기술인 오토엔코더(Autoencoder)를 이용하여 심층신경망을 이용할 때보다 성능이 개선되었음을 밝혔으며 Du et al.[12]는 subnetwork를 통해 two-phase training을 진행하고 노이즈를 제거하면서 물체 구별이 가능한 DNCNet 모델을 제안하였다. 서주영 외[13]는 카메라와 레이더의 조합으로 딥러닝 네트워크를 이용한 센서 융합 기법을 연구였는데 객체 검출 task에서 센서 융합이 성능에 미치는 영향을 파악해 두 센서 데이터를 입력받아 객체 검출을 수행하는 딥러닝 네트워크를 고안하여 기존 객체 검출 네트워크들과 성능을 비교하였다.

선행연구들이 공통으로 주지하는 바는, 자율주행 차량의 보급률과 인프라의 첨단화를 뒷받침할 자율주행 기술의 안정성 확보가 중요하다는 데 있다. 그러나 이러한 중요성에도 불구하고 레이더 성능 예측 연구는 여전히 미비하다. 이에 따라 본 연구에서는 머신러닝 기법을 적용하는 한편 레이다 평가 공정 데이터를 활용해 성능 예측 모델을 구축하고 평가 분석하고자 한다.

3. 연구방법

3.1 데이터

본 논문에서는 기업 연구소가 모델 마련을 위해 외부에 제공한 자율주행 레이더 평가 공정상의 39,607개의 데이터를 활용하였다. 평가 항목은 표 1과 같이 56개로 구성되어 있다.

(표 1) 레이다 공정 평가 항목

(Table 1) Radar Process Evaluation Criteria

먼저 PCB 체결 시 단계별 누름량은 레이더 제품의 제조 과정에서 PCB(인쇄회로 기판)를 체결할 때 단계별로 가하는 누름량을 의미한다. 방열 재료는 레이더 시스템의 열 관리를 위해 사용되며 재료의 무게와 면적은 열 분산과 온도 관리에 중요하게 작용하는 변수다. 커넥터 위치 기준 좌표는 레이더 시스템의 커넥터 위치를 정확하게 기록하고 조절하기 위한 좌표로서, 신호 전달의 정확성에 영향을 끼친다. 안테나 패드의 경우 안테나와 다른 부분간 연결을 위해 위치가 중요하며, 레이더 제품의 조립 및 고정에 사용되는 스크류의 삽입 깊이와 회전 속도 역시 레이더의 정확성과 안정성의 영향을 미치는 요소 중 하나다. 레이돔은 안테나를 둘러싸고 있는 커버로 레이돔 치수 및 기울기는 안테나 성능에 영향을 주는 주요 요소가 된다. 실란트는 제조 과정에서 사용되는 접착제를, Cal은 보정 작업을, SMT는 표면 마운트 기술을 의미한다. 이러한 변수들은 레이더 제품의 제조 및 성능 평가 과정에서 고려되는 변수들로 활용할 수 있었다.

레이다의 양품과 불량을 선별하는 기준은 표 2와 같이 14개로 이루어져 있다. 안테나 Gain의 평균은 레이더 안테나의 수신 신호 강도의 평균값으로 각도 1의 경우, 각도 1에서의 안테나 평균 성능을 의미한다. 안테나 Gain 편차의 경우 레이더 안테나의 수신 신호 강도의 변동성 또는 편차를 뜻한다. 안테나 1 Gain 편차의 경우, 안테나 1의 성능 불안정성을 나타낸다. 평균 신호 대 잡음 비는 레이더의 신호 대 잡음비의 평균값으로, 원하는 신호 대잡음 대비를 나타낸다.

(표 2) 양품/불량 선별 기준

(Table 2) Defect Selection Criteria

3.1.1 데이터 전처리

PCA에 앞서, 모델 성능에 영향을 주지 않는다고 판단한 데이터는 제거하였다. 판단 과정은 다음과 같다. 우선 평가 항목의 데이터가 모두 같은 값을 갖는 경우 항목을 제거하고 데이터의 결측치가 약 90% 이상인 경우, 항목을 제거하였다. 다음으로 SHAP을 이용해 평가 항목의 중요도를 계산하고, 14개의 양품 선별 기준에 평균적으로 미치는 영향이 낮은 항목들을 제거한 뒤, 계산한 평가 항목의 중요도 중 매우 낮은 항목은 제거하였다. 마지막으로, 평가 항목 중 '스크류 삽입 깊이'의 데이터 분포가 대부분 6 이하에 집중되어 있어 6 초과 값을 이상치로 판단해 그림 1과 같이 데이터를 제거하였다.

(그림 1) 스크류 삽입 깊이의 데이터 분포

(Figure 1) Data Distribution of Screw Insertion Depth

3.1.2 PCA

전처리 단계에서 표 3과 같이 7개의 평가 항목이 제거되었다. 남은 49개의 평가 항목 간 상관관계를 그림 2와 같이 상관계수 행렬을 이용하여 분석한 결과 일부 인자들 사이에 강한 상관관계가 나타나 다중공선성이 있는 것으로 파악되었다.

(표 3) 전처리 단계에서 제거된 평가 항목

(Table 3) Assessment Items Removed in Preprocessing Step

(그림 2) 상관계수 행렬

(Figure 2) Data Distribution of Screw Insertion Depth

다중공선성은 다중회귀 모형에서 추정 계수의 분산을 증대시켜 결과적으로 설명변수의 신뢰도를 저하하기 때문에 회귀모형의 구축 과정에서 세심한 검토와 대응이 이루어진다[14]. 다중공선성이 존재할 때, 부정확하고 불안정한 결과를 가지고 올 수 있기 때문에 상관계수가 높은 항목끼리 PCA 차원 축소를 그림 3과 같이 진행하였으며 그림 3과 같이 평가 항목이 49개에서 34개로 축소되었다.

(그림 3) PCA 결과

(Figure 3) PCA Results

3.2 모델링 및 평가

본 논문에서는 공정 평가 항목을 이용하여 선별 기준의 값을 예측하는 모델링을 진행하고자 한다. 이를 위해 스태킹 앙상블을 사용했으며, 예측 모델의 성과를 측정하기 위해 NRMSE(Normalized RMSE)를 사용하였다.

전체 분석 과정을 요약하면 다음과 같다. 훈련 데이터 셋을 통해 개별 알고리즘이 결과를 예측하면, 예측한 결과를 최종 메타 데이터 세트로 제작하였다. 그 후 메타 데이터 세트로 메타 모델의 최종 학습을 수행하고 테스트 데이터를 기반으로 최종 예측을 수행하였다. 이때 메타 데이터를 만들 때 K-Fold 방법론을 사용하였다.

3.2.1 스태킹 앙상블

본 논문에서 사용한 스태킹 앙상블(stacking ensemble)은 상호 보완성을 활용하여 성능과 모델의 일반화를 향상하는 방법이다[15]. 기본적인 스태킹 앙상블의 동작 구조는 그림 4와 같이 이루어져 있다.

(그림 4) 스태킹 앙상블 동작 구조

(Figure 4) Ensemble structure

스태킹 앙상블 모델은 기본 모델 훈련과 메타 모델 훈련 두 단계로 나누었다. 앙상블 모델의 메타 데이터세트 생성 시 모델 특성상 과적합 위험을 고려하고자 했다. 이에 따라 많은 데이터 분리 방법 중 성능 추정이 일반화되어 과적합을 방지할 수 있는 K-fold 방법론을 사용하였다.

훈련 단계는 그림 5와 같이 구성되었다. 우선, 훈련 데이터 세트와 테스트 데이터 세트를 분리를 시키고 훈련 데이터 세트를 K개로 나눈다. 두 번째, 첫 번째에서 나눈 K개의 훈련 데이터 세트 중 하나를 검증에 사용하고 나머지는 모델 훈련에 사용하였다. 세 번째, 앞선 단계를 K번 반복하고, 메타 데이터 세트에 결과를 저장한다. 마지막으로 이전 단계에서 생성된 메타 데이터 세트를 메타 모델에 학습하고, 예측을 수행한다. 이 과정에서 K개의 모델이 생성되어 훈련된 모델의 용량과 예측 소요 시간이 K배로 증가할 수 있다. 그러나 메타 모델 학습 데이터 세트 전체를 학습한 기반 모델 하나를 저장하여 예측 시 1개의 예측값으로 메타 모델을 예측하도록하는 모델 경량화 전략을 수행했다. 이에 따라 메타 모델 학습시 오버 피팅을 방지하고 동시에 용량과 예측 소요 시간을 1/K로 줄일 수 있었다.

(그림 5) K-Fold 교차 검증 스태킹 앙상블

(Figure 5) Stacking Ensemble using K-Fold Cross-Validation

3.2.2 NRMSE을 이용한 모델 평가

14개의 선별 기준을 예측하기 때문에 기존의 RMSE(평균 제곱근 오차)나 MAE(평균 절대 오차)와 같은 평가 지표는 적합하지 않다고 판단하였다. 모든 예측 변수에 대한 오차를 하나의 값으로 요약하기 때문에 여러 변수에 대한 오차를 구분하여 파악하기 어렵기 때문이다. 이에 변형된 NRMSE(Normalized Root Mean Squared Error)를 이용하여 평가하였다. 각 평가 기준별 NRMSE를 계산하고, 공정상 품질을 결정하는 데 중요한 기준이 되는 8개의 평가 기준[16]에 20%의 가중치를 부여하여 최종 평가 점수로 계산하였다.

(표 4) 가중치가 부여된 레이다 평가 기준

(Table 4) Weighted Radar Process Evaluation Criteria

3.2.3 하이퍼파라미터 튜닝

모델의 하이퍼파라미터를 튜닝할 수 있는 여러 방법 중에 최신의 동향과 다양한 최적화 알고리즘을 갖춘 Optuna를 선정하였다. Optuna는 베이지안 최적화를 이용한 하이퍼파라미터 최적화 프레임워크로, 목적 함수를 최소화하는 최적의 하이퍼파라미터 조합을 찾아 예측 모델의 성능을 높일 수 있는 방법으로[17] 이를 통해 모델의 성능 향상을 끌어내고자 하였다.

4. 연구결과

개별 모델의 결과는 표 5와 같으며, 스태킹 앙상블 기법을 활용하여 최종 Ridge를 사용한 모델이 1.9321로 가장 성능이 높게 나타났다. 이어 XGB tune 1.9359, LGBM tune 1.9385, CatBoost tune 1.9386, HistGradientBoosting tune 1.9452 순으로 높은 성능을 보였다. 아래의 결과는 하이퍼 파라미터 튜닝을 통해 도출한 각 모델의 최적의 결과이며, 개별의 성능은 단일 모델 적용을 하였을 때 레이다의 RMSE를 의미한다.

(표 5) 각 모델별 성능

(Table 5) Performance for Each Model

모델 훈련 시의 자원은 총소요 시간 5시간 18분 10초로 총 2212MB의 메모리가 사용되었으며, 이 중 GPU 사용 시간 40분이었다. 최종적으로 모델 예측 시간은 2분 32초로 431MB의 메모리가 사용되었다. 속도의 정확도의 트레이드 오프 관계로, 17개의 모델로 예측 시 성능은 1.9499, 시간은 2분 39초가 소요되었고, 14개의 모델로 예측 시 성능은 1.9505, 시간은 17.7초가 소요되었다.

(그림 6) 상위 4개 모델 성능 비교

(Figure 6) Top4 Model Performance

5. 결론

본 연구에서는 자율주행 레이다의 성능을 높일 수 있는 예측 모델을 구축하고 검증하고자 하였다. 모델 생성시 학습 데이터 세트를 K번 학습 후 메타 모델 학습에 활용하고 K번 예측 후 평균값으로 메타 모델을 예측하는 K-Fold 기반 스태킹 앙상블을 활용하였다.

연구 결과, 스태킹 앙상블 기법을 활용하고 최종 Ridge를 사용한 모델이 가장 높은 성능을 보였다. 이러한 연구결과가 제품의 불량을 공정 단계에서 우선 예측해 수율을 극대화하고 불량으로 인한 제품 폐기 비용을 감축하는 데 도움이 될 것으로 기대한다.

그러나 본 연구에서는 외부 제공 일부 데이터에 기반하여 예측 모델을 구축하였으므로 정확도와 타당도의 한계점이 있다. 좀 더 다양하고 다수의 데이터를 확보해 적용한다면 성능 예측 모델의 정확도를 향상할 수 있을 것으로 기대한다.