DOI QR코드

DOI QR Code

머신러닝 앙상블을 활용한 공압기의 전력 효율 최적화 시뮬레이션

Simulation for Power Efficiency Optimization of Air Compressor Using Machine Learning Ensemble

  • 김주헌 (부산대학교(Pusan National University), 통계학과) ;
  • 장문수 (부산대학교(Pusan National University), 통계학과) ;
  • 최지은 (부경대학교(Pukyong National University) 통계.데이터사이언스) ;
  • 허요섭 (한국과학기술정보연구원(KISTI), 부산울산경남지원) ;
  • 정현상 (한국과학기술정보연구원(KISTI), 부산울산경남지원) ;
  • 박소영 (부산대학교(Pusan National University), 통계학과)
  • Juhyeon Kim (Department of Statistics, Pusan National University) ;
  • Moonsoo Jang (Department of Statistics, Pusan National University) ;
  • Jieun Choi (Department of Statistics & Data Science, Pukyong National University) ;
  • Yoseob Heo (Busan.Ulsan.Gyeongnam Brach, Korea Institute of Science and Technology Information(KISTI)) ;
  • Hyunsang Chung (Busan.Ulsan.Gyeongnam Brach, Korea Institute of Science and Technology Information(KISTI)) ;
  • Soyoung Park (Department of Statistics, Pusan National University)
  • 투고 : 2023.11.07
  • 심사 : 2023.12.04
  • 발행 : 2023.12.31

초록

This study delves into methods for enhancing the power efficiency of air compressor systems, with the primary objective of significantly impacting industrial energy consumption and environmental preservation. The paper scrutinizes Shinhan Airro Co., Ltd.'s power efficiency optimization technology and employs machine learning ensemble models to simulate power efficiency optimization. The results indicate that Shinhan Airro's optimization system led to a notable 23.5% increase in power efficiency. Nonetheless, the study's simulations, utilizing machine learning ensemble techniques, reveal the potential for a further 51.3% increase in power efficiency. By continually exploring and advancing these methodologies, this research introduces a practical approach for identifying optimization points through data-driven simulations using machine learning ensembles.

키워드

1. 서 론

현대 산업 사회에서 공압 시스템은 높은 범용 성과 신뢰성으로 광범위한 분야에 걸쳐 필수적인 요소로 활용되고 있다. 자연에서 무한으로 얻을 수 있는 공기를 동력원으로 사용하는 공압기는 빠 른 반응 시간과 유연한 출력 조정을 통해 작업 효 율성을 높이는 데 기여한다. 간단한 배관 구조로 인하여 유지 관리가 용이하며, 온도 변화에 강인 한 특성은 극한의 환경에서도 안정적인 운용을 가 능하게 한다. 이러한 이점에도 불구하고, 공압기의 높은 에너지 소모는 지속 가능한 산업 환경을 위 해 절감해야 할 중요한 요소로 남아 있다.

특히, 제조 공장에서 공압 시스템 운영은 총 에 너지 비용의 상당 부분을 차지하며, 비효율적인 에너지 사용은 운영 비용 증가와 환경에 대한 부 담을 증대시킨다. 이에 따라, 공압 시스템의 에너 지 효율을 높이기 위한 다양한 연구와 시도가 진 행되고 있다.

본 논문은 공압 시스템의 에너지 사용 효율을 최적으로 만드는 공압기의 환경 변수값을 알아보 기 위해 공압기 데이터를 시뮬레이션하였다. 공압 기의 환경 데이터를 기반으로 머신러닝 모형을 학 습하였고, 해당 모형을 활용한 데이터 시뮬레이션으로 에너지 효율을 최적화하는 방안을 제시한다.

2. 이론적 배경

2.1 공압기의 작동 원리

공압기는 다양한 기계와 장비에 압축 공기를 제공하는 장치로, 이를 통해 기계와 장비에 동력 을 지원한다. 공압기의 작동 원리는 주변의 공기를 빨아들여 압축한 후, 필요 시점에 고압 상태의 공기를 에너지로서 사용하는 것이다. 그러나, 공압 기를 통해 에너지를 변환하고 출력하는 과정에서 상당량의 에너지 손실이 발생하며, 이는 공압기의 주요한 단점 중 하나이다.

특히 공압기의 에너지 효율은 설치 환경에 따 라 크게 좌우될 수 있으며, 실제 공압기 설치 시 이러한 환경 변수들이 충분히 고려되지 않고 있 다. 그러므로, 공압기의 에너지 손실 문제를 해결 하기 위해 공압기의 환경 조건에 따른 전력효율을 상세하게 분석하고, 전력효율을 최대화하는 환경 변수의 조건을 찾을 필요가 있다.

2.2 시뮬레이션 모형

김주헌 등(2023)[1]에서 다양한 공압기 전력 예측 모형들의 성능을 비교 분석한 결과, 통계적 모형, 머신러닝 모형, 딥러닝 모형 중 머신러닝 모형이 공압기 전력 예측에 가장 우수한 성능을 보임을 확인하였다. 따라서 본 연구에서는 데 이터 시뮬레이션에 사용할 모형으로 머신러닝 모 형을 채택하여 공압기의 전력효율 최적화를 진행 하였다.

머신러닝[2]은 데이터를 학습하여 새로운 패턴 을 인식하고 예측하는 컴퓨터 과학의 한 분야로, 명확한 규칙 없이도 복잡한 패턴을 학습하고 이해 할 수 있다. 주로 학습 알고리즘과 데이터를 사용 하여 모델을 구축하며, 이를 바탕으로 다양한 예 측이나 분석을 수행한다.

공압기의 에너지 효율성 향상을 위해 머신러닝 을 활용하면, 복잡한 변수 간 상호작용을 효과적 으로 분석하고 최적화 방안을 도출할 수 있다. 예 를 들어, 공압기의 환경변수(온도, 압력 등)를 활 용하여 모형을 학습시키면, 해당 모형은 데이터 내 패턴을 파악하고 에너지 효율을 높이는 방안을 제안할 수 있게 된다. 하지만, 머신러닝 모형의 내부 구조는 복잡하며, 이해하기 어렵다는 한계점 이 있다.

2.3 시뮬레이션 테스트

본 연구에서는 공압기의 환경변수, 유량, 소비 전력 데이터를 활용하였다. 목표는 동일한 사용량 에 대하여 환경변수 변화를 기반으로 전력 소비를 최소화하는 것이다. 이를 위해 유량을 전력으로 나눈 전력효율(Power Efficiency)이라는 새로운 파생변수를 도입하였다. 이를 바탕으로 머신러닝 모형을 활용해 전력효율을 최대로 하는 환경변수 의 조건을 찾는 시뮬레이션 테스트를 진행하였다. 단일변수와 다변수에서 다른 방식의 시뮬레이션 테스트를 진행하였다.

\(P E = \frac { \text { Flow } } { \text { Power } }\)

단일변수를 시뮬레이션하기 위해 다른 모든 변 수들을 평균값으로 고정하고 관심 있는 한 변수의 평균과 분산을 기준으로 균일한 간격의 테스트 데이터 포인트를 생성하여 모형에 적용함으로써, 해 당 변수가 전력효율에 미치는 영향을 분석하였다. 하지만, 이 방식은 변수들 사이의 상호작용을 고 려하지 않는다는 한계점을 가지고 있다.

다변수를 동시에 시뮬레이션하기 위하여 각 변 수의 평균과 분산을 기준으로 테스트 데이터를 생 성한 다음, 이 데이터에 대하여 카르테지안 곱[3] 을 적용함으로써 모든 변수 조합에 대한 테스트 데이터를 생성한다.

카르테지안 곱은 여러 변수들 간의 모든 가능 한 조합을 생성하는 방법이다. 예를 들어, 온도와 압력이라는 두 변수가 있을 때, 카르테지안 곱을 사용하면 특정 범위 내에서 온도와 압력의 모든 가능한 조합을 얻을 수 있다. 이를 통해, 원래의 데이터 세트에 없었던 새로운 변수 조합을 만들어 내어, 모형의 예측에 사용할 추가적인 데이터를 생성한다. 이렇게 생성된 데이터 세트를 모형에 입력하여 분석하면, 모형이 판단하는 최적의 전력 효율 조건을 찾을 수 있다.

그러나 이 방식은 엄청난 계산량을 요구하기 때문에 다변수를 한번에 고려하여 최적의 조건을 찾는 것에 실용적이지 않다. 따라서 본 연구에서 는 경사하강법[4]을 응용한 최적화 방법을 사용하 였다. 이 방식은 다른 변수들을 고정한 채 한 변 수만을 최적화하고, 이후 다른 변수를 최적화하는 과정을 더 이상 최적점이 변화하지 않을 때까지 반복함으로써 최적값을 추정하는 방법이다. 이 방 법은 초기값의 선택에 따라 결과에 변동성이 있을 수 있는 한계가 있지만, 다양한 초기값에서의 반 복 실험을 통해 이를 극복하고 최적의 전력효율 조건을 추정할 수 있다.

3. 데이터 분석

3.1 데이터 설명

본 연구에서 이용된 데이터는 ㈜신한에어로의 공기 압축실에서 2022년 8월 7일부터 2023년 1 월 11일까지 수집된 것이다. ㈜신한에어로의 공압 시스템은 총 3가지의 공압기로 구성되는데, 이를 각각 1호, 2호, 3호라고 부른다. ㈜신한에어로의 공압 시스템은 대기 중의 공기를 흡입하여 압축한 뒤, 생산 공정으로 압축 공기를 공급하는 것을 목 적으로 사용된다. 1호 공압기의 모델은 '절감형 -MICOS 22V'이며, 최대 9 bar의 압력을 생성할 수 있고, 분당 최대 3.34 입방미터의 공기를 방출 할 수 있으며, 22 킬로와트의 동력을 갖추고 있다.

2호와 3호 공압기의 모델은 'Airtec 22'로, 각각 최대 8 bar의 압력을 생성할 수 있고, 분당 최대 3.64 입방미터의 공기를 방출할 수 있으며, 22 킬로 와트의 동력을 갖추고 있다.

공압 시스템에 설치된 유량센서, 전력센서, 압 력센서, 온도계, 습도계 및 이슬점 측정기는 모두 10초 간격으로 측정되었다. 완전분석을 위해 중복 이나 누락된 데이터를 제외시켰다.

㈜신한에어로는 통제된 공기 압축실에 2022년 9월 26일에 공압기 전력 저감 시스템(power reduction system)을 적용하였다. 따라서 2022년 8월 7일부 터 2022년 9월 25일까지의 데이터는 전력 저감 시스템 적용 이전의 데이터로, 2022년 9월 27일 부터 2023년 1월 11일까지의 데이터는 전력 저감 시스템 적용 이후의 데이터로 분류하였으며, 데이 터 개수는 각각 311,040개, 648,000개이다.

공압기 전력 저감 시스템의 성능을 비교할 때 는 김주헌 등(2023)[1]에서 사용한 27개의 설명변 수를 모두 사용하였으며, 에너지 최적화 시뮬레이 션에서는 같은 측정기로 수집된 데이터들의 평균 으로 파생변수를 만들어 진행하였다. 해당 설명변 수의 기초통계량들을 Table 1에 나타내었다. 김주 헌 등(2023)[1]에서는 시간 기반 분할법을 사용하여 훈련 및 테스트 세트를 분할 하였으나, 본 연 구에서는 최대한 많은 정보를 활용하기 위하여 무 작위 분할법을 사용하였고, 학습 데이터와 테스트 데이터의 비율을 85:15로 나누어서 실험을 진행 하였다.

Table 1. Mean and standard deviation of measurements before and after power reduction system had appliedstd. : standard deviation

SOOOB6_2023_v26n6_3_1205_t0001.png 이미지

3.2 공압기 시스템의 실효성 평가

본 연구에서는 전력 저감 시스템 적용 전과 후를 비교하여, 전력 저감 시스템이 전력 절감에 미친 효 과를 평가하고자 하였다. Table 1을 살펴보면 전력 저감 시스템을 적용하기 전이 후보다 전력(Power) 사용량이 적었음을 알 수 있다. 단순한 전력 사용량 이 아닌, 시스템 적용 전과 후의 전력효율(Power Efficiency)변수를 보면, 전력 저감 시스템 적용 후 (0.1460)가 전력 저감 시스템 적용 전(0.1182)에 비 해 약 23.5% 높은 것을 확인할 수 있다.

3.3 시뮬레이션을 위한 모형 학습

먼저 최적화 시뮬레이션을 위하여 머신러닝 모형 중 LightGBM[5], RandomForest[6], ExtraTrees[7], XGBoost[8], KNN[9] CatBoost[10] 모형을 선택하여 단일모형으로 학습하였다. 해당 모형들의 성 능을 Table 2에서 확인할 수 있다. Table 2에서 확인할 수 있듯이, 단일모형 중에서는 LightGBM 모형이 가장 최소의 RMSE를 보였다.

이 모형들을 적절하게 조합하여 앙상블 모형 (Ensemble)[12]을 적합하였을 때 LightGBM의 RMSE값인 0.0041보다 더 작은 RMSE를 보이는 모형이 있는지 알아보고자 하였다. 앙상블 모형을 구축하기 위해 Table 2에서 언급된 6가지 모형을 전진선택(forward selection)[11] 방식으로 조합하 여 다양한 앙상블 모형을 구성하였으며, 성능을 Table 3에 나타내었다. 변수를 1개 사용했을 때를 앙상블 1 모형으로 부르기로 하고, 변수를 2개 사 용하였을 때를 앙상블 2 모형이라고 부르기로 한다.

Table 2. Single Model Performance using RMSE

SOOOB6_2023_v26n6_3_1205_t0002.png 이미지

Table 3. RMSE of ensemble models by the forward selection

SOOOB6_2023_v26n6_3_1205_t0003.png 이미지

같은 방식으로, 앙상블 3부터 앙상블 6까지의 모형 도 이에 준하여 명명하기로 한다. 최종적으로 가장 우수한 성능을 보인 앙상블 모형은 Table 3과 Fig. 1에서 확인할 수 있듯이 KNN, RandomForest, LightGBM의 3개의 모형으로 구성된 앙상블 3 모 형이다. 이 모형은 전력효율 예측에서 RMSE가 0.0040으로 측정되었으며, Table 2에서 확인한 LightGBM 모형의 RMSE인 0.0041보다 작은 값임 을 확인할 수 있다.

Fig. 2에서는 최적의 모형으로 선택된 앙상블 3 모형에서 SHAP(SHapley Additive exPlanations)[13] value를 계산하여 변수 중요도를 확인하였다. SHAP은 게임 이론에서 유래한 방법을 활용하여 머신러닝 모형의 각 특성이 예측 결과에 미치는 기여도를 정량적으로 측정한다. 이 방법은 모든 설명변수의 조합 가능한 부분집합들을 고려하여, 각 부분집합이 최종 예측값에 미치는 영향을 분석 한다. 분석 결과를 통해 각 설명변수가 다양한 부 분집합에 기여하는 정도의 평균을 산출하고, 이 평균값이 곧 각 변수의 SHAP value가 된다. SHAP value가 클 경우, 그 변수는 모형 예측에 긍정적인 영향을 미쳤다는 것을 의미하고, 반대로 값이 작을 경우는 부정적인 영향을 미쳤다는 것을 의미한다. 특히 SHAP value가 0에 가까울 때는, 해당 변수가 예측 결과에 유의미한 영향을 주지 않았다는 것을 의미한다.

SOOOB6_2023_v26n6_3_1205_f0001.png 이미지

Fig. 1 Performance changes depending on the number of models for ensemble model

SOOOB6_2023_v26n6_3_1205_f0002.png 이미지

Fig. 2 Shap value of explanatory variable

Fig. 2로부터 유량, 평균 온도, 평균 습도, 평균 이슬점, 온습도계의 평균 온도와 평균 습도 변수들 의 중요도를 확인하였다. 유량(Flow)이 전력효율에 가장 큰 기여를 한 것으로 나타났다. 특히, 유량이 클 때 SHAP value도 크게 나타났고, 유량이 작을 때는 반대로 SHAP value가 낮아졌다. 이는 유량 이 낮은 경우에 해당 변수가 전력효율 예측에 부 정적인 영향을 주었다는 것을 의미한다. 이러한 현 상은 공압기가 초기에 가동될 때 급격한 전력의 변화가 발생하기 때문으로 추정된다. 또한 온도가 낮을 때와 압력이 높을 때, 전력효율 예측에 긍정 적인 영향을 주었다는 것을 확인할 수 있다.

3.4 시뮬레이션 과정

데이터의 시뮬레이션을 위해 Table 1에 나타난 온도, 압력, 유량, 이슬점, 온습도계의 온도와 습 도 등, 6가지 변수의 평균과 표준편차를 사용하 여, 평균을 기준으로 2*표준편차 범위에서 1000개 의 균일한 데이터 포인트를 생성하였다. 이 방법 을 통해 각 변수에 대해 1000개의 데이터 포인트 를 생성하였으므로 총 6000개의 테스트 데이터가 생성되었다.

단일변수 최적화에서는 각 변수별로 1000개의 테스트 데이터를 활용한다. 이때 현재 최적화하고자 하는 변수를 제외한 나머지 변수들은 해당 변수의 평균값으로 설정한다. 이렇게 하면 한 변 수만을 대상으로 시뮬레이션을 진행할 수 있다. 예를 들어, 유량 변수를 최적화하는 경우, 유량 의 평균(21.75)을 기준으로 2*표준편차(25.00) 범위에서(-3.25, 46.75) 1000개의 데이터 포인트 를 균등한 간격으로 생성하고, 유량을 제외한 다 른 변수들은 평균값으로 설정한다. 생성된 데이 터에 대한 예측을 통해, 다른 요인의 효과를 억 제하고, 유량과 전력효율만의 관계를 파악할 수 있다.

다변수 최적화를 진행할 때는 6가지 변수에 대 해 카르테지안 곱을 적용하여 전력효율을 예측함 으로써, 변수들의 상호작용을 고려하도록 하였다. 그러나 각 변수별로 1000개의 새로운 데이터 포 인트를 생성했기 때문에, 만큼의 가능한 조합 이 나타난다. 따라서 모든 조합을 고려하는 것이 아닌 일부 데이터만을 생성하여 최적화를 진행하 였다. 다변수 최적화에 적용된 구체적인 과정은 다음과 같다. 먼저 6개의 변수에 대해 각각의 평 균과 표준편차를 이용하여 균등한 1000개의 데이 터 포인트를 생성하고, 각 변수의 값을 랜덤한 포 인트로 설정한다. 그 후, 한 변수에 대한 단일변 수 최적화를 수행한다. 유량을 먼저 최적화했다면, 유량을 해당 최적화된 값으로 대체하고, 다음 변 수에 대한 최적화를 진행한다. 이러한 과정을 6개 의 변수에 대해 반복한다. 이 과정이 1사이클이 다. 전력효율의 최적값에 더 이상 변화가 없을 때 까지 사이클을 반복한다. 본 연구의 시뮬레이션에 서는 10 사이클 이상 진행하면 전력효율에 변화 가 없음을 확인하였다. 해당 방식을 사용하면 국 소 최고점에 빠질 위험이 있지만, 10번의 랜덤 시 작값으로 시뮬레이션을 수행한 결과 모두 같은 값 으로 수렴되는 것을 관찰하였다.

3.5 시뮬레이션 결과

3.5.1 단일변수 최적화

본 연구에서는 앙상블 모형 중 가장 성능이 우 수했던 앙상블 3을 사용하였으며, 각 변수별로 전 력효율에 미치는 영향을 Fig. 3에 시각화하였다.

Fig. 3의 (a)는 단일 압력변수의 최적화를 시각화 한 그래프로, 압력이 6.72일 때 전력효율이 0.150 으로 최대가 됨을 알 수 있다. Fig. 3의 (b)에서는 온도가 낮을수록 전력효율이 향상되는 경향을 보이 며, 온도가 11.24°C에서 전력효율이 0.149로 최대 가 됨을 확인할 수 있다. Fig. 3의 (c)의 습도 변수 에 대해서는 압력과 유사하게 명확한 경향성이 보 이지 않으나, 습도가 41.09%일 때 전력효율이 0.137로 최대가 됨을 확인하였다. Fig. 3의 (d)의 유 량 변수의 경우에는 온도와 반대되는 추세를 보였 는데, 유량이 증가할수록 전력효율이 높아지는 현상을 보였다. 특히 유량이 46.37일 때 전력효율이 0.173으로 최대가 되어, 다른 변수들에 비해 전력효 율에 가장 큰 영향을 끼치는 것으로 관찰되었다.

SOOOB6_2023_v26n6_3_1205_f0004.png 이미지

Fig. 3 Single variable optimization by power efficiency

3.5.2 다변수 최적화

변수들 간의 상호작용을 함께 고려하는 다변수 최적화를 실시하였다. 앙상블 1 모형부터 앙상블 6 모형까지 모형에 따라 전력효율을 극대화하는 다변 수 최적화 결과를 Table 4에 나타냈다. 앙상블 2 부터 앙상블 6까지는 두 가지 이상의 모형을 결합 하여 구성되었기 때문에 앙상블 1 모형에 비하여 일관된 시뮬레이션 결과를 보여준다. 앙상블 1 모 형을 제외한 나머지 모형들은 전력효율을 최대화하 는 변수의 조건이 유사하다. 단, 이슬점에 관해서 는 전력효율을 최적화하는 변수값에 변동이 컸으 나, 이는 Fig. 2에서 확인할 수 있듯이 이슬점이 전력효율에 크게 영향을 주지 않기 때문으로 해석된다. 전력효율 예측성능이 가장 우수했던 앙상블 3 모형의 경우에는 Fig. 3의 단일변수 최적화 결과 와 유사하게, 온도가 낮고 유량이 높을수록 전력효 율을 극대화하는 경향을 보인다. 다만, 압력에 대 해서는 단일변수 최적화의 결과보다 더 낮은 압력 값에서 전력효율이 최적화됨을 확인할 수 있다.

Table 4. Optimal values found from the simulation through ensemble models

SOOOB6_2023_v26n6_3_1205_t0004.png 이미지

㈜신한에어로의 전력 저감 시스템을 적용하였을 때 전력효율이 0.1182에서 0.1460으로 상승한 것 을 Table 1에서 확인하였다. 본 연구에서 최적의 모형으로 찾아진 앙상블 3 모형으로부터 찾은 최 적화 값들을 적용하면 최대 전력효율은 0.2209인 것을 확인하였다. 이는 기존의 공압기 전력 저감 시스템보다 본 연구에서 찾아낸 최적화 변수 조건 을 반영한다면 공압기의 전력효율이 최대 51.3% 향상될 가능성이 있음을 시사한다.

4. 결 론

본 연구에서는 ㈜신한에어로의 전력 저감 시스 템을 평가하고, 더 나아가 전력효율을 극대화하기 위해 머신러닝 모형 및 앙상블을 활용한 시뮬레 이션 테스트를 실시하였다. 이를 통해 공압기의 환경변수가 전력효율에 미치는 영향을 파악하였 고, 전력효율을 최대화하는 다변수 최적화 조건을 도출하였다.

하지만, ㈜신한에어로의 공기 압축실에서 데이 터를 수집할 때, 여름에 전력 저감 시스템이 적용 되기 전의 데이터가 수집되었고, 겨울에는 전력 저감 시스템이 적용된 후에 데이터가 수집되었다. 따라서 외부의 계절요인에 따른 차이가 존재할 수 있으며, 추후 계절요인이 배제된 데이터를 수집해 추가 분석의 필요성이 있다.

또한 본 연구에서 찾아낸 최적의 조건에 대해 실제 현장에서 전력효율이 개선되었는지를 확인하 는 작업이 필요하며, 이를 통해 공압 시스템의 에 너지 효율을 극대화하는 방안을 찾는 실질적인 가 이드라인을 제공할 수 있을것으로 사료된다.

사 사

이 논문은 2023년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원 (No.2022- 0-00761, 스마트 제조 빅데이터 기반 인공지능 공압(Air) 통합제어 시스템 개발, 80%)과 2023년 도 정부(과학기술정보통신부)의 재원으로 한국연구 재단의 지원을 받아 수행된 연구임(No. 2021 R1C1C100711111, 통계적 이미지 매칭 알고리즘 의 개발을 통한 범죄족적분석, 20%).

참고문헌

  1. 김주헌, 장문수, 김예진, 허요섭, 정현상, 박소영, 공압기 소비전력에 대한 예측 모형의 비교연구. 한국산업융합학회논문집, 26.4, pp. 657-668, (2023). 
  2. Mitchell, Tom Michael. : Machine Learning. Vol. 1. New York: McGraw-hill, (2007). 
  3. Potter, Michael. : Set Theory and Its Philosophy: A Critical Introduction. Oxford University Press, (2004). 
  4. Bishop, Christopher M. : Pattern Recognition and Machine Learning. Springer, (2006). 
  5. Ke, Guolin, et al.: LightGBM : A highly efficient gradient boosting decision tree. Advances in Neural Information Processing Systems 30, (2017). 
  6. Liaw, Andy, and Matthew Wiener. : Classification and regression by randomForest. R news 2.3, pp.18-22, (2002). 
  7. Geurts, Pierre, Damien Ernst, and Louis Wehenkel. : Extremely randomized trees. Machine learning 63.1, pp.3-42, (2006).  https://doi.org/10.1007/s10994-006-6226-1
  8. Chen, Tianqi, and Carlos Guestrin. : XGBoost: A scalable tree boosting system. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, (2016). 
  9. Altman, Naomi S. : An introduction to kernel and nearest-neighbor nonparametric regression. The American Statistician 46.3, pp.175-185, (1992).  https://doi.org/10.1080/00031305.1992.10475879
  10. Prokhorenkova, Liudmila, et al. : CatBoost: unbiased boosting with categorical features. Advances in neural information processing systems 31, (2018). 
  11. James, Gareth, et al. : An Introduction to Statistical Learning. Vol. 112. New York: springer, (2013). 
  12. Erickson, Nick, et al. : Autogluon-tabular: Robust and accurate automl for structured data. arXiv preprint arXiv:2003.06505, (2020). 
  13. Lundberg, Scott M., and Su-In Lee. : A unified approach to interpreting model predictions. Advances in neural information processing systems 30, (2017).