• 제목/요약/키워드: XGBoost Regression

검색결과 57건 처리시간 0.027초

XGBoost 회귀를 활용한 편의점 계약전력 예측 모델의 최적화에 대한 연구 (A Study on the Optimization of a Contracted Power Prediction Model for Convenience Store using XGBoost Regression)

  • 김상민;박찬권;이지은
    • 한국IT서비스학회지
    • /
    • 제21권4호
    • /
    • pp.91-103
    • /
    • 2022
  • This study proposes a model for predicting contracted power using electric power data collected in real time from convenience stores nationwide. By optimizing the prediction model using machine learning, it will be possible to predict the contracted power required to renew the contract of the existing convenience store. Contracted power is predicted through the XGBoost regression model. For the learning of XGBoost model, the electric power data collected for 16 months through a real-time monitoring system for convenience stores nationwide were used. The hyperparameters of the XGBoost model were tuned using the GridesearchCV, and the main features of the prediction model were identified using the xgb.importance function. In addition, it was also confirmed whether the preprocessing method of missing values and outliers affects the prediction of reduced power. As a result of hyperparameter tuning, an optimal model with improved predictive performance was obtained. It was found that the features of power.2020.09, power.2021.02, area, and operating time had an effect on the prediction of contracted power. As a result of the analysis, it was found that the preprocessing policy of missing values and outliers did not affect the prediction result. The proposed XGBoost regression model showed high predictive performance for contract power. Even if the preprocessing method for missing values and outliers was changed, there was no significant difference in the prediction results through hyperparameters tuning.

A Design and Implement of Efficient Agricultural Product Price Prediction Model

  • Im, Jung-Ju;Kim, Tae-Wan;Lim, Ji-Seoup;Kim, Jun-Ho;Yoo, Tae-Yong;Lee, Won Joo
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권5호
    • /
    • pp.29-36
    • /
    • 2022
  • 본 논문에서는 DACON에서 제공하는 데이터셋을 기반으로 한 효과적인 농산물 가격 예측 모델을 제안한다. 이 모델은 XGBoost와 CatBoost 이며 Gradient Boosting 계열의 알고리즘으로써 기존의 Logistic Regression과 Random Forest보다 평균정확도 및 수행시간이 우수하다. 이러한 장점들을 기반으로 농산물의 이전 가격들을 기반으로 1주, 2주, 4주뒤 가격을 예측하는 머신러닝 모델을 설계한다. XGBoost 모델은 회귀 방식의 모델링인 XGBoost Regressor 라이브러리를 사용하여 하이퍼 파라미터를 조정함으로써 가장 우수한 성능을 도출할 수 있다. CatBoost 모델은 CatBoost Regressor를 사용하여 모델을 구현한다. 구현한 모델은 DACON에서 제공하는 API를 이용하여 검증하고, 모델 별 성능평가를 실시한다. XGBoost는 자체적인 과적합 규제를 진행하기 때문에 적은 데이터셋에도 불구하고 우수한 성능을 도출하지만, 학습시간, 예측시간 등 시간적인 성능 면에서는 LGBM보다 성능이 낮다는 것을 알 수 있었다.

Selecting Optimal Algorithms for Stroke Prediction: Machine Learning-Based Approach

  • Kyung Tae CHOI;Kyung-A KIM;Myung-Ae CHUNG;Min Soo KANG
    • 한국인공지능학회지
    • /
    • 제12권2호
    • /
    • pp.1-7
    • /
    • 2024
  • In this paper, we compare three models (logistic regression, Random Forest, and XGBoost) for predicting stroke occurrence using data from the Korea National Health and Nutrition Examination Survey (KNHANES). We evaluated these models using various metrics, focusing mainly on recall and F1 score to assess their performance. Initially, the logistic regression model showed a satisfactory recall score among the three models; however, it was excluded from further consideration because it did not meet the F1 score threshold, which was set at a minimum of 0.5. The F1 score is crucial as it considers both precision and recall, providing a balanced measure of a model's accuracy. Among the models that met the criteria, XGBoost showed the highest recall rate and showed excellent performance in stroke prediction. In particular, XGBoost shows strong performance not only in recall, but also in F1 score and AUC, so it should be considered the optimal algorithm for predicting stroke occurrence. This study determines that the performance of XGBoost is optimal in the field of stroke prediction.

머신러닝 기반 시계열 예측 시스템 비교 및 최적 예측 시스템 구현 (Comparison and Implementation of Optimal Time Series Prediction Systems Using Machine Learning)

  • 한용희;고방원
    • 한국정보전자통신기술학회논문지
    • /
    • 제17권4호
    • /
    • pp.183-189
    • /
    • 2024
  • 본 연구는 시계열 데이터를 효과적으로 예측하기 위해 데이터를 Seasonal-Trend Decomposition on Loess 을 통해 추세, 계절성, 잔차 성분으로 분해한 후 추세 성분에는 ARIMA, 계절성 성분에는 Fourier Series Regression, 잔차 성분에는 XGBoost를 적용하는 하이브리드 예측 모델을 제안하였다. 또한, ARIMA, XGBoost, LSTM, EMD-ARIMA, CEEMDAN-LSTM 모델을 포함한 성능 비교 실험을 수행하여 각 모델의 예측 성능을 평가하였다. 실험 결과, 제안된 하이브리드 모델은 MAPE, MAAPE, RMSE 지표에서 각각 3.8%, 3.5%, 0.35로 가장 좋은 평가 지표 값을 보이며 기존의 단일 모델보다 우수한 성능을 보였다.

XGBoost와 SHAP 기법을 활용한 근로자 이직 예측에 관한 연구 (A Study on the Employee Turnover Prediction using XGBoost and SHAP)

  • 이재준;이유린;임도현;안현철
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제30권4호
    • /
    • pp.21-42
    • /
    • 2021
  • Purpose In order for companies to continue to grow, they should properly manage human resources, which are the core of corporate competitiveness. Employee turnover means the loss of talent in the workforce. When an employee voluntarily leaves his or her company, it will lose hiring and training cost and lead to the withdrawal of key personnel and new costs to train a new employee. From an employee's viewpoint, moving to another company is also risky because it can be time consuming and costly. Therefore, in order to reduce the social and economic costs caused by employee turnover, it is necessary to accurately predict employee turnover intention, identify the factors affecting employee turnover, and manage them appropriately in the company. Design/methodology/approach Prior studies have mainly used logistic regression and decision trees, which have explanatory power but poor predictive accuracy. In order to develop a more accurate prediction model, XGBoost is proposed as the classification technique. Then, to compensate for the lack of explainability, SHAP, one of the XAI techniques, is applied. As a result, the prediction accuracy of the proposed model is improved compared to the conventional methods such as LOGIT and Decision Trees. By applying SHAP to the proposed model, the factors affecting the overall employee turnover intention as well as a specific sample's turnover intention are identified. Findings Experimental results show that the prediction accuracy of XGBoost is superior to that of logistic regression and decision trees. Using SHAP, we find that jobseeking, annuity, eng_test, comm_temp, seti_dev, seti_money, equl_ablt, and sati_safe significantly affect overall employee turnover intention. In addition, it is confirmed that the factors affecting an individual's turnover intention are more diverse. Our research findings imply that companies should adopt a personalized approach for each employee in order to effectively prevent his or her turnover.

머신러닝 기반 시설재배 딸기 생산량 예측 연구 (A Study on the Prediction of Strawberry Production in Machine Learning Infrastructure)

  • 오한별;임종현;양승원;조용윤;신창선
    • 스마트미디어저널
    • /
    • 제11권5호
    • /
    • pp.9-16
    • /
    • 2022
  • 최근 농업 현장에서는 빅데이터와 IoT(Internet of Things) 등 기술을 적용하여 디지털농업 스마트팜으로 자동화를 하고 있다. 이러한 스마트팜은 작물의 환경을 측정하고 데이터를 조사하고 가공하여 생산량의 증대와 작물의 품질을 향상하고자 한다. 생산량 예측은 첨단 농업인 스마트팜 디지털 농업에서 중요한 연구로 빅데이터를 활용하여 환경데이터를 분석하고 나아가 생육정보 데이터 품질 관리를 위한 표준화 연구가 필요하다. 본 논문에서는 스마트팜 딸기 농장에서 수집된 환경 및 생산량 데이터를 분석하여 연구하였다. 회귀분석을 기반으로 릿지회귀(Ridge Regression), LightGBM, XGBoost를 사용하여 작물 생산량 예측 모델을 분석하였다. 3가지 모델 중 최적의 모델은 XGBoost로 R2는 82.5%의 설명력을 보였다. 연구 결과 양액흡수량과 환경데이터간의 상관관계를 확인할 수 있었고, 생산량 예측 연구에 대한 유의미한 결과를 얻을 수 있었다. 향후 작물의 생육환경 정보 및 양액의 성분 등 양액흡수량을 연구하여 양액관리를 통해 환경오염 예방 및 양액 절감에 기여할 것으로 기대된다.

머신러닝을 통한 잉크 필요량 예측 알고리즘 (Machine Learning Algorithm for Estimating Ink Usage)

  • 권세욱;현영주;태현철
    • 산업경영시스템학회지
    • /
    • 제46권1호
    • /
    • pp.23-31
    • /
    • 2023
  • Research and interest in sustainable printing are increasing in the packaging printing industry. Currently, predicting the amount of ink required for each work is based on the experience and intuition of field workers. Suppose the amount of ink produced is more than necessary. In this case, the rest of the ink cannot be reused and is discarded, adversely affecting the company's productivity and environment. Nowadays, machine learning models can be used to figure out this problem. This study compares the ink usage prediction machine learning models. A simple linear regression model, Multiple Regression Analysis, cannot reflect the nonlinear relationship between the variables required for packaging printing, so there is a limit to accurately predicting the amount of ink needed. This study has established various prediction models which are based on CART (Classification and Regression Tree), such as Decision Tree, Random Forest, Gradient Boosting Machine, and XGBoost. The accuracy of the models is determined by the K-fold cross-validation. Error metrics such as root mean squared error, mean absolute error, and R-squared are employed to evaluate estimation models' correctness. Among these models, XGBoost model has the highest prediction accuracy and can reduce 2134 (g) of wasted ink for each work. Thus, this study motivates machine learning's potential to help advance productivity and protect the environment.

기계 학습 모델을 통해 XGBoost 기법을 활용한 부산 컨테이너 물동량 예측 (Forecasting the Busan Container Volume Using XGBoost Approach based on Machine Learning Model)

  • 웬티프엉타인;조규성
    • 사물인터넷융복합논문지
    • /
    • 제10권1호
    • /
    • pp.39-45
    • /
    • 2024
  • 항만 성능에 대한 정확한 평가는 컨테이너 물동량은 매우 중요한 요소이며, 효과적인 항만 개발 및 운영 전략에 대한 정확한 예측이 필수적이다. 하지만 해양 산업의 급격한 변화로 인해 컨테이너 물동량 예측의 정확성이 향상되기는 어렵다. 이를 해결하기 위해 사물인터넷(IoT)을 이용한 항만 성능에 미치는 영향을 분석하여 부산항의 경쟁력과 효율성을 향상시키기 위해 적용이 필요하다. 이에 본 연구에서는 부산항의 미래 컨테이너 물동량을 예측하기 위한 예측 모델을 개발하는 것을 목표로 이를 통해 항만 관리 기관의 개선된 의사 결정과 항만 생산성을 향상시키는 데 초점을 맞추고 있다. 항만 컨테이너 물동량을 예측하기 위해 본 연구에서는 기계 학습 모델의 Extreme Gradient Boosting (XGBoost) 기법을 도입하였다. XGBoost는 다른 알고리즘에 비해 높은 정확도, 빠른 학습 및 예측 속도,과적합을 방지하고 Feature Importance 제공하는 장점이 돋보인다. 특히 XGBoost는 회귀 예측 모델링에 직접 사용할 수 있어 기존 연구에서 제시된 물동량 예측 모델의 정확도 향상에 도움이 된다. 이를 통해 본 연구는 4.3% MAPE (Mean absolute percenture error) 값으로 제안된 방법이 컨테이너 물동량을 정확하고 신뢰성 있게 예측할 수 있다. 본 연구에서 제시한 방법론을 통해서 부산 컨테이너물동량의 정확성을 높일 수 있을 것으로 판단된다.

경동맥 혈관 MRI에서 라디오믹스를 이용한 동맥경화증 진단 모델 (Diagnosis Atherosclerosis Model Using Radiomics Approach in Carotid Vessel MRI)

  • 김종훈;박현진
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 추계학술대회
    • /
    • pp.289-290
    • /
    • 2022
  • 동맥경화증은 경동맥 혈관 벽이 두꺼워지는 질병으로 진단을 위해 혈관 벽의 두께를 모니터링하는 것이 중요하다. 본 연구에서는 경동맥 MRI 영상에서 324개의 라디오믹스 특징을 추출하고 머신러닝 기법을 이용하여 동맥경화증을 진단하는 모델을 제안한다. 라디오믹스 특징을 통해 로지스틱 회귀, 서포트 벡터 머신, 랜덤 포레스트, XGBoost의 총 4가지 분류 모델을 학습하였다. 5-fold 교차 검증에서 가장 높은 성능의 모델인 XGBoost는 정확도 0.9023, 민감도 0.9517, 특이도 0.8035, AUC 0.8776의 결과값을 보여준다.

  • PDF

쾌삭 303계 스테인리스강 소형 압연 선재 제조 공정의 생산품질 예측 모형 (Quality Prediction Model for Manufacturing Process of Free-Machining 303-series Stainless Steel Small Rolling Wire Rods)

  • 서석준;김흥섭
    • 산업경영시스템학회지
    • /
    • 제44권4호
    • /
    • pp.12-22
    • /
    • 2021
  • This article suggests the machine learning model, i.e., classifier, for predicting the production quality of free-machining 303-series stainless steel(STS303) small rolling wire rods according to the operating condition of the manufacturing process. For the development of the classifier, manufacturing data for 37 operating variables were collected from the manufacturing execution system(MES) of Company S, and the 12 types of derived variables were generated based on literature review and interviews with field experts. This research was performed with data preprocessing, exploratory data analysis, feature selection, machine learning modeling, and the evaluation of alternative models. In the preprocessing stage, missing values and outliers are removed, and oversampling using SMOTE(Synthetic oversampling technique) to resolve data imbalance. Features are selected by variable importance of LASSO(Least absolute shrinkage and selection operator) regression, extreme gradient boosting(XGBoost), and random forest models. Finally, logistic regression, support vector machine(SVM), random forest, and XGBoost are developed as a classifier to predict the adequate or defective products with new operating conditions. The optimal hyper-parameters for each model are investigated by the grid search and random search methods based on k-fold cross-validation. As a result of the experiment, XGBoost showed relatively high predictive performance compared to other models with an accuracy of 0.9929, specificity of 0.9372, F1-score of 0.9963, and logarithmic loss of 0.0209. The classifier developed in this study is expected to improve productivity by enabling effective management of the manufacturing process for the STS303 small rolling wire rods.