• 제목/요약/키워드: GBM 모형

검색결과 23건 처리시간 0.024초

데이터 불균형 개선에 따른 탁도 예측 앙상블 머신러닝 모형의 성능 특성 (Performance Characteristics of an Ensemble Machine Learning Model for Turbidity Prediction With Improved Data Imbalance)

  • 양현석;박정수
    • Ecology and Resilient Infrastructure
    • /
    • 제10권4호
    • /
    • pp.107-115
    • /
    • 2023
  • 고 탁도의 원수는 정수장 운영 및 수 생태 환경에 부정적인 영향을 줄 수 있어 관리가 필요한 수질 인자이며, 하천의 탁도 예측을 통해 고 탁도의 원수의 효율적 관리를 수행하기 위해 관련분야에 대한 연구가 지속되고 있다. 본 연구에서는 대표적인 앙상블 머신러닝 알고리즘 중 하나인 LightGBM (light gradient boosting machine)을 이용하여 탁도를 예측하는 다중 분류 모형을 구축하였다. 모형의 구축을 위해 입력자료를 탁도값에 따라 탁도가 낮은 경우부터 높은 경우까지 4개의 class로 구분하였으며, class 1 - 4에 속하는 자료수는 각각 945개, 763개, 95개, 25개로 분류되었다. 구축한 모형의 class 1 - 4에 대한 정밀도 (Precision) 각각 0.85, 0.71, 0.26, 0.30 재현율 (Recall)은 각각 0.82, 0.76, 0.19, 0.60로 데이터 수가 적은 소수 class에서 상대적으로 모형이 성능이 낮은 경향을 보였다. 데이터 불균형을 해소하기 위해 over-sampling알고리즘 중 SMOTE를 적용한 결과 개선된 모형의 class 1 - 4에 대한 정밀도 및 재현율은 각각 0.88, 0.71, 0.26, 0.25 및 0.79, 0.76, 0.38, 0.60으로 데이터 불균형 해소를 통해 모형의 재현율이 크게 개선되는 것을 확인할 수 있었다. 또한 데이터 구성비율이 모형성능에 미치는 영향에 대한 확인을 위하여 입력자료의 구성비를 다양하게 하고 각각의 자료로 구축된 모형의 결과를 비교하여 입력자료 구성비에 따른 모형성능의 차이를 분석하였으며, 모형 입력자료의 구성비의 적정한 산정을 통해 모형의 성능을 향상시킬 수 있음을 확인하였다.

기계학습을 활용한 주택매도 결정요인 분석 및 예측모델 구축 (Using Mechanical Learning Analysis of Determinants of Housing Sales and Establishment of Forecasting Model)

  • 김은미;김상봉;조은서
    • 지적과 국토정보
    • /
    • 제50권1호
    • /
    • pp.181-200
    • /
    • 2020
  • 본 연구는 OLS모형을 적용하여 주택보유기간에 영향을 미치는 결정요인을 추정한 후 SVM, Decision Tree, Random Forest, Gradient Boosting, XGBoost, LightGBM을 통해 각 모형별 예측력을 비교하였다. 예측력이 가장 높은 모델을 기반모델 삼아 앙상블 모형 중 하나인 Stacking모형을 적용하여 더욱 예측력이 높은 모형을 구축하여 주택시장의 주택거래량을 파악할 수 있다는 점에 선행 연구와의 차이가 있다. OLS분석 결과 매도이익, 주택가격, 가구원 수, 거주주택형태(단독주택, 아파트)이 주택보유기간에 영향을 미치는 것으로 나타났으며, RMSE를 기준삼아 각 머신러닝 모형과 예측력 비교한 결과 머신러닝 모델의 예측력이 더 높은 것으로 나타났다. 이후, 영향을 미치는 변수로 데이터를 재구축한 후 각 머신러닝을 적용하여 예측력을 비교하였으며, 분석 결과 Random Forest의 예측력이 가장 우수한 것으로 나타났다. 또한 예측력이 가장 높은 Random Forest, Decision Tree, Gradient Boosting, XGBoost모형을 개별모형으로 적용하고, Linear, Ridge, Lasso모형을 메타모델로 하여 Stacking 모형을 구축하였다. 분석 결과, Ridge모형일 때 RMSE값이 0.5181으로 가장 낮게 나타나 예측력이 가장 높은 모델을 구축하였다.

종분포모형의 불확실성 확인을 위한 앙상블모형 적용 (Applying Ensemble Model for Identifying Uncertainty in the Species Distribution Models)

  • 권혁수
    • 대한공간정보학회지
    • /
    • 제22권4호
    • /
    • pp.47-52
    • /
    • 2014
  • 종분포모형은 생물다양성 평가, 보호지역 지정, 서식지 관리 및 복원, 기후변화 예측 등의 다양한 분야에 활용되고 있으나 공공이나 정책분야에서는 모형의 불확실성으로 인하여 활용이 제한적이었다. 최근에는 이러한 모형의 불확실성을 저감하기 위하여 앙상블이나 합의모형 등의 다중모형을 적용하는 연구가 증가하고 있다. 이에 본 연구에서는 히어리를 대상으로 단일모형과 앙상블(다중) 모형을 적용하고 이를 비교하는 연구를 수행하였다. 모형은 AUC와 kappa, TSS를 이용하여 적합도를 평가하였으며, 이 중 모형 간의 비교가 용이하고 이항형 지도로 바로 변환할 수 있는 TSS가 효과적이었다. 단일모형과 앙상블 모형 모두 높은 모형적합도를 나타내었으며, 다중 모형 중에서는 RF, Maxent, GBM이 높게, GAM, SRE는 비교적 낮게 평가되었다. 예측지도에서는 단일모형에 비해 다중모형의 예측범위가 과대 추정되는 경향이 있었다. 이는 여러 모형이 중첩된 결과로 현장전문가와 모형전문가들 간의 협력연구를 통하여 적절한 모형 선택과 가중치 부여 등을 통하여 문제를 해결할 수 있다. 앙상블모형을 공간의사결정이나 보호지역계획에 활용하기 위해서는 불확실성의 정도와 원인을 파악하고, 이를 저감하려는 개선작업과 함께 결과의 불확실성이나 위험성을 인지하고 의사결정을 해야 한다.

확률변동성 모형을 적용한 해운산업의 벙커가격과 환율 리스크 추정 (Application to the Stochastic Modelling of Risk Measurement in Bunker Price and Foreign Exchange Rate on the Maritime Industry)

  • 김현석
    • 한국항만경제학회지
    • /
    • 제34권1호
    • /
    • pp.99-110
    • /
    • 2018
  • 본 연구는 해운기업의 주요 비용요인 벙커 가격과 환율의 불확실성으로 인한 재무적 리스크를 수치화하는 방법론을 2010년 1월 1일부터 2018년 1월 31일까지의 일별자료를 대상으로 적용한다. 기하브라운 운동 (Geometric Brownian Motion 이하 GBM)과 이를 확장한 조건부 이분산성(heteroskedasticity) 및 점프 확산 프로세스(jump diffusion process)에 의존하는 모형으로부터 추정한 현금 흐름 리스크 추정치는 다음 세 가지 학술적 기여로 요약할 수 있다. 첫째, 운임수익률과 같은 단일 변수에 의존한 리스크 분석을 벙커가격과 환율 수익률 변동성과 같이 복합요인으로부터 발생하는 영향으로 분석을 확장하였다. 둘째, 개별기업 수준에서 벙커가격과 환율 리크스 관리의 필요성을 민감도 분석을 통해 현금흐름수준으로 제시하였다. 마지막으로 분석결과가 제시하는 리스크 규모를 근거로 해운기업은 리스크 관리를 위한 수단으로 무엇이 적절한가를 고민해야 할 필요성이 있음을 제기한다.

Learning-to-rank 기법을 활용한 서울 경마경기 순위 예측 (Horse race rank prediction using learning-to-rank approaches)

  • 정준형;신동욱;황세용;박건웅
    • 응용통계연구
    • /
    • 제37권2호
    • /
    • pp.239-253
    • /
    • 2024
  • 본 연구는 learning-to-rank (LTR) 기법 중 point-wise와 pair-wise learning을 적용하여 서울 경마경기 순위 예측을 수행하였다. Point-wise learning으로는 선형 회귀와 랜덤 포레스트를 pair-wise learning으로는 RankNet, LambdaMART (XGBoost Ranker, LightGBM Ranker, CatBoost Ranker)을 활용하였다. 또한 데이터 불균형 문제를 해결하기 위해 전처리 과정에서 경주기록을 경주거리에 따라 표준화하는 방식을 채택하였으며, 모형의 예측 능력 향상을 위해 경기 정보, 기수 정보, 마필 정보, 조교사 정보 등의 다양한 데이터를 사용하였다. 그 결과 아이템 간의 순위관계를 학습할 수 있는 pair-wise learning이 point-wise learning보다 전반적으로 더 뛰어난 예측력을 보이는 것을 확인하였다. 특히 CatBoost Ranker는 제시된 모형들 중 가장 뛰어난 예측 성능을 보였다. 마지막으로 섀플리 값을 통해 CatBoost Ranker에서 경주마의 성적, 직전 경주기록, 경주마의 출발훈련 횟수, 누적 출발훈련 횟수, 질병 진단횟수 등이 상위 10개 중요 변수에 포함된 것을 확인하였다.

NLL과 GMM을 중심으로 한 확산모형 추정법 비교 (Comparison Study on the Performances of NLL and GMM for Estimating Diffusion Processes)

  • 김대균;이윤동
    • 응용통계연구
    • /
    • 제24권6호
    • /
    • pp.1007-1020
    • /
    • 2011
  • 현대금융공학에 있어서 확산모형은 중요한 역할을 담당하고 있다. 다양한 형태의 확산모형이 제안되어왔고 현실에 응용되어 왔다. 확산모형을 이용하여 금융자료를 분석하기 위하여는 확산모형의 모수를 추정하는 것이 필수불가결한 단계이다. 이들 모수에 대한 다양한 추정방법들이 제안되어 왔고, 많은 연구에서 이러한 추정방법들이 갖는 성질에 대하여 연구되어져왔다. 이 연구에서는 그 적용방법이 단순하여 가장 자주 사용되는 것으로 알려진, 오일러 근사법과 신국소근사법(NLL) 그리고 일반화 적률법(GMM)과 같은 세 가지 추정방법들에 대한 통계적 성질을 검토하게 될 것이다. 모의실험연구를 통하여 오일러근사법이나 NLL방법이 GMM 방법에 비하여 훨씬 좋은 성질을 가지고 있음을 보이게 된다. 특히 GMM은 적용방법이 단순할 뿐만 아니라 강건성(robustness)이라는 좋은 성질을 가지고 있는 것으로 알려져 있어서 많은 연구에서 매우 자주 사용되는 추정방법이다. 그러나 본 연구에서 확인해 본 바와 같이 GMM은 그 사용법이 오히려 더욱 단순한 NLL이나 오일러방법에 비하여 열등한 통계적 성질을 보여주고 있었다. 특히나 확산계수에 추정모수가 포함된 경우에 GMM은 매우 좋지 못한 성질을 보이게 된다.

소득대체율 부족 위험 최소화를 위한 확정기여형 퇴직연금제도의 최적자산배분 (Optimal Asset Allocation for Defined Contribution Pension to Minimize Shortfall Risk of Income Replacement Rate)

  • 이동화;최경진
    • 한국시뮬레이션학회논문지
    • /
    • 제33권1호
    • /
    • pp.27-34
    • /
    • 2024
  • 본 연구는 OECD 평균 수준의 소득대체율 대비 실현 소득대체율이 부족할 위험을 최소화하는 자산배분안을 제안하는 데 그 목적이 있다. 이를 위해 본 연구는 소득대체율 부족 위험을 정의하고 이를 최소화하는 최적 자산배분안을 퇴직연금제도 가입기간, 가입자 소득수준, 추가부담금 수준별로 산출하여 제시하였다. 이를 위해 본 연구는 투자의 대상으로 주식과 예금을 고려하였으며 주식의 경우 GBM 모형에 몬테카를로 시뮬레이션을 수행하여 수익률 분포를 생성하였다. 분석결과, 퇴직연금제도 가입 기간이 30년 이하인 경우, 가입자는 적립금의 최소 70~80%를 위험자산에 투자해야 소득대체율 부족 위험을 최소화할 수 있는 것으로 나타났다. 다만, 가입자가 부담금을 추가 납부할 경우 위험자산의 최적 투자 비중은 큰 폭으로 하락하였으며, 이러한 효과는 저소득자에서 크게 나타났다. 따라서, OECD 평균 수준의 소득대체율을 달성하기 위해 정부는 가입자들이 일정 수준 이상의 적립금을 위험자산에 투자할 수 있도록 유인하는 가운데 저소득층에게는 추가부담금 납입을 유인하기 위한 보조금 정책 등을 검토할 필요가 있다.

머신러닝을 이용한 교통사고 사상자 수 예측:서울시 공공데이터를 대상으로 (Prediction Of Traffic Accident Casualties Using Machine Learning: For Seoul Public Data)

  • 남명우;박두서;장영준;이홍철
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제63차 동계학술대회논문집 29권1호
    • /
    • pp.27-30
    • /
    • 2021
  • 경제 성장과 함께 자동차의 수요가 늘어남에 따라 교통사고 발생 빈도는 꾸준히 증가하고 있다. 이에, 본 연구에서는 교통사고를 야기하는 도로 및 기상환경과 같은 조건을 활용하여 기계학습 모델을 통해 서울시 교통사고 사상자 수를 예측하는 모형을 찾고자 한다. 활용한 데이터는 도로교통 공단에서 제공하는 교통사고 사상자 수 정보를 포함하는 데이터로 2015년부터 2018년도까지 데이터를 학습에 사용하였고 2019년도 데이터를 테스트 평가에 사용하였다. 실증연구를 통해 트리 기반의 모델 별 성능을 비교하였으며 본 연구에 대한 결과는 사고 발생 시 우선순위에 의한 구조활동이 가능하게 함과 도로상황 및 기상을 고려한 안전운전 가이드 지식으로 활용될 수 있다.

  • PDF

앙상블 머신러닝 모형을 이용한 하천 녹조발생 예측모형의 입력변수 특성에 따른 성능 영향 (Effect of input variable characteristics on the performance of an ensemble machine learning model for algal bloom prediction)

  • 강병구;박정수
    • 상하수도학회지
    • /
    • 제35권6호
    • /
    • pp.417-424
    • /
    • 2021
  • Algal bloom is an ongoing issue in the management of freshwater systems for drinking water supply, and the chlorophyll-a concentration is commonly used to represent the status of algal bloom. Thus, the prediction of chlorophyll-a concentration is essential for the proper management of water quality. However, the chlorophyll-a concentration is affected by various water quality and environmental factors, so the prediction of its concentration is not an easy task. In recent years, many advanced machine learning algorithms have increasingly been used for the development of surrogate models to prediction the chlorophyll-a concentration in freshwater systems such as rivers or reservoirs. This study used a light gradient boosting machine(LightGBM), a gradient boosting decision tree algorithm, to develop an ensemble machine learning model to predict chlorophyll-a concentration. The field water quality data observed at Daecheong Lake, obtained from the real-time water information system in Korea, were used for the development of the model. The data include temperature, pH, electric conductivity, dissolved oxygen, total organic carbon, total nitrogen, total phosphorus, and chlorophyll-a. First, a LightGBM model was developed to predict the chlorophyll-a concentration by using the other seven items as independent input variables. Second, the time-lagged values of all the input variables were added as input variables to understand the effect of time lag of input variables on model performance. The time lag (i) ranges from 1 to 50 days. The model performance was evaluated using three indices, root mean squared error-observation standard deviation ration (RSR), Nash-Sutcliffe coefficient of efficiency (NSE) and mean absolute error (MAE). The model showed the best performance by adding a dataset with a one-day time lag (i=1) where RSR, NSE, and MAE were 0.359, 0.871 and 1.510, respectively. The improvement of model performance was observed when a dataset with a time lag up of about 15 days (i=15) was added.

블랙숄즈모형을 적용한 태양광 핵심소재 기술가치평가: 기업사례를 중심으로 (Valuation on the Photovoltaic Core Material Technology Using Black-Scholes Model: a Company's Case Study)

  • 이동수;정기호
    • 기술혁신학회지
    • /
    • 제14권3호
    • /
    • pp.578-598
    • /
    • 2011
  • 본 논문은 차세대 그린에너지원으로 주목받고 있는 태양광산업의 핵심소재 기술에 대한 가치를 실물 옵션 기법을 이용하여 추정한다. 본 논문의 기여는 두 가지이다. 하나는 방법론적인 기여로서, 실물옵션의 기초자산 불확실성을 대변하는 변수로서 주가를 고려하여 실물옵션 적용에서 가장 복잡한 단계인 기초자산 불확실성의 모형과정을 대폭 단순화시켰다. 다른 하나는 응용장의 기여로서, 최근 수요가 크게 증가하고 있는 태양광산업의 핵심소재인 폴리실리콘의 생산공정 기술의 경제적 가치를 평가하였다. 분석사례인 폴리실리콘 산업의 A기업에 적용한 결과, 동 기업의 폴리실리콘 기술의 기초자산이 기하브라운모션을 따르는 것으로 나타났으며 이러한 결과에 블랙-숄즈 옵션가격결정모형을 적용하여 A기업의 폴리실리콘 기술에 대한 콜옵션의 가치는 약 34,229억원으로 측정되었다.

  • PDF