• 제목/요약/키워드: SHAP 분석

검색결과 50건 처리시간 0.025초

머신러닝을 활용한 수도권 약수터 수질 예측 모델 개발 (Development of a water quality prediction model for mineral springs in the metropolitan area using machine learning)

  • 임영우;엄지연;곽기영
    • 지능정보연구
    • /
    • 제29권1호
    • /
    • pp.307-325
    • /
    • 2023
  • 코로나19 팬데믹의 장기화로 인해 실내 생활에 지쳐가는 사람들이 우울감, 무기력증 등을 해소하기 위해 근거리의 산과 국립공원을 찾는 빈도가 폭발적으로 증가하였다. 자연으로 나온 수많은 사람들이 오가는 걸음을 멈추고 숨을 돌리며 쉬어가는 장소가 있는데 바로 약수터이다. 산이나 국립공원이 아니더라도 근린공원 또는 산책로에서도 간간이 찾아볼 수 있는 약수터는 수도권에만 약 6백여개가 위치해 있다. 하지만 불규칙적이고 수작업으로 수행되는 수질검사로 인해 사람들은 실시간으로 검사 결과를 알 수 없는 상태에서 약수를 음용하게 된다. 따라서 본 연구에서는 약수터 수질에 영향을 미치는 요인을 탐색하고 다양한 곳에 흩어져 있는 데이터를 수집하여 실시간으로 약수터 수질을 예측할 수 있는 모델을 개발하고자 한다. 데이터 수집의 한계로 인해 서울과 경기로 지역을 한정한 후 데이터 관리가 잘 이루어지고 있는 18개 시의 약 300여개 약수터를 대상으로 2015~2020년의 수질 검사 데이터를 확보하였다. 약수터 수질 적합 여부에 영향을 미칠 것으로 여겨지는 다양한 요인들 중 두 차례의 검토를 거쳐 총 10개의 요인을 최종 선별하였다. 최근 주목받고 있는 자동화 머신러닝 기술인 AutoML 기법을 활용하여 20여가지의 머신러닝 기법들 중 예측 성능 기준 상위 5개의 모델을 도출하였으며 그 중 catboost 모델이 75.26%의 예측 분류 정확도로 가장 높은 성능을 가지고 있음을 확인하였다. 추가로 SHAP 기법을 통해 분석에 사용한 변인들이 예측에 미치는 절대적인 영향력을 살펴본 결과 직전 수질 검사에서 부적합 판정을 받았는지 여부가 가장 중요한 요인이었으며 그 외 평균 기온, 과거 연속 2번 수질 부적합 판정 기록 유무, 수질 검사 당일 기온, 약수터 고도 등이 수질 부적합 여부에 영향을 미치고 있음을 확인하였다.

분리학습 모델을 이용한 수출액 예측 및 수출 유망국가 추천 (Export Prediction Using Separated Learning Method and Recommendation of Potential Export Countries)

  • 장영진;원종관;이채록
    • 지능정보연구
    • /
    • 제28권1호
    • /
    • pp.69-88
    • /
    • 2022
  • 최근 코로나19 팬데믹으로 인해 전 세계 경제와 외교 상황에 급격한 변화가 일어나고 있으며, 수출 의존도가 높은 한국은 이러한 변화에 큰 영향을 받고 있다. 본 연구에서는 기업의 수출전략 수립 및 의사결정 지원을 위해 차년도 수출액 예측 모델을 구축하고, 모델의 예측 결과를 바탕으로 수출 유망국가 추천 방식을 제안한다. 본 연구에서는 모델이 다양한 정보를 학습할 수 있도록 국가별, 품목별, 거시경제 변수 등 선행 연구에서 중요하게 사용된 변수를 다방면으로 수집하였다. 수집한 데이터를 분석한 결과, 국가와 품목에 따라서 수출액의 분포가 매우 비대칭적인 것을 확인할 수 있었다. 따라서, 모델의 예측 성능을 향상시키고 설명력을 확보하기 위해서 분리학습 방식을 사용하였다. 분리학습은 전체 데이터를 동질적인 하위 그룹으로 분리하고 개별 모델을 구축하는 방식으로, 본 연구에서는 수출액을 기준으로 5개 구간으로 데이터를 분리하였다. 모델 학습 과정에서 구간별 특성을 반영하여 구간1부터 구간4까지는 LightGBM을 사용하고, 구간5는 지수이동평균을 사용하였으며 이를 통해 모델의 예측 성능을 향상시킬 수 있었다. 모델의 설명력 확보를 위해서 추가로 구간별 모델의 SHAP-value를 계산하고 중요도가 높은 변수를 제시했다. 또한, 본 연구에서는 예측 모델을 기반으로 2단계 수출 유망국가 추천 방식을 제안했다. 효율적인 수출 전략 수립을 위해서 BCG 매트릭스와 국가별 점수 산출 방식을 사용하였고, 품목별 유망 국가 순위와 수출 관련 주요 정보들을 제공하였다. 본 연구는 다양한 정보를 학습한 머신러닝 모델로 여러 국가와 품목에 대한 예측을 실시하고, 이 과정에서 분리학습 방식으로 예측 성능을 향상시켰다는 점에서 의의가 있다. 또한, 현재 무역 관련 서비스들이 과거 데이터에 기반한 정보를 제공하고 있음을 고려할 때, 본 연구에서 제안한 예측 모델과 유망국가 추천 방식은 기업들의 미래 수출 전략 수립 및 동향 파악에 유용하게 사용될 수 있을 것으로 기대된다.

XGBoost를 활용한 이륜자동차 교통사고 심각도 비교분석 (Comparative Analysis of Traffic Accident Severity of Two-Wheeled Vehicles Using XGBoost)

  • 권철우;장현호
    • 한국ITS학회 논문지
    • /
    • 제20권4호
    • /
    • pp.1-12
    • /
    • 2021
  • 최근 코로나 19의 영향으로 이륜자동차 교통사고의 발생은 이전보다 급격히 증가하게 되었고 이륜자동차 사고방지를 위한 다각적인 노력이 필요한 시점이다. 본 연구에서는 XGBoost를 활용하여 최근 10년간 발생한 이륜자동차 교통사고 자료로 사고 심각도에 영향인자를 도출하여 각 영향인자가 주는 영향력을 분석하였다. 전체 변수 중 교통사고 심각도에 영향을 주는 변수는 신호 위반을 하였을 경우가 압도적으로 높았으며, 운전자 연령대가 60대 이상일 경우, 이륜자동차 단독사고일 경우, 중앙선 침범 사고일 경우 순으로 높은 것으로 나타났다. 연구 결과를 바탕으로 이륜자동차의 심각한 교통사고의 방지와 안전관리를 강화하기 위한 합리적인 제도 개편방안을 제시하였다.

설명 가능한 인공지능을 이용한 지역별 출산율 차이 요인 분석 (Analysis of Regional Fertility Gap Factors Using Explainable Artificial Intelligence)

  • 이동우;김미경;윤정윤;류동원;송재욱
    • 산업경영시스템학회지
    • /
    • 제47권1호
    • /
    • pp.41-50
    • /
    • 2024
  • Korea is facing a significant problem with historically low fertility rates, which is becoming a major social issue affecting the economy, labor force, and national security. This study analyzes the factors contributing to the regional gap in fertility rates and derives policy implications. The government and local authorities are implementing a range of policies to address the issue of low fertility. To establish an effective strategy, it is essential to identify the primary factors that contribute to regional disparities. This study identifies these factors and explores policy implications through machine learning and explainable artificial intelligence. The study also examines the influence of media and public opinion on childbirth in Korea by incorporating news and online community sentiment, as well as sentiment fear indices, as independent variables. To establish the relationship between regional fertility rates and factors, the study employs four machine learning models: multiple linear regression, XGBoost, Random Forest, and Support Vector Regression. Support Vector Regression, XGBoost, and Random Forest significantly outperform linear regression, highlighting the importance of machine learning models in explaining non-linear relationships with numerous variables. A factor analysis using SHAP is then conducted. The unemployment rate, Regional Gross Domestic Product per Capita, Women's Participation in Economic Activities, Number of Crimes Committed, Average Age of First Marriage, and Private Education Expenses significantly impact regional fertility rates. However, the degree of impact of the factors affecting fertility may vary by region, suggesting the need for policies tailored to the characteristics of each region, not just an overall ranking of factors.

사막화방지(沙漠化防止) 및 방사기술개발(防沙技術開發)에 관한 연구(硏究)(III) - 중국(中國)의 황막사지(荒漠沙地) 녹화기술분석(綠化技術分析) - (Studies on the Desertification Combating and Sand Industry Development(III) - Revegetation and Soil Conservation Technology in Desertification-affected Sandy Land -)

  • 우보명;이경준;최형태;이상호;박주원
    • 한국산림과학회지
    • /
    • 제90권1호
    • /
    • pp.90-104
    • /
    • 2001
  • 이 연구는 지난 3년간 북경임업대학교와 공동연구과제로 중국의 사막화방지 및 방사기술개발을 위한 연구의 일환으로 사막화현황 및 녹화기술수준조사 및 평가를 위하여 수행되었으며, 특히 본고에서는 중국의 황막사지에 대한 녹화기술을 분석하고자 하였다. 사막화지역 식생분포의 일반적인 특징은 부분적으로 집중된 식생분포, 즉 사막의 저지대 또는 분지의 낮은 곳의 사구에 있는 사막식물, 염수호 주변의 내염성식물, 담수 염수호와 하천연안의 포플러 및 위성류의 군생, 사력퇴적지(고비)의 사퇴식생, 하천선상지의 초생지 및 오아시스(녹주(綠洲))숲 등이다. 일반적으로 사막화지역에는 중국식물명(中國植物名)으로 정류(檉柳)(홍류(紅柳))(Tamarix chinensis Lour.), 사사(梭梭)(Haloxylon ammodendron Bunge.), 사괴조(沙拐棗)(Calligonum Spp.), 호루(胡楊)(Populus euphratica Oliver.), 사조(沙棗)(Elaeagnus angustifolia L.), 유(楡)백유(白楡)(Ulmus pumila L.), 류류(柳類)(Salix spp.), 암황시(岩黃蓍)(Hedysarum spp.), 금계아(錦鷄兒)(Caragana spp.), 문관과(文冠果)(Xanthoceras sorbifolia Bunge.), 백자(白刺)(Nitraria tangutorum Bobr.), 호기자(胡技子)(Lespedeza bicolor), 낙타자(駱駝刺)(Alhagi sparsifolia Shap.), 자산감(刺山柑)(Capparis spinosa L.), 사호(沙蒿)(Artemisia arenaria DC.) 등이 널리 분포하며, 이와 같은 사막화지역 자생식물에 관한 연구가 더욱 필요한 상황에 있다. 풍식지역에서는 합리적인 경작체계(지역계획, 방풍림체계 및 오아시스보호체계, 관개수로네트워크설치, 광대한 농지관리기술 등), 식물자원의 합리적 이용기술(연료림, 약용식물, 방목, 초지관리 등), 수자원이용(유역계획 및 관리, 수로건설, 절수관개기법 등), 방풍림조성, 인구증가의 조절, 농용림 연료목 사료증산기술 등에 관해서, 그리고 수식지역에서는 합리적인 토지이용기술, 식생이용기술, 공학적기술, 농작물보호기술 개발 등에 관한 시험연구사업이 중점적으로 추진되고 있다. 또한, 사막화지역에서의 염성토양 알카리토양개량을 위한 수리적(관개, 배수, 세탈, 수도재배 등), 농업적(토지정리, 경작, 시비, 파종, 윤작, 혼작, 객토 등), 생물적(내염성 작물 및 녹비의 재배, 조림 등) 방법 등에 관한 시험연구도 활발하게 추진되고 있으며, 이와 같은 사막화지역의 녹화사업에 국제적인 협력을 절실하게 요망하고 있다.

  • PDF

차원축소를 활용한 해외제조업체 대상 사전점검 예측 모형에 관한 연구 (Preliminary Inspection Prediction Model to select the on-Site Inspected Foreign Food Facility using Multiple Correspondence Analysis)

  • 박혜진;최재석;조상구
    • 지능정보연구
    • /
    • 제29권1호
    • /
    • pp.121-142
    • /
    • 2023
  • 수입식품의 수입 건수와 수입 중량이 꾸준히 증가함에 따라 식품안전사고 방지를 위한 수입식품의 안전관리가 더욱 중요해지고 있다. 식품의약품안전처는 통관단계의 수입검사와 더불어 통관 전 단계인 해외제조업소에 대한 현지실사를 시행하고 있지만 시간과 비용이 많이 소요되고 한정된 자원 등의 제약으로 데이터 기반의 수입식품 안전관리 방안이 필요한 실정이다. 본 연구에서는 현지실사 전 부적합이 예상되는 업체를 사전에 선별하는 기계학습 예측 모형을 마련하여 현지실사의 효율성을 높이고자 하였다. 이를 위해 통합식품안전정보망에 수집된 총 303,272건의 해외제조가공업소 기본정보와 2019년도부터 2022년 4월까지의 현지실사 점검정보 데이터 1,689건을 수집하였다. 해외제조가공업소의 데이터 전처리 후 해외 제조업소_코드를 활용하여 현지실사 대상 데이터만 추출하였고, 총 1,689건의 데이터와 103개의 변수로 구성되었다. 103개의 변수를 테일유(Theil-U) 지표를 기준으로 '0'인 변수들을 제거하였고, 다중대응분석(Multiple Correspondence Analysis)을 적용해 축소 후 최종적으로 49개의 특성변수를 도출하였다. 서로 다른 8개의 모델을 생성하고, 모델 학습 과정에서는 5겹 교차검증으로 과적합을 방지하고, 하이퍼파라미터를 조정하여 비교 평가하였다. 현지실사 대상업체 선별의 연구목적은 부적합 업체를 부적합이라고 판정하는 확률인 검측률(recall)을 최대화하는 것이다. 머신러닝의 다양한 알고리즘을 적용한 결과 Recall_macro, AUROC, Average PR, F1-score, 균형정확도(Balanced Accuracy)가 가장 높은 랜덤포레스트(Random Forest)모델이 가장 우수한 모형으로 평가되었다. 마지막으로 모델에 의해서 평가된 개별 인스턴스의 부적합 업체 선정 근거를 제시하기 위해 SHAP(Shapley Additive exPlanations)을 적용하고 현지실사 업체 선정 시스템에의 적용 가능성을 제시하였다. 본 연구결과를 바탕으로 데이터에 기반한 과학적 위험관리 모델을 통해 수입식품 관리체계의 구축으로 인력·예산 등 한정된 자원의 효율적 운영방안 마련에 기여하길 기대한다.

GOCI-II 대기상한 반사도와 기계학습을 이용한 남한 지역 시간별 에어로졸 광학 두께 산출 (Retrieval of Hourly Aerosol Optical Depth Using Top-of-Atmosphere Reflectance from GOCI-II and Machine Learning over South Korea)

  • 양세영;최현영;임정호
    • 대한원격탐사학회지
    • /
    • 제39권5_3호
    • /
    • pp.933-948
    • /
    • 2023
  • 대기 중 에어로졸은 인체에 악영향을 끼칠 뿐 아니라 기후 시스템에도 직간접적인 영향을 미치므로 에어로졸의 특성과 시공간적인 분포에 대한 이해는 매우 중요하다. 이를 위해 위성기반 관측을 통해 에어로졸 광학 두께(Aerosol Optical Depth, AOD)를 산출하여 에어로졸을 모니터링하는 다양한 연구가 수행되어 왔다. 하지만 이는 주로 조견표를 활용한 역 산출 알고리즘에 기반하여 이루어지기 때문에 많은 계산량을 요구하며 불확실성이 존재한다. 따라서, 본 연구에서는 Geostationary Ocean Color Imager-II (GOCI-II)의 대기상한반사도와 30일 동안의 대기상한반사도 중 최솟값과 관측 시점 값의 차이 값, 수치 모델 기반 기상학적 변수 등을 활용하여 기계학습 기반 고해상도 AOD 직접 산출 알고리즘을 개발하였다. Light Gradient Boosting Machine (LGBM) 기법이 사용되었으며, 추정된 결과는 지상 관측 자료인 Aerosol Robotic Network (AERONET) AOD를 활용하여 랜덤, 시간 및 공간별 N-fold 교차검증을 통해 검증되었다. 세 가지 교차검증 결과 R2=0.70-0.80, RMSE=0.08-0.09, 기대오차(Expected Error, EE) 안에 있는 비율은 75.2-85.1% 수준으로 안정적인 성능을 보였다. Shapley Additive exPlanations (SHAP) 분석에서는 반사도 관련 변수들이 기여도의 상위권 대부분을 차지하고 있는 것을 통해 반사도 자료가 AOD 추정에 많은 기여를 하는 것을 확인하였다. 서울과 울산 지역에 대한 시간 별 AOD의 공간 분포를 분석한 결과, 개발된 LGBM 모델은 시간의 흐름에 따라 AERONET AOD 값과 유사한 수준으로 AOD를 추정하고 있었다. 이를 통해 높은 시공간 해상도(i.e., 시간별, 250 m)에서의 AOD 산출이 가능함을 확인하였다. 또한, 산출 커버리지 비교에서 LGBM 모델의 평균 산출 빈도가 GOCI-II L2 AOD 산출물 대비 8.8%가량 증가한 것을 통해 기존 물리모델기반 AOD 산출 과정에서 발생하던 밝은 지표면에 대한 과도한 마스킹의 문제점을 개선시킨 것을 확인하였다.

주부의 연령대별 농식품 소비 특성 비교 (Comparison of Housewives' Agricultural Food Consumption Characteristics by Age)

  • 홍준호;김진실;유연주;이경희;조완섭
    • 한국빅데이터학회지
    • /
    • 제6권1호
    • /
    • pp.83-89
    • /
    • 2021
  • 라이프스타일이 빠르게 변화하고 있고, 식생활과 식품가공 기술의 발전에 따라 가구별로 식품 소비패턴이 매우 다양하다. 본 논문은 가구 단위의 농식품 구매 정보를 담고 있는 농촌진흥청이 구축하고 있는 소비자 패널 데이터의 식품군을 재분류하고 농식품 소비행위 주체인 패널 대표자의 연령대별로 그룹화하여 농식품 소비 특성 비교를 하였다. 연령대 구분의 기준은 대사질환 유병률로 20% 이상인 60대 이상 그룹과 10% 미만인 30~40대 그룹으로 나누었다. LightGBM 알고리즘을 사용하여 30~40대와 60대 이상의 식품 소비패턴의 차이를 분류 분석한 결과 정밀도는 0.85, 재현율은 0.71, F1_score는 0.77로 나타났다. 변수중요도의 결과는 과자류, 엽경채나물류, 조미채류, 과채류, 수산물류 순이었으며, SHAP 지표의 상위 5개 값은 과자류, 수산물류, 조미채류, 과채류, 엽경채나물류 순이었다. 이상치에 민감한 평균을 대신한 중앙값으로 소비패턴을 이진 분류한 결과 과자류의 경우 30~40대가 60대보다 두 배 이상 높은 것을 알 수 있었다. 이외의 변수에서도 30~40대와 60대 이상 사이에서 유의미한 차이를 보였다. 연구 결과 30~40대는 60대보다 과자류를 두 배 이상 소비하는 패턴을 보였으며, 60대의 경우 30~40대보다 수산물, 조미채류, 과채류, 엽경채나물류를 두 배 이상 섭취하였다. 상위 5개 품목 외에도 밀가공식품인 과자, 빵류, 면류에서 30~40대의 소비가 높았으며, 이는 60대의 식품 소비패턴과 차이를 보였다.

기계학습을 활용한 특허수명 예측 및 영향요인 분석 (Prediction of patent lifespan and analysis of influencing factors using machine learning)

  • 김용우;김민구;김영민
    • 지능정보연구
    • /
    • 제28권2호
    • /
    • pp.147-170
    • /
    • 2022
  • 특허의 사적 가치(private value)를 나타내는 특허수명 추정은 오래전부터 연구되었으나 추정과정에서 선형모델에 의존하는 경우가 대부분이었고, 기계학습 방법을 사용하더라도 변수 간 관계에 대한 해석이나 설명이 부족하였다. 본 연구에서는 특허의 생존 기간이 특허의 가치를 대리한다는 기존 연구결과를 바탕으로 특허 등록 이후의 생존 기간(연장횟수) 예측을 통해 특허의 가치를 추정한다. 이를 위해 1996~2017년까지 미국 특허청(USPTO)에 출원하여 등록된 특허 4,033,414개를 수집하였다. 특허수명을 예측하기 위해 기존 연구에서 특허수명에 영향을 미친다고 밝혀진 특허의 특성, 특허의 소유자 특성, 특허의 발명가 특성을 반영할 수 있는 다양한 변수가 사용되었다. 서로 다른 4개의 모델(Ridge Regression, Random Forest, Feed-forward Neural Network, Gradient Boosting Models)을 생성하고, 모델 학습 과정에서는 5-fold Cross Validation으로 초매개변수 조정이 이루어졌다. 이후 생성된 모델의 성능을 평가하고 특허수명을 추정할 수 있는 예측변수의 상대적 중요도를 제시하였다. 또한, 성능이 우수했던 Gradient Boosting Model을 기반으로 Accumulated Local Effects Plot을 제시하여 예측변수와 특허수명 간 관계를 시각적으로 나타내었다. 마지막으로 모델에 의해서 평가된 개별 특허의 평가 근거를 제시하기 위하여 Kernal SHAP(SHapley Additive exPlanations)을 적용하고 특허평가 시스템에의 적용 가능성을 제시한다. 본 연구는 기존에 특허수명을 추정하는 연구에 누적적으로 기여한다는 점 그리고 선형성을 바탕으로 진행된 기존 특허수명 추정 연구들의 한계를 보완하고 복잡한 비선형 관계를 설명가능한 방식으로 제시하였다는 점에서 학문적 의의가 있다. 또한, 개별 특허의 평가 근거를 도출하는 방법을 소개하고 특허평가 시스템에의 적용 가능성을 제시하였다는 점에서 실무적 의의가 있다.

머신러닝 기반 위성영상과 수질·수문·기상 인자를 활용한 낙동강의 Chlorophyll-a 농도 추정 (Estimation of Chlorophyll-a Concentration in Nakdong River Using Machine Learning-Based Satellite Data and Water Quality, Hydrological, and Meteorological Factors)

  • 박소련;손상훈;배재구;이도이;서동주;김진수
    • 대한원격탐사학회지
    • /
    • 제39권5_1호
    • /
    • pp.655-667
    • /
    • 2023
  • 전 세계적으로 녹조 대발생은 빈번하게 보고되고 있으며, 국내에서도 매년 녹조로 인한 심각한 수질 오염 문제가 발생하고 있다. 지속적인 관리와 신속한 대응을 통한 수생태계 보호가 필요하다. 녹조 발생의 지표인 chlorophyll-a (Chl-a) 농도를 예측하기 위해 위성 영상을 이용한 연구가 많이 이루어지고 있다. 하지만 수계에 따라 변하는 분광특성과 대기 보정 오류로 인해 정확한 Chl-a 산출에 어려움이 있어 최근 머신러닝 모델을 활용하고 있다. 위성 분광지수 뿐만 아니라 녹조에 영향을 미치는 인자들에 대한 복합적인 고려가 필요하다. 따라서, 본 연구는 수질, 수문 및 기상 인자와 Sentinel-2 영상을 복합적으로 고려하여 데이터셋을 구축하였다. 최근 5년간 낙동강에 위치한 8개 보 구간의 Chl-a 농도 예측에 대표적인 앙상블 모델 random forest (RF)와 extreme gradient boosting (XGBoost)을 활용하였다. 모델 평가 지표로 r-squared score (R2), root mean square errors(RMSE), mean absolute errors (MAE)를 사용하였으며, XGBoost의 R2가 0.810, RMSE가 6.612, MAE가 4.457로 유의미한 결과를 얻은 것을 확인하였다. Shapley additive explanations (SHAP) 분석을 통해 두 모델 모두 수질 인자 suspended solids (SS), biochemical oxygen demand (BOD), dissolved oxygen (DO)과 red edge 밴드를 활용한 밴드비가 높은 중요도를 보인 것을 알 수 있었다. 다양한 입력 데이터는 모델 성능 향상에 도움을 주는 것을 확인할 수 있었으며, 국내외 녹조 탐지에 적용될 수 있을 것으로 보인다.