• 제목/요약/키워드: ensemble learning models

검색결과 195건 처리시간 0.051초

불균형 클래스에서 AutoML 기반 분류 모델의 성능 향상을 위한 데이터 처리 (Data Processing of AutoML-based Classification Models for Improving Performance in Unbalanced Classes)

  • 이동준;강지수;정경용
    • 융합정보논문지
    • /
    • 제11권6호
    • /
    • pp.49-54
    • /
    • 2021
  • 최근 스마트 헬스케어 기술의 발전에 따라 일상적인 질환에 대한 관심이 증가하고 있다. 이에 따라 헬스케어 데이터를 통해 예측 모델로 질병을 분석하거나 예측하는 연구들이 증가하고 있다. 그러나 헬스케어 데이터에는 양성 데이터와 음성 데이터의 불균형이 존재한다. 이는 특정 질환을 가진 환자에 비하여 상대적으로 환자가 아닌 사람이 많아 데이터 수집에 어려움이 있어 발생하는 현상이다. 데이터 불균형은 질병 예측 및 탐지 시 진행하는 모델의 성능에 영향을 끼치기 때문에 이를 제거할 필요가 있다. 따라서 본 연구에서는 오버샘플링과 결측값 대치를 통해서 데이터 불균형을 해소한다. AutoML을 기반으로 여러 모델의 성능을 파악하고 모델 중 상위 3개의 모델을 앙상블한다.

딥뉴럴네트워크에서의 적대적 샘플에 관한 앙상블 방어 연구 (Detecting Adversarial Example Using Ensemble Method on Deep Neural Network)

  • 권현;윤준혁;김준섭;박상준;김용철
    • 융합보안논문지
    • /
    • 제21권2호
    • /
    • pp.57-66
    • /
    • 2021
  • 딥뉴럴네트워크는 이미지 인식, 음성 인식, 패턴 인식 등에 좋은 성능을 보여주고 있는 대표적인 딥러닝모델 중에 하나이다. 하지만 이러한 딥뉴럴네트워크는 적대적 샘플을 오인식하는 취약점이 있다. 적대적 샘플은 원본 데이터에 최소한의 노이즈를 추가하여 사람이 보기에는 이상이 없지만 딥뉴럴네트워크가 잘못 인식 하게 하는 샘플을 의미한다. 이러한 적대적 샘플은 딥뉴럴네트워크를 활용하는 자율주행차량이나 의료사업에서 차량 표지판 오인식이나 환자 진단의 오인식을 일으키면 큰 사고가 일어나기 때문에 적대적 샘플 공격에 대한 방어연구가 요구된다. 본 논문에서는 여러 가지 파라미터를 조절하여 적대적 샘플에 대한 앙상블 방어방법을 실험적으로 분석하였다. 적대적 샘플의 생성방법으로 fast gradient sign method, DeepFool method, Carlini & Wanger method을 이용하여 앙상블 방어방법의 성능을 분석하였다. 실험 데이터로 MNIST 데이터셋을 사용하였으며, 머신러닝 라이브러리로는 텐서플로우를 사용하였다. 실험방법의 각 파라미터들로 3가지 적대적 샘플 공격방법, 적정기준선, 모델 수, 랜덤노이즈에 따른 성능을 분석하였다. 실험결과로 앙상블 방어방법은 모델수가 7이고 적정기준선이 1일 때, 적대적 샘플에 대한 탐지 성공률 98.3%이고 원본샘플의 99.2% 정확도를 유지하는 성능을 보였다.

지하시설물 안전점검을 위한 딥러닝 기반 콘크리트 균열 검출 (Crack detection in concrete using deep learning for underground facility safety inspection)

  • 전의익;이임평;김동규
    • 한국터널지하공간학회 논문집
    • /
    • 제25권6호
    • /
    • pp.555-567
    • /
    • 2023
  • 현재 지하시설물의 균열을 영상 취득 시스템으로 취득한 경우 점검자가 취득된 영상에서 육안검사를 수행하여 미세균열을 판단한다. 점검자에 의존한 노동집약적인 방법은 점검자의 주관적인 판단에 영향을 받는 문제점을 가지고 있다. 최근에는 딥러닝을 활용하여 자동으로 콘크리트 균열을 탐지하기 위한 연구가 활발하게 수행되고 있다. 대부분의 연구에서는 공개 데이터셋을 활용하거나 분석과정의 객관성이 충분하지 못해 실제 업무에 적용하기 어려운 점이 있다. 본 연구는 실제 검사 시스템과 동일한 형태의 영상을 시험 데이터셋으로 선정하여 딥러닝 모델들을 평가하였다. 균열 탐지의 정확도를 향상시키기 위하여 딥러닝 모델들의 장단점을 상호 보완할 수 있는 앙상블 기법을 적용하였다. 시험 영상에서 폭 0.2 mm, 0.3 mm 및 0.5 mm의 균열들은 각각 80%, 88% 및 89%의 높은 재현율로 탐지되었다. 딥러닝을 적용한 균열 탐지 결과에서는 점검자의 육안 검수 과정에 찾지 못한 다수의 균열들을 포함하고 있었다. 향후 본 연구에서 사용하지 않은 다른 터널의 영상을 시험 영상으로 선정하여 보다 더 객관적인 평가에서 충분한 정확도로 균열을 탐지하게 된다면, 시설물 안점 점검 방식에 딥러닝의 도입이 가능할 것으로 판단된다.

Ensemble deep learning-based models to predict the resilient modulus of modified base materials subjected to wet-dry cycles

  • Mahzad Esmaeili-Falak;Reza Sarkhani Benemaran
    • Geomechanics and Engineering
    • /
    • 제32권6호
    • /
    • pp.583-600
    • /
    • 2023
  • The resilient modulus (MR) of various pavement materials plays a significant role in the pavement design by a mechanistic-empirical method. The MR determination is done by experimental tests that need time and money, along with special experimental tools. The present paper suggested a novel hybridized extreme gradient boosting (XGB) structure for forecasting the MR of modified base materials subject to wet-dry cycles. The models were created by various combinations of input variables called deep learning. Input variables consist of the number of W-D cycles (WDC), the ratio of free lime to SAF (CSAFR), the ratio of maximum dry density to the optimum moisture content (DMR), confining pressure (σ3), and deviatoric stress (σd). Two XGB structures were produced for the estimation aims, where determinative variables were optimized by particle swarm optimization (PSO) and black widow optimization algorithm (BWOA). According to the results' description and outputs of Taylor diagram, M1 model with the combination of WDC, CSAFR, DMR, σ3, and σd is recognized as the most suitable model, with R2 and RMSE values of BWOA-XGB for model M1 equal to 0.9991 and 55.19 MPa, respectively. Interestingly, the lowest value of RMSE for literature was at 116.94 MPa, while this study could gain the extremely lower RMSE owned by BWOA-XGB model at 55.198 MPa. At last, the explanations indicate the BWO algorithm's capability in determining the optimal value of XGB determinative parameters in MR prediction procedure.

Using Bayesian tree-based model integrated with genetic algorithm for streamflow forecasting in an urban basin

  • Nguyen, Duc Hai;Bae, Deg-Hyo
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2021년도 학술발표회
    • /
    • pp.140-140
    • /
    • 2021
  • Urban flood management is a crucial and challenging task, particularly in developed cities. Therefore, accurate prediction of urban flooding under heavy precipitation is critically important to address such a challenge. In recent years, machine learning techniques have received considerable attention for their strong learning ability and suitability for modeling complex and nonlinear hydrological processes. Moreover, a survey of the published literature finds that hybrid computational intelligent methods using nature-inspired algorithms have been increasingly employed to predict or simulate the streamflow with high reliability. The present study is aimed to propose a novel approach, an ensemble tree, Bayesian Additive Regression Trees (BART) model incorporating a nature-inspired algorithm to predict hourly multi-step ahead streamflow. For this reason, a hybrid intelligent model was developed, namely GA-BART, containing BART model integrating with Genetic algorithm (GA). The Jungrang urban basin located in Seoul, South Korea, was selected as a case study for the purpose. A database was established based on 39 heavy rainfall events during 2003 and 2020 that collected from the rain gauges and monitoring stations system in the basin. For the goal of this study, the different step ahead models will be developed based in the methods, including 1-hour, 2-hour, 3-hour, 4-hour, 5-hour, and 6-hour step ahead streamflow predictions. In addition, the comparison of the hybrid BART model with a baseline model such as super vector regression models is examined in this study. It is expected that the hybrid BART model has a robust performance and can be an optional choice in streamflow forecasting for urban basins.

  • PDF

Remote Sensing Image Classification for Land Cover Mapping in Developing Countries: A Novel Deep Learning Approach

  • Lynda, Nzurumike Obianuju;Nnanna, Nwojo Agwu;Boukar, Moussa Mahamat
    • International Journal of Computer Science & Network Security
    • /
    • 제22권2호
    • /
    • pp.214-222
    • /
    • 2022
  • Convolutional Neural networks (CNNs) are a category of deep learning networks that have proven very effective in computer vision tasks such as image classification. Notwithstanding, not much has been seen in its use for remote sensing image classification in developing countries. This is majorly due to the scarcity of training data. Recently, transfer learning technique has successfully been used to develop state-of-the art models for remote sensing (RS) image classification tasks using training and testing data from well-known RS data repositories. However, the ability of such model to classify RS test data from a different dataset has not been sufficiently investigated. In this paper, we propose a deep CNN model that can classify RS test data from a dataset different from the training dataset. To achieve our objective, we first, re-trained a ResNet-50 model using EuroSAT, a large-scale RS dataset to develop a base model then we integrated Augmentation and Ensemble learning to improve its generalization ability. We further experimented on the ability of this model to classify a novel dataset (Nig_Images). The final classification results shows that our model achieves a 96% and 80% accuracy on EuroSAT and Nig_Images test data respectively. Adequate knowledge and usage of this framework is expected to encourage research and the usage of deep CNNs for land cover mapping in cases of lack of training data as obtainable in developing countries.

기계학습 기반의 메타모델을 활용한 ZnO 바리스터 소결 공정 최적화 연구 (Sintering process optimization of ZnO varistor materials by machine learning based metamodel)

  • 김보열;서가원;하만진;홍연우;정찬엽
    • 한국결정성장학회지
    • /
    • 제31권6호
    • /
    • pp.258-263
    • /
    • 2021
  • ZnO 바리스터는 다결정구조를 가지는 반도체 소자로 결정립과 입계의 미세구조 제어를 통해 비선형적인 전류/전압 특성을 가지기 때문에 서지(surge)전압으로부터 회로를 보호하는 역할을 한다. 이러한 ZnO 바리스터에서 원하는 전기적 물성을 얻기 위해서는 소결 공정에서 미세구조의 제어가 중요하다. 따라서 소결 공정에서 중요한 변수들과 소결체의 전기적 물성인 유전율로 구성된 데이터셋을 정의한 후 실험계획법 기반으로 데이터를 수집했다. 수집된 실험데이터셋을 기계학습 알고리즘에 학습하여 메타모델을 개발했고, 개발된 메타모델에 수치기반 최적화 알고리즘인 HMA(Hybrid Metaheuristic Algorithm)를 적용하여 최대 유전율을 가질 수 있는 공정조건을 도출했다. 이러한 메타모델 기반의 최적화를 다변수 시스템인 세라믹공정에 적용한다면 최소한의 실험만으로 최적 공정조건 탐색이 가능할 것으로 판단된다.

위성 자료와 수치모델 자료를 활용한 스태킹 앙상블 기반 SO2 지상농도 추정 (Monitoring Ground-level SO2 Concentrations Based on a Stacking Ensemble Approach Using Satellite Data and Numerical Models)

  • 최현영;강유진;임정호;신민소;박서희;김상민
    • 대한원격탐사학회지
    • /
    • 제36권5_3호
    • /
    • pp.1053-1066
    • /
    • 2020
  • 이산화황(SO2)은 대기 중 화학 반응을 통해 2차 대기오염물질을 생성하는 전구체로, 주로 산업활동이나 주거 및 교통 활동 등을 통해 배출된다. 장기간 노출 시 호흡기 질환이나 심혈관 질환 등을 유발하여 인체 건강에 부정적인 영향을 미칠 수 있기 때문에 이에 대한 지속적인 모니터링이 필요하다. 우리나라에서는 SO2에 대해 관측소 기반의 모니터링이 수행되고 있으나 이는 공간적으로 연속적인 정보를 제공하는 데에 한계가 있다. 따라서, 본 연구에서는 위성자료와 수치모델 자료를 융합하여 일별 13시를 타겟으로 하는 1 km의 고해상도로 공간적으로 연속적인 SO2 지상농도를 산출하였다. 2015년 1월부터 2019년 4월까지의 기간 동안 남한 지역에 대하여 스태킹 앙상블 기법을 이용하여 SO2 지상농도 추정 모델을 개발하였다. 스태킹 앙상블 기법이란 여러가지 기계학습 기법을 두 단계로 쌓는 방식으로 융합하여 단일 모델 대비 더 향상된 성능을 도출하는 방법이다. 본 연구에서는 베이스 모델로는 RF (Random Forest)와 XGB (eXtreme Gradient BOOSTing) 기법이, 메타 모델로는 MLR (Multiple Linear Regression) 기법이 사용되었다. 구축된 모델의 교차검증 결과 메타 모델은 상관계수(R) = 0.69와 root-mean-squared-error(RMSE) = 0.0032 ppm의 결과를 보였으며 이는 베이스 모델의 평균 대비 약 25% 향상된 안정성을 보였다. 또한 모델 구축에 사용되지 않은 기간에 대한 예측 검증을 수행하여 모델의 일반화 가능성을 평가하였다. 구축된 모델을 이용하여 남한 지역의 SO2 지상농도 공간분포를 분석한 결과 일반적인 계절성과 배출원의 변화를 잘 반영하는 패턴을 보임을 확인하였다.

XAI 기반 기업부도예측 분류모델 연구 (A Study on Classification Models for Predicting Bankruptcy Based on XAI)

  • 김지홍;문남미
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권8호
    • /
    • pp.333-340
    • /
    • 2023
  • 기업 부도의 효율적인 예측은 금융기관의 적절한 대출 결정과 여신 부실률 감소 측면에서 중요한 부분이다. 많은 연구에서 인공지능 기술을 활용한 분류모델 연구를 진행하였다. 금융 산업 특성상 새로운 예측 모델의 성능이 우수하더라도 어떤 근거로 결과를 출력했는지 직관적인 설명이 수반되어야 한다. 최근 미국, EU, 한국 등 에서는 공통적으로 알고리즘의 설명요구권을 제시하고 있어 금융권 AI 활용에 투명성을 확보하여야 한다. 본 논문에서는 외부에 오픈된 기업부도 데이터를 활용하여 인공지능 기반의 해석 가능한 분류 예측 모델을 제안하였다. 먼저 데이터 전처리 작업, 5겹 교차검증 등을 수행하고 로지스틱 회귀, SVM, XGBoost, LightGBM 등 10가지 지도학습 분류모델 최적화를 통해 분류 성능을 비교하였다. 그 결과 LightGBM이 가장 우수한 모델로 확인되었고, 설명 가능한 인공지능 기법인 SHAP을 적용하여 부도예측 과정에 대한 사후 설명을 제공하였다.

기계학습을 이용한 식품위생점검 체계의 효율성 개선 연구 (Improving Efficiency of Food Hygiene Surveillance System by Using Machine Learning-Based Approaches)

  • 조상구;조승용
    • 한국빅데이터학회지
    • /
    • 제5권2호
    • /
    • pp.53-67
    • /
    • 2020
  • 본 연구는 가공식품의 제조·가공 업소를 대상으로 기계학습 분야의 지도학습(Supervised Learning) 예측 모형을 적용하여 부적합이 예상되는 업체를 사전에 적발하는 단속 선별시스템을 마련하여 단속 활동의 효율성을 높이고자 하였다. 본 연구에서는 머신러닝의 예측 모델링을 위한 목적 정의, 데이터의 기초 분석과 시각화, 특성 변수 도출 및 예측 모형의 선정 및 예측 등으로 기계학습 수행의 표준적인 절차에 따라 연구를 수행하였다. 종속변수는 2014년도부터 2018년까지 과거 5년 동안 지도점검 적발 건수로 설정하였고, 목적함수는 실제 부적합업체를 사전에 판정하여 단속활동이 이루어지는 것을 최대화하는 것으로 하였다. 제조가공업소의 매출액, 영업일수, 종업원 수 등 기본속성뿐만 아니라 과거 지도점검 단속 이력 정보를 반영하여 자료를 재구성하였다. 특성 변수 추출 방법을 적용하여 부적합 판정에 영향을 미치는 업체 위험, 품목 위험, 환경 위험 및 과거 위반 이력 등을 특성 변수로 도출하여 머신러닝 알고리즘을 데이터에 적용하였다. 랜덤포레스트 모형이 식품의약품안전처 지도점검 업무 목적에 가장 적합한 것으로 나타났다. 본 연구결과를 바탕으로 식품안전 관리 국가 사무가 데이터기반의 과학적인 행정 체계로 발전할 수 있는 기반이 되기를 기대한다.