• 제목/요약/키워드: random forest model

검색결과 555건 처리시간 0.027초

머신러닝과 딥러닝을 이용한 영산강의 Chlorophyll-a 예측 성능 비교 및 변화 요인 분석 (Comparison of Chlorophyll-a Prediction and Analysis of Influential Factors in Yeongsan River Using Machine Learning and Deep Learning)

  • 심선희;김유흔;이혜원;김민;최정현
    • 한국물환경학회지
    • /
    • 제38권6호
    • /
    • pp.292-305
    • /
    • 2022
  • The Yeongsan River, one of the four largest rivers in South Korea, has been facing difficulties with water quality management with respect to algal bloom. The algal bloom menace has become bigger, especially after the construction of two weirs in the mainstream of the Yeongsan River. Therefore, the prediction and factor analysis of Chlorophyll-a (Chl-a) concentration is needed for effective water quality management. In this study, Chl-a prediction model was developed, and the performance evaluated using machine and deep learning methods, such as Deep Neural Network (DNN), Random Forest (RF), and eXtreme Gradient Boosting (XGBoost). Moreover, the correlation analysis and the feature importance results were compared to identify the major factors affecting the concentration of Chl-a. All models showed high prediction performance with an R2 value of 0.9 or higher. In particular, XGBoost showed the highest prediction accuracy of 0.95 in the test data.The results of feature importance suggested that Ammonia (NH3-N) and Phosphate (PO4-P) were common major factors for the three models to manage Chl-a concentration. From the results, it was confirmed that three machine learning methods, DNN, RF, and XGBoost are powerful methods for predicting water quality parameters. Also, the comparison between feature importance and correlation analysis would present a more accurate assessment of the important major factors.

도시홍수 위험도 실시간 표출을 위한 수치해석 모형과 기계학습의 연계 (Linkage of Numerical Analysis Model and Machine Learning for Real-time Flood Risk Prediction)

  • 김현일;한건연;김태형;최규현;조효섭
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2021년도 학술발표회
    • /
    • pp.332-332
    • /
    • 2021
  • 도시화가 상당히 이뤄지고 기습적인 폭우의 발생이 불확실하게 나타나는 시점에서 재산 및 인명피해를 야기할 수 있는 내수침수에 대한 위험도가 증가하고 있다. 내수침수에 대한 예측을 위하여 실측강우 또는 확률강우량 시나리오를 참조하고 연구대상 지역에 대한 1차원 그리고 2차원 수리학적 해석을 실시하는 연구가 오랫동안 진행되어 왔으나, 수치해석 모형의 경우 다양한 수문-지형학적 자료 및 계측 자료를 요구하고 집약적인 계산과정을 통한 단기간 예측에 어려움이 있음이 언급되어 왔다. 본 연구에서는 위와 같은 문제점을 해결하기 위하여 단일 도시 배수분구를 대상으로 관측 강우 자료, 1, 2차원 수치해석 모형, 기계학습 및 딥러닝 기법을 적용한 실시간 홍수위험지도 예측 모형을 개발하였다. 강우자료에 대하여 실시간으로 홍수량을 예측할 수 있도록 LSTM(Long-Short Term Memory) 기법을 적용하였으며, 전국단위 강우에 대한 다양한 1차원 도시유출해석 결과를 학습시킴으로써 예측을 수행하였다. 침수심의 공간적 분포의 경우 로지스틱 회귀를 이용하여, 기준 침수심에 대한 예측을 각각 수행하였다. 홍수위험 등급의 경우 침수심, 유속 그리고 잔해인자를 고려한 홍수위험등급 공식을 적용하여 산정하였으며, 이 결과를 랜덤포레스트(Random Forest)에 학습함으로써 실시간 예측을 수행할 수 있도록 개발하였다. 침수범위 및 홍수위험등급에 대한 예측은 격자 단위로 이뤄졌으며, 검증 자료의 부족으로 침수 흔적도를 통하여 검증된 2차원 침수해석 결과와 비교함으로써 예측력을 평가하였다. 본 기법은 특정 관측강우 또는 예측강우 자료가 입력되었을 때에, 도시 유역 단위로 접근이 불가하여 통제해야 할 구간을 실시간으로 예측하여 관리할 수 있을 것으로 판단된다.

  • PDF

하도홍수추적 모형과 랜덤포레스트 회귀를 이용한 침수양상 분석 (Inundation Pattern Analysis by Applying Flood Routing Model with Random Forest Regression)

  • 김현일;김병현;한건연
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2020년도 학술발표회
    • /
    • pp.398-398
    • /
    • 2020
  • 대도시 상류부에 위치한 댐의 과도한 방류 또는 급작스러운 붕괴는 대규모의 인명 또는 재산피해를 야기할 수 있으며, 다양한 댐 유입량 조건에 따른 침수양상을 파악하는 것은 수재해 대응능력 향상에 필수적이다. 그러나 다양한 과다한 댐 방류 또는 붕괴유량에 따른 침수 범위는 도시의 내수침수와 달리 매우 넓은 지형조건을 고려하며 침수 범위가 광범위하게 나타날 수 있다. 이는 다양한 댐 유입량 조건에 따른 침수 지도를 생성 및 파악하는데 어려움을 가중시키며, 특히 댐 운영에 따른 침수양상을 실시간으로 파악하는데 어려움을 가중시킨다. 본 연구에서는 저빈도부터 PMF(Probable Maximum Flood) 조건까지의 다양한 댐 유입량자료를 바탕으로, 1차원 하천홍수해석을 실시하였다. 연구 대상으로 팔당댐에 대한 댐 해석을 실시하였으며, 팔당댐 하류에 위치한 서울시에 대한 영향을 분석하였다. 1차원 해석 결과로 산정되는 각하도 단면 별 홍수위자료와 GIS을 연계하여 다양한 발생빈도를 나타내는 유입량에 대한 침수지도를 생성하였으며, 기존에 제시된 발생빈도에 따른 침수지도 외에 임의 빈도의 침수지도를 실시간으로 생성할 수 있는 랜덤포레스트 회귀 모형을 구축하였다. 위의 과정들을 통해 다양한 유입량 조건에 따른 연구대상 지역에서의 침수예상도를 분석할 수 있었으며, 서울시 전반적으로 나타날 수 있는 침수심의 공간적 분포를 파악할 수 있었다. 주어진 침수 지도를 이용하여 서울시에 대한 인구 및 건축물의 경제적 가치 자료를 이용하여 추가적인 홍수 위험도 분석이 가능할 것으로 보이며, 임의 빈도에 대하여 실시간으로 침수를 예측할 수 있는 랜덤포레스트와 연계할 수 있다. 제시된 방법론은 댐의 과다한 방류량과 붕괴 현상을 재현하며, 도시의 수재해 대응능력 향상을 위한 기초자료를 제공할 수 있을 것으로 보인다.

  • PDF

머신러닝 기반 부산 청년인구 유출위험 요인 분석 (Analysis of Risk Factors for Youth Population Outflow in Busan Based on Machine Learning)

  • 손서영;양혜성;박민서
    • 문화기술의 융합
    • /
    • 제9권6호
    • /
    • pp.131-136
    • /
    • 2023
  • 지방을 떠나 수도권으로 이동하는 청년들이 나날이 늘고 있다. 청년 유출의 요인을 파악하기 위한 연구들이 다양하게 진행되고 있으나 각 지방별로 분석하는 연구는 부족한 실정이다. 이에 따라 본 연구는 부산의 청년 인구 유출 요인을 분석하고, 머신러닝 기법을 사용해 청년 인구 유출 위험 등급을 예측하고자 한다. 국가통계포털에서 수집한 부산의 구별 데이터를 활용하여 나이대(20대 초반, 20대 후반, 30대 초반)별로 세 그룹으로 나눈 뒤, 의사결정나무와 랜덤 포레스트 알고리즘을 이용해 청년 인구 유출 위험 등급을 분류하고 예측한다. 그 결과, 청년 인구 유출 위험 등급 예측 모델은 나이 그룹별 각각 최고 정확도 0.93, 0.75, 0.63을 갖는다.

전문대학 학생의 학업중단 예측에 관한 연구: 초기 학업 성적의 중요성 (A Study on Predicting Student Dropout in College: The Importance of Early Academic Performance)

  • 오상조;심지환
    • 산업융합연구
    • /
    • 제22권2호
    • /
    • pp.23-32
    • /
    • 2024
  • 본 연구에서는 서울 소재 한 전문대학 학생들을 대상으로 하여 최소한의 인구통계학적 변수와 1학년 1학기 성적을 활용하여 학생들의 최종 학적 상태를 예측하고자 하였다. XGBoost와 LightGBM 모델을 사용한 결과, 이러한 변수들이 학생들의 제적 여부 예측에 유의미한 것을 발견하였다. 이는 학업 시작 초기의 성적이 학업 중단의 중요한 지표가 될 수 있음을 시사한다. 또한, 전문대학의 학제가 최종 학적에 영향을 미칠 가능성을 확인하였으며, 이는 학업 기간이 학생들의 학업 중단 결정에 중요한 요소임을 나타낸다. 전문대학에서 조기 학업 중단 의도를 파악하는 데 있어 심리적, 사회적, 경제적 요인에 의존하지 않고 학업 성취도만을 기준으로 모델링을 시도하였다. 이는 향후 학업 중단에 대한 조기 경보 시스템 구축에 도움이 될 것으로 기대된다.

Learning-to-rank 기법을 활용한 서울 경마경기 순위 예측 (Horse race rank prediction using learning-to-rank approaches)

  • 정준형;신동욱;황세용;박건웅
    • 응용통계연구
    • /
    • 제37권2호
    • /
    • pp.239-253
    • /
    • 2024
  • 본 연구는 learning-to-rank (LTR) 기법 중 point-wise와 pair-wise learning을 적용하여 서울 경마경기 순위 예측을 수행하였다. Point-wise learning으로는 선형 회귀와 랜덤 포레스트를 pair-wise learning으로는 RankNet, LambdaMART (XGBoost Ranker, LightGBM Ranker, CatBoost Ranker)을 활용하였다. 또한 데이터 불균형 문제를 해결하기 위해 전처리 과정에서 경주기록을 경주거리에 따라 표준화하는 방식을 채택하였으며, 모형의 예측 능력 향상을 위해 경기 정보, 기수 정보, 마필 정보, 조교사 정보 등의 다양한 데이터를 사용하였다. 그 결과 아이템 간의 순위관계를 학습할 수 있는 pair-wise learning이 point-wise learning보다 전반적으로 더 뛰어난 예측력을 보이는 것을 확인하였다. 특히 CatBoost Ranker는 제시된 모형들 중 가장 뛰어난 예측 성능을 보였다. 마지막으로 섀플리 값을 통해 CatBoost Ranker에서 경주마의 성적, 직전 경주기록, 경주마의 출발훈련 횟수, 누적 출발훈련 횟수, 질병 진단횟수 등이 상위 10개 중요 변수에 포함된 것을 확인하였다.

A Method for Generating Malware Countermeasure Samples Based on Pixel Attention Mechanism

  • Xiangyu Ma;Yuntao Zhao;Yongxin Feng;Yutao Hu
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제18권2호
    • /
    • pp.456-477
    • /
    • 2024
  • With information technology's rapid development, the Internet faces serious security problems. Studies have shown that malware has become a primary means of attacking the Internet. Therefore, adversarial samples have become a vital breakthrough point for studying malware. By studying adversarial samples, we can gain insights into the behavior and characteristics of malware, evaluate the performance of existing detectors in the face of deceptive samples, and help to discover vulnerabilities and improve detection methods for better performance. However, existing adversarial sample generation methods still need help regarding escape effectiveness and mobility. For instance, researchers have attempted to incorporate perturbation methods like Fast Gradient Sign Method (FGSM), Projected Gradient Descent (PGD), and others into adversarial samples to obfuscate detectors. However, these methods are only effective in specific environments and yield limited evasion effectiveness. To solve the above problems, this paper proposes a malware adversarial sample generation method (PixGAN) based on the pixel attention mechanism, which aims to improve adversarial samples' escape effect and mobility. The method transforms malware into grey-scale images and introduces the pixel attention mechanism in the Deep Convolution Generative Adversarial Networks (DCGAN) model to weigh the critical pixels in the grey-scale map, which improves the modeling ability of the generator and discriminator, thus enhancing the escape effect and mobility of the adversarial samples. The escape rate (ASR) is used as an evaluation index of the quality of the adversarial samples. The experimental results show that the adversarial samples generated by PixGAN achieve escape rates of 97%, 94%, 35%, 39%, and 43% on the Random Forest (RF), Support Vector Machine (SVM), Convolutional Neural Network (CNN), Convolutional Neural Network and Recurrent Neural Network (CNN_RNN), and Convolutional Neural Network and Long Short Term Memory (CNN_LSTM) algorithmic detectors, respectively.

전처리 방법과 인공지능 모델 차이에 따른 대전과 부산의 태양광 발전량 예측성능 비교: 기상관측자료와 예보자료를 이용하여 (Comparison of Solar Power Generation Forecasting Performance in Daejeon and Busan Based on Preprocessing Methods and Artificial Intelligence Techniques: Using Meteorological Observation and Forecast Data)

  • 심채연;백경민;박현수;박종연
    • 대기
    • /
    • 제34권2호
    • /
    • pp.177-185
    • /
    • 2024
  • As increasing global interest in renewable energy due to the ongoing climate crisis, there is a growing need for efficient technologies to manage such resources. This study focuses on the predictive skill of daily solar power generation using weather observation and forecast data. Meteorological data from the Korea Meteorological Administration and solar power generation data from the Korea Power Exchange were utilized for the period from January 2017 to May 2023, considering both inland (Daejeon) and coastal (Busan) regions. Temperature, wind speed, relative humidity, and precipitation were selected as relevant meteorological variables for solar power prediction. All data was preprocessed by removing their systematic components to use only their residuals and the residual of solar data were further processed with weighted adjustments for homoscedasticity. Four models, MLR (Multiple Linear Regression), RF (Random Forest), DNN (Deep Neural Network), and RNN (Recurrent Neural Network), were employed for solar power prediction and their performances were evaluated based on predicted values utilizing observed meteorological data (used as a reference), 1-day-ahead forecast data (referred to as fore1), and 2-day-ahead forecast data (fore2). DNN-based prediction model exhibits superior performance in both regions, with RNN performing the least effectively. However, MLR and RF demonstrate competitive performance comparable to DNN. The disparities in the performance of the four different models are less pronounced than anticipated, underscoring the pivotal role of fitting models using residuals. This emphasizes that the utilized preprocessing approach, specifically leveraging residuals, is poised to play a crucial role in the future of solar power generation forecasting.

Experimental research on flow regime and transitional criterion of slug to churn-turbulent and churn-turbulent to annular flow in rectangular channels

  • Qingche He;Liang-ming Pan;Luteng Zhang;Wangtao Xu;Meiyue Yan
    • Nuclear Engineering and Technology
    • /
    • 제55권11호
    • /
    • pp.3973-3982
    • /
    • 2023
  • As for two-phase flow in rectangular channels, the flow regimes especially like churn-turbulent and annular flow are significant for the physical problem like Countercurrent Flow Limitation (CCFL). In this study, the rectangular channels with cross-sections of 4 × 66 mm, 6 × 66 mm, 8 × 66 mm are adopted to investigate the flow regimes of air-water vertical upward two phase flow under adiabatic condition. The gas and liquid superficial velocities are 0 ≤ jg ≤ 20m/s and 0.25 ≤ jf ≤ 3m/s respectively which covering bubbly to annular flow. The flow regimes are identified by random forest algorithm and the flow regime maps are obtained. As the results, the transitional void fraction from slug to churn turbulent flow fluctuate from 0.47 to 0.58 which is significantly affected by the dimensional size of channel and flow rate. Besides, the void fraction at transitional points from churn-turbulent (slug) to annular flow are 0.66-0.67, which are independent with the gap size. Furthermore, a new criteria of slug to churn-turbulent flow is established in this study. In addition, by introducing the interfacial force model, the criteria of churn-turbulent (slug) flow to annular flow is verified.

Predictive modeling algorithms for liver metastasis in colorectal cancer: A systematic review of the current literature

  • Isaac Seow-En;Ye Xin Koh;Yun Zhao;Boon Hwee Ang;Ivan En-Howe Tan;Aik Yong Chok;Emile John Kwong Wei Tan;Marianne Kit Har Au
    • 한국간담췌외과학회지
    • /
    • 제28권1호
    • /
    • pp.14-24
    • /
    • 2024
  • This study aims to assess the quality and performance of predictive models for colorectal cancer liver metastasis (CRCLM). A systematic review was performed to identify relevant studies from various databases. Studies that described or validated predictive models for CRCLM were included. The methodological quality of the predictive models was assessed. Model performance was evaluated by the reported area under the receiver operating characteristic curve (AUC). Of the 117 articles screened, seven studies comprising 14 predictive models were included. The distribution of included predictive models was as follows: radiomics (n = 3), logistic regression (n = 3), Cox regression (n = 2), nomogram (n = 3), support vector machine (SVM, n = 2), random forest (n = 2), and convolutional neural network (CNN, n = 2). Age, sex, carcinoembryonic antigen, and tumor staging (T and N stage) were the most frequently used clinicopathological predictors for CRCLM. The mean AUCs ranged from 0.697 to 0.870, with 86% of the models demonstrating clear discriminative ability (AUC > 0.70). A hybrid approach combining clinical and radiomic features with SVM provided the best performance, achieving an AUC of 0.870. The overall risk of bias was identified as high in 71% of the included studies. This review highlights the potential of predictive modeling to accurately predict the occurrence of CRCLM. Integrating clinicopathological and radiomic features with machine learning algorithms demonstrates superior predictive capabilities.