• Title/Summary/Keyword: random forest model

Search Result 538, Processing Time 0.039 seconds

Cloud Removal Using Gaussian Process Regression for Optical Image Reconstruction

  • Park, Soyeon;Park, No-Wook
    • Korean Journal of Remote Sensing
    • /
    • v.38 no.4
    • /
    • pp.327-341
    • /
    • 2022
  • Cloud removal is often required to construct time-series sets of optical images for environmental monitoring. In regression-based cloud removal, the selection of an appropriate regression model and the impact analysis of the input images significantly affect the prediction performance. This study evaluates the potential of Gaussian process (GP) regression for cloud removal and also analyzes the effects of cloud-free optical images and spectral bands on prediction performance. Unlike other machine learning-based regression models, GP regression provides uncertainty information and automatically optimizes hyperparameters. An experiment using Sentinel-2 multi-spectral images was conducted for cloud removal in the two agricultural regions. The prediction performance of GP regression was compared with that of random forest (RF) regression. Various combinations of input images and multi-spectral bands were considered for quantitative evaluations. The experimental results showed that using multi-temporal images with multi-spectral bands as inputs achieved the best prediction accuracy. Highly correlated adjacent multi-spectral bands and temporally correlated multi-temporal images resulted in an improved prediction accuracy. The prediction performance of GP regression was significantly improved in predicting the near-infrared band compared to that of RF regression. Estimating the distribution function of input data in GP regression could reflect the variations in the considered spectral band with a broader range. In particular, GP regression was superior to RF regression for reproducing structural patterns at both sites in terms of structural similarity. In addition, uncertainty information provided by GP regression showed a reasonable similarity to prediction errors for some sub-areas, indicating that uncertainty estimates may be used to measure the prediction result quality. These findings suggest that GP regression could be beneficial for cloud removal and optical image reconstruction. In addition, the impact analysis results of the input images provide guidelines for selecting optimal images for regression-based cloud removal.

Analysis of Algal Bloom Occurrence Characteristics Namyang Lake using Sentinel-2 MSI (Sentinel-2 MSI를 활용한 남양 간척담수호의 조류발생 특성 분석)

  • Wonjin Jang;Jinuk Kim;Jiwan Lee;Yongeun Park;Seongjoon Kim
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.56-56
    • /
    • 2023
  • 남양호는 농업용수 공급을 위해 건설된 하구 담수호로 과도한 영양물질 축적으로 인해 매년 여름 녹조류가 번성한다. 따라서 본 연구에서는 조류발생 특성을 분석하고자 식물성 플랑크톤 및 관련 분해 산물에 의해 고유 광학특성을 가지고 있는 Chlorophyll-a(Chl-a)의 추정을 통한 녹조 발생을 파악하고자 Sentinel-2 Multi Spectral Image(MSI)의 원격 반사율 광학 스펙트럼을 사용하였다. Chl-a 추정알고리즘 개발을 위하여 Sentinel-2 A, B의 교차 방문주기인 5일 간격에 맞추어 현장수질자료(2022년: 27회 2023년: 27회)를 측정하였다. Chl-a 농도는 EXO-YSI를이용하여 측정하였으며 해당기간동안 9.4 ~ 127.1 mg/L의 범위를 보였으며, Sentine-2 자료는 A, B자료에서 B1(443 nm) ~ B8A(865 nm)파장의 값을 기상조건(구름, 안개, 강수)을 고려하여 현장수질측정 위치에서 반사도를 추출하였다. 입력자료는 대기 및 방사영향을 고려해 반사도 간의 비율자료와 선행연구에서 활용된 반사도를 활용하였으며 알고리즘은 다중선형회귀분석(Multi Linear Regression Model)과 Random Forest를 활용하였다. MLR의 경우 결정계수(R2)가 학습 및 검증에서 각각 0.68, 0.59의 성능을 보였으며, RF의 경우 각각 0.94, 0.85의 성능을 보였다. 해당알고리즘으로 생성된 Chl-a 시공간농도 자료는 담수호내 조류발생 특성을 분석하고 효율적 조류관리 및 대처에 활용될 것으로 판단된다.

  • PDF

Analysis of suspended sediment mixing in a river confluence using UAV-based hyperspectral imagery (드론기반 초분광 영상을 활용한 하천 합류부 부유사 혼합 분석)

  • Kwon, Siyoon;Seo, Il Won;Lyu, Siwan
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2022.05a
    • /
    • pp.89-89
    • /
    • 2022
  • 하천 합류부에 지천이 유입되는 경우 복잡한 3차원적 흐름 구조를 발생시키고 이로 인해 유사혼합 및 지형 변화가 활발히 발생하게 된다. 특히, 하천 합류부에서 부유사 거동은 하천의 세굴과퇴적, 하천 지형 변화, 하천 생태계, 하천구조물 안정성 등에 직접적으로 영향을 미치기 때문에 이에 대한 정확한 분석이 하천 관리 및 재해 예방에 필수적인 요소이다. 기존의 하천 합류부 부유사 계측 자료들은 재래식 채취 방식으로 수행되어 시공간적 해상도가 매우 낮아서 실측 자료만으로 합류부에서 부유사 혼합을 분석하기에는 한계가 존재하기에 대하천의 부유사 혼합 거동 해석에 수치모형이 주로 활용되어 왔다. 본 연구에서는 하천 합류부에서 부유사 거동을 공간적으로 정밀하게 분석하기 위해 드론 기반초분광 영상을 활용하여 하천 합류부에 최적화된 부유사 계측 방법론을 제시하였다. 현장에서 계측한 초분광 자료와 부유사 농도간의 관계를 구축하기 위하여 기계학습모형인 랜덤포레스트(Random Forest) 회귀 모형과 합류부에서 분광 특성이 다른 두 하천의 특성을 정확하게 반영하기 위한 가우시안 혼합 모형 (Gaussian Mixture Model) 기반 초분광 군집화 기법을 결합하였다. 본 연구에서 구축한 방법론을 낙동강과 황강의 합류부에 적용한 결과, 초분광 군집을 통해 두하천 흐름의 경계층을 명확히 구별하였으며, 이를 바탕으로 지류와 본류에 대해 각각 분리된 회귀 모형을 구축하여 복잡한 합류부 근역 경계층에서의 부유사 거동을 보다 정확하게 재현하였다. 또한 나아가서 재현된 고해상도의 부유사 공간분포를 바탕으로 경계층에서 강한 두 흐름이 혼합되어 발생한 와류(Wake)가 부유사 혼합에 미치는 영향을 규명하였고, 하천 합류부에서 발생하는 전단층의 수평방향 대규모 와류가 부유사 혼합 양상에 지배적 영향을 미치는 것으로 확인하였다.

  • PDF

Determination of the stage and grade of periodontitis according to the current classification of periodontal and peri-implant diseases and conditions (2018) using machine learning algorithms

  • Kubra Ertas;Ihsan Pence;Melike Siseci Cesmeli;Zuhal Yetkin Ay
    • Journal of Periodontal and Implant Science
    • /
    • v.53 no.1
    • /
    • pp.38-53
    • /
    • 2023
  • Purpose: The current Classification of Periodontal and Peri-Implant Diseases and Conditions, published and disseminated in 2018, involves some difficulties and causes diagnostic conflicts due to its criteria, especially for inexperienced clinicians. The aim of this study was to design a decision system based on machine learning algorithms by using clinical measurements and radiographic images in order to determine and facilitate the staging and grading of periodontitis. Methods: In the first part of this study, machine learning models were created using the Python programming language based on clinical data from 144 individuals who presented to the Department of Periodontology, Faculty of Dentistry, Süleyman Demirel University. In the second part, panoramic radiographic images were processed and classification was carried out with deep learning algorithms. Results: Using clinical data, the accuracy of staging with the tree algorithm reached 97.2%, while the random forest and k-nearest neighbor algorithms reached 98.6% accuracy. The best staging accuracy for processing panoramic radiographic images was provided by a hybrid network model algorithm combining the proposed ResNet50 architecture and the support vector machine algorithm. For this, the images were preprocessed, and high success was obtained, with a classification accuracy of 88.2% for staging. However, in general, it was observed that the radiographic images provided a low level of success, in terms of accuracy, for modeling the grading of periodontitis. Conclusions: The machine learning-based decision system presented herein can facilitate periodontal diagnoses despite its current limitations. Further studies are planned to optimize the algorithm and improve the results.

Comparison of Chlorophyll-a Prediction and Analysis of Influential Factors in Yeongsan River Using Machine Learning and Deep Learning (머신러닝과 딥러닝을 이용한 영산강의 Chlorophyll-a 예측 성능 비교 및 변화 요인 분석)

  • Sun-Hee, Shim;Yu-Heun, Kim;Hye Won, Lee;Min, Kim;Jung Hyun, Choi
    • Journal of Korean Society on Water Environment
    • /
    • v.38 no.6
    • /
    • pp.292-305
    • /
    • 2022
  • The Yeongsan River, one of the four largest rivers in South Korea, has been facing difficulties with water quality management with respect to algal bloom. The algal bloom menace has become bigger, especially after the construction of two weirs in the mainstream of the Yeongsan River. Therefore, the prediction and factor analysis of Chlorophyll-a (Chl-a) concentration is needed for effective water quality management. In this study, Chl-a prediction model was developed, and the performance evaluated using machine and deep learning methods, such as Deep Neural Network (DNN), Random Forest (RF), and eXtreme Gradient Boosting (XGBoost). Moreover, the correlation analysis and the feature importance results were compared to identify the major factors affecting the concentration of Chl-a. All models showed high prediction performance with an R2 value of 0.9 or higher. In particular, XGBoost showed the highest prediction accuracy of 0.95 in the test data.The results of feature importance suggested that Ammonia (NH3-N) and Phosphate (PO4-P) were common major factors for the three models to manage Chl-a concentration. From the results, it was confirmed that three machine learning methods, DNN, RF, and XGBoost are powerful methods for predicting water quality parameters. Also, the comparison between feature importance and correlation analysis would present a more accurate assessment of the important major factors.

Linkage of Numerical Analysis Model and Machine Learning for Real-time Flood Risk Prediction (도시홍수 위험도 실시간 표출을 위한 수치해석 모형과 기계학습의 연계)

  • Kim, Hyun Il;Han, Kun Yeun;Kim, Tae Hyung;Choi, Kyu Hyun;Cho, Hyo Seop
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2021.06a
    • /
    • pp.332-332
    • /
    • 2021
  • 도시화가 상당히 이뤄지고 기습적인 폭우의 발생이 불확실하게 나타나는 시점에서 재산 및 인명피해를 야기할 수 있는 내수침수에 대한 위험도가 증가하고 있다. 내수침수에 대한 예측을 위하여 실측강우 또는 확률강우량 시나리오를 참조하고 연구대상 지역에 대한 1차원 그리고 2차원 수리학적 해석을 실시하는 연구가 오랫동안 진행되어 왔으나, 수치해석 모형의 경우 다양한 수문-지형학적 자료 및 계측 자료를 요구하고 집약적인 계산과정을 통한 단기간 예측에 어려움이 있음이 언급되어 왔다. 본 연구에서는 위와 같은 문제점을 해결하기 위하여 단일 도시 배수분구를 대상으로 관측 강우 자료, 1, 2차원 수치해석 모형, 기계학습 및 딥러닝 기법을 적용한 실시간 홍수위험지도 예측 모형을 개발하였다. 강우자료에 대하여 실시간으로 홍수량을 예측할 수 있도록 LSTM(Long-Short Term Memory) 기법을 적용하였으며, 전국단위 강우에 대한 다양한 1차원 도시유출해석 결과를 학습시킴으로써 예측을 수행하였다. 침수심의 공간적 분포의 경우 로지스틱 회귀를 이용하여, 기준 침수심에 대한 예측을 각각 수행하였다. 홍수위험 등급의 경우 침수심, 유속 그리고 잔해인자를 고려한 홍수위험등급 공식을 적용하여 산정하였으며, 이 결과를 랜덤포레스트(Random Forest)에 학습함으로써 실시간 예측을 수행할 수 있도록 개발하였다. 침수범위 및 홍수위험등급에 대한 예측은 격자 단위로 이뤄졌으며, 검증 자료의 부족으로 침수 흔적도를 통하여 검증된 2차원 침수해석 결과와 비교함으로써 예측력을 평가하였다. 본 기법은 특정 관측강우 또는 예측강우 자료가 입력되었을 때에, 도시 유역 단위로 접근이 불가하여 통제해야 할 구간을 실시간으로 예측하여 관리할 수 있을 것으로 판단된다.

  • PDF

Inundation Pattern Analysis by Applying Flood Routing Model with Random Forest Regression (하도홍수추적 모형과 랜덤포레스트 회귀를 이용한 침수양상 분석)

  • Kim, Hyun Il;Kim, Byung Hyun;Han, Kun Yeun
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2020.06a
    • /
    • pp.398-398
    • /
    • 2020
  • 대도시 상류부에 위치한 댐의 과도한 방류 또는 급작스러운 붕괴는 대규모의 인명 또는 재산피해를 야기할 수 있으며, 다양한 댐 유입량 조건에 따른 침수양상을 파악하는 것은 수재해 대응능력 향상에 필수적이다. 그러나 다양한 과다한 댐 방류 또는 붕괴유량에 따른 침수 범위는 도시의 내수침수와 달리 매우 넓은 지형조건을 고려하며 침수 범위가 광범위하게 나타날 수 있다. 이는 다양한 댐 유입량 조건에 따른 침수 지도를 생성 및 파악하는데 어려움을 가중시키며, 특히 댐 운영에 따른 침수양상을 실시간으로 파악하는데 어려움을 가중시킨다. 본 연구에서는 저빈도부터 PMF(Probable Maximum Flood) 조건까지의 다양한 댐 유입량자료를 바탕으로, 1차원 하천홍수해석을 실시하였다. 연구 대상으로 팔당댐에 대한 댐 해석을 실시하였으며, 팔당댐 하류에 위치한 서울시에 대한 영향을 분석하였다. 1차원 해석 결과로 산정되는 각하도 단면 별 홍수위자료와 GIS을 연계하여 다양한 발생빈도를 나타내는 유입량에 대한 침수지도를 생성하였으며, 기존에 제시된 발생빈도에 따른 침수지도 외에 임의 빈도의 침수지도를 실시간으로 생성할 수 있는 랜덤포레스트 회귀 모형을 구축하였다. 위의 과정들을 통해 다양한 유입량 조건에 따른 연구대상 지역에서의 침수예상도를 분석할 수 있었으며, 서울시 전반적으로 나타날 수 있는 침수심의 공간적 분포를 파악할 수 있었다. 주어진 침수 지도를 이용하여 서울시에 대한 인구 및 건축물의 경제적 가치 자료를 이용하여 추가적인 홍수 위험도 분석이 가능할 것으로 보이며, 임의 빈도에 대하여 실시간으로 침수를 예측할 수 있는 랜덤포레스트와 연계할 수 있다. 제시된 방법론은 댐의 과다한 방류량과 붕괴 현상을 재현하며, 도시의 수재해 대응능력 향상을 위한 기초자료를 제공할 수 있을 것으로 보인다.

  • PDF

Analysis of Risk Factors for Youth Population Outflow in Busan Based on Machine Learning (머신러닝 기반 부산 청년인구 유출위험 요인 분석)

  • Seoyoung Sohn;Hyeseong Yang;Minseo Park
    • The Journal of the Convergence on Culture Technology
    • /
    • v.9 no.6
    • /
    • pp.131-136
    • /
    • 2023
  • Local youth outmigration is increasingly growing. Various studies are being conducted to identify the factors contributing to this problem, but there is a lack of research analyzing each region individually. Therefore, this study aims to analyze the factors influencing youth outmigration in Busan and predict the risk levels of youth population outflow using machine learning techniques. By utilizing district-level data collected from the KOSIS, we divided the population into three groups based on age (the early 20s, late 20s, and early 30s) and employed Decision Tree and Random Forest algorithms to classify and predict the risk levels of youth population outmigration. The results indicate that the predictive model for youth outmigration risk levels achieves the highest accuracies of 0.93, 0.75, and 0.63 for each age group, respectively.

Horse race rank prediction using learning-to-rank approaches (Learning-to-rank 기법을 활용한 서울 경마경기 순위 예측)

  • Junhyoung Chung;Donguk Shin;Seyong Hwang;Gunwoong Park
    • The Korean Journal of Applied Statistics
    • /
    • v.37 no.2
    • /
    • pp.239-253
    • /
    • 2024
  • This research applies both point-wise and pair-wise learning strategies within the learning-to-rank (LTR) framework to predict horse race rankings in Seoul. Specifically, for point-wise learning, we employ a linear model and random forest. In contrast, for pair-wise learning, we utilize tools such as RankNet, and LambdaMART (XGBoost Ranker, LightGBM Ranker, and CatBoost Ranker). Furthermore, to enhance predictions, race records are standardized based on race distance, and we integrate various datasets, including race information, jockey information, horse training records, and trainer information. Our results empirically demonstrate that pair-wise learning approaches that can reflect the order information between items generally outperform point-wise learning approaches. Notably, CatBoost Ranker is the top performer. Through Shapley value analysis, we identified that the important variables for CatBoost Ranker include the performance of a horse, its previous race records, the count of its starting trainings, the total number of starting trainings, and the instances of disease diagnoses for the horse.

A Method for Generating Malware Countermeasure Samples Based on Pixel Attention Mechanism

  • Xiangyu Ma;Yuntao Zhao;Yongxin Feng;Yutao Hu
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • v.18 no.2
    • /
    • pp.456-477
    • /
    • 2024
  • With information technology's rapid development, the Internet faces serious security problems. Studies have shown that malware has become a primary means of attacking the Internet. Therefore, adversarial samples have become a vital breakthrough point for studying malware. By studying adversarial samples, we can gain insights into the behavior and characteristics of malware, evaluate the performance of existing detectors in the face of deceptive samples, and help to discover vulnerabilities and improve detection methods for better performance. However, existing adversarial sample generation methods still need help regarding escape effectiveness and mobility. For instance, researchers have attempted to incorporate perturbation methods like Fast Gradient Sign Method (FGSM), Projected Gradient Descent (PGD), and others into adversarial samples to obfuscate detectors. However, these methods are only effective in specific environments and yield limited evasion effectiveness. To solve the above problems, this paper proposes a malware adversarial sample generation method (PixGAN) based on the pixel attention mechanism, which aims to improve adversarial samples' escape effect and mobility. The method transforms malware into grey-scale images and introduces the pixel attention mechanism in the Deep Convolution Generative Adversarial Networks (DCGAN) model to weigh the critical pixels in the grey-scale map, which improves the modeling ability of the generator and discriminator, thus enhancing the escape effect and mobility of the adversarial samples. The escape rate (ASR) is used as an evaluation index of the quality of the adversarial samples. The experimental results show that the adversarial samples generated by PixGAN achieve escape rates of 97%, 94%, 35%, 39%, and 43% on the Random Forest (RF), Support Vector Machine (SVM), Convolutional Neural Network (CNN), Convolutional Neural Network and Recurrent Neural Network (CNN_RNN), and Convolutional Neural Network and Long Short Term Memory (CNN_LSTM) algorithmic detectors, respectively.