• 제목/요약/키워드: Bias-correction

검색결과 270건 처리시간 0.027초

머신러닝 기반 준실시간 다중 위성 강수 자료 보정 (Bias-correction of near-real-time multi-satellite precipitation products using machine learning)

  • 정성호;레수안히엔;응웬반지앙;이기하
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.280-280
    • /
    • 2023
  • 강수의 정확한 시·공간적 추정은 홍수 대응, 가뭄 관리, 수자원 계획 등 수문학적 모델링의 핵심 기술이다. 우주 기술의 발전으로 전지구 강수량 측정 프로젝트(Global Precipitation Measurement, GPM)가 시작됨에 따라 위성의 여러 센서를 이용하여 다양한 고해상도 강수량 자료가 생산되고 있으며, 기후변화로 인한 수재해의 빈도가 증가함에 따라 준실시간(Near-Real-Time) 위성 강수 자료의 활용성 및 중요성이 높아지고 있다. 하지만 준실시간 위성 강수 자료의 경우 빠른 지연시간(latency) 확보를 위해 관측 이후 최소한의 보정을 거쳐 제공되므로 상대적으로 강수 추정치의 불확실성이 높다. 이에 따라 본 연구에서는 앙상블 머신러닝 기반 수집된 위성 강수 자료들을 관측 자료와 병합하여 보정된 준실시간 강수량 자료를 생성하고자 한다. 모형의 입력에는 시단위 3가지 준실시간 위성 강수 자료(GSMaP_NRT, IMERG_Early, PERSIANN_CCS)와 방재기상관측 (AWS)의 온도, 습도, 강수량 지점 자료를 활용하였다. 지점 강수 자료의 경우 결측치를 고려하여 475개 관측소를 선정하였으며, 공간성을 고려한 랜덤 샘플링으로 375개소(약 80%)는 훈련 자료, 나머지 100개소(약 20%)는 검증 자료로 분리하였다. 모형의 정량적 평가 지표로는 KGE, MAE, RMSE이 사용되었으며, 정성적 평가 지표로 강수 분할표에 따라 POD, SR, BS 그리고 CSI를 사용하였다. 머신러닝 모형은 개별 원시 위성 강수 자료 및 IDW 기법보다 높은 정확도로 강수량을 추정하였으며 공간적으로 안정적인 결과를 나타내었다. 다만, 최대 강수량에서는 다소 과소추정되므로 이는 강수와 관련된 입력 변수의 개수 업데이트로 해결할 수 있을 것으로 판단된다. 따라서 불확실성이 높은 개별 준실시간 위성 자료들을 관측 자료와 병합하여 보정된 최적 강수 자료를 생성하는 머신러닝 기법은 돌발성 수재해에 실시간으로 대응 가능하며 홍수 예보에 신뢰도 높은 정량적인 강수량 추정치를 제공할 수 있다.

  • PDF

Backward-Forward tracking 기반 예측강우 편의보정 기법의 실시간 적용 및 평가 (Assessment of real-time bias correction method for rainfall forecast using the Backward-Forward tracking)

  • 나우영;강민석;김유민;유철상
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2021년도 학술발표회
    • /
    • pp.371-371
    • /
    • 2021
  • 돌발홍수 예경보시스템의 입력자료로 예측강우가 활용된다. 기상청과 환경부에서는 초단기 예보의 목적으로 MAPLE(McGill Algorithm for Precipitation nowcasting and Lagrangian Extrapolation)을 생산하고 있다. MAPLE은 선행 30분까지의 예측품질은 어느 정도 정확하다고 볼 수 있으나 그 이후 특히 3시간 이상이 되면 예측품질이 크게 떨어지는 문제가 있다. 예측강우의 편의보정을 위한 여러 시도들이 있었으나 호우의 규모 및 이동특성을 고려한 사례는 제한적이다. 호우의 이동특성을 고려해야하는 이유로는 첫째, 예측의 특성상 예측강우가 생성되고 편의보정이 이루어지는 시간 동안 호우는 이동을 하기 때문이다. 둘째, 호우가 이동을 하면서 편의보정의 대상이 되는 지역에 적합한 보정계수의 결정이 어렵기 때문이다. 마지막으로 돌발홍수는 장마와 같은 전선형 강수가 아닌 국지성 호우와 같이 빠르게 움직이며 강한 호우를 내리는 강수에 의해 발생하기 때문이다. 본 연구에서는 이러한 문제점을 극복하기 위해 호우의 이동특성을 고려하여 예측강우 보정계수를 결정하고 이를 예측강우에 실시간으로 적용할 수 있는 방법을 제시하였다. 이 과정에서 Backward tracking은 미래에 호우가 도달할 지역(대상지역)으로부터 현재 호우가 위치하는 지역을 추적하는데 이용된다. 추적된 지역에서 보정계수가 결정된다. Forward tracking은 현재 호우가 위치하는 지역으로부터 대상지역을 다시 추적하는데 이용된다. 앞서 결정된 보정계수는 대상지역의 예측강우에 적용된다. 해당 방법론을 2019년에 발생한 주요 호우사상에 실시간 적용하고 평가하였다. 그 결과, Backward-Forward tracking 기반 예측강우 보정방법을 적용한 경우에는 실제 관측된 강우와 매우 유사한 보정결과가 도출됨을 확인되었다.

  • PDF

Uncertainty Analysis based on LENS-GRM

  • Lee, Sang Hyup;Seong, Yeon Jeong;Park, KiDoo;Jung, Young Hun
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.208-208
    • /
    • 2022
  • Recently, the frequency of abnormal weather due to complex factors such as global warming is increasing frequently. From the past rainfall patterns, it is evident that climate change is causing irregular rainfall patterns. This phenomenon causes difficulty in predicting rainfall and makes it difficult to prevent and cope with natural disasters, casuing human and property damages. Therefore, accurate rainfall estimation and rainfall occurrence time prediction could be one of the ways to prevent and mitigate damage caused by flood and drought disasters. However, rainfall prediction has a lot of uncertainty, so it is necessary to understand and reduce this uncertainty. In addition, when accurate rainfall prediction is applied to the rainfall-runoff model, the accuracy of the runoff prediction can be improved. In this regard, this study aims to increase the reliability of rainfall prediction by analyzing the uncertainty of the Korean rainfall ensemble prediction data and the outflow analysis model using the Limited Area ENsemble (LENS) and the Grid based Rainfall-runoff Model (GRM) models. First, the possibility of improving rainfall prediction ability is reviewed using the QM (Quantile Mapping) technique among the bias correction techniques. Then, the GRM parameter calibration was performed twice, and the likelihood-parameter applicability evaluation and uncertainty analysis were performed using R2, NSE, PBIAS, and Log-normal. The rainfall prediction data were applied to the rainfall-runoff model and evaluated before and after calibration. It is expected that more reliable flood prediction will be possible by reducing uncertainty in rainfall ensemble data when applying to the runoff model in selecting behavioral models for user uncertainty analysis. Also, it can be used as a basis of flood prediction research by integrating other parameters such as geological characteristics and rainfall events.

  • PDF

Effects of Expert-Determined Reference Standards in Evaluating the Diagnostic Performance of a Deep Learning Model: A Malignant Lung Nodule Detection Task on Chest Radiographs

  • Jung Eun Huh; Jong Hyuk Lee;Eui Jin Hwang;Chang Min Park
    • Korean Journal of Radiology
    • /
    • 제24권2호
    • /
    • pp.155-165
    • /
    • 2023
  • Objective: Little is known about the effects of using different expert-determined reference standards when evaluating the performance of deep learning-based automatic detection (DLAD) models and their added value to radiologists. We assessed the concordance of expert-determined standards with a clinical gold standard (herein, pathological confirmation) and the effects of different expert-determined reference standards on the estimates of radiologists' diagnostic performance to detect malignant pulmonary nodules on chest radiographs with and without the assistance of a DLAD model. Materials and Methods: This study included chest radiographs from 50 patients with pathologically proven lung cancer and 50 controls. Five expert-determined standards were constructed using the interpretations of 10 experts: individual judgment by the most experienced expert, majority vote, consensus judgments of two and three experts, and a latent class analysis (LCA) model. In separate reader tests, additional 10 radiologists independently interpreted the radiographs and then assisted with the DLAD model. Their diagnostic performance was estimated using the clinical gold standard and various expert-determined standards as the reference standard, and the results were compared using the t test with Bonferroni correction. Results: The LCA model (sensitivity, 72.6%; specificity, 100%) was most similar to the clinical gold standard. When expert-determined standards were used, the sensitivities of radiologists and DLAD model alone were overestimated, and their specificities were underestimated (all p-values < 0.05). DLAD assistance diminished the overestimation of sensitivity but exaggerated the underestimation of specificity (all p-values < 0.001). The DLAD model improved sensitivity and specificity to a greater extent when using the clinical gold standard than when using the expert-determined standards (all p-values < 0.001), except for sensitivity with the LCA model (p = 0.094). Conclusion: The LCA model was most similar to the clinical gold standard for malignant pulmonary nodule detection on chest radiographs. Expert-determined standards caused bias in measuring the diagnostic performance of the artificial intelligence model.

A Novel, Deep Learning-Based, Automatic Photometric Analysis Software for Breast Aesthetic Scoring

  • Joseph Kyu-hyung Park;Seungchul Baek;Chan Yeong Heo;Jae Hoon Jeong;Yujin Myung
    • Archives of Plastic Surgery
    • /
    • 제51권1호
    • /
    • pp.30-35
    • /
    • 2024
  • Background Breast aesthetics evaluation often relies on subjective assessments, leading to the need for objective, automated tools. We developed the Seoul Breast Esthetic Scoring Tool (S-BEST), a photometric analysis software that utilizes a DenseNet-264 deep learning model to automatically evaluate breast landmarks and asymmetry indices. Methods S-BEST was trained on a dataset of frontal breast photographs annotated with 30 specific landmarks, divided into an 80-20 training-validation split. The software requires the distances of sternal notch to nipple or nipple-to-nipple as input and performs image preprocessing steps, including ratio correction and 8-bit normalization. Breast asymmetry indices and centimeter-based measurements are provided as the output. The accuracy of S-BEST was validated using a paired t-test and Bland-Altman plots, comparing its measurements to those obtained from physical examinations of 100 females diagnosed with breast cancer. Results S-BEST demonstrated high accuracy in automatic landmark localization, with most distances showing no statistically significant difference compared with physical measurements. However, the nipple to inframammary fold distance showed a significant bias, with a coefficient of determination ranging from 0.3787 to 0.4234 for the left and right sides, respectively. Conclusion S-BEST provides a fast, reliable, and automated approach for breast aesthetic evaluation based on 2D frontal photographs. While limited by its inability to capture volumetric attributes or multiple viewpoints, it serves as an accessible tool for both clinical and research applications.

Prediction of ocean surface current: Research status, challenges, and opportunities. A review

  • Ittaka Aldini;Adhistya E. Permanasari;Risanuri Hidayat;Andri Ramdhan
    • Ocean Systems Engineering
    • /
    • 제14권1호
    • /
    • pp.85-99
    • /
    • 2024
  • Ocean surface currents have an essential role in the Earth's climate system and significantly impact the marine ecosystem, weather patterns, and human activities. However, predicting ocean surface currents remains challenging due to the complexity and variability of the oceanic processes involved. This review article provides an overview of the current research status, challenges, and opportunities in the prediction of ocean surface currents. We discuss the various observational and modelling approaches used to study ocean surface currents, including satellite remote sensing, in situ measurements, and numerical models. We also highlight the major challenges facing the prediction of ocean surface currents, such as data assimilation, model-observation integration, and the representation of sub-grid scale processes. In this article, we suggest that future research should focus on developing advanced modeling techniques, such as machine learning, and the integration of multiple observational platforms to improve the accuracy and skill of ocean surface current predictions. We also emphasize the need to address the limitations of observing instruments, such as delays in receiving data, versioning errors, missing data, and undocumented data processing techniques. Improving data availability and quality will be essential for enhancing the accuracy of predictions. The future research should focus on developing methods for effective bias correction, a series of data preprocessing procedures, and utilizing combined models and xAI models to incorporate data from various sources. Advancements in predicting ocean surface currents will benefit various applications such as maritime operations, climate studies, and ecosystem management.

SWAT을 이용한 기후변화가 충주댐 및 조정지댐 저수량에 미치는 영향 평가 (Assessment of Climate Change Impact on Storage Behavior of Chungju and the Regulation Dams Using SWAT Model)

  • 정현교;김성준;하림
    • 한국수자원학회논문집
    • /
    • 제46권12호
    • /
    • pp.1235-1247
    • /
    • 2013
  • 본 연구에서는 충주댐($2750{\times}10^6m^3$) 및 조정지댐($30{\times}10^6m^3$)을 포함한 유역을 대상으로 미래 기후변화가 댐 저수량에 미치는 영향을 분석하기 위해 SWAT(Soil and Water Assessment Tool) 모형을 활용하였다. 3지점의 9개년(2002~2010)동안의 자료를 이용하여 검보정을 실시한 결과 유출량에 대해서는 Nash-Sutcliffe 모델 효율(NSE)이 0.73으로, 두 댐의 저수위에 대해서는 0.86으로 나타났다. 미래 기후변화 시나리오자료는 IPCC(Intergovernmental Panel on Climate Change)에서 제공하는 GCMs (General Circulation Models) 중 HadCM3 모델의 SRES(Special Report on Emission Scenarios)에 의한 B1과 A2 시나리오를 구축하였다. 미래 월별 기온과 강수자료는 과거 30개년(1977~2006, baseline period) 자료는 편의보정(bias-correction) 기법을 이용하여 오차보정 후, Change Factor (CF) method를 이용하여 상세화 하였다. 미래 연평균 기온은 2040s (2031~2050)에 $0.9^{\circ}C$, 2080s (2071~2099)에는 $4.0^{\circ}C$까지 증가할 것으로 예측되었고, 연평균 강수량은 2040s에 9.6%, 2080s에 20.7% 증가하는 것으로 나타났다. 과거 대비 미래 증발산량은 15.3%까지 증가하고, 토양수분은 최대 2.8% 감소하였다. 과거 9개년 평균 댐 방류스케줄에 따른 미래 댐 연평균 유입량은 가을철을 제외한 대부분 기간에 최대 21.1%까지 증가하는 경향을 보였다. 미래 가을철 댐 유입의 감소로 인해 현재 방류 패턴으로는 연말까지 결국 저수량을 회복하지 못하는 것으로 나타났다. 미래 풍수년과 갈수년에는 댐 저수량의 시간적 변동이 더욱 불안정해지므로 각각 저수량의 상향 및 하향 조정에 주의를 기울여야 한다. 따라서 기후변화 적응을 위한 댐 방류 패턴 조절이 필요하다고 판단된다.

비정상성 분위사상법을 이용한 GCM 장기예측 편차보정 (Bias Correction for GCM Long-term Prediction using Nonstationary Quantile Mapping)

  • 문수진;김정중;강부식
    • 한국수자원학회논문집
    • /
    • 제46권8호
    • /
    • pp.833-842
    • /
    • 2013
  • 분위사상법(QM, Quantile Mapping)은GCM(Global Climate Model) 자료의 계통적 오차를 보정하여 보다 신뢰성 높은 자료로 재생성하기 위해 활용되고 있다. 이 기법은 사상(mapping)시키려는 대상(object) 자료의 통계분포모수가 정상적(stationarity)이라는 가정 하에 대상 자료의 누적확률분포(CDF, Cumulative Distribution Function)를 목표(target) CDF에 통계적으로 투영시키는 것이 일반적이다. 따라서 GCM에서 제공되는 미래 기후시나리오의 강우시계열과 같이 비정상성(non-stationarity)을 갖는 장기 시계열자료에 대한 적용에는 문제점을 보이고 있다. 본 연구에서는 비정상성을 갖는 장기시계열자료의 오차보정을 위해 통계분포모수에 경향성을 부여하는 비정상성 분위사상법(NSQM, Nonstationary Quantile Mapping)을 적용하였다. NSQM 적용을 위한 확률분포로 수문분야에서 광범위하게 쓰이고 있는Gamma 분포를 선정하였으며, 대상 시나리오는 CCCma (Canadian Centre for Climate modeling and analysis)에서 제공하고 있는 CGCM3.1/T63모형의 20C3M(reference scenario)과 SRES A2 시나리오(projection scenario)를 활용하였다. 한강유역 내 관측기간이 충분한 10개의 지상관측소로부터 강우량을 수집하였다. 또한 6월과 10월사이에 연 강수량의 65% 이상이 집중되는 한반도의 계절성을 반영하기 위해 홍수기(6~10월)와 비홍수기(11~5월)를 구분하였고, 기준기간(Baseline)은 1973~2000년, 전망기간(Projection)은 2011~2100년으로 구분하였다. 다양한 목표분포의 설정을 통하여 NSQM의 적용성을 평가하고자 하였으며, 전망기간은 FF시나리오(Foreseeable Future Scenario, 2011~2040년), MF시나리오(Mid-term Future Scenario, 2041~2070년), LF시나리오(Long-term Future Scenario, 2071~2100년)의 3개의 구간으로 설정하여 기준기간과 전망기간의 연평균 강우량에 대한 경향성분석을 실시하였다. 그 결과NSQM이 FF시나리오에서 330.1mm(25.2%), MF시나리오에서 564.5mm(43.1%), LF시나리오에서 634.3mm(48.5%)로 증가하는 전망결과를 나타내고 있었다. 정상성기법을 적용한 결과, 전망기간 중 전체적으로는 동일한 평균값을 갖는 목표통계모수를 사용한다고 하여도, 전망전반부에서 과다하고, 후반부에서 오히려 과소한 전망을 보여주고 있었다. 이러한 결과는 비정상성기법을 사용함으로써 상당부분 개선될 수 있음을 확인하였다.

PNU CGCM-WRF Chain을 이용한 우리나라 콩의 고온해 및 저온해에 대한 예측성 검증 (Evaluating the Predictability of Heat and Cold Damages of Soybean in South Korea using PNU CGCM -WRF Chain)

  • 최명주;안중배;김영현;정민경;심교문;허지나;조세라
    • 한국농림기상학회지
    • /
    • 제24권4호
    • /
    • pp.218-233
    • /
    • 2022
  • 본 연구에서는 Pusan National University Coupled General Circulation Model-Weather Research and Forecasting (PNU CGCM-WRF)에서 생산된 hindcast 자료(1986~2020)를 이용하여 우리나라의 주요 곡물 중 하나인 콩의 생육단계별 고온해 및 저온해 발생일수의 예측성을 평가하였다. 예측성을 평가하는 방법으로는 Normalized Standard Deviations (NSD), Root Mean Square Error (RMSE), Hit Rate (HR), Heidke Skill Score (HSS)이다. 이를 위해 먼저 콩의 고온해 및 저온해를 정의하는 변수인 일 최고기온(Tmax) 및 일 최저기온(Tmin)의 모의성능을 검증하였다. 그 결과 1~5월(01RUN~05RUN)의 초기조건을 가지고 시작하는 월에 따라 다소 차이가 있지만, Variance Scaling 방법을 적용하여 보정한 결과가 보정전보다 관측과 유사하게 나타났으며, 보정한 3~10월의 Tmax 및 Tmin에 대한 모의성능은 전반적으로 01RUN~05RUN에 Simple Composite Method (SCM)을 적용하여 평균한 결과(ENS)에서 높게 나타났다. 또한, 콩의 생육시기별 고온해 및 저온해 발생일수의 지역적 패턴과 특성을 관측과 비교하였을 때 모형이 잘 모의하고 있다. ENS에서 콩의 고온해(저온해)에 대한 HR과 HSS는 생육시기 별로 0.45~0.75, 0.02~0.10(0.49~0.76, -0.04~0.11)의 범위를 가진다. 결론적으로, PNU CGCM-WRF chain의 01RUN~05RUN 및 ENS는 우리나라 콩의 생육시기별 고온해 및 저온해를 예측할 수 있는 성능을 가지고 있다.

메콩강 유역의 격자형 강수 자료에 의한 강우-유출 모의 성능 비교·분석 (Comparison of rainfall-runoff performance based on various gridded precipitation datasets in the Mekong River basin)

  • 김영훈;레수안히엔;정성호;연민호;이기하
    • 한국수자원학회논문집
    • /
    • 제56권2호
    • /
    • pp.75-89
    • /
    • 2023
  • 강우-유출 해석은 하천 홍수예경보, 댐 유입량 산정 및 방류량 결정 등 수자원 관리 및 계획수립에 있어 중요한 과정이며, 밀도높은 강우관측망으로부터 수집된 강우 자료는 정확한 강우-유출 해석을 위한 가장 중요한 기초 자료로 활용된다. 본 연구 대상 지역인 메콩강 유역은 국가공유하천으로 강수 자료수집이 어렵고, 구축된 자료의 양적, 질적 품질이 국가별로 상이하여 수문해석 결과의 불확실성을 높일 우려가 있다. 최근 원격탐사 기술의 발달로 격자형 글로벌 강수자료의 획득이 용이해졌으며, 이를 활용한 미계측 유역 또는 대유역에서의 다양한 수문해석 연구들이 수행된 바 있다. 본 연구에서는 미계측 대유역 수문해석에 있어 격자형 강수자료의 적용성을 평가하기 위하여 3개의 위성 강수자료(TRMM, GSMaP, PERSIANN-CDR)와 2개의 지점 격자형 강수자료(APHRODITE, GPCC)를 수집하고, APHRODITE를 관측값으로 합성곱 신경망 모형인 ConvAE 알고리즘을 이용하여 위성 강수자료의 시·공간적 편의보정을 수행하였다. 또한, 메콩강 본류의 주요지점인 Luang Prabang, Pakse, Stung Treng, Kratie 4개 수위 관측소를 선정하여 SWAT 모형의 매개변수를 보정(2004~2011)하고 지점 격자형 강수자료 및 위성 강수자료의 보정전·후의 유출모의(2012~2013) 결과를 비교·분석하였다. 그 결과 원시위성 강수자료 및 GPCC는 APHPRODITE에 비해 정량적으로 과소 또는 과대추정되거나 공간적으로 매우 상이한 패턴을 나타낸 반면, GSMaP과 ConvAE를 이용하여 보정된 위성 강수자료의 경우, APHPRODITE에 대한 시·공간적 상관성이 개선된 것으로 분석되었다. 또한 유출모의의 경우, 모든 지점에 대해서 ConvAE로 보정된 위성 강수자료를 이용한 유출모의 결과가 원시 위성강수자료를 이용한 유출결과 보다 정확도가 향상된 것으로 분석되었다. 따라서 본 연구에서 제시하는 격자형 위성 강수자료 보정기법과 연계한 강우-유출 해석은 향후 다양한 위성 강수자료를 활용한 미계측 대유역 수문해석에서 활용이 가능할 것으로 판단된다.