• 제목/요약/키워드: Calibration and Validation

검색결과 658건 처리시간 0.025초

Key Principles of Clinical Validation, Device Approval, and Insurance Coverage Decisions of Artificial Intelligence

  • Seong Ho Park;Jaesoon Choi;Jeong-Sik Byeon
    • Korean Journal of Radiology
    • /
    • 제22권3호
    • /
    • pp.442-453
    • /
    • 2021
  • Artificial intelligence (AI) will likely affect various fields of medicine. This article aims to explain the fundamental principles of clinical validation, device approval, and insurance coverage decisions of AI algorithms for medical diagnosis and prediction. Discrimination accuracy of AI algorithms is often evaluated with the Dice similarity coefficient, sensitivity, specificity, and traditional or free-response receiver operating characteristic curves. Calibration accuracy should also be assessed, especially for algorithms that provide probabilities to users. As current AI algorithms have limited generalizability to real-world practice, clinical validation of AI should put it to proper external testing and assisting roles. External testing could adopt diagnostic case-control or diagnostic cohort designs. A diagnostic case-control study evaluates the technical validity/accuracy of AI while the latter tests the clinical validity/accuracy of AI in samples representing target patients in real-world clinical scenarios. Ultimate clinical validation of AI requires evaluations of its impact on patient outcomes, referred to as clinical utility, and for which randomized clinical trials are ideal. Device approval of AI is typically granted with proof of technical validity/accuracy and thus does not intend to directly indicate if AI is beneficial for patient care or if it improves patient outcomes. Neither can it categorically address the issue of limited generalizability of AI. After achieving device approval, it is up to medical professionals to determine if the approved AI algorithms are beneficial for real-world patient care. Insurance coverage decisions generally require a demonstration of clinical utility that the use of AI has improved patient outcomes.

The Use of Near Infrared Reflectance Spectroscopy (NIRS) for Broiler Carcass Analysis

  • Hsu, Hua;Zuidhof, Martin J.;Recinos-Diaz, Guillermo;Wang, Zhiquan
    • 한국근적외분광분석학회:학술대회논문집
    • /
    • 한국근적외분광분석학회 2001년도 NIR-2001
    • /
    • pp.1510-1510
    • /
    • 2001
  • NIRS uses reflectance signals resulting from bending and stretching vibrations in chemical bonds between carbon, nitrogen, hydrogen, sulfur and oxygen. These reflectance signals are used to measure the concentration of major chemical composition and other descriptors of homogenized and freeze-dried whole broiler carcasses. Six strains of chicken were analyzed and the NIRS model predictions compared to reference data. The results of this comparison indicate that NIRS is a rapid tool for predicting dry matter (DM), fat, crude protein (CP) and ash content in the broiler carcass. Males and females of six commercial strain crosses of broiler chicken (Gallus domesticus) were used in this study (6$\times$2 factorial design). Each strain was grown to 16 weeks of age, and duplicate serial samples were taken for body composition analysis. Each whole carcass was pressure-cooked, homogenized, and a representative sample was freeze-dried. Body composition determined as follows: DM by oven dried method at 105$^{\circ}C$ for 3 hours, fat by Mojonnier diethyl ether extraction, CP by measuring nitrogen content using an auto-analyzer with Kjeldhal digest and ash by combustion in a muffle furnace for 24 hour at 55$0^{\circ}C$. These homogenized and freeze-dried carcass samples were then scanned with a Foss NIR Systems 6500 visible-NIR spectrophotometer (400-2500nm) (Foss NIR Systems, Silver Spring, MD., US) using Infra-Soft-International, ISI, WinISl software (ISI, Port Matilda, US). The NIRS spectra were analyzed using principal component (PC) analysis. This data was corrected for scatter using standard normal “Variate” and “Detrend” technique. The accuracy of the NIRS calibration equations developed using Partial Least Squares (PLS) for predicting major chemical composition and carcass descriptors- such as body mass (BM), bird dry matter and moisture content was tested using cross validation. Discrimination analysis was also used for sex and strain identification. According to Dr John Shenk, the creator of the ISI software, the calibration equations with the correlation coefficient, $R^2$, between reference data and NIRS predicted results of above 0.90 is excellent and between 0.70 to 0.89 is a good quantifying guideline. The excellent calibration equations for DM ($R^2$= 0.99), fat (0.98) and CP (0.92) and a good quantifying guideline equation for ash (0.80) were developed in this study. The results of cross validation statistics for carcass descriptors, body composition using reference methods, inter-correlation between carcass descriptors and NIRS calibration, and the results of discrimination analysis for sex and strain identification will also be presented in the poster. The NIRS predicted daily gain and calculated daily gain from this experiment, and true daily gain (using data from another experiment with closely related broiler chicken from each of the six strains) will also be discussed in the paper.

  • PDF

Preliminary study on the use of near infrared spectroscopy for determination of plasma deuterium oxide in dairy cattle

  • Purnomoadi, Agung;Nonaka, Itoko;Higuchi, Kouji;Enishi, Osamu;Amari, Masahiro;Terada, Fuminori
    • 한국근적외분광분석학회:학술대회논문집
    • /
    • 한국근적외분광분석학회 2001년도 NIR-2001
    • /
    • pp.4101-4101
    • /
    • 2001
  • Information of body composition (fat and protein) in living animal is important to determine the nutrients requirement. Deuterium oxide (D2O) dilution techniques, as one of isotope dilution techniques have been useful for the prediction of body composition. However, the determination of D2O concentration is time consuming and complicated. Therefore this study was conducted to develop a new method to predict D2O concentration in plasma using near infrared spectroscopy technique (NIRS). Four dairy cows in early lactation were used. They were fed total mixed ration containing conr silage, timothy hay, and concentrates to make 17.0%CP and 14.0 MJDE/kgDM. Dosing D2O was at week 1,3 and 5 after parturition. After dosing D2O, the blood was collected from hour 0 to 72. Blood samples were then centrifuge at 3,000 rpm for 10 minutes to obtain plasma. D2O concentration was analyzed by gas chromatograph (deuterium oxide analyzable system, HK102, Shokotsusyou) after extracted from plasma by liophilization. Plasma sample was scanned by NIRS using Pacific Scientific (Neotec) model 6500 (Perstorp Analytical, Silver Spring, MD) in the range of wavelength from 1100 to 2500 nm. Calibration equation was developed using multiple linear regression. Sample from one animal (cow #550; n: 74) was used for developing the calibration while the rest three animals were used for validating the equation. The range, R and SEC of the calibration set samples were 135-925 ppm, 0.93 and 48.1 ppm, respectively. Validation of the calibration equation for three individual cows was done and the average of NIR predicted value of D2O at each collection time from three weeks injection showed a high correlation. The range, r and 53 of plasma from cow #474 were 322-840 ppm,0.93 and 53.1; cow #478 were 146-951 ppm,0.95 and 39.8; cow #942 were 313-885 ppm,0.95 and 37.2, respectively. Judgement of accuracy based on ratio of standard deviation and standard error in validation set samples (RPD) for cow #474, #478 and #942 were 2.2,4.3 and 3.4, respectively. The error in application due to the variation between individual was considered smaller than the bias from collection period, however, this prediction can be overcome with correction of standard zero-minute concentration of blood. The results of this preliminary study on the use of NIRS for determination of D2O in plasma showed very promising as shown by a convenient and satisfy accuracy. Further study on various physiological stage of animal should be done.

  • PDF

FLARE 타겟을 이용한 다목적위성3호/3A호의 절대복사 검보정 계수 산출 (Experiment of KOMPSAT-3/3A Absolute Radiometric Calibration Coefficients Estimation Using FLARE Target)

  • 진경욱;박대순
    • 대한원격탐사학회지
    • /
    • 제39권6_1호
    • /
    • pp.1389-1399
    • /
    • 2023
  • Field Line of sight Automated Radiance Exposure (FLARE) 시스템을 이용하여 다목적위성3호/3A호의 절대복사 검보정 연구를 수행하였다. FLARE는 미국의 Labshphere사에 의해 개발된 시스템으로 SPecular Array Radiometric Calibration (SPARC) 개념을 적용한 것이다. FLARE는 거울처럼 반사하는 거울 타겟을 사용하여 산란되는 복사에너지의 원인 요소들을 최소화시킨 단순한 복사보정 방법을 제공한다. FLARE 시스템이 장착된 사이트를 통과하는 다목적위성3호/3A호를 이용한 영상자료 획득을 위해 2021년 7월 5일부터 7월 15일 사이에 필드캠페인을 진행하였다. 기상 상황 때문에 여러 번의 관측 자료 가운데 2개의 다목적위성3호 관측자료만이 유효한 샘플 영상으로 확인되었다. FLARE 시스템과 다목적위성3호 관측 자료를 바탕으로 절대복사 검보정 계수를 산출하였다. 7월 7일과 7월 13일 획득된 2개의 FLARE 관측 자료를 통해 계산된 결과는 근적외 채널을 제외하고 1% 이내의 매우 유사한 결과를 보여 주었다. 2021년 8월 획득된 다목적위성3호/3A호 자료를 추가하여 분석한 결과, 현재의 메타 데이터에 할당된 위성들의 이득값들과는 상당한 차이를 보였다. 제한된 획득자료로 인해 FLARE 시스템을 실제 운영 중인 다목적위성3호/3A호에 대한 절대복사 검보정 계수 산출 용도로 사용하기 위해서는 추가적인 연구가 필요할 것으로 판단된다.

SWAT-CUP을 이용한 SWAT 모형 검·보정 I: 목적함수에 따른 불확실성 분석 (SWAT model calibration/validation using SWAT-CUP I: analysis for uncertainties of objective functions)

  • 유지수;노준우;조영현
    • 한국수자원학회논문집
    • /
    • 제53권1호
    • /
    • pp.45-56
    • /
    • 2020
  • 본 연구는 SWAT-CUP을 이용한 SWAT 모형 매개변수 보정을 수행할 때, 목적함수로 인해 발생할 수 있는 불확실성을 정량화하는 것을 목표로 수행되었다. 먼저 낙동강 권역의 내성천 유역을 대상으로 유출량 산정을 위한 SWAT 모형을 구축한 후, SWAT-CUP을 이용하여 8개 목적함수(R2, bR2, NS, MNS, KGE, PBIAS, RSR 및 SSQR)를 기준으로 자동 보정을 수행하였다. 최종 매개변수는 목적함수에 따라 서로 다른 범위를 나타내었으며, 모의 결과의 수문특성 또한 상이하게 도출되는 것을 확인하였다. 이것은 각각의 목적함수가 특정 수문특성에 대하여 민감하게 반응하여 서로 다른 모의 성능을 평가하기 때문이다. 즉, 특정 목적함수는 극치값의 잔차에 대해 민감하게 반응하여 첨두값을 잘 모의하는 반면, 저유량 또는 평균유량에 대한 모의 성능이 떨어질 수 있다. 따라서 본 연구에서는 최적 목적함수를 선정하기 위해 8개의 목적함수에 따라 산정된 모의값과 관측값 사이의 수문학적 유사성을 평가하였다. 단순히 유량의 크기 비교 뿐 아니라 유량의 발생 시기, 유역의 반응 및 증가·감소 경향성을 함께 고려하기 위해 수문곡선의 증수부 및 감수부 유지시간 비율을 수문특성으로 정의하여 SWAT 모형을 평가하였으며, 평가 결과를 점수로 정량화하여 나타냈다. 그 결과 최종적으로 SWAT 매개변수 보정을 위한 최적 목적함수는 총점이 높은 MNS (342.48) 및 SSQR (346.45)로 선정되었다.

이탈리안 라이그라스 사일리지의 품질평가를 위한 근적외선분광 (NIRS) 검량식의 이설 및 검증 (Transfer and Validation of NIRS Calibration Models for Evaluating Forage Quality in Italian Ryegrass Silages)

  • 조규채;박형수;이상훈;최진혁;서성;최기준
    • 한국축산시설환경학회지
    • /
    • 제18권sup호
    • /
    • pp.81-90
    • /
    • 2012
  • 본 연구는 종래의 실험실 및 연구용 근적외선 분광분석기를 보급형 현장용 다수의 장비를 이용하여 신속하게 현장에서 조사료의 품질 평가의 예측 정확성을 평가하기 위하여 3년간 전국에서 수집된 이탈리안 라이그라스 사일리지 241점을 이용하여 연구용 장비 Unity Model 2500X에 구축된 Database를 활용하여 현장용 보급형 장비 Unity Model 1400에 맞춰 Database를 업데이트 하고 검량선을 작성 한 후 검량선 이설 알고리즘을 사용하여 검량선 이설결과 연연구용 장비와 거의 동일한 수준의 결과로 0.000%~0.343%로의 차이로서 현장에서 신속하게 NDF, ADF 및 조단백, 조회분등의 화학적 성분 및 수분, pH 젖산의 발효품질, 그리고 TDN, RFV의 조사료 품질 평가치를 실험실 수준과 같이 5분내에 동시에 분석 할수 있는 결과를 얻었다. 하지만 3년 동안 얻어진 검량선 작성용 시료는 유기적인 시료이므로 지역적 년도별 차이를 가져올 수 있다. 이는 향후 모집단에 의한 지속적인 검량식의 업데이트 및 Database 관리기법이 실험실 분석 및 이를 이용 검량식을 유지 관리 할수 있는 중앙 Control Center 의해서 관리되어져야 지속적인 현장분석이 가능하다는 것을 강력히 시사한다. 현장분석기라 하더라도 조사료 같은 농산물은 계속 변화하는 성질을 가지고 있으므로 현장분석시 변위를 쉽게 파악하여 이를 신속히 보강 하지 않으면 장기적인 분석이 되지 않는다. 그동안 여러 근적외선 분광법의 연구들이 이루어져 왔지만 현장에서 직접 사용할 수 없었을 뿐 아니라 지속성의 결여로 장비들이 잘 활용되지 않고 있었다. 조사료 같은 농산물 등은 단기적으로 맞지만 불과 1년 정도가 지나면 분석결과가 상당히 신뢰성이 결여되어 활용도가 떨어지는 현실이다. 결론적으로 조사료의 향후 계속적인 시료의 보강과 모집단 분석을 이용한 체계적인 관리 및 시료의 확충방식을 직관적으로 할 수 있는 GD(Global Distance) 및 ND(Neighbour Distance) 기법의 신호등 방식으로 손쉬운 한글화된 운영체재를 사용하게 된다면 향후 효과적인 분석을 수행할 수 있어 이에 대한 여러 기대효과가 예상되어진다. 마지막으로는 동일 목적으로 다수의 장비를 운영할 경우 장비마다 동일한 시료가 동일한 결과가 나올 수 있도록 하는 기법 및 손쉽게 검량식을 작성 할 수 있는 프로그램과 작성된 검량식을 장비에 직접 기존의 컴퓨터 Network에 연결 전송하고 관리하는 Network 기능이 필수적이라 할 수 있겠다.

대기확산모델의 검정 및 보정을 위한 Passive Sampler의 활용 (Application of Passive Sampler in Validation and Calibration of Air Dispersion Model)

  • 김선태;김주인;김성근;배장영
    • 한국대기환경학회:학술대회논문집
    • /
    • 한국대기환경학회 1999년도 추계학술대회 논문집
    • /
    • pp.170-171
    • /
    • 1999
  • 대기 중 오염물질의 확산 및 미래의 예측을 위하여 대기확산모형을 많이 사용하고 있으며, 국내에서 사용하고 있는 대기확산모형의 대부분은 미국 EPA에서 보급하는 것을 사용하고 있다. 이 중에서 최근에 많이 사용하고 있는 단기모형으로는 기간과 지형이 고려되는 ISCST3 모형을 들 수 있다. 국내 모델의 사용에 있어서 가장 중요한 문제점은 모델의 검정과 보정을 위한 data의 부재를 들 수 있다.(중략)

  • PDF

RadCalNet 자료를 이용한 다목적실용위성 3A 영상 자료의 지표 반사도 성과 검증 (Validation of Surface Reflectance Product of KOMPSAT-3A Image Data Using RadCalNet Data)

  • 이기원;김광섭
    • 대한원격탐사학회지
    • /
    • 제36권2_1호
    • /
    • pp.167-178
    • /
    • 2020
  • 2015년 발사된 이후 KOMPSAT-3A 영상정보가 여러 분야에서 활용되고 있다. 그러나 실제 육상 환경의 분석에 필요한 지표 반사도를 얻을 수 있는 도구 개발이 이루어지지 않아서 식생 지수 산정 등과 같이 이러한 자료를 적용하는 과학적 분석과 응용 분야의 확산에는 한계가 있었다. 지표 반사도는 절대 대기 보정 처리 과정을 수행하여 얻어지는 성과물이다. 이 연구에서는 OTB 오픈 소스 확장 프로그램으로부터 KOMPSAT-3A 영상정보의 대기 반사도와 지표 반사도를 구하고, 국제 검보정 포털 RadCalNet에서 제공하는 대기 반사도와 지표 반사도 현장 측정 자료를 이용하여 정확도를 비교 검증하고자 한다. 또한 같은 지역의 Landsat-8 OLI 영상으로부터 지표 반사도를 구하고 비교 검증 실험에 같이 적용하였다. 검증 실험 결과로 KOMPSAT-3A 영상의 대기 반사도는 같은 분광대역에 해당하는 RadCalNet 자료의 평균값과 비교했을 때 0.00에서 1.00까지의 범위에서 최대 ± 0.02 차이가 보이는 것을 확인할 수 있었다. KOMPSAT-3A 영상의 지표 반사도 산출 결과는 RadCalNet 자료와 0.02에서 0.04까지의 차이 값을 갖는 높은 일치도를 보이는 것으로 나타났다. 이 결과들은 KOMPSAT-3A 영상의 분석대기자료(Analysis Ready Data)로서의 활용 가능성을 증가시키는 기본 자료로 사용할 수 있다. 또한 이 연구에서 개발된 도구와 연구 방법은 향후 국토, 농업, 산림 활용을 위한 차세대 중형 위성 영상자료의 각 센서 모델에 맞는 확장 프로그램 개발과 검증에도 적용이 가능할 것으로 생각한다.

Non-Destructive Sorting Techniques for Viable Pepper (Capsicum annuum L.) Seeds Using Fourier Transform Near-Infrared and Raman Spectroscopy

  • Seo, Young-Wook;Ahn, Chi Kook;Lee, Hoonsoo;Park, Eunsoo;Mo, Changyeun;Cho, Byoung-Kwan
    • Journal of Biosystems Engineering
    • /
    • 제41권1호
    • /
    • pp.51-59
    • /
    • 2016
  • Purpose: This study examined the performance of two spectroscopy methods and multivariate classification methods to discriminate viable pepper seeds from their non-viable counterparts. Methods: A classification model for viable seeds was developed using partial least square discrimination analysis (PLS-DA) with Fourier transform near-infrared (FT-NIR) and Raman spectroscopic data in the range of $9080-4150cm^{-1}$ (1400-2400 nm) and $1800-970cm^{-1}$, respectively. The datasets were divided into 70% to calibration and 30% to validation. To reduce noise from the spectra and compare the classification results, preprocessing methods, such as mean, maximum, and range normalization, multivariate scattering correction, standard normal variate, and $1^{st}$ and $2^{nd}$ derivatives with the Savitzky-Golay algorithm were used. Results: The classification accuracies for calibration using FT-NIR and Raman spectroscopy were both 99% with first derivative, whereas the validation accuracies were 90.5% with both multivariate scattering correction and standard normal variate, and 96.4% with the raw data (non-preprocessed data). Conclusions: These results indicate that FT-NIR and Raman spectroscopy are valuable tools for a feasible classification and evaluation of viable pepper seeds by providing useful information based on PLS-DA and the threshold value.

3D Numerical Modelling of Water Flow and Salinity Intrusion in the Vietnamese Mekong Delta

  • Lee, Taeyoon;Nguyen, Van Thinh
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2021년도 학술발표회
    • /
    • pp.207-207
    • /
    • 2021
  • The Vietnamese Mekong Delta(VMD) covers an area of 62,250 km2 in the lowest basin of the Mekong Delta where more than half of the country's total rice production takes place. In 2016, an estimated 1.29 million tonnes of Vietnam's rice were lost to the country's biggest drought in 90 year and particularly in VMD, at least 221,000 hectares of rice paddies were hit by the drought and related saltwater intrusion from the South China Sea. In this study, 3D numerical simulations using Delft3D hydrodynamic models with calibration and validation process were performed to examine flow characteristics, climate change scenarios, water level changes, and salinity concentrations in the nine major estuaries and coastal zones of VMD during the 21st century. The river flows and their interactions with ocean currents were modeled by Delft3D and since the water levels and saltwater intrusion in the area are sensitive to the climate conditions and upstream dam operations, the hydrodynamic models considered discharges from the dams and climate data provided by the Coupled Model Intercomparison Project Phase 6(CMIP6). The models were calibrated and verified using observational water levels, salinity distribution, and climate change data and scenarios. The results agreed well with the observed data during calibration and validation periods. The calibrated models will be used to make predictions about the future salinity intrusion events, focusing on the impacts of sea level rise due to global warming and weather elements.

  • PDF