• 제목/요약/키워드: ROC analysis

검색결과 548건 처리시간 0.025초

정량적 평가 지표를 활용한 호우피해 예측지도의 정확도 판단기준 설정 (Establishment of Accuracy Criteria of Flood Inundation Map Using Quantitative Evaluation Indices)

  • 이진영;김동균;박경운;김태웅
    • 대한토목학회논문집
    • /
    • 제39권3호
    • /
    • pp.381-389
    • /
    • 2019
  • 최근 빈번히 발생하는 이상기후의 영향으로 홍수범람 가능성이 커짐에 따라 침수범위에 대한 예측은 점점 어려워지고 있다. 이러한 홍수에 대비하기 위한 비구조적 대책 중의 하나인 호우피해 예측지도의 작성은 필수적이며 홍수범람 해석에서 중요한 부분을 차지한다. 하지만, 호우피해 예측지도의 정량적 평가방법과 기준이 없는 실정이다. 본 연구에서는 Receiver Operation Characteristics (ROC) 분석과 Lee Sallee Shape Index (LSSI) 방법을 이용하여 10개 행정구역에 대한 호우피해 예측지도의 정확도를 평가하였다. 그 결과 ROC Curve Score는 0.631, LSSI 방법은 25.16 %로 분석되었으며, 각 행정구역에 대한 분석결과와 전체 결과를 활용하여 점수구간을 5개로 나누어 호우피해 예측지도 평가에 대한 정량적 평가방법을 제안하였다. 또한, 검 보정이 완료된 XP-SWMM 모형의 ROC 분석과 LSSI 결과, 각각 0.8496, 51.92 %로 분석되어 침수피해 예측지도에 대한 평가기준의 적정성을 확보하였다. 본 연구에서 제안한 호우피해 예측지도에 대한 정략적인 평가기준은 다양한 재해지도에 적용 가능할 것으로 판단된다.

디지털 흉부 방사선 영상에서 Hybrid Filter와 Inverse Filter를 적용한 종양의 검출능 평가 (Evaluation of Cancer Detection Efficiency by Means of Hybrid and Inverse Filter in Chest Radiography)

  • 김윤영;김태영;김현지;박민석;김정민
    • 대한방사선기술학회지:방사선기술과학
    • /
    • 제36권4호
    • /
    • pp.319-326
    • /
    • 2013
  • 본 연구에서는, 흉부단순사진에 있어서 종양그림자의 검출에 대한 흑백 Inverse image과 Hybrid image의 유용성을 ROC해석으로 검토하였다. 증례의 선택은 일본방사선기술학회가 발행한 표준 Digital 영상 Date Base로부터 30장을 선택 하여 original image로 하였다. c언어를 통해 Inverse image는 60장, Hybrid image는 30장 제작하였다. 실험방법으로 연속 판독실험을 하였고, ROC실험 display program은 Matlap을 통하여 작성하였다. 관찰자의 수는 Inverse image의 경우 방사선사 5명과 방사선의 2명, 합계 7명으로 실험하였다. Hybrid 영상의 경우, 방사선 전공자 3명과 숙련된 방사선사 2명, 합계 5명으로 실험하였다. ROC곡선은 Metz가 작성한 ROCKIT Program을 이용하여 구하였다. Inverse image의 경우 관찰자 7명 전원, 방사선과의 2명, 방사선사 5명의 평균 ROC곡선의 Az는 각각 original image의 0.742, 0.793, 0.721에서, Inverse image의 0.775, 0.821, 0.753까지로, 통계적 유의차로 증가하였다. Hybrid image의 경우 관찰자 5명 전원, 숙련된 방사선사 2명, 방사선학 전공자 3명의 평균 ROC곡선의 Az는 각각 original image의 0.525, 0.491, 0.5478에서, Hybrid 영상의 0.4868, 0.539, 0.450로 변화 하였다. 결론적으로, 흉부단순사진에서 종양의 검출에 관하여, Inverse image은 유의하지만, Hybrid 영상의 경우 유의한 차이가 나타나지 않았다.

Receiver Operating Characteristic Curve Analysis of SEER Medulloblastoma and Primitive Neuroectodermal Tumor (PNET) Outcome Data: Identification and Optimization of Predictive Models

  • Cheung, Min Rex
    • Asian Pacific Journal of Cancer Prevention
    • /
    • 제15권16호
    • /
    • pp.6781-6785
    • /
    • 2014
  • Purpose: This study used receiver operating characteristic curves to analyze Surveillance, Epidemiology and End Results (SEER) medulloblastoma (MB) and primitive neuroectodermal tumor (PNET) outcome data. The aim of this study was to identify and optimize predictive outcome models. Materials and Methods: Patients diagnosed from 1973 to 2009 were selected for analysis of socio-economic, staging and treatment factors available in the SEER database for MB and PNET. For the risk modeling, each factor was fitted by a generalized linear model to predict the outcome (brain cancer specific death, yes/no). The area under the receiver operating characteristic curve (ROC) was computed. Similar strata were combined to construct the most parsimonious models. A Monte Carlo algorithm was used to estimate the modeling errors. Results: There were 3,702 patients included in this study. The mean follow up time (S.D.) was 73.7 (86.2) months. Some 40% of the patients were female and the mean (S.D.) age was 16.5 (16.6) years. There were more adult MB/PNET patients listed from SEER data than pediatric and young adult patients. Only 12% of patients were staged. The SEER staging has the highest ROC (S.D.) area of 0.55 (0.05) among the factors tested. We simplified the 3-layered risk levels (local, regional, distant) to a simpler non-metastatic (I and II) versus metastatic (III) model. The ROC area (S.D.) of the 2-tiered model was 0.57 (0.04). Conclusions: ROC analysis optimized the most predictive SEER staging model. The high under staging rate may have prevented patients from selecting definitive radiotherapy after surgery.

MLP ANN 가뭄 예측 모형에 대한 ROC 평가 (ROC evaluation for MLP ANN drought forecasting model)

  • 정민수;김종석;장호원;이주헌
    • 한국수자원학회논문집
    • /
    • 제49권10호
    • /
    • pp.877-885
    • /
    • 2016
  • 본 연구에서는 기상학적 가뭄지수인 표준강수지수(Standardized Precipitation Index, SPI)를 이용하여 우리나라 전역에 대한 가뭄예측의 시공간적인 평가를 수행하였다. 또한 다층 퍼셉트론 인공신경망(Multi Layer Perceptron-Artificial Neural Network, MLP-ANN) 예측 기법을 이용하여 SPI(3), (6)에 대한 선행예보시간별 가뭄 예측을 실시하였다. 입력 자료는 기상청 산하의 59개 관측소에서 관측된 기상자료를 활용하였고, 관측자료 기간은 1976~2015년이다. 예측 모델의 성능평가는 기준점(Threshold)에 따른 가뭄 발생유무와 같은 이진분류 혼동행렬을 구성하여 Receiver Operating Characteristics (ROC) score와 조건부 확률에 따른 F score를 산정하여 예측 성능평가를 수행하였다. 예측성능에 대한 ROC 분석결과 다층 퍼셉트론 인공신경망(MLP-ANN) 모형을 적용한 가뭄예측성능이 매우 우수한 것으로 나타났으며, SPI (3)은 2개월, SPI (6)는 5개월 정도의 선행예측이 충분히 가능한 것으로 나타났다.

간스캔의 ROC분석에 의한 진단적 평가 (ROC Analysis of Diagnostie Performance in Liver Scan)

  • 이명철;문대혁;고창순;송본철;관야지남
    • 대한핵의학회지
    • /
    • 제22권1호
    • /
    • pp.39-45
    • /
    • 1988
  • To evaluate diagnostic accuracy of liver scintigraphy we analysed liver scans of 143 normal and 258 patients with various liver diseases. Three ROC curves for SOL, liver cirrhosis and diffuse liver disease were fitted using rating methods and areas under the ROC curves and their standard errors were calculated by the trapezoidal rule and the variance of the Wilcoxon statistic suggested by McNeil. We compared these results with that of National Institute of Radiological Science in Japan. 1) The sensitivity of liver scintigraphy was 74.2% in SOL, 71.8% in liver cirrhosis and 34.0% in diffuse liver disease. The specificity was 96.0% in SOL, 94.2% in liver cirrhosis and 87.6% in diffuse liver diasease. 2) ROC curves of SOL and liver cirrhosis approached the upper left-hand corner closer than that of diffuse liver disease. Area (${\pm}$ standard error). under the ROC curve was $0.868{\pm}0.024$ in SOL and $0.867{\pm}0.028$ in liver cirrhosis. These were significantly higher than $0.658{\pm}0.043$ in diffuse liver disease. 3) There was no interobserver difference in terms of ROC curves. But low sensitivty and high specificity of authors' SOL diagnosis suggested we used more strict decision threshold.

  • PDF

Optimization of Predictors of Ewing Sarcoma Cause-specific Survival: A Population Study

  • Cheung, Min Rex
    • Asian Pacific Journal of Cancer Prevention
    • /
    • 제15권10호
    • /
    • pp.4143-4145
    • /
    • 2014
  • Background: This study used receiver operating characteristic curve to analyze Surveillance, Epidemiology and End Results (SEER) Ewing sarcoma (ES) outcome data. The aim of this study was to identify and optimize ES-specific survival prediction models and sources of survival disparities. Materials and Methods: This study analyzed socio-economic, staging and treatment factors available in the SEER database for ES. 1844 patients diagnosed between 1973-2009 were used for this study. For the risk modeling, each factor was fitted by a Generalized Linear Model to predict the outcome (bone and joint specific death, yes/no). The area under the receiver operating characteristic curve (ROC) was computed. Similar strata were combined to construct the most parsimonious models. Results: The mean follow up time (S.D.) was 74.48 (89.66) months. 36% of the patients were female. The mean (S.D.) age was 18.7 (12) years. The SEER staging has the highest ROC (S.D.) area of 0.616 (0.032) among the factors tested. We simplified the 4-layered risk levels (local, regional, distant, un-staged) to a simpler non-metastatic (I and II) versus metastatic (III) versus un-staged model. The ROC area (S.D.) of the 3-tiered model was 0.612 (0.008). Several other biologic factors were also predictive of ES-specific survival, but not the socio-economic factors tested here. Conclusions: ROC analysis measured and optimized the performance of ES survival prediction models. Optimized models will provide a more efficient way to stratify patients for clinical trials.

Determination of cut-off value by receiver operating characteristic curve of norquetiapine and 9-hydroxyrisperidone concentrations in urine measured by LC-MS/MS

  • Kim, Seon Yeong;Shin, Dong Won;Kim, Jin Young
    • 분석과학
    • /
    • 제34권2호
    • /
    • pp.78-86
    • /
    • 2021
  • The objective of this study was to investigate urinary cut-off concentrations of quetiapine and risperidone for distinction between normal and abnormal/non-takers who were being placed on probation. Liquid chromatography-tandem mass spectrometric (LC-MS/MS) method was employed for determination of antipsychotic drugs in urine from mentally disordered probationers. The optimal cut-off values of antipsychotic drugs were calculated using receiver operating characteristic (ROC) curve analysis. The sensitivity and specificity of the method for the detection of antipsychotic drugs in urine were subsequently evaluated. The area under the ROC curve (AUC) was 0.927 for norquetiapine and 0.791 for 9-hydroxyrisperidone, respectively. These antipsychotic drugs are classified readily in the ROC curve analysis. The cut-off values for distinguishing regular and irregular/non-takers were 39.1 ng/mL for norquetiapine and 67.9 ng/mL for 9-hydroxyrisperidone, respectively. The results of this study suggest the cut-off values of quetiapine and risperidone were highly useful to distinguish regular takers from irregular/non-takers.

차세대 주력전차의 개념설계를 위한 동시공학의 적용 (Application of Concurrent Engineering for Conceptual design of a Future Main Battle Tank)

  • 김진우;소한균
    • 한국군사과학기술학회지
    • /
    • 제2권1호
    • /
    • pp.38-60
    • /
    • 1999
  • The main objective of this study is systemization of the technique of ROC quantification and optimization of baseline design by applying CE principle to the acquisition process of a weapon system. QFD and TOA techniques can be employed to a good working example of the conceptual design of a future main battle tank. In this paper, Product Planning Phase, the first phase of four QFD phases, is deployed in terms of eight steps including customer requirements and final product control characteristics. TOA is carried out considering only combat weight. In order to perform combat weight analysis and performance TOA, Preliminary Configuration Synthesis Methodology is used. Preliminary Configuration Synthesis Methodology employs the method of least squares and described linear equations of weight interrelation equation for each component of tank. As a result of QFD based upon the ROC, it was cleared that armor piercing power, main armament, type of ammunition, cruising range, combat weight, armor protection, power loading, threat detection and cost are primary factors influencing design and that combat weight is the most dominant one. The results of TOA based on the combat weight constraint show that 5100 lb reduction was required to satisfy the ROC. The baseline design of a future main battle tank is illustrated with assumption that all phases of QFD are employed to development and production process of subsystems, components, and parts of main battle tank. TOA is applied in iterative process between initial baseline design and ROC. The detailed design of each component is illustrated for a future main battle tank.

  • PDF

뇌경색 감별진단을 위한 컴퓨터보조진단 응용: Brain CT Images 적용 (Computer Aided Diagnosis Applications for the Differential Diagnosis of Infarction: Apply on Brain CT Image)

  • 박형후;조문주;임인철;이진수
    • 한국방사선학회논문지
    • /
    • 제10권8호
    • /
    • pp.645-652
    • /
    • 2016
  • 본 연구는 통계적 속성에 기반한 질감특징값 분석을 바탕으로 뇌 전산화단층촬영 영상에서 정상과 뇌경색의 컴퓨터보조진단의 적용 가능성을 알아보고자 하였다. 실험은 질감특징값을 나타내는 6개의 파라미터를 이용한 질환인식률 평가와 ROC curve를 분석하였다. 그 결과 평균밝기 88%, 대조도 92%, 평탄도 94%, 균일도 88%, 엔트로피 84%의 높은 질환인식률을 나타내었다. 하지만 왜곡도의 경우 58%로 다소 낮은 질환 인식률을 나타내었다. ROC curve를 이용한 분석에서 각 파라미터의 곡선아래면적이 0.886(p=0.0001)이상을 나타내어 질환인식에 의미가 있는 결과로 나타났다. 또한 각 파라미터의 cut-off값 결정으로 컴퓨터보조진단을 통한 질환예측이 가능할 것으로 판단된다.

'저비용 고효율'의 무기체계 개발을 위한 군 작전요구성능 관리절차 개선 방안 (A Management Procedure of Required Operational Capability for 'Low-cost and High-efficiency' Weapon Systems Development)

  • 이옥규;강석중
    • 한국통신학회논문지
    • /
    • 제37권1C호
    • /
    • pp.109-117
    • /
    • 2012
  • 최근 70여 년간의 주요 전쟁을 통해 본 무기체계의 핵심적 변화중 하나는 IT 활용을 통한 무기체계의 복합화 및 첨단화라 할 수 있다. 이러한 무기체계의 복합화 및 첨단화 추세는 IT의 효과적인 활용, 전력화 기간 단축, 복합 첨단 무기체계에 대한 명확한 운용개념(Operational Concept) 수립, 작전요구성능(ROC : Required Operational Capability) 관리 등을 포함하여 무기체계 개발 절차 전반에 대한 혁신적인 개선을 요구하고 있다. 특히, 새로운 무기체계에 대한 명확한 운용개념 수렴과 이를 근간으로 도출된 작전요구성능에 대한 체계적인 관리는 '저비용 고효율'의 무기체계 개발, 나아가 성공적인 군사력 건설을 위한 핵심 선결 과제라 할 수 있다. 본 논문에서는 한국군의 현 작전요구성능 관리절차 분석을 통해 요구공학 (Requirements Engineering) 개념에서의 요구사항 도출(Elicitation) 및 분석(Analysis)과 요구사항 확인(Validation)측면을 고려한 개선 방안을 제안 한다.