• 제목/요약/키워드: ROC curve

검색결과 586건 처리시간 0.022초

Optimal thresholds criteria for ROC surfaces

  • Hong, C.S.;Jung, E.S.
    • Journal of the Korean Data and Information Science Society
    • /
    • 제24권6호
    • /
    • pp.1489-1496
    • /
    • 2013
  • Consider the ROC surface which is a generalization of the ROC curve for three-class diagnostic problems. In this work, we propose ve criteria for the three-class ROC surface by extending the Youden index, the sum of sensitivity and specificity, the maximum vertical distance, the amended closest-to-(0,1) and the true rate. It may be concluded that these five criteria can be expressed as a function of two Kolmogorov-Smirnov statistics. A paired optimal thresholds could be obtained simultaneously from the ROC surface. It is found that the paired optimal thresholds selected from the ROC surface are equivalent to the two optimal thresholds found from the two ROC curves.

Test Statistics for Volume under the ROC Surface and Hypervolume under the ROC Manifold

  • Hong, Chong Sun;Cho, Min Ho
    • Communications for Statistical Applications and Methods
    • /
    • 제22권4호
    • /
    • pp.377-387
    • /
    • 2015
  • The area under the ROC curve can be represented by both Mann-Whitney and Wilcoxon rank sum statistics. Consider an ROC surface and manifold equal to three dimensions or more. This paper finds that the volume under the ROC surface (VUS) and the hypervolume under the ROC manifold (HUM) could be derived as functions of both conditional Mann-Whitney statistics and conditional Wilcoxon rank sum statistics. The nullhypothesis equal to three distribution functions or more are identical can be tested using VUS and HUM statistics based on the asymptotic large sample theory of Wilcoxon rank sum statistics. Illustrative examples with three and four random samples show that two approaches give the same VUS and $HUM^4$. The equivalence of several distribution functions is also tested with VUS and $HUM^4$ in terms of conditional Wilcoxon rank sum statistics.

ROC와 CAP 곡선에서의 최적 분류점 (Optimal Threshold from ROC and CAP Curves)

  • 홍종선;최진수
    • 응용통계연구
    • /
    • 제22권5호
    • /
    • pp.911-921
    • /
    • 2009
  • 신용평가 연구에서 부도와 정상차주에 대한 판별력을 평가하는 방법으로 Receiver Operating Characteristic(ROC)와 Cumulative Accuracy Profile(CAP) 곡선을 사용한다. ROC 곡선에서 최적의 분류정확도를 갖는 분류점과 CAP 곡선에서 최대의 이익을 나타내는 분류점은 일반적인 정확도의 개념으로 정의된 동일한 성과를 가진 접선을 사용하여 구한다. 본 연구에서는 정확도의 대안적인 측도로 진실율을 제안하고, 이 진실율을 이용하여 ROC와 CAP 곡선에서 대안적인 최적의 분류점을 구한다. 대부분 실제 차주의 모집단에서 부도차주는 정상차주보다 훨씬 수가 적다. 이러한 경우에 진실율은 정확도보다 비용함수의 측면에서 더욱 효율적일 수 있다. 진실율을 이용하여 최적의 분류정확도를 나타내는 분류점과 최대의 이익을 의미하는 분류점에 대응하는 스코어는 동일하다는 것을 보였으며, 이 스코어는 부도와 정상 차주의 분포함수의 동일성을 검정하는 Kolmogorov-Smirnov 통계량에 대응하는 스코어와도 일치하는 것을 발견하였다.

Selection of markers in the framework of multivariate receiver operating characteristic curve analysis in binary classification

  • Sameera, G;Vishnu, Vardhan R
    • Communications for Statistical Applications and Methods
    • /
    • 제26권2호
    • /
    • pp.79-89
    • /
    • 2019
  • Classification models pertaining to receiver operating characteristic (ROC) curve analysis have been extended from univariate to multivariate setup by linearly combining available multiple markers. One such classification model is the multivariate ROC curve analysis. However, not all markers contribute in a real scenario and may mask the contribution of other markers in classifying the individuals/objects. This paper addresses this issue by developing an algorithm that helps in identifying the important markers that are significant and true contributors. The proposed variable selection framework is supported by real datasets and a simulation study, it is shown to provide insight about the individual marker's significance in providing a classifier rule/linear combination with good extent of classification.

Receiver Operating Characteristic (ROC) Curves Using Neural Network in Classification

  • Lee, Jea-Young;Lee, Yong-Won
    • Journal of the Korean Data and Information Science Society
    • /
    • 제15권4호
    • /
    • pp.911-920
    • /
    • 2004
  • We try receiver operating characteristic(ROC) curves by neural networks of logistic function. The models are shown to arise from model classification for normal (diseased) and abnormal (nondiseased) groups in medical research. A few goodness-of-fit test statistics using normality curves are discussed and the performances using neural networks of logistic function are conducted.

  • PDF

로지스틱 회귀분석과 의사결정나무 분석을 이용한 일 대도시 주민의 우울 예측요인 비교 연구 (Comparative Analysis of Predictors of Depression for Residents in a Metropolitan City using Logistic Regression and Decision Making Tree)

  • 김수진;김보영
    • 한국콘텐츠학회논문지
    • /
    • 제13권12호
    • /
    • pp.829-839
    • /
    • 2013
  • 본 연구는 로지스틱 회귀분석과 의사결정나무 분석을 활용하여 일 대도시 주민의 우울에 영향을 주는 요인을 예측하고 비교하고자 시도된 서술적 조사연구이다. 연구대상은 20세에서 65세 미만의 일 대도시 주민 462명이었다. 자료 수집은 2011년 10월 7일부터 10월 21일까지이었으며, 자료 분석은 SPSS 18.0 프로그램을 이용하여 빈도, 백분율, 평균과 표준편차 및 ${\chi}^2$-test, t-test, 로지스틱 회귀분석, roc curve, 의사결정나무 분석으로 분석하였다. 본 연구 결과, 로지스틱 회귀분석과 의사결정나무 분석에서 공통적으로 나타난 우울 예측요인은 사회부적응, 주관적 신체증상 및 가족 지지이었다. 로지스틱 회귀분석에서 특이도 93.8%, 민감도 42.5%이었고, 본 연구의 모형 적합도를 roc curve 검증 한 결과 AUC=.84으로 본 연구 모형은 적합(p=<.001)하다고 할 수 있다. 우울예측에 대한 의사결정나무 분석은 분류에 대한 예측 정확도에서 특이도 98.3%, 민감도 20.8%이었고, 전체 분류 정확도는 로지스틱 회귀분석은 82.0%, 의사결정나무 분석은 80.5% 이었다. 본 연구 결과 민감성과 분류 정확도와 더 높게 나타난 로지스틱 회귀분석 방법이 지역 주민의 우울 예측 모형을 구축하는데 더 유용한 자료로 사용될 수 있으리라 사료된다.

ROC 분석을 이용한 골격성 III급 부정교합의 수평계측방법간 비교연구 (COMPARATIVE STUDY ON THE HORIZOTAL MEASUREMENTS OF SKELETAL CLASS III MALOCCLUSION USING THE ROC ANALYSIS)

  • 최희영;장영일
    • 대한치과교정학회지
    • /
    • 제25권2호
    • /
    • pp.153-163
    • /
    • 1995
  • 본 연구는 III급 부정 교합을 판별하는데 있어, 수평 부조화의 진단에 이용되는 여러 진단 항목들의 진단학적 효율과 타당성을 ROC analysis로 비교하는데 그 목적이 있다. ROC(Receiver Operating Characteristic) analysis는 연속적으로 변하는 cut-off value에서의 sensitivity와 1-specificity에 의해 그려지는 곡선으로서 진단 방법의 타당성을 결정하고, 여러 진단 방법들을 비교하는 분석법으로 알려져 있다. 부정교합자 496명을 대상으로 측모 두부 X-선 계측사진과 진단모형을 이용하여, 진단모형 계측을 통해 부정교합군을 분류하였으며, 이중 III급 부정 교합자는 245명이었다. 측모 두부 X-선계측사진에서 16개의 계측항목을 선정하였으며, 이 계측항목들과 III급 부정교합의 관계를 알아보고자 각도 계측항목에서는 $1^{\circ}$ 간격으로, 선계측항목에서는 1mm의 간격으로 sensitivity와 specificity를 구해 ROC curve를 그렸다. 그리고, 이 계측항목들의 직접적인 비교를 위해 ROC curve 아래의 면적을 계산해냈다. 결과는 다음과 같다. 1. III급 부정교합을 판별하는데 있어, "Wits" appraisal이 다른 계측 항목에 비해 더 나은 진단 효율을 보였다. 2. AB plane angle, ANB angle, App-Bpp distance, AF-BF distance, APDI, N perpendicular to A 와 Pog to N perpendicular의 차이, maxillomandibular differential도 높은 진단 가치를 보였다. 3. 하악골의 위치를 평가하는 계측항목은 중정도의 진단 효율을 보였다. 4. 상악골에 대한 계측항목은 III급 부정교합의 판별에 대한 진단 가치가 낮았다.

  • PDF

치아 우식증 진단시 필름 방사선사진상과 디지털 방사선영상의 비교:CCD, CMOS, PSP와 film (A comparison of film and 3 digital imaging systems for natural dental caries detection: CCD, CMOS, PSP and film)

  • 한원정
    • Imaging Science in Dentistry
    • /
    • 제34권1호
    • /
    • pp.1-5
    • /
    • 2004
  • Purpose: To evaluate the diagnostic accuracy of occlusal and proximal caries detection using CCD, CMOS, PSP and film system. Materials and Methods : 32 occlusal and 30 proximal tooth surfaces were radiographed under standardized conditions using 3 digital systems; CCD (CDX-2000HQ, Biomedysis Co., Seoul, Korea), CMOS (Schick, Schick Inc., Long Island, USA), PSP (Digora/sup (R)/FMX, Orion Co./Soredex, Helsinki, Finland) and I film system (Kodak Insight, Eastman Kodak, Rochester, USA). 5 observers examined the radiographs for occlusal and proximal caries using a 5-point confidence scale. The presence of caries was validated histologically and radiographically. Diagnostic accuracy was evaluated using ROC curve areas (Az). Results: Analysis using ROC curves revealed the area under each curve which indicated a diagnostic accuracy. For occlusal caries, Kodak Insight film had an Az of 0.765, CCD one of 0.730, CMOS one of 0.742 and PSP one of 0.735. For proximal caries, Kodak Insight film had an Az of 0.833, CCD one of 0.832, CMOS one of 0.828 and PSP one of 0.868. No statistically significant difference was noted between any of the imaging modalities. Conclusion: CCD, CMOS, PSP and film performed equally well in the detection of occlusal and proximal dental caries. CCD, CMOS and PSP-based digital images provided a level of diagnostic performance comparable to Kodak Insight film.

  • PDF

소아중환자를 대상으로 한 PIM Ⅱ의 타당도 평가 (Evaluating the Validity of the Pediatric Index of Mortality Ⅱ in the Intensive Care Units)

  • 김정순;부선주
    • 대한간호학회지
    • /
    • 제35권1호
    • /
    • pp.47-55
    • /
    • 2005
  • Purpose: This study was to evaluate the validity of the Pediatric Index of Mortality Ⅱ(PIM Ⅱ). Method: The first values on PIM Ⅱ variables following ICU admission were collected from the patient's charts of 548 admissions retrospectively in three ICUs(medical, surgical, and neurosurgical) at P University Hospital and a cardiac ICU at D University Hospital in Busan from January 1, 2002 to December 31, 2003. Data was analyzed with the SPSSWIN 10.0 program for the descriptive statistics, correlation coefficient, standardized mortality ratio(SMR), validity index(sensitivity, specificity, positive predictive value, negative predictive value), and AUC of ROC curve. Result: The mortality rate was 10.9% (60 cases) and the predicted death rate was 9.5%. The correlation coefficient(r) between observed and expected death rates was .929(p<.01) and SMR was 1.15. Se, Sp, pPv, nPv, and the correct classification rate were .80, .96, .70, .98, and 94.0% respectively. In addition, areas under the curve (AUC) of the receiver operating characteristic(ROC) was 0.954 (95% CI=0.919~0.989). According to demographic characteristics, mortality was underestimated in the medical group and overestimated in the surgical group. In addition, the AUCs of ROC curve were generally high in all subgroups. Conclusion: The PIM Ⅱ showed a good, so it can be utilized for the subject hospital. better.

선형성장모형에 대한 ROC 곡선과 AUC (ROC curve and AUC for linear growth models)

  • 홍종선;양대순
    • Journal of the Korean Data and Information Science Society
    • /
    • 제26권6호
    • /
    • pp.1367-1375
    • /
    • 2015
  • 경시적자료의 분석으로 선형성장모형을 고려한다. 시간효과를 고려하는 모형과 임의효과를 추가하는 모형 그리고 가변수가 추가된 모형을 설정한다. 본 연구는 정규분포로 가정한 다양한 자료를 생성하고, 다양한 선형성장모형에 대하여 binormal ROC 곡선과 AUC 통계량을 여러 시점에서 구하여 비교 분석하였다. 공분산의 크기가 증가할수록 그리고 시간이 경과할수록 ROC 곡선은 다른 형태로 나타나며 AUC 값은 서서히 증가한다. 반대로 공분산이 작아질수록 시간이 경과함에 따라 AUC의 증가폭이 커진다. 임의효과모형에서 공분산이 양인 경우에 시간이 경과할수록 임의효과모형의 분산이 증가하며 AUC의 증가량은 시간효과모형의 AUC의 증가량보다 작다. 그리고 시간효과모형의 AUC의 증가량보다 임의효과모형의 증가량이 더 크다는 것을 탐색하였다.