Abstract
In genomic studies, thousands of features are collected on relatively few samples. One of the goals of these studies is to build classifiers to predict the outcome of future observations. There are three inherent steps to build classifiers: a significant gene selection, model selection and prediction assessment. In the paper, with a focus on prediction assessment, we normalize microarray data with quantile-normalization methods that adjust quartile of all slide equally and then design a system comparing several methods to estimate 'true' prediction error of a prediction model in the presence of feature selection and compare and analyze a prediction error of them. LOOCV generally performs very well with small MSE and bias, the split sample method and 2-fold CV perform with small sample size very pooly. For computationally burdensome analyses, 10-fold CV may be preferable to LOOCV.
게놈 연구에서 수천 개의 특징들은 비교적 작은 샘플들로부터 모아진다. 게놈 연구의 목적은 미래 관찰들의 결과를 예측하는 분류기를 만드는 것이다. 분류기를 만들기 위해서는 특징 선택, 모델 선택 그리고 예측 평가 등의 3단계 과정을 거친다. 본 논문은 예측 평가에 초점을 맞추고 모든 슬라이드의 사분위수를 똑같게 맞추는 quantilenormalization 적용하여 마이크로어레이 데이터를 표준화 한 후 특징 선택에 앞서 예측 모델의 '진짜' 예측 에러를 평가하기 위해 몇 개의 방법들을 비교하는 시스템을 고안하고 방법들의 예측 에러를 비교 분석 하였다. LOOCV는 전체적으로 작은 MSE와 bias를 나타내었고, 크기가 작은 샘플에서 split 방법과 2-fold CV는 매우 좋지 않는 결과를 보였다. 계산적으로 번거로운 분석에 대해서는 10-fold CV가 LOOCV보다 오히려 더 낳은 경향을 보였다.
