The Journal of the Korea institute of electronic communication sciences (한국전자통신학회논문지)

Korea Institute of Electronic Communication Science (한국전자통신학회)
권호 표지

Comparison of confidence intervals for testing probabilities of a system

시스템의 확률 값 시험을 위한 신뢰구간 비교 분석

  • Received : 2010.08.31
  • Accepted : 2010.10.15
  • Published : 2010.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

When testing systems that incorporate probabilistic behavior, it is necessary to apply test inputs a number of times in order to give a test verdict. Interval estimation can be used to assert the correctness of probabilities where the selection of confidence interval is one of the important issues for quality of testing. The Wald interval has been widely accepted for interval estimation. In this paper, we compare the Wald interval and the Agresti-Coull interval for various sizes of samples. The comparison is carried out based on the test pass probability of correct implementations and the test fail probability of incorrect implementations when these confidence intervals are used for probability testing. We consider two-sided confidence intervals to check if the probability is close to a given value. Also one-sided confidence intervals are considered in the comparison in order to check if the probability is not less than a given value. When testing probabilities using two-sided confidence intervals, we recommend the Agresti-Coull interval. For one-sided confidence intervals, the Agresti-Coull interval is recommended when the size of samples is large while either one of two confidence intervals can be used for small size samples.

확률적 특성을 가지는 시스템의 시험을 위해서는 시험 입력을 일정 횟수만큼 반복하여 제공하고 관찰된 데이터를 기반으로 판정이 내려져야 한다. 구간 추정 기법을 이용하여 관찰된 데이터로부터 확률 값이 올바른지 여부를 판단할 수 있으며, 이 때 적절한 신뢰구간의 선택은 시험의 품질을 결정하는 중요한 요인이 된다. 본 논문에서는 다양한 크기의 표본에 대해 대표적인 구간 추정 기법인 Wald 신뢰구간과 Agresti-Coull 신뢰구간을 비교 분석한다. 각 신뢰구간이 확률 값 시험에 사용되었을 경우 올바른 구현 제품이 시험을 통과할 확률과 잘못된 구현제품이 시험을 통과하지 못할 확률을 기반으로 비교 분석을 수행하며, 확률 값이 올바른지를 판단하기 위한 양측검정뿐만 아니라 확률 값이 기준 확률 이상인지 여부를 판단하기 위한 단측검정을 사용하는 경우에 대해서도 비교 분석을 수행한다. 비교 분석 결과 양측검정의 경우 Agresti-Coull 신뢰구간을 사용할 것을 추천하며, 단측검정의 경우 큰 크기의 표본에 대해서는 Agresti-Coull 신뢰구간을, 적은 크기의 표본에 대해서는 Wald 신뢰구간 또는 Agresti-Coull 신뢰구간을 선택적으로 사용할 것을 추천한다.

Keywords

References

  1. O. Markowitch, Y. Roggeman. Probabilistic non-repudiation without trusted third party. Second Conference on Security in Communication Networks 1999, Amalfi, Italy.
  2. S.M. Ross, Introduction to Probability and Statistics for Engineers and Scientists, Johns Wilely & Sons, New York, 1987.
  3. L. D. Brown, T. T. Cai, A. DasGupta. "Interval Estimation for a Binomial Proportion," Statistical Science, Vol. 16, No. 2, pp. 101-117, 2001.
  4. T. T. Cai, "One-sided confidence intervals in discrete distributions", Journal of Statistical Planning and Inference, Vol. 131, No. 1, pp. 63-88, 2005. https://doi.org/10.1016/j.jspi.2004.01.005
  5. A. Agresti, B. Coull, "Approximate is better than 'exact' for interval estimation of binomial proportions", The American Statistician, Vol. 52, No. 2, pp. 119-126, 1998. https://doi.org/10.2307/2685469
  6. 류제복, "이항신뢰구간에 대한 소고", 한국통계 학회논문집, 제16권 제5호, pp. 731-743, 2009.
  7. Iksoon Hwang, Ana Cavalli, Testing a probabilistic FSM using interval estimation, Computer Networks, Vol. 54, No. 7 pp. 1108-1125, 2010. https://doi.org/10.1016/j.comnet.2009.10.014
  8. 황익순, 박재성, "구간 추정 기법을 이용한 이 동통신 시스템의 통화 성공률 시험 방법", Technical report, 수원대학교, 2010.
  9. 방송통신위원회 이용자보호국, 2009년도 통신서비스 품질 평가 결과, 2010. URL http://www.wiseuser.go.kr/quality/main.do