• The Korean Journal of Applied Statistics
• /
• v.24 no.2
• /
• pp.383-391
• /
• 2011

This paper presents a modified entropy-based test of fit for the inverse Gaussian distribution. The test is based on the entropy difference of the unknown data-generating distribution and the inverse Gaussian distribution. The entropy difference estimator used as the test statistic is obtained by employing Vasicek's sample entropy as an entropy estimator for the data-generating distribution and the uniformly minimum variance unbiased estimator as an entropy estimator for the inverse Gaussian distribution. The critical values of the test statistic empirically determined are provided in a tabular form. Monte Carlo simulations are performed to compare the proposed test with the previous entropy-based test in terms of power.

• The Korean Journal of Applied Statistics
• /
• v.3 no.2
• /
• pp.91-105
• /
• 1990

Several practical prior distributions are derived using the maximum entropy principle. Also, an interactive method for estimating a prior distribution which uses the minimum cross-entropy principle is proposed when there are many prior informations. The consistency of the prior distributions obtained by the entropy principles is discussed.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2012.05a
• /
• pp.783-783
• /
• 2012

본 연구에서는 낙동강 임하댐 유역을 대상으로 엔트로피 이론(혼합분포 적용)과 관측소의 공간적 분포를 동시에 고려하여 강우관측망을 평가하였다. 일반적으로 혼합분포를 이용하는 강우관측망 평가는 연속분포를 이용하는 경우 비해 강우의 시공간적 간헐성을 고려할 수 있다는 장점이 있다. 아울러 유역의 면적평균강우량을 산정시 강우관측소는 균등하게 설치된 경우가 가장 이상적이며, 이를 최근린 지수(Nearest neighbor index)를 이용하여 강우관측소 간에 공간적 분포를 등급화하였다. 최근린 지수는 임의의 점에 가장 가까운 인접 점들 간의 거리 특성을 이용하는 방법으로 점의 분포를 보다 지리적으로 파악할 수 있다. 본 연구에서는 엔트로피의 최대 정보전달량 및 강우관측소의 등급을 동시에 고려하기 위해 유클리디언 거리를 이용하여 2개의 목적함수를 통합하였으며, 이를 MOGA(Multi Objective Genetic Algorithm)를 이용하여 최적관측망을 선정하였다. 그 결과 MOGA를 이용하여 관측망을 평가한 경우 엔트로피 이론만을 적용했을 때보다 최적관측소가 보다 분산됨을 확인하였다.

• Journal of the Korean Data and Information Science Society
• /
• v.24 no.4
• /
• pp.847-856
• /
• 2013

In this paper, we deal with testing goodness-of-fit for normal distribution based on parametric and nonparametric entropy estimators. The minimum variance unbiased estimator for the entropy of the normal distribution is derived as a parametric entropy estimator to be used for the construction of a test statistic. For a nonparametric entropy estimator of a data-generating distribution under the alternative hypothesis sample entropy and its modifications are used. The critical values of the proposed tests are estimated by Monte Carlo simulations and presented in a tabular form. The performance of the proposed tests under some selected alternatives are investigated by means of simulations. The results report that the proposed tests have better power than the previous entropy-based test by Vasicek (1976). In applications, the new tests are expected to be used as a competitive tool for testing normality.

• Journal of the Institute of Electronics and Information Engineers
• /
• v.49 no.9
• /
• pp.67-75
• /
• 2012

Optimal quantizers in conducting the entropy-constrained quantization for high bit rates have the lattice structure. The quantization process is simple due to the regular structure, and various quantization algorithms are proposed depending on the lattice. Such a lattice vector quantizer (VQ) can be implemented by using the sample-adaptive product quantizer (SAPQ) and its output can also be easily entropy encoded. In this paper, the entropy encoding scheme for the lattice VQ is proposed based on SAPQ, and the performance of the proposed lattice VQ, which is based on SAPQ with the entropy coder, is asymptotically compared as the rate increases. It is shown by experiment that the gain for the memoryless Gaussian source also approaches the theoretic gain for the uniform density case.

• Communications for Statistical Applications and Methods
• /
• v.18 no.5
• /
• pp.625-636
• /
• 2011

This paper proposes two parametric entropy estimators, the minimum variance unbiased estimator and the maximum likelihood estimator, for the lognormal distribution for a comparison of the properties of the two estimators. The variances of both estimators are derived. The influence of the bias of the maximum likelihood estimator on estimation is analytically revealed. The distributions of the proposed estimators obtained by the delta approximation method are also presented. Performance comparisons are made with the two estimators. The following observations are made from the results. The MSE efficacy of the minimum variance unbiased estimator appears consistently high and increases rapidly as the sample size and variance, n and ${\sigma}^2$, become simultaneously small. To conclude, the minimum variance unbiased estimator outperforms the maximum likelihood estimator.

• Proceedings of the KAIS Fall Conference
• /
• 2007.05a
• /
• pp.99-103
• /
• 2007

정확하고 신뢰성 높은 유량 자료는 수자원의 정량적인 계획과 관리에 필수적이다. 이를 위하여 Chiu는 기존의 결정론적인 흐름 방향 유속분포식의 한계를 극복할 수 있는 방법으로 확률통계에서 사용되는 엔트로피 개념을 이용한 3차원 유속분포 식을 제안하였고, 이를 실험실 데이터와 자연하천에 적용하여 신뢰성과 정확성을 지속적으로 증명하여 마침내 이에 대한 활용성이 매우 크게 대두되어 Chiu의 유속공식을 적극적으로 사용하고 있는 실정이다. 그러나 지금까지 이론적인 유속 분포식을 검증하기 위하여 단면 형상이 일정한 직사각형이나 사다리꼴 동의 실험수로에서부터 불규칙한 단면 형상을 갖는 자연 하천에 대한 적용을 거의 이루고 있는 실정이나, 하상경사가 변하는 경우에도 엔트로피 파라미터(M)가 이에 대응하여 평형상태에 도달하려고 하는지에 대한 연구는 전무하다. 본 연구에서는 하상경사를 임의로 변경 가능한 실험수로를 선택하여 정밀법에 의한 유속측정을 실시하였다. 같은 지점의 같은 단면에서 하상경사(${\Theta}$)가 0.000935부터 0.025794까지 28번의 경사변화를 주고 각 경사마다 유량을 측정하여 28개의 유량측정 데이터를, Chiu의 엔트로피 유속공식에 적용하여, 평균유속과 최대유속 사이의 관계가 선형관계, 즉 하상경사가 변하는 경우에도 엔트로피 파라미터(M)가 이에 대응하여 평형상태에 도달함을 증명하였다.

• Journal of Korean Society of Coastal and Ocean Engineers
• /
• v.10 no.4
• /
• pp.204-210
• /
• 1998

This paper presents the development of the probability density function applicable for wave heights (peak-to-trough excursions) in finite water depth including shallow water depth. The probability distribution applicable to wave heights of a non-Gaussian random process is derived based on the concept of the maximum entropy method. When wave heights are limited by breaking wave heights (or water depth) and only first and second moments of wave heights are given, the probability density function developed is closed form and expressed in terms of wave parameters such as $H_m$(mean wave height), $H_{rms}$(root-mean-square wave height), $H_b$(breaking wave height). When higher than third moment of wave heights are given, it is necessary to solve the system of nonlinear integral equations numerically using Newton-Raphson method to obtain the parameters of probability density function which is maximizing the entropy function. The probability density function thusly derived agrees very well with the histogram of wave heights in finite water depth obtained during storm. The probability density function of wave heights developed using maximum entropy method appears to be useful in estimating extreme values and statistical properties of wave heights for the design of coastal structures.

• Proceedings of the KAIS Fall Conference
• /
• 2007.11a
• /
• pp.116-119
• /
• 2007

정확하고 신뢰성 높은 유량 자료는 수자원의 정량적인 계획과 관리에 필수적이다. 이를 위하여 Chiu는 기존의 결정론적인 흐름 방향 유속분포식의 한계를 극복할 수 있는 방법으로 확률통계에서 사용되는 엔트로피 개념을 이용한 3차원 유속분포 식을 제안하였고, 이를 실험실 테이터와 자연하천에 적용하여 신뢰성과 정확성을 지속적으로 증명하여, 마침내 이에 대한 활용성이 매우 크게 대두되어 Chiu의 유속공식을 적극적으로 사용하고 있는 실정이다. 그러나 지금까지 이론적인 유속 분포식을 검증하기위하여 단면 형상이 일정한 직사각형이나 사다리꼴 등의 실험수로에서부터 불규칙한 단면 형상을 갖는 자연 하천에 대한 적용을 거의 이루고 있는 실정이나, 하상경사가 변하는 경우에도 엔트로피 파라미터(M)가 이에 대응하여 평형상태에 도달하려고 하는지에 대한 연구는 전무하다. 본 연구에서는 하상경사를 임의로 변경 가능한 실험수로를 선택하여 정밀법에 의한 유속측정을 실시하였다. 같은 지점의 같은 단면에서 하상경사($\theta$)가 0.00069부터 0.019034까지 28번의 경사변화를 주고 각 경사마다 유량을 측정하여 28개의 유량측정 데이타를, Chiu의 엔트로피 유속공식에 적용하여, 평균유속과 최대유속 사이의 관계가 선형관계, 즉 하상경사가 변하는 경우에도 엔트로피 파라미터(M)가 이에 대응하여 평형상태에 도달함을 증명하였다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2002.05b
• /
• pp.1257-1261
• /
• 2002