• 한국언어정보학회:학술대회논문집
• /
• 한국언어정보학회 1998년도 Language, Information and Computation = Selected Papers from the 12th Pacific Asia Conference on Language, Information and Computation, Singapore
• /
• pp.195-205
• /
• 1998

• Bulletin of the Korean Chemical Society
• /
• 제33권5호
• /
• pp.1527-1535
• /
• 2012

Selection of the most informative molecular descriptors from the original data set is a key step for development of quantitative structure activity/property relationship models. Recently, mutual information (MI) has gained increasing attention in feature selection problems. This paper presents an effective mutual information-based feature selection approach, named mutual information maximization by replacing collinear variables (MIMRCV), for nonlinear quantitative structure-property relationship models. The proposed variable selection method was applied to three different QSPR datasets, soil degradation half-life of 47 organophosphorus pesticides, GC-MS retention times of 85 volatile organic compounds, and water-to-micellar cetyltrimethylammonium bromide partition coefficients of 62 organic compounds.The obtained results revealed that using MIMRCV as feature selection method improves the predictive quality of the developed models compared to conventional MI based variable selection algorithms.

• Communications for Statistical Applications and Methods
• /
• 제16권1호
• /
• pp.143-155
• /
• 2009

Best subset selection procedure based on mutual information (MI) between a set of explanatory variables and a dependent class variable is suggested. Derivation of multivariate MI is based on normal mixtures. Several types of normal mixtures are proposed. Also a best subset selection algorithm is proposed. Four real data sets are employed to demonstrate the efficiency of the proposals.

• 대한원격탐사학회지
• /
• 제27권6호
• /
• pp.693-701
• /
• 2011

Image registration is an essential process to analyze the time series of satellite images for the purpose of image fusion and change detection. The Mutual Information (MI) is commonly used as similarity measure for image registration because of its robustness to noise. Due to the radiometric differences, it is not easy to apply MI to multi-temporal satellite images using directly the pixel intensity. Image features for MI are more abundantly obtained by employing a Gabor filter which varies adaptively with the filter characteristics such as filter size, frequency and orientation for each pixel. In this paper we employed Bidirectional Gabor Filter Energy (BGFE) defined by Gabor filter features and applied the BGFE to similarity measure calculation as an image feature for MI. The experiment results show that the proposed method is more robust than the conventional MI method combined with intensity or gradient magnitude.

• 응용통계연구
• /
• 제21권2호
• /
• pp.301-312
• /
• 2008

상호정보(mutual information: MI)는 설명변수의 목적변수에 대한 예측정도를 나타내는 척도로서, 목적변수에 대한 설명 변수의 중요도 순위를 구하거나 목적 변수를 잘 설명해주는 설명변수의 집합을 구하는 변수선택문제에 유용하게 사용된다. 본 논문에서는 연속형 설명변수와 범주형 목적변수로 구성된 데이터로부터 결합확률분포를 추정하지 않고도 MI 추정량을 구할 수 있는 Sample-spacing 방법에 대한 연구를 수행하였다. 몬테 칼로 모의 실험과 실제데이터에 대한 실험결과, MI 추정을 위해 Sample-spacing 방법을 사용할 때 m = 1을 사용하면 충분히 신뢰할만한 결과를 얻을 수 있다는 것을 알 수 있었다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2009년도 학술발표회 초록집
• /
• pp.1141-1144
• /
• 2009

인공신경망(artificial neural network) 기법은 인간의 두뇌 신경세포의 활동을 모형화한 것으로 오랜 시간동안 발전해 왔으며 여러 분야에서 활용되고 있고 수문분야에서도 인공신경망을 이용한 연구가 활발히 진행되어 왔다. RDAPS와 같은 단기수치예보 자료는 강우의 유무 판단과 같은 정성적인 분석에서 비교적 정확도가 높지만 정확한 강우량의 추정과 같은 정량적인 부분에서는 정확도가 매우 낮으므로 인공신경망 기법과 같은 후처리 기법을 통해서 정확도를 높이게 된다. 인공신경망 기법을 수행할 때, 가장 중요한 것은 입력변수선택(input variable selection)으로 입력 변수의 적절한 선택이 결과값에 큰 영향을 주게 된다. 본 연구에서는 mutual information을 입력 변수 선택 기법으로 채택하여, 인공신경망의 입력변수 선정의 정확도를 알아보고자 한다. Mutual information은 주어진 자료의 엔트로피값을 이용하여 변수들 간의 독립과 종속의 관계를 나타내는 기법으로서, MI값은 '0'에서 '1'의 값을 가지며 '0'에 가까울수록 변수들 간의 관계가 독립적이고 '1'에 가까울수록 종속적인 관계를 나타낸다. 인공신경망의 입력변수선정에 대한 mutual information의 정확도를 알아보기 위해, 기존 입력변수선택 기법과 mutual information을 이용했을 경우의 인공신경망의 처리능력, 정확도를 비교 검토하였다.

• 한국지능시스템학회논문지
• /
• 제17권2호
• /
• pp.220-225
• /
• 2007

본 논문에서는 주요성분분석과 상호정보 추정을 조합한 입력변수선택 기법을 제안하였다. 여기서 주요성분분석은 2차원 통계성에 기반을 둔 기법으로 입력변수 간의 종속성을 빠르게 제거하여 과추정을 방지하기 위함이고, 상호정보의 추정은 적응적 분할을 이용하여 입력변수의 확률밀도함수를 계산함으로써 변수상호간의 종속성을 좀 더 정확하게 측정하기 위함이다. 제안된 기법을 각 500개 샘플의 7개 신호를 가지는 인위적인 문제와 각 55개 샘플의 24개의 신호를 가지는 환경오염신호를 대상으로 각각 실험한 결과, 빠르고 정확한 변수의 선택이 이루어짐을 확인하였다. 또한 주요성분분석을 수행하지 않을 때와 정규분할의 상호정보 추정 때보다 제안된 방법은 각각 우수한 선택성능이 있음을 확인하였다.

• 한국지능시스템학회논문지
• /
• 제16권5호
• /
• pp.525-530
• /
• 2006

본 논문에서는 고정점 알고리즘의 독립성분분석과 적응분할의 상호정보 추정을 조합한 입력변수선택 기법을 제안하였다. 여기서 고정점 알고리즘의 독립성분분석은 할선법에 기반을 둔 방법으로 입력변수 간의 독립성을 빠르게 찾기 위함이고, 적응분할의 상호정보 추정은 입력변수의 확률밀도함수 계산에서 동일한 량의 샘플분할을 가능하게 하여 변수상호간의 종속성을 좀 더 정확하게 구하기 위함이다. 제안된 기법을 인위적으로 제시된 각 500개의 샘플을 가지는 7개의 신호와 특정지역을 대상으로 측정된 각 55개의 샘플을 가진 24개의 환경오염신호를 대상으로 실험한 결과, 빠르고 정확한 변수의 선택이 이루어짐을 확인하였다. 또한 할선법의 고정점 알고리즘 독립성분분석을 수행하지 않을 때와 정규분할의 상호정보 추정 때보다 각각 우수한 선택성능이 있음을 확인하였다.

• Communications for Statistical Applications and Methods
• /
• 제15권6호
• /
• pp.977-991
• /
• 2008

본 논문에서는 연속형 변수에 대한 결합확률분포를 추정하지 않고도 상호정보(MI) 추정량을 구할 수 있는 k-최근접이웃 기반방법에 대하여 연구하였다. 변수가 동일한 값들을 가지는 경우 k-최근접이웃을 구할 때 생기는 문제점을 해결하기 위하여 지터링(jittering)과 붓스트랩(bootstrap) 방법을 제안하였다. 몬테칼로 모의실험과 실제 데이터에 대한 실험을 수행한 결과, k=1과 같이 작은 값을 사용한 k-최근접이웃 기반방법에 의해 효율적인 MI 추정량을 구할 수 있었다. k-최근접이웃 기반방법은 연속형 설명변수, 범주형 또는 연속형인 목적변수 형태의 데이터에 적용할 수 있으며, 목적변수에 영향을 주는 중요한 설명변수의 순서를 구할 수 있을 뿐만 아니라 다차원에도 적용할 수 있기 때문에 중요변수의 집합을 구하는 변수 선택(feature subset selection) 문제에도 적용할 수 있다.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제13권1호
• /
• pp.73-82
• /
• 2013

In pattern classification, feature selection is an important factor in the performance of classifiers. In particular, when classifying a large number of features or variables, the accuracy and computational time of the classifier can be improved by using the relevant feature subset to remove the irrelevant, redundant, or noisy data. The proposed method consists of two parts: a wrapper part with an improved genetic algorithm(GA) using a new reproduction method and a filter part using mutual information. We also considered feature selection methods based on mutual information(MI) to improve computational complexity. Experimental results show that this method can achieve better performance in pattern recognition problems than other conventional solutions.