• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제8권1호
• /
• pp.1-5
• /
• 2008

Generally the analytical tools of data mining have two learning types which are supervised and unsupervised learning algorithms. Classification and prediction are main analysis tools for supervised learning. In this paper, we perform a comparison study of classification algorithms in data mining. We make comparative studies between popular classification algorithms which are LDA, QDA, kernel method, K-nearest neighbor, naive Bayesian, SVM, and CART. Also, we use almost all classification data sets of UCI machine learning repository for our experiments. According to our results, we are able to select proper algorithms for given classification data sets.

• Journal of Information Processing Systems
• /
• 제11권3호
• /
• pp.421-437
• /
• 2015

This paper aims to present a supervised classification algorithm based on data fusion for the segmentation of the textured images. The feature extraction method we used is based on discrete wavelet transform (DWT). In the segmentation stage, the estimated feature vector of each pixel is sent to the support vector machine (SVM) classifier for initial labeling. To obtain a more accurate segmentation result, two strategies based on information fusion were used. We first integrated decision-level fusion strategies by combining decisions made by the SVM classifier within a sliding window. In the second strategy, the fuzzy set theory and rules based on probability theory were used to combine the scores obtained by SVM over a sliding window. Finally, the performance of the proposed segmentation algorithm was demonstrated on a variety of synthetic and real images and showed that the proposed data fusion method improved the classification accuracy compared to applying a SVM classifier. The results revealed that the overall accuracies of SVM classification of textured images is 88%, while our fusion methodology obtained an accuracy of up to 96%, depending on the size of the data base.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제13권3호
• /
• pp.186-199
• /
• 2013

We pose pattern classification as a density estimation problem where we consider mixtures of generative models under partially labeled data setups. Unlike traditional approaches that estimate density everywhere in data space, we focus on the density along the decision boundary that can yield more discriminative models with superior classification performance. We extend our earlier work on the recursive estimation method for discriminative mixture models to semi-supervised learning setups where some of the data points lack class labels. Our model exploits the mixture structure in the functional gradient framework: it searches for the base mixture component model in a greedy fashion, maximizing the conditional class likelihoods for the labeled data and at the same time minimizing the uncertainty of class label prediction for unlabeled data points. The objective can be effectively imposed as individual mixture component learning on weighted data, hence our mixture learning typically becomes highly efficient for popular base generative models like Gaussians or hidden Markov models. Moreover, apart from the expectation-maximization algorithm, the proposed recursive estimation has several advantages including the lack of need for a pre-determined mixture order and robustness to the choice of initial parameters. We demonstrate the benefits of the proposed approach on a comprehensive set of evaluations consisting of diverse time-series classification problems in semi-supervised scenarios.

• 한국지능시스템학회논문지
• /
• 제16권5호
• /
• pp.642-646
• /
• 2006

퍼지 TAM 네트워크는 입력층, 카테고리층, 출력층으로 구성되어 있는 패턴분석의 감독학습방법이다. 그러나 퍼지 TAM 네트워크 모델에서 패턴분석 하고자 하는 대상의 출력층의 목표값을 모르는 경우에는 무감독 학습방법이 된다. 이러한 경우에는 무감독 학습방법인 SOM을 이용하여 출력층의 목표값을 구하여 대체할 수 있다. 본 논문에서는 SOM의 결과를 퍼지 TAM 네트워크에 적용하고 사례연구를 통하여 그 유용성을 보인다.

• 한국지능시스템학회논문지
• /
• 제18권1호
• /
• pp.32-40
• /
• 2008

데이터 속성 값이 연속적이고 애매할 때 퍼지 규칙으로 분류규칙을 표현하는 것은 매우 유용하면서도 효과적이다. 그러나 효과적인 퍼지 분류규칙을 생성하기 위한 소속함수를 결정하기는 어렵다. 본 논문에서는 진화알고리즘을 이용하여 효과적인 퍼지 분류규칙을 자동으로 생성하는 방법을 제안한다. 제안한 방법은 지도 군집화로 클래스 분포에 따라 초기 소속함수를 생성하고, 정확하고 간결한 규칙을 생성할 수 있도록 초기 소속함수를 진화시키는 방법이다. 또한 진화알고리즘의 시간에 대한 효율성을 높이기 위한 방법으로 데이터 분할 평가 진화 방법을 제안한다. 데이터 분할 평가 진화 방법은 전체 학습 데이터를 여러 개의 부분 학습 데이터들로 나누고 개체는 전체 학습 데이터 대신 부분 학습 데이터를 임의로 선택하여 평가하는 방법이다. UCI 벤치마크 데이터로 기존 방법과 비교 실험을 통해 평균적으로 제안한 방법이 효과적임을 보였다. 또한 KDD'99 Cup의 침입탐지 데이터에서 KDD'99 Cup 우승자에 비해 1.54% 향상된 인식률과 20.8% 절감된 탐지비용을 보였고 데이터 분할 평가 진화 방법으로 개체평가 시간을 약 70% 감소시켰다.

• KIEE International Transaction on Systems and Control
• /
• 제2D권2호
• /
• pp.125-134
• /
• 2002

This paper proposes a method for identifying temporal pattern clusters to predict events in time series. Instead of predicting future values of the time series, the proposed method forecasts specific events that may be arbitrarily defined by the user. The prediction is defined by an event characterization function, which is the target of prediction. The events are predicted when the time series belong to temporal pattern clusters. To identify the optimal temporal pattern clusters, fuzzy goal programming is formulated to combine multiple objectives and solved by an adaptive differential evolution technique that can overcome the sensitivity problem of control parameters in conventional differential evolution. To evaluate the prediction method, five test examples are considered. The adaptive differential evolution is also tested for twelve optimization problems.

• 대한원격탐사학회지
• /
• 제15권1호
• /
• pp.39-50
• /
• 1999

위성에서 관측된 다 대역 위성영상 데이터를 이용목적에 따라 분류하기 위해서는 복잡한 처리과정과 많은 시간을 필요로 하며, 감독분류시 훈련 데이터의 선택과 고려되는 다양한 특징 값들은 분류 정확도를 좌우할 만큼 민감한 특성을 나타내고 있다. 따라서 본 논문에서는 훈련데이터의 선택과 다양한 특징 값들 중 실제 영상분류에 기여도가 높은 특징을 추출하기 위하여 퍼지 기반의 $\gamma$모델을 이용한 분류네트웍을 구성하였다. 훈련집합 선택시 분류하고자 하는 지역의 밝기 분포도, 텍스쳐 특징 그리고 NDVI(Normalized Difference Vegetation Index)를 분류에 사용될 특징으로 선택하였고, 분류네트웍 출력 값의 오류가 최소화 되도록 Gradient Desoent 방법을 이용하여 각 노드의 $\gamma$파라미터를 훈련시키는 과정을 채택하였다. 이러한 훈련을 통하여 얻어진 파라미터를 이용하면 각 노드의 연결특성을 알 수 있으며, 다양한 입력 노드의 특징들 중 영상분류에 기여도가 적은 특징들을 추출하여 제거할 수 있다.

• 한국지리정보학회지
• /
• 제6권3호
• /
• pp.107-116
• /
• 2003

이 연구는 기존의 분광특성에 의한 영상분류방법들이 고해상도 위성영상에 어느 정도 적절한지 알아보는데 목적이 있다. 이를 위하여 매개변수법과 비매개변수법을 혼합한 감독분류, 퍼지이론을 적용한 감독분류 그리고 무감독분류방법을 각각 적용하여 토지피복분류를 실시하고 각 방법들의 적용결과를 서로 비교하였다. 또한 육안판독과 분광특성을 이용한 영상분류 결과를 서로 비교하여 각 방법 간 토지피복분류의 결과를 비교 분석하였다. 실증연구 결과, 고해상도 위성영상은 반사값의 복잡성, 그림자의 영향 등으로 인하여 노이즈 현상이 심하게 발생하였다. 이러한 고해상도 위성영상은 무감독분류보다는 감독분류가 더 적절한 분석방법이며, 특히 퍼지이론을 적용한 감독분류방법이 가장 우수한 것으로 나타났다. 그러나 토지피복분류결과의 전체 정확도가 76% 정도에 불과해 토지피복분류결과의 신뢰성이 낮았다. 또한 육안판독과 영상분류 결과를 서로 비교한 바 뚜렷한 경계와 넓은 면적을 갖는 농경지 등의 항목은 일치도가 높은 반면 산발적으로 분포해 있는 초지 등의 항목은 일치도가 낮게 나타났다. 영상분류와 육안판독 간의 일치도는 79%로 나타났다.

• 융합신호처리학회논문지
• /
• 제8권3호
• /
• pp.185-191
• /
• 2007

윈격탐사 영상은 파장대에 따라 나누어진 여러 개의 밴드로부터 수집된 다중분광 이미지 데이터이다. 위성영상 분류는 원격탐사 처리 과정에 있어서 가장 중요한 분석 기법으로써 영상을 구성하는 각각의 화소들 중 비슷한 분광 특성을 갖는 것끼리 집단화시켜주는 방법이다. 본 논문에서는 PFCM 알고리즘을 응용한 원격탐사 영상의 패턴분류 방법에 관하여 연구하였다. PFCM 알고리즘은 각 데이터와 특정 클러스터 중심과의 거리에 대한 소속정도를 고려한 FCM 클러스터링 알고리즘과 데이터와 해당 클러스터 중심과의 거리에 의존하여 패턴의 전형성(typicality)을 고려한 PCM 클러스터링 알고리즘을 결합한 방법이다. 본 연구에서는 분류 항목별 학습데이터를 선정한 후 이를 PFCM 알고리즘에 적용하여 감독분류를 수행하였다. Landsat TM과 IKONOS 원격탐사 위성영상을 이용하여 PFCM 알고리즘의 적용성을 검증하였다. PFCM 알고리즘을 이용한 감독분류는 PCM, FCM 분류방법보다 좋은 결과를 보여주었으며, 또한 전통적인 분류방법인 최대우도분류보다도 정확도가 더 높은 결과를 보여주었다.

• 전자공학회논문지B
• /
• 제32B권5호
• /
• pp.765-776
• /
• 1995

This paper describes a speaker adaptation method to improve the recognition performance of MLP(multiLayer Perceptron) based HMM(Hidden Markov Model) speech recognizer. In this method, we use lst-order linear transformation network to fit data of a new speaker to the MLP. Transformation parameters are adjusted by back-propagating classification error to the transformation network while leaving the MLP classifier fixed. The recognition system is based on semicontinuous HMM's which use the MLP as a fuzzy vector quantizer. The experimental results show that rapid speaker adaptation resulting in high recognition performance can be accomplished by this method. Namely, for supervised adaptation, the error rate is signifecantly reduced from 9.2% for the baseline system to 5.6% after speaker adaptation. And for unsupervised adaptation, the error rate is reduced to 5.1%, without any information from new speakers.