• Title, Summary, Keyword: 클러스터링

Search Result 2,160, Processing Time 0.038 seconds

An Efficient Grid Cell Based Spatial Clustering Algorithm for Spatial Data Mining (공간데이타 마이닝을 위한 효율적인 그리드 셀 기반 공간 클러스터링 알고리즘)

  • Moon, Sang-Ho;Lee, Dong-Gyu;Seo, Young-Duck
    • The KIPS Transactions:PartD
    • /
    • v.10D no.4
    • /
    • pp.567-576
    • /
    • 2003
  • Spatial data mining, i.e., discovery of interesting characteristics and patterns that may implicitly exists in spatial databases, is a challenging task due to the huge amounts of spatial data. Clustering algorithms are attractive for the task of class identification in spatial databases. Several methods for spatial clustering have been presented in recent years, but have the following several drawbacks increase costs due to computing distance among objects and process only memory-resident data. In this paper, we propose an efficient grid cell based spatial clustering method for spatial data mining. It focuses on resolving disadvantages of existing clustering algorithms. In details, it aims to reduce cost further for good efficiency on large databases. To do this, we devise a spatial clustering algorithm based on grid ceil structures including cell relationships.

Neuro-Fuzzy Modeling Learning method based on Clustering (클러스터링 기반 뉴로-퍼지 모델링 학습)

  • Kim S. S.;Kwak K. C.;Lee D. J.;Kim S. S.;Ryu J, W.;Kim J. S.;Kim Y. T.
    • Proceedings of the Korean Institute of Intelligent Systems Conference
    • /
    • /
    • pp.289-292
    • /
    • 2005
  • 본 논문에서는 클러스터링과 뉴로-퍼지 모델링을 동시에 실시하는 학습 기법을 제안하였다. 클러스터링을 이용하여 뉴로-퍼지 모델링을 실시하는 일반적인 경우, 클러스터링 학습을 실시한 후 학습된 파라미터를 뉴로-퍼지 모델의 초기 파라미터로 설정하고 모델을 다시 학습하는 방법을 취한다. 즉 클러스터링에서 클러스터의 수를 구하고 파라미터를 최적화함으로써 초기 구조동정과 파라미터 동정을 실시하며 이를 다시 뉴로-퍼지 모델에서 세부적인 파라미터 동정을 실시하는 것이다. 또한 모델에서의 학습은 출력데이터의 오차를 이용한 오차미분기반 학습으로 전제부 소속함수 파라미터를 수정하는 방법을 이용한다. 이 경우 클러스터링의 영향과 모델의 영향이 각각 별개로 고려될 수 있다. 따라서 본 논문에서는 클러스터링을 전제부 소속함수로 부여하고 클러스터링의 학습에 뉴로-퍼지 모델을 이용하면서 또한 모델의 학습에 클러스터링을 직접 적용하는 클러스터링 기반 뉴로-퍼지 모델링을 제안하였으며 이 경우 클러스터링의 학습과 모델의 학습이 동시에 이루어지며 뉴로-퍼지 모델에서 클러스터링의 효과를 직접적으로 확인할 수 있다. 제안된 방법의 유용성을 시뮬레이션을 통하여 보이고자 한다.

  • PDF

Development of a Clustering Model for Automatic Knowledge Classification (지식 분류의 자동화를 위한 클러스터링 모형 연구)

  • 정영미;이재윤
    • Journal of the Korean Society for information Management
    • /
    • v.18 no.2
    • /
    • pp.203-230
    • /
    • 2001
  • The purpose of this study is to develop a document clustering model for automatic classification of knowledge. Two test collections of newspaper article texts and journal article abstracts are built for the clustering experiment. Various feature reduction criteria as well as term weighting methods are applied to the term sets of the test collections, and cosine and Jaccard coefficients are used as similarity measures. The performances of complete linkage and K-means clustering algorithms are compared using different feature selection methods and various term weights. It was found that complete linkage clustering outperforms K-means algorithm and feature reduction up to almost 10% of the total feature sets does not lower the performance of document clustering to any significant extent.

  • PDF

Comparison of Initial Seeds Methods for K-Means Clustering (K-Means 클러스터링에서 초기 중심 선정 방법 비교)

  • Lee, Shinwon
    • Journal of Internet Computing and Services
    • /
    • v.13 no.6
    • /
    • pp.1-8
    • /
    • 2012
  • Clustering method is divided into hierarchical clustering, partitioning clustering, and more. K-Means algorithm is one of partitioning clustering and is adequate to cluster so many documents rapidly and easily. It has disadvantage that the random initial centers cause different result. So, the better choice is to place them as far away as possible from each other. We propose a new method of selecting initial centers in K-Means clustering. This method uses triangle height for initial centers of clusters. After that, the centers are distributed evenly and that result is more accurate than initial cluster centers selected random. It is time-consuming, but can reduce total clustering time by minimizing the number of allocation and recalculation. We can reduce the time spent on total clustering. Compared with the standard algorithm, average consuming time is reduced 38.4%.

Development of Clustering Algorithm based on Massive Network Compression (대용량 네트워크 압축 기반 클러스터링 알고리즘 개발)

  • Seo, Dongmin;Yu, Seok Jong;Lee, Min-Ho
    • Proceedings of the Korea Contents Association Conference
    • /
    • /
    • pp.53-54
    • /
    • 2016
  • 빅데이터란 대용량 데이터 활용 및 분석을 통해 가치 있는 정보를 추출하고, 이를 바탕으로 대응 방안 도출 또는 변화를 예측하는 기술을 의미한다. 그리고 빅데이터 분석에 활용되는 데이터인 페이스북과 같은 소셜 데이터, 유전자 발현과 같은 바이오 데이터, 항공망과 같은 지리정보 데이터들은 대용량 네트워크로 구성되어 있다. 네트워크 클러스터링은 서로 유사한 특성을 갖는 네트워크 내의 데이터들을 동일한 클러스터로 묶는 기법으로 네트워크 데이터를 분석하고 그 특성을 파악하는데 폭넓게 사용된다. 최근 빅데이터가 다양한 분야에서 활용되면서 방대한 양의 네트워크 데이터가 생성되고 있고, 이에 따라서 대용량 네트워크 데이터를 효율적으로 처리하는 클러스터링 기법의 중요성이 증가하고 있다. MCL(Markov Clustering) 알고리즘은 플로우 기반 무감독(unsupervised) 클러스터링 알고리즘으로 확장성이 우수해 다양한 분야에서 활용되고 있다. 하지만, MCL은 대용량 네트워크에 대해서는 많은 클러스터링 연산을 요구하며 너무 많은 클러스터를 생성하는 문제를 갖는다. 본 논문에서는 네트워크 압축을 기반으로 한 클러스터링 알고리즘을 제안함으로써 MCL보다 클러스터링 속도와 정확도를 향상시켰다. 또한, 희소행렬을 효율적으로 저장하는 CSC(Compressed Sparse Column) 자료구조와 MapReduce 기법을 제안한 클러스터링 알고리즘에 적용함으로써 대용량 네트워크에 대한 클러스터링 속도를 향상시켰다.

  • PDF

The Study on Improvement of Cohesion of Clustering in Incremental Concept Learning (점진적 개념학습의 클러스터 응집도 개선)

  • Baek, Hey-Jung;Park, Young-Tack
    • The KIPS Transactions:PartB
    • /
    • v.10B no.3
    • /
    • pp.297-304
    • /
    • 2003
  • Nowdays, with the explosive growth of the web information, web users Increase requests of systems which collect and analyze web pages that are relevant. The systems which were develop to solve the request were used clustering methods to improve the duality of information. Clustering is defining inter relationship of unordered data and grouping data systematically. The systems using clustering provide the grouped information to the users. So, they understand the information efficiently. We proposed a hybrid clustering method to cluster a large quantity of data efficiently. By that method, We generate initial clusters using COBWEB Algorithm and refine them using Ezioni Algorithm. This paper adds two ideas in prior hybrid clustering method to increment accuracy and efficiency of clusters. Firstly, we propose the clustering method considering weight of attributes of data. Second, we redefine evaluation functions which generate initial clusters to increase efficiency in clustering. Clustering method proposed in this paper processes a large quantity of data and diminish of dependancy on sequence of input of data. So the clusters are useful to make user profiles in high quality. Ultimately, we will show that the proposed clustering method outperforms the pervious clustering method in the aspect of precision and execution speed.

The Document Clustering using Multi-Objective Genetic Algorithms (다목적 유전자 알고리즘을 이용한문서 클러스터링)

  • Lee, Jung-Song;Park, Soon-Cheol
    • Journal of the Korea Industrial Information Systems Research
    • /
    • v.17 no.2
    • /
    • pp.57-64
    • /
    • 2012
  • In this paper, the multi-objective genetic algorithm is proposed for the document clustering which is important in the text mining field. The most important function in the document clustering algorithm is to group the similar documents in a corpus. So far, the k-means clustering and genetic algorithms are much in progress in this field. However, the k-means clustering depends too much on the initial centroid, the genetic algorithm has the disadvantage of coming off in the local optimal value easily according to the fitness function. In this paper, the multi-objective genetic algorithm is applied to the document clustering in order to complement these disadvantages while its accuracy is analyzed and compared to the existing algorithms. In our experimental results, the multi-objective genetic algorithm introduced in this paper shows the accuracy improvement which is superior to the k-means clustering(about 20 %) and the general genetic algorithm (about 17 %) for the document clustering.

Declustering Spatial Objects by Clustering for Parallel Disks (클러스터를 이용한 공간데이타 디클러스터링)

  • 곽지숙;김학철;이기준
    • Proceedings of the Korean Information Science Society Conference
    • /
    • /
    • pp.168-170
    • /
    • 1999
  • 지리정보시스템과 같은 공간 데이터베이스에서 다루는 데이터는 대용량이며, 사용자의 다양한 질의에 따라 빠르게 접근할 수 있어야 한다. 그런데 이때 성능의 대부분이 디스크 접근시간에 의해 영향을 받으므로 접근시간을 줄이는 기술이 필요하다. 이는 다수의 디스크 공간에 데이터를 분산하여 저장하는 디클러스터링 방법을 사용함으로써 효과적인 성능 향상을 기대할 수 있다. 효과적인 디클러스터링 방법은 주어진 질의에 대하여 동시에 접근될 가능성이 있는 공간 객체를 다른 디스크에 각각 저장함으로써 한번에 접근하는 병렬성을 높일 수 있다. 그러나 하나의 디스크에게 할당 가능한 공간 객체들을 서로 다른 디스크에 할당하는 것은 오히려 성능의 저하를 초래할 수 있다. 이러한 두 가지 조건을 동시에 만족하기 위해서는 공간 객체들을 클러스터링 한 후, 크러러스터 단위로 디스크로 할당하는 것이 효과적이다. 이전에 제시된 디클러스터링 방법들은 이러한 요소를 고려하지 않았다. 이에 본 논문에서는 주어진 공간 객체들에 대해서 일정한 크기의 클러스터를 만들고 클러스터 단위로 디클러스터링 하여 효율적인 성능 향상을 보이는 새로운 방법에 대해서 제시하고자 한다. 또한 이전에 제시되어졌던 여러 가지 디클러스터링 방법들과의 비교실험을 통해, 본 논문에서 제시한 방법이 가장 효과적인 방법임을 밝히고자 한다.

  • PDF

A Hybrid Document Clustering for a Web Agent (웹 에이전트를 위한 통합방식 문서 클러스터링)

  • Yang, Chan-Beom;Lee, Seong-Yeol;Park, Yeong-Taek
    • Journal of KIISE:Software and Applications
    • /
    • v.28 no.5
    • /
    • pp.422-430
    • /
    • 2001
  • 웹 에이전트는 사용자가 웹을 브라우징하는 행위를 모니터하여 사용자의 관심 정보를 학습하고 사용자가 필요로 하는 웹 상의 정보를 자동 제공하는 지능형 시스템이다. 웹 에이전트가 사용자의 선호도를 학습하기 위해서는 귀납적 기계학습을 수행하는데, 이때 학습의 효율을 높이기 위해서는 사용자가 관심있어하는 문서들을 유사한 문서들로 클러스터링하여 학습 시스템에 제공하여야 한다. 본 논문에서는 웹 에이전트의 학습 시스템에 입력되는 학습대상 문서들을 보다 정확하고 효율적으로 클러스터링하여 제공하기 위해서 Top-down 방식과 Bottom-up 방식을 통합 적용한 통합방식 문서 클러스터링과 초기 클러스터 생성을 위한 평가함수를 제시한다. Top-down 방식으로는 개념적 클러스터링 알고리즘인 COBWEB을 적용하고, Bottom-up 방식으로는 교차기반(Intersection-based) 클러스터링 방식인 Etzioni의 클러스터링 알고리즘을 적용하였다.

  • PDF

Double Clustering of Gene Expression Data Based on the Information Bottleneck Method (정보병목기법에 기반한 유전자 발현 데이터의 이중 클러스터링)

  • 김병희;황규백;장정호;장병탁
    • Proceedings of the Korean Information Science Society Conference
    • /
    • /
    • pp.362-364
    • /
    • 2003
  • 기능 유전체학에서 클러스터링 기법은 고차원의 마이크로 어레이 데이터 분석을 위한 주된 도구 중의 하나이다. 본 논문에서는 정보병목(information bottleneck)기법 기반의 이중 클러스터링에 의한, 유전자 발현 데이터의 계층적 병합방식 클러스터링 기법을 제안한다. 정보병목기법은, 두 랜덤변수의 결합확률분포가 주어진 경우 두 변수의 상호 정보량을 최대한 보존하면서 한 변수를 압축하는 기법이며, 두 변수를 차례로 압축하는 것이 이중 클러스터링이다. 실제 마이크로 어레이 데이터인 NC160 데이터(암세포 내 유전자 발현 데이터)에 대한 실험에서, 먼저 유전자를 그 발현패턴에 따라 클러스터링 한 후 이를 이용하여 표본들을 클러스터링하고 그 성능을 다각도로 분석하였다. 상호 정보량과 유전자 및 표본 클러스터 수와 엔트로피 척도에 의한 성능을 검토해 본 결과, 표본이 추출 조직에 따라 구분 가능할 것이라는 가정을 검증할 수 있었으며, 적절한 클러스터의 수를 결정할 수 있는 임계점의 기준을 설정할 수 있었다.

  • PDF