• 제목/요약/키워드: clustering technique

검색결과 712건 처리시간 0.023초

대용량 데이터 처리를 위한 하이브리드형 클러스터링 기법 (A Hybrid Clustering Technique for Processing Large Data)

  • 김만선;이상용
    • 정보처리학회논문지B
    • /
    • 제10B권1호
    • /
    • pp.33-40
    • /
    • 2003
  • 데이터 마이닝은 지식발견 과정에서 중요한 역할을 수행하며, 여러 데이터 마이닝의 알고리즘들은 특정의 목적을 위하여 선택될 수 있다. 대부분의 전통적인 계층적 클러스터링 방법은 적은 양의 데이터 집합을 처리하는데 적합하여 제한된 리소스와 부족한 효율성으로 인하여 대용량의 데이터 집합을 다루기가 곤란하다. 본 연구에서는 대용량의 데이터에 적용되어 알려지지 않은 패턴을 발견할 수 있는 하이브리드형 신경망 클러스터링 기법의 PPC(Pre-Post Clustrering) 기법을 제안한다. PPC 기법은 인공지능적 방법인 자기조직화지도(SOM)와 통계적 방법인 계층적 클러스터링을 결합하여 두 과정에서는 군집의 내부적 특징을 나타내는 응집거리와 군집간의 외부적 거리를 나타내는 인접거리에 따라 유사도를 측정한다. 최종적으로 PPC 기법은 측정된 유사도를 이용하여 대용량 데이터 집합을 군집화한다. PPC 기법은 UCI Repository 데이터를 이용하여 실험해 본 결과, 다른 클러스터링 기법들 보다 우수한 응집도를 보였다.

Combining Distributed Word Representation and Document Distance for Short Text Document Clustering

  • Kongwudhikunakorn, Supavit;Waiyamai, Kitsana
    • Journal of Information Processing Systems
    • /
    • 제16권2호
    • /
    • pp.277-300
    • /
    • 2020
  • This paper presents a method for clustering short text documents, such as news headlines, social media statuses, or instant messages. Due to the characteristics of these documents, which are usually short and sparse, an appropriate technique is required to discover hidden knowledge. The objective of this paper is to identify the combination of document representation, document distance, and document clustering that yields the best clustering quality. Document representations are expanded by external knowledge sources represented by a Distributed Representation. To cluster documents, a K-means partitioning-based clustering technique is applied, where the similarities of documents are measured by word mover's distance. To validate the effectiveness of the proposed method, experiments were conducted to compare the clustering quality against several leading methods. The proposed method produced clusters of documents that resulted in higher precision, recall, F1-score, and adjusted Rand index for both real-world and standard data sets. Furthermore, manual inspection of the clustering results was conducted to observe the efficacy of the proposed method. The topics of each document cluster are undoubtedly reflected by members in the cluster.

XML 데이타의 경로 유사성에 기반한 클러스터링 기법 (A Clustering Method Based on Path Similarities of XML Data)

  • 최일환;문봉기;김형주
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권3호
    • /
    • pp.342-352
    • /
    • 2006
  • 최근의 XML 저장소에 관한 연구들은 기존의 데이타 저장을 위해 주로 사용해 왔던 관계형 데이타베이스에 효율적으로 XML 데이타를 매핑하는 기법이나 XML 데이타를 위한 새로운 전용 저장소에 대한 연구들이 주를 이룬다. XML 전용 저장소에서 많이 사용되는 방식으로 XML 문서를 파싱하여 각 노드들을 개별적인 객체로 생성한 후 이를 저장하는 방식이 있다. 이러한 저장 방식에서는 개별적인 객체들의 물리적 배치, 즉 클러스터링이 성능에 영향을 미칠 수 있다. 본 논문에서는 하나의 XML 문서를 보다 효율적으로 저장하는 클러스터링 기법을 제안한다. 제안하는 기법은 데이타 노드들의 경로 유사도를 기반으로 클러스터링을 수행하여 질의 요청에 대한 결과를 반환할 때 발생하는 페이지 I/O를 줄인다. 또한 경로 질의 처리시 필요한 클러스터만을 이용하여 질의 처리를 수행하는 방법을 제안한다. 이는 질의 처리과정에서 불필요한 데이타를 제외함으로써 결과적으로 탐색 공간의 크기를 줄일 수 있어 보다 효율적인 경로 질의 처리를 가능하게 한다. 이밖에 본 논문에서는 기존의 다른 클러스터링 기법들과 제안한 기법들과의 성능 비교를 수행하고, 이를 통해 적절한 클러스터링 기법을 이용하면 XML 저장소의 성능을 향상시킬 수 있음을 보인다.

스펙트럴 클러스터링 - 요약 및 최근 연구동향 (Spectral clustering: summary and recent research issues)

  • 정상훈;배수현;김충락
    • 응용통계연구
    • /
    • 제33권2호
    • /
    • pp.115-122
    • /
    • 2020
  • K-평균 클러스터링은 매우 널리 사용되고 있으나 유사도가 구면체 또는 타원체로 정의되어 각 클러스터가 볼록 집합 형태인 자료에는 좋은 결과를 주지만 그렇지 않은 경우에는 매우 형편 없는 결과를 나타낸다. 스펙트럴 클러스터링은 K-평균 클러스터링의 단점을 잘 보완해 줄 뿐아니라 여러 형태의 자료나 고차원 자료 등에 대해서도 좋은 결과를 나타내서 최근 인공 신경망 모형에 많이 이용되고 있다. 하지만, 개선되어야 할 단점도 여전히 많다. 본 논문에서는 스펙트럴 클러스터링에 대해 알기 쉽게 소개하고, 클러스터 갯수의 추정, 척도모수의 추정, 고차원 자료의 차원 축소 등 스펙트럴 클러스터링에 대한 최근의 연구 동향을 소개한다.

An Agglomerative Hierarchical Variable-Clustering Method Based on a Correlation Matrix

  • Lee, Kwangjin
    • Communications for Statistical Applications and Methods
    • /
    • 제10권2호
    • /
    • pp.387-397
    • /
    • 2003
  • Generally, most of researches that need a variable-clustering process use an exploratory factor analysis technique or a divisive hierarchical variable-clustering method based on a correlation matrix. And some researchers apply a object-clustering method to a distance matrix transformed from a correlation matrix, though this approach is known to be improper. On this paper an agglomerative hierarchical variable-clustering method based on a correlation matrix itself is suggested. It is derived from a geometric concept by using variate-spaces and a characterizing variate.

A Fusion of Data Mining Techniques for Predicting Movement of Mobile Users

  • Duong, Thuy Van T.;Tran, Dinh Que
    • Journal of Communications and Networks
    • /
    • 제17권6호
    • /
    • pp.568-581
    • /
    • 2015
  • Predicting locations of users with portable devices such as IP phones, smart-phones, iPads and iPods in public wireless local area networks (WLANs) plays a crucial role in location management and network resource allocation. Many techniques in machine learning and data mining, such as sequential pattern mining and clustering, have been widely used. However, these approaches have two deficiencies. First, because they are based on profiles of individual mobility behaviors, a sequential pattern technique may fail to predict new users or users with movement on novel paths. Second, using similar mobility behaviors in a cluster for predicting the movement of users may cause significant degradation in accuracy owing to indistinguishable regular movement and random movement. In this paper, we propose a novel fusion technique that utilizes mobility rules discovered from multiple similar users by combining clustering and sequential pattern mining. The proposed technique with two algorithms, named the clustering-based-sequential-pattern-mining (CSPM) and sequential-pattern-mining-based-clustering (SPMC), can deal with the lack of information in a personal profile and avoid some noise due to random movements by users. Experimental results show that our approach outperforms existing approaches in terms of efficiency and prediction accuracy.

Unsupervised Image Classification using Region-growing Segmentation based on CN-chain

  • Lee, Sang-Hoon
    • 대한원격탐사학회지
    • /
    • 제20권3호
    • /
    • pp.215-225
    • /
    • 2004
  • A multistage hierarchical clustering technique, which is an unsupervised technique, was suggested in this paper for classifying large remotely-sensed imagery. The multistage algorithm consists of two stages. The 'local' segmentor of the first stage performs region-growing segmentation by employing the hierarchical clustering procedure of CN-chain with the restriction that pixels in a cluster must be spatially contiguous. The 'global' segmentor of the second stage, which has not spatial constraints for merging, clusters the segments resulting from the previous stage, using the conventional agglomerative approach. Using simulation data, the proposed method was compared with another hierarchical clustering technique based on 'mutual closest neighbor.' The experimental results show that the new approach proposed in this study considerably increases in computational efficiency for larger images with a low number of bands. The technique was then applied to classify the land-cover types using the remotely-sensed data acquired from the Korean peninsula.

자기-구성 클러스터링의 모델링 및 성능평가 (Modeling of Self-Constructed Clustering and Performance Evaluation)

  • 유정웅;김승석;송창규;김성수
    • 한국통신학회논문지
    • /
    • 제30권6C호
    • /
    • pp.490-496
    • /
    • 2005
  • 본 논문에서는 퍼지 추론 시스템의 추론 정보를 이용하여 자율적으로 구조를 결정하는 클러스터링 기법을 제안한다. 제안된 기법은 주어진 입출력 데이터를 이용하여 자율적으로 클러스터의 수를 추정하고 동시에 이들 파라미터를 최적화한다. 일반적인 클러스터링 기법에서 볼 수 있었던 비교사학습을 교사학습으로 확장하여 클러스터 추정에 입출력 인과 관계를 고려한 학습을 실시하게 하여 전체 모델의 성능을 개선하고자 하였다. 출력 정보가 입력공간에서 클러스터링 학습에 적용됨으로써 클러스터링에서의 각 클래스의 구분 작업이 더 원활하게 이루어 질 수 있다. 모의실험을 통하여 기존의 연구 결과와 비교하여 제안된 기법의 유용성을 보인다.

클러스터링에 기반 도메인 분석을 통한 컴포넌트 식별 (Component Identification using Domain Analysis based on Clustering)

  • Haeng-Kon Kim;Jeon-Geun Kang
    • 한국컴퓨터산업학회논문지
    • /
    • 제4권4호
    • /
    • pp.479-490
    • /
    • 2003
  • 컴포넌트 기반 소프트웨어개발 (CBD: Component Based Development)은 재사용 부품을 기반하여 소프트웨어 개발, 수정, 유지보수를 용이하게 지원한다. 따라서 컴포넌트는 강한 응집력과 양한 결합력으로 개발되어야 한다. 본 논문에서는use case와 클래스를 간에 유사성을 통한 클러스터링 분석에 기반 하여 컴포넌트 식별에 대해 연구한다. 컴포넌트 참조 모델과 프레임워크를 제시하여 사례를 통해 검증한다. 컴포넌트 식별 방법은 추출, 명세 및 아키?쳐를 지원한다. 이들 방법론은 기존의 객체지향 방법론을 참조하며 분석에서 구현까지의 추적성을 지원하며 재사용 컴포넌트의 모듈성 지원을 위해 강한 응집력과 약한 결합력을 반영한다.

  • PDF

Heterogeneity-aware Energy-efficient Clustering (HEC) Technique for WSNs

  • Sharma, Sukhwinder;Bansal, Rakesh Kumar;Bansal, Savina
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권4호
    • /
    • pp.1866-1888
    • /
    • 2017
  • Efficient energy consumption in WSN is one of the key design issues for improving network stability period. In this paper, we propose a new Heterogeneity-aware Energy-efficient Clustering (HEC) technique which considers two types of heterogeneity - network lifetime and of sensor nodes. Selection of cluster head nodes is done based on the three network lifetime phases: only advanced nodes are allowed to become cluster heads in the initial phase; in the second active phase all nodes are allowed to participate in cluster head selection process with equal probability, and in the last dying out phase, clustering is relaxed by allowing direct transmission. Simulation-based performance analysis of the proposed technique as compared to other relevant techniques shows that HEC achieves longer stable region, improved throughput, and better energy dissipation owing to judicious consumption of additional energy of advanced nodes. On an average, the improvement observed for stability period over LEACH, SEP, FAIR and HEC- with SEP protocols is around 65%, 30%, 15% and 17% respectively. Further, the scalability of proposed technique is tested by varying the field size and number of sensing nodes. The results obtained are found to be quite optimistic. The impact of energy heterogeneity has also been assessed and it is found to improve the stability period though only upto a certain extent.