• 제목/요약/키워드: k-mean clustering algorithm

검색결과 119건 처리시간 0.024초

손실 데이터를 처리하기 위한 집락분석 알고리즘 (A Clustering Algorithm for Handling Missing Data)

  • 이종찬
    • 한국융합학회논문지
    • /
    • 제8권11호
    • /
    • pp.103-108
    • /
    • 2017
  • 유비쿼터스 환경에서는 다양한 센서로 부터 원거리에 데이터를 전송해야 하는 문제가 제기되어져 왔다. 특히 서로 다른 위치에서 도착한 데이터를 통합하는 과정에서 데이터의 속성 값들이 상이하거나 데이터에 일부 손실이 있는 데이터들도 처리해야 하는 어려운 문제를 가지고 있었다. 본 논문은 이와 같은 데이터들을 대상으로 집락분석 하는 방법을 제시한다. 이 방법의 핵심은 문제에 적합한 목적함수를 정의하고, 이 목적함수를 최적화 할 수 있는 알고리즘을 개발하는데 있다. 목적함수는 OCS 목적함수를 변형하여 사용한다. 이진 값을 가지는 데이터만을 처리할 수 있었던 MFA(Mean Field Annealing)을 연속 값을 가지는 분야에도 적용할 수 있도록 확장한다. 그리고 이를 CMFA이라 명하고 최적화 알고리즘으로 사용한다.

Improved Classification Algorithm using Extended Fuzzy Clustering and Maximum Likelihood Method

  • Jeon Young-Joon;Kim Jin-Il
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2004년도 ICEIC The International Conference on Electronics Informations and Communications
    • /
    • pp.447-450
    • /
    • 2004
  • This paper proposes remotely sensed image classification method by fuzzy c-means clustering algorithm using average intra-cluster distance. The average intra-cluster distance acquires an average of the vector set belong to each cluster and proportionates to its size and density. We perform classification according to pixel's membership grade by cluster center of fuzzy c-means clustering using the mean-values of training data about each class. Fuzzy c-means algorithm considered membership degree for inter-cluster of each class. And then, we validate degree of overlap between clusters. A pixel which has a high degree of overlap applies to the maximum likelihood classification method. Finally, we decide category by comparing with fuzzy membership degree and likelihood rate. The proposed method is applied to IKONOS remote sensing satellite image for the verifying test.

  • PDF

An Incremental Similarity Computation Method in Agglomerative Hierarchical Clustering

  • Jung, Sung-young;Kim, Taek-soo
    • 한국지능시스템학회논문지
    • /
    • 제11권7호
    • /
    • pp.579-583
    • /
    • 2001
  • In the area of data clustering in high dimensional space, one of the difficulties is the time-consuming process for computing vector similarities. It becomes worse in the case of the agglomerative algorithm with the group-average link and mean centroid method, because the cluster similarity must be recomputed whenever the cluster center moves after the merging step. As a solution of this problem, we present an incremental method of similarity computation, which substitutes the scalar calculation for the time-consuming calculation of vector similarity with several measures such as the squared distance, inner product, cosine, and minimum variance. Experimental results show that it makes clustering speed significantly fast for very high dimensional data.

  • PDF

예측 데이터를 이용한 빠른 K-Means 알고리즘 (Fast K-Means Clustering Algorithm using Prediction Data)

  • 지태창;이현진;이일병
    • 한국콘텐츠학회논문지
    • /
    • 제9권1호
    • /
    • pp.106-114
    • /
    • 2009
  • 본 논문에서 K-Means 군집화 알고리즘을 빠르게 적용하는 방법을 제안했다. 제안하는 알고리즘의 특징은 속도 향상을 위해 변화될 가능성이 있는 데이터를 예측하는 것이다. 군집화 알고리즘의 각 단계에서 군집이 변경될 가능성이 있는 데이터만 선택하여 군집 중심과의 거리를 계산함으로써 전체 군집 계산 시간을 줄일 수 있었다. 군집이 변화될 예측 데이터를 계산할 때는 K-Means 알고리즘을 적용하면서 생성되는 거리 정보를 사용함으로써 추가되는 계산 시간이 적고, 특히, 거리 정보를 이용하기 때문에 차원의 개수에는 영향을 덜 받는 알고리즘을 제안할 수 있었다. 제안하는 알고리즘의 성능 비교를 위해서 원래의 K-Means인 Lloyd's와 이를 개선한 KMHybrid와 비교했다. 제안하는 알고리즘은 대용량 데이터( 입력 데이터의 크기가 크고, 데이터의 차원이 크며, 군집의 개수가 많은 경우)의 경우에 Lloyd's와 KMHybrid보다 높은 속도 향상을 보였다.

Three Effective Top-Down Clustering Algorithms for Location Database Systems

  • Lee, Kwang-Jo;Yang, Sung-Bong
    • Journal of Computing Science and Engineering
    • /
    • 제4권2호
    • /
    • pp.173-187
    • /
    • 2010
  • Recent technological advances in mobile communication systems have made explosive growth in the number of mobile device users worldwide. One of the most important issues in designing a mobile computing system is location management of users. The hierarchical systems had been proposed to solve the scalability problem in location management. The scalability problem occurs when there are too many users for a mobile system to handle, as the system is likely to react slow or even get down due to late updates of the location databases. In this paper, we propose a top-down clustering algorithm for hierarchical location database systems in a wireless network. A hierarchical location database system employs a tree structure. The proposed algorithm uses a top-down approach and utilizes the number of visits to each cell made by the users along with the movement information between a pair of adjacent cells. We then present a modified algorithm by incorporating the exhaustive method when there remain a few levels of the tree to be processed. We also propose a capacity constraint top-down clustering algorithm for more realistic environments where a database has a capacity limit. By the capacity of a database we mean the maximum number of mobile device users in the cells that can be handled by the database. This algorithm reduces a number of databases used for the system and improves the update performance. The experimental results show that the proposed, top-down, modified top-down, and capacity constraint top-down clustering algorithms reduce the update cost by 17.0%, 18.0%, 24.1%, the update time by about 43.0%, 39.0%, 42.3%, respectively. The capacity constraint algorithm reduces the average number of databases used for the system by 23.9% over other algorithms.

이행적 폐쇄트리를 기반으로 한 점증적 웹 문서 클러스터링 (An Incremental Web Document Clustering Based on the Transitive Closure Tree)

  • 윤성대;고석범
    • 한국멀티미디어학회논문지
    • /
    • 제9권1호
    • /
    • pp.1-10
    • /
    • 2006
  • 기존의 문서 클러스터링 기법에는 k-means와 같이 수행속도가 우수한 기법과, 분류의 정확률이 우수한 계층적 집괴 클러스터링 기법이 있다. 두 기법은 각각 분류의 정확률 저하와 저속의 수행속도로서 상호 단점을 가지며, 새로운 문서를 삽입 할 때마다 문서 유사도를 재계산해야 하는 문제가 있다. 웹 정보의 특성은 잦은 문서의 추가를 통해 정보를 축적하는 것이다. 따라서 본 논문에서는 정확률이 우수한 계층적 집괴 클러스터링 기법을 기반으로 수행속도를 향상 시킬 수 있는 이행적 폐쇄 트리 기법을 제안하고, 또한 새로운 문서의 삽입과 삭제에 우수한 점증적인 클러스터링이 가능한 기법을 제안한다. 제안된 기법의 효율성을 검증하기 위하여 기존의 알고리즘과 정확률, 재현율, F-Measure, 수행속도에 대해 비교 평가 및 분석한다.

  • PDF

휴리스틱 진화에 기반한 효율적 클러스터링 알고리즘 (An Efficient Clustering Algorithm based on Heuristic Evolution)

  • 류정우;강명구;김명원
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제29권1_2호
    • /
    • pp.80-90
    • /
    • 2002
  • 클러스터링이란 한 군집에 포함된 데이터들 간의 유사한 성질을 갖도록 데이터들을 묶는 것으로 패턴인식, 영상처리 등의 공학 분야에 널리 적용되고 있을 뿐만 아니라, 최근 많은 관심의 대상이 되고 있는 데이터 마이닝의 주요 기술로서 활발히 응용되고 있다. 클러스터링에 있어서 K-means나 FCM(Fuzzy C-means)와 같은 기존의 알고리즘들은 지역적 최적해에 수렴하는 것과 사전에 클러스터 개수를 미리 결정해야 하는 문제점을 개선하였으며, 클러스터링의 특성을 분산도와 분리도로 정의하였다. 분산도는 임의의 클러스터의 중심으로부터 포함된 데이터들이 어느 정도 흩어져 있는지를 나타내는 척도인 반면, 분리도는 임의의 데이터와 모든 클러스터 중심간의 거리의 비율로서 얻어지는 소속정도를 고려하여 클러스터 중심간의 거리를 나타내는 척도이다. 이 두 척도를 이용하여 자동으로 적절한 클러스터 개수를 결정하게 하였다. 또한 진화알고리즘의 문제점인 탐색공간의 확대에 따른 수행시간의 증가는 휴리스틱 연산을 적용함으로써 크게 개선하였다. 제안한 알고리즘의 성능 및 타당성을 보이기 위해 이차원과 다차원 실험데이타를 사용하여 실험한 결과 제안한 알고리즘의 성능이 우수함을 나타내었다.

신경망 및 통계적 방법에 의한 클러스터링 성능평가 (A Study on Performance Evaluation of Clustering Algorithms using Neural and Statistical Method)

  • 윤석환;민준영;신용백
    • 산업경영시스템학회지
    • /
    • 제19권37호
    • /
    • pp.41-51
    • /
    • 1996
  • This paper evaluates the clustering performance of a neural network and a statistical method. Algorithms which are used in this paper are the GLVQ(Generalized Learning vector Quantization) for a neural method and the k-means algorithm fer a statistical clustering method. For comparison of two methods, we calculate the Rand's c statistics. As a result, the mean of c value obtained with the GLVQ is higher than that obtained with the k-means algorithm, while standard deviation of c value is lower. Experimental data sets were the Fisher's IRIS data and patterns extracted from handwritten numerals.

  • PDF

그룹특징기반 슬라이딩 윈도우 클러스터링에서의 k-means와 k-medoids 비교 평가 (Comparison between k-means and k-medoids Algorithms for a Group-Feature based Sliding Window Clustering)

  • 양주연;심준호
    • 한국전자거래학회지
    • /
    • 제23권3호
    • /
    • pp.225-237
    • /
    • 2018
  • 대용량 데이터의 발생과 처리가 대중화되면서 대용량 데이터 스트림 처리에 대한 수요가 급격하게 증가하고 있다. 이 수요에 따라 다양한 대용량 데이터 처리 기술이 개발되고 있다. 한 분야로 주목받고 있는 방식은 슬라이딩 윈도우를 사용한 데이터 스트림 클러스터링이다. 슬라이딩 윈도우를 사용한 데이터 스트림 클러스터링은 윈도우가 이동할 때마다 새로운 클러스터를 생성한다. 기존의 슬라이딩 윈도우 상의 클러스터링 기법은 코어셋(Coreset)을 기반으로 데이터 스트림 클러스터링을 구현하고 있다. 이 연구에서는 코어셋을 활용한 그룹특징을 이용한 알고리즘 내에서 이용하는 클러스터링 알고리즘을 변경하였다. 그리고 이를 통해 제안 알고리즘과 기존 알고리즘의 파라미터 값 변화에 따른 성능 비교 실험을 진행하였다. 개선된 사항에 대해 논하여 두 알고리즘을 비교하고 실험자에게 파라미터에 따른 이용 방향을 제시한다.

스파크 프레임워크를 위한 병렬적 k-Modes 알고리즘 (Parallel k-Modes Algorithm for Spark Framework)

  • 정재화
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제6권10호
    • /
    • pp.487-492
    • /
    • 2017
  • 클러스터링은 빅데이터 분석 및 데이터 마이닝 분야에서 데이터 간 유사성을 파악하기 위해 사용하는 기법으로 다양한 클러스터링 기법 중 범주적 데이터를 위해 k-Modes 알고리즘이 대표적으로 사용된다. k-Modes와 같이 반복적 연산이 집중된 작업의 속도를 향상시키기 위해 많은 관심을 받고 있는 분산 병행 프레임워크 스파크는 하둡과 달리 RDD라는 추상화 객체 개념을 사용하여 대용량의 데이터를 메모리 상에서 처리 가능한 환경을 제공한다. 스파크는 다양한 기계학습을 위한 라이브러리인 Mllib을 제공하고 있으나 연속적 데이터만 처리 가능한 k-means만 포함되어 있어 범주적 데이터 처리가 불가능한 한계가 있다. 따라서 본 논문에서는 스파크 환경에서 범주적 데이터 클러스터링을 위한 k-Modes 알고리즘을 위한 RDD 설계하고 효과적으로 동작할 수 있는 알고리즘을 구현하였다. 실험을 통해 제안한 알고리즘이 스파크 환경에서 선형적으로 증가한다는 것을 보였다.