• 제목/요약/키워드: k-means cluster

검색결과 620건 처리시간 0.03초

주성분 분석의 K 평균 알고리즘을 통한 XML 문서 군집화 기법 (XML Document Clustering Technique by K-means algorithm through PCA)

  • 김우생
    • 정보처리학회논문지D
    • /
    • 제18D권5호
    • /
    • pp.339-342
    • /
    • 2011
  • 최근 들어 인터넷에서 많이 사용되는 XML 문서들을 효율적으로 접근, 질의, 저장하는 방법들이 연구된다. 본 논문은 XML 문서들을 효율적으로 군집화 하는 새로운 기법을 제안한다. XML 문서를 대응하는 트리 구조의 원소들의 이름과 레벨로 표현하여 특징 벡터 공간상의 벡터로 나타내고 주성분 분석을 통한 k 평균 알고리즘 기법을 사용하여 군집화를 시도한다. 실험 결과를 통하여 제안하는 기법이 좋은 결과를 얻을 수 있음을 보였다.

히스토그램 변형 및 K-means 분류 기반 동적 범위 개선 기법 (Automatic Dynamic Range Improvement Method using Histogram Modification and K-means Clustering)

  • 차수람;김정태;김민석
    • 방송공학회논문지
    • /
    • 제16권6호
    • /
    • pp.1047-1057
    • /
    • 2011
  • 본 논문에서는 K-means clustering 알고리즘을 이용하여 영상을 cluster로 나눈 후 각 cluster에 대하여 히스토그램 변형기법을 적용하여 만든 밝기 변환 함수로 영상의 동적 범위를 확장시키는 방법과 히스토그램 변형에 필요한 파라미터를 자동으로 조절하는 방법을 제안한다. 제안하는 방법은 기존의 전역적 히스토그램 변형기법의 한계점인 지역적 밝기 개선이 어렵다는 단점을 극복할 수 있을 뿐 아니라 밝기 변환함수의 파라미터를 자동적으로 조절할 수 있어서 수동 조절 없이 고성능의 화질 개선이 가능하다. 제안하는 방법이 기존 방법에 비해 성능이 우수함은 시뮬레이션 및 실험을 통해 입증하였다.

Selection of Cluster Topic Words in Hierarchical Clustering using K-Means Algorithm

  • Lee Shin Won;Yi Sang Seon;An Dong Un;Chung Sung Jong
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2004년도 학술대회지
    • /
    • pp.885-889
    • /
    • 2004
  • Fast and high-quality document clustering algorithms play an important role in providing data exploration by organizing large amounts of information into a small number of meaningful clusters. Hierarchical clustering improves the performance of retrieval and makes that users can understand easily. For outperforming of clustering, we implemented hierarchical structure with variety and readability, by careful selection of cluster topic words and deciding the number of clusters dynamically. It is important to select topic words because hierarchical clustering structure is summarizes result of searching. We made choice of noun word as a cluster topic word. The quality of topic words is increased $33\%$ as follows. As the topic word of each cluster, the only noun word is extracted for the top-level cluster and the used topic words for the children clusters were not reused.

  • PDF

군집분석을 이용한 산촌경관 유형 구분 및 특성 분석 (Classification and Characteristic analysis of Mountain Village Landscape Using Cluster Analysis)

  • 고아랑;임정우;김성학
    • 농촌계획
    • /
    • 제26권1호
    • /
    • pp.101-112
    • /
    • 2020
  • Recently, public awareness regarding mountain villages' landscapes is increasing. Thus, this study aimed to provide standards for conservation, management and creation of mountain village landscape by characterizing and classifying those exist. 286 mountain villages' data were collected and 19 variables - extracted from GIS spatial information and statistic data of mountain villages, chosen as right sources according to former studies - were utilized to conduct factor and cluster analysis. As a result of the factor analysis, 7 characteristics of the mountain villages' landscapes were defined - 'Location', 'Cultivation', 'Ecology·Nature', 'Tourism', 'Residence', 'Recreation'. The K-means cluster analysis categorized the mountain villages' landscapes into four types - 'Residential', 'Touristic', 'General', 'Environmentally protected'. The classification was examined to be appropriate by field assessment, and basic guidelines of mountain village landscape management were set. The results of this study are expected to be utilized planning and implementing regarding mountain village landscape in the future.

A Classification Algorithm Based on Data Clustering and Data Reduction for Intrusion Detection System over Big Data

  • Wang, Qiuhua;Ouyang, Xiaoqin;Zhan, Jiacheng
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권7호
    • /
    • pp.3714-3732
    • /
    • 2019
  • With the rapid development of network, Intrusion Detection System(IDS) plays a more and more important role in network applications. Many data mining algorithms are used to build IDS. However, due to the advent of big data era, massive data are generated. When dealing with large-scale data sets, most data mining algorithms suffer from a high computational burden which makes IDS much less efficient. To build an efficient IDS over big data, we propose a classification algorithm based on data clustering and data reduction. In the training stage, the training data are divided into clusters with similar size by Mini Batch K-Means algorithm, meanwhile, the center of each cluster is used as its index. Then, we select representative instances for each cluster to perform the task of data reduction and use the clusters that consist of representative instances to build a K-Nearest Neighbor(KNN) detection model. In the detection stage, we sort clusters according to the distances between the test sample and cluster indexes, and obtain k nearest clusters where we find k nearest neighbors. Experimental results show that searching neighbors by cluster indexes reduces the computational complexity significantly, and classification with reduced data of representative instances not only improves the efficiency, but also maintains high accuracy.

붓스트랩 기법과 유전자 알고리즘을 이용한 최적 군집 수 결정 (Determination of Optimal Cluster Size Using Bootstrap and Genetic Algorithm)

  • 박민재;전성해;오경환
    • 한국지능시스템학회논문지
    • /
    • 제13권1호
    • /
    • pp.12-17
    • /
    • 2003
  • 데이터의 군집화를 수행할 때 최적 군집수 결정은 군집 결과의 성능에 많은 영향을 미친다. 특히 K-means 방법에서는 초기 군집수 K에 따라 군집결과의 성능 차이가 많이 나타난다. 하지만 대다수의 군집분석에서 초기 군집수의 결정은 경험을 바탕으로 하여 주관적으로 결정된다. 이때 개체수와 속성수가 증가하면 이러한 결정은 더욱 어려워지며 이때 결정된 군집수가 최적이 된다는 보장도 없다. 본 논문에서는 군집의 수를 자동으로 결정하고 그 결과의 유효성을 보장하기 위해 유전자 알고리즘에 기반한 최적 군집수 결정 방안을 제안한다. 데이터의 속성에 근거한 초기 해 집단이 생성되고, 해 집단 내에서 최적화된 군집수를 찾기 위해 교차 연산이 이루어진다. 적합도 값은 전체 군집화의 비 유사성의 합의 역으로 결정되어 전체적인 군집화 성능이 향상되는 방향으로 수렴된다. 또한 지역 국소값을 해결하기 위해 돌연변이 연산이 사용된다. 그리고 유전자 알고리즘의 학습 시간의 비용을 줄이기 위해 붓스트랩 기법이 적용된다

An Improved Automated Spectral Clustering Algorithm

  • Xiaodan Lv
    • Journal of Information Processing Systems
    • /
    • 제20권2호
    • /
    • pp.185-199
    • /
    • 2024
  • In this paper, an improved automated spectral clustering (IASC) algorithm is proposed to address the limitations of the traditional spectral clustering (TSC) algorithm, particularly its inability to automatically determine the number of clusters. Firstly, a cluster number evaluation factor based on the optimal clustering principle is proposed. By iterating through different k values, the value corresponding to the largest evaluation factor was selected as the first-rank number of clusters. Secondly, the IASC algorithm adopts a density-sensitive distance to measure the similarity between the sample points. This rendered a high similarity to the data distributed in the same high-density area. Thirdly, to improve clustering accuracy, the IASC algorithm uses the cosine angle classification method instead of K-means to classify the eigenvectors. Six algorithms-K-means, fuzzy C-means, TSC, EIGENGAP, DBSCAN, and density peak-were compared with the proposed algorithm on six datasets. The results show that the IASC algorithm not only automatically determines the number of clusters but also obtains better clustering accuracy on both synthetic and UCI datasets.

무감독분류 기법에 의한 부분방전 데이터 분석 (Partial Discharge Data Analysis with Unsupervised Classification)

  • 조경순;홍선학
    • 디지털산업정보학회논문지
    • /
    • 제14권4호
    • /
    • pp.9-16
    • /
    • 2018
  • This study described partial discharge(PD) distribution analysis between the XLPE(Cross-Linked PolyEthylene)and EPDM(Ethylene Propylene Diene Monomer) interface with unsupervised classification. The ${\phi}-q-n$ patterns were analyzed using phase resolved partial discharge(PRPD). K-means cluster analysis forms a cluster based on similarities and distances among scattered individuals, and analyzes the characteristics of the formed clusters, dividing the multivariate data into several groups according to the similarity of each characteristic, Is a statistical analysis that makes it easier to navigate. It was confirmed that the phase angle of the cluster with the maximum discharge charge was concentrated around $0^{\circ}$ and $180^{\circ}$ at 30 kV after the initial phase distribution localized around $90^{\circ}$ and $300^{\circ}$ expanded to the whole phase angle according to the voltage rise. The Euclidean distance between the center of gravity and the discharge charge in the ${\Phi}-q$ cluster increased with increasing applied voltage.

한국 된장의 품질에 영향을 미치는 요인 (Factors affecting to the Quality of Korean Soybean Paste, Doenjang)

  • 심혜정;윤정현;고경희
    • Journal of Applied Biological Chemistry
    • /
    • 제61권4호
    • /
    • pp.357-365
    • /
    • 2018
  • 된장의 최적 섭취 기간을 판단하기 위해 원료 대두로부터 3년 동안 발효 숙성 하면서 6개월 단위로 시료를 채취하여 분석하였다. 이화학적 분석, 항산화력과 관능 검사를 주성분분석과 k-평균 군집 분석하여 종합적인 품질 특성을 평가하였다. 된장의 품질 특성은 PCA에 의해 1년 간격으로 큰 변화가 확인되었고, 군집 분석에 의해 숙성 기간에 따라 각각 cluster 1, 2, 3의 군집으로 분류되었다. 건강기능성과 관련된 항산화력으로 총 페놀함량, SOD 유사활성, DPPH 라디칼 소거 능력은 cluster 3에서 높았다. Cluster 3에서는 맛과 관련된 관능 평가 항목과 유리아미노산, 유기산 등도 높게 나타났다. 기호도 평가도 cluster 3에서 높게 나타났고 기호도에 가장 큰 영향을 준 관능 항목 요인은 감칠맛과 갈색이었다. 따라서 된장은 숙성 12개월 이후부터 섭취 가능하지만 된장의 맛과 건강 기능적 측면을 동시에 고려한다면 숙성 30개월 이후가 된장의 최적 섭취 시기라고 할 수 있다.

Performance Evaluation of k-means and k-medoids in WSN Routing Protocols

  • SeaYoung, Park;Dai Yeol, Yun;Chi-Gon, Hwang;Daesung, Lee
    • Journal of information and communication convergence engineering
    • /
    • 제20권4호
    • /
    • pp.259-264
    • /
    • 2022
  • In wireless sensor networks, sensor nodes are often deployed in large numbers in places that are difficult for humans to access. However, the energy of the sensor node is limited. Therefore, one of the most important considerations when designing routing protocols in wireless sensor networks is minimizing the energy consumption of each sensor node. When the energy of a wireless sensor node is exhausted, the node can no longer be used. Various protocols are being designed to minimize energy consumption and maintain long-term network life. Therefore, we proposed KOCED, an optimal cluster K-means algorithm that considers the distances between cluster centers, nodes, and residual energies. I would like to perform a performance evaluation on the KOCED protocol. This is a study for energy efficiency and validation. The purpose of this study is to present performance evaluation factors by comparing the K-means algorithm and the K-medoids algorithm, one of the recently introduced machine learning techniques, with the KOCED protocol.