• Title/Summary/Keyword: 클러스터링 문제

Search Result 429, Processing Time 0.023 seconds

Heterogeneous Clustering Ensemble Method using Evolutionary Approach with Different Cluster Results (다양한 클러스터 결과에 의해 진화적 접근법을 사용하는 이종 클러스터링 앙상블 기법)

  • Yoon Hye-Sung;Ahn Sun-Young;Lee Sang-Ho;Cho Sung-Bum;Kim Ju-Han
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2006.06a
    • /
    • pp.16-18
    • /
    • 2006
  • 데이터마이닝 기법의 클러스터링 알고리즘은 생물정보학에서 데이터 셋의 사전 정보를 고려하지 않고 중요한 유전적, 생물학적 상호작용을 찾기 위하여 적용되고 있다. 그러나 다양한 형식의 수많은 알고리즘들은 바이오데이터의 다양한 특성들과 실험의 가정 때문에 다른 클러스터링 결과들을 만들 수 있다. 본 논문에서는 바이오 데이터 셋의 특성에도 적합하면서 양질의 클러스터링 결과를 만들기 위한 새로운 방법을 제안한다. 이 방법은 여러 가지 클러스터링 알고리즘의 결과들을 유전자 알고리즘의 기본 개념인 진화적 환경에서 가장 적합한 형질을 선택하는 문제와 결합하였다. 그리고 실제 데이터 셋을 이용하여 우리의 제안하는 방법을 증명하고 실험 결과로 최적의 클러스터 결과를 보인다.

  • PDF

Self Organized Map based Clustering for WSN Environment (WSN 환경을 위한 자체 조직 지도 기법 기반 클러스터링)

  • Kim, Min-Woo;Lee, Tae-Ho;Lee, Byung-Jun;Kim, Kyung-Tae;Youn, Hee-Yong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2019.07a
    • /
    • pp.113-114
    • /
    • 2019
  • 다수의 센서 노드로 구성된 IoT 환경에서는 네트워크 수명, 센서 노드의 통신 범위 제한과 같은 제약 사항들이 있다. 이러한 한계점을 해결하기 위해 밀집된 센서 노드 간의 협력이 필요하다. 이때, 밀집된 센서 노드들은 에너지 낭비 및 전송 데이터의 정확도를 저하시킨다. 본 연구에서는 데이터 집중으로 인해 발생하는 네트워크의 에너지 낭비 및 전송 데이터의 정확도 문제를 해결하기 위해 자체조직지도(Self Organized Map, SOM)를 기반으로 한 클러스터링 기법을 제안한다. 결과적으로 제안된 기법을 통하여 클러스터링 된 노드들은 다른 클러스터링 기법과 비교했을 때 밀도 기반의 정확한 예측 값을 얻을 수 있다.

  • PDF

Development of Improved Clustering Harmony Search and its Application to Various Optimization Problems (개선 클러스터링 화음탐색법 개발 및 다양한 최적화문제에 적용)

  • Choi, Jiho;Jung, Donghwi;Kim, Joong Hoon
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.19 no.3
    • /
    • pp.630-637
    • /
    • 2018
  • Harmony search (HS) is a recently developed metaheuristic optimization algorithm. HS is inspired by the process of musical improvisation and repeatedly searches for the optimal solution using three operations: random selection, memory recall (or harmony memory consideration), and pitch adjustment. HS has been applied by many researchers in various fields. The increasing complexity of real-world optimization problems has created enormous challenges for the current technique, and improved techniques of optimization algorithms and HS are required. We propose an improved clustering harmony search (ICHS) that uses a clustering technique to group solutions in harmony memory based on their objective function values. The proposed ICHS performs modified harmony memory consideration in which decision variables of solutions in a high-ranked cluster have higher probability of being selected than those in a low-ranked cluster. The ICHS is demonstrated in various optimization problems, including mathematical benchmark functions and water distribution system pipe design problems. The results show that the proposed ICHS outperforms other improved versions of HS.

Implementation of a Web Document Clustering System Using Word2Vec (Word2Vec을 이용한 웹 문서 클러스터링 시스템 구현)

  • Yi, Hyun Seok;Ahn, Sung Hun;Lee, Yong Hwan;Cheon, Myung Jae;Park, Hyeok Ju;Park, Mee Hwa;Lee, Yong Kyu
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.10a
    • /
    • pp.26-29
    • /
    • 2016
  • 웹 문서 추천 시스템에서는 유사한 내용의 문서임에도 불구하고 URL이 달라서 다른 문서로 인식하여 사용자에게 추천하는 데이터 희소성 문제가 있다. 여기서 기존 연구들은 이 문제에 대한 해결 방법으로 TF-IDF를 이용하였으나 비용 및 시간의 한계가 있으며 유의어 분류 문제가 있다. 본 논문에서는 Word2Vec을 이용한 웹문서 학습 시스템을 통해 문제를 해결한다. 제안 시스템은 언론사의 뉴스를 수집하고 이를 정형화된 형식으로 분석하여 가공하는 전처리 과정을 거친 후 Word2Vec 학습을 통해 문서 벡터를 생성하고 이를 K-Means 클러스터링으로 유사 문서군으로 분류한다. 이 시스템을 이용하면 데이터 희소성 문제를 해결할 뿐만 아니라 연산량이 TF-IDF에 비해 줄어들고 유의어 분류 시 유사도가 높아지는 강점이 있다.

A Watershed-based Texture Segmentation Method Using Marker Clustering (마커 클러스터링을 이용한 유역변환 기반의 질감 분할 기법)

  • Hwang, Jin-Ho;Kim, Won-Hee;Moon, Kwang-Seok;Kim, Jong-Nam
    • Journal of Korea Multimedia Society
    • /
    • v.10 no.4
    • /
    • pp.441-449
    • /
    • 2007
  • In clustering for image segmentation, large amount of computation and typical segmentation errors have been important problems. In the paper, we suggest a new method for minimizing these problems. Markers in marker-controlled watershed transform represent segmented areas because they are starting-points of extending areas. Thus, clustering restricted by marker pixels can reduce computational complexity. In our proposed method, the markers are selected by Gabor texture energy, and cluster information of them are generated by FCM (fuzzy c-mean) clustering. Generated areas from watershed transform are merged by using cluster information of markers. In the test of Brodatz' texture images, we improved typical partition-errors obviously and obtained less computational complexity compared with previous FCM clustering algorithms. Overall, it also took regular computational time.

  • PDF

A Comparison and Analysis on High-Dimensional Clustering Techniques for Data Mining (데이터 마이닝을 위한 고차원 클러스터링 기법에 관한 비교 분석 연구)

  • 김홍일;이혜명
    • Journal of the Korea Computer Industry Society
    • /
    • v.4 no.12
    • /
    • pp.887-900
    • /
    • 2003
  • Many applications require the clustering of large amounts of high dimensional data. Most automated clustering techniques have been developed but they do not work effectively and/or efficiently on high dimensional (numerical) data, which is due to the so-called “curse of dimensionality”. Moreover, the high dimensional data often contain a significant amount of noise, which causes additional ineffectiveness of algorithms. Therefore, it is necessary to look over the structure and various characteristics of high dimensional data and to develop algorithm that support clustering adapted to applications of the high dimensional database. In this paper, we investigate and classify the existing high dimensional clustering methods by analyzing the strength and weakness of each method for specific applications and comparing them. Especially, in terms of efficiency and effectiveness, we compare the traditional algorithms with CLIP which are developed by us. This study will contribute to develop more advanced algorithms than the current algorithms.

  • PDF

An Incremental Web Document Clustering Based on the Transitive Closure Tree (이행적 폐쇄트리를 기반으로 한 점증적 웹 문서 클러스터링)

  • Youn Sung-Dae;Ko Suc-Bum
    • Journal of Korea Multimedia Society
    • /
    • v.9 no.1
    • /
    • pp.1-10
    • /
    • 2006
  • In document clustering methods, the k-means algorithm and the Hierarchical Alglomerative Clustering(HAC) are often used. The k-means algorithm has the advantage of a processing time and HAC has also the advantage of a precision of classification. But both methods have mutual drawbacks, a slow processing time and a low quality of classification for the k-means algorithm and the HAC, respectively. Also both methods have the serious problem which is to compute a document similarity whenever new document is inserted into a cluster. A main property of web resource is to accumulate an information by adding new documents frequently. Therefore, we propose a new method of transitive closure tree based on the HAC method which can improve a processing time for a document clustering, and also propose a superior incremental clustering method for an insertion of a new document and a deletion of a document contained in a cluster. The proposed method is compared with those existing algorithms on the basis of a pre챠sion, a recall, a F-Measure, and a processing time and we present the experimental results.

  • PDF

An Efficient Clustering Method based on Multi Centroid Set using MapReduce (맵리듀스를 이용한 다중 중심점 집합 기반의 효율적인 클러스터링 방법)

  • Kang, Sungmin;Lee, Seokjoo;Min, Jun-ki
    • KIISE Transactions on Computing Practices
    • /
    • v.21 no.7
    • /
    • pp.494-499
    • /
    • 2015
  • As the size of data increases, it becomes important to identify properties by analyzing big data. In this paper, we propose a k-Means based efficient clustering technique, called MCSKMeans (Multi centroid set k-Means), using distributed parallel processing framework MapReduce. A problem with the k-Means algorithm is that the accuracy of clustering depends on initial centroids created randomly. To alleviate this problem, the MCSK-Means algorithm reduces the dependency of initial centroids using sets consisting of k centroids. In addition, we apply the agglomerative hierarchical clustering technique for creating k centroids from centroids in m centroid sets which are the results of the clustering phase. In this paper, we implemented our MCSK-Means based on the MapReduce framework for processing big data efficiently.

Text Similarity Decision System by Term Selection Method (용어 선별 기법에 의한 유사 문서 판별 시스템)

  • 장성호;강승식
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04c
    • /
    • pp.534-536
    • /
    • 2003
  • 대부분의 정보 검색 시스템은 문서 내어서 추출된 모든 용어를 이용해서 문서간 유사도 계산이나 문서 분류, 문서 클러스터링 등에 활용한다. 그러나 실질적으로 문서 내외 모든 용어를 추출해야만 이러한 정보 검색 시스템을 활용할 수 있는 것은 아니며, 오히려 용어 빈도수 같은 가중치가 낮은 용어를 용어 추출에서 제외시킴으로써 모든 용어 추출로 인해서 발생하는 시간과 공간을 많이 소비하는 문제를 해결할 수 있다. 또한 정확하고 자동적인 문서 분류를 위한 문서 클러스터링보다 유사 문서 검색의 활용은 검색효율의 증가를 가져 올 수 있다. 본 논문에서는 유사 문서 판별 시스템을 이용해 용어 추출의 효율성을 실험하였으며, 모든 용어를 추출한 경우보다 중요 용어만 추출한 경우에 더 좋은 성능을 보였다.

  • PDF

A Clustering Algorithm using the Genetic Algorithm (진화알고리즘을 이용한 클러스터링 알고리즘)

  • 류정우;김명원
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04b
    • /
    • pp.313-315
    • /
    • 2000
  • 클러스터링에 있어서 K-means와 FCM(Fuzzy C-means)와 같은 기존의 알고리즘들은 지역적 최소 해에 수렴될 문제와 사전에 클러스터 개수를 결정해야 하는 문제점을 가지고 있다. 본 논문에서는 병렬 탐색을 통해 최적 해를 찾는 진화 알고리즘을 사용하여 지역적 최소 해에 수렴되는 문제점을 개선하였으며, 클러스터의 특성을 표준편차 벡터를 계산하여 중심으로부터 포함된 데이터가 얼마나 분포되어 있는지 알 수 있는 분산도와 임의의 데이터와 모든 중심들간의 거리의 비율로서 얻어지는 소속정도를 고려하여 클러스터간의 간격을 알 수 있는 분리도를 정의함으로써 자동으로 클러스터 개수를 결정할 수 있게 하였다. 실험데이터와 가우시안 분포에 의해 생성된 다차원 실험데이터를 사용하여 제안한 알고리즘이 이러한 문제점들을 해결하고 있음을 보인다.

  • PDF