• 제목/요약/키워드: Multiple clustering

검색결과 357건 처리시간 0.028초

병렬 프로그램 로그 군집화 기반 작업 실행 시간 예측모형 연구 (Runtime Prediction Based on Workload-Aware Clustering)

  • 김은혜;박주원
    • 산업경영시스템학회지
    • /
    • 제38권3호
    • /
    • pp.56-63
    • /
    • 2015
  • Several fields of science have demanded large-scale workflow support, which requires thousands of CPU cores or more. In order to support such large-scale scientific workflows, high capacity parallel systems such as supercomputers are widely used. In order to increase the utilization of these systems, most schedulers use backfilling policy: Small jobs are moved ahead to fill in holes in the schedule when large jobs do not delay. Since an estimate of the runtime is necessary for backfilling, most parallel systems use user's estimated runtime. However, it is found to be extremely inaccurate because users overestimate their jobs. Therefore, in this paper, we propose a novel system for the runtime prediction based on workload-aware clustering with the goal of improving prediction performance. The proposed method for runtime prediction of parallel applications consists of three main phases. First, a feature selection based on factor analysis is performed to identify important input features. Then, it performs a clustering analysis of history data based on self-organizing map which is followed by hierarchical clustering for finding the clustering boundaries from the weight vectors. Finally, prediction models are constructed using support vector regression with the clustered workload data. Multiple prediction models for each clustered data pattern can reduce the error rate compared with a single model for the whole data pattern. In the experiments, we use workload logs on parallel systems (i.e., iPSC, LANL-CM5, SDSC-Par95, SDSC-Par96, and CTC-SP2) to evaluate the effectiveness of our approach. Comparing with other techniques, experimental results show that the proposed method improves the accuracy up to 69.08%.

퍼지모델을 이용한 유사성 기반의 동적 클러스터링 (Similarity-based Dynamic Clustering Using Radar Reflectivity Data)

  • 이한수;김수대;김용현;김성신
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2011년도 추계학술대회
    • /
    • pp.219-222
    • /
    • 2011
  • 어떠한 객체의 움직임을 추적하거나 상태변화를 추정하기 위해서 사용하는 방법으로는 칼만필터, 파티클 필터, 동적 클러스터링 등이 있다. 이 중 동적클러스터링 기법은 여러 프레임에 걸쳐 클러스터를 추적하고 변화 경향을 분석하는데 유용한 방법이다. 본 논문에서는 유사성 기반의 동적 클러스터링 방법을 제안하고 시뮬레이션 하여 검증하였다. 제안한 동적 클러스터링 방법은 연속된 각 프레임에 대해 유사한 특성을 가지는 클러스터를 인접한 프레임에 걸쳐 동일한 클러스터로 판단하는 방법이다. 각 정지 프레임에서의 클러스터의 특성을 이용하여 프레임의 변화를 분석하고 유사성이 높은 클러스터들을 동일 클러스터로 지정하였다. 유사성 판단 방법은 Mamdani방식의 퍼지 모델을 제안하였다. 제안한 알고리즘은 시간에 대해 연속성을 가진 레이더 반사도 데이터에 적용하였고 시간의 흐름에 따른 클러스터의 변화를 관측할 수 있었다.

  • PDF

k-최근접 템플릿기반 다중 분류기 결합방법 (Multiple Classifier Fusion Method based on k-Nearest Templates)

  • 민준기;조성배
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제14권4호
    • /
    • pp.451-455
    • /
    • 2008
  • 본 논문에서는 다중 분류기를 효과적으로 결합하기 위하여 k-최근접 템플릿방법을 제안한다. 이는 하나의 클래스를 여러개의 템플릿으로 모델링하기 위하여 분류기의 출력값을 기반으로 각 클래별 학습 샘플들을 여러개의 하위클래스로 분해하고, 각 하위클래스별 분류기 출력값의 평균을 계산하여 지역화된 템플릿을 생성한다. 그 뒤 평가샘플과 각 템플릿간의 거리를 계산하고, k개의 최근접 템플릿들 중 가장 많은 비율을 차지하는 클래스로 평가샘플을 분류한다. 본 논문에서는 클래스 분해를 위해 C-means 클러스터링 알고리즘을 이용하였으며, k값은 주어진 데이타 셋의 클래스 내 밀집도와 클래스 간 분리도에 따라 자동으로 결정하였다. 제안하는 방법은 각 클래스별로 여러 개의 모델을 사용하며, 이들 중 가장 유사한 하나의 모델과 매칭하는 대신 k개의 모델을 참조하기 때문에 안정적이고 높은 분류성능을 획득할 수 있다. 본 논문에서는 UCI와 ELENA데이타베이스를 이용한 실험을 통해 제안하는 방법이 기존의 결합 방법들에 비해 우수한 분류성능을 보임을 확인하였다.

Damage detection in structural beam elements using hybrid neuro fuzzy systems

  • Aydin, Kamil;Kisi, Ozgur
    • Smart Structures and Systems
    • /
    • 제16권6호
    • /
    • pp.1107-1132
    • /
    • 2015
  • A damage detection algorithm based on neuro fuzzy hybrid system is presented in this study for location and severity predictions of cracks in beam-like structures. A combination of eigenfrequencies and rotation deviation curves are utilized as input to the soft computing technique. Both single and multiple damage cases are considered. Theoretical expressions leading to modal properties of damaged beam elements are provided. The beam formulation is based on Euler-Bernoulli theory. The cracked section of beam is simulated employing discrete spring model whose compliance is computed from stress intensity factors of fracture mechanics. A hybrid neuro fuzzy technique is utilized to solve the inverse problem of crack identification. Two different neuro fuzzy systems including grid partitioning (GP) and subtractive clustering (SC) are investigated for the highlighted problem. Several error metrics are utilized for evaluating the accuracy of the hybrid algorithms. The study is the first in terms of 1) using the two models of neuro fuzzy systems in crack detection and 2) considering multiple damages in beam elements employing the fused neuro fuzzy procedures. At the end of the study, the developed hybrid models are tested by utilizing the noise-contaminated data. Considering the robustness of the models, they can be employed as damage identification algorithms in health monitoring of beam-like structures.

울산 지역 암석 시료의 스펙트럼 특성과 이의 Clustering 응용 (The Clustering Application of Spectral Characteristics of Rock Samples from Ulsan)

  • 박종남;김지훈
    • 대한원격탐사학회지
    • /
    • 제6권2호
    • /
    • pp.115-133
    • /
    • 1990
  • Study was made on the spectral characteristics of rock samples including bentonites collected from the northern Ulsan area. The geology of the area consists mainly of sediments of the Kyongsang Series and Bulguksa granite, the Tertiary volcanics, andesites and tuffs. Relative reflectances of meshed samples(2.5~10mm) to BaSO$_4$ are measured at 6 Landsat TM spectral windows (excluding the thermal band) with HHRR, and their reflection charactristics were analysed. In addition, three different data selection schemes including the Eulidean distance, multiple regression, and PCA weight methods were applied to the 30 TM ratio channels, derived from the above 6 bands. The selected data sets were subject to two unsupervised classification techniques(FA and ISODATA) in order to compare the effectiveness for classification of particularly bentonite from others. As a result, in ISODATA analysis the multiple regression model shows the best, followed by the Euliean distances one. The PCA weight model seems to show some confusion. In FA, though difficult for quantitative analysis, the best still seems to be the regression model. Among ratio bands, rations of band 7 or 5 against other bands represent the best contribution in classification of bentonites from others.

Advanced Bounding Box Prediction With Multiple Probability Map

  • Lee, Poo-Reum;Kim, Yoon
    • 한국컴퓨터정보학회논문지
    • /
    • 제22권12호
    • /
    • pp.63-68
    • /
    • 2017
  • In this paper, we propose a bounding box prediction algorithm using multiple probability maps to improve object detection result of object detector. Although the performance of object detectors has been significantly improved, it is still not perfect due to technical problems and lack of learning data. Therefore, we use the result correction method to obtain more accurate object detection results. In the proposed algorithm, the preprocessed bounding box created as a result of object detection by the object detector is clustered in various form, and a conditional probability is given to each cluster to make multiple probability map. Finally, multiple probability map create new bounding box of object using morphological elements. Experiment results show that the newly predicted bounding box reduces the error in ground truth more than 45% on average compared to the previous bounding box.

Coupling Particles Swarm Optimization for Multimodal Electromagnetic Problems

  • Pham, Minh-Trien;Song, Min-Ho;Koh, Chang-Seop
    • Journal of Electrical Engineering and Technology
    • /
    • 제5권3호
    • /
    • pp.423-430
    • /
    • 2010
  • Particle swarm optimization (PSO) algorithm is designed to find a single global optimal point. However, the PSO needs to be modified in order to find multiple optimal points of a multimodal function. These modifications usually divide a swarm of particles into multiple subswarms; in turn, these subswarms try to find their own optimal point, resulting in multiple optimal points. In this work, we present a new PSO algorithm, called coupling PSO to find multiple optimal points of a multimodal function based on coupling particles. In the coupling PSO, each main particle may generate a new particle to form a couple, after which the couple searches its own optimal point using non-stop-moving PSO algorithm. We tested the suggested algorithm and other ones, such as clustering PSO and niche PSO, over three analytic functions. The coupling PSO algorithm was also applied to solve a significant benchmark problem, the TEAM workshop problem 22.

퍼지 클러스터링 기반의 국소평가 유전자 알고리즘 (Partially Evaluated Genetic Algorithm based on Fuzzy Clustering)

  • 유시호;조성배
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권9호
    • /
    • pp.1246-1257
    • /
    • 2004
  • 유전자 알고리즘은 원하는 최적해를 찾기 위해서 개체 집단의 크기를 가능한 크게 유지하여야 한다. 하지만 실제 문제에서 개체의 적합도를 평가하는 것이 어려운 경우가 많기 때문에 큰 집단의 모든 개체에 대하여 적합도를 평가하는 것은 많은 시간과 비용을 요구한다. 이에 본 논문에서는 집단의 크기를 크게 유지하되 클러스터링에 의해 대표 개체만을 평가함으로써 효율을 높이는 퍼지 글러스터링 기반의 국소 평가 유전자 알고리즘을 제안한다. 나머지 개체들은 대표 개체로부터 간접적으로 적합도를 분배받는다. 다수의 집단에 소속되는 개체들의 경우, 하드 클러스터링 방법으로는 정확한 적합도 분배를 하기 어렵기 때문에 퍼지 c-means 알고리즘을 사용하였고, 클러스터 결과인 퍼지 소속 행렬에 의해 적합도를 배분하였다. 9개의 벤치마크 적합도 함수에 대하여 6가지 하드 클러스터링 알고리즘을 적용한 유클리디안 거리와 피어슨 상관계수에 의한 적합도 배분 방법과 본 논문에서 제안하는 방법을 비교 실천한 결과, 제안한 방법의 우수한 성능을 확인할 수 있었다.

무선 센서 네트워크에서 네트워크 트래픽 감소를 위한 데이타 중심 클러스터링 알고리즘 (A Data-Centric Clustering Algorithm for Reducing Network Traffic in Wireless Sensor Networks)

  • 여명호;이미숙;박종국;이석재;유재수
    • 한국정보과학회논문지:정보통신
    • /
    • 제35권2호
    • /
    • pp.139-148
    • /
    • 2008
  • 센서 네트워크를 사용하는 응용분야에 따라 보다 고차원적인 데이타 처리를 필요로 하는 경우 모든 센서 노드의 수집 데이타를 싱크 노드로 전송한다. 수집된 데이타는 일반적으로 센서 네트워크의 환경적인 특성상 시간적으로 혹은 공간적으로 연관성을 지닌다. 이러한 연관성은 싱크 노드가 일부의 데이터만 수집하고도 모든 데이타를 복원할 수 있는 기회를 제공한다. 센서 네트워크에서는 데이타 수집을 위한 기법으로 클러스터링 기법을 널리 사용한다. 하지만 기존의 클러스터링 기법의 경우 수집한 데이타의 연관성을 고려하지 않고, 센서 노드의 지역성(locality)만을 고려하여 클러스터를 생성하기 때문에 이러한 기회를 활용하기에 비효율적이다. 본 논문에서는 수집된 데이타를 중심으로 클러스터를 생성하고, 싱크 노드로 전송되는 데이타의 크기를 획기적으로 줄일 수 있는 클러스터링 기법을 제안한다 제안하는 클러스터링 기법의 우수함을 보이기 위해 시뮬레이션을 통한 성능 평가를 수행하였으며, 그 결과 기존 기법들에 비해 네트워크 트래픽이 약 $4{\sim}40%$ 감소하고, 네트워크의 수명이 약 $20{\sim}30%$ 연장되었다.