• 제목/요약/키워드: parallel clustering

검색결과 105건 처리시간 0.036초

PC-Clustering과 병렬가상장치에 의한 수치계산용 슈퍼컴퓨팅 PC 시스템 구축과 성능 테스트 (Construction and Performance Test of a Supercomputing PC System using PC-clustering and Parallel Virtual Machine)

  • 홍우표;김종재;오광식
    • Journal of the Korean Data and Information Science Society
    • /
    • 제10권2호
    • /
    • pp.473-483
    • /
    • 1999
  • Linux 운영체계를 기반으로 한 PC 시스템을 고가의 상용 워크스테이션에 필적하도록 성능을 극대화하고, 각 단위 Linux PC 시스템을 네트워크를 통해 CPU와 memory를 공유하게 하는 병렬가상장치(PVM: Parallel Virtual Machine) 방식의 소프트웨어를 사용하여 군집(clustering)함으로써 슈퍼 컴퓨터급 기능을 발휘하는 분산형 PC 시스템을 시험 구축하였다. 구축된 시스템의 성능을 PVM 방식의 병렬프로그램을 사용하여 벤치마킹 해본 결과, 병렬효율 (parallel efficiency)이 90%급에 접근함을 확인하였다.

  • PDF

집단화를 위한 병렬 알고리즘의 구현 (Parallel Algorithm For Level Clustering)

  • 배용근
    • 한국정보처리학회논문지
    • /
    • 제2권2호
    • /
    • pp.148-155
    • /
    • 1995
  • 많은 양의 패턴들을 분석할 때, 이 패턴들을 어떤 평가함수에 의해서 여러 군으로 집단화할 필요가 있다. 이 과정은 입력 패턴의 수가 많을 경우 상당한 량의 계산을 필 요로 하며, 이를 위한 병렬화 알고리즘이 요구된다. 이 문제를 해결하기 위하여 본 논 문은 K-means 알고리즘을 병렬화한 병렬 집단화 알고리즘을 제안하고, 메세지 전송을 근간으로 하는 MIMD 병렬 컴퓨터하에서 이를 수행하였다. 실험 및 성능 분석을 통하여 입력 패턴이 많을 경우, 본 병렬 알고리즘이 적절함을 알 수 있었다.

  • PDF

병렬 프로그램 로그 군집화 기반 작업 실행 시간 예측모형 연구 (Runtime Prediction Based on Workload-Aware Clustering)

  • 김은혜;박주원
    • 산업경영시스템학회지
    • /
    • 제38권3호
    • /
    • pp.56-63
    • /
    • 2015
  • Several fields of science have demanded large-scale workflow support, which requires thousands of CPU cores or more. In order to support such large-scale scientific workflows, high capacity parallel systems such as supercomputers are widely used. In order to increase the utilization of these systems, most schedulers use backfilling policy: Small jobs are moved ahead to fill in holes in the schedule when large jobs do not delay. Since an estimate of the runtime is necessary for backfilling, most parallel systems use user's estimated runtime. However, it is found to be extremely inaccurate because users overestimate their jobs. Therefore, in this paper, we propose a novel system for the runtime prediction based on workload-aware clustering with the goal of improving prediction performance. The proposed method for runtime prediction of parallel applications consists of three main phases. First, a feature selection based on factor analysis is performed to identify important input features. Then, it performs a clustering analysis of history data based on self-organizing map which is followed by hierarchical clustering for finding the clustering boundaries from the weight vectors. Finally, prediction models are constructed using support vector regression with the clustered workload data. Multiple prediction models for each clustered data pattern can reduce the error rate compared with a single model for the whole data pattern. In the experiments, we use workload logs on parallel systems (i.e., iPSC, LANL-CM5, SDSC-Par95, SDSC-Par96, and CTC-SP2) to evaluate the effectiveness of our approach. Comparing with other techniques, experimental results show that the proposed method improves the accuracy up to 69.08%.

센서 네트워크를 위한 계층적 라우팅 프로토콜의 성능 분석 (Performance Analysis of Hierarchical Routing Protocols for Sensor Network)

  • 서병석;윤상현;김종현
    • 한국시뮬레이션학회논문지
    • /
    • 제21권4호
    • /
    • pp.47-56
    • /
    • 2012
  • 본 연구에서는 센서 네트워크용 병렬 시뮬레이터인 PASENS(Parallel SEnsor Network Simulator)를 이용하여 센서 네트워크에 이용되는 라우팅 알고리즘 중에서 계층적 라우팅 프로토콜의 대표적인 방식인 LEACH(Low-Energy Adaptive Clustering Hierarchy)와 그의 변형인 TL-LEACH(Two Level Low-Energy Adaptive Clustering Hierarchy), M-LEACH(Multihop Low-Energy Adaptive Clustering Hierarchy), 그리고 LEACH-C(LEACH-Centralized)의 전력 소모량과 데이터의 수신율을 비교하고 분석하였다. 시뮬레이션을 이용한 분석 결과에 따르면, M-LEACH 라우팅 프로토콜의 경우에는 여러 센서 노드들을 통하여 데이터가 전달되기 때문에 일정한 크기 이상의 넓은 공간에서 높은 수신율을 보였으며, LEACH-C 라우팅 프로토콜은 싱크 노드(서버)가 전체 센서 노드의 잔여 에너지와 위치를 고려하여 클러스터 헤드를 결정하기 때문에 좁은 공간에서 보다 오랜 수명을 필요로 하는 센서 네트워크를 구축하는데 가장 효율적이라는 것을 확인 할 수 있었다.

다중프로세서를 갖는 유방향무환그래프 모델의 스케쥴링을 위한 유전알고리즘을 이용한 선형 클러스터링 해법 (A Linear Clustering Method for the Scheduling of the Directed Acyclic Graph Model with Multiprocessors Using Genetic Algorithm)

  • 성기석;박지혁
    • 대한산업공학회지
    • /
    • 제24권4호
    • /
    • pp.591-600
    • /
    • 1998
  • The scheduling of parallel computing systems consists of two procedures, the assignment of tasks to each available processor and the ordering of tasks in each processor. The assignment procedure is same with a clustering. The clustering is classified into linear or nonlinear according to the precedence relationship of the tasks in each cluster. The parallel computing system can be modeled with a Directed Acyclic Graph(DAG). By the granularity theory, DAG is categorized into Coarse Grain Type(CDAG) and Fine Grain Type(FDAG). We suggest the linear clustering method for the scheduling of CDAG using the genetic algorithm. The method utilizes a properly that the optimal schedule of a CDAG is one of linear clustering. We present the computational comparisons between the suggested method for CDAG and an existing method for the general DAG including CDAG and FDAG.

  • PDF

지적 구조 분석을 위한 새로운 클러스터링 기법에 관한 연구 (A novel clustering method for examining and analyzing the intellectual structure of a scholarly field)

  • 이재윤
    • 정보관리학회지
    • /
    • 제23권4호
    • /
    • pp.215-231
    • /
    • 2006
  • 패스파인더 네트워크를 사용하여 지적 구조의 분석과 규명을 시도한 여러 연구가 발표되었다. 패스파인더 네트워크는 다차원척도법에 비해서 여러 장점을 가지고 있지만 구축 알고리즘의 복잡도가 매우 높아서 실행 시간이 오래 걸리며, 전통적인 지적 구조 분석에 유용하게 사용되어온 군집분석을 함께 적용하기가 어려운 것이 단점이다. 이 연구에서는 이와 같은 패스파인더 네트워크의 약점을 보완할 수 있는 새로운 기법으로 병렬최근접이웃클러스터링(PNNC) 기법을 제안하였다. PNNC 기법의 클러스터링 성능을 전통적인 계층적 병합식 클러스터링 기법들과 비교해본 결과 효과성과 효율성 양면에서 기존 기법보다 우세한 것으로 확인되었다.

대용량 위성영상의 무감독 분류를 위한 k-Means Clustering 알고리즘의 병렬처리: 다중코어와 PC-Cluster를 이용한 Hybrid 방식 (Parallel Processing of k-Means Clustering Algorithm for Unsupervised Classification of Large Satellite Images: A Hybrid Method Using Multicores and a PC-Cluster)

  • 한수희;송정헌
    • 한국측량학회지
    • /
    • 제37권6호
    • /
    • pp.445-452
    • /
    • 2019
  • 본 연구에서는 대용량 위성영상의 무감독분류를 위해 k-means clustering 알고리즘의 병렬처리 코드를 개발하여 PC-cluster에서 구현하였다. 이를 위해 OpenMP (Open Multi-Processing)를 기반으로 CPU (Central Processing Unit)의 다중코어를 이용하는 intra-node 코드와 message passing interface를 기반으로 PC-cluster를 이용하는 inter-nodes 코드, 그리고 이 둘을 병용하는 hybrid 코드를 구현하였다. 본 연구에 사용한 PC-cluster는 한 대의 마스터 노드와 여덟 대의 슬래이브 노드로 구성되어 있고 각 노드에는 여덟 개의 다중코어가 장착되어 있다. PC-cluster에는 Microsoft Windows와 Canonical Ubuntu의 두 가지 운영체제를 설치하여 병렬처리 성능을 비교하였다. 실험에 사용한 자료는 두 가지 다중분광 위성영상으로서 중용량인 LANDSAT 8 OLI (Operational Land Imager) 영상과 대용량인 Sentinel 2A 영상이다. 병렬처리의 성능을 평가하기 위하여 speedup과 efficiency를 측정한 결과 전반적으로 speedup은 N/2 이상, efficiency는 0.5 이상으로 나타났다. Microsoft Windows와 Canonical Ubuntu를 비교한 결과 Ubuntu가 2-3배의 빠른 결과를 나타내었다. 순차처리와 병렬처리 결과가 일치하는지 확인하기 위해 각 클래스의 밴드별 중심값과 분류된 화소의 수를 비교하고 결과 영상간 화소대 화소 비교도 수행하였다. Intra-node 코드를 구현할 때에는 OpenMP에 의한 false sharing이 발생하지 않도록 주의해야 하고, PC-cluster에서 대용량 위성영상을 처리하기 위해서는 파일 I/O에 의한 성능저하를 줄일 수 있도록 코드 및 하드웨어를 설계해야 함을 알 수 있었다. 또한 PC-cluster에 설치된 운영체제에 따라서도 성능 차이가 발생함을 알 수 있었다.

대용량 위성영상의 무감독 분류를 위한 K-means 군집화 알고리즘의 병렬처리 (Parallel Processing of K-means Clustering Algorithm for Unsupervised Classification of Large Satellite Imagery)

  • 한수희
    • 한국측량학회지
    • /
    • 제35권3호
    • /
    • pp.187-194
    • /
    • 2017
  • 본 연구는 대용량 위성영상의 신속한 무감독 분류를 위해 k-means 군집화 알고리즘을 병렬처리하는 방법을 소개한다. K-means 군집화 알고리즘은 대표적인 무감독분류 알고리즘으로서 주로 감독분류의 전처리 단계로 활용되지만 연산 집약적이고 사용자의 개입이 적어 병렬처리의 효과를 분명하게 나타낼 수 있다. 병렬처리 코드는 OpenMP 기반의 멀티쓰레딩을 이용하여 구현하였다. 실험은 1대의 PC에서 시행하였으며 이 PC의 CPU에는 8개의 멀티코어가 집적되어 있다. 실험 영상으로는 7개 밴드로 구성한 30m 해상도의 LANDSAT 8 OLI 영상과 8개 밴드로 구성한 10m 해상도의 Sentinel-2A 영상을 사용하였다. 각각 10개 군집을 사용하여 순차처리 및 병렬처리를 수행한 결과 병렬처리가 순차처리에 비해 6배 내외의 속도를 나타내었다. 순차처리와 병렬처리 결과의 일치성 평가를 위해 각 군집의 중심값과 분류된 화소의 수를 비교하고 분류 결과 영상간 차분을 수행하였고 결과로 모든 정보가 일치하였다. 본 연구는 병렬처리를 통해 대용량 위성영상의 처리 속도를 상당히 향상시킬 수 있음을 입증하고 있다는 점에서 의미가 있다고 판단된다. 아울러 OpenMP 기반의 멀티쓰레드를 이용하면 비교적 쉽게 병렬처리를 구현할 수 있지만 false sharing의 발생을 억제하도록 코드를 설계하는데 주의를 기울여야 함도 확인할 수 있었다.

양측 조립라인 균형문제의 병렬군집 알고리즘 (Parallel Clustering Algorithm for Balancing Problem of a Two-sided Assembly Line)

  • 이상운
    • 한국인터넷방송통신학회논문지
    • /
    • 제22권1호
    • /
    • pp.95-101
    • /
    • 2022
  • NP-난제로 알려진 양측 조립라인 균형문제는 주로 메타휴리스틱 방법들을 적용하여 해를 구하고 있다. 본 논문은 총 작업완료시간 W와 순환시간 c가 주어진 양측 조립라인의 선행순서도에서 좌측, 우측과 좌·우측 무관으로 공정들을 분류하고, 좌측과 우측 각각에 대해 M* = ${\lceil}$W/c${\rceil}$개의 작업대에 Ti = c* ± α < c, c* = ${\lceil}$W/m*${\rceil}$이 되도록 공정들을 할당하는 병렬군집 알고리즘을 제안하였다. 제안된 알고리즘을 4개의 실험데이터, 17개의 c에 적용한 결과, 기존의 메타휴리스틱 방법들에 비해 최소 작업대 수 m*를 구하였으며, Tmax < c로 순환시간을 단축하였다. 또한, 제안된 알고리즘은 휴리스틱 방법임에도 불구하고, 조립라인 효율성의 극대화와 작업자간 작업시간 편차를 최소화시킬 수 있었다.

클러스터링 기법을 이용한 비선형 공정의 병렬구조 모델링 (Parallel Structure Modeling of Nonlinear Process Using Clustering Method)

  • 박춘성;최재호;오성권;안태천
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 1997년도 추계학술대회 학술발표 논문집
    • /
    • pp.383-386
    • /
    • 1997
  • In this paper, We proposed a parallel structure of the Neural Network model to nonlinear complex system. Neural Network was used as basic model which has learning ability and high tolerence level. This paper, we used Neural Network which has BP(Error Back Propagation Algorithm) model. But it sometimes has difficulty to append characteristic of input data to nonlinear system. So that, I used HCM(hard c-Means) method of clustering technique to append property of input data. Clustering Algorithms are used extensively not only to organized categorize data, but are also useful for data compression and model construction. Gas furance, a sewage treatment process are used to evaluate the performance of the proposed model and then obtained higher accuracy than other previous medels.

  • PDF