• 제목/요약/키워드: distributed computing cluster

검색결과 89건 처리시간 0.025초

Fast Circuit Simulation Based on Parallel-Distributed LIM using Cloud Computing System

  • Inoue, Yuta;Sekine, Tadatoshi;Hasegawa, Takahiro;Asai, Hideki
    • JSTS:Journal of Semiconductor Technology and Science
    • /
    • 제10권1호
    • /
    • pp.49-54
    • /
    • 2010
  • This paper describes a fast circuit simulation technique using the latency insertion method (LIM) with a parallel and distributed leapfrog algorithm. The numerical simulation results on the PC cluster system that uses the cloud computing system are shown. As a result, it is confirmed that our method is very useful and practical.

클라우드 컴퓨팅에서 Hadoop 애플리케이션 특성에 따른 성능 분석 (A Performance Analysis Based on Hadoop Application's Characteristics in Cloud Computing)

  • 금태훈;이원주;전창호
    • 한국컴퓨터정보학회논문지
    • /
    • 제15권5호
    • /
    • pp.49-56
    • /
    • 2010
  • 본 논문에서는 클라우드 컴퓨팅을 위해 Hadoop 기반의 클러스터를 구축하고, RandomTextWriter, WordCount, PI 애플리케이션을 수행함으로써 애플리케이션 특성에 따른 클러스터의 성능을 평가한다. RandomTextWriter는 주어진 용량만큼 임의의 단어를 생성하여 HDFS에 저장하는 애플리케이션이고, WordCount는 입력 파일을 읽어서 블록 단위로 단어 빈도수를 계산하는 애플리케이션이다. 그리고 PI는 몬테카를로법을 사용하여 PI 값을 유도하는 애플리케이션이다. 이러한 애플리케이션을 실행시키면서 데이터 블록 크기와 데이터 복제본 수 증가에 따른 애플리케이션의 수행시간을 측정한다. 시뮬레이션을 통하여 RandomTextWriter 애플리케이션은 데이터 복제본 수 증가에 비례하여 수행시간이 증가함을 알 수 있었다. 반면에 WordCount와 PI 애플리케이션은 데이터 복제본 수에 큰 영향을 받지 않았다. 또한 WordCount 애플리케이션은 블록 크기가 64~256MB 일 때 최적의 수행시간을 얻을 수있었다. 따라서 이러한 애플리케이션의 특성을 고려한 스케줄링 정책을 개발한다면 애플리케이션의 실행시간을 단축하여 클라우드 컴퓨팅 시스템의 성능을 향상시킬 수 있음을 보인다.

Co-allocation 환경의 그리드 시스템에서 통신비용에 따른 스케줄링 알고리즘의 성능 분석 (Performance Evaluation of Scheduling Algorithms according to Communication Cost in the Grid System of Co-allocation Environment)

  • 강오한;강상성;김진석
    • 정보처리학회논문지A
    • /
    • 제14A권2호
    • /
    • pp.99-106
    • /
    • 2007
  • 지역적으로 분산되어 있는 이기종의 시스템들을 하나로 묶어 사영하는 그리드 컴퓨팅이 차세대 병렬.분산 연산을 위한 새로운 패러다임으로 관심을 끌고 있다. 고속 네트워크로 연결된 다수의 컴퓨터 시스템이 사용자에게 통합된 가상의 컴퓨팅 서비스를 제공하는 그리드 시스템은 통신비용에 대한 중요성이 매우 크다. 따라서 그리드 환경에서 스케줄링 알고리즘은 작업의 실행시간을 단축하기 위하여 자원들의 연산능력과 함께 통신에 대한 비용을 고려하여야 한다. 그러나 현재까지 발표된 대부분의 스케줄링 알고리듬들은 작업이 한 클러스터에서 처리되는 것을 가정함으로써 통신비용을 무시하였으며, 작업이 다수의 클러스터에 분산되어 처리되는 경우에도 통신비용에 관한 오버헤드를 고려하지 않았다. 본 논문에서는 그리드 시스템에 적합한 기존 스케줄링 알고리즘들의 성능을 분석하였으며, 작업이 다수의 클러스터에 분산되어 수행되는 co-allocation 환경에서 통신비용을 고려하여 알고리즘들의 성능을 비교하고 분석하였다.

KubEVC-Agent : 머신러닝 추론 엣지 컴퓨팅 클러스터 관리 자동화 시스템 (KubEVC-Agent : Kubernetes Edge Vision Cluster Agent for Optimal DNN Inference and Operation)

  • 송무현;김규민;문지훈;김유림;남채원;박종빈;이경용
    • 대한임베디드공학회논문지
    • /
    • 제18권6호
    • /
    • pp.293-301
    • /
    • 2023
  • With the advancement of artificial intelligence and its various use cases, accessing it through edge computing environments is gaining traction. However, due to the nature of edge computing environments, efficient management and optimization of clusters distributed in different geographical locations is considered a major challenge. To address these issues, this paper proposes a centralization and automation tool called KubEVC-Agent based on Kubernetes. KubEVC-Agent centralizes the deployment, operation, and management of edge clusters and presents a use case of the data transformation for optimizing intra-cluster communication. This paper describes the components of KubEVC-Agent, its working principle, and experimental results to verify its effectiveness.

하둡 클러스터의 대역폭을 고려한 압축 데이터 전송 및 저장 기법 (Data Transmitting and Storing Scheme based on Bandwidth in Hadoop Cluster)

  • 김용민;김희진;김영관;홍지만
    • 스마트미디어저널
    • /
    • 제8권4호
    • /
    • pp.46-52
    • /
    • 2019
  • 산업 현장과 공공 기관에서 생성 및 수집되는 데이터의 크기가 빠르게 증가하고 있다. 기존의 데이터 처리 서버는 스케일업 방식으로 성능을 높여 증가하는 데이터를 처리하였다. 그러나 데이터의 생성 속도가 폭증하는 빅데이터 시대에는 기존 방식의 서버로는 데이터 처리에 한계가 있다. 이러한 한계를 극복하기 위해 스케일 아웃 방식으로 데이터를 분산 처리하는 분산 클러스터 컴퓨팅 시스템이 등장하게 되었다. 그러나 분산 클러스터 컴퓨팅 시스템은 데이터를 분산 처리하기 때문에 네트워크 대역폭을 비효율적으로 사용할 경우 클러스터 전체의 성능을 하락시킬 수 있다. 본 논문에서는 네트워크 대역폭을 고려하여 하둡 클러스터에서 데이터 전송 시 데이터를 압축 전송하는 기법을 제안한다. 제안 기법은 네트워크 대역폭과 압축 알고리즘의 특징을 고려하여 최적의 압축 전송 기법을 선정 후 전송한다. 실험 결과는 제안 기법을 사용할 경우 데이터 전송 시간과 크기를 감소시킨 것을 보여준다.

Debugging of Parallel Programs using Distributed Cooperating Components

  • Mrayyan, Reema Mohammad;Al Rababah, Ahmad AbdulQadir
    • International Journal of Computer Science & Network Security
    • /
    • 제21권12spc호
    • /
    • pp.570-578
    • /
    • 2021
  • Recently, in the field of engineering and scientific and technical calculations, problems of mathematical modeling, real-time problems, there has been a tendency towards rejection of sequential solutions for single-processor computers. Almost all modern application packages created in the above areas are focused on a parallel or distributed computing environment. This is primarily due to the ever-increasing requirements for the reliability of the results obtained and the accuracy of calculations, and hence the multiply increasing volumes of processed data [2,17,41]. In addition, new methods and algorithms for solving problems appear, the implementation of which on single-processor systems would be simply impossible due to increased requirements for the performance of the computing system. The ubiquity of various types of parallel systems also plays a positive role in this process. Simultaneously with the growing demand for parallel programs and the proliferation of multiprocessor, multicore and cluster technologies, the development of parallel programs is becoming more and more urgent, since program users want to make the most of the capabilities of their modern computing equipment[14,39]. The high complexity of the development of parallel programs, which often does not allow the efficient use of the capabilities of high-performance computers, is a generally accepted fact[23,31].

분산 클러스터 메모리 기반 대용량 OWL Horst Lite 온톨로지 추론 기법 (A Scalable OWL Horst Lite Ontology Reasoning Approach based on Distributed Cluster Memories)

  • 김제민;박영택
    • 정보과학회 논문지
    • /
    • 제42권3호
    • /
    • pp.307-319
    • /
    • 2015
  • 현재 대용량 온톨로지를 추론하기 위해 하둡 기반의 분산 클러스터 환경을 구축한 후, 맵-리듀스 알고리즘을 기반으로 추론을 수행하는 방식이 활발히 연구되고 있다. 그러나 본 논문에서는 분산 클러스터의 메모리 환경에서 대용량 OWL Horst Lite 온톨로지 추론을 위한 기법을 제안한다. 대용량 온톨로지 추론에 사용되는 규칙 기반 추론 방식은 데이터가 더 이상 추론 되지 않을 때까지 트리플 형식으로 표현된 온톨로지에 추론 규칙을 반복적으로 수행한다. 따라서 컴퓨터 디스크에 적재된 대용량의 온톨로지를 대상으로 추론을 수행하면 추론 시스템의 성능이 상당히 저하된다. 이러한 단점을 극복하기 위해서 본 논문에서는 메모리 기반의 분산 클러스터 프레임워크인 Spark를 기반으로 온톨로지를 메모리에 적재한 후, 추론을 수행하는 기법을 제안한다. Spark에 적합한 OWL Horst Lite 온톨로지 추론 시스템을 구현하기 위해서 대용량 온톨로지를 적절한 크기의 블록으로 분할한 후, 각각의 블록을 분산 클러스터를 구성하는 각 노드의 메모리에 분산 적재하여 작업을 수행하는 방법론을 제안하였다. 제안하는 기법의 효율성을 검증하기 위해, 온톨로지 추론과 검색 속도를 평가하는 공식 데이터인 LUBM을 대상으로 실험하였다. 대표적인 맵-리듀스 기반 온톨로지 추론 엔진인 WebPIE와 비교 실험한 결과, LUBM8000(11억개 트리플, 155GB)에 대해서 WebPIE의 추론 처리량이 19k/초보다 3.2배 개선된 62k/초의 성능 향상이 있었다.

소규모 클러스터 시스템에서의 PVFS 성능 최적화에 관한 연구 (An Analysis of PVFS Performance Optimization on Small Cluster System)

  • 조혜영;차광호;김성호
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2007년도 추계 종합학술대회 논문집
    • /
    • pp.547-549
    • /
    • 2007
  • 고속 네트워크로 연결된 병렬 컴퓨터 및 클러스터 시스템의 응용 분야가 다양화되고 사용자가 증가함에 따라 분산 및 병렬 파일 시스템에 대한 관심이 높아지고 있다. 특히 복잡한 네트워크로 구성된 클러스터 시스템을 보다 효율적으로 사용하기 위해서 분산 및 병렬 파일 시스템의 성능을 최적화하려는 많은 연구가 진행 중이다. 본 논문에서는 소규모 클러스터 시스템에서 널리 사용되고 있는 파일 시스템인 PVFS(Parallel Virtual File System)의 성능을 분석하고, 주어진 네트워크 환경에 따라 성능을 최적화할 수 있는 방법인 FlowBuffer의 따른 변화에 PVFS의 성능을 비교 분석하였다.

  • PDF

클라우드 데이터 서비스를 위한 대용량 데이터 처리 분산 파일 아키텍처 설계 (Distributed File Systems Architectures of the Large Data for Cloud Data Services)

  • 이병엽;박준호;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제12권2호
    • /
    • pp.30-39
    • /
    • 2012
  • 최근 클라우드 컴퓨팅 시장에 진출했거나 진출을 선언한 글로벌 IT 기업들을 이미 보유하고 있는 하드웨어, 소프트웨어 기반 기술들을 활용하거나 상호 협력을 통해 다양한 클라우드 서비스들을 제공함으로써 불특정 다수를 대상으로 급격하게 성장하고 있는 클라우드 컴퓨팅 시장에서 자신들의 영역을 지속적으로 확장해 나가고 있다. 분산 파일 시스템은 데이터의 저장과 관리뿐만 아니라 상위 계층 서비스가 요구하는 충분한 성능과 안정성을 보장해주기 위한 클라우드 컴퓨팅의 핵심 기술 중의 하나이다. 본 논문 에서는 클라우드 컴퓨팅을 위해 분산 파일 시스템이 갖추어야 할 사항들과 클라우드 컴퓨팅에서 활용 가능한 오픈 소스 기반의 하둡 분산 파일 시스템, 메모리 데이터베이스 기술, 고가용성 데이터베이스 시스템을 소개하고 현재 클라우드 컴퓨팅 시장에서 활용되고 있는 분산 파일 시스템의 동향을 통한 다양한 분산처리 기술을 참고하여 대용량 분산 데이터 처리 아키텍처를 구현하였다.

고가용성 솔루션 구축을 위한 그리드 측면에서의 소프트웨어 아키텍처를 통한 로드밸랜싱 구현 (Software Architecture for Implementing the Grid Computing of the High Availability Solution through Load Balancing)

  • 이병엽;박준호;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제11권3호
    • /
    • pp.26-35
    • /
    • 2011
  • 인터넷 환경의 급속한 발전과 더불어 국내외 미션 크리티컬한 비즈니스 환경이 온라인에 의해 서비스되고 있다. 반면 단일 환경 서버환경의 구축을 통해 비효율적인 IT Resources들의 자원 낭비가 가중되고 있는 현실이다. 따라서 웹 환경을 통해 처리되어야 할 정보의 양의 급증과, 이의 처리를 위해 여러 개의 단일 서버를 고속의 네트워크로 연결한 고가용성 구현이 가능한 클러스터 컴퓨팅 시스템이 등장하게 되었다. 하지만 클러스터 컴퓨팅 기술의 다소 제한적인 IT Resource의 단점을 가지고 있다. 이러한 단점을 보완하기 위하여 그리드 컴퓨팅 환경은 기존의 분산 컴퓨팅 기술의 확장된 개념으로, 다양한 분야에서 저비용의 고성능 컴퓨팅 퍼포먼스를 얻기 위하여 그리드를 이용하고 있다. 그러나 공통적으로 이용할 수 있는 정보 시스템의 부재로, 현재의 그리드는 대규모의 단일한 환경으로서의 그리드가 아닌, 기존의 클러스터 컴퓨터와 같은 의미로 사용되고 있다. 따라서 자신이 구성한 분산 컴퓨팅 환경을 그리드 환경의 한 부분으로 포함시키기 위해서는 컴퓨팅 환경에 대한 정보를 그리드의 이용자가 공유할 수 있어야 하며, 정보 서비스를 공개하여 공유할 수 있도록 해야 한다. 본 논문에서는 Grid 기술을 통하여 데티터베이스 로드밸런싱 목표치에 대한 검증을 제시하고 향후 고가용성 데이터베이스 구현을 위한 아키텍처를 제시한다.