• 제목/요약/키워드: Cluster Computing

검색결과 425건 처리시간 0.03초

인피니밴드 기반 고성능 클러스터를 위한 효율적인 데이터 선반입 기법 (Efficient Data Pre-fetching Scheme for InfiniBand based High Performance Clusters)

  • 김봉재;정진만;민홍;허준영;정혜동
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권5호
    • /
    • pp.293-298
    • /
    • 2017
  • 최근 고성능 네트워크 기술을 기반으로 다수의 컴퓨터를 활용하여 클러스터를 구축하고 고성능 컴퓨팅 환경을 제공하기 위한 연구가 활발하게 이루어지고 있다. 이와 같은 고성능 클러스터 환경에서 각 컴퓨팅 노드의 데이터 처리 성능을 향상시키기 위하여 Redis, Memcached와 같은 인-메모리 기반 키-값 데이터 저장소를 활용하고 있다. 이를 통해 인-메모리 기반으로 데이터를 분산 저장하고 각 컴퓨팅 노드에서 필요한 데이터를 고속으로 접근할 수 있다. 인피니밴드는 이와 같은 고성능 클러스터에서 각 컴퓨팅 노드를 연결하기 위한 사실상의 표준 기술이다. 본 논문에서는 키-값 데이터 저장소 기반 고성능 클러스터 컴퓨팅 시스템의 데이터 처리 성능을 향상시키기 위해 인피니밴드 네트워크의 데이터 송수신 지연 특성을 활용한 데이터 선반입 기법을 제안한다. 시뮬레이션을 통해 제안 기법이 기존 기법보다 데이터 송수신 소요시간을 최대 약 28% 줄여 컴퓨팅 성능을 향상 시킬 수 있음을 보인다.

클라우드 컴퓨팅에서 Hadoop 애플리케이션 특성에 따른 성능 분석 (A Performance Analysis Based on Hadoop Application's Characteristics in Cloud Computing)

  • 금태훈;이원주;전창호
    • 한국컴퓨터정보학회논문지
    • /
    • 제15권5호
    • /
    • pp.49-56
    • /
    • 2010
  • 본 논문에서는 클라우드 컴퓨팅을 위해 Hadoop 기반의 클러스터를 구축하고, RandomTextWriter, WordCount, PI 애플리케이션을 수행함으로써 애플리케이션 특성에 따른 클러스터의 성능을 평가한다. RandomTextWriter는 주어진 용량만큼 임의의 단어를 생성하여 HDFS에 저장하는 애플리케이션이고, WordCount는 입력 파일을 읽어서 블록 단위로 단어 빈도수를 계산하는 애플리케이션이다. 그리고 PI는 몬테카를로법을 사용하여 PI 값을 유도하는 애플리케이션이다. 이러한 애플리케이션을 실행시키면서 데이터 블록 크기와 데이터 복제본 수 증가에 따른 애플리케이션의 수행시간을 측정한다. 시뮬레이션을 통하여 RandomTextWriter 애플리케이션은 데이터 복제본 수 증가에 비례하여 수행시간이 증가함을 알 수 있었다. 반면에 WordCount와 PI 애플리케이션은 데이터 복제본 수에 큰 영향을 받지 않았다. 또한 WordCount 애플리케이션은 블록 크기가 64~256MB 일 때 최적의 수행시간을 얻을 수있었다. 따라서 이러한 애플리케이션의 특성을 고려한 스케줄링 정책을 개발한다면 애플리케이션의 실행시간을 단축하여 클라우드 컴퓨팅 시스템의 성능을 향상시킬 수 있음을 보인다.

사용자 맞춤형 분산 컴퓨팅을 위한 컨테이너 기반 클러스터 관리 시스템 (Container-based Cluster Management System for User-driven Distributed Computing)

  • 박주원;함재균
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권9호
    • /
    • pp.587-595
    • /
    • 2015
  • 전통적으로 고에너지 물리, 해양, 기상, 천문 우주 등 다양한 과학 분야에서 수천 코어 이상의 CPU를 사용하는 대규모 워크플로우 지원을 요구하고 있으며 이를 위해 대부분 슈퍼컴퓨터와 같은 클러스터 기반의 대용량 시스템이 활용되고 있다. 이러한 시스템은 다수의 사용자 및 기관에 의해 공유되고 있으며, 사용자들의 다양한 요구 사항으로 인해 시스템 운영 및 관리에 많은 어려움이 있다. 본 논문에서는 가상화로 인한 성능 저하 문제를 최소화하고 사용자가 원하는 환경을 동적으로 제공하기 위해 컨테이너 기반 클러스터 관리 플랫폼 방안을 제시하고 구축 사례를 소개한다. 본 논문의 의의는 다음 3가지로 볼 수 있다. 먼저, 컨테이너 기반 가상화 기술과 스케줄러 기능을 연동하여 큰 성능 저하 없이 대규모의 과학워크플로우 지원을 위한 클러스터 구성 및 관리 방안을 제시하였다. 둘째, Docker 와 HTCondor를 활용하여 제시된 방안을 손쉽게 구축한 사례를 소개하였다. 셋째, 널리 활용되는 벤치마크 툴을 이용하여 Docker 성능을 검증하였으며, 다양한 프로그램 언어로 구현된 몬테카를로 시뮬레이션을 통해 과학 워크플로우 지원 예제를 제시하였다.

Co-allocation 환경의 그리드 시스템에서 통신비용에 따른 스케줄링 알고리즘의 성능 분석 (Performance Evaluation of Scheduling Algorithms according to Communication Cost in the Grid System of Co-allocation Environment)

  • 강오한;강상성;김진석
    • 정보처리학회논문지A
    • /
    • 제14A권2호
    • /
    • pp.99-106
    • /
    • 2007
  • 지역적으로 분산되어 있는 이기종의 시스템들을 하나로 묶어 사영하는 그리드 컴퓨팅이 차세대 병렬.분산 연산을 위한 새로운 패러다임으로 관심을 끌고 있다. 고속 네트워크로 연결된 다수의 컴퓨터 시스템이 사용자에게 통합된 가상의 컴퓨팅 서비스를 제공하는 그리드 시스템은 통신비용에 대한 중요성이 매우 크다. 따라서 그리드 환경에서 스케줄링 알고리즘은 작업의 실행시간을 단축하기 위하여 자원들의 연산능력과 함께 통신에 대한 비용을 고려하여야 한다. 그러나 현재까지 발표된 대부분의 스케줄링 알고리듬들은 작업이 한 클러스터에서 처리되는 것을 가정함으로써 통신비용을 무시하였으며, 작업이 다수의 클러스터에 분산되어 처리되는 경우에도 통신비용에 관한 오버헤드를 고려하지 않았다. 본 논문에서는 그리드 시스템에 적합한 기존 스케줄링 알고리즘들의 성능을 분석하였으며, 작업이 다수의 클러스터에 분산되어 수행되는 co-allocation 환경에서 통신비용을 고려하여 알고리즘들의 성능을 비교하고 분석하였다.

High Performance Computing Applications In Korean Trainer Development Program

  • Roh Hyun-Woo;Kim Si-Hong;Jeong In-Myon
    • 한국전산유체공학회:학술대회논문집
    • /
    • 한국전산유체공학회 2006년도 PARALLEL CFD 2006
    • /
    • pp.121-125
    • /
    • 2006
  • CFD has been used in aircraft development and broaden its influence in various fields of industries. This paper briefly introduces the historical trends of computing system, the overview of CFD applications in Korean Supersonic Trainer Development Program and the demand for CFD software in industry points of view.

  • PDF

Selection and Classification of Bacterial Strains Using Standardization and Cluster Analysis

  • Lee, Sang Moo;Kim, Kyoung Hoon;Kim, Eun Joong
    • Journal of Animal Science and Technology
    • /
    • 제54권6호
    • /
    • pp.463-469
    • /
    • 2012
  • This study utilized a standardization and cluster analysis technique for the selection and classification of beneficial bacteria. A set of synthetic data consisting of 100 individual variables with three characteristics was created for analysis. The three characteristics assigned to each independent variable were designated to have different numeric scales, averages, and standard deviations. The variables were bacterial isolates at random, and the three characteristics were fermentation products, including cell yield, antioxidant activity of culture, and enzyme production. A standardization method utilizing a standard normal distribution equation to record fermentation yields of each isolate was employed to weight their different numeric scales and deviations. Following transformation, the data set was analyzed by cluster analysis. The Manhattan method for dissimilarity matrix construction along with complete linkage technique, an agglomerative method for hierarchical cluster analysis, was employed using statistical computing program R. A total of 100 isolates were classified into groups A, B, and C. In a comparison of the characteristics of each group, all characteristics in groups A and C were higher than those of group B. Isolates displaying higher cell yield were classified as group A, whereas those isolates showing high antioxidant activity and enzyme production were assigned to group C. The results of the cluster analysis can be useful for the classification of numerous isolates and the preparation of an isolation pool using numerical or statistical tools. The present study suggests that a simple technique can be applied to screen and select beneficial microbes using the freely downloadable statistical computing program R.

PC-Cluster 기반 병렬형 유전자 서열 검색 시스템의 개발 및 성능 평가 (Development and Performance Evaluation of Parallel Sequence Analysis System on PC-Cluster)

  • 신용원;박정선
    • 대한의용생체공학회:의공학회지
    • /
    • 제25권6호
    • /
    • pp.617-621
    • /
    • 2004
  • 최근 들어 유전자 서열의 생산량 증가에 비례하여 유전자 발현 마이크로 칩과 같은 새로운 분석방법과 기술들이 도입되면서 연구자들이 매일 수천개의 서열을 효율적으로 분석해야 할 필요성이 증대되고 있다. 이러한 생명공학분야의 급속한 발전은 대용량 유전자 서열에 대한 빠른 분석이 가능한 컴퓨팅 자원을 요구하고 있으나 IT 인프라에 대한 막대한 투자비용으로 인해 관련 연구기관에서 쉽게 이들 컴퓨팅 자원을 도입하지 못하고 있는 실정이다. 본 연구에서는 저가의 PC서버를 고속의 네트워크로 연결한 PC 클러스터를 활용하여 시스템의 안정성과 신뢰성을 보장함과 동시에 범용성을 지닌 병렬형 유전자 서열 검색 시스템을 구축하였다. 이러한 효율적인 시스템 구축을 통해 생물정보 데이터베이스 및 서열 검색 시스템을 제공하고, 대용량 서열 데이터베이스의 검색 시간을 단축하였다.

하둡 클러스터의 대역폭을 고려한 압축 데이터 전송 및 저장 기법 (Data Transmitting and Storing Scheme based on Bandwidth in Hadoop Cluster)

  • 김용민;김희진;김영관;홍지만
    • 스마트미디어저널
    • /
    • 제8권4호
    • /
    • pp.46-52
    • /
    • 2019
  • 산업 현장과 공공 기관에서 생성 및 수집되는 데이터의 크기가 빠르게 증가하고 있다. 기존의 데이터 처리 서버는 스케일업 방식으로 성능을 높여 증가하는 데이터를 처리하였다. 그러나 데이터의 생성 속도가 폭증하는 빅데이터 시대에는 기존 방식의 서버로는 데이터 처리에 한계가 있다. 이러한 한계를 극복하기 위해 스케일 아웃 방식으로 데이터를 분산 처리하는 분산 클러스터 컴퓨팅 시스템이 등장하게 되었다. 그러나 분산 클러스터 컴퓨팅 시스템은 데이터를 분산 처리하기 때문에 네트워크 대역폭을 비효율적으로 사용할 경우 클러스터 전체의 성능을 하락시킬 수 있다. 본 논문에서는 네트워크 대역폭을 고려하여 하둡 클러스터에서 데이터 전송 시 데이터를 압축 전송하는 기법을 제안한다. 제안 기법은 네트워크 대역폭과 압축 알고리즘의 특징을 고려하여 최적의 압축 전송 기법을 선정 후 전송한다. 실험 결과는 제안 기법을 사용할 경우 데이터 전송 시간과 크기를 감소시킨 것을 보여준다.

다중 분산 웹 클러스터모델의 안전한 데이터 전송을 위한 상호 인증 프로토콜 (Mutual Authentication Protocol for Safe Data Transmission of Multi-distributed Web Cluster Model)

  • 이기준;김창원;정채영
    • 정보처리학회논문지C
    • /
    • 제8C권6호
    • /
    • pp.731-740
    • /
    • 2001
  • 기존의 클러스터 시스템을 확장한 다중 분산 웹 클러스터 모델은 개방 네트워크상에 존재하는 다수의 시스템 노드들을 단일한 가상 네트워크로 구축하여 사용자로부터 요구되어지는 대규모 작업을 병렬 컴퓨팅 방식으로 처리하는 클러스터 시스템이다 구성된 특성상 다중 분산 웹 클러스터 모델은 불법적인 3자에 의해 내부 시스템 노드들이 노출되어 있으며, 각 시스템 노드간의 협조작업 시 고의적인 방해와 공격으로 정상적인 작업수행이 불가능할 가능성을 지니고 있다. 본 논문에서는 시스템 노드의 서비스 코드 블록의 등록, 요구, 협조 및 결과취합 시 해당 시스템노드의 인증을 위하여 키 분배방식을 통한 시스템 노드 상호 인증 프로토콜을 제시하며, 전체 시스템 노드의 대칭키를 안전하고 효율적으로 관리하며 분배하는 SNKDC를 설계한다. SNKDC는 시스템 노드가 작업수행 시 필요한 대칭키를 분배하며, 제공된 키를 기반으로 시스템 노드는 암호화된 패킷을 전송한다. 시스템 노드간의 주고받는 암호화 패킷은 3자에 의해 해독되거나 거짓 메시지를 통한 정보의 유출을 방지할 수 있다.

  • PDF

군집분석을 이용한 하이브리드 클라우드 컴퓨팅 환경에서의 시맨틱 클라우드 자원 추천 서비스 기법 (Semantic Cloud Resource Recommendation Using Cluster Analysis in Hybrid Cloud Computing Environment)

  • 안윤선;김윤희
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제4권9호
    • /
    • pp.283-288
    • /
    • 2015
  • 하이브리드 클라우드 컴퓨팅 환경에서 많은 과학자들이 과학 응용을 수행하고 있으나, 클라우드 컴퓨팅 서비스를 제공하는 각 회사들의 자원 표기법이 상이하고 복잡하여 사용에 어려움이 따르고, 응용에 적합한 클라우드 자원을 선택하는 것이 어렵다. 클라우드 서비스 간에 상호 호환성을 제공해주는 하이브리드 클라우드 환경에서의 표준화된 자원 명세 표기법이 필요하다. 과학자들은 기존에 자신들이 수행했던 자원이나 가장 좋은 성능의 자원에서만 수행하려는 경향이 있어, 비용, 시간을 효율적으로 수행하면서 응용에 적합하고, 기존의 실험과 유사하게 진행할 수 있는 자원을 추천해주는 서비스가 필요하다. 하이브리드 클라우드 서비스의 표준화를 위해 인터클라우드 프로젝트가 진행되고 있으나, 과학 응용 실험에 적합한 자원의 선택을 위해 필요한 클라우드 자원의 특성들을 나타내는 데 한계가 있다. 본 논문에서는 하이브리드 클라우드 환경에서 시맨틱 클라우드 자원 서비스를 제안한다. 통계 기법으로 과학 응용의 특징에 따라 응용에 적합한 클라우드 자원을 그룹으로 분류하고 분류된 유사한 클라우드 자원 그룹을 가지고 시맨틱 클라우드 자원 추천 서비스 기법을 제공한다. 제안한 알고리즘을 통해 시맨틱 클라우드 추천 서비스 기법을 제공하면, 효율적인 자원의 가용성과 비용으로 응용을 수행할 수 있고, 응용에 적합한 클라우드 자원을 추천할 수 있다.