• 제목/요약/키워드: 병렬파일 시스템

검색결과 115건 처리시간 0.028초

두 단계 프로토콜 : PVFS를 위한 상호 협력 캐쉬에서 쓰기 성능 향상 기법 (Two-Phase Protocol : Write Performance Enhancement Scheme of the Cooperative Cache for PVFS)

  • 황인철;정한조;맹승렬;조정완
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (1)
    • /
    • pp.409-411
    • /
    • 2003
  • 요즘 값싼 PC들을 빠른 네트웍으로 묶어 놓은 성능을 얻고자하는 클러스터 컴퓨팅에 대한 연구가 활발히 이루어지면서 CPU나 메모리. 네트웍보다 상대적으로 느린 디스크에서 데이터를 읽어 효율적으로 파일 서비스를 하는 분산 파일 시스템이 개발되었다. 기존 분산 파일 시스템 중 클러스터 컴퓨팅에서 많이 사용하는 Linux 운영 체제에서 병렬 I/O를 사용하여 사용자에게 빠른 파일 서비스를 제공하여 주는 PVFS가 개발되었다. 기존 PVFS에서는 캐쉬 시스템을 제공하고 있지 않기 때문에 읽기 성능을 향상시키기 위하여 PVFS를 위한 상호 협력 캐치를 설계하고 구현하였다. PVFS를 위한 상호 협력 캐쉬는 클라이언트의 파일 캐쉬를 공유하여 파일 요구를 처리하는 기법으로 읽기 성능은 크게 향상되었다. 하지만 쓰기의 경우에는 다른 클라이언트에서 가지고 있던 모든 데이터를 찾아 해제하는 부하가 있기 때문에 성능이 좋지 않다. 따라서 본 논문에서는 PVFS를 위한 상호 협력 캐쉬에서 쓰기 성능 향상 기법인 두 단계 프로토콜을 제시하고 구현한다. 그리고 두 단계 프로토콜을 기존 PVFS와 PVFS를 위한 상호 협력 캐쉬 시스템과 성능을 비교, 분석한다.

  • PDF

타키온 클러스터 시스템의 병렬 분산 파일 시스템 워크로드 분석 (Analysis of Parallel and Distributed File System Workloads on Tachyon Cluster System)

  • 조혜영;김성호;이식
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 추계학술발표대회
    • /
    • pp.113-114
    • /
    • 2009
  • 클러스터 시스템의 응용 분야가 다양화되고 복잡해짐에 따라, 대규모 클러스터 시스템을 보다 효율적으로 사용하기 위해서 실제 사용자의 이용 패턴을 예측할 수 있는 워크로드 분석의 필요성이 높아지고 있다. 이에 본 논문에서는 현재 가동중인 188개의 계산 노드, 3008개 CPU 자원을 보유한 대규모 클러스터 시스템에서 병렬 분산 파일 시스템에 대한 워크로드를 분석하였다.

3D GIS를 위한 병렬 컴퓨터 시스템의 설계 (Design of Parallel Computer System for 3D Geographic Information)

  • 김진석;조정우
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (3)
    • /
    • pp.868-870
    • /
    • 2001
  • 3D 지도를 이용하여 3D 영상을 처리하는 시스템이 많이 상용화되어 있다. 기존에 3D 지도를 처리하기 위한 방법으로 고성능의 시스템을 이용하였다. 하지만 고성능의 시스템을 사용하여 GIS 시스템을 구현할 경우 가격의 부담이 크다는 문제점이 있다. 또한 일반 시스템에서 3D 지도를 처리하려면 3D 지도의 파일의 크기가 크기 때문에 공간영상을 처리하는데 시간이 오래 걸린다는 단점이 있다. 따라서 본 논문에서는 Linux를 기반으로 3D GIS를 위한 병렬 컴퓨터 시스템을 설계 한다.

  • PDF

위성영상 GIS를 위한 클러스터링 시스템 설계 (Design of Clustering System for Satellite-image Geographic Information System)

  • 조정우;김학두;김진석
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (1)
    • /
    • pp.352-354
    • /
    • 2002
  • 최근 위성영상을 이용한 GIS 시스템이 많이 생겨나면서 위성영상을 이용한 연구가 많이 진행중이다. 하지만 위성영상의 경우 파일 자체의 사이즈가 크기 때문에 본 영상을 처리하기가 쉽지 않으며 시간 또한 많이 소모되게 된다. 또한 효율적인 자료처리를 하기 위해서는 고성능의 하드웨어가 필요하다는 문제점이 있다. 따라서 본 논문에서는 병렬처리를 이용하는 클러스터링 시스템을 사용하여 대용량의 위성영상을 보다 빠르고 효율적으로 처리할 수 있는 시스템을 설계하였다. 본 논문에서 제안한 시스템을 사용하면 앞의 문제점을 해결할 수 있으며 빠른 영상 분석이 가능하게 된다. 병렬 컴퓨터의 노드를 증가시키면서 제안한 시스템의 속도가 빨라지는 것을 실험을 통해 보였다.

  • PDF

PLSI 글로벌파일시스템에서 데이터 네트워크 성능 분석 (Performance analysis of data network at the PLSI global file system)

  • 우준;장지훈;홍태영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.71-72
    • /
    • 2017
  • PLSI 통합 슈퍼컴퓨팅 서비스 환경에서는 다수의 사이트에서 클러스터 시스템 간 데이터 공유를 위해 글로벌 파일시스템을 사용하고 있으나, 수백 노드 이상의 클라이언트와 파일 서버 간 통신이 이루어지는 병렬 I/O에서 네트워크 병목 현상 이 발생할 수 있다. 따라서, 본 연구에서는 네트워크 병목 현상이 PLSI 글로벌 파일 시스템의 I/O 성능에 미치는 영향을 분석한다. PLSI 글로벌 파일시스템 테스트 베드에서 실험을 통해 네트워크 스위치의 버퍼 크기가 병목 현상을 유발하며, 네트워크 스위치의 버퍼 용량을 증가하여 I/O 성능을 개선할 수 있음을 보여준다.

디스크 입출력의 병렬성을 이용한 대용량 입출력 QoS 제어 기법 (A Massive I/O QoS Control Method using Parallelism fo Disk I/O)

  • 장시웅;정기동
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제26권1호
    • /
    • pp.98-106
    • /
    • 1999
  • 본 논문에서는 대용량 입출력을 수행하는 태스크의 QoS를 제어하기 위한 방법으로사용자가 시스템에 입출력 요구시 요구 대역폭을 제시하고, 파일시스템에서 디스크개소와 입출력 이벤트를 고려하여 입출력의 병렬성을 제어함으로써 QoS를 제어하는 방법을 제안하였다. 그리고, 시스템에서 각 태스크가 주어진 병렬성을 가지고 입출력을 진행하고 있을 때, 요구 대역폭을 가지고 입출력을 요구하는 태스크의 대역폭을 만족시키기 위한 병렬성을 계산하는 분석 모델을 유도하였다. 그리고, 디스크 입출력의 병렬성을 이용하여 대용량 입출력의 QoS를 효율적으로 제어할 수 있음을 분석 모델의 결과를 통해 검증하였다.

PVFS를 위한 I/O Tracer 설계 및 구현 (Design and Implementation of I/O Tracer for PVFS)

  • 조혜영;차광호;김성호;이상동
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 추계학술발표대회
    • /
    • pp.966-969
    • /
    • 2008
  • 사용자 프로그램의 I/O 패턴을 분석하거나 파일 시스템의 워크로드를 보다 정확하게 분석하기 위해서 실제 가동중인 파일 시스템의 동적 I/O 로그를 확보하기 위한 연구들이 많이 진행되어 왔다. 그러나 대량의 I/O 트렌젝션(transcation)이 처리되는 파일 시스템에서 동적 I/O 로그를 확보하는 일은 시스템의 부하와 막대한 데이터량 때문에 한계가 많다. 특히 다수의 이용자가 사용하는 대용량 분산/병렬 파일 시스템에서의 I/O Tracing은 로컬 파일 시스템에서 I/O Tracing에 비해 더욱 복잡하고 오버헤드가 크다. 본 논문에서는 기존의 파일 시스템 로깅 방법들을 알아보고, 클러스터 시스템에서 널리 이용되고 있는 분산 파일 시스템인 PVFS(Parallel Virtual File System)에서 동적 I/O 연산들의 로그를 생성할 수 있는 로깅 시스템을 제안하고 설계하였다.

OpenCFS 클러스터 파일 시스템의 구현 및 성능 평가 (The Implementation and Performance Analysis of a OpenCFS Cluster File system)

  • 전승협;차규일;김진미;유혁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (A)
    • /
    • pp.645-647
    • /
    • 2000
  • 본 논문에서는 멀티미디어나 데이터베이스 등 대용량 입출력을 효율적으로 지원하기 위하여 고속 네트웍으로 연결된 클러스터링 환경에서 동작하는 클러스터 파일 시스템인 OpenCFS를 설계하고 구현하여 성능을 평가한다. 구현된 클러스터 파일 시스템은 입출력 장치의 한계를 극복하기 위하여 스트라이핑(striping)기법을 통한 병렬 입출력(parallel I/O)을 수행하고, 능동적으로 시스템 내부 정책 병경을 가능하게 하는 오픈 임플리멘테이션(Open Implementation)방법론을 적용함으로써 응용프로그램의 시스템 내부 정책에 대한 접근 방법을 제공한다. 실험을 통하여 구현된 클러스터 파일 시스템의 성능을 분석한 결과, 사용자가 기존의 프로그래밍 환경을 유지하면서 시스템 내부 정책을 변경함으로써 개선된 성능의 입출력 서비스를 제공 받을 수 있다.

  • PDF

소규모 클러스터 시스템에서의 spNFS 성능 평가 (Performance evaluation of spNFS on a small scale cluster system)

  • 차광호;김성호;이상동
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 추계학술발표대회
    • /
    • pp.940-942
    • /
    • 2008
  • 분산되어 있는 스토리지 자원을 하나의 클러스터로 구성하여 분산 파일 시스템으로 구성하고자 하는 경우, 기존의 네트워크 파일 시스템만을 이용하기에는 여러 가지 제약이 존재한다. 특히 Parallel Striped Access는 IO데이터를 스토리지에 나누어 분산시키고 클라이언트가 직접 접근하는 방식으로 병렬 파일 시스템과 같은 HPC 용 특수 파일 시스템에서는 이미 사용되는 기법이나, 일반적인 시스템을 대상으로 한 표준안의 부재가 제약이 된다. pNFS(Parallel NFS)는 이러한 문제를 해결하기 위해서 제시되는 새로운 NFS 기술이다. 본 연구에서는 pNFS의 연구 동향과 더불어 소규모 클러스터 시스템에서 나타나는 성능적 특징을 조사하였다.

러스터 파일 시스템 기반 하둡 맵리듀스 실행 환경 구현 및 성능 분석 (Implementation and Performance Analysis of Hadoop MapReduce over Lustre Filesystem)

  • 곽재혁;김상완;허태상;황순욱
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권8호
    • /
    • pp.561-566
    • /
    • 2015
  • 하둡은 오픈소스 기반의 분산 데이터 처리 프레임워크로서 과학 및 상용 분야에서 널리 사용되고 있는데 최근에 대규모 데이터의 실시간 처리 및 분석을 위해 고성능 컴퓨팅(HPC) 기술을 활용하여 하둡을 고성능화하기 위한 연구가 시도되고 있다. 본 논문에서는 하둡의 기본 파일시스템 구현인 하둡 분산파일시스템(HDFS)을 고성능 병렬 분산파일시스템인 러스터 파일시스템으로 대체하여 사용할 수 있도록 하둡 파일시스템 라이브러리를 확장하여 구현하였고 하둡이 제공하는 표준 벤치마크 도구를 사용하여 성능을 분석하였다. 실험 결과 러스터 파일시스템 기반으로 하둡 맵리듀스 응용을 수행하는 경우에 2-13배의 성능 향상이 있음을 확인할 수 있었다.