• 제목/요약/키워드: 분산 파일 시스템

검색결과 383건 처리시간 0.05초

실시간 클라우드 환경에서 HDFS의 고 성능을 위한 분산캐시 (Distributed Cache for High-Performance in real time cloud)

  • 최지현;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
    • /
    • pp.351-352
    • /
    • 2014
  • 분산 파일시스템은 서로 분산된 여러 서버들을 가지고 파일 시스템을 구성함으로써 높은 확장성과 고가용성을 지원한다. HDFS는 대용량 데이터 저장장치로 처리되고 있지만 실시간 파일 접근에 관한 고려는 부족하다. 파일을 읽을 때 네임노드와 데이터 노드는 상호 작용을 하지만 엄청난 대용량의 데이터 그리고 동시작업량이 많을 때 접근수행속가 급격하게 감소하게 된다. 따라서 실시간 클라우드 서비스 환경에서 HDFS 파일 접근 수행속도를 향상시키기 위한 연구가 이슈이다. 본 논문에서는 HDFS의 위에 분산 캐시를 둔 새로운 캐시시스템을 제안한다.

  • PDF

하둡 프레임워크 기반 분산시스템 내의 작은 파일들을 효율적으로 처리하기 위한 방법의 설계 (The Design of Method for Efficient Processing of Small Files in the Distributed System based on Hadoop Framework)

  • 김승현;김영근;김원중
    • 한국전자통신학회논문지
    • /
    • 제10권10호
    • /
    • pp.1115-1122
    • /
    • 2015
  • 하둡 프레임워크는 매우 큰 크기의 파일을 처리하기에 적합하도록 설계되었다. 반면 작은 크기의 파일을 처리할 경우, 분산 시스템의 자원 낭비와 분석 성능 저하가 발생하며 이는 작은 파일의 개수가 많을수록 현저하게 나타난다. 이 문제는 파일의 크기가 작기 때문에 발생하므로, 연관성 있는 작은 파일들의 병합을 통해 해결할 수 있다. 그러나 기존의 작은 파일 병합 방법들은 부차적인 한계점을 지니고 있다. 따라서 본 연구는 기존의 병합 방법의 문제점에 대하여 살펴보고, 작은 파일들의 효율적 처리를 위한 병합 방법을 설계하였다.

캔 클러스터 파일 시스템의 설계 및 구현 (Design and Implementation of CAN Cluster File System)

  • 황인철;임동혁;김호진;맹승렬;조정완
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (1)
    • /
    • pp.28-30
    • /
    • 2004
  • 요즘 네트웍과 PC의 성능이 향상됨에 따라 값싼 PC를 빠른 네트웍으로 묶어 높은 성능을 얻고자 하는 클러스터 시스템에 대하여 많이 연구되어 왔다. 이러한 연구의 한 분야로서 클러스터 시스템에서 각 노드의 CPU나 메모리에 비하여 상대적으로 느린 디스크에 접근하는 파일 시스템을 효율적으로 구성하려는 연구가 이루어지고 있다. 기존 클러스터 파일 시스템은 기존에 연구되었던 분산 시스템의 파일 시스템을 그대로 사용하는 경우가 많았다. 기존 분산 시스템들은 클러스터 시스템과 유사한 부분들이 존재 하지만 다른 부분도 존재한다. 클러스터 시스템을 사용하는 사용자에게 높은 성능의 데이터 입출력과 효율적인 지원을 위해서는 클러스터 시스템의 특성을 잘 활용하는 클러스터 파일 시스템에 대한 연구가 필요하다. 본 논문에서는 클러스터 시스템의 특성을 잘 활용하는 캔 클러스터 파일 시스템의 설계 및 구현에 대하여 기술한다. 캔 클러스터 파일 시스템은 자료 저장 시스템을 클러스터 시스템의 특성을 잘 활용하는 단일 디스크 입출력을 사용하고 그 위에 상호 협력 캐쉬를 구현함으로서 높은 대역폭의 데이터 입출력을 제공한다. 이러한 캔 클러스터 파일 시스템의 성능을 기존 파일 시스템 중 PVFS와 테스트 프로그램 수행을 통하여 성능을 비교, 분석한다.

  • PDF

Crystal : 클러스터 기반의 암호화 파일 시스템 (Crystal : Cryptographic File System Based On Cluster ins Environment)

  • 황보준형;서대화
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (1)
    • /
    • pp.802-804
    • /
    • 2001
  • 하드웨어의 발달과 인터넷의 보편화로 점차 정보의 보안의 필요성이 대두되었다. 암호화 파일 시스템은 사용자의 기밀성을 요구하는 파일의 안전한 저장을 위해 제안되었다. 이 암호화 파일 시스템은 사용자에게 투명성을 제공하여 사용의 편리성을 제공한다. 또한 기존의 암호화 시스템이 사용자 영역에서 이루어져 문맥교환의 횟수가 많아 시스템의 성능이 떨어지는데 반해 암호화 파일 시스템은 커널레벨에서 암호화 서비스가 이루어지므로 시스템의 성능이 저하되는 것을 방지해준다. 하지만 암호화 서비스 자체가 큰 과부하가 되어 일반 파일 시스템에 비해 성능이 많이 떨어진다는 단점이 있다. 따라서 본 논문에서는 클러스터 기반의 파일 시스템을 통해 암호화 파일 시스템의 부하를 분산시켜 성능을 개선함과 동시에 암호화된 파일을 분산 저장하므로 보안성을 높여준다. 제안된 암호화 파일 시스템은 시스템이 확장되었을 경우 그와 비례해서 시스템의 성능이 개선됨을 알 수 있다.

  • PDF

SoFA: 검색 지향 시스템을 위한 분산 파일 시스템 (SoFA: A Distributed File System for Search-Oriented Systems)

  • 최은미;쩐도안타인;비핀 우바디야;파흐릇딘 아지모프;루왕용;장옥향;김상범;김필성
    • 한국시뮬레이션학회논문지
    • /
    • 제17권4호
    • /
    • pp.229-239
    • /
    • 2008
  • 분산 파일 시스템(DFS)은 분산 환경에서 장애와 사본에 대한 투명성을 보장하며 파일을 다수의 물리적인 컴퓨터 노드들에게 저장할 수 있는 메카니즘을 제공한다. 검색엔진, 그리드 컴퓨팅, 데이터 마이닝 어플리케이션등과 같이 많은 양의 데이터를 처리하는 어플리케이션들은 데이터 저장을 위한 백엔드 인프라 구조를 제공할 필요가 있다. 분산 파일 시스템은 이러한 저장 데이터 기반을 위한 주요 구성요소가 된다. 많은 프로젝트의 관심사가 되는 네트워크 컴퓨팅은 이와 같이 설계 및 구현된 분산파일 시스템을 갖추고 있으며, 다양한 아키텍처와 기능들을 시스템의 특성에 따라서 제공하고 있다. 이 논문에서는 대용량의 검색 지향적인 시스템에서 사용되는 SOFA 분산 파일 시스템, 메카니즘들과 성능들을 소개한다.

  • PDF

데스크탑 시스템을 이용한 분산 지역 파일 시스템에서의 파일 가용도 최적화를 위한 저장 공간 페이지 배치 기법 (Storage Space Page Grouping in a Distributed Local File System on Desktop Systems to Optimize File Availability)

  • 김준우;신현식;장래혁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (3)
    • /
    • pp.856-858
    • /
    • 2001
  • 분산 파일 시스템에서 파일을 복제하는 목적의 하나는 파일의 가용성을 높이는 것이다 서버들로 이루어진 시스템에서 가용도 문제는 주로 오류 상황이 대상이다 반면에 데스크탑으로 구성된 경우 각각이 상대적으로 가용도가 낮고 그 편차도 커서 파일의 가용도를 최적화 하도록 복제본을 저장하는 것이 기본적인 문제가 된다. 파일 단위 복제 기법에서는 파일 수가 참여 시스템 수에 따라 기하급수적으로 증가하고 파일 배치 때마다 가용도 최적화를 수행해야 하는 문제가 있다. 본 논문에서는 저장 공간 단위 복제 기법을 제안한다. 데스크탑 시스템의 저 장롱간을 고정 크기의 페이지들로 나누고 이들을 조합해서 일정한 가용도를 가지는 페이지 그룹을 형성한다. 파일들은 이 페이지 그룹에 저장된다. 페이지의 개수가 파일 수가 아닌 시스템 수에 의존하고, 파일 배치 시점과 무관하게 페이지 그룹을 만들 수 있는 장점이 있다. 최종 가용도를 높이고 연산 시간을 줄이기 위해 ILS(Iterated Local Search )방법을 이용만 탐색을 수행한다.

  • PDF

웹 전용 리눅스 클러스터 서버의 고가용성을 위한 분산 파일 시스템에 대한 연구 (A Distributed File System for Guaranteeing High Availability of a Clustering Web Server)

  • 박지현;류상우;장휘;김학배
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2000년도 하계학술대회 논문집 D
    • /
    • pp.2965-2967
    • /
    • 2000
  • 다양한 인터넷 응용 프로그램들이 웹 기반으로 통합되고 여러 방면에서 business-critical한 경우가 많아짐에 따라 웹서버의 고가용성과 안정성이 갈수록 강조되고 있고. 이를 보장하기 위한 리눅스 기반의 클러스터링 환경에서는 다양한 조건하에서도 데이터의 손실 없이 파일 입출력을 효과적으로 지원할 수 있는 분산 파일 시스템이 필수적이다. 본 논문에서는 리눅스 클러스터 환경에 적합한 분산 파일 시스템의 하나로서 카네기 멜론 대학에서 제안되어 개발 중에 있는 네트워크 분산 파일 시스템인 Coda 에 대하여. 가용성 및 효율성, 확장성 등에 대한 장단점을 간단히 소개하고, Coda을 적용한 고가용성 웹 서버의 구현 결과와 향후 개선 방향에 대해서 설명하도록 하겠다.

  • PDF

효율적인 멀티미디어 서비스를 위한 리눅스 클러스터 파일 시스템 (A Linux Cluster File System for Efficient Multimedia Services)

  • 강미연;홍재연;김형식
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (A)
    • /
    • pp.652-654
    • /
    • 2002
  • 최근 리눅스 클러스터 시스템의 활용 범위가 커지면서 멀티미디어 서비스를 제공하려는 시도가 나타났다. 리눅스 클러스터 시스템 상에서 효과적으로 멀티미디어 서비스를 제공하려면 적합한 파일 시스템의 도움이 필수적이다. 즉, 클러스터 파일 시스템을 통하여 응용 프로그램에 대한 단일 입출력공간을 제공하고 효율적인 파일/디렉토리 연산을 제공하는 기술이 중요하다. 본 논문에서는 리눅스 클러스터 시스템을 위한 클러스터 파일 시스템(Cluster File System, 이하 CFS로 표기)을 설계 및 구현한다. CFS는 리눅스 파일 시스템 위에 사용자 수준에서 구현된 시스템으로 사용자에게는 단일 시스템 이미지를 제공한다. 내부적으로는 대용량의 파일이 분산되어 저장되며 이를 위해 파일/디렉토리 정보도 각각의 노드에서 분산 관리된다. 사용자에게는 응용 프로그램의 개발이 용이하도록 API가 제공되며, 또한 CFS를 관리하기 위한 도구들이 제공된다.

  • PDF

대용량 분산파일시스템을 위한 비공유 메타데이타 관리 기법 (A Non-Shared Metadata Management Scheme for Large Distributed File Systems)

  • 윤종현;박용훈;이석재;장수민;유재수;김홍연;김영균
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제36권4호
    • /
    • pp.259-273
    • /
    • 2009
  • 최근 많은 연구가 진행 중인 대부분의 클러스터 기반 분산파일시스템은 파일에 대한 읽기, 쓰기 작업으로부터 메타데이타의 처리를 분리했다는 특징을 가지고 있다. 즉 파일시스템에 기록된 파일에 대한 권한 정보, 파일의 실제 데이타가 저장된 저장소의 위치 정보, 파일시스템의 네임스페이스 유지 등 메타데이타와 관련된 정보 및 이를 처리하는 기능을 별도의 메타데이타 서버가 관리한다. 하지만 기존 시스템의 메타데이타 관리기법들은 데이타의 분산 관리 및 입출력 성능만 중점을 두고 설계되어 있어 파일시스템 확장에 따른 메타데이타 입출력 성능 및 확장성에서 한계를 나타내고 있는 상황이다. 따라서 본 논문에서는 클러스터 기반 분산파일시스템에서 보다 나은 성능과 확장성을 제공하는 수 있는 비공유 메타데이타 관리 기법을 제안한다. 먼저 본 논문에서는 새로운 메타데이터 분할 기법으로 사전식 분할 기법을 제안한다. 다음으로 제안하는 메타데이타 분할 기법을 지원하기 위한 부하 분산 기법을 제시한다. 본 논문에서 제안하는 메타데이타 관리 기법은 기존 메타데이타 관리기법과 비교하여 확장성 및 부하 분산에서 우수함을 보인다.

단일 디스크 입출력 환경을 위한 EXT2의 확장 (Extension of EXT2 for Single Disk I/O Environment)

  • 임동혁;황인철;변은규;맹승렬
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (1)
    • /
    • pp.76-78
    • /
    • 2004
  • 단일 디스크 입출력 환경은 클러스터 시스템의 분산된 디스크들을 하나의 통합된 디스크의 이미지로 제공하여 사용자에게 편의성을 제공한다. 하지만, 디바이스 수준에서의 서비스를 제공하고 이로 인해 여러 노드에서의 파일의 병렬적인 접근을 지원하기 위해서는 클러스터 파일 시스템의 지원이 요구된다. 본 논문은 리눅스 시스템에서 가장 많이 사용하는 EXT2 파일 시스템을 단일 입출력 환경에서 효과적으로 사용할 수 있는 클러스터 파일 시스템으로의 확장하는 방안에 대해서 설명한다. 기존의 EXT2 파일 시스템을 커널 모듈의 형태로 재구성하고, 버퍼 캐쉬와 메타 데이터의 일관성 유지를 위하여 분산 락 모듈물 구현하고 이를 이용하여 데이터의 일관성과 동기화 문제를 동시에 해결하도록 하여, EXT2 파일 시스템을 클러스터 파일 시스템으로 확장하였다

  • PDF