A Non-Shared Metadata Management Scheme for Large Distributed File Systems

대용량 분산파일시스템을 위한 비공유 메타데이타 관리 기법

  • 윤종현 (충북대학교 정보통신공학과) ;
  • 박용훈 (충북대학교 정보통신공학과) ;
  • 이석재 (한국전자통신연구원 지식이러닝연구팀) ;
  • 장수민 (충북대학교 정보통신공학과) ;
  • 유재수 (충북대학교 전기전자컴퓨터공학부) ;
  • 김홍연 (한국전자통신연구원 저장시스템연구팀) ;
  • 김영균 (한국전자통신연구원 저장시스템연구팀)
  • Published : 2009.08.15

Abstract

Most of large-scale distributed file systems decouple a metadata operation from read and write operations for a file. In the distributed file systems, a certain server named a metadata server (MDS) maintains metadata information in file system such as access information for a file, the position of a file in the repository, the namespace of the file system, and so on. But, the existing systems used restrictive metadata management schemes, because most of the distributed file systems designed to focus on the distributed management and the input/output performance of data rather than the metadata. Therefore, in the existing systems, the metadata throughput and expandability of the metadata server are limited. In this paper, we propose a new non-shared metadata management scheme in order to provide the high metadata throughput and scalability for a cluster of MDSs. First, we derive a dictionary partitioning scheme as a new metadata distribution technique. Then, we present a load balancing technique based on the distribution technique. It is shown through various experiments that our scheme outperforms existing metadata management schemes in terms of scalability and load balancing.

최근 많은 연구가 진행 중인 대부분의 클러스터 기반 분산파일시스템은 파일에 대한 읽기, 쓰기 작업으로부터 메타데이타의 처리를 분리했다는 특징을 가지고 있다. 즉 파일시스템에 기록된 파일에 대한 권한 정보, 파일의 실제 데이타가 저장된 저장소의 위치 정보, 파일시스템의 네임스페이스 유지 등 메타데이타와 관련된 정보 및 이를 처리하는 기능을 별도의 메타데이타 서버가 관리한다. 하지만 기존 시스템의 메타데이타 관리기법들은 데이타의 분산 관리 및 입출력 성능만 중점을 두고 설계되어 있어 파일시스템 확장에 따른 메타데이타 입출력 성능 및 확장성에서 한계를 나타내고 있는 상황이다. 따라서 본 논문에서는 클러스터 기반 분산파일시스템에서 보다 나은 성능과 확장성을 제공하는 수 있는 비공유 메타데이타 관리 기법을 제안한다. 먼저 본 논문에서는 새로운 메타데이터 분할 기법으로 사전식 분할 기법을 제안한다. 다음으로 제안하는 메타데이타 분할 기법을 지원하기 위한 부하 분산 기법을 제시한다. 본 논문에서 제안하는 메타데이타 관리 기법은 기존 메타데이타 관리기법과 비교하여 확장성 및 부하 분산에서 우수함을 보인다.

Keywords

References

  1. SPEC, "SFS 3.0 Documentation Version 1.0," Standard Performance Evaluation Corporation, 2001.
  2. K. W. Preslan et al., "A 64bit, Shared Disk File System for Linux," Proceedings of the 16th IEEE Mass Storage Systems Symposium, pp.22-41, 1999.
  3. M. Mesnier, G. Ganger, and E. Riedel, "Object based Storage," In IEEE Communications Magazine, pp.84-90, 2003.
  4. Sage Weil, Scott A. Brandt, Ethan L. Miller, Darrell D.E. Long, and Carlos Maltzahn, "Ceph : A Scalable, High-Performance Distributed File System," In Proc. of Conf. on Operating Systems Design and Implementation, pp.307-320, 2006.
  5. Sanjay Ghemawat, Howard Gobioff, and Shun- Tak Leung, "The Google File System," In Proc. of ACM Symp. on Operating Systems Principles, pp.20-43, 2003.
  6. D. Borthakur, "The Hadoop Distributed File System: Architecture and Design," 2005
  7. Lustre, "Lustre : A Scalable High Performance File System," Cluster File System Inc., 2002.
  8. D. Nagle, D. Serenyi, and A. Matthews, "The Panasas Active Scale Storage Cluster-Delivering Scalable High Bandwidth Storage," In Proc. of the ACM/IEEE SC2004 Conf., 2004.
  9. 민영수, 차명훈, 김영철, 진기성, 이상민, 정병권, 김준, "객체기반 저장 장치를 이용한 클러스터 파일시스템의 구현", 한국차세대컴퓨팅학회논문지, 제2권, 제4호, pp.42-52, 2006.
  10. 차명훈, 이상민, 김준, 김영균, 김명준, "대규모 분산 파일 시스템 환경의 메타 데이타 관리", 전자통신동향 분석, 제22권, 제3호, pp.154-165, 2007.
  11. S.A. Brandt, L. Xue, E.L. Miller, and D.D.E. Long, "Efficient Metadata Management in Large Distributed File Systems," In Proc. of IEEE/11th NASA Goddard Conf. on Mass Storage Systems and Technologies, 2003.
  12. Sage Weil, Kristal Pollack, Scott A. Brandt, and Ethan L. Miller, "Dynamic Metadata Management for Petabyte-Scale File Systems," In Proc. of the ACM/IEEE Conf. on Supercomputing, 2004.
  13. 장준호, 한세영, 박성용, "클러스터 파일시스템의 메타 데이타 서버를 위한 내용 기반 부하 분산 알고리즘", 정보처리학회논문지, 제13권, 제4호, pp.323-334, 2006.
  14. FDTree, "https://computing.llnl.gov/?set=code&page=sio_downloads"