The KIPS Transactions:PartA (정보처리학회논문지A)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

HA-PVFS : A PVFS File System supporting High Data Availability Adaptive to Temporal Locality

HA-PVFS : 시간적 지역성에 적응적인 데이터 고가용성을 지원하는 PVFS 파일 시스템

  • Published : 2006.06.01
Download PDF
⟨ Previous Next ⟩

Abstract

In cluster file systems, the availability of files has been supported by replicating entire files or generating parities on parity servers. However, those methods require very large temporal and spatial cost, and cannot handle massive failures situation on the file system. So we propose HA-PVFS, a cluster file system supporting high data availability adaptive to temporal locality. HA-PVFS restricts replication or parity generation to some important files, for that it employs an efficient algorithm to estimate file access patterns from limited information. Moreover, in order to minimize the performance degradation of the file system, it uses delayed update method and relay replication.

클러스터 파일 시스템에서 가용성 지원을 위해 파일 복제 방법과 패리티 서버 방식이 사용되어 왔으나, 공간과 시간적 비용이 매우 크고 대량 장애 상황에 적절히 대처하지 못하는 문제가 있다. 따라서 시간적 지역성이 높은 중요한 파일에 대해서만 복제를 하거나 패리티를 생성하게 하여 효율적으로 데이터의 고가용성을 지원하는 HA-PVFS 파일 시스템을 제안한다. 이 파일 시스템에서는 동적으로 주어지는 파일 접근 빈도를 적응적으로 추정해 내기 위하여, 제한적인 정보를 통해 실제 접근 패턴을 정확히 판단하는 알고리즘을 사용하고, 성능 저하를 최소화하기 위해 지연 업데이트 방식과 릴레이식 복제를 사용한다.

Keywords

References

  1. R. Sandberg, 'The SUN Network File System: Design, Implementation and Experience', SUN Microsystems, Inc., pp.119-130, 1985
  2. Howard J. H. 'An Overview of the Andrew File System', Proceedings of the USENIX Winter Technical Conference, pp.23-26, Feb., 1988
  3. P. Carns et al. 'PVFS: A parallel file system for linux clusters.' In Proceedings of the 4th Annual Linux Showcase and Conference, pp.317-327, 2000
  4. Peter J Braam et aI., 'The Lustre Storage Architecture', Cluster File System. Inc, Mar. 2003
  5. K. W. Preslan et al., 'A 64 Bit, Shared Disk File System for Linux', Proceedings of the 16th IEEE Mass Storage Systems Symposium, pp.22-41, 1999 https://doi.org/10.1109/MASS.1999.829973
  6. F. Schmuck et al. 'GPFS : A Shared-Disk File System for Large Computing Clusters', Proceedings of the FAST Conference on File and Storage Technologies, pp.231-234, 2002
  7. J. H. Hartman et al. 'The Zebra Striped Network File System', ACM Transactions on Computer System(TOCS) Vol.13, Issue3, pp.274-310, August, 1995 https://doi.org/10.1145/210126.210131
  8. D. A. Patterson et al. 'A Case for Redundant Arrays of Inexpensive Disks(RAID), Proc. of the ACM Conference on Management of DATA(SIGMOD), pp.109-116, June, 1988 https://doi.org/10.1145/50202.50214
  9. L. Cherkasova et al 'Dynamics and Evolution of Web Sites: Analysis, Metrics and Design Issues', Proceedings of the Sixth IEEE Symposium on Computers and Communications (ISCC), p.64, 2001 https://doi.org/10.1109/ISCC.2001.935356
  10. L. Cherkasova et. al 'Analysis of Enterprise Media Server Workloads: Access Patterns, Locality, Content Evolution, and Rates of Change', IEEE/ACM Transaction on Networking, Vol.12, No.5, pp.781-794, October, 2004 https://doi.org/10.1109/TNET.2004.836125
  11. S. Ghemawat et al. 'The Google File System', Proceedings of the 19th ACM Symposium on Operating System Principles, October, 2003