A study of enhancing the storage efficiency in HDFS

HDFS에서 저장 공간 절약을 위한 방법에 관한 연구

  • 안후영 (한국과학기술원 전산학과) ;
  • 이수호 (한국과학기술원 전산학과) ;
  • 이경하 (한국과학기술원 전산학과) ;
  • 이윤준 (한국과학기술원 전산학과)
  • Published : 2012.06.22

Abstract

분산 파일시스템은 네트워크를 통해 여러 대의 서버들이 하나의 파일 시스템을 구성하여 높은 확장성과 고 가용성을 지원한다. 분산 파일 시스템에서는 신뢰성과 고성능이 중요하며 대부분의 분산 파일시스템은 이를 위해 데이터 복제에 의존한다. 그러나 이 방법은 저장 공간의 오버헤드를 증가시키는 단점을 가진다. 이 논문에서는 이 문제점을 해결하고자 대표적인 분산 파일 시스템인 HDFS에 분산 RAID에서의 erasure code로 데이터 복제본을 대체하는 방법으로 가용성과 신뢰성을 유지하면서 저장 공간을 절약하는 방법을 제안한다.

Keywords

Acknowledgement

Grant : 분산 RAID를 이용한 분산 파일 시스템에서의 데이터 손실 보호와 공간 절약에 관한 연구

Supported by : 한국전자통신연구원, 한국연구재단