• Title/Summary/Keyword: CephFS

Search Result 7, Processing Time 0.024 seconds

Performance Enhancement and Evaluation of Distributed File System for Cloud (클라우드 분산 파일 시스템 성능 개선 및 평가)

  • Lee, Jong Hyuk
    • KIPS Transactions on Computer and Communication Systems
    • /
    • v.7 no.11
    • /
    • pp.275-280
    • /
    • 2018
  • The choice of a suitable distributed file system is required for loading large data and high-speed processing through subsequent applications in a cloud environment. In this paper, we propose a write performance improvement method based on GlusterFS and evaluate the performance of MapRFS, CephFS and GlusterFS among existing distributed file systems in cloud environment. The write performance improvement method proposed in this paper enhances the response time by changing the synchronization level used by the synchronous replication method from disk to memory. Experimental results show that the distributed file system to which the proposed method is applied is superior to other distributed file systems in the case of sequential write, random write and random read.

Prototype Design of Mass Distributed Storage System based on PC using Ceph for SMB

  • Cha, ByungRae;Kim, Yongil
    • Smart Media Journal
    • /
    • v.4 no.3
    • /
    • pp.62-67
    • /
    • 2015
  • The trend keywords in ICT sector will be Big Data, Internet of Things, and Cloud Computing. The rear end to support those techniques requires a large-capacity storage technology of low-cost. Therefore, we proposed the prototype of low-cost and mass distributed storage system based on PC using open-source Ceph FS for SMB.

Implementation and Performance Measuring of Erasure Coding of Distributed File System (분산 파일시스템의 소거 코딩 구현 및 성능 비교)

  • Kim, Cheiyol;Kim, Youngchul;Kim, Dongoh;Kim, Hongyeon;Kim, Youngkyun;Seo, Daewha
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.41 no.11
    • /
    • pp.1515-1527
    • /
    • 2016
  • With the growth of big data, machine learning, and cloud computing, the importance of storage that can store large amounts of unstructured data is growing recently. So the commodity hardware based distributed file systems such as MAHA-FS, GlusterFS, and Ceph file system have received a lot of attention because of their scale-out and low-cost property. For the data fault tolerance, most of these file systems uses replication in the beginning. But as storage size is growing to tens or hundreds of petabytes, the low space efficiency of the replication has been considered as a problem. This paper applied erasure coding data fault tolerance policy to MAHA-FS for high space efficiency and introduces VDelta technique to solve data consistency problem. In this paper, we compares the performance of two file systems, MAHA-FS and GlusterFS. They have different IO processing architecture, the former is server centric and the latter is client centric architecture. We found the erasure coding performance of MAHA-FS is better than GlusterFS.

Performance Evaluation of Open Source Based Distributed File System for Cloud Storage (클라우드 스토리지를 위한 오픈 소스 기반 분산 파일 시스템의 성능 평가)

  • Lee, Seho;Kim, Ji-Hong;Eom, Yong Ik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.04a
    • /
    • pp.185-187
    • /
    • 2012
  • 최근 클라우드 컴퓨팅 기술은 기존의 서버, 데스크톱 컴퓨팅 환경을 빠르게 변화시키며, 차세대 인터넷 서비스의 핵심 분야로 부각되고 있다. 클라우드 컴퓨팅 기술 중 특히 저비용, 안정성, 확장성, 무결성 그리고 보안성을 가지고 있는 클라우드 스토리지 서비스가 각광 받고 있다. 이에 본 논문은 클라우드 스토리지 기반 기술인 분산 파일 시스템에 관해서 살펴보고, 오픈소스 기반의 분산 파일 시스템인 MooseFS, XtreemFS, GlusterFS, Ceph 등을 이용하여 시스템 구축 및 성능 측정을 수행 하였다. 수행결과 Postmark에서는 GlusterFS, MD5SUM에서는 XtreemFS가 가장 좋은 성능을 보여주었다.

An Analysis and Comparison of Open Source Based Distributed File System for Cloud Environment (클라우드 환경의 오픈소스 기반 분산 파일 시스템 분석 및 비교)

  • Kim, Keonwoo;Kim, Jeehong;Eom, Young Ik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.04a
    • /
    • pp.182-184
    • /
    • 2012
  • 클라우드 컴퓨팅이 많은 관심을 받고 발전하면서 여러 IT선도업체에서 클라우드 컴퓨팅 기술 개발에 많은 투자를 하고 있다. 이러한 클라우드 컴퓨팅 환경에서는 대부분의 데이터를 서버에 저장한다. 이러한 이유로 클라우드 환경에서 사용되는 파일 시스템은 기존의 파일 시스템 보다 많은 데이터를 저장하게 된다. 이에 따라 많은 데이터를 처리하기 위해서 클라우드 환경에서는 분산 파일 시스템 기술을 활용하고 있다. 또한 분산 파일 시스템은 네트워크상의 여러 스토리지 서버에 데이터가 분산되어 저장되기 때문에 데이터의 관리뿐만 아니라 성능, 장애 허용, 보안 등의 요구사항을 만족해야 한다. 본 논문에서는 XtreemFS, Ceph, GlusterFS, MooseFS 등의 분산 파일 시스템들을 기능적 측면에서 살펴보고, 각 분산 파일 시스템을 본 논문에서 제안하는 기능적 평가요소 측면에서 비교하고 평가한다.

Analyses of Replica Placement Schemes in Distributed File Systems (대용량 분산 파일 시스템의 복제 배치 기법 분석)

  • Choi, Dae-Soon;Kim, Jee-Hong;Eom, Young-Ik
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06a
    • /
    • pp.373-375
    • /
    • 2012
  • 정보의 양이 늘어나고 그 크기가 커짐에 따라 많은 분야에서 대규모 분산 파일 시스템을 제안하고 사용하고 있다. 현재 제안된 분산 파일 시스템은 대부분 확장가능하며 장애에 견딜 수 있고 신뢰성이 있는 시스템을 기본으로 하여 구성되었다. 따라서 분산 파일 시스템은 장애에 효과적으로 견질 수 있고 높은 신뢰성을 보장하기 위해서 데이터의 복제를 만들어 서로 다른 스토리지에 배치한다. 본 논문에서는 대규모 분산 파일 시스템의 복제 배치 기법에 관하여 비교 분석 하였다. 먼저 분산 파일 시스템의 동작 구조를 확인하고 분산 파일 시스템에서 보편적으로 중요시 되는 특성을 파악하였다. 그리고 복제 배치 기법이 효과적인 분산 파일 시스템 구성 시 고려해야 할 것들을 부하 분산, 디스크 분산, 장애 분산으로 나누었다. 이 세 가지 요소를 기준으로 하여 분산 파일 시스템인 GFS, HDFS, Ceph, MooseFS의 복제 배치 기법을 분석하고 각각의 특성 파악하였다.

Torus Network Based Distributed Storage System for Massive Multimedia Contents (토러스 연결망 기반의 대용량 멀티미디어용 분산 스토리지 시스템)

  • Kim, Cheiyol;Kim, Dongoh;Kim, Hongyeon;Kim, Youngkyun;Seo, Daewha
    • Journal of Korea Multimedia Society
    • /
    • v.19 no.8
    • /
    • pp.1487-1497
    • /
    • 2016
  • Explosively growing service of digital multimedia data increases the need for highly scalable low-cost storage. This paper proposes the new storage architecture based on torus network which does not need network switch and erasure coding for efficient storage usage for high scalability and efficient disk utilization. The proposed model has to compensate for the disadvantage of long network latency and network processing overhead of torus network. The proposed storage model was compared to two most popular distributed file system, GlusterFS and Ceph distributed file systems through a prototype implementation. The performance of prototype system shows outstanding results than erasure coding policy of two file systems and mostly even better results than replication policy of them.