• Title/Summary/Keyword: 오브젝트 스토리지

Search Result 15, Processing Time 0.025 seconds

Performance Analysis of Cloud-Backed File Systems with Various Object Sizes (클라우드 기반 파일 시스템의 오브젝트 크기별 성능 분석)

  • Kim, Jiwon;Lee, Kyungjun;Ryu, Sungtae;Han, wansoo
    • Journal of KIISE
    • /
    • v.43 no.7
    • /
    • pp.744-750
    • /
    • 2016
  • Recent cloud infrastructures provide competitive performances and operation costs for many internet services through pay-per-use model. Particularly, object storages are highlighted, as they have unlimited file holding capacity and allow users to access the stored files anytime and anywhere. Several lines of research are based on cloud-backed file systems, which support traditional POSIX interface rather than RESTful APIs via HTTP. However, these existing file systems handle all files with uniform size backing objects. Consequently, the accesses to cloud object storages are likely to be inefficient. In our research, files are profiled according to characteristics, and appropriate backing unit sizes are determined. We experimentally verify that different backing unit sizes for the object storage improve the performance of cloud-backed file systems. In our comparative experiments with S3QL, our prototype cloud-backed file system shows faster performance by 18.6% on average.

RDBMS Performance Comparison on Object Storage (오브젝트 스토리지의 RDBMS 성능비교)

  • Kim, Young-Long;Ko, Seok-In;Cha, Jae-Hyuk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.234-237
    • /
    • 2015
  • 현재 RDBMS는 대부분 블록기반의 스토리지를 사용하는데 오늘날 정형화 되지 않은 데이터 타입에 대한 요청이 많아지고 있어서 오브젝트 스토리지를 사용하려는 연구가 활발히 진행 되고 있다. 그래서 본 논문을 통해 오브젝트 스토리지를 사용하는 RDBMS 환경을 제안한다. 오브젝트 스토리지 중 오픈 소스로 많이 사용되고 있는 Swift와 Ceph를 사용하여 시스템을 구축, 두 시스템간의 파일 및 RDBMS 성능비교를 진행하였다. Swift와 Ceph는 동일한 인터페이스가 아니기에 중간에 새로운 레이어를 추가하여 POSIX 환경에서 테스트가 가능하도록 하였다. 데이터베이스는 Postgresql을 사용하였고 두 시스템 간의 성능측정은 파일벤치마크인 IOzone 그리고 Posgresql에서 지원하는 TPC-B 기반 pgbench를 사용, 노드 확장성과 가상 클라이언트 수를 비교표로 활용하여 실험을 진행하였다.

Efficient Migration Scheme for Object Storage with Non-volatile Memory (비휘발성 메모리를 오브젝트 스토리지에 적용하기 위한 효율적인 마이그레이션 기법)

  • Kim, Inseob;Kim, Shindug
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.05a
    • /
    • pp.12-15
    • /
    • 2018
  • 비정형 데이터를 효율적으로 처리하기 위한 대표적인 오브젝트 스토리지로 OpenStack Swift가 있다. 하지만, 오브젝트 스토리지의 일관성 지원은 동기화 지연을 발생시키고 전체 성능에 영향을 미친다. 이런 문제는 기존 시스템에서 발생하는 페이지 스왑, 데이터 중복을 비휘발성 메모리를 사용함으로써 제거할 수 있고 오브젝트 서버의 성능 하락을 완화할 수 있다. 하지만, 비휘발성 메모리를 효율적으로 사용하기 위해서는 비휘발성 메모리 장치별 특성을 고려한 효율적인 데이터 배치가 필요하고 본 논문에서는 이를 위한 마이그레이션 기법을 제안한다. 마이그레이션 기법에서 사용하는 점수식은 First In First Out (FIFO)보다 정확도를 약 11% 향상시켰고, 기존 기법들보다 실행 시간은 42% 감소, 마이그레이션 횟수는 최대 24배 감소, 에너지 소비량은 9% 정도 절약하였다.

A Workload Analysis of Distributed Object Store to Backend Storage (분산 오브젝트 저장 플랫폼의 스토리지 접근 워크로드 특성 분석)

  • Han, Yuil;Lee, Eunji
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.11a
    • /
    • pp.6-7
    • /
    • 2017
  • 디지털 데이터의 폭발적 증가와 형태의 다양화는 최근 비정형 대규모 저장 플랫폼의 급격한 확산을 이끌고 있다. 이러한 비정형 데이터 저장 시스템은 전통적인 파일시스템과 데이터를 저장 및 처리하는 방식이 상이하여 높은 성능을 위해서는 기존 하위 시스템의 최적화가 필요하다. 이에 본 논문에서는 최근 급부상하고 있는 분산 오브젝트 스토어인 Ceph을 중심으로 오브젝트 스토어의 스토리지 접근 패턴을 분석하는 연구를 수행한다. 본 연구는 상위 계층의 접근패턴을 구체적으로 이해함으로써 차세대 데이터 플랫폼을 효율적으로 지원할 수 있는 스토리지 시스템을 개발하는 데에 기여한다고 하겠다.

In-Memory File System Backed by Cloud Storage Services as Permanent Storages (클라우드 스토리지를 최종 저장 장치로 사용하는 인메모리 파일 시스템)

  • Lee, Kyungjun;Kim, Jiwon;Ryu, Sungtae;Han, Hwansoo
    • Journal of KIISE
    • /
    • v.43 no.8
    • /
    • pp.841-847
    • /
    • 2016
  • As network technology advances, a larger number of devices are connected through the Internet. Recently, cloud storage services are gaining popularity, as they are convenient to access anytime and anywhere. Among cloud storage services, object storage is the representative one due to their characteristics of low cost, high availability, and high durability. One limitation of object storage services is that they can access data on the cloud only through the HTTP-based RESTful APIs. In our work, we resolve this limitation with the in-memory file system which provides a POSIX interface to the file system users and communicates with cloud object storages with RESTful APIs. In particular, our flush mechanism is compatible with existing file systems, as it is based on the swap mechanism of the Linux kernel. Our in-memory file system backed by cloud storage reduces the performance overheads and shows a better performance than S3QL by 57% in write operations. It also shows a comparable performance to tmpfs in read operations.

A Study on Optimizing Disk Utilization of Software-Defined Storage (소프트웨어 정의 스토리지의 디스크 이용을 최적화하는 방법에 관한 연구)

  • Lee Jung Il;Choi YoonA;Park Ju Eun;Jang, Minyoung
    • KIPS Transactions on Computer and Communication Systems
    • /
    • v.12 no.4
    • /
    • pp.135-142
    • /
    • 2023
  • Recently, many companies are using public cloud services or building their own data center because digital transformation is expanding. The software-defined storage is a key solution for storing data on the cloud platform and its use is expanding worldwide. Software-defined storage has the advantage of being able to virtualize and use all storage resources as a single storage device and supporting flexible scale-out. On the other hand, since the size of an object is variable, an imbalance occurs in the use of the disk and may cause a failure. In this study, a method of redistributing objects by optimizing disk weights based on storage state information was proposed to solve the imbalance problem of disk use, and the experimental results were presented. As a result of the experiment, it was confirmed that the maximum utilization rate of the disk decreased by 10% from 89% to 79%. Failures can be prevented, and more data can be stored by optimizing the use of disk.

Building a testbed for object storage and traffic analysis (오브젝트 스토리지 실험 테스트베드 구축 및 트래픽 분석)

  • Hong, Wontaek;Kwon, Yoonjoo;Chung, Jinwook
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.284-286
    • /
    • 2015
  • 최근 첨단과학응용 분야에서 클라우드 기반의 실험 환경을 구축하는 사례가 늘어가고 있다. 이러한 연구 환경의 패러다임 변화와 관련하여 연구망에서도 고성능 백본 망을 활용한 데이터 공유 서비스에 대한 필요성이 대두되고 있다. 본 논문에서는 데이터 공유 모델의 설계에 앞서 실험적 연구로 공개 소프트웨어 클라우드 운영체제인 OpenStack의 Swift 서비스를 이용하여 오브젝트 스토리지 실험 테스트 베드를 구축하고, 대용량의 데이터 전송 시 발생하는 트래픽을 분석한다. 분석 결과, 리플리카의 생성, 배치 및 선택 등에 따른 유의한 트래픽 발생의 변화를 관찰할 수 있었고, 이러한 결과는 광역 규모의 분산된 데이터 공유 모델 설계 및 망에 대한 요구사항 등으로 활용될 수 있다.

Design and Implementation of The Data Storage for KI Cloud Platform (KI Cloud 플랫폼을 위한 데이터 저장소 설계 및 구현)

  • Cho, Hyeyoung;Jeong, Gi-Mun;Hong, TaeYoung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.05a
    • /
    • pp.16-18
    • /
    • 2021
  • 최근 베어메탈 시스템에 스케줄러 시스템 기반 인프라 시스템에서 벗어나 사용자 맞춤형 클라우드 인프라가 관심을 받고 있다. KI Cloud 플랫폼은 고성능 컴퓨팅(HPC) 사용자를 위한 클라우드 기반 IaaS, PaaS 통합 플랫폼이다. 본 논문에서는 KI Cloud를 위한 데이터 저장소 설계 및 구현에 대해 기술한다. 오픈 소스 Ceph 분산 스토리지 시스템을 기반으로 구축하였고, 프로젝트의 목적에 맞게 블록 스토리지, 오브젝트 스토리지, 파일 스토리지 방식으로 구현하였다. Openstack 기반의 서비스와 Kubernetes 기반의 서비스가 하나의 스토리지를 통해 다양한 타입의 서비스를 제공할 수 있도록 개발하였다.

A Study on the Spatio-temporal Coordinate Array for the Efficient Editing of Game Story (게임스토리의 효율적 작성을 위한 시공간 좌표 배치 연구)

  • Shim, Yu-Jin;Sohn, Kee-Hoon
    • Journal of Korea Game Society
    • /
    • v.18 no.3
    • /
    • pp.39-48
    • /
    • 2018
  • The composition of the 'The Game Story' should reflect the game play and development environment. To do that, I borrowed a coordinate format called 'Spatio-temporal Coordinate Array' that was not based on text-based storytelling. I wanted to create a way for the story to describe relationship between 'action' based on time and 'object' based on space. One way to do this was to analyze the concepts using a mystery game in which Spatio-temporal Array is a large role in user's decision-making. As a result, I found that the method -Spatio-temporal coordinates- was an editor containing game play, and a setting tool capable of being used as a conceptual diagram.

Data sharing service over KREONET utilizing object storage service (오브젝트 스토리지 서비스를 활용한 국가과학기술연구망에서의 데이터 공유 서비스 제공 방안)

  • Hong, Wontaek;Kwon, Yoonjoo;Chung, Jinwook
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.04a
    • /
    • pp.107-109
    • /
    • 2016
  • 최근 클라우드 컴퓨팅 기술의 발전은 기존에 어려웠던 응용연구 분야의 실험 환경 구축을 용이하게 함으로써 새로운 협업연구 패러다임을 가져오고 있다. 본 논문에서는 고성능 연구망 기반의 협업연구 환경을 구축하기 위해 필요한 데이터 공유 및 전송에 관한 서비스 제공 방안을 제안한다. 이러한 서비스 모델은 연구망의 특성을 반영하고, 접근 패턴이 다른 사용자들을 동시에 수용할 수 있도록 구성된다. 이를 토대로, 최근 오픈소스 소프트웨어로 활발히 이용되는 서비스 구성 요소들을 분류 및 선택하여 실험 테스트베드를 구성하고, 활용 시나리오별 데이터 전송 실험을 수행함으로써 제안 서비스의 활용 가능성을 확인하였다.