• 제목/요약/키워드: 분산 스토리지

검색결과 86건 처리시간 0.027초

KI Cloud 플랫폼을 위한 데이터 저장소 설계 및 구현 (Design and Implementation of The Data Storage for KI Cloud Platform)

  • 조혜영;정기문;홍태영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 춘계학술발표대회
    • /
    • pp.16-18
    • /
    • 2021
  • 최근 베어메탈 시스템에 스케줄러 시스템 기반 인프라 시스템에서 벗어나 사용자 맞춤형 클라우드 인프라가 관심을 받고 있다. KI Cloud 플랫폼은 고성능 컴퓨팅(HPC) 사용자를 위한 클라우드 기반 IaaS, PaaS 통합 플랫폼이다. 본 논문에서는 KI Cloud를 위한 데이터 저장소 설계 및 구현에 대해 기술한다. 오픈 소스 Ceph 분산 스토리지 시스템을 기반으로 구축하였고, 프로젝트의 목적에 맞게 블록 스토리지, 오브젝트 스토리지, 파일 스토리지 방식으로 구현하였다. Openstack 기반의 서비스와 Kubernetes 기반의 서비스가 하나의 스토리지를 통해 다양한 타입의 서비스를 제공할 수 있도록 개발하였다.

하둡 분산 파일 시스템을 위한 효율적인 데이터 분산 저장 기법 (An Efficient Data Distribution Store Schemes for Hadoop Distributed File System)

  • 최성진;전대석;배대극;최부영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(D)
    • /
    • pp.163-166
    • /
    • 2011
  • 클라우드 컴퓨팅이란 인터넷 기술을 활용하여 모든 인프라 자원(소프트웨어, 서버, 스토리지, 네트워크 등)을 서비스화(as a Service)하여, 언제, 어디서든, 장치에 독립적으로 네트워크를 통해 사용하고, 사용한 만큼 비용을 지불하는 컴퓨팅으로써, 대표적인 서비스 업체로는 구글과 아마존이 있다. 최근 아파치 재단에서는 구글의 GFS와 동일 또는 유사한 시스템을 만들기 위해 HDFS 오픈소스 프로젝트를 진행하고 있다. HDFS는 빈번한 하드웨어 고장에도 원본 데이터를 복구할 수 있는 가용성을 보장하기 위해 파일 데이터를 블록 단위로 나누어, 다시 datanode에 복제하여 저장한다. 이 기법은 복제가 많아 질수록 가용성은 높아지나 스토리지가 증가한다는 단점을 가지고 있다. 따라서 본 논문에서는 이러한 문제점을 해결하기 위해 행렬의 특성을 이용한 새로운 분산 저장 기법을 제안한다.

소규모 클러스터 시스템에서의 spNFS 성능 평가 (Performance evaluation of spNFS on a small scale cluster system)

  • 차광호;김성호;이상동
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 추계학술발표대회
    • /
    • pp.940-942
    • /
    • 2008
  • 분산되어 있는 스토리지 자원을 하나의 클러스터로 구성하여 분산 파일 시스템으로 구성하고자 하는 경우, 기존의 네트워크 파일 시스템만을 이용하기에는 여러 가지 제약이 존재한다. 특히 Parallel Striped Access는 IO데이터를 스토리지에 나누어 분산시키고 클라이언트가 직접 접근하는 방식으로 병렬 파일 시스템과 같은 HPC 용 특수 파일 시스템에서는 이미 사용되는 기법이나, 일반적인 시스템을 대상으로 한 표준안의 부재가 제약이 된다. pNFS(Parallel NFS)는 이러한 문제를 해결하기 위해서 제시되는 새로운 NFS 기술이다. 본 연구에서는 pNFS의 연구 동향과 더불어 소규모 클러스터 시스템에서 나타나는 성능적 특징을 조사하였다.

분산 파일시스템의 소거 코딩 구현 및 성능 비교 (Implementation and Performance Measuring of Erasure Coding of Distributed File System)

  • 김재열;김영철;김동오;김홍연;김영균;서대화
    • 한국통신학회논문지
    • /
    • 제41권11호
    • /
    • pp.1515-1527
    • /
    • 2016
  • 최근의 빅데이터, 머신러닝, 클라우드 컴퓨팅 분야의 성장에 따라 대용량의 비정형 데이터를 저장할 수 있는 스토리지의 중요성은 날로 커지고 있다. 이에 따라 MAHA-FS, GlusterFS, Ceph 등의 개방형 하드웨어 기반의 분산 파일시스템 기술이 많은 주목을 받고 있다. 이러한 저비용 분산 파일시스템들은 데이터의 내결함성을 보장하기 위하여 초기에 복제 방식을 사용하였으나, 스토리지의 용량이 커질수록 복제 방식이 가지는 스토리지 공간의 저효율성이 점차 부각되면서 이를 보완하려는 방향으로 연구가 진행되고 있다. 본 논문은 복제방식을 대체하여 스토리지 공간 효율성을 향상시킬 수 있는 소거코딩 기법을 MAHA-FS 분산 파일시스템에 적용하여 스토리지의 효율성을 높이고, 소거코딩 지원에 따라 발생하는 데이터 일관성 문제를 해결하는 효율적인 방식으로 VDelta 기법을 제안하고 적용하였다. 본 논문은 MAHA-FS와 GlusterFS의 소거코딩의 구조적 차이점을 기술하고 두 파일시스템의 성능을 비교하여 MAHA-FS의 소거코딩 성능이 GlusterFS에 비해 우수함을 확인하였다.

인피니밴드 스토리지 네트워크를 적용한 오픈스택 클라우드 스토리지 시스템의 설계 및 스토리지 가상화 성능평가 (Design of OpenStack Cloud Storage Systems - Applying Infiniband Storage Network and Storage Virtualization Performance Evaluation)

  • 허희성;이광수;메히디;김덕환
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권7호
    • /
    • pp.470-475
    • /
    • 2015
  • 오픈스택은 개발자가 IaaS(Infrastructure as a Service) 클라우드 플랫폼을 구축할 수 있게 하는 오픈소스 소프트웨어이다. 오픈스택은 서버, 네트워크, 스토리지 자원들을 가상화하고, 사용자들에게 이를 제공한다. 본 논문에서는 입출력 연산 시 서버와 스토리지 노드 간에 발생할 수 있는 병목현상을 해결하기 위해 고속 통신을 지원하는 인피니밴드 스토리지 네트워크를 적용한 오픈스택 클라우드 스토리지 시스템의 구조를 제안한다. 또한 모든 SSD들에 분산 RAID-60 구조를 적용하여 Nova의 가상머신에서 사용 가능한 All Flash Array 기반의 고성능 Cinder 스토리지 볼륨을 구현하며, 오픈스택에 적용한 인피니밴드 스토리지 네트워크가 고성능 스토리지 가상화에 적합함을 보인다.

Design and Implementation of the Evaluation Framework for Decentralized Multimedia Streaming Services

  • Park, Sangsoo
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권9호
    • /
    • pp.91-100
    • /
    • 2020
  • 본 논문은 네트워크 품질에 대한 서비스의 품질과 성능을 평가할 수 있는 분산형/탈중앙 스토리지에 오디오와 비디오를 포함하는 멀티미디어 스트리밍 서비스의 프로토타입을 설계하고 구현한 통합된 평가 프레임워크를 제안한다. 본 논문의 평가 프레임워크는 기존 클라이언트·서버 구조의 확장성과 단일 장애 지점의 문제를 극복할 수 있도록 멀티미디어 스트리밍 서비스에 분산형 스토리지를 적용하였으며, 서비스 품질을 측정하고 향상 시키는 중요한 지표에 초점을 맞추었다. 특히 탈중앙 스토리지 기반의 멀티미디어 콘텐츠 스트리밍 서비스에서 스트리밍의 품질과 성능을 평가하기 위한 성능 지표를 측정할 수 있을 뿐만 아니라 네트워크 가상화 기술을 이용하여 네트워크 품질을 조정할 수 있다. 실험 결과에 따르면 제안된 프레임워크는 단일 호스트 컴퓨터에 탈중앙 스토리지 기반 스트리밍 서비스를 구축하고 운영하는 데 있어 오버헤드가 낮음을 보여주었으며, 평가 가능한 시스템 규모의 확장성을 검증하였다.

인터넷 기반의 그룹 오피스 시스템 구현 (Implementation of Group Office System Based on Internet)

  • 김경록;송석일;곽윤식
    • 한국정보통신학회논문지
    • /
    • 제9권3호
    • /
    • pp.540-546
    • /
    • 2005
  • 본 논문에서는 기존의 웹 하드디스크보다 쉽게 기능을 확장할 수 있고, 웹에서의 일반 어플리케이션을 보다 좀 더 간편하게 사용자의 요구에 맞도록 커스터마이징이 가능한 웹 스토리지 기반의 그룹오피스 시스템을 설계하고 구현하였다. 제안하는 웹스토리지는 다수의 스토리지 서버가 모여서 구성되는 분산 시스템이다 이 웹스토리지는 사용자의 위치에 따라 서비스해 주는 서버를 달리하는 방법을 제공하여 보다 빠른 스토리지 서비스가 가능하다.

클라우드 환경에서 속성 재암호 기반의 데이터 공유 기법 (Data Sharing Scheme based on Attribute Re-Encryption in Cloud Computing)

  • 김수현;이임영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 춘계학술발표대회
    • /
    • pp.402-403
    • /
    • 2015
  • 클라우드 컴퓨팅 환경에서는 사용자의 데이터를 수많은 분산서버를 이용하여 데이터를 암호화하여 저장한다. 이러한 클라우드 스토리지에 사용자의 수많은 데이터가 저장됨에 따라 클라우드 스토리지의 신뢰성에 문제가 발생하고 있다. 비신뢰적인 관리자 및 공직자로부터 클라우드 서버에 저장된 사용자의 데이터를 안전하게 저장하기 위한 다양한 암호 기술들이 계속해서 연구되고 있다. 하지만 기존의 데이터 암호 기술들은 클라우드 스토리지 상에서 여러 사용자 간의 데이터 공유 서비스에 적용하기 힘든 단점을 가지고 있다. 따라서 본 논문에서는 비신뢰적인 클라우드 스토리지를 고려하여 속성기반 암호로 암호화된 키를 재암호화하여 다른 사용자와 안전하고 효율적으로 공유할 수 있는 데이터 공유기법을 제안한다.

고성능 클라우드 스토리지 환경 구축을 위한 SAN 최적화 (SAN Optimization for Implementing High Performance Cloud Storage Environments)

  • 최재우;신동인;엄현상;염헌영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 추계학술발표대회
    • /
    • pp.802-805
    • /
    • 2012
  • 오늘날 클라우드 서버 시스템 환경은 급속도로 증가하는 데이터를 효율적으로 처리 및 저장하기 위해 네트워크로 연결된 다수의 서버 머신들로 clustering 이나 분산 시스템 환경, 또는 SAN(Storage Area Network) 환경 등을 구성하여 보다 효율적인 서버시스템을 구현하고 있다. 이러한 서버시스템 환경에서의 병목현상은 주로 디스크기반의 스토리지에서 발생하며, 이를 극복하기 위해 고성능 스토리지에 대한 요구가 증가하고 있다. 그러나, 단순히 디바이스를 교체하는 것 만으로는 고성능 장비의 뛰어난 성능을 제대로 활용할 수 없으며 그에 맞는 최적화 작업이 요구된다. 본 논문에서는 기존의 SAN Solution 의 문제를 분석하고, 고성능 스토리지의 성능을 잘 활용할 수 있는 설정 및 최적화 방법을 제안한다.

SDS 환경의 유사도 기반 클러스터링 및 다중 계층 블룸필터를 활용한 분산 중복제거 기법 (Distributed data deduplication technique using similarity based clustering and multi-layer bloom filter)

  • 윤다빈;김덕환
    • 한국차세대컴퓨팅학회논문지
    • /
    • 제14권5호
    • /
    • pp.60-70
    • /
    • 2018
  • 클라우드 환경에서 다수의 사용자가 물리적 서버를 가상화하여 사용할 수 있도록 편의성을 제공하는 Software Defined Storage(SDS)를 적용하고 있지만 한정된 물리적 자원을 고려하여 공간 효율성을 최적화하는 솔루션이 필요하다. 기존의 데이터 중복제거 시스템에서는 서로 다른 스토리지에 업로드 된 중복 데이터가 중복제거되기 어렵다는 단점이 있다. 본 논문에서는 유사도기반 클러스터링과 다중 계층 블룸 필터를 적용한 분산 중복제거 기법을 제안한다. 라빈 해시를 이용하여 가상 머신 서버들 간의 유사도를 판단하고 유사도가 높은 가상머신들을 클러스터 함으로써 개별 스토리지 노드별 중복제거 효율에 비하여 성능을 향상시킨다. 또한 중복제거 프로세스에 다중 계층 블룸 필터를 접목하여 처리 시간을 단축하고 긍정오류를 감소시킬 수 있다. 실험결과 제안한 방법은 IP주소 기반 클러스터를 이용한 중복제거 기법에 비해 처리 시간의 차이가 없으면서, 중복제거율이 9% 높아짐을 확인하였다.