• 제목/요약/키워드: Data replication management

검색결과 60건 처리시간 0.03초

Dynamic Replication Based on Availability and Popularity in the Presence of Failures

  • Meroufel, Bakhta;Belalem, Ghalem
    • Journal of Information Processing Systems
    • /
    • 제8권2호
    • /
    • pp.263-278
    • /
    • 2012
  • The data grid provides geographically distributed resources for large-scale applications. It generates a large set of data. The replication of this data in several sites of the grid is an effective solution for achieving good performance. In this paper we propose an approach of dynamic replication in a hierarchical grid that takes into account crash failures in the system. The replication decision is taken based on two parameters: the availability and popularity of the data. The administrator requires a minimum rate of availability for each piece of data according to its access history in previous periods, but this availability may increase if the demand is high on this data. We also proposed a strategy to keep the desired availability respected even in case of a failure or rarity (no-popularity) of the data. The simulation results show the effectiveness of our replication strategy in terms of response time, the unavailability of requests, and availability.

OGSA 에서의 그리드 정보 서비스를 기반으로한 대용량 Data Replication 관리 (Grid Information Service-Based Large Data Replication Management in OGSA)

  • 김미옥
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 추계학술발표논문집 (상)
    • /
    • pp.193-196
    • /
    • 2003
  • 그리드 환경에서 OGSA(Open Grid Service Architecture)는 분산된 서비스의 이용 편의를 위한 시스템 독립적인 인터페이스를 제공한다. 하지만 OGSA 에서 사용자가 작업 수행시 필요로 하는 QoS 와 서비스의 신뢰성을 보장하기 위해, 동일한 그리드 정보 제공자를 이용하는 여러 서비스간의 공유 자원에 대한 경쟁 문제를 해결해야 한다. 본 논문에서는 OCSA 에서 여러 서비스의 효율적인 자원 할당을 보장하는 다이나믹 Data Replication 관리를 위한 의사결정 알고리즘을 제안한다.

  • PDF

E2GSM: Energy Effective Gear-Shifting Mechanism in Cloud Storage System

  • You, Xindong;Han, GuangJie;Zhu, Chuan;Dong, Chi;Shen, Jian
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제10권10호
    • /
    • pp.4681-4702
    • /
    • 2016
  • Recently, Massive energy consumption in Cloud Storage System has attracted great attention both in industry and research community. However, most of the solutions utilize single method to reduce the energy consumption only in one aspect. This paper proposed an energy effective gear-shifting mechanism (E2GSM) in Cloud Storage System to save energy consumption from multi-aspects. E2GSM is established on data classification mechanism and data replication management strategy. Data is classified according to its properties and then be placed into the corresponding zones through the data classification mechanism. Data replication management strategies determine the minimum replica number through a mathematical model and make decision on replica placement. Based on the above data classification mechanism and replica management strategies, the energy effective gear-shifting mechanism (E2GSM) can automatically gear-shifting among the nodes. Mathematical analytical model certificates our proposed E2GSM is energy effective. Simulation experiments based on Gridsim show that the proposed gear-shifting mechanism is cost effective. Compared to the other energy-saved mechanism, our E2GSM can save energy consumption substantially at the slight expense of performance loss while meeting the QoS of user.

대용량 컬럼 저장소를 위한 교차 압축 이중화 기법 (Cross Compressed Replication Scheme for Large-Volume Column Storages)

  • 변시우
    • 한국산학기술학회논문지
    • /
    • 제14권5호
    • /
    • pp.2449-2456
    • /
    • 2013
  • 컬럼-기반 데이터베이스 저장소는 우수한 입출력 성능으로 대용량 데이터 분석 시스템을 위한 매우 진보적인 모델이다. 전통적인 데이터 저장소는 빠른 쓰기 연산을 위하여 한 레코드의 속성들을 하드 디스크에 연속적으로 배치되어 있는 가로-지향 저장 모델을 활용하였다. 하지만 검색이 대부분인 데이터웨어하우스 시스템을 위해서는 월등한 판독 성능 때문에 컬럼-지향 저장소가 더 적합한 모델이 되고 있다. 또한 최근에는 MLC 플래시 메모리를 사용한 SSD가 고속 데이터 분석 시스템을 위한 적합한 저장 매체로 인식되고 있다. 본 논문에서는 고속 컬럼-지향 데이터 저장소 모델을 도입하고, 고속 컬럼-지향 데이터웨어하우스 시스템을 위한 교차 압축 이중화를 활용하는 새로운 저장소 관리 기법을 제안한다. 본 저장소 관리 기법은 두 개의 MLC SSD에 기반하며, 압축과 비압축된 세그먼트의 교차 이중화를 통하여 높은 CPU 및 입출력 부하에서도 우수한 저장 성능과 안정성을 얻는다. 성능 평가 결과를 통하여 본 저장소 관리 기법이 기존 기법보다 컬럼 세그먼트 갱신 처리치 및 그 응답시간 측면에서 더 우수함을 확인하였다.

데이터 복제 서버를 이용한 학사 관리 시스템의 부하 분산에 관한 연구 (A Study on the Distribution of Overload in Academic Affairs Management System Using Replication Server)

  • 한광록;이승원
    • 정보처리학회논문지D
    • /
    • 제8D권5호
    • /
    • pp.605-612
    • /
    • 2001
  • 본 논문에서는 학사관리 시스템의 부하 집중 현상을 처리하기 위하여 기존의 중앙 집중형 시스템을 그대로 사용하면서 추가적으로 분산환경의 복제 서버를 구축하고 이것을 이용하는 방법을 제안한다. 데이터의 수정을 요구하지 않는 일반 조회 트랜잭션이 DML 문장의 대부분을 차지하기 때문에 각 데이터의 특성에 따라 분리된 복제서버를 구성하여 복제 서버가 수정이 필요없는 조회 트랜잭션만을 담당하게 함으로써 사용자 분산과 데이터 분산을 동시에 실행하여 실제 처리 시간을 줄일 수 있도록 하였다. 또한 기존의 집중형 시스템의 자원들을 그대로 사용할 수 있기 때문에 구현상의 편리성과 경제성을 도모 할 수 있다. 일반적으로 서버의 부하부산을 위한 방법은 크게 사용자의 프로그램이 서버전단에 서버의 부하정보를 획득하여 상대적으로 적은 부하를 가진 서버를 선택할 수 있는 클라이언트단에서의 부하분산과 응용계층 스케쥴링 기법, IP 계층 스케쥴링 기법등을 사용한 서버단에서의 부하분산이다. 본 논문의 복제서버에서는 기존의 부하분산기법에서 발생하는 단점들을 제거 또는 보완하여 시스템의 부하 집중현상을 줄일 수 있다.

  • PDF

Efficient Data-replication between Cluster-heads for Solar-powered Wireless Sensor Networks with Mobile Sinks

  • Jun Min Yi;Hong Sub Lee;Ikjune Yoon;Dong Kun Noh
    • Journal of Internet Technology
    • /
    • 제19권6호
    • /
    • pp.1801-1810
    • /
    • 2018
  • In this study, an energy-aware data-replication is proposed to effectively support a mobile sink in a solar-powered wireless sensor network (WSN). By utilizing the redundant energy efficiently, the proposed scheme shares the gathered data among the cluster heads using a backbone network, in order to increase data-reliability. It also maintains a backup cluster head in each cluster to enhance topological resilience. The simulation result showed that, compared to conventional clustering techniques, the proposed scheme decreases the total amount of data loss from the mobile sink as well as saving its energy (by reducing its moving distance), while minimizing the unexpected blackout time of the sensor node.

하둡 분산 파일시스템에서의 유연한 노드 관리를 위한 지연된 블록 복제 기법 (Delayed Block Replication Scheme of Hadoop Distributed File System for Flexible Management of Distributed Nodes)

  • 류우석
    • 한국전자통신학회논문지
    • /
    • 제12권2호
    • /
    • pp.367-374
    • /
    • 2017
  • 본 논문에서는 빅 데이터 처리를 위한 플랫폼인 하둡이 가지고 있는 분산 노드 관리 기법의 문제점을 분석하고 하둡 분산 파일시스템에서 노드 관리를 유연하게 처리하기 위한 기법을 제안한다. 기존의 방법은 클러스터에 포함된 노드가 일시적으로 연결되지 않는 경우 이를 즉시 고장으로 판정함으로 인해 클러스터를 동적으로 구성하지는 못하는 문제가 있다. 본 논문에서 제안하는 지연된 블록 복제 기법은 연결이 끊어진 노드가 추후 클러스터에 쉽게 편입될 수 있도록 노드의 제거를 최대한 지연함으로써 노드 관리의 유연성을 제공한다. 실험을 통해 제안하는 기법이 클러스터의 규모가 변화하는 환경에서 분산 처리 성능에 영향을 거의 미치지 않으면서도 노드 관리의 유연성을 증대시키는 것을 입증한다.

XML 기반의 이기종 DBMS간 데이터 복제 웹 에이전트 설계 및 구현 (Design and Implementation of Data Replication Web Agent between Heterogeneous DBMSs based on XML)

  • 유선영;임재홍
    • 한국항해항만학회지
    • /
    • 제26권4호
    • /
    • pp.427-433
    • /
    • 2002
  • 최근 인터넷에서 사용되고 있는 하이퍼텍스트 생성 언어(HTML : Hyper Text Markup Language)는 제한된 태그(Tag)들을 사용하기 때문에 문서를 구조화시키지 못해 정보 축적과 정의추출 방법이 비효율적이고 추출한 정보의 가공이 어렵다. 그러나 확장성 생성 언어 (XML ; eXtensible Markup Language)는 사용자가 문서상에 사용될 태그를 자유롭게 정의할 수 있고 다른 사람들도 그 태그를 사용할 수 있기 때문에 HTML에 비해 정보 축적과 정보추출 방법이 용이하다. 서로 다른 데이터베이스를 사용하고 있는 항만 관련 업체들간의 물류에 관한 정보를 공유하거나 교환하기 위해서는 HTML이 아닌 XML이 더 적합하다. 본 논문에서는 항만업체들의 요구를 수용하기 위해 XML을 이용하여 웹에서 이기종 데이터베이스 관리 시스템(DBMS ; Database Management System)간의 데이터 복제 및 정보를 교환할 수 있는 웹 에이전트 시스템을 설계하고 구현하였다.

PosCFS+: A Self-Managed File Service in Personal Area Network

  • Lee, Woo-Joong;Kim, Shi-Ne;Park, Chan-Ik
    • ETRI Journal
    • /
    • 제29권3호
    • /
    • pp.281-291
    • /
    • 2007
  • Wearable computers consisting of various small devices such as smart phones, digital cameras, MP3 players and specialized I/O devices in personal area networks will play an important role in future ubiquitous computing. In this environment, accessing user data is quite complex due to the dynamic and heterogeneous characteristics of the underlying networks. Moreover, since the amount of user data increases rapidly, automatic data backup management is also critical. To overcome these challenges, several studies have been conducted including our previously proposed file service system, PosCFS, which could be adapted to the requirements with a virtualization technique allowing per-user global namespace for managing and accessing data stored on physical storage spaces detected in PAN. In this paper, we present a smart file service framework, PosCFS+ which is an improved and extended version of our previous work. Performance improvement is made possible by redesigning the metadata management scheme based on database and keywords rather than ontology. In addition, the automatic data replication management is newly designed based on the OSD protocol.

  • PDF