• 제목/요약/키워드: data replication

검색결과 321건 처리시간 0.022초

Dynamic Replication Based on Availability and Popularity in the Presence of Failures

  • Meroufel, Bakhta;Belalem, Ghalem
    • Journal of Information Processing Systems
    • /
    • 제8권2호
    • /
    • pp.263-278
    • /
    • 2012
  • The data grid provides geographically distributed resources for large-scale applications. It generates a large set of data. The replication of this data in several sites of the grid is an effective solution for achieving good performance. In this paper we propose an approach of dynamic replication in a hierarchical grid that takes into account crash failures in the system. The replication decision is taken based on two parameters: the availability and popularity of the data. The administrator requires a minimum rate of availability for each piece of data according to its access history in previous periods, but this availability may increase if the demand is high on this data. We also proposed a strategy to keep the desired availability respected even in case of a failure or rarity (no-popularity) of the data. The simulation results show the effectiveness of our replication strategy in terms of response time, the unavailability of requests, and availability.

데이터그리드 환경에서의 전문가 시스템을 이용한 Data Replication 시스템의 개선 (Enhancing Data Replication System using Expert System in a Data Grid)

  • 김미옥;이동우;최지현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 추계학술발표논문집 (상)
    • /
    • pp.173-176
    • /
    • 2003
  • 기존 데이터그리드에서는 대용량의 데이터 서비스를 위해 Peer-to-Peer 기반의 Data Replication 을 사용하였다. 하지만 기존의 방법은 로컬 사이트의 정보만을 가지고 Data Replication 을 수행하므로, 데이터그리드 전체의 Data Replication 을 수행하는데 비효율적이다. 이에 본 논문에서는 Rule 기반 Forward Chaining 을 수행하는 전문가 시스템을 이용하여, 데이터그리드 전체의 Data Replication 을 수행하는 방법을 제안하고 이를 구현하였다.

  • PDF

데이터 그리드를 위한 효율적인 Peer-to-Peer 기반 복제 정책 (An Efficient Peer-to-Peer Based Replication Strategy for Data Grid)

  • 오상원;이원주;전창호
    • 전자공학회논문지CI
    • /
    • 제45권2호
    • /
    • pp.10-17
    • /
    • 2008
  • 본 논문에서는 데이터 그리드 시스템의 성능을 향상시킬 수 있는 Peer-to-Peer 기반의 효율적인 복제 정책을 제안한다. 이 정책은 기존의 데이터 복제정책에 Peer-to-Peer 개념을 추가하여 계층구조로 인한 데이터 전송 제한을 줄인다. 그리고 클라이언트 계층 노드의 저장장치 일정 부분을 임계구역(critical section)으로 설정하여 데이터 복사본을 저장할 수 있도록 함으로써 클라이언트 계층 노드간의 데이터 복사본 전송과 클라이언트 계층 노드에서 상위 계층의 데이터 복제 서버로 데이터 복사본 전송이 가능하도록 한다. 클라이언트 계층 노드간의 데이터 복사본 전송은 데이터 서버 또는 데이터 복제 서버에서 데이터 복사본을 전송하는 것에 비해 전송시간을 최소화 할 수 있기 때문에 데이터 그리드 시스템의 성능을 높일 수 있다. 본 논문에서 는 시뮬레이션을 통하여 제안하는 Peer-to-Peer 기반 데이터 복제 정책이 기존의 복제 정책에 비해 그리드 시스템의 성능을 향상시킨다는 것을 보인다.

인터넷 구조 기반의 동적 데이터 그리드 복제 정책 (A Dynamic Data Grid Replication Strategy Based on Internet Architecture)

  • 김준상;이원주;전창호
    • 전자공학회논문지CI
    • /
    • 제45권3호
    • /
    • pp.1-6
    • /
    • 2008
  • 데이터 그리드는 지리적으로 분산된 대용량의 데이터 자원을 광대역 통신망을 통해 공유한다. 이러한 그리드 환경은 물리적 네트워크인 인터넷 상에서 구현되기 때문에 대용량의 데이터를 전송하는데 많은 시간이 소요된다. 이러한 문제를 극복하기 위해서 여러 가지 복제 정책들이 제안되었는데, 기존의 데이터 그리드 복제 정책은 실제 인터넷의 구조를 고려하지 않고 논리적인 토폴로지를 바탕으로 제안되었기 때문에 실제 구축된 데이터 그리드에서 최적의 성능을 기대할 수 없다. 그리드에서 데이터 접근시간은 물리적 네트워크인 인터넷의 구조에 의해 가장 큰 영향을 받기 때문이다. 본 논문에서는 인터넷 구조 기반의 새로운 데이터 그리드 복제 정책으로 RSIA(Replication Strategy based on Internet Architecture) 복제 정책을 제안한다. 이 정책은 인터넷의 각 요소들 사이에 존재하는 구조적인 계층성을 고려하여 데이터 복사본을 배치하고, 데이터 전송 시 대역폭의 병목 구간을 피함으로써 시스템의 성능 저하를 줄인다. 본 논문에서는 시뮬레이션을 통하여 제안하는 RSIA가 기존의 복제 정책에 비해 데이터 그리드의 성능 향상 면에서 우수함을 보인다.

대규모 멀티미디어 서버에서 효율적인 데이터 이동/중복 기법 (An Efficient Data Nigration/Replication Scheme in a Large Scale Multimedia Server)

  • 김은삼
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권5호
    • /
    • pp.37-44
    • /
    • 2009
  • 최근 멀티미디어 데이터의 품질이 높아짐에 따라 서버는 더 큰 용량의 저장 공간과 더 높은 I/O 대역폭을 요구하고 있다. 이러한 대규모 멀티미디어 서버에서는 각 객체의 인기도에 따른 접근 빈도의 차이로 인한 디스크 간의 부하 균형 문제가 성능에 중요한 영향을 미친다. 따라서 이 문제를 해결하기 위해 여러 데이터 중복 기법들이 제안되었다. 본 논문에서는 멀티미디어 서버에서 사용되는 대표적인 데이터 중복 기법인 동적 중복 기법보다 저장 효율이 뛰어나고 성능이 우수한 이동/중복 기법을 제안한다. 이 기법은 기존 중복 기법의 단점인 각 객체의 복사본 수를 줄임으로써 중복으로 인해 추가로 요구되는 저장 공간을 크게 감소시킨다. 또한 각 객체에 대한 요청들 간의 간격을 줄임으로써 캐슁 효과를 높여서 기존 중복 기법에 비해 동시에 지원할 수 있는 최대 사용자 수를 증가시킨다.

Bidirectional Chain Replication for Higher Throughput Provision

  • Mostafa, Almetwally M.;Youssef, Ahmed E.;Aljarbua, Yazeed Ali
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권2호
    • /
    • pp.668-685
    • /
    • 2019
  • Provision of higher throughput without sacrificing consistency guarantees in replication systems is a critical problem. In this paper, we propose a novel approach called Bidirectional Chain Replication (BCR) to improve throughput in traditional Chain Replication (CR) through better utilization of computing and communication resources of the chain. Unlike CR where the whole replicated data store is treated as a single unit, in BCR the replicated shared data at each server in the chain is split into two disjoint Logical Partitions ($LP_1$, $LP_2$). This forms two chains running concurrently on the same hardware in two opposite directions; the first chain ($CR_1$) exclusively manipulates data objects in $LP_1$, while the second chain ($CR_2$) exclusively manipulates data objects in $LP_2$, therefore, conflict is avoided and concurrency is guaranteed. The simultaneous employment of these two chains results in better utilization of hardware in the sense that the two chains can evenly share the workload, hence, throughput can be improved without sacrificing consistency. Experimental results showed an improvement of approximately 85% in throughput of BCR over CR.

OGSA 에서의 그리드 정보 서비스를 기반으로한 대용량 Data Replication 관리 (Grid Information Service-Based Large Data Replication Management in OGSA)

  • 김미옥
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 추계학술발표논문집 (상)
    • /
    • pp.193-196
    • /
    • 2003
  • 그리드 환경에서 OGSA(Open Grid Service Architecture)는 분산된 서비스의 이용 편의를 위한 시스템 독립적인 인터페이스를 제공한다. 하지만 OGSA 에서 사용자가 작업 수행시 필요로 하는 QoS 와 서비스의 신뢰성을 보장하기 위해, 동일한 그리드 정보 제공자를 이용하는 여러 서비스간의 공유 자원에 대한 경쟁 문제를 해결해야 한다. 본 논문에서는 OCSA 에서 여러 서비스의 효율적인 자원 할당을 보장하는 다이나믹 Data Replication 관리를 위한 의사결정 알고리즘을 제안한다.

  • PDF

Variance Estimation for Imputed Survey Data using Balanced Repeated Replication Method

  • Lee, Jun-Suk;Hong, Tae-Kyong;Namkung, Pyong
    • Communications for Statistical Applications and Methods
    • /
    • 제12권2호
    • /
    • pp.365-379
    • /
    • 2005
  • Balanced Repeated Replication(BRR) is widely used to estimate the variance of linear or nonlinear estimators from complex sampling surveys. Most of survey data sets include imputed missing values and treat the imputed values as observed data. But applying the standard BRR variance estimation formula for imputed data does not produce valid variance estimators. Shao, Chen and Chen(1998) proposed an adjusted BRR method by adjusting the imputed data to produce more accurate variance estimators. In this paper, another adjusted BRR method is proposed with examples of real data.

A Study on Effect of Code Distribution and Data Replication for Multicore Computing Architectures

  • Cho, Doosan
    • International Journal of Advanced Culture Technology
    • /
    • 제9권4호
    • /
    • pp.282-287
    • /
    • 2021
  • A multicore system must be able to take full advantage of the program's instruction and data parallelism. This study introduces the data replication technique as a support technique to maximize the program's instruction and data parallelism. Instruction level parallelism can be limited by data dependency. In this case, if data is replicated to each processor core and used, instruction level parallelism can be used to the maximum. The technique proposed in this study can maximize the performance improvement effect when applied to scientific applications such as matrix multiplication operation.

엔터프라이즈 재해복구시스템 구축을 위한 데이터 복제 방안 연구 (Research on Data Replication Method for Building an Enterprise Disaster Recovery System)

  • 강현선
    • 문화기술의 융합
    • /
    • 제10권1호
    • /
    • pp.411-417
    • /
    • 2024
  • 재해 발생 시 주요 IT 인프라 중단을 최소화하고 연속적인 비즈니스 서비스를 제공하기 위한 재해복구 계획 및 재해복구시스템의 구축은 반드시 필요하다. 재해복구시스템 구축과정에서 데이터 복제는 재해 발생 시 중단 없는 연속적인 비즈니스 서비스 제공을 위한 데이터 복구의 핵심요소로 데이터 복제방식은 시스템 구성환경과 재해복구 목표수준에 따라 결정할 수 있다. 본 논문에서는 재해복구시스템 구축에서 구성환경과 재해복구 목표수준에 적합한 데이터 복제방식 결정 방안에 대해 제시한다. 또한 복제방식 결정 절차를 적용하여 재해복구시스템을 구축하고 구축 결과를 분석한다. 재해복구시스템 구축 후 재해 상황에서 재해복구센터로 서비스가 전환, 정상적인 서비스가 진행되는지를 판단하기 위한 모의 테스트를 진행하고 결과를 분석하였다. 그 결과 재해복구시스템 구축 단계에서는 체계적으로 최적의 데이터 복제방식의 선정이 가능했다. 구축된 재해복구시스템은 연속적인 비즈니스 서비스 제공을 위해 재해복구센터로 서비스 전환되는 시간 RTO는 3.7시간으로, Tier 2였던 재해복구 수준이 목표수준 RTO 4시간 이내, RPO=0으로 개선되었다.