• Title/Summary/Keyword: Distributed Cache

Search Result 94, Processing Time 0.032 seconds

분산 환경에서의 객체 캐슁 (DOC: A Distributed Object Caching System for Information Infrastructure)

  • 이태희;심준호;이상구
    • 한국전자거래학회:학술대회논문집
    • /
    • 한국전자거래학회 2003년도 종합학술대회 논문집
    • /
    • pp.249-254
    • /
    • 2003
  • Object caching is a desirable feature to improve the both scalability and performance of distributed application systems for information infrastructure, the information management system leveraging the power of network computing. However, in order to exploit such benefits, we claim that the following problems: cache server placement, cache replacement, and cache synchronization, should be considered when designing any object cache system. We are under developing DOC: a Distributed Object Caching, as a part of building our information infrastructures. In this paper, we show how each problem is inter-related, and focus to highlight how we handle cache server deployment problem

  • PDF

A Novel Method of Improving Cache Hit-rate in Hadoop MapReduce using SSD Cache

  • Kim, Jong-Chan;An, Jae-Hoon;Kim, Young-Hwan;Jeon, Ki-Man
    • 한국컴퓨터정보학회논문지
    • /
    • 제20권8호
    • /
    • pp.1-6
    • /
    • 2015
  • The MapReduce Program of Hadoop Distributed File System operates on any unspecified nodes due to distributed-parallel process and block replicate for data stability. Since it is difficult to guarantee the cache locality when a Solid State Drive is used as a cache in hadoop, cache hit-rate is decreased. In this paper, we suggest a method to improve cache hit rate by pre-loading the input data of the MapReduce onto the SSD cache. To perform this method, we estimated the blocks that are used on each node by using capacity scheduler and block metadata. Eventually we could increase the performance of SSD cache by loading the blocks onto SSD cache before the Map Task run.

Development of a Distributed Web Caching Network through Consistent Hashing and Dynamic Load Balancing

  • Hwan Chang;Jong Ho Park;Ju Ho Park;Kil To Chong
    • 한국통신학회논문지
    • /
    • 제27권11C호
    • /
    • pp.1040-1045
    • /
    • 2002
  • This paper focuses on a hash-based, distributed Wet caching network that eliminates inter-cache communication. An agent program on cache servers, a mapping program on the DNS server, and other components comprised in a distributed Web caching network were modified and developed to implement a so-called "consistent" hashing. Also, a dynamic load balancing algorithm is proposed to address the load-balancing problem that is a key performance issue on distributed architectures. This algorithm effectively balances the load among cache servers by distributing the calculated amount of mapping items that have higher popularity than others. Therefore, this developed network can resolve the imbalanced load that is caused by a variable page popularity, a non-uniform distribution of a hash-based mapping, and a variation of cache servers.

분산 디렉토리 데이터베이스 시스템에서의 메타 데이터 캐싱 기법 (Meta Data Caching Mechanism in Distributed Directory Database Systems)

  • 이강우;고진광
    • 한국정보처리학회논문지
    • /
    • 제7권6호
    • /
    • pp.1746-1752
    • /
    • 2000
  • In this paper, a cache mechanism is proposed to improve the speed of query processing in distributed director database systems. To decrease search time of requested objects and query processing time. query requests and results about objects in a remote site are stored in the cache of a local site. Cache system architecture is designed according to the classified information. Cache schema are designed for each cache information. Operational algorithms are developed for meta data cache which has meta data tree. This tree improves the speed of query processing by reducing the scope of search space. Finally, performance evaluation is performed by comparing the proposed cache mechanism with X500.

  • PDF

HDFS에서 소형 파일의 효율적인 접근을 위한 분산 캐시 관리 기법 (A Distributed Cache Management Scheme for Efficient Accesses of Small Files in HDFS)

  • 오현교;김기연;황재민;박준호;임종태;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제14권11호
    • /
    • pp.28-38
    • /
    • 2014
  • 본 논문에서는 소형 파일을 효율적으로 접근하기 위한 분산 캐시 관리 기법을 제안한다. 제안하는 기법은 다수의 소형 파일을 병합하여 청크에 저장함으로써, 네임 노드에서 관리해야 할 메타데이터 수를 감소시킨다. 또한, 클라이언트와 데이터 노드의 캐시를 사용하여 요청된 파일들의 정보를 유지함으로써 소형 파일 접근 비용을 줄인다. 이때, 클라이언트의 캐시에는 사용자가 요청한 소형 파일과 메타데이터가 유지되며, 각 데이터 노드의 캐시에는 여러 사용자들이 빈번하게 요청했던 소형 파일을 유지한다. 성능 평가를 통해 제안하는 분산 캐시 관리 기법이 기존 기법에 비해 소형 파일 접근 비용을 크게 감소시킴을 보인다.

분산 파일시스템을 위한 효율적인 협력캐쉬 알고리즘 (Efficient Cooperative Caching Algorithm for Distributed File Systems)

  • 박새미;이석재;유재수
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2003년도 추계종합학술대회 논문집
    • /
    • pp.234-244
    • /
    • 2003
  • 분산 파일시스템 환경에서는 디스크 접근 비용을 줄이기 위해 각 노드에 캐쉬된 데이터를 서로 공유하는 협력캐쉬 기법이 사용된다. 협력캐쉬 기법은 분산되어있는 시스템들의 캐쉬정보를 서로 공유하여 가상으로 더 큰 캐쉬를 형성함으로써 캐쉬 히트율을 높이고 디스크 접근을 줄이는 방법이다. 기존에 제안된 협력캐쉬 기법들은 캐쉬에 대한 근사정보를 이용하여 메시지 비용을 줄이고, 로컬캐쉬영역과 글로벌 캐쉬영역을 가변적으로 사용하여 캐쉬히트율을 높이고 있다. 또한 캐시교체시 교체된 블록을 비활동적인 노드로 보내어 계속 캐쉬에 유지하도록 하여 글로벌 캐시히트율을 높이는 장점을 갖는다. 그러나 잘못된 근사정보가 성능을 저하시킬 수 있으며 일관성 유지를 위한 메시지교환 비용이 많이 든다는 단점을 갖고 있다. 또한 비활동적인 노드를 선정하기 위해 사용되는 각 노드의 에이지정보 관리비용이 많이드는 단점을 갖고 있다. 본 논문에서는 정확한 캐쉬정보를 유지하며 일관성 유지비용과 캐시에이지정보 관리비용을 최소화시키는 협력캐쉬 알고리즘을 제안한다. 그리고 성능평가를 통해 기존의 협력캐쉬 기법과 비교하여 제안하는 알고리즘의 우수성을 보인다.

  • PDF

분산 디렉토리 환경 하에서 효율적인 캐시 메카니즘 설계 (Design of cache mechanism in distributed directory environment)

  • 이강우;이재호;임해철
    • 한국통신학회논문지
    • /
    • 제22권2호
    • /
    • pp.205-214
    • /
    • 1997
  • 본 논문에서는 분산 디렉토리 환경에서 질의 처리 속도를 향상 시키기 위하여 원격지의 객체에 대한 질의와 결과를 요청지의 캐시에 저장하는 캐싱 메카니즘을 설계하였으며, 설계 단계는 다음과 같이 6단계로 나누어 진행하였다. 첫째, 분산 디렉토리 시스템에 저장되는 캐시 정보를 응용 데이타 정보, 시스템 데이타 정보, 메타 데이타 정보로 분류하였다. 둘째, 분류된 캐시 정보를 기반으로 캐시 시스템 구조를 설계하였다. 셋째, 각각의 캐시 정보에 대한 저장 구조를 설계하였다. 넷째, 데이타 캐시(응용 데이타 캐시, 시스템 데이타 캐시)의 대체 알고리즘으로 거리 정보와 접근 회수를 가중치로 부여한 최소-TTL 대체 알고리즘을 제안하였다. 다섯째, 질의에 대한 탐색 공간의 범위를 좁힘으로써 질의 처리 속도를 향상시키기위해 이전 질의를 재구성한 메타 데이타 트리를 저장하는 메타 데이타 캐시의 운영 알고리즘을 개발하였다. 마지막으로, 제안된 캐시 메카니즘과 타 메카니즘과 성능 평가를 수행하여 제안된 메카니즘의 우수성을 입증하였다.

  • PDF

SAN 환경을 위한 효율적인 전역버퍼 관리 알고리즘 (IT-based Technology An Efficient Global Buffer Management ,algorithm for SAN Environments)

  • 이석재;박새미;송석일;유재수;이장선
    • 한국콘텐츠학회논문지
    • /
    • 제4권3호
    • /
    • pp.71-80
    • /
    • 2004
  • 분산파일시스템 환경에서는 디스크 접근 비용을 줄이기 위해 각 노드에 캐시된 데이터를 서로 공유하는 협력캐시 알고리즘이 사용된다. 협력캐시 알고리즘은 분산되어있는 시스템들의 캐시정보를 서로 공유하여 가상으로 더 큰 캐시를 형성함으로써 캐시 히트율을 높이고 디스크 접근을 줄이는 방법이다. 기존에 제안된 협력캐시 알고리즘들은 캐시에 대한 근사정보를 이용하여 메시지 비용을 줄이고, 로컬캐시영역과 글로벌캐시 영역을 가변적으로 사용하여 캐시 히트율을 높이고 있다. 또한 버퍼 교체 시 교체된 버퍼를 비활동적인 노드로 보내어 계속 캐시에 유지하도록 하여 전역 버퍼 히트율을 높이는 장점을 갖는다. 그러나 잘못된 근사정보가 성능을 저하시킬 수 있으며 일관성 유지를 위한 메시지교환 비용이 많이 든다는 단점을 갖고 있다. 또한 비활동적인 노드를 선정하기 위해 사용되는 각 노드의 에이지 정보 관리비용이 많이 드는 단점을 갖고 있다. 본 논문에서는 정확한 캐시정보를 유지하며 일관성 유지비용과 버퍼 에이지 정보 관리비용을 최소화시키는 협력캐시 알고리즘을 제안한다. 그리고 성능평가를 통해 기존의 협력캐시 알고리즘과 비교하여 제안하는 알고리즘의 우수성을 보인다.

  • PDF

가상 데스크톱 환경에서의 클라이언트 SSD 캐시를 이용한 분산 파일시스템의 성능 향상 (Performance Enhancement of Distributed File System as Virtual Desktop Storage Using Client Side SSD Cache)

  • 김재열;김영철;김영창;이상민;김영균;서대화
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제3권12호
    • /
    • pp.433-442
    • /
    • 2014
  • 분산 파일시스템의 클라이언트 측에 SSD 장치를 캐시 장치로 사용하여 분산 파일시스템의 읽기 성능을 향상시키고, Back-end 데이터 서버의 부하를 줄일 수 있다. 이러한 성능 향상을 통하여 기존의 대용량 스토리지 지원만이 가능했던 분산 파일시스템의 적용 분야를 고성능이 필요한 분야로 확장할 수 있다. 본 논문은 국내에서 개발된 분산 파일시스템인 MAHA-FS에 클라이언트 측의 SSD 캐시를 적용하여 가상 데스트톱의 입출력 성능을 향상시킬 수 있음을 보여준다. 실험 결과 NFS에 비해 가상 머신 이미지 배포 시간은 2배 이상, 부팅 시간은 3배 이상 향상시킬 수 있음을 알 수 있다.

A New Hybrid Architecture for Cooperative Web Caching

  • Baek, Jin-Suk;Kaur, Gurpreet;Yang, Jung-Hoon
    • Journal of Ubiquitous Convergence Technology
    • /
    • 제2권1호
    • /
    • pp.1-11
    • /
    • 2008
  • An effective solution to the problems caused by the explosive growth of World Wide Web is a web caching that employing an additional server, called proxy cache, between the clients and main server for caching the popular web objects near the clients. However, a single proxy cache can easily become the bottleneck. Deploying groups of cooperative caches provides scalability and robustness by eliminating the limitations caused by a single proxy cache. Two common architectures to implement the cooperative caching are hierarchical and distributed caching systems. Unfortunately, both architectures suffer from performance limitations. We propose an efficient hybrid caching architecture eliminating these limitations by using both the hierarchical and same level caches. Our performance evaluation with our investigated simulator shows that the proposed architecture offers the best of both existing architectures in terms of cache hit rate, the number of query messages from clients, and response time.

  • PDF