• 제목/요약/키워드: Distributed Cache

검색결과 94건 처리시간 0.024초

분산 공유 디스크를 위한 고 가용성 디스크 캐쉬 관리자에 관한 연구 (A study on High-availability Disk Cache Manager for distributed shared-disk)

  • 진광윤;한판암
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2001년도 춘계학술발표논문집 (하)
    • /
    • pp.985-988
    • /
    • 2001
  • 본 연구는 다중 PC 노드로 연결된 클러스터링 시스템을 위해 마이크로 커널을 기반으로한 분산 운영체제를 탑제하여 운영되는 DCM의 고 가용성과 공유 디스크의 입출력 수행 속도를 향상시키는 데 있다. 마이크로 커널에서 제공된 서로 다른 디스크를 메시지 패싱 기법을 이용하여 입출력 성능 향상과 디스크 상의 자료 무결성을 보장할 목적으로 고 가용성의 DCM를 설계 및 구현하여 시스템의 생산성을 향상시킨다.

  • PDF

쿠버네티스에서 ML 워크로드를 위한 분산 인-메모리 캐싱 방법 (Distributed In-Memory Caching Method for ML Workload in Kubernetes)

  • 윤동현;송석일
    • Journal of Platform Technology
    • /
    • 제11권4호
    • /
    • pp.71-79
    • /
    • 2023
  • 이 논문에서는 기계학습 워크로드의 특징을 분석하고 이를 기반으로 기계학습 워크로드의 성능 향상을 위한 분산 인-메모리 캐싱 기법을 제안한다. 기계학습 워크로드의 핵심은 모델 학습이며 모델 학습은 컴퓨팅 집약적 (Computation Intensive)인 작업이다. 쿠버네티스 기반 클라우드 환경에서 컴퓨팅 프레임워크와 스토리지를 분리한 구조에서 기계학습 워크로드를 수행하는 것은 자원을 효과적으로 할당할 수 있지만, 네트워크 통신을 통해 IO가 수행되야 하므로 지연이 발생할 수 있다. 이 논문에서는 이런 환경에서 수행되는 머신러닝 워크로드의 성능을 향상하기 위한 분산 인-메모리 캐싱 기법을 제안한다. 특히, 제안하는 방법은 쿠버네티스 기반의 머신러닝 파이프라인 관리 도구인 쿠브플로우를 고려하여 머신러닝 워크로드에 필요한 데이터를 분산 인-메모리 캐시에 미리 로드하는 새로운 방법을 제안한다.

  • PDF

Distributed Cache to Support Video-on-Demand Service over P2P Network

  • Ren, Jian-Ji;Lee, Jae-kee
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 춘계학술발표대회
    • /
    • pp.765-768
    • /
    • 2007
  • P2P Video-on-Demand (VoD) is becoming a popular service in the Internet. The first deployments are already in place, and millions of customers worldwide are already using this new medium. But its success is still quite limited and technically, these researches have been deployed in a rush, mostly based on practicality and instability. This paper studies the advantages and potential problems of VoD in peer-to-peer (P2P) network, we propose a system which uses a distributed VoD streaming scheme over P2P network to support media streaming.

  • PDF

Peer-to-Peer Video-on-Demand with Distributed Cache

  • Ren, Jian-Ji;Lee, Jae-kee
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 추계학술발표대회
    • /
    • pp.655-658
    • /
    • 2007
  • It is difficult to provide a video on demand (VoD) service to a large number of users via the Internet. This is due to the characteristics of VoD, which require a large bandwidth for a long playing time. The Peer-to-Peer (P2P) concept is proposed to increase the scalability of the VoD service. Many studies have been undertaken to solve this problem. But its success is still quite limited technically, these research have been deployed in a rush, mostly based on practicality and instability. A system which uses a distributed VoD streaming scheme over P2P network is proposed to support media streaming.

  • PDF

이동 클라이언트/서버 컴퓨팅환경에서의 캐싱 및 동시성 제어 (Caching and Concurrency Control in a Mobile Client/Sever Computing Environment)

  • 이상근;황종선;이원규;유헌창
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제26권8호
    • /
    • pp.974-987
    • /
    • 1999
  • 이동 컴퓨팅 환경에서 자주 접근하는 데이터에 대한 캐싱은 무선 채널의 좁은 대역폭에서 경쟁을 줄일 수 있는 유용한 기술이다. 그러나, 트랜잭션 캐시 일관성을 지원하는 전통적인 클라이언트/서버 전략은 클라이언트와 서버간에 많은 양의 통신을 필요로 하기 때문에 이동 클라이언트/서버 컴퓨팅 환경에서는 적절하지 않다. 본 논문에서는 브로드캐스트-기반 캐시 무효화 정책을 사용하면서 트랜잭션 캐시 일관성을 지원하는 OCC-UTS (Optimistic Concurrency Control with Update TimeStamp) 프로토콜을 제안한다. 접근한 데이터에 대한 일관성 검사 및 완료 프로토콜은 캐시 무효화 과정의 내부 과정으로 완전 분산 형태로 효율적으로 구현되며, 일관성 체크의 대부분이 이동 클라이언트에서 수행된다. 또한, 분석 모델에 기반한 성능 비교를 통해, 본 논문에서 제안하는 OCC-UTS 프로토콜이 다른 경쟁 프로토콜보다 높은 트랜잭션 처리율을 얻으며, 데이터 항목을 자주 접근하면 할수록 지역 캐시를 사용하는 OCC-UTS 프로토콜이 더 효율적임을 보인다. 이동 클라이언트의 접속 단절에 대해서는 무효화 브로드캐스트 윈도우를 크게 하여 접속 단절에 적절히 대처할 수 있다.Abstract In a mobile computing environment, caching of frequently accessed data has been shown to be a useful technique for reducing contention on the narrow bandwidth of the wireless channels. However, the traditional client/server strategies for supporting transactional cache consistency that require extensive communications between a client and a server are not appropriate in a mobile client/server computing environment. In this paper, we propose a new protocol, called OCC-UTS (Optimisitic Concurrency Control with Update TimeStamp), to support transactional cache consistency in a mobile client/server computing environment by utilizing the broadcast-based solutions for the problem of invalidating caches. The consistency check on accessed data and the commitment protocol are implemented in a truly distributed fashion as an integral part of cache invalidation process, with most burden of consistency check being downloaded to mobile clients. Also, our experiments based on an analytical model substantiate the basic idea and study the performance characteristics. Experimental results show that OCC-UTS protocol without local cache outperforms other competitor protocol, and the more frequent a mobile client accesses data items the more efficient OCC-UTS protocol with local cache is. With respect to disconnection, the tolerance to disconnection is improved if the invalidation broadcast window size is extended.

SSD 환경 아래에서 GlusterFS 성능 최적화 (Performance Optimization in GlusterFS on SSDs)

  • 김덕상;엄현상;염헌영
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권2호
    • /
    • pp.95-100
    • /
    • 2016
  • 빅데이터, 클라우드 컴퓨팅 시대가 오면서 데이터 사용량이 점점 증가하고 있고 이러한 빅데이터를 신속히 처리하기 위한 시스템들이 개발되고 있다. 그 중 데이터를 저장하기 위한 시스템으로 분산 파일 시스템이 널리 사용되고 있다, 이러한 분산 파일 시스템 중에는 글러스터 파일 시스템(GlusterFS)이 있다. 또한 기술의 발달로 고성능 장비인 Nand flash SSD (Solid State Drive)의 가격이 하락함에 따라서 데이터센터로 도입이 증가되는 추세이다. 따라서 GlusterFS에서도 SSD를 도입하려고 하지만, GlusterFS는 하드디스크를 기반으로 설계되었기 때문에 SSD를 이용했을 시 구조적인 문제로 성능 저하가 발생하게 된다. 이러한 구조적인 문제점들에는 I/O-cache, Read-ahead, Write-behind Translator들이 있다. 랜덤 I/O에 장점이 있는 SSD에 맞지 않는 기능들을 제거함으로써, 4KB 랜덤 읽기의 경우 255%까지의 성능 향상 결과와, 64KB 랜덤 읽기의 경우 50%까지의 성능 향상 결과를 얻었다.

애드-혹 네트워크에서의 에너지 보존적인 계층 클러스터링에 관한 연구 (A Study on Energy Conservative Hierarchical Clustering for Ad-hoc Network)

  • 문창민;이강환
    • 한국정보통신학회논문지
    • /
    • 제16권12호
    • /
    • pp.2800-2807
    • /
    • 2012
  • 애드-혹 네트워크는 기간망에 의존하지 않고, 노드들끼리 자율적으로 데이터 이동 경로를 형성하는 네트워크이다. 일반적으로 애드-혹 네트워크는 다중-홉 통신을 기반으로 하며 네트워크의 규모가 커질수록 경로 설정을 위한 제어 패킷의 양이 급격히 증가하게 되고 노드의 수명이 단축 된다. 이러한 노드들의 특성으로 인해서 네트워크 크기에 따른 보다 에너지 효율성 적용이 가능한 경로 설정 기법에 대한 연구가 요구되고 있다. 본 논문에서는 특히 계층적인 클러스터 구조 기반의 애드-혹 네트워크 환경에서 노드가 동질적 공간-포아송의 조건에서 노드의 분포 밀도와 속성정보를 고려한 클러스터의 계층 깊이 결정 알고리즘인 CACHE-R(Context-Aware Clustering Hierarchy, Efficient and Resilient)를 제안한다. 제안하고자 하는 CACHE-R기법은 최적화된 계층의 깊이와 속성정보를 적용함으로써 에너지 보존적인 경로를 설정하여, 전체 네트워크의 에너지 소비량을 감소시키고 네트워크 수명을 향상되는 특성을 보여주었다.

버퍼오버플로우 공격 방지를 위한 리턴주소 스택 (Return address stack for protecting from buffer overflow attack)

  • 조병태;김형신
    • 한국산학기술학회논문지
    • /
    • 제13권10호
    • /
    • pp.4794-4800
    • /
    • 2012
  • 버퍼오버플로우 취약점을 이용한 공격기법을 예방하기 위해서 그 동안 많은 연구가 진행되었으며, 여러 가지 탐지기술과 보안패치 등의 노력이 진행되었음에도 불구하고, 여전히 시스템 보안에 있어 가장 중요한 이슈로 지목되고 있는 이유는 아직까지도 프로그램 개발 시 버퍼오버플로우에 취약한 함수와 라이브러리를 이용하여 프로그램을 개발하고 있다는 점과 실제 버퍼오버플로우 취약점이 노출되어 시스템이 공격받은 후에 패치가 이루어진다는 점이다. 본 연구에서는 버퍼오버플로우 예방을 위한 하드웨어적인 보호기법으로 캐시레벨 기반의 리턴주소 스택을 이용한 버퍼오버플로우 보호기법에 대한 연구를 진행하였다. 제안한 스택구조의 성능평가는 SimpleScalar 시뮬레이터를 이용하여 진행하였으며, 본 연구에서 제안한 보호기법은 기존 버퍼오버플로우 취약점을 완벽히 보호할 수 있으며, 일부의 프로그램을 제외한 대부분의 프로그램에서 성능상의 차이가 발견되지 않은 시스템을 개발하였다.

플래시 메모리 데이터베이스를 위한 플래시인지 트랜잭션 관리 기법 (Flash-Aware Transaction Management Scheme for flash Memory Database)

  • 변시우
    • 인터넷정보학회논문지
    • /
    • 제6권1호
    • /
    • pp.65-72
    • /
    • 2005
  • 플래시 메모리는 이동형 컴퓨팅 환경에서 휴대용 정보기기를 지원하는 우수한 미디어이다. 플래시 메모리는 비휘발성, 낮은 전력소모, 빠른 데이터 접근 속도 등의 특징으로 휴대용 정보기기용 데이터베이스의 핵심 저장 모듈이 되었다. 하지만, 일반 RAM 메모리에 비하여 상대적으로 느린 연산 특성을 고려하여 기존의 트랜잭션 처리 기법을 개선할 필요가 있다. 이를 위하여, 본 논문은 플래시인지 트랜잭션 관리(Flash-Aware Transaction Management: FATM) 기법을 제안한다. FATM은 SRAM과 W-cache를 활용하여 트랜잭션 처리 성능을 높인다. 또한, 성능 검증을 위하여 시뮬레이션 모델을 제안하였으며, 실험 결과 분석을 통하여 FATM이 기존의 트랜잭션 처리 기법보다 우수함을 확인하였다.

  • PDF

이더넷과 인피니밴드 네트워크 기반의 분산 메모리 시스템에서 병렬성능 분석 (PERFORMANCE ANALYSIS OF THE PARALLEL CUPID CODE IN DISTRIBUTED MEMORY SYSTEM BASED ETHERNET AND INFINIBAND NETWORK)

  • 전병진;최형권
    • 한국전산유체공학회지
    • /
    • 제19권2호
    • /
    • pp.24-29
    • /
    • 2014
  • In this study, a parallel performance of CUPID-code has been investigated for both Ethernet and Infiniband network system to examine the effect of cache memory and network-speed. Bi-conjugate gradient solver of CUPID-code has been parallelised by using domain decomposition method and message passing interface (MPI). It is shown that the parallel performance of Ethernet-network system is worse than that of Infiniband-network system due to the slow network-speed and a small cache memory. It is also found that the parallel performance of each system deteriorates for a small problem due to the communication overhead, but the performance of Infiniband-network system is better than Ethernet-network system due to a much faster network-speed. For a large problem, the parallel performance depends less on network system.