• 제목/요약/키워드: file system cache

검색결과 63건 처리시간 0.022초

파일 접근 패턴과 캐쉬 영역을 고려한 선반입 기법 (Prefetching Policy based on File Acess Pattern and Cache Area)

  • 임재덕;황보준형;고광식;서대화
    • 정보처리학회논문지A
    • /
    • 제8A권4호
    • /
    • pp.447-454
    • /
    • 2001
  • 디스크 I/O성능 개선을 위한 여러 선반입 알고리즘이 연구되어져 왔다. 선반입 알고리즘은 디스크 접근 횟수를 줄임으로써 병렬파일시스템의 I/O성능을 높여준다. 본 논문에서는 OBA 선반입 기법의 확장 버전인 AMBA 선반입 기법을 제안한다. AMBA 선반입 기법은 현재 사용되고 있는 다음 블록 하나만 선반입하는 것이 아니라, 디스크의 대역폭이 충분하다면 여러 파일 블록을 연속해서 선반입 하는 방법이다. 이는 응용프로그램에서의 데이터 요청이 빈번해도 이전에 연속해서 선반입한 파일 블록에 의해 선반입 효과를 기대할 수 있다. 그리고 버퍼캐쉬 영역 내에 선반입된 파일 블록의 수를 제한함으로써 버퍼캐쉬의 효율성을 높여준다. 제안된 선반입 기법은 리눅스 운영체제 기반의 사용자 수준의 파일 시스템에서 구현하고 실험하였다. 실험 결과 제안된 AMBA 선반입 기법은 순차적으로 접근되는 큰 파일에 대해서는 기존 시스템에 비해 30∼40%의 성능을 개선해준다.

  • PDF

비휘발성 버퍼 캐시를 이용한 파일 시스템의 주기적인 flush 오버헤드 개선 (Improving Periodic Flush Overhead of File Systems Using Non-volatile Buffer Cache)

  • 이은지;강효정;고건;반효경
    • 정보과학회 논문지
    • /
    • 제41권11호
    • /
    • pp.878-884
    • /
    • 2014
  • 파일 시스템 버퍼 캐시는 느린 스토리지의 접근 횟수를 줄여 입출력 성능 향상에 기여하지만, 캐시에서 수정된 데이터를 스토리지에 오랫동안 반영하지 않을 경우 크래쉬 발생 시 최신 데이터가 유실되거나 데이터의 일관성이 깨어지는 문제가 발생할 수 있다. 이를 방지하기 위해 대부분의 운영체제는 수정 데이터를 주기적으로 스토리지에 반영하는 flush 데몬을 사용한다. 본 논문은 파일시스템의 쓰기 연산 중 30-70%가 주기적인 flush에 의해 발생함을 분석하고, 이를 소량의 NVRAM 버퍼 캐시를 이용하여 해결하는 기법을 제시한다. 특히, 본 논문은 델타 쓰기 및 그룹 기반 교체 기법을 제안하여 소량의 NVRAM 만으로 스토리지 쓰기 트래픽과 처리량을 각각 44.3%와 23.6% 개선할 수 있음을 보인다.

멀티미디어 데이터 스트림을 위한 파일 시스템의 설계 및 구현 (A New File System for Multimedia Data Stream)

  • 이민석;송진석
    • 대한임베디드공학회논문지
    • /
    • 제1권2호
    • /
    • pp.90-103
    • /
    • 2006
  • There are many file systems in various operating systems. Those are usually designed for server environments, where the common cases are usually 'multiple active users', 'great many small files' And they assume a big main memory to be used as buffer cache. So the existing file systems are not suitable for resource hungry embedded systems that process multimedia data streams. In this study, we designed and implemented a new file system which efficiently stores and retrieves multimedia data steams. The proposed file system has a very simple disk layout, which guarantees a quick disk initialization and file system recovery. And we introduced a new indexing-scheme, called the time-based indexing scheme, with the file system. With the indexing scheme, the file system maintains the relation between time and the location for all the multimedia streams. The scheme is useful in searching and playing the compressed multimedia streams by locating exact frame position with given time, resulting in reduction of CPU processing and power consumption. The proposed file system and its APIs utilizing the time-based indexing schemes were implemented firstly on a Linux environment, though it is operating system independent. In the performance evaluation on a real DVR system, which measured the execution time of multi-threaded reading and writing, we found the proposed file system is maximum 38.7% faster than EXT2 file system.

  • PDF

트랜잭션 단위 쓰기를 보장하는 스토리지 클래스 메모리 쓰기 버퍼캐시의 설계 및 구현 (Design and Implementation of Transactional Write Buffer Cache with Storage Class Memory)

  • 김영진;도인환;김은삼;최종무;이동희;노삼혁
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권2호
    • /
    • pp.247-251
    • /
    • 2010
  • 최근 등장한 비휘발성 속성과 램의 속성을 동시에 제공하는 스토리지 클래스 메모리(SCM)는 스토리지 시스템의 입출력 성능과 안정성 향상을 위한 시스템 소프트웨어 연구에 있어 새로운 가능성을 열어준다. 이에 본 연구에서는 트랜잭션 단위 쓰기를 보장하는 SCM 버퍼 캐시를 통하여 스토리지 시스템의 안전성과 성능을 동시에 향상 시키는 한편 시스템 붕괴 시 즉각적인 복구를 가능하게 한다. 본 연구에서 제안하는 트랜잭션 단위 쓰기를 보장하는 SCM 버퍼 캐시 기법은 리눅스 저널링 블록 디바이스(JBD)의 트랜잭션 메커니즘을 기반으로 하므로 JBD 만큼의 안정성을 제공 한다. 동시에 실제 시스템에서의 성능 평과 결과에서 트랜잭션 단위 쓰기를 보장하는 SCM 버퍼 캐시를 적용한 EXT3 파일 시스템은 높은 수준의 안정성을 보장하는 동시에 최소한의 안정성만을 제공하는 파일시스템보다 더 좋은 수행성능을 보여주었으며, 시스템 붕괴 시 시스템을 즉각적(약 0.2초)으로 복구함을 보여주었다.

High Performance Computing 환경을 위한 고성능, 무정지 파일시스템 구현 (The development of the high effective and stoppageless file system for high performance computing)

  • 박영배;최승환;이상호;김경수;공용준
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2004년도 추계 종합학술대회 논문집
    • /
    • pp.395-401
    • /
    • 2004
  • In the current high network-centralized computing and enterprising environment, it is getting essential to transmit data reliably at very high rates. Until now previous client/server model based NFS(Network File System) or AFS(Andrew's Files System) have met the various demands but from now couldn't satisfy those of the today's scalable high-performance computing environment. Not only performance but data sharing service redundancy have risen as a serious problem. In case of NFS, the locking issue and cache cause file system to reboot and make problem when it is used simply as ip-take over for H/A service. In case of AFS, it provides file sharing redundancy but it is not possible until the storage supporting redundancy and equipments are prepared. Lustre is an open source based cluster file system developed to meet both demands. Lustre consists of three types of subsystems : MDS(Meta-Data Server) which offers the meta-data services, OST(Objec Storage Targets) which provide file I/O, and Lustre Clients which interact with OST and MDS. These subsystems with message exchanging and pursuing scalable high-performance file system service. In this paper, we compare the transmission speed of gigabytes file between Lustre and NFS on the basis of concurrent users and also present the high availability of the file system by removing more than one OST in operation.

  • PDF

멀티미디어 저장 시스템에서 참조 유형을 고려한 혼성 버퍼 교체 기법 (Hybrid Buffer Replacement Scheme Considering Reference Pattern in Multimedia Storage Systems)

  • 류연승
    • 한국멀티미디어학회논문지
    • /
    • 제5권1호
    • /
    • pp.47-56
    • /
    • 2002
  • 멀티미디어 저장 시스템을 위한 기존의 버퍼 캐시 기법들은 멀티미디어 파일의 순차적 접근만을 고려하고 반복 참조는 고려하지 않고 있다. 그러나, 외국어 영상 학습의 경우 사용자가 어떤 장면을 반복 구간으로 설정하면 자동으로 수회 반복 상영하는 기능이 있을 수 있다. 본 논문에서는 순차 참조와 반복 참조가 혼재하는 멀티미디어 저장 시스템을 위한 새로운 버퍼 교체 기법인 HBM(Hybrid Buffer Management)을 제안한다. 제안한 기법은 응용 수준에서 파일의 참조 유형을 파일 시스템에게 알려주고 HBM이 각 파일에 적절한 버퍼교체 정책을 적용한다. 실험 결과, HBM은 DISTANCE나 LRU와 같은 이전 버퍼 교체 기법보다 캐시 적중률을 높일 수 있음을 알 수 있었다.

  • PDF

NAND 플래시 메모리 기반 파일시스템을 위한 더블 캐시 정책 설계 (A Design of Double Cache Policy for File System Based on NAND Flash Memory)

  • 박명규;김성조
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2008년도 한국컴퓨터종합학술대회논문집 Vol.35 No.1 (B)
    • /
    • pp.366-370
    • /
    • 2008
  • NAND 플래시 메모리는 특성상 쓰기 횟수가 제한적이라는 단점을 가지고 있어 쓰기 연산이 빈번히 발생하게 되면 NAND 플래시 메모리의 수명이 줄어든다. 이러한 문제점을 해결하기 위해 NAND 플래시 메모리의 특성을 고려한 지연 쓰기 기법이 연구되고 있다. 하지만 지연 쓰기를 하기 때문에 쓰기 횟수는 줄어들지만 캐시 적중률이 낮아진다. 이러한 문제해결을 위해 본 논문에서는 NAND 플래시 메모리 기반 파일 시스템을 위한 더블 캐시 정책을 제안한다. 더블 캐시는 실질적인 캐시인 Real Cache와 요구 페이지의 패턴을 관찰하기 위한 Ghost Cache로 구성된다. 이 정책은 Real Cache에서의 지연 쓰기를 하지 않고, Ghost Cache 공간에서 dirty페이지와 clean페이지를 활용하여 효율적인 지연 쓰기가 가능하도록 설계함으로써 쓰기 횟수를 줄이고, 적중률을 높인다.

  • PDF

병렬 파일 시스템에서 이중 캐쉬 구조 (Dual-Cache Scheme in Parallel File System)

  • 장원영;김재열;서대화
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2001년도 추계학술발표논문집 (상)
    • /
    • pp.271-274
    • /
    • 2001
  • 프로세스와 디스크 입출력 속도를 비교해보면, 디스크 입출력의 속도가 휠씬 더 느리다. 따라서 디스크 입출력은 현재의 컴퓨팅 환경에서 병목현상이 되고있다. PFSL(Parallel File System for Linux)은 이런 문제를 해결하기 위한 클러스터링 환경의 병렬 파일 시스템이다. PFSL은 리눅스 머신 상에서 POSIX 스레드 라이브러리를 이용하여 멀티 스레드로 수행된다. 이 논문에서는 PFSL의 성능을 개선하기 위해 클러스터 환경의 작업 부하에 적합하도록 설계한 이중 캐쉬 구조를 소개하고자 한다.

  • PDF

리눅스 상에서 멀티미디어 데이타를 고려한 지역 버퍼 할당 기법 (A Local Buffer Allocation Scheme for Multimedia Data on Linux)

  • 신동재;박성용;양지훈
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제9권4호
    • /
    • pp.410-419
    • /
    • 2003
  • 리눅스와 같은 범용 운영체제의 버퍼 캐시(buffer cache)는 전역적(global) 블록 교체 및 미리읽기(read ahead) 정책 등을 사용하여 파일 블록을 관리한다. 따라서, 참조의 지역성(locality)을 가지지 않고 다양한 소비율(consumption rate)을 갖고 있는 멀티미디어 데이타의 경우 캐시 시스템의 적중률이 낮을 뿐만 아니라 미리읽기의 특성으로 인하여 필요보다 과도하게 버퍼를 소비하기도 한다. 본 논문에서는 리눅스 상에서 멀티미디어 데이타를 위한 새로운 버퍼 할당 기법을 설계하고 구현하였다. 제안된 방법에서는 멀티미디어 파일마다 독립적인 미리읽기 캐시를 유지하며 미리읽기 그룹의 크기를 소비율에 비례하도록 동적으로 조절한다. 이는 공정한 자원 분배가 이루어지도록 하며, 버퍼의 소비량을 최적화되도록 한다. 본 논문에서는 구현된 시스템과 최신의 리눅스 커널 2.4.17 버전 상에서 각각 소비되는 버퍼 수와 캐시 적중률을 실험을 통하여 비교함으로써 시스템의 성능을 평가한다.

임베디드 멀티미디어 재생기에서 속도기반 미리읽기를 이용한 사용자기능 지원 파일시스템 (A File System for User Special Functions using Speed-based Prefetch in Embedded Multimedia Systems)

  • 최태영;윤현주
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제14권7호
    • /
    • pp.625-635
    • /
    • 2008
  • 휴대용 멀티미디어 재생기는 기존의 멀티미디어 파일 서버와는 다른 성질들을 가지고 있다. 개인 사용자 전용, 비교적 낮은 하드웨어 성능, 사용자 기능으로 인한 순간적인 높은 부하, 그리고 짧은 개발주기 등이 이러한 성질들이다. 다양한 멀티미디어 파일 시스템은 여러 사용자의 요구는 처리하기에는 적합하지만 단일 사용자의 특수 기능을 지원하기에는 적합하지 않다. 팁과 같은 추가 정의를 응용프로그램과 과일시스템이 주고받는 방식들도 제안되었지만 프로그램의 개발주기를 증가시킬 수 있다. 본 논문에서는 파일블록배치, 버퍼-캐시, 그리고 미리 읽기를 사용하여 휴대용 재생기에서 사용자 기능을 효과적으로 지원하는 파일 시스템을 디자인하고 그 성능을 평가하였다. 힌트를 사용하는 기존의 미리읽기들과는 달리 제안된 미리읽기인 SPRA (Speed-based PRefetch Algorithm)는 힌트를 사용하지 않고 입출력 요구의 패턴을 통해서 미리 읽을 블록을 예측한다. 이는 응용프로그램이 수정되고 재컴파일 되는 과정을 제거함으로써 프로그램 개발기간을 단축시킨다. 실험결과 SPRA의 평균 반환시간은 리눅스의 추가읽기와 비교해서 $4.29%{\sim}52.63%$이며, 고속 재생 시 리눅스 추가읽기의 $1.01{\sim}3.09$배의 대역폭을 가진다.