• 제목/요약/키워드: file prefetching

검색결과 18건 처리시간 0.024초

병렬 파일 시스템에서의 가용 입출력 대역폭을 고려한 테이블 비교 선반입 정책 (Table Comparison Prefetching using Available I/O Bandwidth in Parallel File System)

  • 김재열;석성우;조종현;서대화
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (3)
    • /
    • pp.630-632
    • /
    • 2000
  • 과도한 파일 입출력이 요구되는 병렬파일 시스템의 성능을 결정하는 중요한 요소로서 캐슁과 선반입을 들 수 있다. 본 논문은 캐쉬의 크기에 비해 상대적으로 큰 파일을 요청하는 경우에 시스템 성능에 막대한 영향을 미치는 선반입에 대해서 선반입할 데이터를 결정하는 알고리즘으로 테이블 비교법을 제안하고, 이와 더불어 예측된 데이터의 선반입 여부와 선반입 시기를 결정하는 경우 현재의 가용 입출력 대역폭을 고려하는 기법을 제안한다. 제안하는 선반입 알고리즘을 시뮬레이션을 통하여 기타 선반입 알고리즘과 비교해 본 결과 파일 시스템 성능이 향상되었음을 보여준다.

  • PDF

하둡 분산 파일 시스템 기반 소용량 파일 처리를 위한 동적 프리페칭 기법 (A Dynamic Prefetchiong Scheme for Handling Small Files based on Hadoop Distributed File System)

  • 유상현;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
    • /
    • pp.329-332
    • /
    • 2014
  • 클라우드 컴퓨팅이 활성화 됨에 따라 기존의 파일 시스템과는 다른 대용량 파일 처리에 효율적인 분산파일시스템의 요구가 대두 되었다. 그 중에 하둡 분산 파일 시스템(Hadoop Distribute File System, HDFS)은 기존의 분산파일 시스템과는 달리 가용성과 내고장성을 보장하고, 데이터 접근 패턴을 스트리밍 방식으로 지원하여 대용량 파일을 효율적으로 저장할 수 있다. 이러한 장점 때문에, 클라우드 컴퓨팅의 파일시스템으로 대부분 채택하고 있다. 하지만 실제 HDFS 데이터 집합에서 대용량 파일 보다 소용량 파일이 차지하는 비율이 높으며, 이러한 다수의 소 용량 파일은 데이터 처리에 있어 높은 처리비용을 초래 할 뿐 만 아니라 메모리 성능에 악영향을 끼친다. 하지만 소 용량 파일을 프리패칭 함으로서 이러한 문제점을 해결 할 수 있다. HDFS의 데이터 프리페칭은 기존의 데이터 프리페칭의 기법으로는 적용하기 어려워 HDFS를 위한 데이터 프리패칭 기법을 제안한다.

  • PDF

그리드 환경에서 효율적인 작업 처리를 위한 대용량 파일 프로비저닝 방안 (Provisioning Scheme of Large Volume File for Efficient Job Execution in Grid Environment)

  • 김은성;염헌영
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제15권8호
    • /
    • pp.525-533
    • /
    • 2009
  • 그리드 환경에서 작업에 필요한 파일은 스테이징 기법에 의해서 전송된다. 이때 요구되는 파일이 대용량일 경우 전송에 걸리는 시간이 늘어나 작업의 시작 시간을 지연시키게 되다. 또한, 이는 작업의 전체 실행 시간을 증가시키는 요인이 되어서 작업처리량을 감소시키는 결과를 가져오게 된다. 따라서 이러한 파일 전송 시간 때문에 생기는 오버헤드를 줄인다면 그리드에서 실행되는 작업의 효율을 상당히 향상 시킬 수 있다. 이러한 사실에 근거하여 본 논문에서는 그리드에서 효율적인 작업 처리를 위한 파일 프로비저닝 기법으로서 다음과 같은 두 가지 방법을 제안한다. 첫째, RA-RFT라는 방법을 제안한다. RA-RFT는 Globus Toolkit에서 파일 전송을 담당하는 RFT가 리플리카를 관리하는 RLS의 정보를 이용할 수 있도록 RFT를 확장한 것이다. RA-RFT는 파일 전송 시 가용한 리플리카들로부터 파일을 분할 전송함으로써 대용량 파일 전송 시간을 단축시킬 수 있다. 둘째 리모트 링크라는 방법을 제안한다. 리모트 링크는 파일을 계산 노드로 직접 전송하지 않고 계산 노드에서 파일에 원격 접근할 수 있는 방법을 제공한다. 원격 접근 방법을 이용함으로써 계산 노드의 저장 공간을 절약할 수 있고 선반입을 통해서 효율적인 파일 프로비저닝을 가능하게 한다. 우리는 이러한 두 가지 방법이 기존 그리드 환경에서 사용하고 있는 스테이징 방식보다 우월한 성능을 보여준다는 것을 다양한 실험을 통해서 증명한다.

파일 액세스 패턴과 캐쉬 영역을 고려한 선반입 기법 (Prefetching Policy based on File Access Pattern And Cache Size)

  • 임재덕;조종현;서대화
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2000년도 추계학술발표논문집 (상)
    • /
    • pp.625-628
    • /
    • 2000
  • 선반입 및 캐슁에 관한 기법은 병렬 파일 시스템 등의 저장 장치의 입출력 성능을 개선하는 효과적인 방법으로써 현재까지 여러 가지 연구가 많이 이루어져 왔다. 특히 선반입 기법은 응용프로그램에서 사용할 데이터 블록을 디스크로부터 미리 가져옴으로써 실제 필요할 때의 디스크 입출력 횟수를 줄여 실행 시간을 단축시키는 방법이다. 본 논문에서는 리눅스 기반의 병렬 파일 시스템 상에서 선반입 되는 블록의 수를 제한하여 캐쉬의 효율성을 높이고 실행 시간을 단축시키는 선반입 기법을 구현하였다. 특히 순차적인 접근을 하는 대용량 파일에서 그 성능이 개선됨을 보여 준다.

  • PDF

병렬파일 시스템에서 I/O 대역폭 개선을 위한 이단 선반입 기법 (Two-level Prefetching method for I/O bandwidth enhancement in Parallel File System)

  • 황보준형;조종현;이윤영;서대화
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2000년도 추계학술발표논문집 (상)
    • /
    • pp.657-660
    • /
    • 2000
  • 병렬 파일 시스템은 늦은 디스크 I/O로 인한 성능 저하를 개선하기 위해 병렬 I/O를 제공한다. 이때 계산과 디스크 I/O를 중첩시키는 선반입 기법으로 디스크 I/O로 인한 성능 저하를 더욱 개선할 수 있다. 하지만 I/O 위주의 프로그램에서는 선반입으로 인하여 시스템에서 제공하는 I/O 대역폭을 넘어 최악의 경우 기존의 선반입 기법은 성능개선을 위한 최선이 될 수 없을 뿐 아니라 선반입 기법 자체가 과부하가 될 수 있다. 본 논문에서는 이런 상황을 고려하여 I/O 대역폭 개선을 위한 이단 선반입 기법을 제시하여 성능개선을 제공한다.

  • PDF

선반입 통합 기법을 이용한 GNU/Linux 파일 시스템의 성능 향상에 관한 연구 (Improving the Performance of the GNU/Linux File System using an Integrated Prefetching Scheme)

  • 전흥석;노삼혁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (3)
    • /
    • pp.47-49
    • /
    • 2000
  • 버퍼 캐쉬의 관리를 위해 많은 교체 정책들과 선반입 정책들이 연구되어져 왔다. 그러나, GNU/Linux를 포함한 많은 실제의 운영체제들은 일반적으로 Least Recently Used (LRU) 교체 정책을 사용한다. 본 논문에서는 끊임없이 적극적인 선반입이 이루어지는 가운데 버퍼관리와 선반입을 효율적으로 통합하는 SA-W2R 정책을 제안한다. 이 정책은 구현이 단순하여 실제 시스템에서 채택하기 용이하다. 이 정책은 기본적으로 버퍼 교체를 위하여 LRU 정책을 사용한다. 그러나 정책의 모듈성으로 인해 어떤 교체 정책도 이 정책에 적용될 수 있다. SA-W2R 정책에서는 선반입을 위해 오버헤드가 적어 일반적으로 많이 사용되는 LRU-One Block Lookahead(OBL) 정책을 사용한다. GNU/Linux 커널 버전 2.2.14에 구현된 SA-W2R 정책은 응용 프로그램의 실행 시간에 있어 현재 버전의 GNU/Linux 보다 최고 23%의 성능 향상을 보였다.

  • PDF

병렬 파일 시스템에 적용한 테이블 비교 선반입 기법 (Table Comparison Prefetching Algorithm Adoped in Parallel File System)

  • 이윤영;김재열;서대화
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2001년도 춘계학술발표논문집 (상)
    • /
    • pp.243-246
    • /
    • 2001
  • 과도한 파일 입출력이 요구되는 병렬파일 시스템의 성능을 결정하는 중요한 요소로서 캐슁과 선반입을 들 수 있다. 본 논문은 캐쉬의 크기에 비해 상대적으로 근 파일을 요청하는 경우에 시스템 성능에 막대한 영향을 미치는 선반입에 대해서 선반입할 데이터를 결정하는 알고리즘으로 테이블 비교법을 제안하고, 이와 더불어 예측된 데이터의 선반입 여부와 선반입 시기를 결정하는 경우 현재의 가용 입출력 대역폭을 고려하는 기법을 제안한다. 제안하는 선반입 알고리즘은 실제 병렬파일시스템에 구현되었으며, 파일시스템 성능향상에 크게 기여하였다.

  • PDF

플래시 메모리를 위한 효율적인 선반입과 비동기 쓰기 기법 (Efficient Prefetching and Asynchronous Writing for Flash Memory)

  • 박광희;김덕환
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제15권2호
    • /
    • pp.77-88
    • /
    • 2009
  • 휴대용 저장장치로 각광 받고 있는 NAND 플래시 메모리의 용량이 커지면서 기존의 파일시스템과 플래시 메모리 컨트롤러 간의 중간 매개체 역할을 해주는 FTL(Flash Translation Layer)의 주소 변환 및 수명 관리 기법이 점차 중요해지고 있다. 본 논문에서는 연속적인 논리 주소 요청이 물리 주소가 인접한 경우의 값을 기록하는 연속성 카운터를 제안하여 주소 변환 횟수를 감소 시켰으며 이와 함께 자주 쓰이는 주소의 페이지들을 미리 주 메모리에 선반입하여 플래시 메모리의 입출력 성능을 향상시켰다. 또한 쓰기 빈도가 높은 주소를 예측하고 잦은 쓰기를 방지하기 위해 2비트 쓰기 예측과 비동기 쓰기 기법을 제시하여 쓰기 성능과 플래시 메모리의 수명을 향상 시켰다. 실험 결과 본 논문에서 제안하는 CFTL(Clustered Flash Translation Layer)이 기존 FTL들보다 주소 변환 성능이 최대 20%, 쓰기 시간을 최대 50% 이상 감소시켰다.