• Title/Summary/Keyword: 병렬파일 시스템

Search Result 115, Processing Time 0.028 seconds

Extension of EXT2 for Single Disk I/O Environment (단일 디스크 입출력 환경을 위한 EXT2의 확장)

  • 임동혁;황인철;변은규;맹승렬
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.10a
    • /
    • pp.76-78
    • /
    • 2004
  • 단일 디스크 입출력 환경은 클러스터 시스템의 분산된 디스크들을 하나의 통합된 디스크의 이미지로 제공하여 사용자에게 편의성을 제공한다. 하지만, 디바이스 수준에서의 서비스를 제공하고 이로 인해 여러 노드에서의 파일의 병렬적인 접근을 지원하기 위해서는 클러스터 파일 시스템의 지원이 요구된다. 본 논문은 리눅스 시스템에서 가장 많이 사용하는 EXT2 파일 시스템을 단일 입출력 환경에서 효과적으로 사용할 수 있는 클러스터 파일 시스템으로의 확장하는 방안에 대해서 설명한다. 기존의 EXT2 파일 시스템을 커널 모듈의 형태로 재구성하고, 버퍼 캐쉬와 메타 데이터의 일관성 유지를 위하여 분산 락 모듈물 구현하고 이를 이용하여 데이터의 일관성과 동기화 문제를 동시에 해결하도록 하여, EXT2 파일 시스템을 클러스터 파일 시스템으로 확장하였다

  • PDF

Prefetching Policy based on File Access Pattern And Cache Size (파일 액세스 패턴과 캐쉬 영역을 고려한 선반입 기법)

  • Lim, Jae-Deok;Cho, Jong-Hyun;Seo, Dae-Wha
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2000.10a
    • /
    • pp.625-628
    • /
    • 2000
  • 선반입 및 캐슁에 관한 기법은 병렬 파일 시스템 등의 저장 장치의 입출력 성능을 개선하는 효과적인 방법으로써 현재까지 여러 가지 연구가 많이 이루어져 왔다. 특히 선반입 기법은 응용프로그램에서 사용할 데이터 블록을 디스크로부터 미리 가져옴으로써 실제 필요할 때의 디스크 입출력 횟수를 줄여 실행 시간을 단축시키는 방법이다. 본 논문에서는 리눅스 기반의 병렬 파일 시스템 상에서 선반입 되는 블록의 수를 제한하여 캐쉬의 효율성을 높이고 실행 시간을 단축시키는 선반입 기법을 구현하였다. 특히 순차적인 접근을 하는 대용량 파일에서 그 성능이 개선됨을 보여 준다.

  • PDF

A Scheme on High-Performance Caching and High-Capacity File Transmission for Cloud Storage Optimization (클라우드 스토리지 최적화를 위한 고속 캐싱 및 대용량 파일 전송 기법)

  • Kim, Tae-Hun;Kim, Jung-Han;Eom, Young-Ik
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.37 no.8C
    • /
    • pp.670-679
    • /
    • 2012
  • The recent dissemination of cloud computing makes the amount of data storage to be increased and the cost of storing the data grow rapidly. Accordingly, data and service requests from users also increases the load on the cloud storage. There have been many works that tries to provide low-cost and high-performance schemes on distributed file systems. However, most of them have some weaknesses on performing parallel and random data accesses as well as data accesses of frequent small workloads. Recently, improving the performance of distributed file system based on caching technology is getting much attention. In this paper, we propose a CHPC(Cloud storage High-Performance Caching) framework, providing parallel caching, distributed caching, and proxy caching in distributed file systems. This study compares the proposed framework with existing cloud systems in regard to the reduction of the server's disk I/O, prevention of the server-side bottleneck, deduplication of the page caches in each client, and improvement of overall IOPS. As a results, we show some optimization possibilities on the cloud storage systems based on some evaluations and comparisons with other conventional methods.

A Study on Parallel I/O Technology in Filesystem for AI (AI를 위한 파일시스템 병렬 I/O 기술 연구)

  • Yoon, Junweon;Hong, Taeyeong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.11a
    • /
    • pp.49-51
    • /
    • 2022
  • 대규모 데이터를 처리하기 위해 머신러닝, 딥러닝과 같은 AI 활용 연구가 일반화되면서 시스템 환경 또한 병렬처리 연산에 강화된 가속기 기반의 이기종 아키텍처로 확산되고 있다. CPU 기반의 계산 환경과 달리 상대적으로 성능이 낮은 수천 개의 산술연산장치(ALU)를 활용해 쓰레드 방식으로 연산을 수행하며, I/O의 특성 또한 대규모의 데이터들이 수많은 연산장치에 전달되기 위한 Small I/O, High-throughput 처리 성능이 애플리케이션에 큰 영향을 끼친다. 본 논문에서는 병렬 컴퓨팅 환경에 AI 애플리케이션이 접목되면서 요구되는 스토리지, 파일시스템의 환경을 분석하고 나아가 성능 검증을 통해 I/O 특성을 파악하고자 한다.

A Study of Context-aware File Management for Hybrid Storage Systems (복합 저장 시스템을 위한 상황-인지 파일 관리에 대한 연구)

  • Byun, Si-Woo;Hur, Moon-Haeng;Noh, Chang-Bae
    • Proceedings of the KAIS Fall Conference
    • /
    • 2007.05a
    • /
    • pp.189-191
    • /
    • 2007
  • 본 논문은 하이브리드 저장 장치를 위한 효율적인 병렬 저장 시스템 구조와 데이터 및 파일 관리 기술 개발을 목표로 한다. 기존의 플래시 메모리 기반의 기존의 데이터 저장 구조들을 분석하고, 병렬형 하이브리드 데이터 저장 시스템 구조와 비교 분석한다. 또한, 하이브리드 하드 디스크의 데이터 저장 및 입출력 연산 수행을 효과적으로 지원할 수 있도록 플래시 메모리의 고유한 특성을 활용한 상황 인지 데이터 및 파일 관리 기법을 제안한다.

  • PDF

Study of Contdext-aware File Management for Hybrid Storage Systems (복합 저장 시스템을 위한 상황-인지 파일 관리에 대한 연구)

  • Byun, Si-Woo;Kang, Bong-Jik;Roh, Chang-Bae
    • Proceedings of the KIEE Conference
    • /
    • 2007.10a
    • /
    • pp.383-384
    • /
    • 2007
  • 본 논문은 하이브리드 저장 장치를 위한 효율적인 병렬 저장 시스템 구조와 데이터 및 파일 관리 기술 개발을 목표로 한다. 기존의 플래시 메모리 기반의 기존의 데이터 저장 구조들을 분석하고, 병렬형 하이브리드 데이터 저장 시스템 구조와 비교 분석한다. 또한, 하이브리드 하드디스크의 데이터 저장 및 입출력 연산 수행을 효과적으로 지원할 수 있도록 플래시 메모리의 고유한 특성을 활용한 상황인지 데이터 및 파일 관리 기법을 제안한다.

  • PDF

Modeling and Simulation of a Parallel Disk System (병렬 디스크 시스템의 모델링 및 모의 실험)

  • 백승훈;김경호;박규호
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1998.10a
    • /
    • pp.33-35
    • /
    • 1998
  • 본 논문에서는 형식론적 모델링 및 모의 실험 방법을 사용하여 병렬 디스크의 성능 예측 및 영상 데이터용 비선형 편집기의 개발을 위한 여러 형태의구조에 대해서 모의 실험한 결과 및 성능에 영향을 미치는 요소들에 대해 다루고 있다. 컴퓨터가 발전하기 전에는 테이프를 이용한 선형 편집기를 사용하였으나. 컴퓨터가 발전하고 또한 입출력 장치의 성능이 향상되면서 RAID(Redundant Array of Inexpensive Disk)가 개발되었고, 이것을 이용한 비선형 편집기가 개발되었다. 병렬디스크는 비선형 편집기뿐만 아니라 VOD(Video On Demand)나 데이터 서버등 응용분야가 많고, 요구되는 성능에 따라서 다양한 구조의 병렬디스크가 사용된다. 매우 큰 대역폭이 요구되는 병렬디스크의 경우에는 다양한 버스와 버퍼를 사용한 복잡한 계층적 구조가 요구된다. 그러나 이렇게 복잡한 병렬디스크를 개발하기 에 적당한 개발 도구가 없어 필요한 성능에 꼭 맞는 시스템을 개발하기가 어렵다. 특히 디스크의 성능을 수학저으로 쉽게 구할 수 없다. 또한 시스템이 실물로 완성되기 전에는 디스크의 운영 알고리즘의 개발 및 파일 시스템의 개발이 쉽지 않다. 그래서 쉬운 소프트웨어 개발과 디스크의 성능을 쉽게 측정하기 위해서 객체 지향 성능 예측시스템(OOPPS :Objet Oriented Performance Prediction System)을 개발하였고, 이것을 이용하여 HDTV용 비선형 편집기의성능을 예측하고, 필요한 성능을 만족하는 구조를 선택하여 실물로 개발하였다.

  • PDF

Implementation of a Compiler for VLIW rchitecture (VLIW 구조를 위한 컴파일러의 구현)

  • Choe, Seong-Uk;Kim, Gyeong-Hun;Park, Myeong-Sun
    • Journal of KIISE:Computing Practices and Letters
    • /
    • v.5 no.1
    • /
    • pp.109-121
    • /
    • 1999
  • VLIW(Very Long Instruction Word)기술을 이용한 프로세서는 최근에 다른 어떠한 형태의 프로세서보다 좋은 성능을 보일 것으로 기대되고 있다. 컴파일러가 전역적인 분석을 진행하여 명령어 수준의 병렬성을 , VLIW 구조를 위한 많은 컴파일 기술이 연구되어왔다. 컴파일 기술의 연구에 대해 보다 신뢰성 있는 결과를 얻기 위해서는 자신의 새로운 기술이 첨가될 수 있는 기본 토대로서 VLIW 컴파일러 및 실험환경을 구축하는 것이 필요하다. 본 논문에서는 VLIW 프로세서를 위해 GURPR을 기반으로 한 소프트웨어 파이프라이닝등 기존의 병렬성 증진 최적화 기법등을 포함한 병렬화 컴파일러를 개발하였고, 시뮬레이터 환경에서 테스트하였다. 실험 결과, 몇몇 벤치마크는 최대 30% 까지 실행시간이 시간이 단축될 수 있음을 보였다. 본 컴파일러 시스템은 컴파일링 기술에 대한 연구에 있어 기존 모듈을 개선하는 등에 대해 많은 도움을 줄 것이며 향후 새로운 연구결과와 구현이 본 컴파일러 환경에 추가되어 성능 향상 정도를 실험할 수 있을 것으로 기대하고 있다.

PC Cluster-based Parallel Korean Information Retrieval System (PC 클러스터 기반 병렬 한국어 정보검색 시스템)

  • 김진혁;장한국;최참아;류광렬;정상화;권혁철
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1999.10b
    • /
    • pp.160-162
    • /
    • 1999
  • 대용량의 정보를 다루는 정보검색 시스템은 정보 처리 과정에서 디스크 접근 시간이 큰 오버헤드로 작용한다. 본 논문에서는 단일 기계에서 작동하는 정보검색 시스템이 가지는 이러한 문제점을 해결하기 위해 PC 클러스터 기반 정보검색 시스템을 구현하였다. 색인어 간의 동시 등장 빈도 정보를 이용한 Greedy De-clustering 알고리즘으로 클러스터에 색인어 역파일을 병렬 분산하여 저장하고, SCI 기반의 효율적인 통신 시스템을 구축하여 클러스터 노드간의 통신이 원활하게 하였다. 따라서 사용자 질의어를 처리할 때 질의어별로 가져오는 색인어 역파일의 디스크 접근 시간이 감소하는 효과를 얻을 수 있었으며, 기존의 단일 기계에서 수행되는 정보 검색 시스템보다 수행속도가 2.3배 빠른 시스템을 구현하였음을 실험을 통해 확인하였다.

  • PDF