• Title/Summary/Keyword: 파일 입출력

Search Result 140, Processing Time 0.029 seconds

Mapping Cache for High-Performance Memory Mapped File I/O in Memory File Systems (메모리 파일 시스템 기반 고성능 메모리 맵 파일 입출력을 위한 매핑 캐시)

  • Kim, Jiwon;Choi, Jungsik;Han, Hwansoo
    • Journal of KIISE
    • /
    • v.43 no.5
    • /
    • pp.524-530
    • /
    • 2016
  • The desire to access data faster and the growth of next-generation memories such as non-volatile memories, contribute to the development of research on memory file systems. It is recommended that memory mapped file I/O, which has less overhead than read-write I/O, is utilized in a high-performance memory file system. Memory mapped file I/O, however, brings a page table overhead, which becomes one of the big overheads that needs to be resolved in the entire file I/O performance. We find that same overheads occur unnecessarily, because a page table of a file is removed whenever a file is opened after being closed. To remove the duplicated overhead, we propose the mapping cache, a technique that does not delete a page table of a file but saves the page table to be reused when the mapping of the file is released. We demonstrate that mapping cache improves the performance of traditional file I/O by 2.8x and web server performance by 12%.

Analyzing the Overhead of the Memory Mapped File I/O for In-Memory File Systems (메모리 파일시스템에서 메모리 매핑을 이용한 파일 입출력의 오버헤드 분석)

  • Choi, Jungsik;Han, Hwansoo
    • KIISE Transactions on Computing Practices
    • /
    • v.22 no.10
    • /
    • pp.497-503
    • /
    • 2016
  • Emerging next-generation storage technologies such as non-volatile memory will help eliminate almost all of the storage latency that has plagued previous storage devices. In conventional storage systems, the latency of slow storage devices dominates access latency; hence, software efficiency is not critical. With low-latency storage, software costs can quickly dominate memory latency. Hence, researchers have proposed the memory mapped file I/O to avoid the software overhead. Mapping a file into the user memory space enables users to access the file directly. Therefore, it is possible to avoid the complicated I/O stack. This minimizes the number of user/kernel mode switchings. In addition, there is no data copy between kernel and user areas. Despite of the benefits in the memory mapped file I/O, its overhead still needs to be addressed, as the existing mechanism for the memory mapped file I/O is designed for slow block devices. In this paper, we identify the overheads of the memory mapped file I/O via experiments.

Table Comparison Prefetching using Available I/O Bandwidth in Parallel File System (병렬 파일 시스템에서의 가용 입출력 대역폭을 고려한 테이블 비교 선반입 정책)

  • 김재열;석성우;조종현;서대화
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.10c
    • /
    • pp.630-632
    • /
    • 2000
  • 과도한 파일 입출력이 요구되는 병렬파일 시스템의 성능을 결정하는 중요한 요소로서 캐슁과 선반입을 들 수 있다. 본 논문은 캐쉬의 크기에 비해 상대적으로 큰 파일을 요청하는 경우에 시스템 성능에 막대한 영향을 미치는 선반입에 대해서 선반입할 데이터를 결정하는 알고리즘으로 테이블 비교법을 제안하고, 이와 더불어 예측된 데이터의 선반입 여부와 선반입 시기를 결정하는 경우 현재의 가용 입출력 대역폭을 고려하는 기법을 제안한다. 제안하는 선반입 알고리즘을 시뮬레이션을 통하여 기타 선반입 알고리즘과 비교해 본 결과 파일 시스템 성능이 향상되었음을 보여준다.

  • PDF

Design and Implementation of CAN Cluster File System (캔 클러스터 파일 시스템의 설계 및 구현)

  • 황인철;임동혁;김호진;맹승렬;조정완
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.10a
    • /
    • pp.28-30
    • /
    • 2004
  • 요즘 네트웍과 PC의 성능이 향상됨에 따라 값싼 PC를 빠른 네트웍으로 묶어 높은 성능을 얻고자 하는 클러스터 시스템에 대하여 많이 연구되어 왔다. 이러한 연구의 한 분야로서 클러스터 시스템에서 각 노드의 CPU나 메모리에 비하여 상대적으로 느린 디스크에 접근하는 파일 시스템을 효율적으로 구성하려는 연구가 이루어지고 있다. 기존 클러스터 파일 시스템은 기존에 연구되었던 분산 시스템의 파일 시스템을 그대로 사용하는 경우가 많았다. 기존 분산 시스템들은 클러스터 시스템과 유사한 부분들이 존재 하지만 다른 부분도 존재한다. 클러스터 시스템을 사용하는 사용자에게 높은 성능의 데이터 입출력과 효율적인 지원을 위해서는 클러스터 시스템의 특성을 잘 활용하는 클러스터 파일 시스템에 대한 연구가 필요하다. 본 논문에서는 클러스터 시스템의 특성을 잘 활용하는 캔 클러스터 파일 시스템의 설계 및 구현에 대하여 기술한다. 캔 클러스터 파일 시스템은 자료 저장 시스템을 클러스터 시스템의 특성을 잘 활용하는 단일 디스크 입출력을 사용하고 그 위에 상호 협력 캐쉬를 구현함으로서 높은 대역폭의 데이터 입출력을 제공한다. 이러한 캔 클러스터 파일 시스템의 성능을 기존 파일 시스템 중 PVFS와 테스트 프로그램 수행을 통하여 성능을 비교, 분석한다.

  • PDF

Research for Efficient Massive File I/O on Parallel Programs (병렬 프로그램에서의 효율적인 대용량 파일 입출력 방식의 비교 연구)

  • Hwang, Gyuhyeon;Kim, Youngtae
    • Journal of Internet Computing and Services
    • /
    • v.18 no.2
    • /
    • pp.53-60
    • /
    • 2017
  • Since processors are handling inputs and outputs independently on distributed memory computers, different file input/output methods are used. In this paper, we implemented and compared various file I/O methods to show their efficiency on distributed memory parallel computers. The implemented I/O systems are as following: (i) parallel I/O using NFS, (ii) sequential I/O on the host processor and domain decomposition, (iii) MPI-IO. For performance analysis, we used a separated file server and multiple processors on one or two computational servers. The results show the file I/O with NFS for inputs and sequential output with domain composition for outputs are best efficient respectively. The MPI-IO result shows unexpectedly the lowest performance.

An Integrated File System for Guaranteeing the Quality of Service of Multimedia Stream (멀티미디어 스트림의 QoS를 보장하는 통합형 파일시스템)

  • 김태석;박경민;최정완;김두한;원유집;고건;박승민;김정기
    • Journal of KIISE:Computer Systems and Theory
    • /
    • v.31 no.9
    • /
    • pp.527-535
    • /
    • 2004
  • Handling mixed workload in digital set-top box or streaming server becomes an important issue as integrated file system gets momentum as the choice for the next generation file system. The next generation file system is required to handle real-time audio/video playback while being able to handle text requests such as web page, image file, etc. Legacy file system provides only best effort I/O service and thus cannot properly support the QoS of soft real-time I/O. In this paper, we would like to present our experience in developing the file system which fan guarantee the QoS of multimedia stream. We classify all application I/O requests into two category: periodic I/O and sporadic I/O. The QoS requirement of multimedia stream could be guaranteed by giving a higher priority to periodic requests than sporadic requests. The proto-type file system(Qosfs) is developed on Linux Operating System.

Comparison and Analysis of ICC Monitor Profiles (색 관리용 모니터 프로파일의 비교 분석)

  • 김홍석;박승옥;정연우
    • Proceedings of the Optical Society of Korea Conference
    • /
    • 2001.02a
    • /
    • pp.274-275
    • /
    • 2001
  • 컬러영상은 디스플레이 장치의 색 특성에 따라 색이 다르게 나타나며 또한 프린터로 출력된 인쇄물의 컬러 또한 장치의 특성과 잉크의 재질에 따라 색이 다르게 출력된다. 이에 장치 독립적인 색을 재현하고자 ICC (International Color Consortium )에서는 영상 입출력 장치들 간의 장치 독립적인 색을 표현하기 위한 ICC 프로파일을 제시하였으며, 현재 많은 색 보정 프로그램들이 이것을 따른다. 이로 인해 현재 출시되는 입출력 장치들은 ICC 프로파일을 기본으로 제공하고 있으나. 현재 배포되는 ICC 프로파일이 담고있는 정보를 바탕으로 IC 프로파일들의 문제점을 알아보고자 ICC 프로파일을 해독하는 프로그램을 제작하여 일반적으로 많이 사용되는 디스플레이 장치들의 프로파일을 읽어 데이터를 비교ㆍ분석하였다. (중략)

  • PDF

Extension of EXT2 for Single Disk I/O Environment (단일 디스크 입출력 환경을 위한 EXT2의 확장)

  • 임동혁;황인철;변은규;맹승렬
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.10a
    • /
    • pp.76-78
    • /
    • 2004
  • 단일 디스크 입출력 환경은 클러스터 시스템의 분산된 디스크들을 하나의 통합된 디스크의 이미지로 제공하여 사용자에게 편의성을 제공한다. 하지만, 디바이스 수준에서의 서비스를 제공하고 이로 인해 여러 노드에서의 파일의 병렬적인 접근을 지원하기 위해서는 클러스터 파일 시스템의 지원이 요구된다. 본 논문은 리눅스 시스템에서 가장 많이 사용하는 EXT2 파일 시스템을 단일 입출력 환경에서 효과적으로 사용할 수 있는 클러스터 파일 시스템으로의 확장하는 방안에 대해서 설명한다. 기존의 EXT2 파일 시스템을 커널 모듈의 형태로 재구성하고, 버퍼 캐쉬와 메타 데이터의 일관성 유지를 위하여 분산 락 모듈물 구현하고 이를 이용하여 데이터의 일관성과 동기화 문제를 동시에 해결하도록 하여, EXT2 파일 시스템을 클러스터 파일 시스템으로 확장하였다

  • PDF

The Implementation and Performance Analysis of a OpenCFS Cluster File system (OpenCFS 클러스터 파일 시스템의 구현 및 성능 평가)

  • Jeon, Seung-Hyub;Cha, Gyu-Il;Kim, Jin-Mi;Yoo, Chuck
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04a
    • /
    • pp.645-647
    • /
    • 2000
  • 본 논문에서는 멀티미디어나 데이터베이스 등 대용량 입출력을 효율적으로 지원하기 위하여 고속 네트웍으로 연결된 클러스터링 환경에서 동작하는 클러스터 파일 시스템인 OpenCFS를 설계하고 구현하여 성능을 평가한다. 구현된 클러스터 파일 시스템은 입출력 장치의 한계를 극복하기 위하여 스트라이핑(striping)기법을 통한 병렬 입출력(parallel I/O)을 수행하고, 능동적으로 시스템 내부 정책 병경을 가능하게 하는 오픈 임플리멘테이션(Open Implementation)방법론을 적용함으로써 응용프로그램의 시스템 내부 정책에 대한 접근 방법을 제공한다. 실험을 통하여 구현된 클러스터 파일 시스템의 성능을 분석한 결과, 사용자가 기존의 프로그래밍 환경을 유지하면서 시스템 내부 정책을 변경함으로써 개선된 성능의 입출력 서비스를 제공 받을 수 있다.

  • PDF

Design and Implementation of the Kernel Module Prototype for the Single Disk I/O (단일 디스크 입출력을 위한 커널 모듈 프로토타입의 설계 및 구현)

  • 황인철;김동환;김호진;맹승렬;조정완
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.10a
    • /
    • pp.406-408
    • /
    • 2003
  • 요즘 값싼 PC를 빠른 네트웍으로 묶어 높은 성능을 얻고자하는 클러스터 컴퓨팅에 대한 연구가 활발히 이루어지고 있다. 이러한 연구 중 클러스터 컴퓨팅 환경을 구성하는 여러 컴퓨터들을 하나의 컴퓨터처럼 보이게 해주는 단일 시스템 이미지 서비스는 사용자에게 쓰기 편리한 환경과 높은 가용성을 제공하여 준다. 단일 시스템 이미지 서비스를 제공하기 위해서는 단일 프로세스 공간, 단일 메모리 공간 및 단일 디스크 입출력을 제공하여 주어야 한다. 단일 디스크 입출력은 여러 컴퓨터에 나누어져 있는 디스크들을 하나의 큰 디스크로 보여주고 여러 디스크들을 효율적으로 사용할 수 있도록 서비스를 제공한다. 이러한 단일 디스크 입출력을 사용자 수준이나 파일 시스템 수준에서 제공하여 주는 것은 성능 측면이나 투명성의 측면에서 커널 모듈로 제공하여 주는 것 보다 좋지 않다. 따라서 본 논문에서는 단일 디스크 입출력을 위하여 커널 모듈 프로토타입을 설계하고 구현한다. 그리고 네트웍 파일 시스템과 단일 디스크를 이용하여 단일 디스크 입출력을 위한 터널 모듈의 성능과 비교, 분석한다.

  • PDF