• Title/Summary/Keyword: 파일 입출력

Search Result 140, Processing Time 0.029 seconds

A Linux Cluster File System for Efficient Multimedia Services (효율적인 멀티미디어 서비스를 위한 리눅스 클러스터 파일 시스템)

  • 강미연;홍재연;김형식
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.04a
    • /
    • pp.652-654
    • /
    • 2002
  • 최근 리눅스 클러스터 시스템의 활용 범위가 커지면서 멀티미디어 서비스를 제공하려는 시도가 나타났다. 리눅스 클러스터 시스템 상에서 효과적으로 멀티미디어 서비스를 제공하려면 적합한 파일 시스템의 도움이 필수적이다. 즉, 클러스터 파일 시스템을 통하여 응용 프로그램에 대한 단일 입출력공간을 제공하고 효율적인 파일/디렉토리 연산을 제공하는 기술이 중요하다. 본 논문에서는 리눅스 클러스터 시스템을 위한 클러스터 파일 시스템(Cluster File System, 이하 CFS로 표기)을 설계 및 구현한다. CFS는 리눅스 파일 시스템 위에 사용자 수준에서 구현된 시스템으로 사용자에게는 단일 시스템 이미지를 제공한다. 내부적으로는 대용량의 파일이 분산되어 저장되며 이를 위해 파일/디렉토리 정보도 각각의 노드에서 분산 관리된다. 사용자에게는 응용 프로그램의 개발이 용이하도록 API가 제공되며, 또한 CFS를 관리하기 위한 도구들이 제공된다.

  • PDF

Fips : Dynamic File Prefetching Scheme based on File Access Patterns (Fips : 파일 접근 유형을 고려한 동적 파일 선반입 기법)

  • Lee, Yoon-Young;Kim, Chei-Yol;Seo, Dae-Wha
    • Journal of KIISE:Computer Systems and Theory
    • /
    • v.29 no.7
    • /
    • pp.384-393
    • /
    • 2002
  • A Parallel file system is normally used to support excessive file requests from parallel applications in a cluster system, whereas prefetching is useful for improving the file system performance. This paper proposes a new prefetching method, Fips(dynamic File Prefetching Scheme based on file access patterms), that is particularly suitable for parallel scientific applications and multimedia web services in a parallel file system. The proposed prefetching method introduces a dynamic prefetching scheme to predict data blocks precisely in run-time although the file access patterns are irregular. In addition, it includes an algorithm to determine whether and when the prefetching is performed using the current available I/O bandwidth. Experimental results confirmed that the use of the proposed prefetching policy in a parallel file system produced a higher file system performance.

A Fast Writing Technique of Large-sized Edited Multimedia Files based on the Ext3 File System (Ext3 파일 시스템 기반의 편집된 대용량 멀티미디어 파일의 고속 저장 기법)

  • Jung, Seung-Wan;Nam, Young-Jin;Seo, Dae-Wha
    • The KIPS Transactions:PartA
    • /
    • v.16A no.2
    • /
    • pp.89-100
    • /
    • 2009
  • With the advance in digital technologies and the increasing prevalence of high quality multimedia contents, there is a growing user demand for multimedia devices, such as mobile phones, digital TV, PMP, digital camcoders, digital cameras. Such devices provide various services associated with multimedia file manipulation, including multimedia contents playback, multimedia file editing, etc. Conventional file systems exhibit a performance-related drawback that requires considerable amount of time and disk I/Os in order to store large-sized edited multimedia files. This paper proposes a fast, efficient writing technique for large-sized edited multimedia files by using data block sharing with adjustment of inode block pointers. Our experiments show that the proposed scheme not only improves write performance of the Ext3 file system on average by 16 times with various types of edited multimedia files, but also reduces consumed disk space dramatically through the data block sharing.

Performance Evaluation of Flash Memory-Based File Storages: NAND vs. NOR (플래시 메모리 기반의 파일 저장 장치에 대한 성능분석)

  • Sung, Min-Young
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.9 no.3
    • /
    • pp.710-716
    • /
    • 2008
  • This paper covers the performance evaluation of two flash memory-based file storages, NAND and NOR, which are the major flash types. To evaluate their performances, we set up separate file storages for the two types of flash memories on a PocketPC-based experimental platform. Using the platform, we measured and compared the I/O throughputs in terms of buffer size, amount of used space, and kernel-level write caching. According to the results from our experiments, the overall performance of the NAND-based storage is higher than that of NOR by up to 4.8 and 5.7 times in write and read throughputs, respectively. The experimental results show the relative strengths and weaknesses of the two schemes and provide insights which we believe assist in the design of flash memory-based file storages.

Analysis of Disk Array Architecture as a Storage Server of a Small-Sacle VOD Server (소규모 VOD 시스템의 저장 서버로서 디스크 배열 구조의 분석)

  • Go, Jeong-Guk;Kim, Gil-Yong
    • The Transactions of the Korea Information Processing Society
    • /
    • v.4 no.3
    • /
    • pp.811-820
    • /
    • 1997
  • Disk arrays are using to enhance data trandfer rate and I/O performance in multimedia applications which need a high-performance storage device with large storage capacity and high-speed network.As performance varies with configuration and data layout scheme,disk array characteristic variables must be approrpriately deter-mined in desibning disk array archetecture for a speciffic applicatoin. In this paper,in order to design a disk array architecturte as a storage server of a small-scale VOD system,we evaluate performance of a disk array to chose the number of disks in the array,disk array cinfiguration,a degree of declustering for a given data block size of continous media file system and I/D request size through simulation.Simulation result shows that RAID level 5 with 5 disks ios a suitable candidate for the disk array architecture which privides MPEG-2 files with a rate of 6 Mbps,Moreover,we whow that stripe unit is 64 KB and a layout scheme is contigous placement.

  • PDF

Metadata Management Techniques in a Large Distributed File System Environment (대규모 분산 파일 시스템 환경의 메타 데이터 관리)

  • Cha, M.H.;Lee, S.M.;Kim, J.;Kim, Y.K.;Kim, M.J.
    • Electronics and Telecommunications Trends
    • /
    • v.22 no.3 s.105
    • /
    • pp.154-165
    • /
    • 2007
  • 메타 데이터와 데이터의 처리 경로를 독립시킨 분산 파일 시스템 구조는 입출력 성능향상 및 확장성 용이라는 측면에서 현재 주도적인 아키텍처로 사용되고 있다. 이러한 환경에서 클라이언트 및 데이터 서버의 수가 계속 확장되어 전체 시스템 규모가 페타(peta) 바이트급 이상 처리가 가능한 대규모로 진화될 경우 필연적으로 메타 데이터 서버에 병목 현상이 발생하게 된다. 본 고에서는 이러한 문제를 처리하기 위한 아키텍처로서 메타 데이터 서버들의 클러스터링을 고려하며, 이를 위해 제안된 다양한 기술들의 동작 원리 및 장단점 등을 분석하고 고찰해 보기로 한다.

A Study on Single Block Device Image for Linux Cluster Environment (리눅스 클러스터 환경에서 단일 블록 디바이스 이미지에 관한 연구)

  • Kim, Tai-Ho;Lee, Jong-Woo
    • Annual Conference of KIPS
    • /
    • 2001.04a
    • /
    • pp.259-262
    • /
    • 2001
  • 현대 사회의 모든 분야가 정보화에 의해 통합되면서 여러 분야에서 고성능 서버에 대한 수요가 증가하고 있다. 그러나, 그것의 높은 비용과 상대적으로 제한된 성능으로 인하여 최근에는 여러 대의 호스트를 네트워크로 연결하는 클러스터링 기술이 각광을 받고 있다. 이러한 다수의 호스트로 구성된 클러스터 시스템의 성능을 최적화하기 위해, 각 노드에 분산된 자원을 효율적으로 통합하고 관리함으로써 사용자에게 투명하고 일관된 인터페이스를 제공하는 단일 시스템 이미지의 지원이 요구된다. 본 논문에서는 리눅스 클러스터 시스템의 입출력 공간에서 단일 시스템 이미지를 지원하기 위한 가상 블록 디바이스 드라이버 설계를 제안하였다. 가상 블록 디바이스 드라이버는 원격 노드의 디스크를 가상의 지역 디스크로 다루기 위해 기존의 파일 시스템을 수정하지 않고 디바이스 드라이버 수준에서 접근함으로써 파일 시스템과의 호환성을 유지하며 사용자에게 투명성을 제공한다.

  • PDF

Performance Analysis of Cloud-Backed File Systems with Various Object Sizes (클라우드 기반 파일 시스템의 오브젝트 크기별 성능 분석)

  • Kim, Jiwon;Lee, Kyungjun;Ryu, Sungtae;Han, wansoo
    • Journal of KIISE
    • /
    • v.43 no.7
    • /
    • pp.744-750
    • /
    • 2016
  • Recent cloud infrastructures provide competitive performances and operation costs for many internet services through pay-per-use model. Particularly, object storages are highlighted, as they have unlimited file holding capacity and allow users to access the stored files anytime and anywhere. Several lines of research are based on cloud-backed file systems, which support traditional POSIX interface rather than RESTful APIs via HTTP. However, these existing file systems handle all files with uniform size backing objects. Consequently, the accesses to cloud object storages are likely to be inefficient. In our research, files are profiled according to characteristics, and appropriate backing unit sizes are determined. We experimentally verify that different backing unit sizes for the object storage improve the performance of cloud-backed file systems. In our comparative experiments with S3QL, our prototype cloud-backed file system shows faster performance by 18.6% on average.

Hybrid Channel Model in Parallel File System (병렬 파일 시스템에서의 하이브리드 채널 모델)

  • Lee, Yoon-Young;Hwangbo, Jun-Hyung;Seo, Dae-Wha
    • The KIPS Transactions:PartA
    • /
    • v.10A no.1
    • /
    • pp.25-34
    • /
    • 2003
  • Parallel file system solves I/O bottleneck to store a file distributedly and read it parallel exchanging messages among computers that is connected multiple computers with high speed networks. However, they do not consider the message characteristics and performances are decreased. Accordingly, the current study proposes the Hybrid Channel model (HCM) as a message-management method, whereby the messages of a parallel file system are classified by a message characteristic between control messages and file data blocks, and the communication channel is divided into a message channel and data channel. The message channel then transfers the control messages through TCP/IP with reliability, while the data channel that is implemented by Virtual Interface Architecture (VIA) transfers the file data blocks at high speed. In tests, the proposed parallel file system that is implemented by HCM exhibited a considerably improved performance.

Performance Evaluation and Optimization of Journaling File Systems with Multicores and High-Performance Flash SSDs (멀티코어 및 고성능 플래시 SSD 환경에서 저널링 파일 시스템의 성능 평가 및 최적화)

  • Han, Hyuck
    • The Journal of the Korea Contents Association
    • /
    • v.18 no.4
    • /
    • pp.178-185
    • /
    • 2018
  • Recently, demands for computer systems with multicore CPUs and high-performance flash-based storage devices (i.e., flash SSD) have rapidly grown in cloud computing, surer-computing, and enterprise storage/database systems. Journaling file systems running on high-performance systems do not exploit the full I/O bandwidth of high-performance SSDs. In this article, we evaluate and analyze the performance of the Linux EXT4 file system with high-performance SSDs and multicore CPUs. The system used in this study has 72 cores and Intel NVMe SSD, and the flash SSD has performance up to 2800/1900 MB/s for sequential read/write operations. Our experimental results show that checkpointing in the EXT4 file system is a major overhead. Furthermore, we optimize the checkpointing procedure and our optimized EXT4 file system shows up to 92% better performance than the original EXT4 file system.