• 제목/요약/키워드: Cluster File System

검색결과 91건 처리시간 0.027초

대규모 정보처리를 위한 병렬 화일시스템 설계에 관한 연구 (A Study of designing Parallel File System for Massive Information Processing)

  • 장시웅;정기동
    • 한국정보처리학회논문지
    • /
    • 제4권5호
    • /
    • pp.1221-1230
    • /
    • 1997
  • 본 연구에서는 Workstation Cluster 환경에서 전통적인 디스크들을 배열처럼 사용할 수 있는 병렬 화일시스템(N-PFS)의 성능을 해석적 방법과 실측 결과를 사용 하여 분석하였다. N-PFS는 소규모 서버 시스템에서 고성능 화일 서버로 사용될 수 있으며, 멀티미디어 데이타나 과학 계산용 데이타와 같은 대용량 데이타를 효율 적으로 처리할 수 있다 본 논문에서는 N-PFS의 성능 분석을 위한 해석적 모델을 제시하였으며, 제시된 해석적 모델의 정확성을 시스템에서의 실측값과 비교함으로써 검증하였다. 해석적 방법과 실측을 통하여 성능을 분석한 결과, 위크스테이션 클리스터 환경에서 대용량 데이타 처리에 적합한 스트라이핑 단위는 64-128Kbytes이며, 8개의 디스크에서 최대 대역폭은 15.8Mbytes/sec로 나타났다. 그리고 대용량 데이타 처리시의 병목 현상은 버퍼 간의 데이타 폭사시간으로 나타났다.

  • PDF

Fips : 파일 접근 유형을 고려한 동적 파일 선반입 기법 (Fips : Dynamic File Prefetching Scheme based on File Access Patterns)

  • 이윤영;김재열;서대화
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제29권7호
    • /
    • pp.384-393
    • /
    • 2002
  • 병렬 파일시스템은 클러스터 시스템에서 과도한 입출력 요청을 원활하게 지원하기 위해 사용되며, 특히 파일 선반입은 병렬 파일시스템의 성능을 개선하는데 유용하게 사용된다. 본 논문은 과학계산용 병렬 응용과 멀티미디어 서버 응용에서 효과적인 파일 접근 유형을 고려한 새로운 동적 파일 선반입기법인 Fips를 제안한다. 본 논문이 제안하는 동적 파일 선반입 기법인 Fips는 파일의 접근 유형을 고려하여 동적으로 선반입 할 데이타 블록을 예측하고, 다양한 접근 유형에서도 데이타 블록의 선반입을 효율을 높였다. 그리고 현재의 가용 대역폭을 고려하여 선반입 시기를 결정하므로 선반입이 시스템에 과부하로 작용하는 것을 방지하도록 하였다. 병렬 파일시스템에 Fips를 적용하여 실험한 결과 다양한 작업부하에서 제안한 선반입 기법은 우수한 성능을 보여주었다.

A Method of Data Hiding in a File System by Modifying Directory Information

  • Cho, Gyu-Sang
    • 한국컴퓨터정보학회논문지
    • /
    • 제23권8호
    • /
    • pp.85-93
    • /
    • 2018
  • In this research, it is proposed that a method to hide data by modifying directory index entry information. It consists of two methods: a directory list hiding and a file contents hiding. The directory list hiding method is to avoid the list of files from appearing in the file explorer window or the command prompt window. By modifying the file names of several index entries to make them duplicated, if the duplicated files are deleted, then the only the original file is deleted, but the modified files are retained in the MFT entry intact. So, the fact that these files are hidden is not exposed. The file contents hiding is to allocate data to be hidden on an empty index record page that is not used. If many files are made in the directory, several 4KB index records are allocated. NTFS leaves the empty index records unchanged after deleting the files. By modifying the run-list of the index record with the cluster number of the file-to-hide, the contents of the file-to-hide are hidden in the index record. By applying the proposed method to the case of hiding two files, the file lists are not exposed in the file explorer and the command prompt window, and the contents of the file-to-hide are hidden in the empty index record. It is proved that the proposed method has effectiveness and validity.

SAN 환경에서 공유 디스크 파일 시스템을 위한 전역 버퍼 관리자 (A Global Buffer Manager for a Shared Disk File System in SAN Clusters)

  • 박선영;손덕주;신범주;김학영;김명준
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제10권2호
    • /
    • pp.134-145
    • /
    • 2004
  • 네트워크를 통해 전송되는 데이타의 양이 급속히 증가함에 따라 확장성 있는 저장 시스템에 대한 사용자 요구가 증가하고 있다. 네트워크 연결형 자료 저장 시스템인 SAN(Storage Area Network)은 호스트와 디스크를 광채널 스위치로 연결하는 구조로서 저장 공간과 서버에 대한 확장성을 제공한다. SAN 환경에서는 다수의 호스트가 네트워크에 연결된 저장 장치를 공유하므로 공유 데이타에 대한 일관성 유지가 필요하다. 이를 위해 각 호스트가 수정한 데이타를 즉시 디스크에 반영하는 방법을 사용하고 있지만 이는 느린 디스크 접근 시간(Disk Access Time)으로 인해 시스템의 성능을 저하시키는 요인이 된다. 본 논문에서는 필요한 공유 데이타를 다른 호스트의 메모리를 통해서 직접 전송 받을 수 있도록 하여 공유 데이타의 접근 속도를 향상시킬 수 있는 전역 버퍼 관리자의 설계와 구현에 대해 소개한다. SANtopia 전역 버퍼 관리자는 SAN에 연결된 호스트들이 서로의 버퍼 캐시를 공유하도록 함으로써 블록 데이타로의 빠른 접근을 가능하게 한다. 마이크로 벤치마크를 통한 블록 단위 I/O의 성능 측정 결과, 전역 버퍼 관리자를 사용하는 것이 기존의 디스크 I/O를 사용하는 방법에 비해 약 1.8-12.8배 정도 빠른 성능을 보였으며 파일 시스템 벤치마크를 통한 성능 측정 결과. 전역 버퍼 관리자를 사용한 SANtopia 파일 시스템은 사용하지 않은 것과 비교해서 디렉터리 파일 시스템 콜의 경우 약 1.06배 정도 빠르고 일반 파일시스템 콜은 약 1.14배 정도 빠른 성능을 보였다.

Design and Implementation of APFS Object Identification Tool for Digital Forensics

  • Cho, Gyu-Sang
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제14권1호
    • /
    • pp.10-18
    • /
    • 2022
  • Since High Sierra, APFS has been used as the main file system. It is a well-established file system that has been used stably thus far. From the perspective of digital forensics, there are still many areas to be investigated. Apple File System Reference is provided to the apple developer site, but it is not satisfactory to fully analyze APFS. Researchers know more about the structure of APFS than before, but they have not yet fully analyzed its structure to a perfect level about it. In this paper, we develop APFS object identification tool for digital forensics. The most basic and essential object identification and analysis of the APFS filesystem will be conducted with the tool. The analysis in this study serves as the background for an analysis of the checkpoint operation principle and structure, including the more complex B-tree structure of APFS. There are several options for the developed tool, but the results of two use cases will be shown here. Based on the implemented tool, it is hoped that more functions will be added to make APFS a useful tool for faster and more accurate analyses.

다단계 중복 제거 기법을 이용한 클러스터 기반 파일 백업 서버 (A Clustering File Backup Server Using Multi-level De-duplication)

  • 고영웅;정호민;김진
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제14권7호
    • /
    • pp.657-668
    • /
    • 2008
  • 기존의 상용 저장 시스템은 데이타를 저장할 때 몇 가지 문제점을 가지고 있다. 먼저, 데이타를 저장함에 있어서 실용적인 중복제거 기법이 널리 활용되고 있지 못하기 때문에 저장 장치 낭비를 초래하고 있다. 또한 대규모 데이타 입출력을 처리하기 위해서 고사양의 시스템을 요구한다는 부분도 문제점으로 지적할 수 있다. 이와 같은 문제를 해결하기 위해서 본 논문에서는 블록 수준에서의 중복을 제거하기 위한 방안으로 파일 지문을 이용한 클러스터링 기반 저장 시스템을 제안하고 있다. 본 연구는 기존의 저장 시스템과 몇 가지 부분에서 차이를 보인다. 먼저, 파일 블록의 지문을 이용한 다단계 중복 제거 기법을 통하여 불필요한 데이타에 대한 저장 용량을 효과적으로 줄일 수 있었다. 또한 입출력 시스템 부분에서는 클러스터링 기법을 적용함으로써 데이타 전송 및 입출력 시간을 효과적으로 감소시켰다. 본 논문에서는 제안된 방법을 검증하기 위해서 몇 가지 실험을 수행하였으며, 실험 결과 저장 공간과 입출력 성능이 크게 개선되었음을 보였다.

효율적인 멀티미디어 서비스를 위한 리눅스 클러스터 파일 시스템 (A Linux Cluster File System for Efficient Multimedia Services)

  • 강미연;홍재연;김형식
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (A)
    • /
    • pp.652-654
    • /
    • 2002
  • 최근 리눅스 클러스터 시스템의 활용 범위가 커지면서 멀티미디어 서비스를 제공하려는 시도가 나타났다. 리눅스 클러스터 시스템 상에서 효과적으로 멀티미디어 서비스를 제공하려면 적합한 파일 시스템의 도움이 필수적이다. 즉, 클러스터 파일 시스템을 통하여 응용 프로그램에 대한 단일 입출력공간을 제공하고 효율적인 파일/디렉토리 연산을 제공하는 기술이 중요하다. 본 논문에서는 리눅스 클러스터 시스템을 위한 클러스터 파일 시스템(Cluster File System, 이하 CFS로 표기)을 설계 및 구현한다. CFS는 리눅스 파일 시스템 위에 사용자 수준에서 구현된 시스템으로 사용자에게는 단일 시스템 이미지를 제공한다. 내부적으로는 대용량의 파일이 분산되어 저장되며 이를 위해 파일/디렉토리 정보도 각각의 노드에서 분산 관리된다. 사용자에게는 응용 프로그램의 개발이 용이하도록 API가 제공되며, 또한 CFS를 관리하기 위한 도구들이 제공된다.

  • PDF

클러스터 파일 시스템을 위한 LDPC 코드 복제 기법 최적화 (Optimization of LDPC Code Replication Scheme for Cluster File System)

  • 김세회;이원주;전창호
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2010년도 제42차 하계학술발표논문집 18권2호
    • /
    • pp.15-16
    • /
    • 2010
  • 최근 이슈가 되고 있는 클라우드 컴퓨팅은 대용량의 데이터를 분산 저장하고 제공할 수 있는 클러스터 파일 시스템을 필요로 한다. 이러한 클러스터 파일 시스템은 높은 신뢰성과 고가용성을 보장하기 위해서 파일 복제 기법을 사용하고 있다. 가장 많이 쓰이고 있는 복제 기법은 전체-파일 복제 기법으로 높은 파일 가용성을 제공하지만 그만큼 스토리지 오버헤드가 크다는 단점이 있다. 또 다른 복제 기법으로는 LDPC 코드를 이용한 것으로 비교적 적은 스토리지 오버헤드를 가지면서 동시에 비슷한 수준의 파일 가용성을 제공한다. 따라서 본 논문에서는 클러스터 파일 시스템을 위한 LDPC 코드 복제 기법의 최적화 방법을 제안한다.

  • PDF

VIA 기반 PC 클러스터 시스템을 위한 무복사 파일 전송 메커니즘의 개발 및 성능분석 (Development and Performance Study of a Zero-Copy File Transfer Mechanism for Ink-based PC Cluster Systems)

  • 박세진;정상화;최봉식;김상문
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제32권11_12호
    • /
    • pp.557-565
    • /
    • 2005
  • 본 논문에서는 VIA(Virtual Interface Architecture) 기반 클러스터 시스템 상에서 효과적인 파일 전송을 위한 무복사 파일 전송 메커니즘의 개발 및 구현에 관하여 나타내었다. VIA는 클러스터 시스템을 위한 대표적인 사용자 수준 통신 방법이지만 파일 전송에 대한 라이브러리는 제공하지 않으며 파일 전송을 위해서는 커널 공간에서 사용자 공간으로 한번의 데이타 복사가 필요하다. 본 논문의 파일 전송 메커니즘은 파일시스템의 수정 없이 파일 전송 라이브러리만 제공함으로써, 네트워크 인터페이스 카드가 보내고자 하는 노드의 파일을 상대방 노드의 사용자 버퍼로 복사 없이 전송 가능케 하였다. 이를 위해 본 연구에서는 PCI 64bit/66MHz를 지원하고 물리적 네트워크로 기가비트 이더넷을 사용하는 VIA 기반의 네트워크 카드를 개발하였고, 이를 바탕으로 무복사 파일 전송 메커니즘을 구현하였다. 이러한 구현의 결과로 sender 측의 데이타 복사 횟수 및 문맥전환 시간을 줄였고, 기존의 VIA의 send/receive에 비해 CPU 사용률을 $30\%\~40\%$ 정도로 줄일 수 있었다. 본 논문에서는 TCP/IP에서 제공하는 무복사 파일 전송 및 VIA에서 사용되는 파일 전송 방법과의 비교 분석 실험을 통하여 본 논문에서 제시한 무복사 파일 전송 메커니즘의 성능을 보였다.

SAN 기반 클러스터 공유 파일 시스템 $SANique^{TM}$의 오류 노드 탐지 및 회복 기법 (Detection and Recovery of Failure Node in SAN-based Cluster Shared File System $SANique^{TM}$)

  • 이규웅
    • 한국정보통신학회논문지
    • /
    • 제13권12호
    • /
    • pp.2609-2617
    • /
    • 2009
  • 본 논문은 저장장치 전용 네트워크인 SAN 상에서 운영되는 공유 파일 시스템 $SANique^{TM}$의 개괄적인 설계 방법과 공유 파일 시스템내의 오류노드탐지 및 회복 기법에 대한 방법을 설명한다. SAN 기반공유 파일 시스템의 특징 및 구조를 설명하고 $SANique^{TM}$의 구성요소와 개괄적 설계방법을 기술한다. 또한, 공유 파일 시스템에 참여하고 있는 컴퓨팅 노드의 오류로 인한 서비스 지연 또는 중지를 방지하기 위하여 오류 노드 탐지 및 회복기법을 설명한다. 대규모 컴퓨팅 노드로 구성된 공유 파일 시스템상에서 발생할 수 있는 오류의 종류를 나열하고, 오류로 인한 분할된 서브 그룹들 간의 오류 상황을 상호 탐지 할 수 있는 방법을 설명하고 이를 해결하기 위한 기법을 제안한다.