• 제목/요약/키워드: Distributed File Systems

검색결과 123건 처리시간 0.025초

분산 파일시스템의 소거 코딩 구현 및 성능 비교 (Implementation and Performance Measuring of Erasure Coding of Distributed File System)

  • 김재열;김영철;김동오;김홍연;김영균;서대화
    • 한국통신학회논문지
    • /
    • 제41권11호
    • /
    • pp.1515-1527
    • /
    • 2016
  • 최근의 빅데이터, 머신러닝, 클라우드 컴퓨팅 분야의 성장에 따라 대용량의 비정형 데이터를 저장할 수 있는 스토리지의 중요성은 날로 커지고 있다. 이에 따라 MAHA-FS, GlusterFS, Ceph 등의 개방형 하드웨어 기반의 분산 파일시스템 기술이 많은 주목을 받고 있다. 이러한 저비용 분산 파일시스템들은 데이터의 내결함성을 보장하기 위하여 초기에 복제 방식을 사용하였으나, 스토리지의 용량이 커질수록 복제 방식이 가지는 스토리지 공간의 저효율성이 점차 부각되면서 이를 보완하려는 방향으로 연구가 진행되고 있다. 본 논문은 복제방식을 대체하여 스토리지 공간 효율성을 향상시킬 수 있는 소거코딩 기법을 MAHA-FS 분산 파일시스템에 적용하여 스토리지의 효율성을 높이고, 소거코딩 지원에 따라 발생하는 데이터 일관성 문제를 해결하는 효율적인 방식으로 VDelta 기법을 제안하고 적용하였다. 본 논문은 MAHA-FS와 GlusterFS의 소거코딩의 구조적 차이점을 기술하고 두 파일시스템의 성능을 비교하여 MAHA-FS의 소거코딩 성능이 GlusterFS에 비해 우수함을 확인하였다.

분산 UNIX 환경에서 Shared-Concurrent File System의 설계 및 구현 (Design and implementation of a Shared-Concurrent File System in distributed UNIX environment)

  • 장시웅;정기동
    • 한국정보처리학회논문지
    • /
    • 제3권3호
    • /
    • pp.617-630
    • /
    • 1996
  • 본 연구에서는 소규모 서버로 사용될 수 있는 Workstation Cluster환경에서 전통 적인 디스크들을 디스크 배열 처럼 사용할 수 잇는 병행 화일시스템(S-CFS)을 설계 하고 구현하였다. S-CFS는 범용의 UNIX 운영체제를 기반으로 구현되어서 융통성과 이식 성이 높으며 별도의 입출력 노드가 불필요하므로 시스템 자원을 효율적으로 사용한다. 성능 분석 결과에 위하며, 소규모 서버에서 디스크의 수가 충분 할 경우, 트랜잭션 처리 에서 병행 화일시스템의 성능은 CPU 계산 능력에 의하여제한받는 것으로 나타났으며 대용량 데이타 입출력에서는 성능이 버퍼 간의 데이타 복사시간에 의하여 제한받는 것으로 나다.Workstation Cluster 에서 구현된 병행 화일시스템은 8개의 디스크에서 트랜잭션 처리의 경우에는초당 388 트랜잭션의 처리율을 보였으며, 대용량 데이타의 경우에는 15.8 MBytes/sec 의 대역표을 보였다. 그리고 사용자가 병행 화일시스템의 병렬성을 제어할 수 있도록 설계함으로써 고속 입출력을 요구하는 사용자의 처리율을 높일 수 있도록 하였다.

  • PDF

Distributed file System을 위한 Java 기반 Management System설계 및 구현 (A Design and its Implementation of Java based Management System for Distributed File Systems)

  • 김태형;정규식
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2002년도 하계종합학술대회 논문집(3)
    • /
    • pp.149-152
    • /
    • 2002
  • 최근 인터넷 사용자가 늘어나면서 클러스터링 기반의 대형 서버가 등장하게 되었고 또한 분산파일시스템(DFS)에 대한 관심이 커지게 되었다. 기존 분산파일 시스템들은 파일시스템 측면의 많은 기능들이 제공되고 뛰어난 성능을 발휘하지만 사용자 인터페이스 및 관리 측면에서 본다면 미흡한 점이 많다. 본 논문에서는 분산파일 시스템의 종류와 플랫폼에 상관없이, 사용하기 쉬운 DFS Management System을 설계하고 구축한다. 전체 시스템 구조를 파악 할 수 있도록 GUI 환경을 제공하며, 모듈화/계층화 구조로 설계하는데 기존 DFS와 연동하기 위한 하부 통신모듈이 포함된다. 본 논문에서는 Java기반으로 DFS Management System을 구축하였으며, Coda DFS가 설치된 클러스터링 서버와 연동하여 시험하였다.

  • PDF

?이동 컴퓨팅 환경에서 캐쉬 관리를 위한 TWB 기법 (Trickle Write-Back Scheme for Cache Management in Mobile Computing Environments)

  • 김문정;엄영익
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제27권1호
    • /
    • pp.89-100
    • /
    • 2000
  • 최근 사용자가 위치를 이동하는 도중에도 네트워크에의 연결을 계속해서 유지할 수 있도록 하는 이동 컴퓨팅 환경에 대한 연구가 이루어지고 있다. 이러한 이동 컴퓨팅 환경을 위해 설계되고 구현되어야 할 요소 중의 하나가 이동 호스트를 고려한 분산 화일 시스템이며 이에는 여러 가지 설계 사항들이 존재한다. 이러한 설계 사항들 중에는 제한된 대역폭 상에서의 통신량 문제와 공유 화일에 대한 여러 사용자들의 수정 충돌(update conflict)로 인하여 발생되는 데이타 일치성 문제가 있다. 본 논문에서는 이동 컴퓨팅 환경에서 이동 클라이언트의 캐쉬 관리를 위하여 약한 연결상태를 이용하는 TWB(Trickle Write-Back) 기법을 제안한다. 본 제안 기법은 불필요한 write-back을 지연시키되 일정시간마다 중간 상태를 write-back 함으로써, 이동 컴퓨팅 환경에서 중요한 자원인 대역폭을 절약함과 동시에 그로 인한 디스크 낭비와 단절 상황 시에 발생될 위험 부분을 축소하도록 한다. 또한 기존의 분산 화일 시스템 구조를 충분히 이용하면서 사용자에게는 가능한 한 투명성을 제공한다.

  • PDF

A study on a collective behavior of interacting simple robots

  • Sugawara, Ken;Sano, Masaki;Watanabe, Toshinori
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2002년도 ICCAS
    • /
    • pp.93.6-93
    • /
    • 2002
  • Many livings form groups that we consider as collective systems. Their collective behaviors are good model for the development of useful distributed systems. In this paper, We discussed the group of motile elements that is described by simple model. The dynamics of each element is described by simple kinematics, but the group shows various types of motions. In addition, we found out the formation of the group changes by modifying rc which is an optimum distance between each element. This modification shows us to observe close-packed structure, face-centered lattice, sim pie lattice and double file.

  • PDF

Reliable & Sealable Multicast Communication in Real Time Collaborative Systems

  • Patel, Jayesh-M;Shamsul Sahibuddin
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2002년도 ITC-CSCC -3
    • /
    • pp.1752-1755
    • /
    • 2002
  • The world wide web (WWW) already accounts f3r more Internee network traffic than any other application, including il and simple file transfer. It is also a collaborative technology in a weak sense of the word - it allows people to share information. Synchronous collaboration is where an interactive activity is simultaneous and in teal-time. Computer based real time collaborative systems like shared whiteboards. collaborative editor etc. are only beginning to emerge recently. These applications invoking more than two users exchanging information, require Multicast communication. Multicast communication is a transmission mode that is now supported by a variety of local and wide area networks. Multicasting enables multiparty communication across a wide area to sparsely distributed groups by minimizing the network load. Multicasting itself is one of the key technologies in the nut generation of the Internet This paper describes the technical issues from the aspect of multicast communication and its reliability in synchronous collaborative application.

  • PDF

리눅스 클러스터링 웹 서버의 고가용성에 대한 연구 (A study on high availability of the linux clustering web server)

  • 박지현;이상문;홍태화;김학배
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2000년도 제15차 학술회의논문집
    • /
    • pp.88-88
    • /
    • 2000
  • As more and more critical commercial applications move on the Internet, providing highly available servers becomes increasingly important. One of the advantages of a clustered system is that it has hardware and software redundancy. High availability can be provided by detecting node or daemon failure and reconfiguring the system appropriately so that the workload can be taken over bi the remaining nodes in the cluster. This paper presents how to provide the guaranteeing high availability of clustering web server. The load balancer becomes a single failure point of the whole system. In order to prevent the failure of the load balancer, we setup a backup server using heartbeat, fake, mon, and checkpointing fault-tolerance method. For high availability of file servers in the cluster, we setup coda file system. Coda is a advanced network fault-tolerance distributed file system.

  • PDF

클러스터 파일 시스템의 메타데이터 서버를 위한 내용 기반 부하 분산 알고리즘 (A Content-based Load Balancing Algorithm for Metadata Servers in Cluster File System)

  • 장준호;한세영;박성용
    • 정보처리학회논문지A
    • /
    • 제13A권4호
    • /
    • pp.323-334
    • /
    • 2006
  • 클러스터 파일 시스템의 성능을 결정짓는 주요 요소 중 하나는 메타 데이터 서비스의 성능이다. 본 논문에서는 메타 데이터 연산의 종류에 따라 적절한 메타 데이터 서버에게 클라이언트의 요청을 동적으로 분배할 수 있는 내용 기반의 부하 분산 알고리즘을 제안한다. 이 알고리즘에서는 메타 데이터 서버 사이에 데이터의 이동을 유발 시키는 대신 메타 데이터를 복제하고 수정 메시지를 로깅하게 함으로써, 기존의 알고리즘에 비해 클라이언트의 요청을 서버들에게 균등하게 분배하여 응답 지연 시간을 현저히 줄일 수 있었다.

분산 파일시스템을 위한 효율적인 협력캐쉬 알고리즘 (Efficient Cooperative Caching Algorithm for Distributed File Systems)

  • 박새미;이석재;유재수
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2003년도 추계종합학술대회 논문집
    • /
    • pp.234-244
    • /
    • 2003
  • 분산 파일시스템 환경에서는 디스크 접근 비용을 줄이기 위해 각 노드에 캐쉬된 데이터를 서로 공유하는 협력캐쉬 기법이 사용된다. 협력캐쉬 기법은 분산되어있는 시스템들의 캐쉬정보를 서로 공유하여 가상으로 더 큰 캐쉬를 형성함으로써 캐쉬 히트율을 높이고 디스크 접근을 줄이는 방법이다. 기존에 제안된 협력캐쉬 기법들은 캐쉬에 대한 근사정보를 이용하여 메시지 비용을 줄이고, 로컬캐쉬영역과 글로벌 캐쉬영역을 가변적으로 사용하여 캐쉬히트율을 높이고 있다. 또한 캐시교체시 교체된 블록을 비활동적인 노드로 보내어 계속 캐쉬에 유지하도록 하여 글로벌 캐시히트율을 높이는 장점을 갖는다. 그러나 잘못된 근사정보가 성능을 저하시킬 수 있으며 일관성 유지를 위한 메시지교환 비용이 많이 든다는 단점을 갖고 있다. 또한 비활동적인 노드를 선정하기 위해 사용되는 각 노드의 에이지정보 관리비용이 많이드는 단점을 갖고 있다. 본 논문에서는 정확한 캐쉬정보를 유지하며 일관성 유지비용과 캐시에이지정보 관리비용을 최소화시키는 협력캐쉬 알고리즘을 제안한다. 그리고 성능평가를 통해 기존의 협력캐쉬 기법과 비교하여 제안하는 알고리즘의 우수성을 보인다.

  • PDF

SAN 환경을 위한 효율적인 전역버퍼 관리 알고리즘 (IT-based Technology An Efficient Global Buffer Management ,algorithm for SAN Environments)

  • 이석재;박새미;송석일;유재수;이장선
    • 한국콘텐츠학회논문지
    • /
    • 제4권3호
    • /
    • pp.71-80
    • /
    • 2004
  • 분산파일시스템 환경에서는 디스크 접근 비용을 줄이기 위해 각 노드에 캐시된 데이터를 서로 공유하는 협력캐시 알고리즘이 사용된다. 협력캐시 알고리즘은 분산되어있는 시스템들의 캐시정보를 서로 공유하여 가상으로 더 큰 캐시를 형성함으로써 캐시 히트율을 높이고 디스크 접근을 줄이는 방법이다. 기존에 제안된 협력캐시 알고리즘들은 캐시에 대한 근사정보를 이용하여 메시지 비용을 줄이고, 로컬캐시영역과 글로벌캐시 영역을 가변적으로 사용하여 캐시 히트율을 높이고 있다. 또한 버퍼 교체 시 교체된 버퍼를 비활동적인 노드로 보내어 계속 캐시에 유지하도록 하여 전역 버퍼 히트율을 높이는 장점을 갖는다. 그러나 잘못된 근사정보가 성능을 저하시킬 수 있으며 일관성 유지를 위한 메시지교환 비용이 많이 든다는 단점을 갖고 있다. 또한 비활동적인 노드를 선정하기 위해 사용되는 각 노드의 에이지 정보 관리비용이 많이 드는 단점을 갖고 있다. 본 논문에서는 정확한 캐시정보를 유지하며 일관성 유지비용과 버퍼 에이지 정보 관리비용을 최소화시키는 협력캐시 알고리즘을 제안한다. 그리고 성능평가를 통해 기존의 협력캐시 알고리즘과 비교하여 제안하는 알고리즘의 우수성을 보인다.

  • PDF