• 디지털산업정보학회논문지
• /
• 제10권3호
• /
• pp.35-40
• /
• 2014

Many researches have been conducted to achieve improvement in distributed system that connects multiple computer systems via communication lines. Among others, the load balancing and file migration are considered to have significant impact on the performance of distributed system. The dynamic file migration algorithm common in distributed processing system involved complex calculations of decision function necessary for file migration and required migration of control messages for the performance of decision function. However, the performance of this decision function puts significant computational strain on computer. As one single network is shared by all computers, more computers connected to network means migration of more control messages from file migration, causing the network to trigger bottleneck in distributed processing system. Therefore, it has become imperative to carry out the research that aims to reduce the number of control messages that will be migrated. In this study, the learning automata was used for file migration which would requires only the file reference-related information to determine whether file migration has been made or determine the time and site of file migration, depending on the file conditions, thus reflecting the status of current system well and eliminating the message transfer and additional calculation overhead for file migration. Moreover, mathematical model for file migration was described in order to verify the proposed model. The results from mathematical model and simulation model suggest that the proposed model is well-suited to the distributed system.

• 디지털콘텐츠학회 논문지
• /
• 제16권2호
• /
• pp.299-306
• /
• 2015

본 논문에서는, 분산 파일 시스템을 기반으로 하는 NoSQL의 데이터 안정성 확보를 연구하였다. 본 논문의 궁극적 목표인 분산 파일 시스템 기반의 NoSQL을 구현하는 과정에서 분산 파일 시스템의 제약 조건인 랜덤 쓰기 문제에 봉착했고, 이 문제의 해결을 위해 중간파일의 개념을 사용함으로써 어떠한 장애 상황에서도 데이터의 오염을 방지할 수 있었다. 또한 중간파일을 쓰는 과정에서 기존 파일 시스템에 비해 분산 파일 시스템이 가지는 성능적 열세를 인식하여, NoSQL을 위한 파일 블록 단위를 다시 정의하는 방법으로 성능적 손실을 크게 줄였다. 결과적으로, 본 논문에서는 보편적 분산 파일 시스템의 확장성을 가진 NoSQL을 개발함과 동시에 원자성, 일관성, 고립성, 성능 등의 조건을 만족하는 트랜잭션 관리 기법을 사용함으로써 데이터 안정성을 가지면서 실용적 사용에도 무리가 없는 NoSQL을 구현하였다.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제7권11호
• /
• pp.275-280
• /
• 2018

클라우드 환경에서 빅데이터 적재와 이후 애플리케이션을 통한 고속 처리를 위해서는 적합한 분산 파일 시스템의 선택이 요구된다. 본 논문에서는 GlusterFS 기반 쓰기 성능 향상 방법을 제안하고 클라우드 환경에서 기존 분산 파일 시스템 중 MapRFS, CephFS, GlusterFS와 성능을 비교 평가한다. 본 논문에서 제안한 쓰기 성능 향상 방법은 동기식 스토리지 복제 방식에서 사용하는 동기화 수준을 디스크에서 메모리로 변경함으로써 응답 시간을 향상 시킨다. 실험 결과는 본 논문의 제안 방법이 적용된 분산 파일 시스템이 순차 쓰기의 경우와 랜덤 쓰기와 랜덤 읽기가 혼합된 경우에서 다른 분산 파일 시스템 대비 성능이 우수함을 보인다.

• 산업경영시스템학회지
• /
• 제18권33호
• /
• pp.1-10
• /
• 1995

The allocation of files is essential to the efficiency and effectiveness of a distributed system that must meet geographically dispersed data processing demands. In this paper, we address an optimization model that generates optimal file migration policies in distributed database systems. The proposed model is a more generalized model that includes system's capacity constraints - computing sites' storage capacity and communication networks' capacity - which have not taken into consideration in previous researches. Using this model, we can establish initial file allocation, file reallocation and file migration polices that minimize a system operating cost under system's capacity constraints at an initial system design or reorganization point The proposed model not only can be adopted by small-sized systems but also provides a foundation for effective and simple heuristics for adaptive file migration in large systems.

• 한국항행학회논문지
• /
• 제18권4호
• /
• pp.401-408
• /
• 2014

하둡(Hadoop)은 맵리듀스(MapReduce) 분산처리 프로그래밍 모델과 HDFS(Hadoop distributed file system) 분산 파일시스템으로 구성된다. 하둡은 빅데이터 처리에 적합한 프레임워크로서, 대량의 스몰파일 처리에 문제점이 있다. 하둡에서 대량의 스몰파일 처리는 하나의 파일마다 매퍼가 생성되며, 파일의 메타정보를 저장하기 위해 많은 메모리가 필요한 문제점이 있다. 본 논문은 하둡 플랫폼에서 다양한 방법으로 대량의 스몰파일 처리방법을 비교 검토하였다. 일반 압축은 데이터의 크기와 상관없이 하나의 매퍼로 처리해야 하기 때문에, 하둡 처리 포맷으로 적절하지 않다. 시퀀스 와 하둡 아카이브 파일의 처리는 스몰파일을 압축 및 병합을 통해 네임노드의 메모리 문제가 제거되었다. 하둡 아카이브 파일은 스몰파일의 병합시간이 시퀀스 파일보다 빠른 속도를 보였다. CombineFileInputFormat 클래스를 이용한 처리는 병합과정이 필요 없으며, 빅데이터 처리방법과 유사한 속도를 보였다.

• 산업경영시스템학회지
• /
• 제19권40호
• /
• pp.169-178
• /
• 1996

Geographically dispersed computing system is made of computers interconnected by a telecommunications network. To make the system operated efficiently, system designer must determine the allocation of data files to each node. In designing such distributed computing system, the most important issue is the determination of the numbers and the locations where database files are allocated. This is commonly referred to as the file allocation problem (FAP)[3]. The proposed model is a 0/l integer programming problem minimizing the sum of file storage costs and communication(query and update) costs. File allocation problem belongs to the class of NP-Complete problems. Because of the complexity, it is hard to solve. So, this paper presents an efficient heuristic algorithm to solve the file allocation problem using Tabu Search Technique. By comparing the optimal solutions with the heuristic solutions, it is believed that the proposed heuristic algorithm gives good solutions. Through the experimentation of various starting points and tabu restrictions, this paper presents fast and efficient method to solve the file allocation problem in the distributed computing system.

• 한국시뮬레이션학회논문지
• /
• 제17권4호
• /
• pp.229-239
• /
• 2008

분산 파일 시스템(DFS)은 분산 환경에서 장애와 사본에 대한 투명성을 보장하며 파일을 다수의 물리적인 컴퓨터 노드들에게 저장할 수 있는 메카니즘을 제공한다. 검색엔진, 그리드 컴퓨팅, 데이터 마이닝 어플리케이션등과 같이 많은 양의 데이터를 처리하는 어플리케이션들은 데이터 저장을 위한 백엔드 인프라 구조를 제공할 필요가 있다. 분산 파일 시스템은 이러한 저장 데이터 기반을 위한 주요 구성요소가 된다. 많은 프로젝트의 관심사가 되는 네트워크 컴퓨팅은 이와 같이 설계 및 구현된 분산파일 시스템을 갖추고 있으며, 다양한 아키텍처와 기능들을 시스템의 특성에 따라서 제공하고 있다. 이 논문에서는 대용량의 검색 지향적인 시스템에서 사용되는 SOFA 분산 파일 시스템, 메카니즘들과 성능들을 소개한다.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제3권12호
• /
• pp.433-442
• /
• 2014

분산 파일시스템의 클라이언트 측에 SSD 장치를 캐시 장치로 사용하여 분산 파일시스템의 읽기 성능을 향상시키고, Back-end 데이터 서버의 부하를 줄일 수 있다. 이러한 성능 향상을 통하여 기존의 대용량 스토리지 지원만이 가능했던 분산 파일시스템의 적용 분야를 고성능이 필요한 분야로 확장할 수 있다. 본 논문은 국내에서 개발된 분산 파일시스템인 MAHA-FS에 클라이언트 측의 SSD 캐시를 적용하여 가상 데스트톱의 입출력 성능을 향상시킬 수 있음을 보여준다. 실험 결과 NFS에 비해 가상 머신 이미지 배포 시간은 2배 이상, 부팅 시간은 3배 이상 향상시킬 수 있음을 알 수 있다.

• 디지털산업정보학회논문지
• /
• 제13권4호
• /
• pp.153-162
• /
• 2017

Advances in communication technologies and the decreasing cost of computers have made distributed computer systems an attractive alternative for satisfying the information needs of large organizations. This paper presents a distributed algorithm for performance improvement through load balancing and file migration in distributed systems. We employed a sender initiated strategy for task migration and used learning automata with several internal states for file migration. A task can be migrated according to the load information of a computer. A file is migrated to the destination processor when it is in the right boundary state. We also described an analytical model for load balancing with file migration to verify the proposed algorithm. Analytical and simulation results show that our algorithm is very well-suited for distributed system environments.

• 한국인터넷방송통신학회논문지
• /
• 제23권1호
• /
• pp.77-82
• /
• 2023

최근 렌더링을 위한 플랫폼으로 멀티 클라우드 환경이 주목받고 있다. 이는 렌더링의 연산량이 시간에 따라 변동 폭이 큰 반면 각 렌더링 작업은 독립적으로 수행될 수 있기 때문이다. 그러나, 멀티 클라우드 렌더링은 대용량의 렌더링 입력 데이터에 대한 일관성을 유지하면서 실시간으로 데이터를 전송해야 하는 어려운 점이 존재한다. 본 논문에서는 멀티 클라우드 렌더링을 위한 새로운 분산 파일 시스템을 개발하였다. 개발된 파일 시스템은 로컬 머신에 파일 서버를 두어 렌더링 입력 파일에 대한 버전을 관리하고, 클라우드에 캐쉬 관리자를 두어 파일의 버전을 고려한 분산 협력 캐슁을 수행한다. 렌더링 워크로드를 이용한 실측 실험을 통해 개발된 파일 시스템이 NFS 대비 745%의 I/O 처리율을 나타내는 것을 확인했으며, 업로드 방식과 비교할 때 평균 56%의 실행시간 개선이 있는 것으로 확인되었다.