A Job Allocation Manager for Dynamic Remote Execution of Distributed Jobs in P2P Network

분산처리 작업의 동적 원격실행을 위한 P2P 기반 작업 할당 관리자

Advances in computer and network technology provide new computing environment that were only possible with supercomputers before. In order to provide the environment, a distributed runtime system has to be provided, but most of the conventional distributed runtime systems lack in providing dynamic and flexible system reconfiguration depending on workload variance, due to a static architecture of fixed master node and slave working nodes. This paper proposes and implements a new model for distributed job allocation and management which is a distributed runtime system is P2P environment for flexible and dynamic system reconfiguration. The implemented systems enables job program transfer and management, remote compile and execution among cooperative developers based on P2P standard protocol Jxta platform. Since it makes dynamic and flexible system reconfiguration possible, the proposed method has some advantages in that it can collect and utilize idle computing resources immediately at a needed time for distributed job processing. Moreover, the implemented system's effectiveness and performance increase are shown by applying and processing the crawler jobs, in a distributed way, for collecting a large amount of data needed for internet search.

컴퓨터와 네트워크 기술의 향상은 예전에는 슈퍼컴퓨터에서나 가능한 일을 분산 처리할 수 있는 환경적 기반을 제공한다. 분산 컴퓨팅 환경을 제공하기 위해서는 우선 분산 런타임 시스템이 구축되어야 하는데 기존의 전통적인 분산 런타임 시스템들은 대부분이 정적인 마스터 노드와 작업 노드들로 구성되는 구조를 갖기 때문에 분산처리 작업량의 변동에 따라 시스템을 유연하게 동적으로 재구성할 수 없다는 단점을 갖는다. 이에 본 논문에서는 P2P 환경에서의 분산 런타임 시스템인 작업 할당 관리자의 모델을 제시하고 구현하여 유연하고 동적인 시스템 구축이 가능하도록 하였다. 즉, P2P 표준 프로토콜인 JXTA 플랫폼 상에서 협업 환경을 위해 개발자들 간에 작업 프로그램의 전달과 관리, 그리고 원격 컴파일과 실행 작업들을 수행할 수 있도록 하였다 이 방식은 유연하고 동적인 시스템 구축이 가능하기 때문에 작업의 분산처리를 위해 필요한 유휴 자원들을 필요한 시점에 즉시 확보하여 활용할 수 있다는 장점을 가진다. 이와 더불어 인터넷 정보검색을 위해 방대한 데이터를 수집하는 크롤러를 본 논문에서 구현한 시스템을 이용하여 분산 처리시킴으로써 본 시스템의 유용성과 분산처리 성능을 보여 줄 수 있도록 하였다.