Design and Implementation of a Globus-based Distributed Web Crawler Manager on Grid Environment

글로버스 기반 그리드 환경에서의 분산 웹 크롤러 매니저 설계 및 구현

  • Kim, Hyuk-Ho (Dept. of Information & Communication Engineering, Dongguk University) ;
  • Lee, Seung-Ha (Dept. of Information & Communication Engineering, Dongguk University) ;
  • Park, Chan-Ho (Dept. of Information & Communication Engineering, Dongguk University) ;
  • Kim, Yang-Woo (Dept. of Information & Communication Engineering, Dongguk University) ;
  • Lee, Phil-Woo (KISTI)
  • 김혁호 (동국대학교 대학원 정보통신공학과) ;
  • 이승하 (동국대학교 대학원 정보통신공학과) ;
  • 박찬호 (동국대학교 대학원 정보통신공학과) ;
  • 김양우 (동국대학교 대학원 정보통신공학과) ;
  • 이필우 (한국과학기술정보연구원)
  • Published : 2005.05.13

Abstract

그리드 정보검색 시스템은 일반적인 정보검색 시스템의 문제점과 한계점을 인식하고, 그리드라는 분산처리 환경을 기반으로 정보검색 시스템을 구축함으로써 보다 효율적이고 유연한 확장성을 갖는 정보검색 서비스를 제공한다. 본 논문에서는 그리드 시스템 환경에 맞게 그리드 미들웨어 중에 하나인 글로버스 툴킷(Globus Toolkit)을 이용하여 정보검색을 위한 가상 조직(VO: Virtual Organization)을 구성했다. 그리고 그리드 정보검색을 위한 전단계로 웹상에서 각종 정보를 수집하는 P2P 기반 분산 크롤러들을 관리하는 크롤러 매니저를 그리드 서비스로 설계 및 구현하여 그리드 정보검색 시스템에 존재하는 다른 서비스들과 함께 활용할 수 있도록 하였다.

Keywords