Proceedings of the Korean Institute of Intelligent Systems Conference (한국지능시스템학회:학술대회논문집)

Korean Institute of Intelligent Systems (한국지능시스템학회)
권호 표지

A Method of Selective Crawling for Web Document Using URL Pattern

URL 패턴을 이용한 웹문서의 선택적 자동수집 방안

  • 정준영 (서경대학교 소프트웨어학과) ;
  • 장문수 (서경대학교 소프트웨어학과)
  • Published : 2007.11.02
Download PDF
⟨ Previous Next ⟩

Abstract

특정 분야별로 구축되는 온톨로지에 관하여 그 언스턴스를 쉽고 빠르게 구축하기 위해서는 구조화된 문서를 이용하는 것이 효율적이다. 그러나, 일반적인 웹 문서는 모든 분야에 대하여 다양한 형식으로 표현되어 존재하기 때문에, 대상이 되는 구조 문서를 자동으로 수집하기는 쉽지 않다. 본 논문에서는 웹사이트의 URL 패턴을 XML 기반의 스크립트로 정의하여, 필요한 웹 문서만을 지능적으로 수집하는 방안을 제안한다. 제안하는 수집 방안은 구조화된 형태로 정보를 제공하는 사이트에 대해서 매우 빠르고 효율적으로 적용될 수 있다. 본 논문에서는 제안하는 방법을 적용하여 5만개 이상의 웹 문서를 수집하였다.

Keywords