웹 탐색 성능 향상을 위한 강화학습 이용과 기준 페이지 선택 기법

The Use of Reinforcement Learning and The Reference Page Selection Method to improve Web Spidering Performance

웹의 세계는 하루가 다르게 확장되고 있다. 이에 따라, 지능형 정보추출 기능이 없다면 우리는 넘쳐나는 데이터 앞에서 더욱 무기력해 질 수밖에 없다. 범용 탐색 엔진을 위한 기존의 웹 검색 기법은 특정 영역이나 특정 키워드에만 집중해야하는 특정 검색 엔진에는 너무 느린 경향이 있다. 본 논문에서는 웹 검색 능력을 개선하는 새 모델을 제시하고 실험하였다. 특정 영역과 관련된 초기의 관련 웹 페이지 집합에서 적절한 웹 페이지들을 선택하는 문제는 웹 검색 속도를 향상시키기 위해 매우 중요할 수 있다. 기준 웹 페이지 선택 기법 DOPS는 선택된 웹 페이지들이 가능한 한 직교성을 갖도록 동적으로 웹 페이지를 선택한다. 또한 새로 정의된 메져를 이용하여 적합한 기준 페이지들의 수도 결정해줄 수 있다. 매우 특화된 영역에 대한 실험을 통해서도, 본 방법은 거의 전문가 수준에 가까이 동작하였다. 전문가들이 초대형 초기 페이지 집합에 대해 일할 수 없다는 점과 그들도 기준 페이지 수의 최적치를 결정하기에 어려움을 느낀 다는 점을 고려하면, 본 방법은 매우 유망하다 할 수 있다. 또한 웹 환경에 강화학습도 적용하도록 하였고, DOPS에 기반을 둔 강화학습 실험을 통해 본 방법이 하이퍼링크 수나 시간 면에서 매우 양호한 결과를 보임을 알 수 있었다.

The web world is getting so huge and untractable that without an intelligent information extractor we would get more and more helpless. Conventional web spidering techniques for general purpose search engine may be too slow for the specific search engines, which concentrate only on specific areas or keywords. In this paper a new model for improving web spidering capabilities is suggested and experimented. How to select adequate reference web pages from the initial web Page set relevant to a given specific area (or keywords) can be very important to reduce the spidering speed. Our reference web page selection method DOPS dynamically and orthogonally selects web pages, and it can also decide the appropriate number of reference pages, using a newly defined measure. Even for a very specific area, this method worked comparably well almost at the level of experts. If we consider that experts cannot work on a huge initial page set, and they still have difficulty in deciding the optimal number of the reference web pages, this method seems to be very promising. We also applied reinforcement learning to web environment, and DOPS-based reinforcement learning experiments shows that our method works quite favorably in terms of both the number of hyper links and time.