Hierarchical Organization of Neural Agents for Distributed Information Retrieval

분산 정보 검색을 위한 신경망 에이전트의 계층적 구성

Since documents on the Web are naturally partitioned into many document databases, the efficient information retrieval (IR) process requires identifying the document databases that are most likely to provide relevant documents to the query and then querying the identified document databases. We first introduce a neural net agent for such an efficient IR, and then propose the hierarchically organized multi-agent IR system in order to scale our agent with the large number of document databases. In this system, the hierarchical organization of neural net agents reduced the total training cost at an acceptable level without degrading the IR effectiveness in terms of precision and recall. In the experiment, we introduce two neural net IR systems based on single agent approach and multi-agent approach respectively, and evaluate the performance of those systems by comparing their experimental results to those of the conventional statistical systems.

웹과 같은 분산 정보 검색 환경에서 문서들은 많은 문서 데이터베이스들에 자연스럽게 분할되어서 존재한다. 그러므로 이러한 문서들의 효율적인 검색을 위해서는 먼저 질의에 관련되는 문서들을 제공할 것으로 판단되는 문서 데이터베이스를 찾아내고 다음으로 그 문서 데이터베이스에 질의를 줌으로써 분산 정보 검색을 수행해야 한다. 본 논문에서는 이러한 분산 정보 검색을 위한 신경망 에이전트를 소개하고, 확장성을 가지게 하기 위하여 신경망 에이전트들이 계층적으로 구성된 다중신경망 에이전트 시스템을 제안한다. 신경망 에이전트들의 계층적 구성은 정보 검색 성능을 저하시키지 않으면서도 각 신경망 에이전트의 학습을 위한 전체 훈련 비용을 허용할 만한 범위 내에서 유지시켜 주므로 대규모 문서 데이터베이스 환경에서의 분산 정보 검색에도 신경망 에이전트를 적용할 수 있게 해준다. 제안된 신경망 에이전트를 단일 에이전트와 계층적 다중 에이전트 시스템으로 실현 환경에서 구현하여 각각의 정보 검색 성능을 기존의 통계적 분산 정보 검색 기법을 사용했을 때와 비교함으로써 신경망 에이전트의 유용성을 예증한다.