The Set Expansion System Using the Mutual Importance Measurement Method to Automatically Build up Named Entity Domain Dictionaries

영역별 개체명 사전 자동 구축을 위한 상호 중요도 계산 기법 기반의 집합 확장 시스템

Since Web pages contain a lot of information today, the Web becomes an important resource to extract some information. In this paper, we proposes a set expansion system which can automatically extract named entities from the Web. Overall, the proposed method consists of three steps. First of all, Web pages, which may include many named entities of a domain, are collected by using several seed words of the domain. Then some pattern rules are extracted by using seed words and the collected Web pages, and the named entity candidates are selected through applying the extracted pattern rules into Web pages. To distinguish real named entities, we develop the new mutual importance measurement method which estimates the importance of named entity candidates. We conducted experiments for 3 domains for Korean and for 8 domains for English. As a result, the proposed method obtained 78.72% MAP in Korean and 96.48% MAP in English. In particular, the performances of English domains are better than the results of the Google set.

오늘날 웹페이지(Web page)는 많은 정보를 포함하고 있다. 본 논문에서는 정보추출(information extraction) 등에서 유용하게 사용되는 개체명(named entity)을 웹(Web)을 이용하여 영역별로 자동으로 추출하는 집합 확장 시스템을 제안한다. 그 방식은 전체적으로 3단계의 구성을 가진다. 우선 사전을 구축하고자 하는 영역의 몇 개의 원소를 씨앗단어로 이용하여 웹페이지를 검색한다. 다음으로 검색되어진 웹페이지와 씨앗단어 정보를 이용하여 패턴 규칙을 추출한다. 추출된 패턴 규칙을 다시 웹페이지에 적용하여 개체명 후보들을 추출하고 최종적으로 추출된 후보들과 웹페이지 사이의 상호 중요도를 재귀적으로 계산하여 개체명 후보들에 대한 순위를 정하게 된다. 이 방식의 실험은 한국어와 영어로 나누어서 실험을 수행하였고, 한국어는 3개의 영역에서, 영어는 8개의 영역에서 실험을 진행하였다. 그 결과, 한국어에서는 78.72%의 MAP를 얻을 수 있었고, 영어에서는 96.48%의 MAP를 얻었다. 특히, 영어 개체명 인식에서의 성능은 구글에서 제공하고 있는 구글셋의 결과보다도 높은 성능을 보였다.