한국정보과학회논문지:데이타베이스 (Journal of KIISE:Databases)

한국정보과학회 (Korean Institute of Information Scientists and Engineers)
권호 표지

블로그 서비스 시스템을 위한 효과적인 중복문서의 검출 기법

An Efficient Method for Detecting Duplicated Documents in a Blog Service System

  • 이상철 (한양대학교 전자컴퓨터통신공학) ;
  • 이순행 (한양대학교 전자컴퓨터통신공학) ;
  • 김상욱 (한양대학교 전자컴퓨터통신공학)
  • 발행 : 2010.02.15
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

블로그 서비스 시스템에 존재하는 중복문서는 블로그 검색의 서비스 질과 성능을 저하시키는 요인 중 하나이다. 기존의 웹 페이지 환경에서와는 달리, 블로그 서비스 시스템에서는 각 문서의 생성이 매번 보고되기 때문에 문서 생성 시점에 중복 판정이 가능하다. 본 논문에서는 이 점에 착안하여 문서를 저장하는 시점에 해당 문서의 중복 여부를 판정하는 새로운 중복문서 검출 기법을 제안한다. 제안된 기법을 통하여 검출된 중복문서는 검색 엔진을 위한 인덱싱에 반영시키지 않음으로써 중복문서가 검색 결과에 반영되는 문제를 원천적으로 방지할 수 있다. 또한, 효과적인 중복문서 검출을 위하여 3가지 인덱싱 기법을 제안하며, 실제 블로그 데이터를 이용하여 각 인덱싱 기법 중 가장 효율적인 기법을 보인다.

Duplicate documents in blog service system are one of causes that deteriorate both of the quality and the performance of blog searches. Unlike the WWW environment, the creation of documents is reported every time in blog service system, which makes it possible to identify the original document from its duplicate documents. Based on this observation, this paper proposes a novel method for detecting duplication documents in blog service system. This method determines whether a document is original or not at the time it is stored in the blog service system. As a result, it solves the problem of duplicate documents retrieved in the search result by keeping those documents from being stored in the index for the blog search engine. This paper also proposes three indexing methods that preserve an accuracy of previous work, Min-hashing. We show most effective indexing method via extensive experiments using real-life blog data.

키워드

참고문헌

  1. A. Broder et al., "Syntactic Clustering of the Web," In Proc. Int'l. Web Wide World Wide Web Conference, WWW, pp.391-404, 1997.
  2. A. Broder, "Identifying and Filtering Near-Duplicate Documents," In Proc. Int'l. Symp. on Combinatorial Pattern Matching, CPM, pp.1-10, 2000.
  3. M. Henzinger, "Finding Near-Duplicate Web Pages: A Large-Scale Evaluation of Algorithms," In Proc. ACM Int'l. Conf. on Information Retrieval, SIGIR, pp.284-291, 2006.
  4. SK Communications, http://www.egloos.com.
  5. Jong Wook Kim, K. Selcuk Candan, and Junichi Tatemura, "Efficient Overlap and Content Reuse Detection in Blogs and Online News Articles," In Proc. Int'l. World Wide Web Conference, WWW, pp.81-90, 2009.
  6. A. Broder, "Identifying and Filtering Near-Duplicate Documents," In Proc. Int'l. Symp. on Combinatorial Pattern Matching, CPM, pp.1-10, 2000.
  7. M. Rabin, "Fingerprinting by Random Polynomials," Technical Report TR-CSE-03-01, Harvard University, 1981.
  8. A. Broder et al., "Min-Wise Independent Permutations," Journal of Computer and System Sciences, vol.60, no.3, pp.630-659, 2000.
  9. N. Beckmann et al., "The R*-tree: An Efficient and Robust Access Method for Points and Rectangles," In Proc. ACM Int'l. Conf. on Management of Data, SIGMOD, pp.322-331, 1990