한국정보과학회:학술대회논문집 (Proceedings of the Korean Information Science Society Conference)

한국정보과학회 (Korean Institute of Information Scientists and Engineers)
권호 표지

사이트 기반의 URL 정규화 평가

Evaluating Site-based URL Normalization

  • 정효숙 (숭실대학교 대학원 컴퓨터학과) ;
  • 김성진 (서울대학교 전기컴퓨터공학부) ;
  • 이상호 (숭실대학교 컴퓨터학부)
  • Jeong, Hyo-Sook (Department of Computing Graduate School, Soongsil University) ;
  • Kim, Sung-Jin (School of Computer Science and Engineering, Seoul National University) ;
  • Lee, Sang-Ho (School of Computing, Soongsil University)
  • 발행 : 2005.11.01
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

URL 정규화는 다양하게 표현된 동일 URL들을 하나의 통일된(cannonical) 형태의 URL로 변환하는 과정이다. 동일문서에 대한 중복된 URL 표현은 URL 정규화를 통하여 제거된다. 표준 정규화는 잘못된 긍정(동일하지 않는 URL들을 동일 문자열로 변환)이 없도록 개발되었다. 그러나 표준 정규화는 많은 잘못된 부정이 발생하게 되므로, 잘못된 긍정을 일부 허용하면서 잘못된 부정을 현격히 줄일 수 있는 확장 정규화가 제기되고 연구되어 왔다. 본 논문에서는 동일 사이트 내의 URL들에 대한 확장 정규화의 적용 결과가 유사한 정도를 보임으로써, 한 사이트 내의 URL에 대한 임의의 확장 정규화 결과 정보가 동일 사이트 내의 다른 URL들의 정규화에 효과적으로 사용될 수 있음을 보인다. 이를 위하여, 한 사이트의 확장 정규화 결과 동일성 척도와 사이트 기반의 확장 정규화 평가 척도를 제안한다. 20,000만개의 실제 국내 웹 사이트에서 추출된 25만개의 URL에 대해 6가지 확장 정규화가 평가된다.

키워드