Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))

  • 2000.10d
  • /
  • Pages.190-197
  • /
  • 2000
  • /
  • 2005-3053(pISSN)
Human and Language Technology (한국정보과학회 언어공학연구회)
권호 표지

Construction of Test Collection for Evaluation of Question Answering System

질의응답시스템의 성능 평가를 위한 테스트컬렉션 구축

  • 이경순 (전문용어언어공학연구센터, 첨단정보기술연구센터, 한국과학기술원) ;
  • 김재호 (전문용어언어공학연구센터, 첨단정보기술연구센터, 한국과학기술원) ;
  • 최기선 (전문용어언어공학연구센터, 첨단정보기술연구센터, 한국과학기술원)
  • Published : 2000.10.13
Download PDF
⟨ Previous Next ⟩

Abstract

본 연구에서는 사용자의 질의에 대해 대답을 제시하는 질의응답시스템의 평가를 위한 테스트컬렉션을 구축하였다. 질의응답시스템 평가를 위한 테스트컬렉션은 207,067개의 문서, 90개의 질의, 각 질의에 대한 적합성 판정 집합으로 구성되어 있다. 문서집합은 신문기사로 SGML 형식으로 가공되었고, 질의는 다양한 유형의 질의와 변형질의를 포함한다. 적합성 판정 집합은 각 질의에 대해서 문서에 대답을 포함하는지의 여부에 따라 적합/부적합으로 판정하였고, 적합한 문서에 대해서는 대답을 표시하였다. 본 연구를 통해 구축된 질의응답시스템 평가를 위한 테스트컬렉션은 질의응답시스템의 객관적인 신뢰성 평가를 위한 기반을 마련하였다.

Keywords