Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))
- 2001.10d
- /
- Pages.397-404
- /
- 2001
- /
- 2005-3053(pISSN)
KorQATeC2.0: Construction of Test Collection for Evaluation of Question Answering System
KorQATeC2.0: 질의/응답 시스템의 성능 평가를 위한 평가집합 구축
- Kim, Jae-Ho (KORTERM, AITRC, KAIST) ;
-
Lee, Kyung-Soon
(KORTERM, AITRC, KAIST)
;
- Oh, Jong-Hoon (KORTERM, AITRC, KAIST) ;
- Chang, Du-Seong (KORTERM, AITRC, KAIST) ;
- Choi, Key-Sun (KORTERM, AITRC, KAIST)
- 김재호 (전문용어언어공학연구센터, 첨단정보기술연구센터, 한국과학기술원) ;
-
이경순
(전문용어언어공학연구센터, 첨단정보기술연구센터, 한국과학기술원)
;
- 오종훈 (전문용어언어공학연구센터, 첨단정보기술연구센터, 한국과학기술원) ;
- 장두성 (전문용어언어공학연구센터, 첨단정보기술연구센터, 한국과학기술원) ;
- 최기선 (전문용어언어공학연구센터, 첨단정보기술연구센터, 한국과학기술원)
- Published : 2001.10.12
Abstract
본 논문에서는 질의/응답 시스템의 평가를 위해 구축된 평가집합 (Korean Question Answering Test Collection 2.0: KorQATeC2.0)에 대하여 기술한다. KorQATeC2.0은 총 120개의 질의와 207,067개의 문서로 구성되어 있으며, 120개의 질의는 질의에 대한 정답을 제시하는 방식에 따라 기본 과제 질의, 나열 과제 질의, 문맥 과제 질의, 요약 과제 질의로 나누어진다. 또한 KorQATeCl.0과는 달리 여러 문서를 참조하여 정답을 구성하는 질의와 문서집합에 정답이 존재하지 않는 질의를 포함시킴으로써 질의/응답 시스템의 평가를 다양하게 할 수 있도록 하였다. 본 논문에서 기술하는 평가집합은 질의/응답 시스템의 객관적 평가를 가능하게 한다는 점에서 그 의의가 있다.
Keywords