초록
이 연구의 목적은 문학 분야의 서지적 온톨로지인 OCLC의 FictionFinder(http://fictionfinder.oclc.erg)를 질적으로 평가하려는 것이다. FictionFinder는 FRBR모델을 기반으로 기존 목록의 질을 향상시켜 더 많은 가치를 부가하기 위해서 만든 모델인데, 이에 이것이 실제로 전반적인 검색 시스템 성능에 어떻게 영향을 끼치는 가를 평가한 것이다. 이를 위하여 40명의 대학교 4학년 학생이 '생각을 종이에 적기 방법'을 이용하여 다음과 같은 세가지면을 평가하였다 어떻게 이 온톨로지가 도움이 되었는가? 처음에 도움이 되리라고 생각되었던 것들이 실제로 도움이 되던가? 어떤 한 군데를 보던 이용자들이 실제로 관련이 되는 다른 곳으로 이동해서 보던가? 그 결과 온톨로지 기반의 정보검색은 Cutter의 두 번째 원칙대로 의미 있게 묶어서 보여주니 이용자에게 부가가치를 주었으며 인터페이스의 유용성과 사용성을 높여주는 것으로 밝혀졌다. 또한 질적인 방법에 의한 시스템 평가는 시스템 개발 시 전체적인 그림 구축과 이용자의 요구 파악하는데 유용함을 알 수 있었다. 따라서 질적 평가도 정보검색시스템의 평가지표로서 활용될 수도 있을 것으로 본다.
With the purpose of enriching existing catalogues with FRBR, which is the Functional Requirements for Bibliographic Records, in mind, this paper aims to evaluate the impact of bibliographic ontology on the overall system's performance in the field of literature. In doing this, OCLC's FictionFinder(http://fictionfinder.oclc.org) was selected and qualitatively evaluated. In this study 40 university seniors evaluated the following three aspects using the 'transferring thoughts onto paper method': 1) In which ways is this FRBR-aware bibliographical ontology helpful? 2) Are the things which are initially attempted to be helped being helped? 3) Would users seeking one work in particular also see all other related works? In conclusion, this study revealed that, as Cutter claimed in his $2^{nd}$ rule of the library, collocations give added-value to the users and overall ontology provides better interface and usefulness. It also revealed that a system's evaluation with qualitative methodology helped to build full pictures of the system and to grip the information needs of the users when the system is developed. Qualitative evaluations, therefore, could be used as indicators for the evaluation of any information retrieval systems.