• Proceedings of the Korean Information Science Society Conference
• /
• 2010.06b
• /
• pp.39-42
• /
• 2010

본 논문에서는 주제별 분류기반의 개인화 검색시스템의 평가를 위해서 기존의 한글 정보 검색시스템 평가를 위해서 사용하는 한글 테스트 컬렉션(HANTEC v2.0)을 사용하였다. 주제별 분류기반의 개인화 검색 시스템의 평가를 위해서 첫째, 한글 테스트 컬렉션을 한국일보-40075 문서분류 테스트 컬렉션을 이용하여 주제별 분류를 수행 하였다. 둘째, 한국일보-40075 문서분류 테스트 컬렉션의 분류 체계에 다라 한글 테스트 컬렉션의 문서들을 kNN 분류기를 이용하여 분류를 수행하였다. 마지막으로 구축된 컬렉션을 이용하여 주제별 분류기반의 개인화 검색시스템의 성능 평가를 수행하였다.

• Annual Conference on Human and Language Technology
• /
• 1999.10d
• /
• pp.89-91
• /
• 1999

이 논문은 한국어 정보검색 시스템 "미리내"의 내부 모듈인 색인어 추출 시스템의 성능 평가에 관한 내용이다. 성능 평가를 위해서 99년 ETRI에서 실시한 "형태소분석기 및 태거 비교 분석대회(MATEC99)"의 시험어절을 사용하였다. 정보검색 시스템 "미리내"는 한국어 정보검색을 위해 부산대학교에서 개발한 시스템이다. 한국어 형태소분석 및 태거 대회(MATEC99)를 위해 미리내 검색엔진의 색인어 추출 모듈을 일부 수정하여 명사를 추출하였다. 명사추출기이든 형태소분석기이든 응용프로그램의 특성에 맞춰져서 동작한다. 정보검색의 하위 모듈인 색인어 추출 시스템은 정보검색을 위해 변형된 결과를 출력하므로 성능 비교를 위해 일부 모듈의 수정이 불가피하였다. ETRI에서 실시한 MATEC99는 지금까지 객관적인 평가 기준이 없었던 한국어 형태소분석기, 태거, 명사추출기의 표준화에 중요한 역할을 하였다.

• Journal of the Korean Society for information Management
• /
• v.14 no.2
• /
• pp.123-141
• /
• 1997

This study examined the extent to which variations in relevance assessments affect the evaluation of the performance of full-text retrieval system. Four sets of relevance judgments obtained by examining the full-text of documents were used to test the retrieval effectiveness. There was no noticeable difference in retrieval performance among the four relevance judgment sets. It implies that a variety of definitions of relevance has no effect on the evaluation of the performance of the full-text retrieval system. Furth r retrieval experiments on this topic incorporating relevance feedback, which is one of the sophisticated retrieval techniques using relevance information, are suggested.

• Annual Conference on Human and Language Technology
• /
• 2007.10a
• /
• pp.62-67
• /
• 2007

불특정 사용자의 참여에 의해 정보가 생성되는 지식검색 서비스에서는 문서의 품질이 검색 만족도에 중요한 요소 중 하나이다. 지식검색 문서의 품질 평가에 관한 기존 연구는 조회 수나 추천 수 등의 비텍스트 정보를 이용하여 문서의 품질을 평가하고, 이를 검색 모형에 반영하여 검색 성능을 높이는데 집중하였다. 이러한 비텍스트 정보는 그 유용성이 실험을 통해 증명되었지만, 새로 작성된 문서와 같은 경우 심각한 자료 부족 문제가 발생할 수 있다는 단점이 있다. 본 논문에서는 이러한 비텍스트 정보의 자료 부족 문제를 완화할 수 있는 새로운 문서 품질 평가 자질로서 문서 내용의 신뢰성을 반영하는 신뢰도 자질을 제안한다. 제안하는 자질은 문서의 내용으로부터 직접 추출되며, 따라서 추천 수나 조회 수 등 서비스 사용자의 참여나 이용을 필요로 하는 비텍스트 자질보다 자료 부족 문제에 견고하다는 장점이 있다. 또한 제안하는 신뢰도 자질은 문서 품질 평가에 유용하다고 알려진 비텍스트 자질과 유사하거나 향상된 성능을 실험에서 보였으며, 추후 자질 추출 방법을 개선한다면 효과적인 품질 평가 자질로서 기능을 할 수 있을 것으로 기대된다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2003.11c
• /
• pp.1617-1620
• /
• 2003

본 논문은 사용자 질의가 가지는 특정 클래스로부터 개념적으로 서로 연관있는 컴포넌트를 검색하기 위하여 퍼지 시소러스를 통한 질의 평가 방법을 이용하였다. 시소러스에 의한 사용자 질의 확장과정은 용어 불일치 문제를 해결함으로써 검색에 대한 일정한 정확도를 보장하면서 재현율을 향상시킬 수 있게 한다. 필의 확장과정의 효율성을 평가하기 위하여 시뮬레이션을 통한 최적의 검색 효율을 나타내는 임계치를 설정하고 재현율과 정확도를 비교하였다.

• Journal of Korean Library and Information Science Society
• /
• v.42 no.4
• /
• pp.263-280
• /
• 2011

This study aims to investigate current status of mobile search services of Korean search portals, and analyze mobile unified search contents of Naver and Google Korea. In particular, this study analyzed characteristics of mobile unified search such as number of retrieved documents, collection distribution, and yearly distribution. Also, documents were evaluated in terms of relevance, credibility, and currency. This study compared quality of Naver's unified Web best and unified Web, and Google's best Web documents and Web documents. The correlation between document's ranking and document's relevance was analyzed. The results of this study can be implemented to the portal's effective development of mobile search service.

• Journal of the Korea Computer Industry Society
• /
• v.2 no.11
• /
• pp.1427-1438
• /
• 2001

We design the evaluation factors to represent the relevance distribution information between a query and sources and proposes the scheme to get relevance distribution information based on evaluation factors. Then it is developed that the organization is able to classify the best source toward query, and shown the algorithms that is able to select the best source toward users query, it is developed algorithms that is decided ranking and mering these, after choose the best source to evaluate a query, Finally, it merges the result from the source, and present them to the user to the issued query. This paper also develops the scheme to classify the best sources for query and presents the selection algorithm of the best information sources. Finally the ranking and merging Federated Retrieval System is presented.

• Journal of the Korean Society for information Management
• /
• v.24 no.3
• /
• pp.343-362
• /
• 2007

The purpose of this study is to design and implement an ontology-based retrieval system for the electronic records of universities and to compare its performance with the existing keyword-based retrieval system. We used OntoStudio 1.4 for implementing an ontology-based retrieval system, and the test collection consisted of the following: (1) 5,099 electronic records of the 'personnel management notification' created by Korea Maritime University, (2) 20 topics (10 short-topics and 10 long-topics), and (3) the relevant assessments were conducted by the group of human experts. 10 university staff participated in the experiment of keyword-based searching and used the same test collection as used in the experiment of ontology-based searching. The ontology-based retrieval system outperformed to the keyword-based retrieval system in terms of Recall and Precision, and the same results showed in the test of the short-topics and long-topics comparison.

• Journal of the Korean Society for Library and Information Science
• /
• v.50 no.1
• /
• pp.417-435
• /
• 2016

Relevance judgment is important in terms of improving the effectiveness of information retrieval systems, and it has been dominant for users to search and use images utilizing internet and digital technologies. However, in the field of image retrieval, there have been only a few studies in terms of identifying relevance criteria. The purpose of this study aims to identify and characterize the non-relevance criteria from the failed image searches. In order to achieve the purpose of this study, a total of 135 participants were recruited and a total of 1,452 criteria items were collected for this study. Analyses and identification on the data set found thirteen criteria such as 'topicality', 'visual content', 'accuracy', 'visual feature', 'completeness', 'appeal to user', 'focal point', 'bibliographic information', 'impression', 'posture', 'face feature', 'novelty', and 'time frame'. Among these criteria, 'visual content' and 'focal point' were introduced in this current study, while 'action' criterion identified in previous studies was not shown in this current study. When image needs and image uses are analyzed with these criteria, there are distinctive differences depending on different image needs and uses.

• The Korean Journal of Archival Studies
• /
• no.37
• /
• pp.273-305
• /
• 2013

In order to actively use of records and information in current digital record management systems, we have to check whether a system is designed to fully support the user of records and whether the good use of the system is being. This study analyzed the status of the use of the search function of Records Management System(RMS) for public agencies, and evaluated them. In order to investigate the status of the use of the search function, it surveyed records managers of public agencies using the RMS. The result showed that records managers unsatisfied with the usability and the search performance of the RMS. To evaluate the search function, it identified the functional requirement of the system and develops a checklist that can be used for evaluation. Two assessments were conducted. Firstly, as pre-evaluation, it assessed the degree of implementation of the current RMS according to the checklist as an inspection chart using document examination method. Secondly, it assessed the degree of implementation using a survey of records managers of public agencies that use the RMS. Assessment results show the improvement of the basic features that are essential to the system is required. In particular, the search function is required to improve user-friendliness for the user. For the advance of RMS, this study discusses the necessity for improvement of the search functions, the build of continuous maintenance and management system, and the user education.