• Proceedings of the Korean Society for Cognitive Science Conference
• /
• 2000.06a
• /
• pp.190-197
• /
• 2000

본 연구에서는 사용자의 질의에 대해 대답을 제시하는 질의응답시스템의 평가를 위한 테스트컬렉션을 구축하였다. 질의응답시스템 평가를 위한 테스트컬렉션은 207,067개의 문서, 90개의 질의, 각 질의에 대한 적합성 판정 집합으로 구성되어 있다. 문서집합은 신문기사로 SGML형식으로 가공되었고, 질의는 다양한 유형의 질의와 변형질의를 포함한다. 적합성 판정 집합은 각 질의에 대해서 문서에 대답을 포함하는지의 여부에 따라 적합/부적합으로 판정하였고, 적합한 문서에 대해서는 대답을 표시하였다. 본 연구를 통해 구축된 질의응답시스템 평가를 위한 테스트컬렉션은 질의응답시스템의 객관적인 신뢰성 평가를 위한 기반을 마련하였다.

• Journal of the Korean Society for information Management
• /
• v.14 no.2
• /
• pp.123-141
• /
• 1997

This study examined the extent to which variations in relevance assessments affect the evaluation of the performance of full-text retrieval system. Four sets of relevance judgments obtained by examining the full-text of documents were used to test the retrieval effectiveness. There was no noticeable difference in retrieval performance among the four relevance judgment sets. It implies that a variety of definitions of relevance has no effect on the evaluation of the performance of the full-text retrieval system. Furth r retrieval experiments on this topic incorporating relevance feedback, which is one of the sophisticated retrieval techniques using relevance information, are suggested.

• Journal of the Korean Society for information Management
• /
• v.23 no.2
• /
• pp.97-111
• /
• 2006

The purpose of this study is to investigate what level of difference in precision would be significantly perceived by a human user of an information retrieval system. Not many researches have been conducted with regards to this issue in information retrieval field. Despite the non-significant results, there were several interesting findings in recognizing different levels of precision rates. The correctness of relevance task had little to do with the taken time for the task. In addition, the strong relationship between the subjects' topic familiarity and rate of correct judgments is one of the most interesting results in this study. It turned out that the subjects have more difficulty in a situation they have to judge between the two lists having more non-relevant documents than in a situation they do between the lists haying more relevant documents. Finally, the serious influence from the first top N documents in a list for relevance judgment task has been confirmed.

• ETRI Journal
• /
• v.14 no.1
• /
• pp.76-86
• /
• 1992

시스팀의 구조가 복잡하면 할수록 신뢰도는 중요한 문제로 부각된다. 신뢰도는 시스팀의 신뢰도 예측, 시스팀 설계시 신뢰도 배분, 장기간에 걸친 운영시 시스팀 유지와 보수 또 이에 따른 인원계획에도 영향을 미치고 있으며, 시스팀의 효율성 및 경제성 파악에 중요한 척도로 이용되고 있다. 본고에서는 신뢰도 모델로서 와이블 (Weibull) 분포의 이용과 적합도 판정문제를 고찰한다. 특히 새로운 통계방법을 이용하여 계산이 간편한 적합도 판정법을 소개한다.

• Journal of the Korean Society for information Management
• /
• v.32 no.3
• /
• pp.277-293
• /
• 2015

This study examined the relative retrieval effectiveness after relevance feedback between two systems (Title/Abstract and Full-text) using four different sets of relevance judgment. Four relevance levels (not relevant, marginally relevant, relevant, highly relevant) are also used, each of which is determined by referees giving a relevance score to documents. This study also investigated how much the average precision was improved after relevance feedback when "marginally relevant" documents are included in the relevant class with the Title/Abstract system, and with the Full-text retrieval system as well. It is found that the Title/Abstract system benefited from relevance feedback with the marginally relevant documents. In case of the Title/Abstract system, the higher percentage of improvement was consistently obtained when including the marginally relevant documents in the relevance class, however the result was vice versa in case of the Full-text retrieval system. It implied that the marginally relevant documents in the relevant class had caused noises in the Full-text retrieval system.

• Proceedings of the Korea Contents Association Conference
• /
• 2007.11a
• /
• pp.160-166
• /
• 2007

HANTEC 2.0 (A Korean Test Collection) is distributed for evaluation of information retrieval systems. HANTEC 2.0 is consists of 120,000 documents, 50 topics(queries) and relevant information. The relevant information is constructed by pooling methods. The relevant information is very important for evaluation of information retrieval systems. So we would like to review of the relevant information by manual method. It will be show validation of pooling method and HANTEC relevant information. We make tool for manual review of relevant information and review of that. We review of relevant information between manual relevant information and HANTEC's. We review of pooling method and HANTEC relevant information. The manual relevant information will be use evaluation of information retrieval systems.

• Annual Conference on Human and Language Technology
• /
• 2000.10d
• /
• pp.190-197
• /
• 2000

본 연구에서는 사용자의 질의에 대해 대답을 제시하는 질의응답시스템의 평가를 위한 테스트컬렉션을 구축하였다. 질의응답시스템 평가를 위한 테스트컬렉션은 207,067개의 문서, 90개의 질의, 각 질의에 대한 적합성 판정 집합으로 구성되어 있다. 문서집합은 신문기사로 SGML 형식으로 가공되었고, 질의는 다양한 유형의 질의와 변형질의를 포함한다. 적합성 판정 집합은 각 질의에 대해서 문서에 대답을 포함하는지의 여부에 따라 적합/부적합으로 판정하였고, 적합한 문서에 대해서는 대답을 표시하였다. 본 연구를 통해 구축된 질의응답시스템 평가를 위한 테스트컬렉션은 질의응답시스템의 객관적인 신뢰성 평가를 위한 기반을 마련하였다.

• Food Industry And Nutrition
• /
• v.3 no.2
• /
• pp.20-33
• /
• 1998

• Proceedings of the Korea Information Processing Society Conference
• /
• 2012.11a
• /
• pp.1373-1376
• /
• 2012

복무적합도 검사는 정신질환이나 사고가능성이 있는 병사를 감별하고, 입대 후 적응문제로 조기 전역할 수 있는 집단을 예측하는 신인성검사 중 하나로, 현재 군에서 징병 및 입영단계에 실시하는 인성검사이다. 이는 전체 검사대상자를 상대로 정신과적 문제 식별을 위한 개별면담이 불가능하기 때문에 위 검사를 통해 대상자를 효율적으로 선별하기 위함이다. 본 연구는 데이터 마이닝을 통해 복무적합도 검사의 판정을 예측 할 수 있을지 확인하고자 하였다. 이를 위해 데이터 마이닝의 기법 중 회귀분석의 로지스틱 회귀분석 기법이 복무적합도검사 판정에 우수한 성능을 보임을 확인하였고, 로지스틱 회귀분석의 추정된 회귀계수를 이용하여 만든 반응확률에 대한 예측 모형식은 높은 정분류율을 보였고 평가 결과 통계적으로 의미가 있음을 증명하였다. 따라서 본 연구 결과를 활용하면 소수의 문항으로 복무적합도 검사 이전의 선별용 검사 개발이나 자가 진단용 검사 개발로 활용이 가능 할 것으로 기대한다.

• Proceedings of the Korea Concrete Institute Conference
• /
• 2008.11a
• /
• pp.161-164
• /
• 2008

It is played an important part in dam safety that KWATER is taken the responsibility of design, construction and maintenance about dam. It is considered that safety inspection of accumulated technology and knowledge of new evaluation method have developed. Thus this study is that instrumentation data is analyzed continually and dam's safety is evaluated about behavior property, in Chungju concrete dam. New evaluation method is that instrumentation data is analyzed reliability. It is suggested that suitability of management period and maintenance of instrument in dams.