• Journal of Korean Institute of Industrial Engineers
• /
• v.26 no.1
• /
• pp.27-35
• /
• 2000

For a weighting method to be practically valid, it should produce weights which coincide with the relative importance of attributes perceived by the decision maker. In this paper, 'bootstrapping' is used to compare the practical validities of five weighting methods frequently used; the rank order centroid method, the rank reciprocal method, the rank sum method, the entropic method, and the geometric mean method. Bootstrapping refers to the procedure where the analysts allow the decision maker to make careful judgements on a series of similar cases, then infer statistically what weights he was implicitly using to arrive at the particular ranking. The weights produced by bootstrapping can therefore be regarded as well reflecting the decision maker's perceived relative importances. Bootstrapping and the five weighting methods were applied to a job selection problem. The results showed that both the rank order centroid method and the rank reciprocal method had higher level of practical validity than the other three methods, though a large difference could not be found either in the resulting weights or in the corresponding solutions.

• Journal of Korea Multimedia Society
• /
• v.15 no.1
• /
• pp.18-31
• /
• 2012

This paper proposes a matching engine of query-by-singing/humming (QbSH) system which retrieves the most similar music information by comparing the input data with the extracted feature information from polyphonic music like MP3. The feature sequences transcribed from polyphonic music may have many errors. So, to reduce the influence of errors and improve the performance, the chroma-scale representation, compensation and asymmetric DTW (Dynamic Time Warping) are adopted in the matching engine. The performance of various distance metrics are also investigated in this paper. In our experiment, the proposed QbSH system achieves MRR (Mean Reciprocal Rank) of 0.718 for 1000 singing/humming queries when searching from a database of 450 polyphonic musics.

• Korean Journal of Cognitive Science
• /
• v.26 no.3
• /
• pp.263-278
• /
• 2015

Online Q&A for the National Institute of the Korean Language provides expert's answers for questions about the Korean language, in which many similar questions are repeatedly posted like other Q&A boards. So, if a system automatically finds questions that are similar to a user's question, it can immediately provide users with recommendable answers to their question and prevent experts from wasting time to answer to similar questions repeatedly. In this paper, we set 5 classes of questions based on its topic which are frequently asked, and propose to classify questions to those classes. Our system searches similar questions by combining topic similarity, vector similarity and sequence similarity. Experiment shows that our method improves search correctness with topic classification. In experiment, Mean Reciprocal Rank(MRR) of our system is 0.756, and precision for the first result is 68.31% and precision for top five results is 87.32%.

• Asia pacific journal of information systems
• /
• v.25 no.4
• /
• pp.686-711
• /
• 2015

The performance of a novel medical question-answering engine called CliniCluster and existing search engines, such as CQA-1.0, Google, and Google Scholar, was evaluated using known-item searching. Known-item searching is a document that has been critically appraised to be highly relevant to a therapy question. Results show that, using CliniCluster, known-items were retrieved on average at rank 2 ($MRR@10{\approx}0.50$), and most of the known-items could be identified from the top-10 document lists. In response to ill-defined questions, the known-items were ranked lower by CliniCluster and CQA-1.0, whereas for Google and Google Scholar, significant difference in ranking was not found between well- and ill-defined questions. Less than 40% of the known-items could be identified from the top-10 documents retrieved by CQA-1.0, Google, and Google Scholar. An analysis of the top-ranked documents by strength of evidence revealed that CliniCluster outperformed other search engines by providing a higher number of recent publications with the highest study design. In conclusion, the overall results support the use of CliniCluster in answering therapy questions by ranking highly relevant documents in the top positions of the search results.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• v.8 no.2
• /
• pp.723-736
• /
• 2014

This paper proposes a matching engine for a query-by-singing/humming (QbSH) system with polyphonic music files like MP3 files. The pitch sequences extracted from polyphonic recordings may be distorted. So we use chroma-scale representation, pre-processing, compensation, and asymmetric dynamic time warping to reduce the influence of the distortions. From the experiment with 28 hour music DB, the performance of our QbSH system based on polyphonic database is very promising in comparison with the published QbSH system based on monophonic database. It shows 0.725 in MRR(Mean Reciprocal Rank). Our matching engine can be used for the QbSH system based on MIDI DB also and that performance was verified by MIREX 2011.

• Annual Conference on Human and Language Technology
• /
• 2013.10a
• /
• pp.146-151
• /
• 2013

이중언어 사전 구축 방법을 평가하는 방법에는 정확률, 재현율, MRR(Mean Reciprocal Rank) 등이 있다. 이들 방법들은 평가 집합에 있는 대역어를 정확하게 찾는 것에 초점을 맞추고 있다. 그러나 어떤 대역어가 얼마나 많이 사용되는지는 전혀 고려하지 않는다. 즉 자주 사용되는 대역어를 빨리 찾을 수 있는 방법이 좋은 방법이라고 말할 수 있다. 이와 같은 문제를 해결하기 위해서 본 논문에서는 이중언어 사전 구축의 새로운 평가 방법인 등급 재현율을 제안한다. 등급 재현율(rated recall)은 대역어가 학습 말뭉치에 나타난 정도를 반영하는 재현율이며, 자주 사용되는 대역어를 얼마나 정확하게 찾는지를 파악할 수 있는 좋은 측도이다. 본 논문에서는 문맥벡터와 중간언어를 이용한 이중언어 사전 구축 시스템의 성능을 평가하고 기존의 방법과 비교 분석하였다.

• Journal of Advanced Marine Engineering and Technology
• /
• v.39 no.6
• /
• pp.656-661
• /
• 2015

The goal of this paper is to analyze the performance of a word autocomplete system for mobile devices such as smartphones, tablets, and PCs. The proposed system automatically completes a partially typed string into a full word, reducing the time and effort required by a user to enter text on these devices. We collect a large amount of data from Twitter and develop both unigram and bigram dictionaries based on the frequency of words. Using these dictionaries, we analyze the performance of the word autocomplete system and devise a keystroke profit rate and recovery rate as new evaluation metrics that better describe the characteristics of the word autocomplete problem compared to previous measures such as the mean reciprocal rank or recall.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.258-260
• /
• 2011

이 논문에서는 쿼리-바이-싱잉/허밍 (Query-by-singing/humming, QbSH) 시스템 또는 커버 노래 인식 (cover song identification) 시스템에서 사용 가능한 멜로디 유사도를 제안한다. QbSH 또는 커버 노래 인식은 디지털 음악의 사용이 보편화되면서 음악 검색의 방법으로 많은 연구가 진행되어 오고 있다. 멜로디 유사도는 이런 시스템을 구현하는데 필수적인 요소이며, 두 개의 음악에서 멜로디가 추출되었다고 가정하고, 추출된 멜로디 사이의 유사한 정도를 수치로 표현한다. QbSh 시스템이나 커버 노래 인식 시스템은 멜로디 유사도에 기반하여 입력 노래와 유사한 노래를 데이터베이스에서 검색하는 작업을 수행한다. 이 논문에서 제안하는 멜로디 유사도 방식은 기존의 많이 연구되던 동적 시간 왜곡 (dynamic time warping, DTW) 방법과 크로마 표현 방법 (chroma representation)을 사용하였다. DTW방법은 비대칭적으로 사용하고 미디 노트 영역에서 표현된 멜로디 특징은 0이상 12 미만의 크로마 레벨로 표현하였다. 기존의 방법에서는 정수값을 많이 사용하였으나 이 논문에서는 실수값을 사용한다. DTW 에 사용하는 거리 함수를 기존에 사용하던 차이의 절대값 대신 꺾인 함수 형태를 사용함으로써 성능을 높였다. QbSH 시스템에서의 실험을 통해서 성능을 검증하였다. 본 논문에서는 10-12초 길이의 1000번의 쿼리(Query)에 대해서 28시간 정도의 데이터베이스에서 실험한 결과, 순위 역의 평균 (Mean reciprocal rank, MRR) 값이 0.713을 보였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2011.06a
• /
• pp.233-236
• /
• 2011

일반적인 문서에 대한 정보 검색 연구는 활발히 진행되고 있으며, 일상 생활 속에서도 대중화되어 많이 사용되고 있다. 이에 따라 음성, 이미지 검색 등 특정 분야의 검색에 대한 연구도 활발히 진행되고 있지만, 수학식 검색에 대한 연구는 비교적으로 미비한 실정이다. 수학식 검색과 관련된 연구들은 대부분 MathML (Mathematical Markup Language), TeX 등으로 작성된 수학식을 대상으로 진행되었지만, 특정 언어나 별개의 수학 입력 툴들을 이용한 검색 방법은 일반 사용자들이 사용하기에는 쉽지 않다는 단점이 있다. 그래서, 본 논문에서는 일반 문서 검색과 마찬가지로, 수학식을 읽듯이 한글을 입력했을 때 색인어 추출 방법 및 검색 방법에 대해 제안한다. 실험을 위해서 수학 문제집에 나오는 1,432개의 수학식을 한글화 시켰고, 한글화된 결과에 대해 패턴 등을 추출하여 MRR (Mean Reciprocal Rank), $Rel_{EQ}$@N(Relevance evaluation at N)로 평가하였다. 100개의 한글 질의어에 대해 MRR@5로 계산된 수학식 검색 결과가 약 0.6 정도 되는 것을 확인할 수 있었고, 학습 데이터에 포함되지 않은 질의수학식 5개에 대해 $Rel_{EQ}$@5로 계산했을 때 평균 60% 의 정확률을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2004.10d
• /
• pp.159-166
• /
• 2004

본 논문에서는 질의응답 시스템에서 질문의 주제와 개념적으로 일치하는 단락으로부터 정보를 추출할 경우에 보다 정확한 정답을 추출할 수 있다는 가정 하에 문장 주제를 활용한 의미적 단락 생성 및 검색 기법을 제안한다. 문장주제란 백과사전 문서 집합에서 공통으로 기술하는 내용이나 자주 언급하고 있는 사건 혹은 개념들의 집합을 의미하는 것으로, 주제별로 응집된 문장들로 재구성된 단락을 의미적 단락이라고 정의한다. 제안된 방법의 성능을 평가하기 위해 의미적 단락의 신뢰도를 파악하고, 백과사전 본문을 3문장 단위로 잘라서 고정길이 단락을 만든 후 의미적 단락의 검색결과와 비교하였다. 평가척도로는 TREC의 역순위평균(MRR : Mean Reciprocal Rank)과 상위 5개 단락 안에 정답유무를 측정하는 사용자 정답만족도를 사용하였다. ETRI 평가셋을 대상으로 한 실험 결과, 주제를 이용한 의미적 단락 검색 성능이 고정길이 단락 검색보다 우수함을 알 수 있었다.