• Title/Summary/Keyword: 검색 평가

Search Result 2,046, Processing Time 0.032 seconds

Design and Evaluation of Art Image Retrieval System Using Jorgensen′s Image Attributes (저거슨의 이미지 속성에 기반한 회화 이미지 검색 시스템 구축 및 평가)

  • 표선형;오삼균
    • Proceedings of the Korean Society for Information Management Conference
    • /
    • 2000.08a
    • /
    • pp.119-124
    • /
    • 2000
  • 본 연구의 목적은 저거슨이 제시한 12가지 이미지 속성을 목록요소로 하여 국내, 국외 회화 이미지 검색 시스템(Art Image Retrieval System; 이하 AIRS)을 구축하고, 이용자로 하여금 이 두 시스템을 통해 회화 이미지를 검색하도록 함으로써 저거슨인 제시한 이미지 목록 요소가 실제 시스템 검색에 적합한지와 이용자 만족도를 측정하고 비교함으로써 시스템을 평가하고자 한다. 또한 저거슨이 제시한 이미지 목록요소가 회화 이미지를 검색하는데 충분하지 않다면 추가되어야 할 요소가 무엇인지를 파악하고자 한다.

  • PDF

Design and performance Evaluation of Vertically-Parteitioned Parallel Signature File Method) (수직 분할 병렬 요약화일 기법의 설계 및 성능평가)

  • Kim, Jeong-Gi;Yu, Gyeong-Min;Jang, Jae-U
    • Journal of KIISE:Software and Applications
    • /
    • v.26 no.1
    • /
    • pp.66-79
    • /
    • 1999
  • 요약화일 기법은 대규모 데이터베이스 응용에서 효율적인 색인 기법으로 알려져 있으며 최근에는 보다 빠른 검색을 위해 병렬 요약화일 기법이 제안되고 있다. 본 논문에서는 효율적으로 병렬 처리를 할 수 있는 수직 분할 병렬 요약화일(Vertically-partitioned Parallel Signature File, VPSF) 기법을 제안한다. 본 VPSF는 동적인 환경에 잘 적응하도록 신장해싱을 이용하며, 검색의 효율성을 위해 프레임 슬라이스 기법을 사용한다. 실행의 편중을 없애기 위해 요약을 수직으로 분할하여 레코드를 프로세싱노드에 저장함으로써 병렬처리를 수행한다. 뿐만 아니라, 본 논문에서는 VPSF의 효율성을 보이기 위해 성능평가 모델을 제시하고, 실제의 레코드 집합을 가지고 실험을 실시하여 검색시간, 부가저장공간, 삽입시간에 대해 성능을 평가한다. 또한 레코드 집합의 분포에 다른 성능을 평가하기 위해 표준편차를 반으로 줄인 반 정규분포와 두 배로 크게 한 정규분포에 대한 성능평가를 실시한다. VPSF기법은 기존의 병렬 요약화일 기법들과 비교할 때, 실제 레코드 집합의 정규분포에서 기존의 Hamming filter 보다 평균 40% 정도 검색성능이 개선된다. 반 정규분포에서는 Hamming filter 보다 약 50% , HPSF보다 약 20% 정도 개선된 검색 성능을 보인다. 뿐만 아니라, 부가 저장공간 및 삽입시간에도 기존의 방법들보다 좋은 성능을 보인다. 일반적으로 VPSF는 데이터베이스의 레코드 크기가 서로 비슷할 때 그리고 데이터베이스의 크기가 클수록 우수한 검색 성능을 보인다.

KFREB: Korean Fictional Retrieval-based Evaluation Benchmark for Generative Large Language Models (KFREB: 생성형 한국어 대규모 언어 모델의 검색 기반 생성 평가 데이터셋)

  • Jungseob Lee;Junyoung Son;Taemin Lee;Chanjun Park;Myunghoon Kang;Jeongbae Park;Heuiseok Lim
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.9-13
    • /
    • 2023
  • 본 논문에서는 대규모 언어모델의 검색 기반 답변 생성능력을 평가하는 새로운 한국어 벤치마크, KFREB(Korean Fictional Retrieval Evaluation Benchmark)를 제안한다. KFREB는 모델이 사전학습 되지 않은 허구의 정보를 바탕으로 검색 기반 답변 생성 능력을 평가함으로써, 기존의 대규모 언어모델이 사전학습에서 보았던 사실을 반영하여 생성하는 답변이 실제 검색 기반 답변 시스템에서의 능력을 제대로 평가할 수 없다는 문제를 해결하고자 한다. 제안된 KFREB는 검색기반 대규모 언어모델의 실제 서비스 케이스를 고려하여 장문 문서, 두 개의 정답을 포함한 골드 문서, 한 개의 골드 문서와 유사 방해 문서 키워드 유무, 그리고 문서 간 상호 참조를 요구하는 상호참조 멀티홉 리즈닝 경우 등에 대한 평가 케이스를 제공하며, 이를 통해 대규모 언어모델의 적절한 선택과 실제 서비스 활용에 대한 인사이트를 제공할 수 있을 것이다.

  • PDF

Construction of Evaluation-Annotated Datasets for EA-based Clothing Recommendation Chatbots (패션앱 후기글 평가분석에 기반한 의류 검색추천 챗봇 개발을 위한 학습데이터 EVAD 구축)

  • Choi, Su-Won;Hwang, Chang-Hoe;Yoo, Gwang-Hoon;Nam, Jee-Sun
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.467-472
    • /
    • 2021
  • 본 연구는 패션앱 후기글에 나타나는 구매자의 의견에 대한 '평가분석(Evaluation Analysis: EA)'을 수행하여, 이를 기반으로 상품의 검색 및 추천을 수행하는 의류 검색추천 챗봇을 개발하는 LICO 프로젝트의 언어데이터 구축의 일환으로 수행되었다. '평가분석 트리플(EAT)'과 '평가기반요청 쿼드러플(EARQ)'의 구성요소들에 대한 주석작업은, 도메인 특화된 단일형 핵심어휘와 다단어(MWE) 핵심패턴들을 FST 방식으로 구조화하는 DECO-LGG 언어자원에 기반하여 반자동 언어데이터 증강(SSP) 방식을 통해 진행되었다. 이 과정을 통해 20여만 건의 후기글 문서(230만 어절)로 구성된 EVAD 평가주석데이터셋이 생성되었다. 여성의류 도메인의 평가분석을 위한 '평가속성(ASPECT)' 성분으로 14가지 유형이 분류되었고, 각 '평가속성'에 연동된 '평가내용(VALUE)' 쌍으로 전체 35가지의 {ASPECT-VALUE} 카테고리가 분류되었다. 본 연구에서 구축된 EVAD 평가주석 데이터의 성능을 평가한 결과, F1-Score 0.91의 성능 평가를 획득하였으며, 이를 통해 향후 다른 도메인으로의 확장된 적용 가능성이 유효함을 확인하였다.

  • PDF

Retrieval Performance of XML Documents Using Object-Relational Databases (객체-관계형 데이터베이스에 의한 XML문헌의 검색성능 평가)

  • Kim, Hee-Sop
    • Journal of the Korean Society for information Management
    • /
    • v.21 no.2
    • /
    • pp.189-210
    • /
    • 2004
  • The purpose of this study is to evaluate the performance of XML retrieval based on ORDBMSs(Object-Relational Database Management Systems) approach. This paper describes indexing and retrieval methods for XML documents and the methodologies of experiments at INEX(Initiative for the Evaluation of XML retrieval). Like any other traditional information retrieval experiment, the test collection was consists of documents, topics/queries, task, relevance assessments and evaluation. EXIMA$^{TM}$ Supply, a kind of native XML DB based on ORDBMS technologies, is used for this experiment. Although this approach has many benefits, for example, no delay in storing and searching XML documents. but it showed relatively disappointed retrieval performance at INEX 2002. This result may caused since the given topics had to be decomposed and modified to be processed by the XPath processor, and during this modification the original meaning of topics can be changed inevitably and some important information nay pass over.r.

텍스타일 영상에서의 감성 기반 검색 시스템

  • Kim, Young-Rae;Shin, Yun-Hee;Kim, Eun-Yi
    • Proceedings of the Korea Society for Industrial Systems Conference
    • /
    • 2009.05a
    • /
    • pp.82-87
    • /
    • 2009
  • 본 논문에서는 감성 기반으로 텍스타일을 자동으로 색인하고 검색 할 수 있는 시스템을 제안한다. 제안된 시스템은 영상 수집기, 감성 색인기, 검색기(Matcher), 질의 인터페이스로 구성되어 있다. 감성 색인기는 텍스타일 영상에 포함된 컬러와 패턴 정보를 기반으로 감성개념을 인식하고, 이를 이용하여 영상을 색인한다. 이때, 감성 어휘로 고바야시가 정의한 8개 (romantic, natural, casual, elegant, chic, classic, dandy, modern)를 사용한다. 질의 인터페이스에서 사용자는 두 가지 방식으로 질의를 선택할 수 있다. 첫 번째 방법은 감성 키워드를 사용하는 것이고, 두 번째는 사용자의 의도를 설명할 수 있는 영상을 이용하는 예제 기반 질의 방식이다. 질의가 주어지면, 검색기는 랭킹 알고리즘을 사용하여 검색 결과를 생성한다. 이 때, 유사도 비교방식은 선택된 질의방식에 따라 달라진다. 제안된 시스템의 성능을 검증하기 위해 웹 검색에 익숙한 50명(남자: 32명, 여자: 18명)을 대상으로 웹에서 수집한 3,416 장에 대해서 3가지 항목으로 사용자 평가를 하였다. 사용자 평가의 항목인 적합도(Relevance), 노력(Search Effort), 만족도(Satisfaction)의 결과로 사용자가 검색한 결과영상에서 적합도의 수치가 낮게 나왔지만, 만족도와 노력의 수치는 높게 평가되었다. 제안된 시스템에서 사용자는 자신이 선호하는 결과 영상을 상위 40개의 영상 내에서 얻을 수 있었다. 이는 제안된 시스템이 사용자들이 원하는 영상을 효율적으로 검색할 수 있다는 것을 증명했다.

  • PDF

Concept and Attribute based Answer Retrieval (개념 속성 기반 정보 검색)

  • Yun Bo-Hyun;Seo Chang-ho
    • Journal of the Korea Society of Computer and Information
    • /
    • v.10 no.3 s.35
    • /
    • pp.1-10
    • /
    • 2005
  • This paper presents the information retrieval system which can retrieve the most appropriate answer sentence for user queries by using the concept and the attribute for the knowledge retrieval. The system analyzes the user query into the Boolean queries with the concept and the attribute and then retrieve the relevant documents in the indexing set of answer documents. Users can retrieve the relevant answer sentences from the relevant documents. For this, the answer documents indexed by the concept and the attribute are segmented by each sentence respectively. Thus, the segmented sentences are analyzed into the concept and the attribute of which the relevance degree with indexing units of documents is evaluated. Then, the system indexes the location of answer sentences. In the experiment, we evaluate the performance of our answer retrieval system against 100 user queries and show the experimental results.

  • PDF

FEMAL for Heterogeneous CBIR System (이기종 CBIR 시스템을 위한 FEMAL)

  • Kim Hyun-Jong;Park Young-Bae
    • Journal of KIISE:Software and Applications
    • /
    • v.32 no.9
    • /
    • pp.853-867
    • /
    • 2005
  • A number of content-based image search methods have been proposed to this point. Each of these systems uses different image data and generates different data depending on the extraction method of different characteristics that the search capabilities of each system cannot be compared and assessed. In particular, there is a problem of applying the identical image data onto the contents based image search system on the web that cannot be compared and assessed. To resolve such a problem, the XML-based FEMAL is hereby presented for extracting data of characteristics generated from specific search system in a way that can be recognized from other starch system. In the experiment using FEMAL, the extract data for characteristics is mutually communicated and integrated and the comparison assessment of search capability is seemed to be available.

Developing and Evaluating an Ontology-based Legal Retrieval System (온톨로지 기반 법률 검색시스템의 구축 및 평가에 관한 연구)

  • Chang, In-Ho
    • Journal of the Korean Society for Library and Information Science
    • /
    • v.45 no.2
    • /
    • pp.345-366
    • /
    • 2011
  • The law affects our daily lives, and hence, constitutes a crucial information resource. However, electronic access to legal information using keyword-based retrieval systems appears to provide users with limited satisfaction. There are many factors behind this inadequacy. First, the discrepancies between formal legal terms and their counterparts in common language are quite large. Second, the situation is further confounded by frequent abbreviations in legal terms. Third, even though there is a constant deluge of legal information, users' needs have evolved to demand more Q and A type searches. All of these factors make the existing retrieval systems inefficient and ineffective. This article suggests an ontology-based system as a means to deal with such difficulties. To that end, a legal retrieval system(experimental system), built on the basis of a newly-constructed law ontology, was tested against a keyword-based legal retrieval system(existing one), yielding data on their relative effectiveness in retrieval and user satisfaction.

The evaluation of statistic processing on korean compound nouns (복합명사의 통계적 처리에 대한 평가)

  • Nam, Se-Jin;Lee, Ji-Yun;Shin, Dong-Wook;Chae, Mi-Ok
    • Annual Conference on Human and Language Technology
    • /
    • 1996.10a
    • /
    • pp.36-41
    • /
    • 1996
  • 한글을 대상으로 하는 검색 시스템의 강우 문서의 대부분을 차지하는 복합명사는 원칙적으로 단어와 단어 사이를 띄어 써야 하지만 붙여쓰기 또한 허용하므로 정보 검색 시스템에서는 이를 고려하여야 한다. 본 논문에서는 MIDAS/IR 정보검색 시스템에서 통계적인 정보를 이용하여 복합명사를 처리하는 방법을 구현하고 이를 실험을 통하여 평가하고자 한다. MIDAS/IR은 크게 복합명사의 통계적인 정보를 이용하는 색인 부분과 확장 불리한 모델 및 벡터 공간 모델을 제공하는 검색 부분으로 이루어져 있다. 색인기에서는 복합명사를 처리할 뿐 아니라 고유명사와 같이 사전에 등록되지 않은 명사를 처리하는 작업을 하게 되며 검색 부분은 클래스 라이브러리로 구현되어 있어 임의의 검색 모델도 쉽게 추가 될 수 있도록 설계하였다. 본 연구에서는 KTSET을 이용하여 불리한 모델 및 벡타 공간 모델에서의 성능을 실험을 통하여 평가하였으며, n-그램을 사용한 시스템과 비교 분석하였다.

  • PDF