• Title/Summary/Keyword: Document Retrieval

Search Result 450, Processing Time 0.021 seconds

A Query Classification Method for Question Answering on a Large-Scale Text Data (대규모 문서 데이터 집합에서 Q&A를 위한 질의문 분류 기법)

  • 엄재홍;장병탁
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04b
    • /
    • pp.253-255
    • /
    • 2000
  • 어떠한 질문에 대한 구체적 해답을 얻고 싶은 경우, 일반적인 정보 검색이 가지는 문제점은 검색 결과가 사용자가 찾고자 하는 답이라 하기 보다는 해답을 포함하는(또는 포함하지 않는) 문서의 집합이라는 점이다. 사용자가 후보문서를 모두 읽을 필요 없이 빠르게 원하는 정보를 얻기 위해서는 검색의 결과로 문서집합을 제시하기 보다는 실제 원하는 답을 제공하는 시스템의 필요성이 대두된다. 이를 위해 기존의 TF-IDF(Term Frequency-Inversed Document Frequency)기반의 정보검색의 방삭에 자연언어처리(Natural Language Processing)를 이용한 질문의 분류와 문서의 사전 표지(Tagging)를 사용할 수 있다. 본 연구에서는 매년 NIST(National Institute of Standards & Technology)와 DARPA(Defense Advanced Research Projects Agency)주관으로 열리는 TREC(Text REtrieval Conference)중 1999년에 열린 TREC-8의 사용자의 질문(Question)에 대한 답(Answer)을 찾는 ‘Question & Answer’문제의 실험 환경에서 질문을 특징별로 분류하고 검색 대상의 문서에 대한 사전 표지를 이용한 정보검색 시스템으로 사용자의 질문(Question)에 대한 해답을 보다 정확하고 효율적으로 제시할 수 있음을 실험을 통하여 보인다.

  • PDF

Improving Preprocessing step for Document retrieval system based on String Alignment (정렬을 이용한 내용기반 문서탐색 시스템의 전처리 과정 개선)

  • Kim, Hyong-Jun;Cho, Hwan-Gue
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2008.06c
    • /
    • pp.248-251
    • /
    • 2008
  • 문서 표절이 사회적으로 이슈가 됨에 따라 표절 문서를 판별할 수 있는 시스템의 필요성이 대두되었다. 문서 표절 검사 시스템에서 가장 중요한 이슈는 성능과 속도인데 이 두 가지를 모두 만족시키기 위해서는 표절을 상세하게 검사하기 전에 표절 의심 문서에 대한 비교 문서군이 크기를 최적화하여 표절 검사 범위를 최대한 작게 만들어야 한다. 비교 문서군의 크기를 최적화하기 위해서는 표절 의심 문서와 상관이 없는 문서를 필터링 하는 작업이 필요하다. 이 논문에서는 문서를 빠르게 필터링 하기 위해서 웹 문서 검색에 사용되는 Inverted Index을 이용하여 적당한 시간 안에 비교 문서군의 크기를 최적화 하는 방법들을 알아보고 각각의 방법들의 성능을 비교 분석하는 방법을 제시하며 그 방법들을 바탕으로 성능을 분석하여 최적화된 문서 필터링 방법을 알아본다.

  • PDF

An Indexing Model for Efficient Structure-based Retrieval on XML Documents (XML 문서에 대한 효율적인 구조 기반 검색을 위한 색인 모델)

  • 박종관;강형일;손충범;유재수
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.10a
    • /
    • pp.18-20
    • /
    • 2000
  • XML 문서의 구조검색을 위한 기존 방법들은 특정 엘리먼트의 조상, 자손, 형제에 대한 다양한 구조검색을 효율적으로 지원하지 못한다. 본 논문에서는 XML 문서의 효율적인 관리와 구조검색을 위해 DTD(Document Type Definition)의 논리적 구조를 따르는 XML 문서에 대해 구조정보를 표현하기 위한 방법을 제시한다. 구조정보는 엘리먼트 이름을 식별할 수 있는 EID, 부모와 자식 엘리먼트간의 계층정보를 위한 ETID, 동일한 부모 엘리먼트를 갖는 자식 엘리먼트들의 순서정보를 위한 SORD, 그리고 동일한 부모 엘리먼트를 갖는 자식들 중 동일한 타입의 엘리먼트들에 대한 순서정보를 위한 SSORD로 구성된다. 이런 구조정보를 이용해 빠른 검색을 위한 내용 색인, 구조 색인, 애트리뷰트 색인을 설계한다. 설계된 색인을 통하여 질의를 처리하는 과정을 설명함으로써 다양한 구조적 질의를 효과적으로 처리할 수 있음을 보인다.

  • PDF

Text filtering by Boosting Linear Perceptrons

  • O, Jang-Min;Zhang, Byoung-Tak
    • Journal of the Korean Institute of Intelligent Systems
    • /
    • v.10 no.4
    • /
    • pp.374-378
    • /
    • 2000
  • in information retrieval, lack of positive examples is a main cause of poor performance. In this case most learning algorithms may not characteristics in the data to low recall. To solve the problem of unbalanced data, we propose a boosting method that uses linear perceptrons as weak learnrs. The perceptrons are trained on local data sets. The proposed algorithm is applied to text filtering problem for which only a small portion of positive examples is available. In the experiment on category crude of the Reuters-21578 document set, the boosting method achieved the recall of 80.8%, which is 37.2% improvement over multilayer with comparable precision.

  • PDF

Optimization Model on the World Wide Web Organization with respect to Content Centric Measures (월드와이드웹의 내용기반 구조최적화)

  • Lee Wookey;Kim Seung;Kim Hando;Kang Sukho
    • Journal of the Korean Operations Research and Management Science Society
    • /
    • v.30 no.1
    • /
    • pp.187-198
    • /
    • 2005
  • The structure of a Web site can prevent the search robots or crawling agents from confusion in the midst of huge forest of the Web pages. We formalize the view on the World Wide Web and generalize it as a hierarchy of Web objects such as the Web as a set of Web sites, and a Web site as a directed graph with Web nodes and Web edges. Our approach results in the optimal hierarchical structure that can maximize the weight, tf-idf (term frequency and inverse document frequency), that is one of the most widely accepted content centric measures in the information retrieval community, so that the measure can be used to embody the semantics of search query. The experimental results represent that the optimization model is an effective alternative in the dynamically changing Web environment by replacing conventional heuristic approaches.

A Study of Main Contents Extraction from Web News Pages based on XPath Analysis

  • Sun, Bok-Keun
    • Journal of the Korea Society of Computer and Information
    • /
    • v.20 no.7
    • /
    • pp.1-7
    • /
    • 2015
  • Although data on the internet can be used in various fields such as source of data of IR(Information Retrieval), Data mining and knowledge information servece, and contains a lot of unnecessary information. The removal of the unnecessary data is a problem to be solved prior to the study of the knowledge-based information service that is based on the data of the web page, in this paper, we solve the problem through the implementation of XTractor(XPath Extractor). Since XPath is used to navigate the attribute data and the data elements in the XML document, the XPath analysis to be carried out through the XTractor. XTractor Extracts main text by html parsing, XPath grouping and detecting the XPath contains the main data. The result, the recognition and precision rate are showed in 97.9%, 93.9%, except for a few cases in a large amount of experimental data and it was confirmed that it is possible to properly extract the main text of the news.

XML-based Retrieval System for E-Learning Contents using mobile device PDA

  • Park Yong-Bin;Yang Hae-Sool
    • Proceedings of the Korea Society for Industrial Systems Conference
    • /
    • 2006.05a
    • /
    • pp.241-248
    • /
    • 2006
  • Web is greatly contributing in providing a variety of information. Especially, as media for the purpose of development and education of human resources, the role of web is important. Furthermore, E-Learning through web plays an important role for each enterprise and an educational institution. Also, above all, fast and various searches are required in order to manage and search a great number of educational contents in web. Therefore, most of present information is composed in HTML, so there are lots of restrictions. As a solution to such restriction, XML a standard of Web document, and its various search functions is being extended and studied variously. This paper proposes a search system able to search XML in E-Learning or var ious contents of non-XML using mobile device PDA.

  • PDF

A Study on Document Retrieval Using Bibliographic Citations (인용문헌을 이용한 검색에 관한 연구)

  • Kim, Young-Min
    • Journal of the Korean Society for information Management
    • /
    • v.2 no.1
    • /
    • pp.136-163
    • /
    • 1985
  • A user who retrieved relevant documents from the existing commercial databases may be not always satisfied with the results of the traditional bibliographic searches using the subject index terms. On the assumption that the user wants more relevant documents in such instances, this thesis presents an expanded search strategy by carrying out an experiment using bibliographic citations as another content indicator in addition to index terms.

  • PDF

An Investigation of Automatic Term Weighting Techniques

  • Kim, Hyun-Hee
    • Journal of the Korean Society for information Management
    • /
    • v.1 no.1
    • /
    • pp.43-62
    • /
    • 1984
  • The present study has two main objectives. The first objective is to devise a new term weighting technique which can be used to weight the significance value of each word stem in a test collection of documents on the subject of "enteral hyperalimentation." The next objective is to evaluate retrieval performance of proposed term weighting technique, together with four other term weighting techniques, by conducting a set of experiments. The experimental results have shown that the performance of Sparck Jones's inverse document frequency weighting and the proposed term significance weighting techniques produced better recall and precision ratios than the other three complex weighting techniques.

  • PDF

Design of Multimedia Document Retrieval System Using Relations between Media (미디어간 상호 연관성을 이용한 멀티미디어 문서 검색 시스템의 설계)

  • 이성환;유채곤;이원호;황치정
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1998.10b
    • /
    • pp.274-276
    • /
    • 1998
  • 많은 분야에서 정보를 효과적으로 전달하기 위한 수단으로 멀티미디어가 많이 사용되고 있다. 이에 멀티미디어 문서를 효율적으로 저장, 검색, 표현하기 위한 기법에 대한 연구가 필요하다. 멀티미디어 문서 내에 사용되는 audio, video, image, text와 같은 여러 미디어들은 문서 내에서 시.공간적 관계뿐 아니라 내용상의 연관성을 갖게 된다. 본 논문에서는 멀티미디어 문서에 사용되는 미디어들의 특징 및 연관성을 추출해 내고, 각 미디어들을 효율적으로 관리하기 위하여 미디어 특성에 맞는 세크멘테이션 기법을 이용하고 이들에 대한 내용상의 연관성을 고려하여 저장(store), 검색(retrieve), 표현(present)하기위한 시스템을 설계 하였다.