• 제목/요약/키워드: Document Retrieval

검색결과 450건 처리시간 0.026초

한글 텍스트 문서 분류시스템을 위한 속성선택 (Feature Selection for a Hangul Text Document Classification System)

  • Lee, Jae-Sik;Cho, You-Jung
    • 한국지능정보시스템학회:학술대회논문집
    • /
    • 한국지능정보시스템학회 2003년도 춘계학술대회
    • /
    • pp.435-442
    • /
    • 2003
  • 정보 추출(Information Retrieval) 시스템은 거대한 양의 정보들 가운데 필요한 정보의 적절한 탐색을 도와주기 위한 도구이다. 이는 사용자가 요구하는 정보를 보다 정확하고 보다 효과적이면서 보다 효율적으로 전달해주어야만 한다. 그러기 위해서는 문서내의 무수히 많은 속성들 가운데 해당 문서의 특성을 잘 반영하는 속성만을 선별해서 적절히 활용하는 것이 절실히 요구된다. 이에 본 연구는 기존의 한글 문서 분류시스템(CB_TFIDF)[1]의 정확도와 신속성 두 가지 측면의 성능향상에 초점을 두고 있다. 기존의 영문 텍스트 문서 분류시스템에 적용되었던 다양한 속성선택 기법들 가운데 잘 알려진 세가지 즉, Information Gain, Odds Ratio, Document Frequency Thresholding을 통해 선별적인 사례베이스를 구성한 다음에 한글 텍스트 문서 분류시스템에 적용시켜서 성능을 비교 평가한 후, 한글 문서 분류시스템에 가장 적절한 속성선택 기법과 속성 선택에 대한 가이드라인을 제시하고자 한다.

  • PDF

웹 기반의 전자상거래를 위한 도서검색 시스템 설계 (A Design of Book Retrieval System for Electronic Commerce in based Web)

  • 하추자;정종근;박종훈;김철원
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2005년도 춘계종합학술대회
    • /
    • pp.659-662
    • /
    • 2005
  • XML is standard of web document, and is used in language for document data exchange. XML document is used as example that change existing document to XML or makes new document by XML increases and XML search system to search XML document efficiently accordingly is requiring. This paper describes design and implementation of query processing system for translating XML elements and data between XML documents and relational database and consist of XML to DB processor, DB to XML processor and XML document management processor. Through this, described for design and embodiment of efficient XML document search system of JAVA base using XQL that is proposed in language of quality of XML document.

  • PDF

적합성 피드백을 이용한 웹 문서검색에 관한 연구 (A Study on Document Retrieval of Web Using Relevance Feedback)

  • 김영천;이성주
    • 한국정보통신학회논문지
    • /
    • 제5권3호
    • /
    • pp.597-604
    • /
    • 2001
  • 정보검색에서 순수한 부울 검색 시스템은 문서와 질의 사이의 유사도를 나타내는 문서값을 계산할 수 없기 때문에, 검색된 문서들을 질의를 만족하는 정보에 따라 정렬할 수 없다. 부울 검색 시스템의 이러한 단점을 보완하는 방법으로 MMM 모델, Paice 모델, P-norm 모델이 개발되었다. 이러한 방법들은 부울 연산자를 유연하게 연산하는 공통된 특성을 지니고 있다. 된 논문에서는 높은 검색 효과를 제공하는 질의 분해 적합성 피드백 (QSRF)를 이용한 정보 검색 모델을 제안한다. 질의 분해 적합성 피드백 모델의 연산 특성 이 MMM, Paice, P-norm 모델보다 우수함을 설명하고, 또한 성능 비교를 통하여 이를 입증한다.

  • PDF

기계학습을 이용한 단문 오피니언 문서의 효율적 검색 기법 (Efficient Retrieval of Short Opinion Documents Using Learning to Rank)

  • 장재영
    • 한국인터넷방송통신학회논문지
    • /
    • 제13권4호
    • /
    • pp.117-126
    • /
    • 2013
  • 최근 들어 트위터나 페이스북과 같은 SNS가 대중화되면서, 오피니언 마이닝에 관한 연구가 활발히 진행되고 있다. 그러나 현재의 오피니언 마이닝 연구는 대부분 감성분류나 특징선택 방법에 중점을 두고 있으며, 오피니언 문서의 검색에 관한 연구는 아직 미진한 실정이다. 본 논문에서는 단문으로 구성된 오피니언 문서로부터 사용자가 원하는 문서들을 효율적으로 검색하는 기법을 제안한다. 제안된 방법에서는 기존의 감성분류 방법을 활용함과 동시에 문서의 질적 평가를 위해 여러 가지 특징들을 적용한다. 검색 모델을 생성하기 위해 기계학습 기반 랭킹 기법을 활용하며, 감성 분류 모델을 기계학습 랭킹 모델에 통합하는 방법을 사용한다. 또한 실험을 통하여 제안된 방법이 오피니언 검색에 효율적으로 적용될 수 있음을 보여준다.

Automatic In-Text Keyword Tagging based on Information Retrieval

  • Kim, Jin-Suk;Jin, Du-Seok;Kim, Kwang-Young;Choe, Ho-Seop
    • Journal of Information Processing Systems
    • /
    • 제5권3호
    • /
    • pp.159-166
    • /
    • 2009
  • As shown in Wikipedia, tagging or cross-linking through major keywords in a document collection improves not only the readability of documents but also responsive and adaptive navigation among related documents. In recent years, the Semantic Web has increased the importance of social tagging as a key feature of the Web 2.0 and, as its crucial phenotype, Tag Cloud has emerged to the public. In this paper we provide an efficient method of automated in-text keyword tagging based on large-scale controlled term collection or keyword dictionary, where the computational complexity of O(mN) - if a pattern matching algorithm is used - can be reduced to O(mlogN) - if an Information Retrieval technique is adopted - while m is the length of target document and N is the total number of candidate terms to be tagged. The result shows that automatic in-text tagging with keywords filtered by Information Retrieval speeds up to about 6 $\sim$ 40 times compared with the fastest pattern matching algorithm.

신문사 자료실에 대한 평가 -문헌전달능력과 검색효율을 중심으로- (Evaluation of the Newspaper Library -With Emphasis on the Document Delivery Capability and Retrieval Effectivenss-)

  • 노동조
    • 한국비블리아학회지
    • /
    • 제7권1호
    • /
    • pp.319-351
    • /
    • 1994
  • This rearch is a case study for the newspaper libraries in Seoul and the primary purpose of the this study are to investigate its document delivery capability. To achieve the above-mentioned purpose, representative rsers visited seven the newspaper library and checked their searching time. Document delivery capability was checked by units of hour, minute, second(searching time). Retrieval effectiveness was tested through the recall ratio and the precision ratio. The major findings of the study are summarized as follows: 1) Most of the newspaper libraries excellent to the document delivery capability; 6 newspaper libraries deliverived the data related subject. 2) The newspaper libraries were came out 50.1% the mean recall ratio and 84.8% the mean precision ratio about the all materials. 3) Concerned their own articles, the newspaper libraries showed 71.4% the recall ratio and 90.0% the precision ratio. That moaned their own articles were more effectived than others. 4) The Kookmin Ilbo library had the most excellent system, and the precision ratio of The Dong-A Ilbo library prior to the recall ratio. The Han Kyoreh Shinmun library had a excellent arragement in own articles, but The Segye Times library had problem in every parties.

  • PDF

A Study on the DB-IR Integration: Per-Document Basis Online Index Maintenance

  • Jin, Du-Seok;Jung, Hoe-Kyung
    • Journal of information and communication convergence engineering
    • /
    • 제7권3호
    • /
    • pp.275-280
    • /
    • 2009
  • While database(DB) and information retrieval(IR) have been developed independently, there have been emerging requirements that both data management and efficient text retrieval should be supported simultaneously in an information system such as health care, customer support, XML data management, and digital libraries. The great divide between DB and IR has caused different manners in index maintenance for newly arriving documents. While DB has extended its SQL layer to cope with text fields due to lack of intact mechanism to build IR-like index, IR usually treats a block of new documents as a logical unit of index maintenance since it has no concept of integrity constraint. However, In the DB-IR integrations, a transaction on adding or updating a document should include maintenance of the posting lists accompanied by the document. Although DB-IR integration has been budded in the research filed, the issue will remain difficult and rewarding areas for a while. One of the primary reasons is lack of efficient online transactional index maintenance. In this paper, performance of a few strategies for per-document basis transactional index maintenance - direct index update, pulsing auxiliary index and posting segmentation index - will be evaluated. The result shows that the pulsing auxiliary strategy and posting segmentation indexing scheme, can be a challenging candidates for text field indexing in DB-IR integration.

XML을 이용한 구조적 문서 생성 및 탐색을 위한 깊이중심분할 색인기법에 관한 연구 (A Study on the Depth-Oriented Decomposition Indexing Method for Creating and Searching Structured Documents Based-on XML)

  • 양옥렬;이용주
    • 정보처리학회논문지D
    • /
    • 제9D권6호
    • /
    • pp.1025-1042
    • /
    • 2002
  • 본 논문은 정보검색을 위한 용어들 간에 존재하는 관련정보인 시소러스를 이용하여 정보 검색 시스템의 검색 성능을 향상시키기 위한 구조적 문서를 생성하고 이를 검색하는 검색 기법에 대하여 연구하였다. 이를 위해 시소러스를 이용한 구조적 문서의 탐색을 위한 깊이중심분할 색인(DODI : Depth-Oriented Decomposition Index) 기법을 제안하였으며, 또한 시소러를 이용한 색인 기법으로서 효과적인 정보 검색이 가능하도록 검색 알고리즘을 통해 연관관계의 정보들에 대한 검색이 가능하도록 하였다. 또한 색인기법에 의해 생성된 구조적 문서는 OpenXML을 통해 데이터베이스 내에 저장되고, ForXML 메소드를 이용하여 재구성된 XML문서를 생성하도록 구조적 문서 저장 시스템을 구현하였다.

피벗 역문헌빈도 가중치 기법에 대한 연구 (A Study on the Pivoted Inverse Document Frequency Weighting Method)

  • 이재윤
    • 정보관리학회지
    • /
    • 제20권4호통권50호
    • /
    • pp.233-248
    • /
    • 2003
  • 역문헌빈도 가중치 기법은 문헌 집단에서 출현빈도가 낮을수록 색인어의 중요도가 높다는 가정에 근거하고 있다. 그런데 이는 중간빈도어를 중요하게 여기는 여타 이론과는 일치하지 않는 것이다. 이 연구에서는 저빈도어보다 중간빈도어가 더 중요하다는 가정에 근거하여 역문헌빈도 가중치 공식을 수정한 피벗 역문헌번도 가중치 기법을 제안하였다. 제안된 기법을 검증하기 위해서 세 실험집단을 대상으로 검색실험을 수행한 결과, 피벗 역문헌빈도 가중치기법이 역문헌빈도 가중치 기법에 비해서 특히 검색결과 상위에서의 성능을 향상시키는 것으로 나타났다.

시소러스의 연관성 정보를 이용한 문서의 순위 결정 방법 (Document ranking methods using term dependencies from a thesaurus)

  • 이준호
    • 정보관리학회지
    • /
    • 제10권2호
    • /
    • pp.3-22
    • /
    • 1993
  • 최근 시소러스를 기반으로 하는 불리안 검색 시스템에서 문서의 순위 결정에 사용 될 수 있는 Relevance, R-distance, K-distance와 같은 방법들이 개발되었다. 이러한 방법들은 색인어들 사이의 연관성 정보를 이용하여 문서들의 순위를 결정함으로써 많은 경우에 높은 검색 효율을 제공할 지라도, 불리안 연산자 AND, OR, NOT에 대한 연산 방법이 문제점으로 지적되어왔다. 본 논문에서는 개선된 퍼지 집합 모델과 확장된 불리안 모델을 시소러스가 제공하는 색인어들 사이의 연관성 정보를 효율적으로 이용할 수 있도록 확장함으로써, 기존 방법들의 문제점을 극복하는 새로운 순위 결정 방법 KB-FSM과 KB-EBM을 제안한다. 또한 KB-FSM과 KB-EBM이 Relevance, R-distance, K-distance보다 문서들의 순위를 보다 정확하게 결정함을 성능 비교를 통하여 입증한다.

  • PDF