• 제목/요약/키워드: Document information retrieval

검색결과 410건 처리시간 0.025초

구술문서 자료분석을 위한 정보검색기술의 응용 (Information Technology Application for Oral Document Analysis)

  • 박순철;함한희
    • 한국산업정보학회논문지
    • /
    • 제13권2호
    • /
    • pp.47-55
    • /
    • 2008
  • 본 연구는 정보검색기술을 응용해서 구술문서 자료를 효율적으로 분석하는 시스템 개발을 목적으로 한다. 여기서 사용된 기술은 용어검색, 문서요약기술, 클러스터링기술 문서분류기술 주제추적기술 등이 있다. 본 연구를 위해서 전북지역에서 채록한 구술자료를 이용하였다. 구술문서 구조의 특성을 반영하면서 분석의 단위를 정하고 내용의 자동분류 및 분류체계에 따른 분류도 시도하였다. 특히 주제를 추적하면서 순서에 따라서 검색해 가는 기술은 세계적으로도 아직 연구단계에 있던 것을 실제로 구현하였다. 이러한 5가지의 검색기술이 한 시스템에서 통합적으로 처리될 수 있다는 것도 이 연구가 이룬 성과이다. 이 연구의 기대효과는 구술문서 분석의 신뢰성 타당성 효용성을 높여서 구술문화연구에도 큰 기여를 할 것으로 기대된다.

  • PDF

불리언 질의 재구성에서 의사결정나무의 학습 성능 감도 분석 (Sensitivity Analysis of Decision Tree's Learning Effectiveness in Boolean Query Reformulation)

  • 윤정미;김남호;권영식
    • 한국경영과학회지
    • /
    • 제23권4호
    • /
    • pp.141-149
    • /
    • 1998
  • One of the difficulties in using the current Boolean-based information retrieval systems is that it is hard for a user, especially a novice, to formulate an effective Boolean query. One solution to this problem is to let the system formulate a query for a user from his relevance feedback documents in this research, an intelligent query reformulation mechanism based on ID3 is proposed and the sensitivity of its retrieval effectiveness, i.e., recall, precision, and E-measure, to various input settings is analyzed. The parameters in the input settings is the number of relevant documents. Experiments conducted on the test set of Medlars revealed that the effectiveness of the proposed system is in fact sensitive to the number of the initial relevant documents. The case with two or more initial relevant documents outperformed the case with one initial relevant document with statistical significances. It is our conclusion that formulation of an effective query in the proposed system requires at least two relevant documents in its initial input set.

  • PDF

PDFindexer: Distributed PDF Indexing system using MapReduce

  • Murtazaev, JAziz;Kihm, Jang-Su;Oh, Sangyoon
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제4권1호
    • /
    • pp.13-17
    • /
    • 2012
  • Indexing allows converting raw document collection into easily searchable representation. Web searching by Google or Yahoo provides subsecond response time which is made possible by efficient indexing of web-pages over the entire Web. Indexing process gets challenging when the scale gets bigger. Parallel techniques, such as MapReduce framework can assist in efficient large-scale indexing process. In this paper we propose PDFindexer, system for indexing scientific papers in PDF using MapReduce programming model. Unlike Web search engines, our target domain is scientific papers, which has pre-defined structure, such as title, abstract, sections, references. Our proposed system enables parsing scientific papers in PDF recreating their structure and performing efficient distributed indexing with MapReduce framework in a cluster of nodes. We provide the overview of the system, their components and interactions among them. We discuss some issues related with the design of the system and usage of MapReduce in parsing and indexing of large document collection.

단어 의미 표현과 질병 중심 의학 문서 클러스터 기반 의학 문서 검색 기법 (Method of Document Retrieval Using Word Embeddings and Disease-Centered Document Clusters)

  • 조승현;이경순
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
    • /
    • pp.51-55
    • /
    • 2016
  • 본 논문에서는 임상 의사 결정 지원을 위한 UMLS와 위키피디아를 이용하여 지식 정보를 추출하고 질병중심 문서 클러스터와 단어 의미 표현을 이용하여 질의 확장 및 문서를 재순위화하는 방법을 제안한다. 질의로는 해당 환자가 겪고 있는 증상들이 주어진다. UMLS와 위키피디아를 사용하여 병명과 병과 관련된 증상, 검사 방법, 치료 방법 정보를 추출하고 의학 인과 관계를 구축한다. 또한, 위키피디아에 나타나는 의학 용어들에 대하여 단어의 효율적인 의미 추정 기법을 이용하여 질병 어휘의 의미 표현 벡터를 구축하고 임상 인과 관계를 이용하여 질병 중심 문서 클러스터를 구축한다. 추출한 의학 정보를 이용하여 질의와 관련된 병명을 추출한다. 이후 질의와 관련된 병명과 단어 의미 표현을 이용하여 확장 질의를 선택한다. 또한, 질병 중심 문서 클러스터를 이용하여 문서 재순위화를 진행한다. 제안 방법의 유효성을 검증하기 위해 TREC Clinical Decision Support(CDS) 2014, 2015 테스트 컬렉션에 대해 비교 평가한다.

  • PDF

가중치 기반 PLSA를 이용한 문서 평가 분석 (Reputation Analysis of Document Using Probabilistic Latent Semantic Analysis Based on Weighting Distinctions)

  • 조시원;이동욱
    • 전기학회논문지
    • /
    • 제58권3호
    • /
    • pp.632-638
    • /
    • 2009
  • Probabilistic Latent Semantic Analysis has many applications in information retrieval and filtering, natural language processing, machine learning from text, and in related areas. In this paper, we propose an algorithm using weighted Probabilistic Latent Semantic Analysis Model to find the contextual phrases and opinions from documents. The traditional keyword search is unable to find the semantic relations of phrases, Overcoming these obstacles requires the development of techniques for automatically classifying semantic relations of phrases. Through experiments, we show that the proposed algorithm works well to discover semantic relations of phrases and presents the semantic relations of phrases to the vector-space model. The proposed algorithm is able to perform a variety of analyses, including such as document classification, online reputation, and collaborative recommendation.

단어 연관성 가중치를 적용한 연관 문서 추천 방법 (A Method on Associated Document Recommendation with Word Correlation Weights)

  • 김선미;나인섭;신주현
    • 한국멀티미디어학회논문지
    • /
    • 제22권2호
    • /
    • pp.250-259
    • /
    • 2019
  • Big data processing technology and artificial intelligence (AI) are increasingly attracting attention. Natural language processing is an important research area of artificial intelligence. In this paper, we use Korean news articles to extract topic distributions in documents and word distribution vectors in topics through LDA-based Topic Modeling. Then, we use Word2vec to vector words, and generate a weight matrix to derive the relevance SCORE considering the semantic relationship between the words. We propose a way to recommend documents in order of high score.

디지털도서관 문서양식으로서의 XML과 HTML의 특성 및 검색 기능 비교 연구 (A Comparative Study of XML and HTML: Focusing on Their Characteristics and Retrieval Functions)

  • 김현희;장혜원
    • 정보관리학회지
    • /
    • 제16권2호
    • /
    • pp.105-134
    • /
    • 1999
  • 본 연구에서는 XML과 HTML의 이론적인 특성을 포괄적으로 비교하고 이러한 특성들이 실험 시스템에서 어떻게 적용되고 있는지를 검색기능, 검색 환경 및 이용자 만족도 측면에서 비교 분석하며, XML이 정보 검색에서 기존의 HTML 보다 더 유용한 것인지를 살펴보았다. 비교결과, XML은 복합 내용 및 구조검색이 가능한 점, 관련 자료들을 다중 링크를 사용해 접속할 수 있다는 점 그리고 데이터베이스로 구축할 경우 XML 문서는 태그를 이용해 자동적으로 변환할 수 있다는 등이 HTML 보다 더 우수한 것으로 나타났다. XML이 보다 활성화되기 위해서는 XML 문법을 완벽하게 지원하는 XML 관련 소프트웨어가 많이 개발되어져야 한다. 또한, XML이 주는 무제한적인 태그 작성의 자유가 자칫 동일한 문헌 형태를 너무 다양한 양식들로 표현하다 보면 혼란을 빚을 가능성도 매우 높아지고 있다. 따라서, 특정 문헌 형태에 대한 표준적인 DTD 설계가 절실히 요구되어진다.

  • PDF

일본어 DODDLE와 범용 온토로지를 이용한 도메인 온토로지의 구축 및 평가 (Constructing Domain Ontologies Using Japanese DODDLE and General Ontologies)

  • 홍윤기;산구고평;김태석
    • 한국멀티미디어학회논문지
    • /
    • 제9권2호
    • /
    • pp.226-233
    • /
    • 2006
  • 인터넷의 확산으로 방대한 정보가 웹에 넘쳐나고 있지만, 사용자가 필요한 정보를 얻기 위해서는 검색 시스템 이용이 필수적이다. 사용자가 원하는 정보를 검색 시스템 결과로부터 얻는 것이 힘들기 때문에, 검색 시스템의 결과 향상에 관하여 다양한 연구가 진행되고 있다. 온토로지의 구축은 많은 비용이 필요하기 때문에, 일본어 온토로지 구축을 용이하게 해주는 일본어 DODDLE이라는 툴을 사용한다. 본 논문에서는 범용 온토로지를 이용한 온토로지 구축 라이프 사이클, 문서 검색과 관련된 온토로지(Ontology) 구축 방법과 구축된 온토로지를 이용하여 검색 결과를 향상시키는 방법을 제안한다. 그리고 제안된 방법의 효율성을 입증하기 위하여 사례 연구법을 사용하였고, 로켓운용지원 온토로지를 구축하여 실험한 결과를 보여준다.

  • PDF

Generative Adversarial Network를 활용한 Image2Vec기반 이미지 검색 모델 개발 (An Development of Image Retrieval Model based on Image2Vec using GAN)

  • 조재춘;이찬희;이동엽;임희석
    • 디지털융복합연구
    • /
    • 제16권12호
    • /
    • pp.301-307
    • /
    • 2018
  • 검색에서 이미지는 시각적 속성이 중요지만, 기존의 검색방법은 문서 검색을 위한 방법에 초점이 맞춰져 있어 이미지의 속성 정보가 미반영된 키워드 중심의 검색 시스템이 대부분이다. 본 연구는 이러한 한계를 극복하고자 이미지의 벡터정보를 기반으로 유사 이미지를 검색할 수 있는 모델과 스케치로 검색 쿼리를 제공하여 유사 이미지를 검색할 수 있는 시스템을 개발하였다. 제안된 시스템은 GAN을 이용하여 스케치를 이미지 수준으로 업 샘플링하고, 이미지를 CNN을 통해 벡터로 변환한 후, 벡터 공간 모델을 이용하여 유사 이미지를 검색한다. 제안된 모델을 구현하기 위하여 패션 이미지를 이용하여 모델을 학습시켰고 패션 이미지 검색 시스템을 개발하였다. 성능 측정은 Precision at k를 이용하였으며, 0.774와 0.445의 성능 결과를 보였다. 제안된 방법을 이용하면 이미지 검색 의도를 키워드로 표현하는데 어려움을 느끼는 사용자들의 검색 결과에 긍정적 효과가 나타날 것으로 기대된다.

효율적 정보자원 공유를 위한 서지 메타데이터 XML DTD 개발 (Bibliographic metadata development for the efficient information resource sharing)

  • 이혜진;송인석
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2004년도 추계 종합학술대회 논문집
    • /
    • pp.427-433
    • /
    • 2004
  • 현재 정보 제공 기관들은 분산, 독립적으로 대부분 자료 유형별 서지 메타데이터를 개발, 유형별 검색 서비스 또는 통합 검색 서비스를 제공하고 있다. 그러나 MARC나 MODS등의 관련 표준을 적용한 개별DB스키마의 경우 통합적인 관리나 일관성 있는 유지보수가 어렵고, 특히 자료 유형간의 관계 정의가 되어 있지 않아 전체 자원에 대한 체계적인 자료 수집과 공유체제 구축에는 많은 문제점이 있다. 본 연구에서는 기술적 해결방안으로서 국내외 주요 정보 서비스 기관이 현재 제공하는 학술지, 회의자료 등 여러 자원 유형의 메타데이터 모델을 수집 조사 분석하여 자료 유형별 메타데이터의 체계적 통합 관리를 지원하는 데이터 요소 정의와 모델링 프레임워크 그리고 모듈 기반의 XML DTD를 제안하고자 한다.

  • PDF