• 제목/요약/키워드: Related Documents Retrieval

검색결과 56건 처리시간 0.024초

동시링크를 이용한 웹 문서 클러스터링 실험 (Clustering of Web Document Exploiting with the Co-link in Hypertext)

  • 김영기;이원희;권혁철
    • 한국도서관정보학회지
    • /
    • 제34권2호
    • /
    • pp.233-253
    • /
    • 2003
  • 인간은 지식의 조직을 통해 세계를 이해한다. 정보검색분야에서 연구되고 있는 정보의 조직화에는 분류와 클러스터링이라는 두 가지 유형이 있다. 분류는 미리 정의된 범주에 각 항목을 배정하는 행위인 반면, 클러스터링은 유사하거나 관련된 항목을 집단화함으로써 정보를 조직한다. 인터넷 정보자원의 조직은 웹 문서에 출현하는 단어들에서 키워드를 추출하여 역파일을 작성함으로써 검색에 활용하는 것이 일반적인 방법이다. 그러나 키워드의 출현 위치나 단어빈도를 통한 문서유사도 기법은 사용된 언어가 다르거나 대부분이 앵커텍스트만으로 구성되어 있는 대문페이지처럼 적용하기 어려운 경우가 많다. 이 연구는 계량정보학적 분석 기법 중에서 동시인용 기법을 웹 문서의 하이퍼링크에 적용하여, 웹 문서의 클러스터링 가능성을 실험한다.

  • PDF

역사객체 기반의 기계학습 기법을 활용한 웹 문서의 시간정보 추출 방안 제안 (A Proposal of Methods for Extracting Temporal Information of History-related Web Document based on Historical Objects Using Machine Learning Techniques)

  • 이준;권용진
    • 인터넷정보학회논문지
    • /
    • 제16권4호
    • /
    • pp.39-50
    • /
    • 2015
  • 최근 검색엔진을 통한 정보검색 과정에서 특정 시구간 상황에 대응하는 문서를 검색하고자 하는 경우가 있다. 예를 들면, 임진왜란 이전의 시대적 상황과 관련된 문서를 검색하기 위해, 키워드 '임진왜란'으로 검색하면 시간에 관계없이 임진왜란 당시나 전후의 모든 문서가 검색되어 추가적인 작업이 요구된다. 또한, 역사관련 문서의 경우는 문서내용에 대응하는 시간 정보가 문서 생성시간과 일치하지 않는 경우가 대부분이다. 만약 웹 문서의 내용에 대응하는 시간 정보를 추출 할 수 있다면 효과적인 정보검색은 물론 다양한 응용에 적용 가능할 것이다. 따라서 본 논문은 문서 내용에 대응하는 시간정보 추출을 목적으로, 조선시대를 대상으로 한 역사문헌을 활용하여 조선시대 역사관련 문서의 시간추출에 대한 연구를 진행한다. 역사 문헌과 웹으로부터 수집된 역사관련 문서를 바탕으로 역사객체를 정의하고, 이를 기반으로 다양한 기계학습 기법을 활용하여 웹 문서의 시간정보 추출에 대한 가능성을 확인한다. 또한 기계학습 과정에 있어서 객체의 유사도에 기반 한 여과과정을 제안하고 이를 적용한 효율적인 시간정보 추출 및 정확도 향상에 대한 결과를 비교 분석한다.

절단검색을 지원하는 전자사전 구조 (An Electronic Dictionary Structure supporting Truncation Search)

  • 김철수
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제9권1호
    • /
    • pp.60-69
    • /
    • 2003
  • 역화일을 파일구조로 이용하는 정보 검색 시스템에서는 검색자가 검색할 분야의 완전 단어를 알고 있어야 검색이 가능하다. 그러나 검색자가 완전 단어가 아닌 단어의 부분 문자열을 알고 있는 경우가 많다. 이럴 경우 부분 문자열을 포함하는 색인어들을 검색할 수 있다면 관련 문서들을 검색할 수 있다. 또한 검색된 문헌 수가 너무 적을 경우 부분 문자열을 포함하는 단어를 색인어로 가지는 모든 문서들을 검색하기 위한 방법이 필요하다. 이런 요건들을 충족시키기 위해서는 사용자는 용어 절단 방법을 이용하여 질의어를 구성할 수 있어야 하고, 검색 시스템은 절단 검색을 지원할 수 있는 전자 사전이 필요하다. 본 논문에서는 절단검색을 효율적으로 지원할 수 있는 전자 사전 구조를 설계하고 구현한다. 이 전자 사전은 저장된 단어 수에 관계없이 주어진 한 개의 단어 검색 시간 및 역 문자열로 구성된 단어 검색 시간이 빠르고 일정하다. 절단검색을 효율적으로 지원하기 위하여 트라이 구조를 이용하였으며, 빠른 검색 시간을 지원하기 위해 배열을 이용한 방법을 사용하였다. 절단된 용어의 검색 과정에서 확장할 문자열의 길이를 최소화하여 검색 시간을 줄였다.

MeSH 기반의 LDA 토픽 모델을 이용한 검색어 확장 (The MeSH-Term Query Expansion Models using LDA Topic Models in Health Information Retrieval)

  • 유석진
    • 한국도서관정보학회지
    • /
    • 제52권1호
    • /
    • pp.79-108
    • /
    • 2021
  • 헬스 분야에서 정보 검색의 어려움 중의 하나는 일반 사용자들이 전문적인 용어들을 이해하기가 어렵다는 점이다. 헬스와 관련된 전문 용어들은 일반 사용자들이 검색어로 사용하기 어렵기 때문에 이러한 전문 용어들이 자동적으로 검색어에 더해질 수 있다면 좀 더 검색의 효과를 높일 수 있을 것이다. 제안된 검색어 확장 모델은 전문 용어를 포함하는 MeSH(Medical Subject Headings)를 검색어 확장을 위한 단어 후보 군으로 이용하였다. 문서들은 MeSH용어들로 표현이 되고 이렇게 표현된 문서들의 집합에 대해서 LDA(Latent Dirichlet Analysis) 토픽들이 생성된 후, (검색어+초기 검색어에 의해 검색된 상위 k개 문서들)에 연관된 토픽 단어들이 원래의 검색어를 확장하는 데 쓰여졌다. MeSH로 구성된 토픽 단어들은 임의로 정해진 토픽 확률 임계값과 토픽을 구성하는 단어의 확률 임계값보다 높았을 때 초기의 검색어에 포함되었다. 특정수의 토픽을 갖는 LDA 모델에서 이러한 적절한 임계값의 설정을 통해 선택된 토픽 단어들은 검색어 확장에 이용되어 검색시에 infAP(inferred Average Precision)와 infNDCG(inferred Normalized Discounted Cumulative Gain)를 높이는데 효과적으로 작용하였다. 또한 토픽 확률값과 토픽 단어의 확률값을 곱하여 계산된 토픽 단어의 스코어가 높은 상위 k개의 단어를 검색어를 확장하는 데 이용하였을 때에도 검색의 성능이 향상될 수 있음을 확인하였다.

RDBMS를 이용하여 XML 문서 관리를 위한 경로 저장과 숫자 매칭 기법 (A Path Storing and Number Matching Method for Management of XML Documents using RDBMS)

  • 봉하익;황병연
    • 한국멀티미디어학회논문지
    • /
    • 제10권7호
    • /
    • pp.807-816
    • /
    • 2007
  • 1996년 W3C에서 XML을 제안한 이래, 다량의 XML(eXtensible Markup Language) 문서들이 인터넷에 확산되고 있다. 이런 이유로, XML과 관련된 연구의 필요성이 증가하고 있는 실정이다. 특히, XML 문서들을 저장, 검색, 그리고 관리하기 위한 XML 관리 시스템에 대한 연구가 활발히 진행되고 있다. 이런 연구들 중에서 XRel은 XML 문서 관리를 위한 대표적인 연구로써 인정되고 있으며, 비교 대상의 연구로서 사용되고 있다. 본 논문에서는 관계형 데이터베이스 시스템을 기반으로 한 XML문서에 대한 관리 기법을 제시한다. 이는 XRel처럼 모든 가능 경로를 저장하는 것이 아니라, 노드의 텍스트 값이나 속성 값이 존재하는 경로만을 저장하는 방식이다. 또, 노드 표현에 따라 고유 노드명 식별자(Node Expression Identifier)를 부여함으로써 부여된 노드 식별자를 매칭하는 숫자 매칭(Number Matching)기법을 제안한다. 마지막으로 제안 방식의 효율성을 입증하기 위해, 기존 방법과 XPath 질의에 대한 처리 성능을 비교함으로써 제안한 방법의 효율성을 제시한다.

  • PDF

웹 정보의 자동 의미연계를 통한 학술정보서비스의 확대 방안 연구 (A Exploratory Study on the Expansion of Academic Information Services Based on Automatic Semantic Linking Between Academic Web Resources and Information Services)

  • 정도헌;유소영;김환민;김혜선;김용광;한희준
    • 정보관리연구
    • /
    • 제40권1호
    • /
    • pp.133-156
    • /
    • 2009
  • 이 연구에서는 KISTI NDSL의 학술논문 정보를 웹 학술자원과 연계하는 실험적 연구를 수행함으로써 KISTI의 정보 유통 서비스의 확대 가능성을 살펴보고자 하였다. 이를 위해 웹 학술자원을 수집하여 STEAK 시스템을 이용한 자동 의미 연계를 생성하고 이를 학술논문 검색결과와 결합하였다. 시스템의 검색 정확률을 평가한 결과 매크로 정확률은 62.6%, 마이크로 정확률은 66.9%를 보였으며, 자동연계 성능에 대한 전문가 평가는 76.7점을 보였다. 주제 범주별 전문가 평가는 본 연구를 통해 의미연계를 잘 수행하는 경우에 높게 측정되어 시스템적 성능과 동일한 경향을 보였다. 이 연구는 다양한 웹 학술자원의 서비스 연계를 위하여 논문정보로부터 생성한 언어자원을 의미색인에 사용한 것으로 이를 통해 지속적인 웹 자원의 학술적 활용에 대한 가능성을 제시하고자 하였다.

딥러닝 기반 임상 관계 학습을 통한 질병 예측 (Disease Prediction By Learning Clinical Concept Relations)

  • 조승현;이경순
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제11권1호
    • /
    • pp.35-40
    • /
    • 2022
  • 본 논문에서는 임상 의사 결정 지원을 위하여 의학 지식을 통해 임상 관계를 추출하고 딥러닝 모델을 이용하여 질병을 예측하는 방법을 제안한다. 의학 사전인 UMLS(Unified Medical Language System)와 암 관련 의학 지식에 포함된 임상 용어를 5가지로 분류한다. 분류된 임상 용어들을 사용하여 위키피디아 의학 문서를 추출한다. 추출한 위키피디아 의학 문서와 추출한 임상 용어를 매칭하여 임상 관계를 구축한다. 구축한 임상 관계를 이용하여 딥러닝 학습을 진행한 후 질의에서 표현된 의학 용어를 바탕으로 질의와 연관된 질병을 예측한다. 이후, 예측한 질병과 관계가 있는 의학 용어를 확장 질의로 선택한 뒤 질의를 확장한다. 제안 방법의 유효성을 검증하기 위해 TREC Clinical Decision Support(CDS), TREC Precision Medicine(PM) 테스트 컬렉션에 대해 비교 평가한다.

Machine Learning Based Automatic Categorization Model for Text Lines in Invoice Documents

  • Shin, Hyun-Kyung
    • 한국멀티미디어학회논문지
    • /
    • 제13권12호
    • /
    • pp.1786-1797
    • /
    • 2010
  • Automatic understanding of contents in document image is a very hard problem due to involvement with mathematically challenging problems originated mainly from the over-determined system induced by document segmentation process. In both academic and industrial areas, there have been incessant and various efforts to improve core parts of content retrieval technologies by the means of separating out segmentation related issues using semi-structured document, e.g., invoice,. In this paper we proposed classification models for text lines on invoice document in which text lines were clustered into the five categories in accordance with their contents: purchase order header, invoice header, summary header, surcharge header, purchase items. Our investigation was concentrated on the performance of machine learning based models in aspect of linear-discriminant-analysis (LDA) and non-LDA (logic based). In the group of LDA, na$\"{\i}$ve baysian, k-nearest neighbor, and SVM were used, in the group of non LDA, decision tree, random forest, and boost were used. We described the details of feature vector construction and the selection processes of the model and the parameter including training and validation. We also presented the experimental results of comparison on training/classification error levels for the models employed.

통계적 정보를 이용한 복합명사 검색 모델 (A Compound Term Retrieval Model Using Statistical lnformation)

  • 박영찬;최기선
    • 인지과학
    • /
    • 제6권3호
    • /
    • pp.65-81
    • /
    • 1995
  • 복합명사는 한국어에서 가장 빈번하게 나타나는 색인어의 한 형태로서,영어권 중심의 정보검색 모델로는 다루기가 어려운 언어 현상의 하나이다.복합명사는 2개 이상의 단일어들의 조합으로 이루어져 있고,그 형태 또한 여러가지로 나타나기 때문에 색인과 검색의 큰 문제로 여겨져 왔다.본 논문에서는 복합명사의 어휘적 정보를 단위명사들의 통계적행태(statistical behavior)에 기반 하여 자동 획득하고,이러한 어휘적 정보를 검색에 적용하는 모델을 제시하고자 한다.본 방법은 색인시의 복합명사 인식의 어려움과 검색시의 형태의 다양성을 극복하는 모델로서 한국어를 포함한 동양권의 언어적 특징을 고려한 모델이다.

  • PDF

효율적인 부울 질의 연산에 관한 연구 (An Efficient Boolean Query Processing in Information Retrieval)

  • 채승기;남영광;박현주
    • 정보관리학회지
    • /
    • 제13권1호
    • /
    • pp.173-185
    • /
    • 1996
  • 본 논문에서는 부울검색시스템에서 사용자로부터 입력되는 부울 질의를 효율적으로 연산하기 위한 부울 질의 최적화 방법 4가지를 기술한다. 첫째, 프로그래밍 언어에서 논리식의 계산에 사용되는 단거리계산 방법을 적용한다. 둘째, AND, NOT과 같은 특정 연산자를 효율적으로 연산하기 위하여 색인어 출현 빈도의 차이를 이용한다. 세째, 분배법칙이 적용된 질의를 원래의 식으로 변환하여 연산의 수를 감소시킨다. 마지막으로 반복되는 식을 포함하는 질의에 대하여 중복 연산을 회피한다. 또한 위의 4가지 방법들을 UNIX환경에서 개발된 KRISTAL-II 시스템에 구현하여, 제시된 방법들이 특정 경우에 검색 속도를 향상시킬 수 있음을 검증하였다.

  • PDF