• Title/Summary/Keyword: Document information retrieval

검색결과 413건 처리시간 0.037초

문단 단위 가중치 함수와 문단 타입을 이용한 문서 범주화 (Automatic Text Categorization Using Passage-based Weight Function and Passage Type)

  • 주원균;김진숙;최기석
    • 정보처리학회논문지B
    • /
    • 제12B권6호
    • /
    • pp.703-714
    • /
    • 2005
  • 문서 범주화 분야에 대한 연구들은 전체 문서 단위에 한정되어 왔으나, 오늘날 대부분의 전문들이 주요 주제를을 표현하기 위해서 조직화 된 특정 구조로 기술되고 있어, 텍스트 범주화에 대한 새로운 인식이 필요하게 되었다. 이러한 구조는 부주제(Sub-topic)의 텍스트 블록이나 문단(Passage) 단위의 나열로서 표현되는데, 이러한 구조 문서에 대한 부주제 구조를 반영하기 위해서 문단 단위(Passage-based) 문서 범주화 모델을 제안한다. 제안한 모델에서는 문서를 문단들로 분리하여 각각의 문단에 범주(Category)를 할당하고, 각 문단의 범주를 전체 문서의 범주로 병합하는 방법을 사용한다. 전형적인 문서 범주화와 비교할 때, 두 가지 부가적인 절차가 필요한데, 문단 분리와 문단 병합이 그것이다. 로이터(Reuter)의 4가지 하위 집합과 수십에서 수백 KB에 이르는 전문 테스트 컬렉션(KISTl-Theses)을 이용하여 실험하였는데, 다양한 문단 타입들의 효과와 범주 병합 과정에서의 문단 위치의 중요성에 초점을 맞추었다 실험한 결과 산술적(Window) 문단이 모든 테스트 컬렉션에 대해서 가장 좋은 성능을 보였다. 또한 문단은 문서 안의 위치에 따라 주요 주제에 기여하는 바가 다른 것으로 나타났다.

국내(國內) 문헌정보(文獻情報) 검색(檢索)을 위한 키워드 자동추출(自動抽出) 시스템 개발(開發) (Automatic Keyword Extraction System for Korean Documents Information Retrieval)

  • 예용희
    • 정보관리연구
    • /
    • 제23권1호
    • /
    • pp.39-62
    • /
    • 1992
  • 본(本) 연구(硏究)는 실제의 데이터 분석(分析)을 통하여 60여개의 조사(助詞)와 출현빈도는 높지만 검색(檢率)에 불필요한 320여개의 불용어(不用語)를 선정하여 좌우절단을 적용한 네 가지 유형으로 분류하고 조사(助詞)와 불용어 테이블을 구성하는 방법(方法)을 제시한다. 한글문헌에서 단어(單語)가 추출되면 조사의 효율적인 절단이 이러우지고, 한자어(漢字語)일 경우 한글로 변환되며, 2단계로 불용어제거(不用語除去) 과정을 거쳐 키워드를 선정하는 시스템을 개발한다. 여기서 추출된 키워드는 정보전문가(情報專門家)에 의해 추출된 색인어(索引語)와는 92.2%의 일치율을 보였다. 그리고 $4{\sim}6$글자로 구성된 복합어(複合語)의 경우 본(本) 연구(硏究)에서 제시한 분리방법에 의해 약 2배의 새로운 단어(單語)를 추가할 수 있었으며 그 중 58.8%가 키워드로 적합했다.

  • PDF

Intelligent information filtering using rough sets

  • Ratanapakdee, Tithiwat;Pinngern, Ouen
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2004년도 ICCAS
    • /
    • pp.1302-1306
    • /
    • 2004
  • This paper proposes a model for information filtering (IF) on the Web. The user information need is described into two levels in this model: profiles on category level, and Boolean queries on document level. To efficiently estimate the relevance between the user information need and documents by fuzzy, the user information need is treated as a rough set on the space of documents. The rough set decision theory is used to classify the new documents according to the user information need. In return for this, the new documents are divided into three parts: positive region, boundary region, and negative region. We modified user profile by the user's relevance feedback and discerning words in the documents. In experimental we compared the results of three methods, firstly is to search documents that are not passed the filtering system. Second, search documents that passed the filtering system. Lastly, search documents after modified user profile. The result from using these techniques can obtain higher precision.

  • PDF

우편주소정보 추출모듈 개발 및 평가 (Development and Evaluation of Information Extraction Module for Postal Address Information)

  • 신현경;김현석
    • 창의정보문화연구
    • /
    • 제5권2호
    • /
    • pp.145-156
    • /
    • 2019
  • 본 연구에서는 명명된 실체 인식 기법에 기초한 정보 추출 모듈을 개발하고 평가하였다. 본 논문의 제시된 목적을 위해, 모듈은 사전 지식 없이 임의의 문서에서 우편 주소 정보를 추출하는 문제에 적용하도록 설계되었다. 정보 기술 실무의 관점에서, 우리의 접근방식은 유니그램 기반 키워드 매칭과 비교하여 일반화된 기법인 확률론적 n-gram(바이오그램 또는 트리그램) 방법이라고 말할 수 있다. 모델을 순차적으로 적용하지 않고 문장검출, 토큰화, POS 태그를 재귀적으로 적용하는 것이 우리의 접근법과 자연어 처리에 채택된 전통적인 방법 사이의 주요한 차이점이다. 이 논문에서는 약 2천 개의 문서를 포함한 시험 결과를 제시한다.

구조화된 비디오 문서의 데이터 모델 및 질의어와 색인 기법 (Data Model, Query Language, and Indexing Scheme for Structured Video Documents)

  • 류은숙;이규철
    • 한국멀티미디어학회논문지
    • /
    • 제1권1호
    • /
    • pp.1-17
    • /
    • 1998
  • 비디오 정보는 전자 도서관이나 WWW 및 주문형 비디오 (VOD) 시스템과 같은 다양한 응용분야에서 중요한 요소로 부각되고 있다. 비디오 정보는 특성상 계층적으로 구조화된 문서 형태를 가지기 때문에 본 논문에서는 이를 “구조화된 비디오 문서”라 부른다. 본 논문에서는 구조화된 비디오 문서를 데이터베이스에 효율적으로 저장하고, 검색하기 위한 데이터 모델과 질의어 및 색인 기법을 제안한다. 구조화된 비디오 문서는 논리적인 계층 구조 특성을 지니기 때문에, 본 논문에서는 객체 지향 데이터 모델을 이용하여 비디오 문서를 복합 객체로 모델링하고, 이를 저장하기 위한 객체 타입들을 정의한다. 또한 본 논문에서는 비디오 데이터의 캡션이나 주석을 기반으로 한 내용 기반 검색과 비디오 문서의 논리적 구조를 기반으로 한 구조 기반 검색을 제공하며, 비디오 문서의 시공간 관계 연산을 이용한 검색도 지원한다. 그리고, 구조화된 비디오 문서의 효율적인 질의와 색인 공간의 오버헤드를 줄이기 위해 최적화된 역 색인 기법을 제시한다.

  • PDF

FCA 기반 계층적 구조를 이용한 문서 통합 기법 (Methods for Integration of Documents using Hierarchical Structure based on the Formal Concept Analysis)

  • 김태환;전호철;최종민
    • 지능정보연구
    • /
    • 제17권3호
    • /
    • pp.63-77
    • /
    • 2011
  • 월드와이드웹(World Wide Web)은 인터넷에 연결된 컴퓨터를 통해 사람들이 정보를 공유할 수 있는 매우 큰 분산된 정보 공간이다. 웹은 1991년에 시작되어 개인 홈페이지, 온라인 도서관, 가상 박물관 등 다양한 정보 자원들을 웹으로 표현하면서 성장하였다. 이러한 웹은 현재 5천억 페이지 이상 존재할 것이라고 추정한다. 대용량 정보에서 정보를 효과적이며 효율적으로 검색하는 기술을 적용할 수 있다. 현재 존재하는 몇몇 검색 도구들은 초 단위로 gigabyte 크기의 웹을 검사하여 사용자에게 검색 정보를 제공한다. 그러나 검색의 효율성은 검색 시간과는 다른 문제이다. 현재 검색 도구들은 사용자의 질의에 적합한 정보가 적음에도 불구하고 많은 문서들을 사용자에게 검색해준다. 그러므로 대부분의 적합한 문서들은 검색 상위에 존재하지 않는다. 또한 현재 검색 도구들은 사용자가 찾은 문서와 관련된 문서를 찾을 수 없다. 현재 많은 검색 시스템들의 가장 중요한 문제는 검색의 질을 증가 시키는 것이다. 그것은 검색된 결과로 관련 있는 문서를 증가시키고, 관련 없는 문서를 감소시켜 사용자에게 제공하는 것이다. 이러한 문제를 해결하기 위해 CiteSeer는 월드와이드웹에 존재하는 논문에 대해 한정하여 ACI(Autonomous Citation Indexing)기법을 제안하였다. "Citaion Index"는 연구자가 자신의 논문에 다른 논문을 인용한 정보를 기술하는데 이렇게 기술된 논문과 자신의 논문을 연결하여 색인한다. "Citation Index"는 논문 검색이나 논문 분석 등에 매우 유용하다. 그러나 "Citation Index"는 논문의 저자가 다른 논문을 인용한 논문에 대해서만 자신의 논문을 연결하여 색인했기 때문에 논문의 저자가 다른 논문을 인용하지 않은 논문에 대해서는 관련 있는 논문이라 할지 라도 저자의 논문과 연결하여 색인할 수 없다. 또한 인용되지 않은 다른 논문과 연결하여 색인할 수 없기 때문에 확장성이 용이하지 못하다. 이러한 문제를 해결하기 위해 본 논문에서는 검색된 문서에서 단락별 명사와 동사 및 목적어를 추출하여 해당 동사가 명사 및 목적어를 취할 수 있는 가능한 값을 고려하여 하나의 문서를 formal context 형태로 변환한다. 이 표를 이용하여 문서의 계층적 그래프를 구성하고, 문서의 그래프를 이용하여 문서 간 그래프를 통합한다. 이렇게 만들어진 문서의 그래프들은 그래프의 구조를 보고 각각의 문서의 영역을 구하고 그 영역에 포함관계를 계산하여 문서와 문서간의 관계를 표시할 수 있다. 또한 검색된 문서를 트리 형식으로 보여주어 사용자가 원하는 정보를 보다 쉽게 검색할 수 있는 문서의 구조적 통합 방법에 대해 제안한다. 제안한 방법은 루씬 검색엔진이 가지고 있는 순위 계산 공식을 이용하여 문서가 가지는 중요한 단어를 문서의 참조 관계에 적용하여 비교하였다. 제안한 방법이 루씬 검색엔진보다15% 정도 높은 성능을 나타내었다.

W3 가상도서관 활용을 위한 HTML 문서작성과 이미지/사운드 처리 (A Review of Access Conditions of the W3 and the Inline Image/Sound Processing of HTML Document for Utilizing of the Virtual Library)

  • 유사라
    • 정보관리학회지
    • /
    • 제12권1호
    • /
    • pp.45-66
    • /
    • 1995
  • 90년대 중반기의 가상도서관을 기대하는 정보 이용자들은 W3에 대한 수요를 급증시키고 있다. 본 연구는 인터넷 조직의 하나인 CERN이 제공하는 가상도서관의 도서관 정보자원을 소개하고, 가상도서관의 활용을 위한 인터넷 서비스의 하나인 W3의 특징과 HTML/URLs 체계, 그리고 도서관 W3 서버를 탐색하는 과정에서의 HTML 화일내의 이미지와 사운드정보의 저장과 출력을 실제 W3검색을 통하여 상세히 기술하며, 최근에 정리된 HTML 문서작성에 대한 기본적 요소와 그에 대한 출처정보를 요약한다.

  • PDF

FRAD 개념 모형 기반의 학술논문 전거데이터 구조에 관한 연구 (A Study on the based on FRAD Conceptual Model based Authority Data Scheme for Academic Papers)

  • 이석형;곽승진
    • 한국문헌정보학회지
    • /
    • 제45권3호
    • /
    • pp.235-257
    • /
    • 2011
  • 본 연구의 목적은 국내 학술논문에 나타나는 저자명, 단체명, 학술지명 전거데이터 구조를 FRAD 개념 모형을 적용하여 설계하는데 있다. 학술정보에는 정보의 접근점이 되는 저자, 소속기관, 발행기관, 학술지 및 회의명과 같은 개체를 포함하고 있을 뿐만 아니라 이들 개체들간 여러 관계들이 존재하고 있다. FRAD 개념 모형에 따른 학술정보 전거데이터의 표현을 통해 학술정보의 체계적인 관리 및 정확한 정보 검색, 그리고 다양한 형태의 지식 표현이 가능할 것으로 판단된다. 본 연구에서 설계된 개체-관계형 학술정보 전거데이터는 학술문서와 연계되며, 개체 식별을 위한 여러 속성 정보 및 관계 정보를 포함한다.

위키피디아 기반 개체명 사전 반자동 구축 방법 (A Semi-automatic Construction method of a Named Entity Dictionary Based on Wikipedia)

  • 송영길;정석원;김학수
    • 정보과학회 논문지
    • /
    • 제42권11호
    • /
    • pp.1397-1403
    • /
    • 2015
  • 개체명은 다양한 자연어처리 연구 및 서비스에 중요한 정보로 이용된다. 개체명 인식의 성능을 향상시키기 위한 여러 연구에서 개체명 사전을 이용한 자질이 개체명 인식 성능에 큰 영향을 준다는 것을 보이고 있다. 그러나 개체명 사전을 구축하는 것은 매우 시간 소모적이고, 인력 소모적인 작업이다. 이를 완화하기 위해서 본 논문에서는 개체명 사전을 반자동으로 구축하는 방법을 제안한다. 제안 시스템은 능동학습을 이용하여 위키피디아 분류정보로 구성된 가상 문서를 개체명 범주 당 하나씩 생성한다. 그리고 잘 알려진 정보검색 모델인 BM25를 이용하여 위키피디아 엔트리와 가상문서 사이의 유사도를 계산한다. 마지막으로 유사도를 바탕으로 각 위키피디아 엔트리를 개체명 범주로 분류한다. 서로 다른 3종류의 개체명 범주 집합에서 실험한 결과, 제안 시스템은 매크로 평균 F1-점수 0.9028, 마이크로 평균 F1-점수 0.9554이라는 높은 성능을 보였다.

XML을 기반으로 한 관계형 데이터베이스 메타데이터 리파지토리 설계 및 구현 (Design and Implementation of XML Based Relational Database Metadata Repository)

  • 권은정;용환승
    • 정보처리학회논문지D
    • /
    • 제9D권1호
    • /
    • pp.1-10
    • /
    • 2002
  • 메타데이터는 데이터에 관한 데이터로 데이터를 관리하기 위하여 사용된다. 데이터베이스를 기반으로 하는 응용프로그램이 증가하면서 메타데이터를 관리하기 위해 XML(eXtensible Markup Language)형식의 메타데이터 모델 및 메타데이터 교환모델이 제안되고 있지만 XML형식의 메타데이터를 관계형 데이터베이스에 저장하는 것이 일반적이다. 따라서 본 논문에서는 관계형 데이터베이스의 메타데이터를 객체지향 데이터베이스에 저장하기 위해 메타데이터 모델과 메타데이터 교환모델을 설계하여 메타데이터를 관리하는 새로운 리파지토리 시스템 구현을 목적으로 한다. 관계형 데이터베이스의 메타데이터를 XML문서로 변형 후 객체지향 데이터베이스의 XML 데이터 서버인 eXcelon에 저장하여 XQL (XML Query Language)에 의해 질의함으로써 관계형 데이터베이스 시스템들의 메타데이터의 검색, 편집을 가능하도록 하고 XSL(extensible StyleSheets Language)의 적용을 통하여 다양한 양식으로 웹 브라우져 상에 메타데이터를 출력함으로써 메타데이터의 속성을 면밀히 파악할 수 있다.