• Title/Summary/Keyword: Document Indexing

Search Result 105, Processing Time 0.027 seconds

Classification of Korean Documents Based on CNN Using Document Indexing Method based on Word Meaning and Order (단어의 의미와 순서를 고려하는 문서색인방법을 이용한 CNN 기반 한글문서분류)

  • Kim, Nam-Hun;Yang, Hyung-Jeong
    • Proceedings of The KACE
    • /
    • 2017.08a
    • /
    • pp.41-45
    • /
    • 2017
  • 본 논문에서는 컨볼루션 신경망 네트워크(CNN:Convolution Neural Network)을 기반으로 단어의 의미와 순서를 고려하는 문서 색인 방법을 이용하여 한글 문서 분류 방법을 제안한다. 먼저 문서를 형태소 분석하여 어절 단위로 분리 한 후, 불용어를 처리 하고, 문서의 단어 의미를 고려하는 문서 표현하고, 문서의 단어 순서까지 고려하여 CNN의 입력으로 사용하였다. 실험결과 CNN 분류기를 기반으로 본 논문에서 제안하는 문서 색인 방법은 TF-IDF를 이용하는 방법보다 4.2%, Word2vec만 단독으로 사용하는 것보다 1.4%의 성능 상승을 이루었다. 이러한 결과를 통해 본 논문에서 제안하는 방법이 문서범주화 데이터 셋에서 문서 분류 성능향상에 영향을 미친다는 것을 확인하였다.

  • PDF

Deep-Learning Approach for Text Detection Using Fully Convolutional Networks

  • Tung, Trieu Son;Lee, Gueesang
    • International Journal of Contents
    • /
    • v.14 no.1
    • /
    • pp.1-6
    • /
    • 2018
  • Text, as one of the most influential inventions of humanity, has played an important role in human life since ancient times. The rich and precise information embodied in text is very useful in a wide range of vision-based applications such as the text data extracted from images that can provide information for automatic annotation, indexing, language translation, and the assistance systems for impaired persons. Therefore, natural-scene text detection with active research topics regarding computer vision and document analysis is very important. Previous methods have poor performances due to numerous false-positive and true-negative regions. In this paper, a fully-convolutional-network (FCN)-based method that uses supervised architecture is used to localize textual regions. The model was trained directly using images wherein pixel values were used as inputs and binary ground truth was used as label. The method was evaluated using ICDAR-2013 dataset and proved to be comparable to other feature-based methods. It could expedite research on text detection using deep-learning based approach in the future.

open-japanese-mesh: assigning MeSH UIDs to Japanese medical terms via open Japanese-English glossaries

  • Yamada, Ryota;Tatieisi, Yuka
    • Genomics & Informatics
    • /
    • v.18 no.2
    • /
    • pp.22.1-22.3
    • /
    • 2020
  • The Medical Subject Headings (MeSH) thesaurus is a controlled vocabulary for indexing biomedical documents that is used for document retrieval and other natural language processing purposes. However, although the oariginal English MeSH is freely available, its Japanese translation has a restricted license. We attempted to create an open alternative, and for this purpose we made a script for assigning MeSH UIDs to Japanese medical terms using Japanese-English glossaries. From the MeSpEn glossary and MEDUTX dictionary, we generated a 12,457-word Japanese-MeSH dictionary.

구문 및 의미 분석을 통한 한국어 자동 색인

  • 최기선
    • Journal of the Korean Society for information Management
    • /
    • v.8 no.2
    • /
    • pp.96-107
    • /
    • 1991
  • The inherent limitation of the conventional approaches in automatic indexing lies in the fact that they compute the relevancy between index terms and documents rather indirectly or relatively. As an alternative the anlaysis of document texts seeks a means of establishing a direct relevancy of the terms. More rigorous linguistic analysis will ensure better chance of relevancy. Various semantic topologies among terms may suggest the sufficient quality for relevancy. The enhanced and guaranteed relevance will allow the high precision of retrieval. Along with this line the on going project in KAIST pursues the user oriented retrieval system that spawns still may other issues that are not c o m n in traditional perspective.

  • PDF

A Study of Indexing Methods with weight-value of Web document (가중치를 가지는 웹문서 색인기법에 관한 연구)

  • Kim, Jong-Young;Kim, Cheol-Su
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2002.11c
    • /
    • pp.2459-2462
    • /
    • 2002
  • 검색된 문헌들에 대한 항해 시간을 줄이기 위해서 검색된 문헌들의 문헌 순위화가 필수적이다. 문헌 순위화를 위해서는 문헌 순위화를 위한 순위화 정보가 필요하다. 본 논문에서는 검색된 문헌들에 대한 순위화를 보다 효율적으로 수행하기 위한 정보를 제공하기 위하여 HTML 문서에 대한 색인 과정에서 다양한 가중치를 가지는 색이어 추출 방법에 관하여 연구하였다. 웹문서들은 태그로 이루어지며 중요한 색인어들은 특정 태그 속에 포함되어 있다는 것에 착안하여 색인어의 중요도에 영향을 줄 수 있는 태그를 선별하고, 선별된 태그들에 대해 휴리스틱 정보를 이용하여 중요도를 부여한 후 선별된 태그에 영향을 받는 문장들에서 추출된 색인어에 대하여 가중치를 부여하는 방법을 이용하였다. 색인어 추출을 형태소 분석기를 이용하였다. 색인어들이 다양한 가중치를 가지므로 검색 과정에서 검색된 문헌들에 대하여 효율적인 순위화가 가능하여 관련 문헌을 보다 빠르게 찾을 수 있는 환경을 제공할 수 있다.

  • PDF

An Indexing Model for Efficient Structure-based Retrieval on XML Documents (XML 문서에 대한 효율적인 구조 기반 검색을 위한 색인 모델)

  • 박종관;강형일;손충범;유재수
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.10a
    • /
    • pp.18-20
    • /
    • 2000
  • XML 문서의 구조검색을 위한 기존 방법들은 특정 엘리먼트의 조상, 자손, 형제에 대한 다양한 구조검색을 효율적으로 지원하지 못한다. 본 논문에서는 XML 문서의 효율적인 관리와 구조검색을 위해 DTD(Document Type Definition)의 논리적 구조를 따르는 XML 문서에 대해 구조정보를 표현하기 위한 방법을 제시한다. 구조정보는 엘리먼트 이름을 식별할 수 있는 EID, 부모와 자식 엘리먼트간의 계층정보를 위한 ETID, 동일한 부모 엘리먼트를 갖는 자식 엘리먼트들의 순서정보를 위한 SORD, 그리고 동일한 부모 엘리먼트를 갖는 자식들 중 동일한 타입의 엘리먼트들에 대한 순서정보를 위한 SSORD로 구성된다. 이런 구조정보를 이용해 빠른 검색을 위한 내용 색인, 구조 색인, 애트리뷰트 색인을 설계한다. 설계된 색인을 통하여 질의를 처리하는 과정을 설명함으로써 다양한 구조적 질의를 효과적으로 처리할 수 있음을 보인다.

  • PDF

An Identifying Method of XML Document based on Bitmap Indexing using Path Construction Similarity (경로 구성 유사도를 이용한 비트맵 인덱싱 기반 XML 문서 인식 기법)

  • Lee, Jae-Min;Hwang, Byung-Yeon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2003.05c
    • /
    • pp.1515-1518
    • /
    • 2003
  • XML의 대표적인 특징은 기존의 다른 컨텐츠와는 달리 문서의 구조를 기술할 수 있다는 것이다. 구조적 정보는 활용 방법에 파라 XML문서의 다양한 처리에 있어 성능을 향상시키는 핵심적인 요소가 될 수 있다. 그러나 XML 태그의 자기 서술적인 특성에서 비롯되는 구조적 표현의 차이는 오히려 문서의 식별을 어렵게 하는 원인이 된다. 본 논문에서는 기존의 비트맵 인덱스(Bitmap Index)를 이용한 XML 문서 검색 시스템이 다양한 구조적 유사성을 판별할 수 없는 단점을 보완 가능하도록 경로 중심의 유사 문서 인식 기법을 제안한다. 이 기법은 '경로 구성 유사도'와 '유사 경로 테이블'을 통해 기존의 비트맵 인덱스가 갖는 유사 경로를 인식하지 못하는 단점을 해결하고 검색의 유연성을 부여함으로써 보다 양질의 검색 결과를 도출할 수 있다. 또 이것은 기존 시스템의 Bit-wise 연산에 완전히 이식됨으로써 비트맵 인덱스의 장점인 빠른 성능을 그대로 유지할 수 있게 된다.

  • PDF

A Hierarchical Index Technique for Moving Image Retrieval System based on MPEG-7 (MPEG-7에 기반한 동영상 검색 시스템을 위한 계층형 인덱스 기법)

  • Kim Tack gon;Kim Woo saeng
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.29 no.10C
    • /
    • pp.1444-1450
    • /
    • 2004
  • MPEG-7 based on XML represents various information of multimedia data's contents. and it support search and browsing by user's wants. But, MPEG-7 standard don't support retrieval method and Many XML Indexing is not compatible to retrieval MPEG-7 documents. So Much research activity and interest has emerged recently in retrieval MPEG-7 documents. In our paper, we suppose a hierarchical index based on MPEG-7 document's structural information, and review how to query processing based on high level feature description.

A Study on Fashion Pieces Goods Information Indexing and Searching Structured Documents Using XML (XML을 이용한 의상 피스 정보의 구조적 문서 생성 및 탐색을 위한 색인기법에 관한 연구)

  • Cho Jin-Ei;Yang Ok-Yul;Nam Myung-Woo;Lee Yong-Ju;Jung Sung-Tea;Joung Suck-Tea;Lee Won-A
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.7 no.1
    • /
    • pp.39-45
    • /
    • 2006
  • 본 연구는 웹기반 3차원 패션몰 구축에서 의류에 대한 정보를 보다 세부적이고 전문적인 정보로 제공하기 위하여 의상 정보를 2차원 재단 패턴의 피스(piece) 정보로 구분한다. 구분된 피스는 의상에 따라 상하종속관계에 해당하는 피스정보별 상세정보를 가중치에 따라 검색하여 SVG(Scalable Vector Graphics) 파일 형태로 제공하도록 설계하였다. 이러한 의상 상세정보를 통해 디자이너가 의상구조의 다양한 조합으로 새로운 제품 디자인이 용이해지고 유사한 형태의 의상 표현이 가능해진다. 이를 통해 패션몰 상품에 대한 전문가적인 의상 분석도 가능해진다. 또한 SVG 형식의 파일을 이용하기 때문에 부하가 많은 쇼핑몰의 정보 표현에도 용이하다. 이를 위해 구축된 정보는 XML로 표준화 할 수 있도록 DTD(Document Type Definition)를 정의하여 검색 시스템을 설계하였다.

  • PDF

Greedy Document Gathering Method Using Links and Clustering (Link와 Clustering을 이용한 적극적 문서 수집 기법)

  • 김원우;변영태
    • Proceedings of the Korea Inteligent Information System Society Conference
    • /
    • 2001.06a
    • /
    • pp.393-398
    • /
    • 2001
  • 특정 영역에 대해 사용자에게 관련 정보를 제공해 주는 서비스를 하는 정보 에이전트를 개발 중이다. 정보 에이전트는 사용자 질의 처리를 달은 Agent Manager와 지식베이스를 관리하는 KB Manager, 그리고 Web으로부터 해당 영역의 관련 문서를 끌어오는 Web Manager로 구성되어 있다. Web Manager는 방문할 URL을 수집하고, 이들 문서에 대한 관련 평가와 Indexing을 수행한다. Web Manager는 검색 엔진을 이용하거나, 방문한 문서의 link를 이용하여 URL을 수집하는데 이러한 URL수집기법은 많은 관련 문서를 놓치는 문제점이 있다. 이 문제점을 해결하기 위해서 해당 영역과 관련된 Site들을 대상으로 Link를 이용해 문서들을 모아와, 문서들을 TAG들의 패턴으로 얻어낸 문서 형식을 이용해 Clustering하며 관련 문서들의 Group을 찾아내는 적극적 문서 수집 기법을 제안한다. 실험 결과, Link와 Clustering을 이용할 경우 기존보다 효과적으로 관련 문서를 많이 수집할 수 있음을 알 수 있다.

  • PDF