• Title/Summary/Keyword: 문서특징벡터

Search Result 45, Processing Time 0.022 seconds

Vector Space Model for Patent Information Retrieval System (특허정보 검색을 위한 벡터스페이스 검색모텔의 적용)

  • 원상훈;노태길;손기준;박정희;이상조
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04c
    • /
    • pp.516-518
    • /
    • 2003
  • 본 논문은 특허 문서에 맞게 벡터스페이스 모델을 적용하여 특허정보 검색기를 구현한다. 기존의 상용 특허 검색 시스템의 문제점을 제시하고, 특허 문헌의 특징을 분석하여, 이를 반영한 특허 문헌 검색등의 벡터 스페이스 모델을 제시한다. 하나의 특허 문서는 서로 상이한 특성을 지닌 텍스트와 데이터의 조합으로 이루어져 있다. 따라서 이를 하나의 벡터로 표현하는 것이 용이하지 않다. 이에 대해 본 연구에서는 내용 필드들을 특성에 따라 둘 이상의 벡터로 표현하고, 수치 및 고유명 필드는 불린검색형태로 처리되는 혼합형 벡터 모델을 제안한다. 각 필드의 특징에 맞게 색인어를 추출하며, 텍스트 필드의 색인어률 벡터로 표현하는 과정에서는 잘 알려진 TF-IDF 가중치를 사용하되, 특허 문서가 IPC 특허 분류 기준에 따라 완전 분류되어 있는 문서라는 특징을 이용, 보다 정확한 가중치를 부여한다. 실험과 성능평가를 통하여 제안한 특허 모델의 유용성을 보인다.

  • PDF

Automatic Classification of Patent Documents Using Doc2Vec (Doc2Vec을 이용한 특허 문서 자동 분류)

  • Song, Jinjoo;Kang, Seung-Shik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2019.05a
    • /
    • pp.239-241
    • /
    • 2019
  • 지식과 정보의 중요성이 강조되는 지식기반사회에서는 지식재산권의 대표적인 유형인 특허의 중요성이 날로 높아지고 있고, 그 수 또한 급증하고 있다. 특허 문서의 효과적 검색과 이용을 위해서는 새롭게 출원되는 특허 문서의 체계적인 분류 작업이 선행되어야 하고, 따라서 방대한 양의 특허 문서를 자동으로 분류해주는 시스템이 필요하다. 본 연구에서는 Doc2Vec 모델을 이용하여 국내 특허 문서의 특징(feature)을 추출하고, 추출된 특징을 바탕으로 한 특허 문서의 자동 분류 모형을 제안한다. 먼저 국내에 등록된 31,495 건의 특허 문서의 IPC(International Patent Classification)와 요약정보를 바탕으로 Doc2Vec 모델을 구축하였다. 구축된 Doc2Vec 모델을 통하여 훈련데이터의 특징을 추출한 후, 이 특징 벡터를 이용하여 분류기를 학습하였다. 마지막으로 Doc2Vec 모델을 이용하여 실험데이터의 특징 벡터를 추출하고 분류기의 성능을 실험한 결과, 43%의 분류 정확도를 얻었다. 이를 통해, 특허 문서 분류 문제에 Doc2Vec 모델의 사용 가능성을 확인할 수 있었다.

A Sentiment Classification System Using Feature Extraction from Seed Words and Support Vector Machine (종자 어휘를 이용한 자질 추출과 지지 벡터 기계(SVM)을 이용한 문서 감정 분류 시스템의 개발)

  • Hwang, Jae-Won;Jeon, Tae-Gyun;Ko, Young-Joong
    • 한국HCI학회:학술대회논문집
    • /
    • 2007.02a
    • /
    • pp.938-942
    • /
    • 2007
  • 신문 기사 및 상품 평은 특정 주제나 상품을 대상으로 하여 글쓴이의 감정과 의견이 잘 나타나 있는 대표적인 문서이다. 최근 여론 조사 및 상품 의견 조사 등 다양한 측면에서 대용량의 문서의 의미적 분류 및 분석이 요구되고 있다. 본 논문에서는 문서에 나타난 내용을 기준으로 문서가 나타내고 있는 감정을 긍정과 부정의 두 가지 범주로 분류하는 시스템을 구현한다. 문서 분류의 시작은 감정을 지닌 대표적인 종자 어휘(seed word)로부터 시작하며, 자질의 선정은 한국어 특징상 감정 및 감각을 표현하는 명사, 형용사, 부사, 동사를 대상으로 한다. 가중치 부여 방법은 한글 유의어 사전을 통해 종자 어휘의 의미를 확장하여 각각의 가중치를 책정한다. 단어 벡터로 표현된 입력 문서를 이진 분류기인 지지벡터 기계를 이용하여 문서에 나타난 감정을 판단하는 시스템을 구현하고 그 성능을 평가한다.

  • PDF

Language Identification by Fusion of Gabor, MDLC, and Co-Occurrence Features (Gabor, MDLC, Co-Occurrence 특징의 융합에 의한 언어 인식)

  • Jang, Ick-Hoon;Kim, Ji-Hong
    • Journal of Korea Multimedia Society
    • /
    • v.17 no.3
    • /
    • pp.277-286
    • /
    • 2014
  • In this paper, we propose a texture feature-based language identification by fusion of Gabor, MDLC (multi-lag directional local correlation), and co-occurrence features. In the proposed method, for a test image, Gabor magnitude images are first obtained by Gabor transform followed by magnitude operator. Moments for the Gabor magniude images are then computed and vectorized. MDLC images are then obtained by MDLC operator and their moments are computed and vectorized. GLCM (gray-level co-occurrence matrix) is next calculated from the test image and co-occurrence features are computed using the GLCM, and the features are also vectorized. The three vectors of the Gabor, MDLC, and co-occurrence features are fused into a feature vector. In classification, the WPCA (whitened principal component analysis) classifier, which is usually adopted in the face identification, searches the training feature vector most similar to the test feature vector. We evaluate the performance of our method by examining averaged identification rates for a test document image DB obtained by scanning of documents with 15 languages. Experimental results show that the proposed method yields excellent language identification with rather low feature dimension for the test DB.

Semantic Extention Search for Documents Using the Word2vec (Word2vec을 활용한 문서의 의미 확장 검색방법)

  • Kim, Woo-ju;Kim, Dong-he;Jang, Hee-won
    • The Journal of the Korea Contents Association
    • /
    • v.16 no.10
    • /
    • pp.687-692
    • /
    • 2016
  • Conventional way to search documents is keyword-based queries using vector space model, like tf-idf. Searching process of documents which is based on keywords can make some problems. it cannot recogize the difference of lexically different but semantically same words. This paper studies a scheme of document search based on document queries. In particular, it uses centrality vectors, instead of tf-idf vectors, to represent query documents, combined with the Word2vec method to capture the semantic similarity in contained words. This scheme improves the performance of document search and provides a way to find documents not only lexically, but semantically close to a query document.

Feature Selection for Document Classifier for IT documents based on SVM (SVM 기반 기술정보 문서분류를 위한 특징 선택 기법)

  • Kang, Yun-Hee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2002.04a
    • /
    • pp.577-580
    • /
    • 2002
  • 인터넷상의 정보의 급증에 따라 필요한 정보를 발견하고 관련된 정보를 조직화하기가 더욱 어려워지고 있으며 정보 접근의 부하를 줄이기 위한 효율적인 문서 분류의 중요성 및 필요성이 증가하고 있다. 본 논문에서는 디렉토리 내의 학습 문서 집합을 기반으로 구성된 디렉토리 내의 대표 용어 집합으로 구성된 모델을 학습 및 분류하기 위해 SVM을 사용한다. 문서분류를 위해 정보통신 웹 디렉토리 내의 문서로부터 추출된 용어 집합을 기반으로 학습을 수행한 후 문서 분류를 수행한다. 또한 TFiDF를 기반으로 특징을 표현하기 위해 벡터공간 모델을 사용하였고 이를 기반으로 성능 평가를 수행한다.

  • PDF

Learning-based Word Segmentation for Text Document Recognition (텍스트 문서 인식을 위한 학습 기반 단어 분할)

  • Lomaliza, Jean-Pierre;Moon, Kwang-Seok;Park, Hanhoon
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2018.06a
    • /
    • pp.41-42
    • /
    • 2018
  • 텍스트 문서 영상으로부터 단어를 검출하고, LLAH(locally likely arrangement hashing) 알고리즘을 이용하여 이웃 단어 사이의 기하 관계를 표현하는 특징 벡터를 계산한 후, 특징 벡터를 비교함으로써 텍스트 문서를 효과적으로 인식하거나 검색할 수 있다. 그러나, 이는 문서 내 각 단어가 정확하고 강건하게 검출된다는 전제를 필요로 한다. 본 논문에서는 텍스트 내 각 라인을 검출하고, 각 라인 내에서 단어 사이의 간격과 글자 사이의 간격을 깊은 신경망(deep neural network)을 이용하여 학습하고 분류함으로써, 보다 카메라와 텍스트 문서 사이의 거리나 방향이 동적으로 변하는 조건에서 각 단어를 강건하게 검출하는 방법을 제안한다. 모바일 환경에서 제안된 방법을 구현하였으며, 실험을 통해 단어 사이의 간격과 글자 사이의 간격을 92.5%의 정확도로 구별할 수 있으며, 이를 통해 동적인 환경에서 단어 검출의 강건성을 크게 개선할 수 있음을 확인하였다.

  • PDF

XML Documents Clustering Technique Based on Bit Vector (비트벡터에 기반한 XML 문서 군집화 기법)

  • Kim, Woo-Saeng
    • Journal of the Institute of Electronics Engineers of Korea CI
    • /
    • v.47 no.5
    • /
    • pp.10-16
    • /
    • 2010
  • XML is increasingly important in data exchange and information management. A large amount of efforts have been spent in developing efficient techniques for accessing, querying, and storing XML documents. In this paper, we propose a new method to cluster XML documents efficiently. A bit vector which represents a XML document is proposed to cluster the XML documents. The similarity between two XML documents is measured by a bit-wise AND operation between two corresponding bit vectors. The experiment shows that the clusters are formed well and efficiently when a bit vector is used for the feature of a XML document.

The Study for the Recognition System of Finger Languages (자화 인식 시스템에 관한 연구)

  • 강민지;최은숙;손영선
    • Proceedings of the Korean Institute of Intelligent Systems Conference
    • /
    • 2003.09b
    • /
    • pp.151-154
    • /
    • 2003
  • 본 논문에서는 흑백 CCD 카메라를 이용하여 청각 장애인의 의사전달 수단인 지화 동작을 동영상으로 입력받아 인식하여, 편집 가능한 텍스트 문서로 변환하는 시스템을 구현하였다. 일련의 입력 영상들 중에서 흐린 영상과 선명한 영상의 구분은 영상의 잔상을 이용하였고, 촬영된 연속 영상들의 배열로부터 문자 자소를 구하고, 오토마타를 적용하여 완성된 문자를 문서 편집기에 출력시켰다 획득된 선명한 영상 데이터 중 변화가 심한 손목 부분을 제거한 후, 최대 원형 이동법을 이용하여 손의 무게 중심점을 구하고, 원형 패턴 벡터 알고리즘을 적용하여 지화 해석에 필요한 손을 인식하였다. 손 중심으로부터 거리 스펙트럼을 이용하여 지화 인식에 사용되는 손 모양의 특징 벡터를 추출하고, 퍼지추론을 적용하여 표준 패턴과 입력 패턴의 특징벡터를 비교, 지화 동작을 인식하였다.

  • PDF

An AutoEncoder Model based on Attention and Inverse Document Frequency for Classification of Creativity in Essay (에세이의 창의성 분류를 위한 어텐션과 역문서 빈도 기반의 자기부호화기 모델)

  • Se-Jin Jeong;Deok-gi Kim;Byung-Won On
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.624-629
    • /
    • 2022
  • 에세이의 창의성을 자동으로 분류하는 기존의 주요 연구는 말뭉치에서 빈번하게 등장하지 않는 단어에 초점을 맞추어 기계학습을 수행한다. 그러나 이러한 연구는 에세이의 주제와 상관없이 단순히 참신한 단어가 많아 창의적으로 분류되는 문제점이 발생한다. 본 논문에서는 어텐션(Attention)과 역문서 빈도(Inverse Document Frequency; IDF)를 이용하여 에세이 내용 전달에 있어 중요하면서 참신한 단어에 높은 가중치를 두는 문맥 벡터를 구하고, 자기부호화기(AutoEncoder) 모델을 사용하여 문맥 벡터들로부터 창의적인 에세이와 창의적이지 않은 에세이의 특징 벡터를 추출한다. 그리고 시험 단계에서 새로운 에세이의 특징 벡터와 비교하여 그 에세이가 창의적인지 아닌지 분류하는 딥러닝 모델을 제안한다. 실험 결과에 따르면 제안 방안은 기존 방안에 비해 높은 정확도를 보인다. 구체적으로 제안 방안의 평균 정확도는 92%였고 기존의 주요 방안보다 9%의 정확도 향상을 보였다.

  • PDF