• Journal of the Korean Society for information Management
• /
• v.24 no.4
• /
• pp.305-321
• /
• 2007

The purpose of this study is to examine whether the information resources referenced by human indexers during indexing process are effective on Text Categorization. More specifically, information resources from bibliographic information as well as full text information were explored in the context of a typical scientific journal article data set. The experiment results pointed out that information resources such as citation, source title, and title were not significantly different with full text. Whereas keyword was found to be significantly different with full text. The findings of this study identify that information resources referenced by human indexers can be considered good candidates for text categorization for automatic subject term assignment.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.04b
• /
• pp.351-353
• /
• 2000

대부분의 검색 엔진에서의 사용자의 정보 검색 요구에서 나타나는 키워드 장벽의 문제점을 해결하고 사용자의 정보 검색 과정에 도움을 주기 위해 디렉토리 서비스를 제공한다. 하지만 디렉토리 서비스에서 새로운 웹 사이트를 지속적으로 인덱스하여 하나의 주제어에 너무 많은 수의 웹 사이트가 부여되어 있으면 사용자의 검색 편의를 위해서 재분류하여 세분류할 필요가 있다. 따라서 본 논문에서는 한 주제어에 과다하게 부여된 웹 사이트들을 세분류하기 위해 기존의 문서 클러스터링 기법을 사용하여 클러스터링 할 때 생기는 문제점을 보완한 문서 클러스터링 시스템을 소개한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2002.10d
• /
• pp.685-687
• /
• 2002

일반적으로 인간이 사용하는 몇 개의 주요단어를 이용하여, 문서의 분야나 주제어가 되는 일본어 키워드를 추출하는 점에 주목한다. 먼저, 학술논문에서 저자 자신이 부여한 키워드 중 분야 명이나 주제어가 문서 중에 출현하지 않는 경우를 분석하고, 단어의 개념정보를 기초로 복합어 생성규칙을 구축한다. 문서 의미와 상관없는 키워드의 추출을 억제하기 위해 중요도 결정법을 새롭게 제안한다. 추출된 키워드의 타당성 검사를 위해 자연.음성언어에 관한 일본어 논문 65파일의 타이틀과 초록부분을 이용하여 추출된 키워드의 타당성에 대한 실험을 한 결과 추출 정밀도는 중요도의 상위 1개를 출력한 경우 75%가 되어 제안방법의 유효성을 확인할 수 있었다.

• Journal of KIISE:Software and Applications
• /
• v.35 no.4
• /
• pp.255-264
• /
• 2008

This paper proposes a novel method using K-means and Non-negative matrix factorization (NMF) for topic -based multi-document summarization. NMF decomposes weighted term by sentence matrix into two sparse non-negative matrices: semantic feature matrix and semantic variable matrix. Obtained semantic features are comprehensible intuitively. Weighted similarity between topic and semantic features can prevent meaningless sentences that are similar to a topic from being selected. K-means clustering removes noises from sentences so that biased semantics of documents are not reflected to summaries. Besides, coherence of document summaries can be enhanced by arranging selected sentences in the order of their ranks. The experimental results show that the proposed method achieves better performance than other methods.

• The Journal of Information Technology
• /
• v.1 no.2
• /
• pp.55-63
• /
• 1998

본 논문은 웹 상에서 하이퍼텍스트 문서의 정보 검색에 있어서 검색에 요구되는 질의어에 따른 검색 결과가 주제에 따른 관련성을 측정하며, 하이퍼텍스트 문서가 링크되는 문서 상호간의 유사성에 대하여 정량화를 시도함으로써 검색 엔진의 성능분석을 제시한다.

• Journal of the Korea Academia-Industrial cooperation Society
• /
• v.19 no.11
• /
• pp.758-764
• /
• 2018

Digital documents such as patents, scholarly papers and research reports have author keywords which summarize the topics of documents. Different documents are likely to describe the same topic if they share the same keywords. Document clustering aims at clustering documents to similar topics with an unsupervised learning method. However, it is difficult to apply to a large amount of documents event though the document clustering is utilized to in various data analysis due to computational complexity. In this case, we can cluster and connect massive documents using keywords efficiently. Existing bottom-up hierarchical clustering requires huge computation and time complexity for clustering a large number of keywords. This paper proposes an inverted index based bottom-up clustering for keywords and analyzes the results of clustering with massive keywords extracted from scholarly papers and research reports.

• Journal of KIISE
• /
• v.44 no.5
• /
• pp.522-536
• /
• 2017

Keyword extraction can be utilized in text mining of massive documents for efficient extraction of subject or related words from the document. In this study, we proposed a hierarchical graph model based on the co-occurrence relationship, the intrinsic dependency relationship between words, and common sub-word in a single document. In addition, the enhanced TextRank algorithm that can reflect the influences of outgoing edges as well as those of incoming edges is proposed. Subsequently a novel keyword extraction scheme using the proposed hierarchical graph model and the enhanced TextRank algorithm is proposed to extract representative keywords from a single document. In the experiments, various evaluation methods were applied to the various subject documents in order to verify the accuracy and adaptability of the proposed scheme. As the results, the proposed scheme showed better performance than the previous schemes.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2002.04a
• /
• pp.519-522
• /
• 2002

일반적으로 PubMed와 같은 인터넷을 이용한 대규모 의료 문헌정보 검색시스템에서 포괄적인 주제어나 간결한 주제어를 이용한 검색을 시도할 경우, 종종 매우 다양한 세부주제의 문헌리스트들이 다량으로 검색된다. 이러한 경우 이용자는 실제로 본인이 원했던 세부주제에 부합되는 문헌들을 찾기 위해서는 검색결과로 주어진 긴 문헌리스트상의 문헌 하나하나에 대해 다시 문헌제목이나 혹은 요약 등의 내용을 직접 읽어보고 내용을 확인하여야 한다. 이러한 작업은 매우 번거럽고 시간과 노력을 많이 필요로 한다. 따라서 본 논문에서는 이러한 노력을 줄이기 위한 한 가지 방안으로, PubMed 시스템의 주제어 검색결과로 주어진 문헌들에 대해 내용의 유사성과 차별성에 따라 자동으로 몇 개의 그룹으로 나누어주는 군집화시스템 MedCluster의 설계와 구현에 대해 소개한다. MedCluster의 큰 특징은 기존의 문서 군집화 방법과는 다른 신경망 GHSOM을 이용한 군집화 방법을 사용하는 점이다. GHSOM은 미리 문서 그룹의 개수를 정해줄 필요가 없고 다양한 레벨의 문서 그룹들을 얻을 수 있는 계층적 군집화를 이루어낸다는 장점을 가지고 있다. 본 논문에서는 신경망 GHSOM의 구조와 특성에 대해 간략히 살펴보고, GHSOM을 채용한 의료문헌 군집화시스템 MedCluster의 설계와 구현에 대해 설명한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10a
• /
• pp.175-177
• /
• 2001

기존의 문서 클러스터링 알고리즘은 모든 문서가 각각 하나의 클러스터에만 할당되도록 설계되어 문서에 여러 개의 주제가 포함되어 있을지라도 문서는 유사도 비교에 의해 오직 하나의 플러스터에 포함된다는 단점이 있다. 본 연구에서는 이러한 문서 플러스터링 방법의 한계를 파악하기 위해 문서가 여러 개의 클러스터에 포함될 수 있는 계층적 중복 문서 클러스터링을 제안한다. 또한, 문서 클러스터링의 정확도를 높이기 위해서 불용어 제거 알고리즘을 이용해 불용어를 제거하여 클러스터링에 사용되는 키워드를 선별하고, 단어가중치 산출을 위한 TF*NHDF 공식을 제안한다.

• Journal of Advanced Navigation Technology
• /
• v.13 no.1
• /
• pp.151-155
• /
• 2009

We proposes a new method using the non-negative matrix factorization (NMF) and clustering method to extract the sentences for personalized document summarization. The proposed method uses clustering method for retrieving documents to extract sentences which are well reflected topics and sub-topics in document. Beside it can extract sentences with respect to query which are well reflected user interesting by using the inherent semantic features in document by NMF. The experimental results shows that the proposed method achieves better performance than other methods use the similarity and the NMF.