• The KIPS Transactions:PartD
• /
• v.10D no.1
• /
• pp.57-66
• /
• 2003

With the development of the internet and computer, the amount of information through the internet is increasing rapidly and it is managed in document form. For this reason, the research into the method to manage for a large amount of document in an effective way is necessary. The document clustering is integrated documents to subject by classifying a set of documents through their similarity among them. Accordingly, the document clustering can be used in exploring and searching a document and it can increased accuracy of search. This paper proposes an efficient incremental cluttering method for a set of documents increase gradually. The incremental document clustering algorithm assigns a set of new documents to the legacy clusters which have been identified in advance. In addition, to improve the correctness of the clustering, removing the stop words can be proposed and the weight of the word can be calculated by the proposed TF$\times$NIDF function.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.22 no.2
• /
• pp.205-211
• /
• 2012

The retrieved documents have to be transformed into proper data structure for the clustering algorithms of statistics and machine learning. A popular data structure for document clustering is document-term matrix. This matrix has the occurred frequency value of a term in each document. There is a sparsity problem in this matrix because most frequencies of the matrix are 0 values. This problem affects the clustering performance. The sparseness of document-term matrix decreases the performance of clustering result. So, this research uses the factor score by factor analysis to solve the sparsity problem in document clustering. The document-term matrix is transformed to document-factor score matrix using factor scores in this paper. Also, the document-factor score matrix is used as input data for document clustering. To compare the clustering performances between document-term matrix and document-factor score matrix, this research applies two typed matrices to self organizing map (SOM) clustering.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2001.10b
• /
• pp.1095-1098
• /
• 2001

정보의 구조적 표현 가능하고 인터넷을 기반으로 하는 정보교환의 매개체로써 다양한 응용분야에 확산되고 있는 XML(extensible Markup Language)은 차세대 인터넷 전자문서 표준으로 주목받고 있다. 최근들어 기존 문서를 XML로 변환하거나 신규 문서를 XML로 작성하는 사례가 늘면서 대량의 XML문서가 생성되고 있으며 이에 따라 대량의 XML 문서를 효율적으로 검색하기 위한 XML 검색 시스템이 요구되어지고 있다. 본 논문에서는 내용기반, 구조기반, 속성기반 검색을 지원하는 XML 문서의 질의언어로 제안되어진 XQL과 XML 문서를 분석하는 문서 구조 처리기, 사용자 입력 질의를 실행하기 위한 질의 언어 처리기를 가지는 XML 문서검거 시스템을 제시하고 검색된 문서의 견과를 웹 출판 프레임워크(Web Publishing Framework) 인 Cocoon을 적용하여 다른 포맷의 문서로 전환 가능한 시스템을 설계 및 구현하였다.

• The Journal of the Korea Contents Association
• /
• v.5 no.3
• /
• pp.227-235
• /
• 2005

Document filtering is a task of deciding whether a document has relevance to a specified topic. As Internet and Web becomes wide-spread and the number of documents delivered by e-mail explosively grows the importance of text filtering increases as well. In this paper, we treat document filtering problem as binary document classification problem and we proposed the News Filtering system based on the Bayesian Classifier. For we perform filtering, we make an experiment to find out how many training documents, and how accurate relevance checks are needed.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.04b
• /
• pp.274-276
• /
• 2001

기존의 여러 동적 추천 시스템에서 사용자들의 브라우징 패턴을 반영하려고 노력하였다 .그러나 대부분의 동적 추천 시스템들은 웹 문서들의 형식이나 웹 문서들 간의 연관성을 고려하지 않고, 사용자들의 브라우징 패턴에만 근거하기 때문에 연관성이 없거나 의미 없는 웹 문서들에 대한 추천까지 제공하는 문제점을 지니고 있다. 본 논문에서는 웹 문서들 사이의 유사도와 로그 파일 안에 들어있는 사용자들이 패턴을 이용하여 웹 문서 자체의 형식에 따라 연관된 웹 문서뿐만 아니라 순차적인 특성을 가진 웹 문서를 추천 문서로 제공한다. 이때 추천 웹 문서의 형식이 탐색 페이지이면 사용자 브라우징 순차 패턴 DB 중에서 사용자들이 자주 항해하는 순차적인 특성을 갖는 웹 문서까지 제공하는 동적 추천 시스템을 제안한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.04b
• /
• pp.94-96
• /
• 2001

웹 기반의 분산 환경에서 데이터를 공유, 사용하려는 노력은 끊임 없이 계속되어 왔다. 기존의 HTML 문서를 이용할 경우에는 그 언어자체가 가지고 있는 한계성 때문에 효과적으로 문서를 공유하기가 어렵다. 이에 대한 대안으로 XML을 이용한 문서 교환 방법이 제시되고 있다. 하지만 서로 다른 DTD를 기반으로 작성된 XML문서를 교환할 경우에는 문제가 발생하게 된다. DTD가 서로 다른 사용자에 의해서 작성되었기 때문에 XML 문서 내의 태그 뿐만 아니라 문서가 가지고 있는 그 구조 또한 서로 상이하게 된다. 본 논문에서는 상이한 DTD를 기반으로 작성된 XML문서를 교환할 경우에 고려 해야 하는 XML 문서의 구조적 상이성의 예를 보여주고 이에 대한 해결 알고리즘을 제시한다. 문서 구조의 상이성은 적절한 매핑 테이블과 트리 구조를 이용한 태그 변환 방법을 이용하여 해결할 수 있다. 데이터 레지스트리와 본 논문에서 제안한 문서의 구조와 태그 변환 방법을 사용하면 XML 문서를 효과적으로 교환 할 수 있다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10c
• /
• pp.331-333
• /
• 2001

XML이 인터넷 상에서 정보 교환을 위한 새로운 표준으로 채택됨에 따라 XML 문서의 효율적인 작성과 관리를 위한 다양한 형태의 편집기가 계속 개발되고 있다. 본 논문은 기존의 XML 문서 편집기가 가진 제약점을 살펴보고 이를 해결하기 위한 새로운 형태의 XML 문서 편집기를 제안한다. 기존의 XML 문서 편집은 대부분 트리 구조를 기반으로 하여 이루어지고 있으며, 이것은 사용자로 하여금 XML에 대한 어느 정도의 지식을 필요로 한다. 그러나 XML 문서의 작성과 활용이 보편화되기 위해서는 이러한 문서 편집 방식에서 벗어나 누구나 쉽게 작성할 수 있는 환경이 제공되어야 한다. 본 논문에서는 이를 위해 트리 방식의 문서 편집뿐 만 아니라 문서의 양식을 반영하는 form을 기반으로 하는 편집 환경도 지원하는 새로운 XML 문서 편집기를 개발한다. Form외 생성은 template XML 문서와 XSLT을 통해 이루어지며 생성된 form은 내장된 HTML 브라우저를 통해 사용자에게 보여진다. Form에 입력된 사용자 데이터는 해당 XML 문서로 변환되어 데이터베이스에 저장된다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.06c
• /
• pp.28-30
• /
• 2006

XML 문서의 유사성을 비교하는 연구는 XML 문서의 저장 및 검색에 유용하기 때문에 많은 연구가 진행되었다. XML 문서의 유사성 연구는 크게 edit-distance를 이용하는 방법, 문서의 그래프 모델을 이용하는 방법, 문서의 매트릭스 모델을 이용하는 방법 등이 있다. 최근에는 문서를 encoding 하고 푸리에 변환을 이용하는 방법이 보고되었다. 본 논문에서는 XML 문서를 함수로 변환하고 FFT를 적용하여 문서의 구조적 유사성을 비교하는 새로운 방법을 제안한다. 제안하는 방법은 JAXP로 구현하였으며 XML 문서의 구조를 분석하여 함수로 변환하였다. 그리고 함수에 FFT를 적용하여 XML 문서의 구조적 유사성을 비교하였다. FFT 비교 결과는 XML 문서의 함수 변환이 적합한 것임을 보여주었으며 비교 결과는 예상된 결과를 보여주었다.

• Annual Conference on Human and Language Technology
• /
• 2008.10a
• /
• pp.63-68
• /
• 2008

인터넷의 발달로 지식의 재사용이 폭발적으로 증가하였다. 이는 지식의 확산이라는 측면에서는 바람직하지만 지식의 도용이라는 문제점을 안고 있다. 따라서 문서의 전부나 일부분을 재사용한 것인지를 판단하고자하는 요구가 증가하고 있다. 본 논문에서는 정보검색 기술을 이용하여 문서에서 부분 문서 재사용 및 표절을 탐색하는 방법을 제안한다. 본 논문에서는 대용량 문서의 고속 탐색을 위해서 원본 문서와 대상 문서를 색인하여 검색에 이용한다. 또한 한글의 언어적 특성을 맞게 어순 변경 비교, 기능어 생략 비교, 갭(gap) 비교 등의 다양한 처리 조건을 제공하여 문서 재사용을 탐색할 수 있다. 실험을 통해서 기존의 시스템보다 정확하게 고속으로 문서 재사용 탐색이 가능함을 보였다. 특히 비교 문서가 증가하더라도 비교 시간이 급격하게 증가하지 않으며, 정보검색 기법을 사용하는 경우 취약하다고 알려져 있는 부분 문서 재사용 탐색에도 견고하며, 처리 조건에 따라 유연하게 문서 재사용 탐색이 가능하다.

• Annual Conference on Human and Language Technology
• /
• 2008.10a
• /
• pp.75-78
• /
• 2008

온톨로지 어노테이션(Annotation)과정은 수동에 의해 대부분의 문서 처리 작업이 진행되고 있다. 그러므로 계획적이지 않은 문서 처리는 자칫 일관성이나 효율성을 떨어뜨릴 수가 있다. 예를 들어, 처리되는 문서들의 도메인이 자주 바뀌면, 수동 어노테이션을 하는 작업자는 객관성을 잃을 가능성이 높다. 따라서, 본 연구에서는 처리되는 문서집합의 도메인이 최대한 연관성이 유지되도록 처리 문서를 집합하여 나열하는 알고리즘을 소개한다. 첫번째로, 문서들을 유사한 주제 집합으로 형성한다. 두번째로, 두개 이상의 집합에 겹치는 문서들을 계산한다. 마지막으로, 이러한 겹침이 최대화 되도록 문서들의 처리 순서를 나열한다. 본 알고리즘을 IT관련 위키피디아 문서집합을 이용하여 평가를 시행했다. 평가 결과 우리의 알고리즘을 이용하면 처리되는 문서들의 도메인 이동이 무작위로 처리하는 것 보다 연속적이었음을 수치상으로 계산할 수 있었다.