• 제목/요약/키워드: 문서과

검색결과 2,264건 처리시간 0.03초

문서분류 기법을 이용한 웹 문서 분류의 실험적 비교 (Empirical Analysis & Comparisons of Web Document Classification Methods)

  • 이상순;최정민;장근;이병수
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (2)
    • /
    • pp.154-156
    • /
    • 2002
  • 인터넷의 발전으로 우리는 많은 정보와 지식을 인터넷에서 제공받을 수 있으며 HTML, 뉴스그룹 문서, 전자메일 등의 웹 문서로 존재한다. 이러한 웹 문서들은 여러가지 목적으로 분류해야 할 필요가 있으며 이를 적용한 시스템으로는 Personal WebWatcher, InfoFinder, Webby, NewT 등이 있다. 웹 문서 분류 시스템에서는 문서분류 기법을 사용하여 웹 문서의 소속 클래스를 결정하는데 문서분류를 위한 기법 중 대표적인 알고리즘으로 나이브 베이지안(Naive Baysian), k-NN(k-Nearest Neighbor), TFIDF(Term Frequency Inverse Document Frequency)방법을 이용한다. 본 논문에서는 웹 문서를 대상으로 이러한 문서분류 알고리즘 각각의 성능을 비교 및 평가하고자 한다.

  • PDF

전문용어 및 정보추출에 기반한 문서분류시스템 (Text Categorization Based on Terminology and Information Extraction)

  • 이경순;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1999년도 제11회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.79-84
    • /
    • 1999
  • 본 연구에서는 문서분류시스템에서 자질의 표현으로 전문분야사전을 이용한 분야정보와 개체정보추출을 통한 개체정보를 이용한다. 또한 지식정보를 보완하기 위해 통계적인 방법으로 범주 전문용어를 인식하여 자질로 표현하는 방법을 제안한다. 문서에 나타난 용어들이 어떤 특정 전문분야에 속하는 용어들이 많이 나타나는 경우 그 문서는 용어들이 속한 분야의 문서일 가능성이 높다. 또한, 정보추출을 통해 용어가 어떠한 개체를 나타내는지를 인식하여 문서를 표현함으로써 문서가 내포하는 의미를 보다 잘 반영할 수 있게 된다. 분야정보나 개체정보를 알 수 없는 용어에 대해서는 학습문서로부터 전문분야를 자동 인식함으로써 문서표현의 지식정보를 보완한다. 전문분야, 개체정보 및 범주전문용어에 기반해서 표현된 문서의 자질에 대해서 지지벡터기계 학습에 기반한 문서분류기틀 이용하여 각 범주에 대해 이진분류를 하였다. 제안된 문서자질표현은 용어기반의 자질표현에 비해 좋은 성능을 보이고 있다.

  • PDF

규칙기반 단어 클러스터링에 의한 문서 분류의 성능 향상 (Performance Improvement of Document Classification by Rule-based Word Clustering)

  • 현우석
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 한국컴퓨터종합학술대회 논문집 Vol.33 No.1 (B)
    • /
    • pp.196-198
    • /
    • 2006
  • 분류되지 않은 문서의 문서 분류는 현재까지 아주 중요한 문제로 대두되고 있다. 컴퓨터를 이용한 문서 검색 엔진인 Citeseer에서는 문서 인덱싱을 하기 위해서 자동문서 분류 방법을 사용하고 있다. 문서 분류는 원본 문서의 단어들을 제1의 속성 표현으로 사용한다. 그러나 이와 같은 표현은 고차원과 속성 부족을 초래하게 된다. 단어 클러스터링은 속성 차원과 속성 부족을 감소시키기 위한 효율적인 방법이며 문서 분류 성능을 향상시켜 준다. 본 연구에서는 클러스터 속성 표현을 위한 도메인 규칙기반 단어 클러스터링 방법을 사용한다. 클러스터는 다양한 도메인 데이터베이스들과 단어 철자 속성들로부터 생성되는데, 이와 같은 클러스터 속성 표현은 중요한 차원 감소뿐만 아니라 문서 헤더 라인의 평균 분류 성능에서 향상을 보여 주었고, 원본 문서 단어 기반 속성 표현과 비교해 보았을 때 도서목록 항목 추출의 정확도를 향상시켰다.

  • PDF

다양한 구조 문서를 효율적으로 처리하기 위한 폼(Form) 기반 XML 편집 시스템 개발 (Development of a Form-based XML Editing System for Efficient Processing of Variously Structured Documents)

  • 손원성;김재경;고승규;최윤철
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (2)
    • /
    • pp.257-259
    • /
    • 2000
  • 다양한 전자문서를 효율적으로 처리하기 위해서는 구조문서 정의가 가능한 SGML(Standard Generalized Markup Language)이나 XML(eXtensible Markup Language)을 이용할 수 있다[1,2]. SGML 및 XML과 같은 구조문서를 생성하기 위해서는 별도의 편집기가 필요하며 현재 다양한 제품이나 연구결과를 살펴볼 수 있다[3,4]. 그러나 기존의 입력, 편집 시스템에서는 사용자가 작성하려는 문서에 대한 구조를 숙지하여야 하는 동시에, DTD(Document Type Definition)에 대한 지식을 필요로 한다. 이를 인해 복잡한 구조의 SGML 및 XML 문서를 일반인들이 사용하기 어렵고, 작성한 결과에 대한 검증 과정이 필수적으로 요구된다. 또한 다양한 분야에서 적용 가능한 전자문서 시스템을 위해서는 효과적인 통합 DTD의 정의와 처리 방법이 필요하다. 따라서 본 논문에서는 구조화 문서에 대한 지식이 없는 일반인들도 쉽게 구조문서 작성이 가능하며, 통합적 DTD의 효율적인 처리가 가능한 Form 기반 편집 시스템의 모델을 제시하며, 특히 웹에서도 적용이 가능한 XML을 지원한다. 그 결과 본 연구에서 개발한 XML 편집 시스템은 Form 기반의 통합 DTD 처리와 XML 문서 작성 및 출력 기능, 그리고 이미지, 테이블 기능 등을 제공함으로써 누구나 쉽고 정확한 XML 문서를 작성할 수 있다.

  • PDF

온톨로지의 개념구조에 의한 웹페이지의 의미적 분류 (Semantic Classification of Web Pages using Ontology Concept Structure)

  • 송무희;임수연;박승배;강동진;이상조
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
    • /
    • pp.487-489
    • /
    • 2005
  • 본 논문에서는 온톨로지의 개념구조를 이용한 웹페이지의 의미적 분류방법을 제안한다. 웹 문서들이 가지는 용어 정보들과 어휘들 간의 개념 구조를 파악하여 온톨로지를 확장시키면서 이를 문서분류에 적용하여 의미적 분류가 이루어지게 한다. 문서 분류는 문서들을 가장 잘 표현할 수 있는 자질들을 정하고 이러한 자질들을 통해 미리 정의된 2개 이상의 카테고리에 문서의 내용을 파악하여 가장 관련이 있는 카테고리로 할당하는 것이다. 본 논문에서는 웹 문서에서 추출한 용어 정보들의 유사도와 온톨로지 카테고리의 유사도를 계산하여 웹 문서를 분류하여 문서 분류를 위한 실험데이터나 학습과정 없이 바로 실시간으로 문서분류가 이루어지며, 결과적으로 온톨로지와 문서들이 가지는 고유한 의미와 관계의 식별을 통하여 보다 더 정확하게 문서분류를 가능하게 해준다.

  • PDF

문장 분석 및 온톨로지를 이용한 Focused Crawler (Focused Crawler using Ontology and Sentence Analysis)

  • 최광복;김현주;강진범;홍광희;양재영;최중민
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (1)
    • /
    • pp.100-102
    • /
    • 2004
  • 월드 와이드 웹의 보편화로 인하여 급속하게 증가하고 변화하는 웹 문서는 검색엔진으로 하여금 색인된 웹 문서와 현재의 웹 문서의 일관성을 유지할 수 없을 정도이다. 이러한 문제를 해결하기 위한 방법으로 연구되고 있는 것이 특정한 주제를 정하고 정해진 주제에 관련된 문서를 수집할 수 있는 focused crawler가 제시되고 있다. 지금까지 다양한 접근방법의 focused crawler가 개발되었지만, 모두 웹 링크를 이용하여 연결되어 있는 문서를 평가하는 처리과정을 거치고 있다. 그러나 이러한 과정은 다양한 내용을 포함하고 있는 문서일 경우 관련내용이 존재함에도 문서가 버려지거나 사용되더라도 문서상의 모든 링크를 사용하여 처리하는 비효율적인 문제점이 발생한다. 이 논문에서는 웰 문서 내부에 포함되어 있는 정보를 온톨로지를 이용하여 평가함으로써 다양한 내용을 가진 문서에서 사용자가 원하는 정보를 찾을 수 있을 뿐만 아니라 정보와 관련된 링크만을 사용하여 보다 효율적이고 정확한 문서를 수집하고자 한다.

  • PDF

Unicode 기반 고전문서 편찬 관리시스템 (Unicode based Classics Archive Management System)

  • 최윤수;진두석;안성수
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (1)
    • /
    • pp.115-117
    • /
    • 2002
  • 고전문서는 우리 가 상상할 수 없을 만큼의 문화와 지식의 깊이를 지니고 있다. 이러한 문화와 지식을 바탕으로 새로운 지식을 창출해내기 위한 고전문서의 전산화 작업은 필수적인 과제이다. 따라서, 최근 대규모의 고전문서 전산화 작업이 많이 진행되고 있다. 이러한 수백만 혹은 수천만 페이지에 달하는 대규모 고전문서 전산화 작업에서 가장 어렵고 비용이 많이 소요되는 분야는 고전문서의 의미적 특징을 최대한 손상시키지 않고 데이터베이스를 구축하는 일이다. 그러므로 본 논문에서는 고전문서의 특성을 고려하여 데이터베이스를 구축하고 관리할 수 있는 고전문서 편찬 관리시스템에 대하여 소개한다. 특히 고전문서 전산화에 반드시 필요한 확장 한자의 입력 및 검색기능과 문서의 전후관계를 고러만 문서 구조정보의 처리, 그리고 이러한 모든 기능을 효율적으로 수행하기 위한 정보검색 시스템에 대하여 소개한다.

  • PDF

대용량 문서 집합에서 유사문서 탐색을 위한 후보 문서 쌍 검색 실험 (Experiment of Searching Candidate Text Pair for Searching Similar Texts among Massive Document Repository)

  • 박선영;정우근;조환규
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(C)
    • /
    • pp.275-278
    • /
    • 2010
  • 문서 표절과 관련된 이슈가 급증함에 따라 유사 문서 탐색과 관련한 연구가 활발히 진행되고 있다. 특히 인터넷의 발달로 인해 일반 사용자가 수많은 전자 문서에 쉽게 접근할 수 있게 됨에 따라 대용량 문서 집합에 대한 탐색 속도와 정확성의 중요성도 커지고 있다. 대용량 문서 집합 내에서 빠른 시간 내에 유사 문서를 탐색하는 방법에는 전역 사전을 이용하여 후보 문서 쌍(유사할 가능성이 높은 문서의 쌍)를 추출한 후 찾아낸 후보 문서 쌍에만 정밀한 검사를 수행함으로써 검사 시간을 줄이는 방법이 존재한다. 이 때, 후보 문서를 찾아내기 위하여 전역 사전(Global DICtionary, GDIC)이라는 자료 구조를 이용하게 되는데, 이 전역 사전을 효과적으로 사용하면 후보 문서 쌍을 찾아내는 시간을 기존보다 더욱 줄일 수 있다. 본 논문에서는 전역 사전을 더욱 효과적으로 활용하여 후보 문서 쌍 검색 시간을 대폭 줄이는 방법에 대해 기술하며, 어느 정도의 성능 향상이 있는지 실험을 통해 측정하였다. 20,000건의 실험용 말뭉치 자료와 6263건의 실존하는 보고 문서에 대해 실험한 결과, GDIC 생성에서 2.5~4,6%, 후보 문서 쌍 탐색에서 1%~15.4% 정도의 성능이 향상된 것을 확인할 수 있었다. 추후 update query를 최소화하여 GDIC 생성시간을 추가로 줄이는 방법에 대해 연구할 계획이다.

  • PDF

업무규칙을 포함한 능동문서 (Active Documents with Business Rules)

  • 남철기;배재학
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (A)
    • /
    • pp.352-354
    • /
    • 2002
  • 업무규칙은 선언적인 방법으로 업무정책을 표현하고 업무조항을 정의한다. 또한 업무프로세스를 정의하고 프로세스가 수행되는 과정에 제약을 가한다. 본 논문에서는 능동문서 처리 프레임워크를 구현하였다 즉, 사무문서에 함축되어 있는 업무규칙을 어플리케이션 로직과 분리하여 생각하였고, 업무규칙은 Prolog로 명시적으로 표현하였다. 이 Prolog 규칙은 논리프로그램 추론엔진에서 수행가능하고, 이종의 규칙기반 어플리케이션에서 사용할 수 있도록 XML 문서로 변환하였다. 이렇게 문서의 데이터와 규칙을 저장한 XML 문서는 규칙기반의 시스템과 워크플로우 관리시스템(WFMS) 환경에서 처리된다.

  • PDF

레이블이 없는 문서를 이용한 SVM 기반의 점증적 지도학습 (Incremental Superised Learning based on SVM with Unlabeled Documents)

  • 김수영;조성배
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (B)
    • /
    • pp.301-303
    • /
    • 2002
  • 컴퓨터가 널리 보급되고 인터넷이 발전함에 따라 수없이 많은 정보가 디지털 형태로 생산되고 있다. 이러한 정보를 사람이 일일이 가공하고 분류하기에는 한계가 있으므로 자동으로 문서를 분류하고자 하는 연구가 대두되었다. 문서를 자동으로 분류하기 위해 기계학습 방법이 많이 이용되고 있다. 기계학습방법을 이용한 문서분류가 좋은 성능을 내기 위해서는 충분한 양의 학습데이터가 필요하다. 학습데이터를 만들기 위해서는 사람이 일일이 분류해야 하므로, 비용이 많이 든다. 본 논문에서는 적은양의 labeled 데이터로부터 시작하여, 점증적으로 unlabeled 데이터를 학습에 참여시킴으로써, 문서분류의 성능을 높이고자 한다. 실험을 통해 Unlabeled 문서데이터를 사용한 것이 좋은 성능을 보였음을 알 수 있다.

  • PDF