• 제목/요약/키워드: Document clustering

검색결과 224건 처리시간 0.023초

빅 데이터 환경에서 계층적 문서 유형 분류를 위한 클러스터링 기반 다중 SVM 모델 (Multi-class Support Vector Machines Model Based Clustering for Hierarchical Document Categorization in Big Data Environment)

  • 김영수;이병엽
    • 한국콘텐츠학회논문지
    • /
    • 제17권11호
    • /
    • pp.600-608
    • /
    • 2017
  • 최근 인터넷의 급격한 확장에 따른 정보의 양이 기하급수적으로 증가하고 있다. 그러나 실제 사용자에게 필요한 정보는 극히 일부분으로 사용자가 원하는 정보를 찾는데 까지는 부가적인 시간과 노력이 요구된다. 따라서 검색어로 검색된 문서에 대한 유사도 평가를 통한 계층적 유사 정보와 검색 우선순위에 대한 정보를 제공할 필요성이 있다. 이를 위해서 검색어를 구성하고 있는 키워드의 동시 발생 빈도를 고려한 검색 문서에 대한 유사도를 기반으로 문서 클러스터를 구성하고 SVM을 적용한 빅 데이터 기반 계층적 유형 분류 모델을 제안한다. 계층적 분류방법과 SVM 분류기의 결합은 문서의 계층이 기하급수적으로 늘어나는 웹 문서의 경우에 높은 성능을 얻을 수 있다. 제안된 모델은 정확하고 신속한 검색을 제공하는 정보검색시스템의 응용 모델로 활용될 수 있다.

대표 경로에 기반한 XML 문서의 계층 군집화 기법 (A Hierarchical Clustering Technique of XML Documents based on Representative Path)

  • 김우생
    • 인터넷정보학회논문지
    • /
    • 제10권3호
    • /
    • pp.141-150
    • /
    • 2009
  • XML은 데이터 교환과 정보 관리에 점차 중요해지고 있다. 근래에 XML 문서들에 대한 접근, 질의, 저장을 위한 효율적인 기법들을 개발하기 위해 많은 노력들이 이루어지고 있다. 이 논문에서 우리는 XML 문서들을 효율적으로 군집화하는 새로운 방법을 제안한다. XML 문서의 특징을 위해 XML 문서의 구조와 내용을 대표할 수 있는 새로운 대표 경로, 즉 가상 경로가 제안된다. XML 문서들을 군집화하기 위해 잘 알려진 계층 군집화 기법들을 대표 경로들에 적용하기 위한 방법도 제안된다. 실험을 통해 XML 문서의 특징으로 가상 경로를 사용했을 때 실제적인 군집들이 촘촘한 형상으로 잘 형성됨을 알 수 있다.

  • PDF

개체명을 이용한 주제기반 웹 문서 클러스터링 (Topic based Web Document Clustering using Named Entities)

  • 성기윤;윤보현
    • 한국콘텐츠학회논문지
    • /
    • 제10권5호
    • /
    • pp.29-36
    • /
    • 2010
  • 종래의 클러스터링 기법은 단순히 키워드를 추출에 기반한 단어간 유사도에 의한 그룹핑 방식을 구사함으로써 비교해야 할 대상 키워드 수 및 종류가 매우 다양하여 계산량이 증가함으로써 속도가 느리고 정확도도 높지 않은 편이다. 본 논문은 이러한 단점을 해소하기 위해 웹 문서를 대상으로 기존 명사 위주의 키워드 뿐 아니라 인명, 지명, 회사명, 물품명 등을 자동으로 인식하는 개체명 인식 결과를 이용하는 웹클러스터링 기법을 제안하고자 한다. 실험을 통해 기존 키워드 기반 클러스터링 결과에 비해 개체명 기반클러스터링의 품질이 우수함을 증명하였으며, 문서 집합 특성에 따른 클러스터링 결과도 비교 분석하였다.

감정기반 정보 검색시스템에 관한 연구 (A Study on Emotion based Information Retrieval System)

  • 김명관;박영택
    • 한국문헌정보학회지
    • /
    • 제32권4호
    • /
    • pp.105-115
    • /
    • 1998
  • 인터넷의 확산과 더불어 엄청난 사용자의 증가는 인터넷을 단순히 정보 검색의 대상으로만 삼는 것이 아니라 일반인들의 여가 문화를 즐기는 장이 되어가고 있다. 이와 같은 요구로 감정기반 문서 검색 및 분류 시스템을 제안한다. 이 시스템을 ECRAS라고 부른다. 감정 성분 추출은 로젯의 시소러스와 워드넷을 통해 이루어졌다. 감정 성분을 추출한 문서는 k-NN 기법을 기반으로 검색을 수행한다.

  • PDF

바일 기기를 위한 확장 문서 포맷의 맵 서비스 (Extended document format map service for mobile device)

  • 김정숙
    • 디지털산업정보학회논문지
    • /
    • 제6권4호
    • /
    • pp.83-94
    • /
    • 2010
  • Mobile network infrastructure is being completed with the development of hardware and software for mobile devices. Network in mobile devices has evolved for telematics that is expanded much more than its existing concept. Telematics is compound word that is formed from the words "telecommunication" and "informatics". It means that telematics performs control and monitoring service with using mobile device resources. These services provide their services for users' requests through wired or wireless network from mobile devices and server that offers contents and network service collects management information of mobile devices. Map service is one of the preferred services for many telematics users. However, mobile map service has a limit between traffic and information sharing. Therefore it is very important to supply their information for both service provider and terminal user. In this paper, we design a new interactive sketch map using routes and information on the space to be applied effectively, and provide an extended document format that is defined to an extensible and dynamic clustering scheme to have portability map service for mobile device.

절차적 프로그램으로부터의 객체 추출 방법론 (A Method of Object Identification from Procedural Programs)

  • 진윤숙;마평수;신규상
    • 한국정보처리학회논문지
    • /
    • 제6권10호
    • /
    • pp.2693-2706
    • /
    • 1999
  • Reengineering to object-oriented system is needed to maintain the system and satisfy requirements of structure change. Target systems which should be reengineered to object-oriented system are difficult to change because these systems have no design document or their design document is inconsistent of source code. Using design document to identifying objects for these systems is improper. There are several researches which identify objects through procedural source code analysis. In this paper, we propose automatic object identification method based on clustering of VTFG(Variable-Type-Function Graph) which represents relations among variables, types, and functions. VTFG includes relations among variables, types, and functions that may be basis of objects, and weights of these relations. By clustering related variables, types, and functions using their weights, our method overcomes limit of existing researches which identify too big objects or objects excluding many functions. The method proposed in this paper minimizes user's interaction through automatic object identification and make it easy to reenginner procedural system to object-oriented system.

  • PDF

다양한 차원 축소 기법을 적용한 문서 군집화 성능 비교 (Comparison of Document Clustering Performance Using Various Dimension Reduction Methods)

  • 조희련
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 춘계학술발표대회
    • /
    • pp.437-438
    • /
    • 2018
  • 문서 군집화 성능을 높이기 위한 한 방법으로 차원 축소를 적용한 문서 벡터로 군집화를 실시하는 방법이 있다. 본 발표에서는 특이값 분해(SVD), 커널 주성분 분석(Kernel PCA), Doc2Vec 등의 차원 축소 기법을, K-평균 군집화(K-means clustering), 계층적 병합 군집화(hierarchical agglomerative clustering), 스펙트럼 군집화(spectral clustering)에 적용하고, 그 성능을 비교해 본다.

문장구조 유사도와 단어 유사도를 이용한 클러스터링 기반의 통계기계번역 (Clustering-based Statistical Machine Translation Using Syntactic Structure and Word Similarity)

  • 김한경;나휘동;이금희;이종혁
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제37권4호
    • /
    • pp.297-304
    • /
    • 2010
  • 통계기계번역에서 번역성능의 향상을 위해서 문장의 유형이나 장르에 따라 클러스터링을 수행하여 도메인에 특화된 번역을 시도하는 방법이 있다. 그러나 기존의 연구 중 문장의 유형 정보와 장르에 따른 정보를 동시에 사용한 경우는 없었다. 본 논문에서는 각 문장의 문법적 구조 유사도에 따른 유형별분류 기법과, 단어 유사도 정보를 사용한 장르 구분법을 적용하여 기존의 두 기법을 통합하였다. 이렇게 분류된 말뭉치에서 추출한 도메인 특화 모델과 전체 말뭉치에서 추출된 모델에서 보간법(interpolation)을 사용하여 통계기계번역의 성능을 향상하였다. 문장구조 유사도와 단어 유사도의 계산 방법으로는 각각 커널과 코사인 유사도를 적용하였으며, 두 유사도를 적용하여 말뭉치를 분류하는 과정에서는 K-Means 알고리즘과 유사한 기계학습 기법을 사용하였다. 이를 일본어-영어의 특허문서에서 실험한 결과 최선의 경우 약 2.5%의 상대적인 성능 향상을 얻었다.

K-means 알고리즘을 이용한 계층적 클러스터링에서의 클러스터 계층 깊이 선택 (Selection of Cluster Hierarchy Depth in Hierarchical Clustering using K-Means Algorithm)

  • 이원휘;이신원;정성종;안동언
    • 대한전자공학회논문지SD
    • /
    • 제45권2호
    • /
    • pp.150-156
    • /
    • 2008
  • 정보통신의 기술이 발달하면서 정보의 양이 많아지고 사용자의 질의에 대한 검색 결과 리스트도 많이 추출되므로 빠르고 고품질의 문서 클러스터링 알고리즘이 중요한 역할을 하고 있다. 많은 논문들이 계층적 클러스터링 방법을 이용하여 좋은 성능을 보이지만 시간이 많이 소요된다. 반면 K-means 알고리즘은 시간 복잡도를 줄일 수 있는 방법이다. 본 논문에서는 계층적 클러스터링 시스템인 콘도르(Condor) 시스템에서 K-Means 알고리즘을 이용하여 효율적으로 정보 검색을 하고 검색결과를 계층적으로 볼 수 있도록 구현하였다. 이 시스템은 K-Means Algorithm을 이용하였으며 클러스터 계층 깊이와 초기값을 조절하여 더 나은 성능을 보임을 알 수 있다.

Cluster-based Information Retrieval with Tolerance Rough Set Model

  • Ho, Tu-Bao;Kawasaki, Saori;Nguyen, Ngoc-Binh
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제2권1호
    • /
    • pp.26-32
    • /
    • 2002
  • The objectives of this paper are twofold. First is to introduce a model for representing documents with semantics relatedness using rough sets but with tolerance relations instead of equivalence relations (TRSM). Second is to introduce two document hierarchical and nonhierarchical clustering algorithms based on this model and TRSM cluster-based information retrieval using these two algorithms. The experimental results show that TRSM offers an alterative approach to text clustering and information retrieval.