• 제목/요약/키워드: bottom-up clustering

검색결과 19건 처리시간 0.028초

역인덱스 기반 상향식 군집화 기법을 이용한 대규모 학술 핵심어 분석 (Analysis of Massive Scholarly Keywords using Inverted-Index based Bottom-up Clustering)

  • 오흥선;정유철
    • 한국산학기술학회논문지
    • /
    • 제19권11호
    • /
    • pp.758-764
    • /
    • 2018
  • 특허(patent), 학술 논문(scholarly paper)과 연구 보고서(research report)와 같은 디지털 문서(digital document)에는 주제(topic)를 요약하는 저자 키워드(author keyword)가 있다. 서로 다른 문서가 동일한 키워드를 공유하고 있다면 두 문서가 동일한 주제의 내용을 기술하고 있을 가능성이 매우 높다. 문서 군집화(document clustering)는 비슷한 주제를 가지는 문서들을 비지도 학습 방법(unsupervised learning)을 이용하여 같은 군집으로 그룹(group)화 하는 것이다. 문서 군집화는 다양한 분석에 이용되지만 대용량의 문서 데이터에 적용하기 위해서는 많은 계산량이 필요함으로 쉽지 않다. 이러한 경우, 문서의 내용을 이용하는 것보다 문서의 키워드를 이용하여 군집화하면 더욱 효율적으로 대용량의 데이터를 연결할 수 있다. 기존의 상향식 군집화 방법(bottom-up hierarchical clustering)은 대용량의 키워드 군집화(keyword clustering)를 수행하는데 있어서 많은 시간이 필요하다는 문제점이 있다. 본 논문에서는 정보검색(information retrieval)에서 널리 사용되는 역인덱스(inverted-index) 구조를 상향식 군집화에 적용한 효율적인 군집화 방법을 제안하고, 제안 방법을 대용량의 키워드 데이터에 적용하였으며, 그 결과를 분석하였다.

다차원 색인을 이용한 하향식 계층 클러스터링 (Top-down Hierarchical Clustering using Multidimensional Indexes)

  • 황재준;문양세;황규영
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제29권5호
    • /
    • pp.367-380
    • /
    • 2002
  • 최근 공간 데이타 분석, 영상 분석 등과 같은 대용량 데이타를 관리하는 다양한 응용 업무들이 증가함에 따라, 대용량의 데이타베이스를 위한 클러스터링 기법이 많이 연구되고 있다. 그 중에서도 계층 클러스터링 기법은 데이타베이스의 계층 분할을 표현하는 계층 트리를 생성하고 이를 이용하여 효율적인 클러스터링을 수행하는 방법으로서, 지금까지는 주로 트리를 하위 계층으로부터 상위 계층으로 생성해 가는 상향식(bottom-up) 계층 클러스터링 기법들이 연구되었다. 이러한 상향식 클러스터링 방법은 트리를 생성하기 위하여 전체 데이타베이스를 한 번 이상 액세스하여야 할 뿐만 아니라, 하위 계층에서부터 검색을 시작하기 때문에 트리의 많은 부분을 검색하여야 하는 문제점이 있다. 본 논문에서는 대부분의 데이타베이스 응용에서 이미 유지하고 있는 다차원 색인을 이용하여 클러스터링을 수행하는 새로운 하향식(top-down) 계층 클러스터링 기법을 제안한다. 일반적으로 다차원 색인에서는 가까운 객체들이 동일한 (혹은 인접한) 페이지에 저장될 가능성이 큰 클러스터링 성질을 가진다. 이러한 다차원 색인의 클러스터링 성질을 사용하면 각 객체들간의 거리를 일일이 계산하지 않고도 이웃한 객체들을 식별할 수 있다. 우선 객체들의 밀도에 기반하여 클러스터를 정형적으로 정의한다. 이를 위하여, 객체를 포함하는 영역의 밀도를 이용한 영역 대조 분할(region contrast partition) 개념을 사용한다. 또, 클러스터링 알고리즘에서의 빠른 검색을 위하여 분기 한정(branch-and-bound) 알고리즘을 사용하며, 여기서의 한계값(bound)을 제안하고 이의 정확성을 이론적으로 증명한다. 실험 결과, 제안한 방법은 상향식 계층 클러스터링 방법인 BIRCH와 비교하여, 정확성 측면에서 우수하거나 유사한 것으로 나타났으며, 데이타 페이지 액세스 횟수를 데이타베이스 크기에 따라 최고 26~187배까지 감소시킨 것으로 나타났다. 이 같은 결과로 볼 때, 제안한 방법은 대용량 데이타베이스에서의 클러스터링 성능을 크게 향상시키는 기법으로서, 일반 데이타베이스 응용에 실용적으로 적용 가능하다고 판단된다.

모노폰 거리를 이용한 트라이폰 클러스터링 방법 연구 (Efficient Triphone Clustering Using Monophone Distance)

  • 방규섭;육동석
    • 대한음성학회:학술대회논문집
    • /
    • 대한음성학회 2006년도 춘계 학술대회 발표논문집
    • /
    • pp.41-44
    • /
    • 2006
  • The purpose of state tying is to reduce the number of models and to use relatively reliable output probability distributions. There are two approaches: one is top down clustering and the other is bottom up clustering. For seen data, the performance of bottom up approach is better than that of top down approach. In this paper, we propose a new clustering technique that can enhance the undertrained triphone clustering performance. The basic idea is to tie unreliable triphones before clustering. An unreliable triphone is the one that appears in the training data too infrequently to train the model accurately. We propose to use monophone distance to preprocess these unreliable triphones. It has been shown in a pilot experiment that the proposed method reduces the error rate significantly.

  • PDF

논문 검색 결과의 효과적인 브라우징을 위한 단어 군집화 기반의 결과 내 군집화 기법 (A Search-Result Clustering Method based on Word Clustering for Effective Browsing of the Paper Retrieval Results)

  • 배경만;황재원;고영중;김종훈
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제37권3호
    • /
    • pp.214-221
    • /
    • 2010
  • 검색 결과 내 군집화(search-result clustering)는 검색 엔진으로부터 검색된 결과 내에서 비슷한 문서를 자동으로 군집화하는 기법이다. 본 논문에서는 논문 검색 서비스에 전문화된 새로운 결과 내 군집화 기법을 제안한다. 제안하는 시스템은 '범주체계생성기(Category Hierarchy Generation System)'와 '논문군집기(Paper Clustering System)'로 구성되어있다. '범주체계생생기'는 KOSEF의 연구 범주 체계를 이용하여 분야 시소러스라 불리는 범주 체계를 생성하고, K-means 알고리즘을 이용한 단어 군집화 알고리즘을 사용하여 분야 시소러스의 키워드 집합을 확장한다. '논문군집기'는 top-down 방식과 bottom-up 방식을 이용하여 각 논문의 범주를 결정한다. 제안하는 시스템은 논문 검색 서비스와 같은 전문 분야에 대한 검색 서비스에 유용하게 사용될 수 있을 것이다.

웹 에이전트를 위한 통합방식 문서 클러스터링 (A Hybrid Document Clustering for a Web Agent)

  • 양찬범;이성열;박영택
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제28권5호
    • /
    • pp.422-430
    • /
    • 2001
  • 웹 에이전트는 사용자가 웹을 브라우징하는 행위를 모니터하여 사용자의 관심 정보를 학습하고 사용자가 필요로 하는 웹 상의 정보를 자동 제공하는 지능형 시스템이다. 웹 에이전트가 사용자의 선호도를 학습하기 위해서는 귀납적 기계학습을 수행하는데, 이때 학습의 효율을 높이기 위해서는 사용자가 관심있어하는 문서들을 유사한 문서들로 클러스터링하여 학습 시스템에 제공하여야 한다. 본 논문에서는 웹 에이전트의 학습 시스템에 입력되는 학습대상 문서들을 보다 정확하고 효율적으로 클러스터링하여 제공하기 위해서 Top-down 방식과 Bottom-up 방식을 통합 적용한 통합방식 문서 클러스터링과 초기 클러스터 생성을 위한 평가함수를 제시한다. Top-down 방식으로는 개념적 클러스터링 알고리즘인 COBWEB을 적용하고, Bottom-up 방식으로는 교차기반(Intersection-based) 클러스터링 방식인 Etzioni의 클러스터링 알고리즘을 적용하였다.

  • PDF

모바일 시스템에서 Top-down 방식의 위치데이터베이스 클러스터링 알고리즘 (Location Database Clustering using Top-down Approach in Mobile Computing Systems)

  • 이광조;송진우;한정석;양성봉
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 춘계학술발표대회
    • /
    • pp.853-856
    • /
    • 2008
  • 최근 모바일 기기 사용자의 수가 증가함에 따라 모바일 기기 사용자의 위치정보를 관리하기 위한 기법들이 활발히 연구되고 있다. 기존의 모바일 시스템에서 위치정보를 관리하기 위한 방법으로 two-tier 방식과 two-tier 방식을 개선한 구조적 기법이 제시되었다. 구조적 기법에서는 어떻게 위치 데이터베이스를 군집화시키는 것이 매우 중요하다. 왜냐하면 데이터베이스를 군집하는 방법에 따라 업데이트 비용의 차이가 크기 때문이다. 구조적 기법을 위한 이전 연구는 set-cover 알고리즘을 기반한 bottom-up 방식의 시스템 이다. 본 논문에서는 구조적 기법의 데이터베이스 군집화를 위해 K-means clustering 알고리즘을 기반한 top-down 방식의 시스템을 사용하였고, 실험을 통해 본 논문에서 제시된 방식의 시스템이 기존 방식의 시스템보다 데이터베이스 업데이트측면에서 13.67%의 성능이 향상되었음을 보였다.

EM(Expectation Maximization) 군집화(Clustering)을 통한 인간의 이동 패턴 연구 (A Study on Characterizing the Human Mobility Pattern with EM(Expectation Maximization) Clustering)

  • 김현욱;송하윤
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(B)
    • /
    • pp.222-225
    • /
    • 2011
  • 이전에 수행된 연구에서 인간의 이동 패턴은 Levy flight 행동을 보인다고 알려져있다. 그러나 우리의 경험적 지식을 바탕으로 생각해 볼 때 인간의 이동 패턴을 Levy flight 행동만 가지고 나타내기에는 한계가 있어 보인다. 인간의 이동 패턴은 주위환경, 시간, 개인의 습관, 그리고 사회적 지위 등에 따라 서로 다른 모양을 보인다. 즉, 인간 이동의 형태를 파악하기 위해서는 좀 더 다양한 정보가 있어야만 인간 이동의 패턴을 사실적으로 모델링 할 수 있다. 인간의 이동 패턴을 사실적으로 모델링하기에 필요한 정보를 얻기 위해서 상향식 방법(Bottom up)으로 우선 실제 이동 패턴을 분석하여 모델링에 필요한 정보를 추출하고 다시 그 정보를 검증하는 과정으로 모델링에 필요한 정보가 구체적으로 나타나게 될 것이다. 이에 실제 인간의 이동 패턴을 분석하기 위해 아무런 매개변수 없이 개인의 GPS 데이터를 바탕으로 위치정보만을 가지고 군집화(Clustering)를 하게 되면 특정 위치에 대한 군집이 생성된다. 이러한 군집이 나타내는 것은 자주 머무는 지역, 이동 경로 등이 될 것이다. 본 논문에서는 인간의 이동 정보인 GPS 데이터를 가지고 EM 군집화를 통하여 생성된 군집을 통해 인간의 이동 패턴을 분석할 것이다.

A Knowledge-based Interactive Idea Categorizer for Electronic Meeting Systems

  • Kim, Jae-Kyeong;Lee, Jae-Kwang
    • 한국지능정보시스템학회:학술대회논문집
    • /
    • 한국지능정보시스템학회 2000년도 춘계정기학술대회 e-Business를 위한 지능형 정보기술 / 한국지능정보시스템학회
    • /
    • pp.333-340
    • /
    • 2000
  • Research on group decisions and electronic meeting systems have been increasing rapidly according to the widespread of Internet technology. Although various issues have been raised in empirical research, we will try to solve an issue on idea categorizing in the group decision making process of electronic meeting systems. Idea categorizing used at existing group decision support systems was performed in a top-down procedure and mostly b participants; manual work. This resulted in tacking as long in idea categorizing as it does for idea generating clustering an idea in multiple categories, and identifying almost similar redundant categories. However such methods have critical limitation in the electronic meeting systems, we suggest an intelligent idea categorizing methodology which is a bottom-up approach. This method consists of steps to present idea using keywords, identifying keywords' affinity, computing similarity among ideas, and clustering ideas. This methodology allows participants to interact iteratively for clear manifestation of ambiguous ideas. We also developed a prototype system, IIC (intelligent idea categorizer) and evaluated its performance using the comparision experimetn with other systems. IIC is not a general purposed system, but it produces a good result in a given specific domain.

  • PDF

A Knowledge based Interaction idea Categorizer for Electronic Meeting Systems

  • Kim, Jae-Kyeong;Lee, Jae-Kwang
    • 지능정보연구
    • /
    • 제6권2호
    • /
    • pp.63-76
    • /
    • 2000
  • Research on group decisions and electroinc meeting systems have been increasing rapidly according to the widespread of Internet technology. Although various issues have been raised in empirical research, we will try to solve an issue on idea categorizing in the group decision making process of elecronic meeting systems. Idea categorizing used at existing group decision support systems was performed in a top-down procedure and mostly participants\` by manual work. This resulted in tacking as long in idea categorizing as it does for idea generating, clustering an idea in multiple categories, and identifying almost similar redundant categories. However such methods have critical limitation in the electronic meeting systems, we suggest an intelligent idea categorizing methodology which is a bottom-up approach. This method consists of steps to present idea using keywords, identifying keywords\` affinity, computing similarity among ideas, and clustering ideas. This methodology allows participants to interact iteratively for clear manifestation of ambiguous ideas. We also developed a prototype system, IIC (intelligent idea categorizer) and evaluated its performance using the comparision experimetn with other systems. IIC is not a general purposed system, but it produces a good result in a given specific domain.

  • PDF

직선으로 둘러싸인 영역과 비평면적 표면 상에서의 회로 분할과 배치를 위한 그래프 매칭 알고리즘 (A Graph Matching Algorithm for Circuit Partitioning and Placement in Rectilinear Region and Nonplanar Surface)

  • 박인철;경종민
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 1988년도 전기.전자공학 학술대회 논문집
    • /
    • pp.529-532
    • /
    • 1988
  • This paper proposes a graph matching algorithm based on simulated annealing, which assures the globally optimal solution for circuit partitioning for the placement in the rectilinear region occurring as a result of the pre-placement of some macro cells, or onto the nonplanar surface in some military or space applications. The circuit graph ($G_{C}$) denoting the circuit topology is formed by a hierarchical bottom-up clustering of cells, while another graph called region graph ($G_{R}$) represents the geometry of a planar rectilinear region or a nonplanar surface for circuit placement. Finding the optimal many-to-one vertex mapping function from $G_{C}$ to $G_{R}$, such that the total mismatch cost between two graphs is minimal, is a combinatorial optimization problem which was solved in this work for various examples using simulated annealing.

  • PDF