• 제목/요약/키워드: 계층적 군집방법

검색결과 117건 처리시간 0.026초

실시간 이슈 분석을 위한 뉴스 군집화 및 다중 문서 요약 (News Clustering and Multi-Document Summarization for Real-time Issue Analysis)

  • 유홍연;이승우;고영중
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.132-137
    • /
    • 2018
  • 뉴스 기반의 실시간 이슈 분석을 위해서는 실시간으로 생성되는 다중 뉴스 기사 집합을 입력으로 받아 점증적으로 군집화 하고, 각 군집별 정보를 자동으로 요약하는 기술이 필요하다. 기존에는 정적인 데이터 기반의 군집화와 요약 각각에 대한 연구는 활발히 진행되고 있지만, 실시간으로 입력되는 대량의 데이터를 위한 점증적인 군집화와 요약에 대한 연구는 매우 부족하다. 따라서 본 논문에서는 실시간으로 입력되는 대량의 뉴스 기사 집합을 분석하기 위한 점증적이고 계층적인 뉴스 군집화 및 다중 문서 요약 방법을 제안한다. 평가를 위해서 2016년 10월, 11월 두 달간의 실제 데이터를 사용 하였으며, 전문 교육을 받은 연구원들이 Precision at k 기반의 정성평가를 진행하였다. 그 결과, 자동으로 생성된 12개의 군집에서 군집 성능은 평균 66% (상위계층 $l_1$: 82%, 하위계층 $l_2$: 43%), 요약 성능은 평균 92%를 얻었다.

  • PDF

다양한 차원 축소 기법을 적용한 문서 군집화 성능 비교 (Comparison of Document Clustering Performance Using Various Dimension Reduction Methods)

  • 조희련
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 춘계학술발표대회
    • /
    • pp.437-438
    • /
    • 2018
  • 문서 군집화 성능을 높이기 위한 한 방법으로 차원 축소를 적용한 문서 벡터로 군집화를 실시하는 방법이 있다. 본 발표에서는 특이값 분해(SVD), 커널 주성분 분석(Kernel PCA), Doc2Vec 등의 차원 축소 기법을, K-평균 군집화(K-means clustering), 계층적 병합 군집화(hierarchical agglomerative clustering), 스펙트럼 군집화(spectral clustering)에 적용하고, 그 성능을 비교해 본다.

한강 유역에서의 강우 지역빈도 해석 방법의 비교 연구 (Comparative Study of Regional Frequency Analysis Methods of Rainfall in Han River Basin)

  • 엄명진;임승택;남우성;조원철;허준행
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2008년도 학술발표회 논문집
    • /
    • pp.1072-1076
    • /
    • 2008
  • 본 연구에서는 한강유역 109개 지점의 강우관측소에서 관측된 지속기간별 연최대강우량을 기본으로 각 지속기간별 L-모멘트값을 산정하고, 한강유역에 적합한 빈도해석기법을 정의하기 위하여 지역구분을 실시하였다. 지역구분을 위한 군집분석을 수행하기 위하여 각 지점별 기상학적 인자와 지형학적 인자를 변수로 사용하였다. 군집분석 기법인 Ward, 평균연결법, Fuzzy-c means, Two-Step방법을 이용하여 지역구분을 실시하였다. GIS를 이용하여 각 방법들을 이용하여 군집된 결과를 도시한 결과 Fuzzy-c means방법으로 구분된 지역구분이 적합한 것으로 나타났다. 또한 구분된 지역의 동질성 여부를 판단하고 적정 분포형을 선정하였으며 지점빈도해석 및 지역빈도해석을 통하여 빈도별 확률 수문량을 산정하였다. 산정된 결과의 정확도 알아보기 위해 모의발생을 시킨 후, 각 기법별로 산정된 상대 평균 제곱근 오차(Relative Root Mean Square Error, RRMSE)를 비교 분석한 결과 대체적으로 지수홍수법과 계층적 방법이 낮은 RRMSE를 나타냈다. 따라서 한강유역에서는 지수홍수법과 계층적 방법을 적용한 지역빈도해석이 적합한 것으로 판단된다.

  • PDF

마이크로어레이 유전자 발현 자료에 대한 군집 방법 비교 (Comparison of clustering methods of microarray gene expression data)

  • 임진수;임동훈
    • Journal of the Korean Data and Information Science Society
    • /
    • 제23권1호
    • /
    • pp.39-51
    • /
    • 2012
  • 군집분석은 마이크로어레이 발현자료에서 유전자 혹은 표본들의 유사한 특성을 갖는 연관구조를 조사하는데 중요한 도구이다. 본 논문에서는 마이크로어레이 자료에서 계층적 군집방법, K-평균법, PAM (partitioning around medoids), SOM (self-organizing maps) 그리고 모형기반 군집방법 들의 성능을 3가지 군집 타당성 측도인 내적 측도, 안정적 측도 그리고 생물학적 측도를 가지고 비교분석하고자 한다. 모의실험을 통해 생성된 자료와 실제 SRBCT (small round blue cell tumor) 자료를 가지고 여러 가지 군집방법들의 성능을 비교하였으며 그 결과 모의실험 자료에서는 거의 모든 방법들이 3가지 군집측도에서 원래 자료와 일치하는 좋은 군집 결과를 나타내었고 SRBCT 자료에서는 모의실험 자료처럼 명확한 군집화 결과를 보여주지는 않으나 내적측도의 실루엣 너비 (Silhouette width) 관점에서는 PAM 방법, SOM, 모형기반 군집방법 그리고 생물학적 측도에서는 PAM 방법과 모형기반 군집방법이 모의실험 결과와 비슷한 결과를 얻었고 안정적 측도에서 모형기반 군집방법이 다른 방법들보다 좋은 군집결과를 보여주었다.

비단조적 덴드로그램을 위한 Reachability Plot (Reachability Plot for Non-monotonic Dendrograms)

  • 전용권;이태훈;이병한;윤성로
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(B)
    • /
    • pp.441-443
    • /
    • 2012
  • 계층 군집화 (Hierarchical Clustering)는 전역정보를 활용하여 군집화를 하기 때문에 다양한 군집 분석(Cluster Analysis) 방법들 중에 비교적 많이 이용되고 있으나 군집화의 결과를 덴드로그램의 형태로 나타내 전체 군집들의 정보를 직관적으로 확인하기에는 어려움이 존재한다. 이러한 문제를 개선하기 위해서 기존 Dendrogram의 정보를 크게 훼손하지 않고 직관적으로 클러스터의 정보를 확인할 수 있는 Reachability plot이 개발되었다. 그러나 Centroid Linkage 방식과 같이 덴드로그램이 비단조적이 될 수 있는 계층 군집화에서는 이것을 기존의 Reachability plot 방식으로 변환할 경우 정보가 왜곡 되어 나타날 수 있다. 따라서 우리는 이러한 문제를 해결하기 위한 방법을 제안함으로써 비단조적 덴드로그램의 경우에도 군집들을 정보의 왜곡 없이 표현할 수 있도록 하였다.

우리나라 기상자료에 대한 군집분석 (Clustering analysis of Korea's meteorological data)

  • 여인권
    • Journal of the Korean Data and Information Science Society
    • /
    • 제22권5호
    • /
    • pp.941-949
    • /
    • 2011
  • 이 논문에서는 1999년 1월 1일부터 2010년 6월 30일까지 전국 72개 관측소에서 측정된 우리나라 기상자료를 평균연결법에 의한 계층적 병합방법을 통해 군집분석을 실시하고 각 기상자료에서 유도된 군집의 특성을 파악해 본다. 이 분석에서 유도된 군집과 2010년 기후변화에 따른 식중독 발생연구에서 사용되었던 산맥을 경계로 구분한 군집을 비교해 본다.

군집분석을 이용한 수도권 도시의 유형화에 관한 연구 (Charaterization of Cities in Seoul Metropolitan Area by Cluster Analysis)

  • 송민경;장훈
    • 대한공간정보학회지
    • /
    • 제18권1호
    • /
    • pp.83-88
    • /
    • 2010
  • 본 논문은 수도권 내 지역을 도시적 특성에 따라 군집 분석하여 수도권의 지역유형을 구분하고 그 특성을 파악하고자 하였다. 수도권 도시의 유형화를 위해 2005년을 시점으로 도시의 구성요소인 인구, 활동, 토지 및 시설을 나타내는 지표 10가지를 선정하였으며, 주성분분석을 통해 변수들의 공통된 특성이나 유사한 성질에 따라 공통인자를 추출하였다. 추출된 인자에 대한 인자득점을 이용하여 군집분석을 행하였고, 군집분석의 방법은 계층적 군집방법인 최단연결법, 최장연결법, 평균연결법, 와드법을 이용하였다. 그 결과 수도권을 5개의 군집으로 유형화 할 수 있었다.

위치 정보를 갖는 사진집합의 계층적 탐색 인터페이스 (Hierarchical Browsing Interface for Geo-Referenced Photo Database)

  • 이승훈;이강훈
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제16권4호
    • /
    • pp.25-33
    • /
    • 2010
  • 디지털 카메라가 널리 보급되면서 사람들은 언제, 어디서나 사진을 찍고 값싼 저장장치에 많은 수의 사진을 저장할 수 있게 되었다. 하지만 많은 수의 사진 중 원하는 사진을 효율적으로 탐색하는 것은 어려운 문제로 남아 있다. 본 논문은 위치 정보를 갖는 대규모 사진집합을 신속하고 직관적으로 탐색하는 새로운 방법을 제안한다. 전체 사진집합을 구조화하기 위해 지리적 거리가 가장 근접한 사진들을 묶어 군집화하고, 이러한 과정을 반복하여 최종적으로 모든 사진이 하나의 군집으로 병합되는 계층적 군집화를 수행한다. 또한 모든 군집의 컨벡스 헐과 넓이를 미리 계산하여 사진 탐색 시에는 미리 계산된 데이터와 현재 탐색 중인 지리 영역에 포함되는 군집들의 넓이를 비교해 적절한 넓이의 군집들을 선택적으로 시각화한다. 이 때 군집은 포함되는 모든 사진의 위치를 보여주는 대신 컨벡스 헐로 시각화하여 군집의 정확한 공간적 범위를 쉽게 파악할 수 있다. 사용자는 관심 군집을 클릭하여 해당 군집으로 신속하게 이동할수 있으며, 시스템은 관심 군집을 지도 영역에 정확히 채워 보일 수 있도록 자동적으로 지도 이동과 축척 조절을 하고 적절한 넓이의 하위 군집들로 분할하여 시각화한다. 특정주제 검색, 사진분류 등의 일반적인 사진탐색 예제를 통하여 제안된 방법의 유용성을 확인하였다.

계층적 군집분석을 이용한 반도체 웨이퍼의 불량 및 불량 패턴 탐지 (Wafer bin map failure pattern recognition using hierarchical clustering)

  • 정주원;정윤서
    • 응용통계연구
    • /
    • 제35권3호
    • /
    • pp.407-419
    • /
    • 2022
  • 반도체는 제조 공정이 복잡하고 길어 결함이 발생될 때 빠른 탐지와 조치가 이뤄져야 결함으로 인한 손실을 최소화할 수 있다. 테스트 공정을 거쳐 구성된 웨이퍼 빈 맵(WBM)의 체계적인 패턴을 탐지하고 분류함으로써 문제의 원인을 유추할 수 있다. 이 작업은 수작업으로 이뤄지기 때문에 대량의 웨이퍼를 단 시간에 처리하는 데 한계가 있다. 본 논문은 웨이퍼 빈 맵의 정상 여부를 구분하기 위해 계층적 군집 분석을 활용한 새로운 결함 패턴 탐지 방법을 제시한다. 제시하는 방법은 여러 장점이 있다. 군집의 수를 알 필요가 없으며 군집분석의 조율 모수가 적고 직관적이다. 동일한 크기의 웨이퍼와 다이(die)에서는 동일한 조율 모수를 가지므로 대량의 웨이퍼도 빠르게 결함을 탐지할 수 있다. 소량의 결함 데이터만 있어도 그리고 데이터의 결함비율을 가정하지 않더라도 기계학습 모형을 훈련할 수 있다. 제조 특성상 결함 데이터는 구하기 어렵고 결함의 비율이 수시로 바뀔 수 있기 때문에 필요하다. 또한 신규 패턴 발생시에도 안정적으로 탐지한다. 대만 반도체 기업에서 공개한 실제 웨이퍼 빈 맵 데이터(WM-811K)로 실험하였다. 계층적 군집 분석을 이용한 결함 패턴탐지는 불량의 재현율이 96.31%로 기존의 공간 필터(spatial filter)보다 우수함을 보여준다. 결함 분류는 혼합 유형에 장점이 있는 계층적 군집 분석을 그대로 사용한다. 직선형과 곡선형의 긁힘(scratch) 결함의 특징에 각각 주성분 분석의 고유값과 2차 다항식의 결정계수를 이용하고 랜덤 포레스트 분류기를 이용한다.

계층적 군집화를 이용한 능동적 학습 (Active Learning based on Hierarchical Clustering)

  • 우호영;박정희
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제2권10호
    • /
    • pp.705-712
    • /
    • 2013
  • 능동적 학습(active learning)은 소수의 라벨 데이터로 구성된 훈련 집합이 주어진 경우에 분류기 학습에 가장 도움이 될 만한 언라벨드 데이터를 선택하여 전문가에 의한 라벨링을 통해 훈련 집합에 포함시키는 과정을 반복함으로써 분류기의 성능을 향상시키는 것을 목적으로 한다. 본 논문에서는 워드 연결(ward's linkage)을 이용한 계층적 군집화(hierarchical clustering)를 바탕으로 한 능동적 학습 방법을 제안한다. 제안된 방법은 각 군집에서 적어도 하나의 샘플을 포함하도록 초기 훈련 집합을 능동적으로 구성하거나 또는 기존의 훈련 집합을 확장함으로써 전체 데이터 분포를 반영할 수 있게 한다. 기존의 능동적 학습 방법들 중 대부분은 초기 훈련 집합이 주어져 있을 경우를 가정하는 반면에 제안하는 방법은 초기 클래스 정보를 가진 훈련 데이터가 주어지지 않은 경우와 주어진 경우에 모두 적용 가능하다. 실험을 통하여 제안하는 방법이 비교 방법들에 비해 분류기 성능을 크게 향상시킬 수 있는 효과적인 데이터 선택을 수행함을 보인다.