Magnifying Block Diagonal Structure for Spectral Clustering

스펙트럼 군집화에서 블록 대각 형태의 유사도 행렬 구성

Traditional clustering methods, like k-means or fuzzy clustering, are prototype-based methods which are applicable only to convex clusters. On the other hand, spectral clustering tries to find clusters only using local similarity information. Its ability to handle concave clusters has gained the popularity recent years together with support vector machine (SVM) which is a kernel-based classification method. However, as is in SVM, the kernel width plays an important role and has a great impact on the result. Several methods are proposed to decide it automatically, it is still determined based on heuristics. In this paper, we proposed an adaptive method deciding the kernel width based on distance histogram. The proposed method is motivated by the fact that the affinity matrix should be formed into a block diagonal matrix to generate the best result. We use the tradition Euclidean distance together with the random walk distance, which make it possible to form a more apparent block diagonal affinity matrix. Experimental results show that the proposed method generates more clear block structured affinity matrix than the existing one does.

K-means나 퍼지 군집화와 같은 전통적인 군집화 기법들이 원형(prototype)을 기반으로 하고 볼록한 형태의 집단들에 적합한 반면, 스펙트럼 군집화(spectral clustering)는 국부적인 유사성을 기반으로 전역적인 집단을 찾아내는 기법으로 오목한 형태의 집단들에도 적용할 수 있어 커널을 기반으로 하는 SVM과 더불어 각광을 받고 있다. 하지만 SVM이 그러하듯이 스펙트럼 군집화에서도 커널의 폭은 성능에 지대한 영향을 끼치는 요인으로, 이를 결정하기 위한 다양한 방법이 시도되었지만 여전히 휴리스틱에 의존하는 실정이다. 이 논문에서는 유사도 행렬이 보다 명백한 블록 대각 형태를 가지도록 하기 위해 국부적인 커널의 폭을 거리 히스토그램을 바탕으로 적응적으로 결정하는 방법을 제시한다. 제안한 방법은 스펙트럼 군집화에 사용되는 유사도 행렬(affinity matrix)이 블록 형태의 대각 행렬을 이룰 때 이상적인 결과를 낸다는 사실에 기반하고 있으며, 이를 위해서 전통적인 유클리디안 거리와 무작위 행보 거리(random walk distance)를 함께 사용한다. 제안한 방법은 기존의 방법들에서 사용하는 유사도 행렬에 비해 명확한 블록 대각 행렬을 나타내고 있음을 실험 결과를 통해 확인할 수 있다.