• 제목/요약/키워드: noise clustering

검색결과 216건 처리시간 0.032초

Regularization을 이용한 Possibilistic Fuzzy C-means의 확장 (An Extension of Possibilistic Fuzzy C-means using Regularization)

  • 허경용;남궁영환;김성훈
    • 한국컴퓨터정보학회논문지
    • /
    • 제15권1호
    • /
    • pp.43-50
    • /
    • 2010
  • Fuzzy c-means(FCM)와 possibilistic c-means(PCM)는 퍼지 클러스터링 영역에서 대표적인 두 가지 방법으로 많은 패턴 인식 문제들에 성공적으로 활용되어져 왔다. 하지만 이들 방법 역시 잡음 민감성과 중첩 클러스터 문제를 가지고 있다. 이들 문제점을 극복하기 위해, 최근 두 방법을 결합하려는 시도가 있어왔고, possibilistic fuzzy c-means(PFCM)는 FCM과 PCM을 목적 함수 단계에서 통합함으로써 두 방법이 가지는 문제점을 완화시키는 성공적인 결과를 보여주었다. 이 논문에서는 PFCM에 regularization을 도입함으로써 PFCM의 잡음 민감성을 한층 더 줄여줄 수 있는 향상된 PFCM을 소개한다. Regularization은 해공간을 평탄화 함으로써 잡음의 영향을 줄이는 대표적인 방법 중 하나이다. 제안한 방법은 PFCM의 장점과 더불어 regularization에 의해 잡음의 영향을 더욱 줄일 수 있으며, 이는 실험을 통해 확인할 수 있다.

Mutual Fund 수익률의 비정상 함수형 시그널을 위한 다해상도 클러스터 계층구조 (Multi-scale Cluster Hierarchy for Non-stationary Functional Signals of Mutual Fund Returns)

  • 김대룡;정욱
    • 경영과학
    • /
    • 제24권2호
    • /
    • pp.57-72
    • /
    • 2007
  • Many Applications of scientific research have coupled with functional data signal clustering techniques to discover novel characteristics that can be used for the diagnoses of several issues. In this article we present an interpretable multi-scale cluster hierarchy framework for clustering functional data using its multi-aspect frequency information. The suggested method focuses on how to effectively select transformed features/variables in unsupervised manner so that finally reduce the data dimension and achieve the multi-purposed clustering. Specially, we apply our suggested method to mutual fund returns and make superior-performing funds group based on different aspects such as global patterns, seasonal variations, levels of noise, and their combinations. To promise our method producing a quality cluster hierarchy, we give some empirical results under the simulation study and a set of real life data. This research will contribute to financial market analysis and flexibly fit to other research fields with clustering purposes.

확장된 퍼지 클러스터링 알고리즘을 이용한 영상 분할 (Image Segmentation Using an Extended Fuzzy Clustering Algorithm)

  • 김수환;강경진;이태원
    • 전자공학회논문지B
    • /
    • 제29B권3호
    • /
    • pp.35-46
    • /
    • 1992
  • Recently, the fuzzy theory has been adopted broadly to the applications of image processing. Especially the fuzzy clustering algorithm is adopted to image segmentation to reduce the ambiguity and the influence of noise in an image.But this needs lots of memory and execution time because of the great deal of image data. Therefore a new image segmentation algorithm is needed which reduces the memory and execution time, doesn't change the characteristices of the image, and simultaneously has the same result of image segmentation as the conventional fuzzy clustering algorithm. In this paper, for image segmentation, an extended fuzzy clustering algorithm is proposed which uses the occurence of data of the same characteristic value as the weight of the characteristic value instead of using the characteristic value directly in an image and it is proved the memory reduction and execution time reducted in comparision with the conventional fuzzy clustering algorithm in image segmentation.

  • PDF

시계열 데이터의 프라이버시 보호 클러스터링에서 노이즈 평준화 효과 (Noise Averaging Effect on Privacy-Preserving Clustering of Time-Series Data)

  • 문양세;김혜숙
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권3호
    • /
    • pp.356-360
    • /
    • 2010
  • 최근, 개인 데이터의 프라이버시 보호에 대한 문제가 대두됨에 따라 대용량 데이터를 대상으로 하는 데이터 마이닝 분야에서도 프라이버시 보호 문제에 대한 활발한 연구가 진행되고 있다. 데이터 마이닝에서의 프라이버시 보호 문제는 정보제공자에 의해 제공된 정보 중 민감한 개인 정보의 노출이 없이도 가능한 정확한 마이닝 결과를 얻는 것이다. 데이터 마이닝의 프라이버시 보호 기법에서는 데이터의 보호뿐만 아니라 결과의 정확도 또한 중요한 요인이다. 이에 따라, 본 논문에서는 시계열 데이터 클러스터링을 기반으로 랜덤 데이터 교란 기법에서 결과의 정확도를 높이는 기법으로 노이즈 평준화 개념을 제시한다. 기존의 랜덤 데이터 교란 기법은 데이터의 프라이버시는 잘 보호하지만 시계열간의 거리-순서가 보존되지 않아 결과의 정확도가 크게 떨어지는 문제점을 가진다. 이를 위해, 본 논문에서는 PAA를 기반으로 하는 노이즈 평준화 개념을 제시하고, 구체적인 예를 통해, 제안한 노이즈 평준화 개념이 랜덤 데이터 교란 기법에서 클러스터링 결과의 정확도를 높일 수 있음을 체계적으로 설명한다.

Incremental Fuzzy Clustering Based on a Fuzzy Scatter Matrix

  • Liu, Yongli;Wang, Hengda;Duan, Tianyi;Chen, Jingli;Chao, Hao
    • Journal of Information Processing Systems
    • /
    • 제15권2호
    • /
    • pp.359-373
    • /
    • 2019
  • For clustering large-scale data, which cannot be loaded into memory entirely, incremental clustering algorithms are very popular. Usually, these algorithms only concern the within-cluster compactness and ignore the between-cluster separation. In this paper, we propose two incremental fuzzy compactness and separation (FCS) clustering algorithms, Single-Pass FCS (SPFCS) and Online FCS (OFCS), based on a fuzzy scatter matrix. Firstly, we introduce two incremental clustering methods called single-pass and online fuzzy C-means algorithms. Then, we combine these two methods separately with the weighted fuzzy C-means algorithm, so that they can be applied to the FCS algorithm. Afterwards, we optimize the within-cluster matrix and betweencluster matrix simultaneously to obtain the minimum within-cluster distance and maximum between-cluster distance. Finally, large-scale datasets can be well clustered within limited memory. We implemented experiments on some artificial datasets and real datasets separately. And experimental results show that, compared with SPFCM and OFCM, our SPFCS and OFCS are more robust to the value of fuzzy index m and noise.

적응 군집화 기반 희소 부호화에 의한 영상 잡음 제거 (Adaptive Clustering based Sparse Representation for Image Denoising)

  • 김시현
    • 전기전자학회논문지
    • /
    • 제23권3호
    • /
    • pp.910-916
    • /
    • 2019
  • 자연 영상의 비지역적 유사성은 다양한 영상 응용 분야에서 활용되는 중요한 특성 중에 하나이다. 영상 내 객체의 에지나 텍스쳐, 무늬 등은 비지역적으로 반복되어 나타난다. 유사도가 높은 영상 블록들로 군집을 형성하면 자연스럽게 그로부터 특징을 추출할 수 있다. 또한 군집의 크기가 클수록 원치 않는 백색 잡음에 대한 대항력을 키울 수 있다. 영상 신호 처리 중 잡음 제거 관련 연구는 백색 가산 잡음이 포함된 영상의 복원을 다룬다. 본 논문에서는 백색 잡음이 포함된 영상을 유사도에 따라 적응적으로 군집화하여 잡음 신호에 대한 이득을 향상시키고, 이를 통해 잡음을 효과적으로 제거하는 알고리듬을 제안한다. 다양한 영상과 잡음 강도에 대한 모의실험 결과로부터 제안된 알고리듬이 에지, 텍스쳐, 무늬 영역을 잘 보존하면서 잡음을 제거할 수 있음을 시각적으로 확인할 수 있고, 또한 최근 보고된 여러 방법들과의 잡음 제거 성능 수치 비교에서도 우수한 결과를 보인다.

FCM 클러스터링 알고리즘과 퍼지 결정트리를 이용한 상황인식 정보 서비스 (A Context-Aware Information Service using FCM Clustering Algorithm and Fuzzy Decision Tree)

  • 양석환;정목동
    • 한국멀티미디어학회논문지
    • /
    • 제16권7호
    • /
    • pp.810-819
    • /
    • 2013
  • FCM 클러스터링 알고리즘은 대표적인 분할기반 군집화 알고리즘이며 다양한 분야에서 성공적으로 적용되어 왔다. 그러나 FCM 클러스터링 알고리즘은 잡음 및 지역 데이터에 대한 높은 민감도, 직관적인 결과와 상이한 결과 도출 가능성이 높은 문제, 초기 원형과 클러스터 개수 설정 문제 등이 존재한다. 본 논문에서는 FCM 알고리즘의 결과를 해당 속성의 데이터 축에 사상하여 퍼지구간을 결정하고, 결정된 퍼지구간을 FDT에 적용함으로써 FCM 알고리즘이 가지는 문제 중 잡음 및 데이터에 대한 높은 민감도, 직관적인 결과와 상이한 결과 도출 가능성이 높은 문제를 개선하는 시스템을 제안한다. 또한 실제 교통데이터와 강수량 데이터를 이용한 실험을 통하여 제안 모델과 FCM 클러스터링 알고리즘을 비교한다. 실험 결과를 통해 제안 모델은 잡음 및 데이터에 대한 민감도를 완화시킴으로써 보다 안정적인 결과를 제공하며, FCM 클러스터링 알고리즘을 적용한 시스템보다 직관적인 결과와의 일치율을 높여줌을 알 수 있다.

쿼드 트리를 이용한 동적 공간 분할 기반 차분 프라이버시 k-평균 클러스터링 알고리즘 (Differentially Private k-Means Clustering based on Dynamic Space Partitioning using a Quad-Tree)

  • 구한준;정우환;오성웅;권수용;심규석
    • 정보과학회 논문지
    • /
    • 제45권3호
    • /
    • pp.288-293
    • /
    • 2018
  • 최근 공개되는 데이터에 적용하는 다양한 프라이버시 보호 기법들이 연구가 되어왔다. 그 중 차분 프라이버시는 본래의 데이터에 확률적인 노이즈를 더하여 공격자의 사전 지식에 상관없이 개인 정보를 보호한다. 기존 차분 프라이버시를 만족하는 k-평균 클러스터링은 데이터로부터 차분 프라이버시를 만족하는 히스토그램 형태로 바꾼 뒤. k-평균 클러스터링 알고리즘을 수행한다. 하지만 이는 데이터의 분포와 상관없이 등간격으로 히스토그램을 만들기 때문에 노이즈가 삽입되는 버킷이 많아지는 단점이 있다. 이를 해결하기 위해 본 논문에서는 데이터의 분포를 더 적은 버킷으로 나타낼 수 있는 쿼드 트리를 이용하여 히스토그램을 만든 뒤 k-평균을 찾는 알고리즘을 제안한다. 또한, 실험을 통해 기존의 알고리즘보다 더 좋은 성능을 가지는 것을 보인다.

군집분석을 이용한 양파 감성사전 구축 (Construction of Onion Sentiment Dictionary using Cluster Analysis)

  • 오승원;김민수
    • Journal of the Korean Data Analysis Society
    • /
    • 제20권6호
    • /
    • pp.2917-2932
    • /
    • 2018
  • 우리나라 식생활에 밀접한 관련을 가지고 있는 채소인 양파의 수급불균형 해결을 위한 생산량 예측 모형 개발의 노력이 많은 연구를 통해 이뤄지고 있다. 하지만 양파의 수확기와 저장 가능성을 고려해 봤을 때 생산량 예측만으로는 수급불균형 해결이 어렵다. 따라서 본 논문에서는 양파의 생산량 정보와 가격의 다양한 요인이 포함되어 있으며 일상에서 쉽게 접할 수 있는 인터넷 기사를 이용하여 가격 예측을 위한 감성사전을 구축하고자 한다. 양파 기사는 2012년부터 2016년까지의 데이터를 사용하였고 도매시장 가격을 통한 문서구분을 통해 4가지 TF-IDF를 비교하여 적합한 TF-IDF를 사용하였다. 분석을 위하여 분할적 군집분석 중 k-means 군집, 밀도기반군집(DBSCAN; density based spatial cluster applications with noise), 가우시안혼합분포군집(GMM; Gaussian mixture model) 군집을 통하여 가격에 대한 긍정/부정 단어를 구분한 결과 GMM 군집이 의미 있는 긍정, 부정, 무정의 3개의 사전으로 구성되었다. 구축된 사전의 합리성을 비교하기 위하여 가격 상승 기사와 가격 하락 기사의 분류에 로지스틱 회귀분석을 적용한 결과 85.7%의 정확도로 구축된 사전의 합리성을 확인할 수 있었다.