• 제목/요약/키워드: 클러스터링 문제

검색결과 429건 처리시간 0.03초

확장된 WARD기 법을 사용한 웹 GIS 클러스터 링 시스템 (Web GIS Cluster Design with Extended Workload-Aware Request Distribution (WARD) Strategy)

  • 장용일;이충호;이재동;배해영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (1)
    • /
    • pp.304-306
    • /
    • 2001
  • 웹 클러스터링 시스템은 사용자의 집중에 의한 서버의 과부화해 효율적으로 대처할 수 있는 방법 중 하나이다. 공간 질의의 대부분은 인접 영역에 대한 경우가 매우 잦으며. 특정 영역에 집중되는 특성을 갖는다. 타일 기반 웹 GIS 클러스터링 시스템은 이러한 공간 질의의 특성을 만족시키면서 클러스터에 포함되는 각 노드의 버퍼 재 사용률을 높이고 디스크 접근 빈도를 낮출 수 있는 기법을 사용한다. 그러나, 모든 질의가 디스패처를 거치기 때문에 병목현상이 나타날 수 있으며, 질의의 빈도가 낮은 지역의 경우 할당된 지역의 범위에 의해 버퍼 관리에 문제가 생긴다. 본 논문에서는 확장된 WARD기법을 사용한 웹 GIS 클러스터링 시스템을 제안한다. 제안되는 시스템은 타일 기반 웹 GIS클러스터링 시스템을 기반으로 디스패처를 분산시켜 병목현상을 줄이고, 각 지역을 그룹으로 묶어 플러스터를 분배하여 대용량의 공간 데이터를 위해 적절한 버퍼 관리를 한다. 또한, 질의가 집중되는 영역에 대한 레이어를 모든 노드의 코어 영역에 중복 저장하여 로컬에서 지역적으로 처리하고 다른 노드로의 처리 요구에 대한 포워딩(Forwarding) 오버헤드를 줄여 기존의 서버에 비해 안정성와 확장성 그리고 처리 능력을 향상시킬 수 있다.

  • PDF

맵리듀스를 이용한 클라우드 컴퓨팅 기반의 클러스터링 시스템 (Cloud based Clustering System using MapReduce)

  • 김기현;정인용;한병전;정창성
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.159-160
    • /
    • 2013
  • 데이터마이닝 분야에 있어서 클러스터링 시스템은 데이터를 조직하고 통합하는 중요한 시스템이다. 이러한 시스템의 해결 과제인 복잡한 인스톨 과정, 높은 설비 투자 비용, 지속적인 사후 관리 등의 문제를 갖고 있다. 이에 주요 IT 벤더들은 클라우드 컴퓨팅을 이용하여 설치 과정 생략, 운용비용 절감, 사전 관리 강화 등에 중점을 두고 있다. 이에 본 논문에서는 맵 리듀스를 이용한 클라우드 컴퓨팅 기반의 클러스터링 시스템을 구현하였다. 이 시스템은 클라우드 컴퓨팅 기술을 이용하여 하둡 및 클러스터링 시스템 설치를 자동화 하였고, 맵리듀스를 사용해 데이터 처리를 여러 머신들이 분담하도록 하여 속도 향상을 꾀하였다.

퍼지 성능 측정자를 이용한 적응 데이터 마이닝 모델 (Adaptive Data Mining Model using Fuzzy Performance Measures)

  • 이현숙
    • 정보처리학회논문지B
    • /
    • 제13B권5호
    • /
    • pp.541-546
    • /
    • 2006
  • 데이터 마이닝은 방대한 양의 데이터를 다루는 응용영역에서 학습과 함께 연구되어 실세계의 문제를 해결할 수 있는 구체적인 방법을 제시해 주고 있다. 데이터 마이닝을 위한 보편적인 방법으로 사용되어 온 클러스터 분석 방법은 데이터의 양이 많아질수록, 실세계에서 직접 얻은 데이터일수록 경계가 불분명하고 처리과정에서 많은 오차가 발생하게 되어 직접 적용하고자할 때 고려해야할 점이 많다. 이를 위하여 퍼지 개념이 도입된 퍼지 클러스터링 방법론은 클러스터 타당성문제와 함께 널리 연구되어왔다. 본 논문에서는 클러스터링의 결과가 만들어 내는 오류 값을 최소화하는 방향으로 학습하는 비교사 학습신경망에 의하여 클러스터링이 이루어지고 이를 퍼지 성능 측정자에 의하여 평가하면서 최적의 클러스터 수를 찾아가는 적응형 데이터 마이닝 모델을 제안하고자 한다 또한 뉴스그룹의 텍스트 데이터를 처리하여 문서분류에 활용할 수 있음을 보임으로 제안된 모델의 타당성을 확인하고자 한다.

시계열 데이터의 프라이버시 보호 클러스터링에서 노이즈 평준화 효과 (Noise Averaging Effect on Privacy-Preserving Clustering of Time-Series Data)

  • 문양세;김혜숙
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권3호
    • /
    • pp.356-360
    • /
    • 2010
  • 최근, 개인 데이터의 프라이버시 보호에 대한 문제가 대두됨에 따라 대용량 데이터를 대상으로 하는 데이터 마이닝 분야에서도 프라이버시 보호 문제에 대한 활발한 연구가 진행되고 있다. 데이터 마이닝에서의 프라이버시 보호 문제는 정보제공자에 의해 제공된 정보 중 민감한 개인 정보의 노출이 없이도 가능한 정확한 마이닝 결과를 얻는 것이다. 데이터 마이닝의 프라이버시 보호 기법에서는 데이터의 보호뿐만 아니라 결과의 정확도 또한 중요한 요인이다. 이에 따라, 본 논문에서는 시계열 데이터 클러스터링을 기반으로 랜덤 데이터 교란 기법에서 결과의 정확도를 높이는 기법으로 노이즈 평준화 개념을 제시한다. 기존의 랜덤 데이터 교란 기법은 데이터의 프라이버시는 잘 보호하지만 시계열간의 거리-순서가 보존되지 않아 결과의 정확도가 크게 떨어지는 문제점을 가진다. 이를 위해, 본 논문에서는 PAA를 기반으로 하는 노이즈 평준화 개념을 제시하고, 구체적인 예를 통해, 제안한 노이즈 평준화 개념이 랜덤 데이터 교란 기법에서 클러스터링 결과의 정확도를 높일 수 있음을 체계적으로 설명한다.

물류 센터 위치 선정 및 대리점 할당 모형에 대한 휴리스틱 해법 (Meta-heuristic Method for the Single Source Capacitated Facility Location Problem)

  • 석상문;이상욱
    • 한국콘텐츠학회논문지
    • /
    • 제10권9호
    • /
    • pp.107-116
    • /
    • 2010
  • 시설물 입지 선정 문제(FLP)는 전통적인 최적화 문제중에 하나이다. FLP에 공급제약과 하나의 고객은 하나의 시설물에서만 제품을 공급받을 수 있다는 제약을 추가하면 단일 시설물 공급제약을 가지는 시설물 위치 설정 문제(SSFLP)가 된다. SSFLP는 NP-hard 문제로 알려져 있으며 진화 알고리즘과 같은 휴리스틱 알고리즘을 사용하여 해결하는 것이 일반적이다. 본 논문에서는 SSFLP를 위한 효율적인 진화 알고리즘을 제안한다. 제안하는 알고리즘은 적응형 링크 조절 진화 알고리즘과 3가지 휴리스틱 해 개선 방법을 조합하여 고안되었다. 제안하는 알고리즘을 벤치마크 문제에 적용하여 다른 알고리즘과 성능을 비교분석해 본 결과, 제안하는 알고리즘은 중간 크기의 문제에서 대부분 최적해를 찾았으며 큰 문제에서도 안정된 결과를 보여주었다.

무선 애드 혹 네트워크상에서 라우팅 성능 향상을 위한 퍼지 적합도 기반 클러스터링 (Fuzzy Relevance-Based Clustering for Routing Performance Enhancement in Wireless Ad-Hoc Networks)

  • 이종득
    • 한국항행학회논문지
    • /
    • 제14권4호
    • /
    • pp.495-503
    • /
    • 2010
  • 클러스터링은 모바일 노드들에 대한 정보를 효율적으로 제공해 주며, 라우팅, 대역폭 할당과 같은 처리성능을 향상시키는 중요한 메카니즘이다. 본 논문에서 우리는 이동성(mobility)으로 인한 동적 속성, 평면구조 구조상에서 발생하는 노드 분산 등과 같은 문제를 효과적으로 해결하고 라우팅 성능을 향상시키기 위한 퍼지 적합도 기반의 클러스터링 기법을 제안한다. 제안된 기법은 FSV(Fuzzy_State_Viewing) 구조를 이용하여 퍼지 적합도${\alpha}$를 수행한다. 퍼지 적합도${\alpha}$는 FSV 구조에서 클러스터링을 수행하기 위한 클러스터헤드 CH(ClusterHead)를 선정하는 역할을 수행한다. 본 논문에서는 이와 같이 제안된 클러스터링 기법을 통해서 기존의 1-홉 클러스터 및 2-hop 클러스터에서 발생되는 문제를 해결하도록 하였다. 제안된 기법의 성능을 알아보기 위하여 우리는 NS-2 시뮬레이터를 이용하여 시뮬레이션을 수행하였다. 우리는 시뮬레이션 평가를 위해 기존의 Lowest-ID, MOBIC, SCA 기법 그리고 제안된 기법과의 성능을 비교하였다. 시뮬레이션 결과 제안된 기법의 성능이 Lowest-ID, MOBIC, SCA 기법에 비해서 우수함을 알 수 있다.

고차원 데이터를 부분차원 클러스터링하는 효과적인 알고리즘 (An Effective Algorithm for Subdimensional Clustering of High Dimensional Data)

  • 박종수;김도형
    • 정보처리학회논문지D
    • /
    • 제10D권3호
    • /
    • pp.417-426
    • /
    • 2003
  • 고차원 데이터에서 클러스터를 찾아내는 문제는 그 중요성으로 인해 데이터 마이닝 분야에서 잘 알려져 있다. 클러스터 분석은 패턴 인식, 데이터 분석, 시장 분석 등의 여러 응용 분야에 광범위하게 사용되어지고 있다. 최근에 이 문제를 풀 수 있는 투영된 클러스터링이라는 새로운 방법론이 제기되었다. 이것은 먼저 각 후보 클러스터의 부분차원들을 선택하고 이를 근거로 한 거리 함수에 따라 가장 가까운 클러스터에 점이 배정된다. 우리는 고차원 데이터를 부분차원 클러스터링하는 새로운 알고리즘을 제안한다. 알고리즘의 주요한 세 부분은, $\circled1$적절한 개수의 점들을 갖는 여러 개의 후보 클러스터로 입력 점들을 분할하고, $\circled2$다음 단계에서 유용하지 않은 클러스터들을 제외하고, 그리고 $\circled3$선택된 클러스터들은 밀접도 함수를 사용하여 미리 정해진 개수의 클러스터들로 병합한다. 다른 클러스터링 알고리즘과 비교하여 제안된 알고리즘의 좋은 성능을 보여주기 위하여 많은 실험을 수행하였다.

클러스터 기반의 멀티캐스트 라우팅 문제 해법을 위한 유전자 알고리즘 (A Genetic Algorithm for Cluster Based Multicast Routing Problem)

  • 강명주
    • 한국컴퓨터정보학회논문지
    • /
    • 제8권3호
    • /
    • pp.150-155
    • /
    • 2003
  • 멀티캐스트는 한 점에서 다수의 집단 구성원들에게 데이터를 전송하는 것으로 이는 멀티캐스트 트리를 구성하여 해결할 수 있다. 즉, 전체 네트워크를 몇 개의 클러스터로 분할한 후 클러스터 내부를 멀티캐스트 트리로 구성하여 해결할 수 있다. 본 논문에서는 클러스터링 방법을 사용하여 멀티캐스트 라우팅 비용을 줄이는 알고리즘을 제안한다. 멀티캐스트 트리는 최소비용 스타이너 트리로 구성할 수 있기 때문에 최소비용 스타이너 트리 문제를 해결하는 것이 중요하다. 따라서, 본 논문에서는 멀티캐스트 라우팅 문제의 해법으로 클러스터링 방법을 이용한 유전자 알고리즘을 제안한다.

  • PDF

영상 분할을 위한 개선된 공간적 퍼지 클러스터링 알고리즘 (An Enhanced Spatial Fuzzy C-Means Algorithm for Image Segmentation)

  • 퉁 투룽;김종면
    • 한국컴퓨터정보학회논문지
    • /
    • 제17권2호
    • /
    • pp.49-57
    • /
    • 2012
  • FCM(fuzzy c-means)은 일반적으로 영상 분할에서 좋은 성능을 보인다. 하지만 공간 정보를 사용하지 않는 일반적인 FCM 알고리즘은 낮은 대비의 영상, 경계선이 뚜렷하지 않은 영상, 잡음이 포함된 영상의 분할에는 좋지 않은 성능을 보인다. 이와 같은 문제를 해결하기 위해 본 논문에서는 3x3 크기의 윈도우를 이용하여 윈도우 내의 중심 픽셀과 주변 픽셀간의 거리 정보를 소속 함수에 추가한 개선된 공간적 퍼지 클러스터링 알고리즘을 제안한다. 본 논문에서는 분할 계수, 분할 엔트로피, Xie-Bdni 함수와 같은 클러스터링 검증 함수를 이용하여 FCM 기반의 다양한 클러스터링 알고리즘과 제안한 알고리즘과의 성능을 비교하였다. 성능 평가 결과 제안한 알고리즘이 기존의 FCM기반의 클러스터링 알고리즘보다 클러스터링 검증 함수에서 성능이 우수함을 확인 할 수 있었다.

고차원 데이터 처리를 위한 SVM기반의 클러스터링 기법 (SVM based Clustering Technique for Processing High Dimensional Data)

  • 김만선;이상용
    • 한국지능시스템학회논문지
    • /
    • 제14권7호
    • /
    • pp.816-820
    • /
    • 2004
  • 클러스터링은 데이터 집합을 유사한 데이터 개체들의 클러스터들로 분할하여 데이터 속에 존재하는 의미 있는 정보를 얻는 과정이다. 클러스터링의 주요 쟁점은 고차원 데이터를 효율적으로 클러스터링하는 것과 최적화 문제를 해결하는 것이다. 본 논문에서는 SVM(Support Vector Machines)기반의 새로운 유사도 측정법과 효율적으로 클러스터의 개수를 생성하는 방법을 제안한다. 고차원의 데이터는 커널 함수를 이용해 Feature Space로 매핑시킨 후 이웃하는 클러스터와의 유사도를 측정한다. 이미 생성된 클러스터들은 측정된 유사도 값과 Δd 임계값에 의해서 원하는 클러스터의 개수를 얻을 수 있다. 제안된 방법을 검증하기 위하여 6개의 UCI Machine Learning Repository의 데이터를 사용한 결과, 제시된 클러스터의 개수와 기존의 연구와 비교하여 향상된 응집도를 얻을 수 있었다.