• 제목/요약/키워드: cluster map

검색결과 278건 처리시간 0.022초

Improvement of location positioning using KNN, Local Map Classification and Bayes Filter for indoor location recognition system

  • Oh, Seung-Hoon;Maeng, Ju-Hyun
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권6호
    • /
    • pp.29-35
    • /
    • 2021
  • 본 논문에서는 위치 측위의 정확도를 높일 수 있는 방안으로 KNN(K-Nearest Neighbor)과 Local Map Classification 및 Bayes Filter를 융합한 기법을 제안한다. 먼저 이 기법은 Local Map Classification이 실제 지도를 여러 개의 Cluster로 나누고, 다음으로 KNN으로 Cluster들을 분류한다. 그리고 Bayes Filter가 획득한 각 Cluster의 확률을 통하여 Posterior Probability을 계산한다. 이 Posterior Probability으로 로봇이 위치한 Cluster를 검색한다. 성능 평가를 위하여 KNN과 Local Map Classification 및 Bayes Filter을 적용하여서 얻은 위치 측위의 결과를 분석하였다. 분석 결과로 RSSI 신호가 변하더라도 위치 정보는 한 Cluster에 고정되면서 위치 측위의 정확도가 높아진다는 사실을 확인하였다.

An Analytical Approach to Evaluation of SSD Effects under MapReduce Workloads

  • Ahn, Sungyong;Park, Sangkyu
    • JSTS:Journal of Semiconductor Technology and Science
    • /
    • 제15권5호
    • /
    • pp.511-518
    • /
    • 2015
  • As the cost-per-byte of SSDs dramatically decreases, the introduction of SSDs to Hadoop becomes an attractive choice for high performance data processing. In this paper the cost-per-performance of SSD-based Hadoop cluster (SSD-Hadoop) and HDD-based Hadoop cluster (HDD-Hadoop) are evaluated. For this, we propose a MapReduce performance model using queuing network to simulate the execution time of MapReduce job with varying cluster size. To achieve an accurate model, the execution time distribution of MapReduce job is carefully profiled. The developed model can precisely predict the execution time of MapReduce jobs with less than 7% difference for most cases. It is also found that SSD-Hadoop is 20% more cost efficient than HDD-Hadoop because SSD-Hadoop needs a smaller number of nodes than HDD-Hadoop to achieve a comparable performance, according to the results of simulation with varying the number of cluster nodes.

Hadoop 상에서 MapReduce 응용프로그램 평가 (Performance Evaluation of MapReduce Application running on Hadoop)

  • 김준수;강윤희;박용범
    • 소프트웨어공학소사이어티 논문지
    • /
    • 제25권4호
    • /
    • pp.63-67
    • /
    • 2012
  • 다양한 분야에서 빠르게 대용량의 자료가 생성됨에 따라 이를 처리하기 위해 분산 프로그래밍 모델인 MapReduce의 활용이 도입되고 있다. 본 논문에서는 SUN Blade150에 Solaris와 Linux 환경의 클러스터 시스템을 구축한 뒤 해당 환경에서의 MapReduce 미들웨어인 Hadoop 에서 응용수행에 대한 평균 시간 및 표준 편차를 평가하여 Hadoop 기반 MapReduce 구현이 어떠한 클러스터 시스템에 의해 성능이 영향을 미치는지를 보인다.

  • PDF

노드의 가용성을 고려한 하둡 태스크 할당 정책 (Task Assignment Policy for Hadoop Considering Availability of Nodes)

  • 류우석
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2017년도 춘계학술대회
    • /
    • pp.103-105
    • /
    • 2017
  • 하둡 맵리듀스(MapReduce)는 사용자가 요청한 잡을 하둡 클러스터에서 효과적으로 병렬 분산 처리하기 위한 프레임워크이다. 맵리듀스의 태스크 스케쥴러는 사용자의 잡 태스크들을 여러 노드에 할당하기 위한 기법이다. 하지만, 기존의 스케쥴러는 노드의 가용 상태에 따라 규모가 동적으로 변화하는 하둡 클러스터를 고려하지 않음으로써 클러스터의 자원을 충분히 활용하지 못하는 문제가 있다. 본 논문에서는 노드의 가용성을 고려하여 잡 태스크를 효과적으로 할당함으로써 하둡 클러스터의 활용성을 높이는 태스크 할당 정책을 제시한다.

  • PDF

A Study on Efficient Cluster Analysis of Bio-Data Using MapReduce Framework

  • Yoo, Sowol;Lee, Kwangok;Bae, Sanghyun
    • 통합자연과학논문집
    • /
    • 제7권1호
    • /
    • pp.57-61
    • /
    • 2014
  • This study measured the stream data from the several sensors, and stores the database in MapReduce framework environment, and it aims to design system with the small performance and cluster analysis error rate through the KMSVM algorithm. Through the KM-SVM algorithm, the cluster analysis effective data was used for U-health system. In the results of experiment by using 2003 data sets obtained from 52 test subjects, the k-NN algorithm showed 79.29% cluster analysis accuracy, K-means algorithm showed 87.15 cluster analysis accuracy, and SVM algorithm showed 83.72%, KM-SVM showed 90.72%. As a result, the process speed and cluster analysis effective ratio of KM-SVM algorithm was better.

An Improved Hybrid Canopy-Fuzzy C-Means Clustering Algorithm Based on MapReduce Model

  • Dai, Wei;Yu, Changjun;Jiang, Zilong
    • Journal of Computing Science and Engineering
    • /
    • 제10권1호
    • /
    • pp.1-8
    • /
    • 2016
  • The fuzzy c-means (FCM) is a frequently utilized algorithm at present. Yet, the clustering quality and convergence rate of FCM are determined by the initial cluster centers, and so an improved FCM algorithm based on canopy cluster concept to quickly analyze the dataset has been proposed. Taking advantage of the canopy algorithm for its rapid acquisition of cluster centers, this algorithm regards the cluster results of canopy as the input. In this way, the convergence rate of the FCM algorithm is accelerated. Meanwhile, the MapReduce scheme of the proposed FCM algorithm is designed in a cloud environment. Experimental results demonstrate the hybrid canopy-FCM clustering algorithm processed by MapReduce be endowed with better clustering quality and higher operation speed.

가상화 클러스터 환경에서 빅 데이터 분산 처리 성능에 하이퍼바이저가 미치는 영향 (Effects of Hypervisor on Distributed Big Data Processing in Virtualizated Cluster Environment)

  • 정혜진;나연묵
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권2호
    • /
    • pp.89-94
    • /
    • 2016
  • 최근 클라우드 컴퓨팅 시장의 클러스터 환경이 일반 클러스터 환경에서 가상화 클러스터 환경으로 변화하고 있다. 이러한 클러스터 환경의 변화는 대용량 분산처리 성능에 영향을 끼치고 있으며, 국내외의 많은 IT관련 기업에서 경쟁적으로 연구와 서비스에 집중 투자하고 있다. 본 논문에서는 대용량 데이터 분산 처리 성능에 하이퍼바이저가 미치는 영향을 비교하기 위한 목적으로 하이퍼바이저를 사용하는 Xen과 컨테이너 기반의 Docker를 사용하여 가상 클러스터 환경을 만들고, MapReduce의 성능을 측정하는 실험을 하였다. 이 결과 하이퍼바이저를 사용하지 않은 Docker 성능이 약 1.44배 - 2.92배 더 좋은 것을 검증하였다.

High-Speed Self-Organzing Map for Document Clustering

  • Rojanavasu, Ponthap;Pinngern, Ouen
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2003년도 ICCAS
    • /
    • pp.1056-1059
    • /
    • 2003
  • Self-Oranizing Map(SOM) is an unsupervised neural network providing cluster analysis of high dimensional input data. The output from the SOM is represented in map that help us to explore data. The weak point of conventional SOM is when the map is large, it take a long time to train the data. The computing time is known to be O(MN) for trainning to find the winning node (M,N are the number of nodes in width and height of the map). This paper presents a new method to reduce the computing time by creating new map. Each node in a new map is the centroid of nodes' group that are in the original map. After create a new map, we find the winning node of this map, then find the winning node in original map only in nodes that are represented by the winning node from the new map. This new method is called "High Speed Self-Oranizing Map"(HS-SOM). Our experiment use HS-SOM to cluster documents and compare with SOM. The results from the experiment shows that HS-SOM can reduce computing time by 30%-50% over conventional SOM.

  • PDF

Compact Stellar Systems and Dwarf Galaxies in the Pandora's Cluster Abell 2744

  • 이명균;장인성
    • 천문학회보
    • /
    • 제40권2호
    • /
    • pp.30.2-30.2
    • /
    • 2015
  • Abell 2744 is a giant merging cluster, called the Pandora's Cluster, at the redshift of z=0.308 (corresponding to a distance of 1270 Mpc). Taking the advantage of the deep high resolution images in the Hubble Frontier Field program, we study the properties of compact stellar systems including globular clusters and ultracompact dwarfs (UCDs) as well as dwarf galaxies in this cluster. We find a rich population of globular clusters and UCDs in Abell 2744. The spatial distribution of these objects is consistent with the mass map derived from lensing analysis, while showing a significant offset from the X-ray map of hot gas. The faint end of the luminosity function of the galaxies in the red sequence is fit by a flat slope, showing no faint upturn. We discuss these finding in relation with the origin of UCDs, formation of red sequence dwarf galaxies, and formation of the Pandora's cluster.

  • PDF

자기조직화지도에서 연결강도에 기반한 새로운 군집타당성지수 (A new cluster validity index based on connectivity in self-organizing map)

  • 김상민;김재직
    • 응용통계연구
    • /
    • 제33권5호
    • /
    • pp.591-601
    • /
    • 2020
  • 자기조직화지도는 고차원의 원자료를 노드들로 이루어진 저차원의 공간으로 투영하는 비지도학습 방법이다. 이 방법은 고차원의 자료를 노드들을 사용하여 2 또는 3차원의 공간에서 시각화할 수 있고, 이를 통해 자료의 특성을 탐색하는데 유용하다. 자료의 구조를 파악하기 위해 종종 노드들에 대한 군집분석을 시도하는데, 군집분석의 중요한 문제중 하나는 군집의 개수를 결정하는 것이다. 이 문제를 해결하기 위해 다양한 군집타당성지수들이 지금까지 개발되어 왔고, 이러한 지수들은 자기조직화지도의 노드들의 군집분석에 직접적으로 적용될 수 있다. 그러나, 자기조직화 지도가 원자료의 위상적 특성을 저차원 공간에 반영할 수 있다는 특징을 갖는데 반해, 이러한 일반적인 지수들은 이를 고려하지 않는 문제가 있다. 이에 본 연구에서는 원자료의 위상적 특성을 고려한 노드들 사이의 연결강도를 기반으로 하는 군집타당성지수를 제안한다. 이 새로운 군집타당성지수의 성능은 모의실험을 통해 기존의 군집타당성지수들과의 비교되고 검증된다.