• 제목/요약/키워드: Distributed & Parallel Framework

검색결과 61건 처리시간 0.024초

맵리듀스 프레임워크를 이용한 대용량 공간 추론기의 설계 및 구현 (Design and Implementation of a Large-Scale Spatial Reasoner Using MapReduce Framework)

  • 남상하;김인철
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제3권10호
    • /
    • pp.397-406
    • /
    • 2014
  • 미국의 Jeopardy! 퀴즈쇼와 같은 DeepQA 환경에서 인간을 대신해 컴퓨터가 효과적으로 답하기 위해서는, 광범위한 지식베이스와 빠른 시공간 추론 능력이 요구된다. 본 논문에서는 대표적인 병렬 분산 컴퓨팅 환경인 맵리듀스 프레임워크를 이용해, 새로운 방향 및 위상 관계를 효율적으로 추론할 수 있는 대용량 공간 추론 알고리즘을 제시한다. 이 추론 알고리즘은 CSD-9 방향 관계들과 RCC-8 위상 관계들을 포함한 대용량 공간 지식베이스를 입력으로 가정하며, 이로부터 새로운 방향 관계와 위상 관계들을 추론해내기 위해 지식베이스에 대한 경로 일관성 검사와 교차 일관성 검사를 수행한다. 맵리듀스 프레임워크의 원리에 따라 추론 계산의 병렬성을 극대화하기 위해, 맵 단계에서는 대용량의 지식베이스를 다수의 노드들에 효과적으로 분할하여 분산시키고, 리듀스 단계에서는 분산된 지식베이스들로부터 새로운 공간 지식을 유도하도록 공간 추론 알고리즘을 설계하였다. 본 연구에서는 맵리듀스 프레임워크로 구현한 대용량 공간 추론기와 샘플 공간 지식 베이스를 이용한 실험들을 수행하고, 이를 통해 본 논문에서 제안한 대용량 공간 추론기의 높은 성능을 확인할 수 있었다.

A Survey on 5G Enabled Multi-Access Edge Computing for Smart Cities: Issues and Future Prospects

  • Tufail, Ali;Namoun, Abdallah;Alrehaili, Ahmed;Ali, Arshad
    • International Journal of Computer Science & Network Security
    • /
    • 제21권6호
    • /
    • pp.107-118
    • /
    • 2021
  • The deployment of 5G is in full swing, with a significant yearly growth in the data traffic expected to reach 26% by the year and data consumption to reach 122 EB per month by 2022 [10]. In parallel, the idea of smart cities has been implemented by various governments and private organizations. One of the main objectives of 5G deployment is to help develop and realize smart cities. 5G can support the enhanced data delivery requirements and the mass connection requirements of a smart city environment. However, for specific high-demanding applications like tactile Internet, transportation, and augmented reality, the cloud-based 5G infrastructure cannot deliver the required quality of services. We suggest using multi-access edge computing (MEC) technology for smart cities' environments to provide the necessary support. In cloud computing, the dependency on a central server for computation and storage adds extra cost in terms of higher latency. We present a few scenarios to demonstrate how the MEC, with its distributed architecture and closer proximity to the end nodes can significantly improve the quality of services by reducing the latency. This paper has surveyed the existing work in MEC for 5G and highlights various challenges and opportunities. Moreover, we propose a unique framework based on the use of MEC for 5G in a smart city environment. This framework works at multiple levels, where each level has its own defined functionalities. The proposed framework uses the MEC and introduces edge-sub levels to keep the computing infrastructure much closer to the end nodes.

맵리듀스 잡을 사용한 해시 ID 매핑 테이블 기반 대량 RDF 데이터 변환 방법 (Conversion of Large RDF Data using Hash-based ID Mapping Tables with MapReduce Jobs)

  • 김인아;이규철
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 추계학술대회
    • /
    • pp.236-239
    • /
    • 2021
  • AI 기술의 성장과 함께 지식 그래프의 크기는 지속적으로 확장되고 있다. 지식 그래프는 주로 트리플이 연결된 RDF로 표현되며, 많은 RDF 저장소들이 RDF 데이터를 압축된 형태의 ID로 변환한다. 그러나 RDF 데이터의 크기가 특정 기준 이상으로 클 경우, 테이블 탐색으로 인한 높은 처리 시간과 메모리 오버헤드가 발생한다. 본 논문에서는 해시 ID 매핑 테이블 기반 RDF 변환을 분산 병렬 프레임워크인 맵리듀스에서 처리하는 방법을 제안한다. 제안한 방법은 RDF 데이터를 정수 기반 ID로 압축 변환하면서, 처리 시간을 단축하고 메모리 오버헤드를 개선한다. 본 논문의 실험 결과, 약 23GB의 LUBM 데이터에 제시한 방법을 적용했을 때, 크기는 약 3.8배 가량 줄어들었으며 약 106초의 변환 시간이 소모되었다.

  • PDF

불확실성을 갖는 비선형 시스템을 위한 퍼지 모델 기반 제어기의 지능형 디지털 재설계 (Intelligent Digital Redesign of a Fuzzy-Model-Based Controllers for Nonlinear Systems with Uncertainties)

  • 장권규;권오신;주영훈
    • 제어로봇시스템학회논문지
    • /
    • 제12권3호
    • /
    • pp.227-232
    • /
    • 2006
  • In this paper, we propose a systematic method for intelligent digital redesign of a fuzzy-model-based controller for continuous-time nonlinear system which may also contain system uncertainties. The continuous-time uncertain TS fuzzy model is first contructed to represent the uncertain nonlinear system. A parallel distributed compensation(PDC) technique is then used to design a fuzzy-model-based controller for both stabilization. The designed continuous-time controller is then converted to an equivalent discrete-time controller by using a globally intelligent digital redesign method. This new technique is designed by a global matching of state variables between analog control system and digital control system. This new design technique provides a systematic and effective framework for integration of the fuzzy-model-based control theory and the advanced digital redesign technique for nonlinear systems with uncertainties. Finally, Chaotic Lorenz system is used as an illustrative example to show the effectiveness and the feasibility of the developed design method.

맵리듀스를 이용한 사용자 기반 협업 필터링 추천 기법 (User-based Collaborative Filtering Recommender Technique using MapReduce)

  • 윤소영;윤성대
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2015년도 추계학술대회
    • /
    • pp.331-333
    • /
    • 2015
  • 네트워크와 모바일 기기의 확산으로 데이터가 폭발적으로 증가하고 있으며 기존의 추천 기법으로는 급증하는 데이터를 효율적으로 처리하는데 문제가 있다. 따라서 가장 널리 사용되는 추천 기법인 협업 필터링 기법의 확장성 문제를 어떻게 해결할 것에 대한 연구들이 진행되고 있다. 본 논문에서는 협업 필터링 기법에 분산 병렬처리 방식인 MapReduce를 적용하여 확장성 문제를 줄이고 정확성을 높이는 기법을 제안한다. 제안하는 기법은 사용자 기반 협업 필터링 기법에 MapReduce와 색인기법을 적용하여 유사도 계산에 사용되는 이웃의 수와 이웃의 적합성을 개선하는 방식으로 확장성과 정확성을 개선하는 효과를 기대할 수 있다.

  • PDF

웹 기반 분산/병렬 프레임워크상에서 실시간 자원 모니터링 (Real-Time Monitoring of Resource for Distributed/Parallel Framework on the Web)

  • 김수자;정재홍;송은하;한성국;주수종;정영식
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 춘계학술발표논문집 (상)
    • /
    • pp.117-120
    • /
    • 2003
  • 웹의 다양한 자원을 이용하여 고성능 작업 처리를 요구하는 분산/병렬 시스템은 균형적인 작업 할당을 위해 각 호스트의 성능 평가가 중요하다. 하지만 성능 평가에 대한 지속적인 신뢰하기가 어려우며 뿐만 아니라, 작업 도중 호스트의 성능 변화를 예측하기가 어렵다. 성능 변화에 따른 효율적인 작업 스케줄링이 필요하며, 자원 관리자는 작업을 수행중인 호스트에 대한 모니터가 요구된다. 본 논문에서는 자원 관리자와 시스템 관리자에게 효율적인 자원 정책을 제안하기 위해 각 호스트의 자원을 모니터하고, 분산/병렬 시스템의 작업 할당 메커니즘에 의해 각 호스트의 성능 평가 기준을 정한다 또한 관리자에게 실시간으로 호스트의 성능 변화에 따른 자원 정보를 관리하도록 다양한 시각화를 제공한다.

  • PDF

An Integrated Diagnostic System Based on the Cooperative Problem Solving of Multi-Agents: Design and Implementation

  • Shin Dongil;Oh Taehoon;Yoon En Sup
    • 한국가스학회지
    • /
    • 제8권2호
    • /
    • pp.28-34
    • /
    • 2004
  • Enhanced methodologies for process diagnosis and abnormal situation management have been developed for the last two decades. However, there is no single method that always shows better performance over all kinds of diagnostic problems. In this paper, a framework of message-passing, cooperative, intelligent diagnostic agents is presented for improved on-line fault diagnosis through cooperative problem solving of different expertise. A group of diagnostic agents in charge of different process functional perform local diagnoses in parallel; exchange related information with other diagnostic agents; and cooperatively solve the global diagnostic problem of the whole process plant or business units just like human experts would do. For their better understanding, sharing and exchanging of process knowledge and information, we also suggest a way of remodeling processes and protocols, taking into account semantic abstracts of process information and data. The benefits of the suggested multi-agents-based approach are demonstrated by the implementations for solving the diagnostic problems of various chemical processes.

  • PDF

Apache Spark를 활용한 대용량 데이터의 처리 (Processing large-scale data with Apache Spark)

  • 고세윤;원중호
    • 응용통계연구
    • /
    • 제29권6호
    • /
    • pp.1077-1094
    • /
    • 2016
  • 아파치 스파크는 빠르고 범용성이 뛰어난 클러스터 컴퓨팅 패키지로, 복구 가능한 분산 데이터셋이라는 새로운 추상화를 통해 데이터를 인메모리에 유지하면서도 결함 감내성을 얻을 수 있는 방법을 제공한다. 이러한 추상화는 하드디스크에 직접 데이터를 읽고 쓰는 방식으로 결함 감내성을 제공하는 기존의 대표적인 대용량 데이터 분석 기술인 맵 리듀스 프레임워크에 비해 상당한 속도 향상을 거두었다. 특히 로지스틱 회귀 분석이나 K-평균 군집화와 같은 반복적인 기계 학습 알고리즘이나 사용자가 실시간으로 데이터에 관한 질의를 하는 대화형 자료 분석에서 스파크는 매우 효율적인 성능을 보인다. 뿐만 아니라, 높은 범용성을 바탕으로 하여 기계 학습, 스트리밍 자료 처리, SQL, 그래프 자료 처리와 같은 다양한 고수준 라이브러리를 제공한다. 이 논문에서는 스파크의 개념과 프로그래밍 모형에 대해 소개하고, 이를 통해 몇 가지 통계 분석 알고리즘을 구현하는 방법에 대해 소개한다. 아울러, 스파크에서 제공하는 기계 학습 라이브러리인 MLlib과 R 언어 인터페이스인 SparkR에 대해 다룬다.

맵리듀스를 이용한 다중 중심점 집합 기반의 효율적인 클러스터링 방법 (An Efficient Clustering Method based on Multi Centroid Set using MapReduce)

  • 강성민;이석주;민준기
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권7호
    • /
    • pp.494-499
    • /
    • 2015
  • 데이터 사이즈가 증가함에 따라서 대용량 데이터를 분석하여 데이터의 특성을 파악하는 것이 매우 중요해졌다. 본 논문에서는 분산 병렬 처리 프레임워크인 맵리듀스를 활용한 k-Means 클러스터링 기반의 효과적인 클러스터링 기법인 MCSK-Means (Multi centroid set k-Means)알고리즘을 제안한다. k-Means 알고리즘은 임의로 정해지는 k개의 초기 중심점들의 위치에 따라서 클러스터링 결과의 정확도가 많은 영향을 받는 문제점을 가지고 있다. 이러한 문제를 해결하기 위하여, 본 논문에서 제안하는 MCSK-Means 알고리즘은 k개의 중심점들로 이루어진 m개의 중심점 집합을 사용하여 임의로 생성되는 초기 중심점의 의존도를 줄였다. 또한, 클러스터링 단계를 거친 m개의 중심점 집합들에 속한 중심점들에 대하여 직접 계층 클러스터링 알고리즘을 적용하여 k개의 클러스터 중심점들을 생성하였다. 본 논문에서는 MCSK-Means 알고리즘을 맵리듀스 프레임워크 환경에서 개발하여 대용량 데이터를 효율적으로 처리할 수 있도록 하였다.

스파크 프레임워크를 위한 병렬적 k-Modes 알고리즘 (Parallel k-Modes Algorithm for Spark Framework)

  • 정재화
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제6권10호
    • /
    • pp.487-492
    • /
    • 2017
  • 클러스터링은 빅데이터 분석 및 데이터 마이닝 분야에서 데이터 간 유사성을 파악하기 위해 사용하는 기법으로 다양한 클러스터링 기법 중 범주적 데이터를 위해 k-Modes 알고리즘이 대표적으로 사용된다. k-Modes와 같이 반복적 연산이 집중된 작업의 속도를 향상시키기 위해 많은 관심을 받고 있는 분산 병행 프레임워크 스파크는 하둡과 달리 RDD라는 추상화 객체 개념을 사용하여 대용량의 데이터를 메모리 상에서 처리 가능한 환경을 제공한다. 스파크는 다양한 기계학습을 위한 라이브러리인 Mllib을 제공하고 있으나 연속적 데이터만 처리 가능한 k-means만 포함되어 있어 범주적 데이터 처리가 불가능한 한계가 있다. 따라서 본 논문에서는 스파크 환경에서 범주적 데이터 클러스터링을 위한 k-Modes 알고리즘을 위한 RDD 설계하고 효과적으로 동작할 수 있는 알고리즘을 구현하였다. 실험을 통해 제안한 알고리즘이 스파크 환경에서 선형적으로 증가한다는 것을 보였다.