• 제목/요약/키워드: Parallel distributed Processing

검색결과 258건 처리시간 0.03초

분산 공유 메모리 시스템에서 메모리 접근지연을 줄이기 위한 이중 슬롯링 구조 (A Dual Slotted Ring Organization for Reducing Memory Access Latency in Distributed Shared Memory System)

  • 민준식;장태무
    • 정보처리학회논문지A
    • /
    • 제8A권4호
    • /
    • pp.419-428
    • /
    • 2001
  • 집적회로 기술의 발달은 처리기의 속도를 계속적으로 증가시켜 왔다. 처리기 응용분야의 주요한 도전은 공유 메모리 다중 처리기 시스템에서 고성능 처리기들을 효과적으로 사용하고자 하는 것이다. 우리는 상호 연결망 문제가 소규모의 공유 메모리 다중처리기 시스템에서 조차 완전히 해결되었다고 생각하지 않는다. 그 이유는 공유버스의 속도는 새로운 강력한 처리기들의 대역폭 요구를 수용할 수 없기 때문이다. 지난 수년간 점대점 단방향 연결은 매우 가능성 있는 상호 연결망 기술로서 대두되었다. 단일 슬롯링은 점대점 상호 연결망의 가장 간단한 형태이다. 단일 슬롯링 구조의 단점은 링에서 처리기의 수가 증가함에 따라 메모리 접근지연 시간이 선형적으로 증가한다는 것이다. 이런 이유로 우리는 캐쉬 기반의 다중처리기 시스템에서 단일 슬롯링을 대체할 수 있는 이중 슬롯링 구조를 제안한다. 또한 본 논문에서 새로운 스누핑 프로토콜을 사용하는 이중 슬롯링 구조를 분석하고 분석적모델과 모의 실험을 통하여 기존의 단일 슬롯링과 성능을 비교한다.

  • PDF

스파크 프레임워크를 위한 병렬적 k-Modes 알고리즘 (Parallel k-Modes Algorithm for Spark Framework)

  • 정재화
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제6권10호
    • /
    • pp.487-492
    • /
    • 2017
  • 클러스터링은 빅데이터 분석 및 데이터 마이닝 분야에서 데이터 간 유사성을 파악하기 위해 사용하는 기법으로 다양한 클러스터링 기법 중 범주적 데이터를 위해 k-Modes 알고리즘이 대표적으로 사용된다. k-Modes와 같이 반복적 연산이 집중된 작업의 속도를 향상시키기 위해 많은 관심을 받고 있는 분산 병행 프레임워크 스파크는 하둡과 달리 RDD라는 추상화 객체 개념을 사용하여 대용량의 데이터를 메모리 상에서 처리 가능한 환경을 제공한다. 스파크는 다양한 기계학습을 위한 라이브러리인 Mllib을 제공하고 있으나 연속적 데이터만 처리 가능한 k-means만 포함되어 있어 범주적 데이터 처리가 불가능한 한계가 있다. 따라서 본 논문에서는 스파크 환경에서 범주적 데이터 클러스터링을 위한 k-Modes 알고리즘을 위한 RDD 설계하고 효과적으로 동작할 수 있는 알고리즘을 구현하였다. 실험을 통해 제안한 알고리즘이 스파크 환경에서 선형적으로 증가한다는 것을 보였다.

An Offloading Scheduling Strategy with Minimized Power Overhead for Internet of Vehicles Based on Mobile Edge Computing

  • He, Bo;Li, Tianzhang
    • Journal of Information Processing Systems
    • /
    • 제17권3호
    • /
    • pp.489-504
    • /
    • 2021
  • By distributing computing tasks among devices at the edge of networks, edge computing uses virtualization, distributed computing and parallel computing technologies to enable users dynamically obtain computing power, storage space and other services as needed. Applying edge computing architectures to Internet of Vehicles can effectively alleviate the contradiction among the large amount of computing, low delayed vehicle applications, and the limited and uneven resource distribution of vehicles. In this paper, a predictive offloading strategy based on the MEC load state is proposed, which not only considers reducing the delay of calculation results by the RSU multi-hop backhaul, but also reduces the queuing time of tasks at MEC servers. Firstly, the delay factor and the energy consumption factor are introduced according to the characteristics of tasks, and the cost of local execution and offloading to MEC servers for execution are defined. Then, from the perspective of vehicles, the delay preference factor and the energy consumption preference factor are introduced to define the cost of executing a computing task for another computing task. Furthermore, a mathematical optimization model for minimizing the power overhead is constructed with the constraints of time delay and power consumption. Additionally, the simulated annealing algorithm is utilized to solve the optimization model. The simulation results show that this strategy can effectively reduce the system power consumption by shortening the task execution delay. Finally, we can choose whether to offload computing tasks to MEC server for execution according to the size of two costs. This strategy not only meets the requirements of time delay and energy consumption, but also ensures the lowest cost.

목표물의 고속 탐지 및 인식을 위한 효율적인 신경망 구조 (Effcient Neural Network Architecture for Fat Target Detection and Recognition)

  • 원용관;백용창;이정수
    • 한국정보처리학회논문지
    • /
    • 제4권10호
    • /
    • pp.2461-2469
    • /
    • 1997
  • 목표물 탐지 및 인식은 신경망의 적용이 활발한 하나의 분야로서, 일반적인 형태인식 문제들의 요구 사항에 추가적으로 translation invariance와 실시간 처리를 요구한다. 본 논문에서는 이러한 요구 사항을 만족하는 새로운 신경망의 구조를 소개하고, 이의 효과적인 학습 방법을 설명한다. 제안된 신경망은 특징 추출 단계와 형태 인식 단계가 연속(Cascade)된 가중치 공유 신경망(Shared-weight Neural Network)을 기본으로하여 이를 확장한 형태이다. 이 신경망의 특징 추출 단계는 입력에 가중치 창(weight kernel)으로 코릴레이션 형태의 연산을 수행하며, 신경망 전체를 하나의 2차원 비선형 코릴레이션 필터로 볼 수 있다. 따라서, 신경망의 최종 출력은 목표물 위치에 첨예(peak)값을 갖는 코릴레이션 평면이다. 이 신경망이 갖는 구조는 병렬 또는 분산 처리 컴퓨터로의 구현에 매우 적합하며, 이러한 사실은 실시간 처리가 중요한 요인이 되는 문제에 적용할 수 있음을 의미한다. 목표물과 비목표물간의 숫자상 불균형으로 인하여 초래되는 오경보(false alarm) 발생의 문제를 극복하기 위한 새로운 학습 방법도 소개한다. 성능 검증을 위하여 제안된 신경망을 주차장내에서 이동하는 특정 차량의 탐지 및 인식 문제에 적용하였다. 그 결과 오경보 발생이 없었으며, 중형급 컴퓨터를 이용하여 약 190Km로 이동하는 차량의 추적이 가능한 정도의 빠른 처리 결과를 보여 주었다.

  • PDF

GPGPU를 활용한 스파크 기반 공간 연산 (Spatial Computation on Spark Using GPGPU)

  • 손찬승;김대희;박능수
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제5권8호
    • /
    • pp.181-188
    • /
    • 2016
  • 최근 급격히 증가하는 공간 데이터를 효율적으로 처리하기 위해 많은 연구들이 진행되고 있다. 기존 관계형 데이터베이스 시스템을 확장한 공간 데이터베이스 시스템은 확장성에 대한 문제가 있으며, 분산 처리 플랫폼인 하둡을 확장한 SpatialHadoop은 중간 연산 결과를 디스크에 작성하기 때문에 파일 입출력의 오버헤드로 성능이 저하되는 문제가 있다. 본 논문은 인-메모리 기반 분산 처리 프레임워크인 스파크를 확장한 공간 연산 스파크를 제안하였다. 또한 공간 연산 스파크의 성능을 향상시키기 위하여 GPGPU를 결합한 모델을 개발하였다. 공간 연산 스파크는 중간 연산 결과를 메모리에 유지시키는 스파크의 특징을 그대로 사용하고 있으며, GPGPU 기반 공간 연산 스파크의 경우 다수의 PE를 이용하여 병렬처리하기 때문에 효율적으로 공간 연산을 수행할 수 있다. 본 논문은 단일 AMD 시스템에서 공간 연산 스파크와 GPGPU 기반 공간 연산 스파크를 구현하였다. 공간 연산 스파크와 GPGPU 기반 공간 연산 스파크의 성능을 평가하기 위하여 Point-in-Polygon 연산과 Spatial Join 연산을 수행하였으며, SpatialHadoop에 비하여 최대 8배의 성능 향상을 확인하였다.

스파크 기반 딥 러닝 분산 프레임워크 성능 비교 분석 (A Comparative Performance Analysis of Spark-Based Distributed Deep-Learning Frameworks)

  • 장재희;박재홍;김한주;윤성로
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권5호
    • /
    • pp.299-303
    • /
    • 2017
  • 딥 러닝(Deep learning)은 기존 인공 신경망 내 계층 수를 증가시킴과 동시에 효과적인 학습 방법론을 제시함으로써 객체/음성 인식 및 자연어 처리 등 고수준 문제 해결에 있어 괄목할만한 성과를 보이고 있다. 그러나 학습에 필요한 시간과 리소스가 크다는 한계를 지니고 있어, 이를 줄이기 위한 연구가 활발히 진행되고 있다. 본 연구에서는 아파치 스파크 기반 클러스터 컴퓨팅 프레임워크 상에서 딥 러닝을 분산화하는 두 가지 툴(DeepSpark, SparkNet)의 성능을 학습 정확도와 속도 측면에서 측정하고 분석하였다. CIFAR-10/CIFAR-100 데이터를 사용한 실험에서 SparkNet은 학습 과정의 정확도 변동 폭이 적은 반면 DeepSpark는 학습 초기 정확도는 변동 폭이 크지만 점차 변동 폭이 줄어들면서 SparkNet 대비 약 15% 높은 정확도를 보였고, 조건에 따라 단일 머신보다도 높은 정확도로 보다 빠르게 수렴하는 양상을 확인할 수 있었다.

P2P 구조에 기반한 인터넷 방송 시스템 설계 및 구현 (Design and Implementation of Internet Broadcasting System based on P2P Architecture)

  • 우문섭;김남윤;황기태
    • 한국통신학회논문지
    • /
    • 제32권12B호
    • /
    • pp.758-766
    • /
    • 2007
  • 클라이언트-서버 구조의 스트리밍 시스템은 서버의 가용 능력에 따라 클라이언트의 개수가 제한되는 단점을 가지고 있다. 본 논문에서는 인터넷 방송 시스템의 확장성과 안정성을 지원하기 위해 P2P에 기반한 모델을 제시한 후, 프로토타입 시스템을 구현한 사례를 소개한다. 본 논문에서 구현한 시스템인 OmniCast264는 실시간으로 H.264 비디오 스트림을 제공하는 인코딩 서버, 스트림을 네트워크에 분배하는 스트리ald 서버, 비디오의 재생 및 분배를 담당하는 피어 노드, 그리고 P2P 네트워크에 노드를 동적으로 배치시키는 프록시 서버로 구성된다. P2P에기반한 OmniCast264은 스트리밍 부하의 분산화, 실시간 재생, 에러 발생에 따른 강건함, 계층의 모듈화 등의 개념을 가지고 있기 때문에 대용량의 인터넷 방송에 적합하다고 할 수 있다. 마지막으로 12 대의 PC들을 병렬 및 직렬 구조의 P2P로 구성한 후, OmniCast264의 성능을 평가하여 실시간 재생이 가능함을 검증하였다.

근사접근법 분석을 위한 오차허용치의 분배방법 (Sharing Error Allowances for the Analysis of Approximation Schemes)

  • 김준모;구은희
    • 대한전자공학회논문지TC
    • /
    • 제46권5호
    • /
    • pp.1-7
    • /
    • 2009
  • 센서네트워크를 포함한 다양한 모바일 네트워크를 구축하는 경우, 네트워크를 구성하는 단말 또는 노드들을 상호연결 하기 위한 배치 및 그래프를 찾아내는 문제가 대두된다. 이러한 문제를 해결 할 수 있는 공통적인 scheme을 제시하고, 이를 기반으로 구성되는 알고리즘의 실행시간 및 그 결과의 바운드를 수리적으로 정립하면, 관련 시스템 구축의 타당성을 정확하게 평가할 수 있게 된다. 본 논문은 이러한 문제를 대표하는 EMST(Euclidean Minimum Spanning Tree) 문제를 대상으로 하여 분산환경 기반에서 EMST를 병렬처리 형태로 구성할 수 있는 scheme을 제공하고, 이 scheme에 의해 구해 질 수 있는 배치 및 그래프가 EMST와 최대로 어느 정도의 차이를 가지게 되는 지를 판단할 수 있는 기준을 제시한다. 그리고 이 scheme에 의해 구성되는 알고리즘의 실행시간 상한을 제시한다.

HPC 환경을 위한 워크플로우 기반의 바이오 데이터 분석 시스템 (Workflow-based Bio Data Analysis System for HPC)

  • 안신영;김병섭;최현화;전승협;배승조;최완
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제2권2호
    • /
    • pp.97-106
    • /
    • 2013
  • 인간 게놈 프로젝트의 완성 이후 유전체 분석 비용은 매우 빠르게 감소하고 있다. 이에 따라 인간 유전체 분석 요구가 급증할 것으로 예상된다. 인간 유전체 분석과 같은 대규모 바이오 데이터 분석을 고속으로 수행하기 위해서는 비IT 전문가들이 다양한 특성의 바이오 응용들을 고성능컴퓨팅 시스템을 통해 효과적으로 실행할 수 있어야 한다. 이를 위해서는 여러 응용들이 조합되어 순서를 갖고 실행되어야 하는 바이오 응용들을 워크플로우 형태로 쉽게 정의할 수 있어야 하며, 이 워크플로우를 HPC 클러스터 시스템에서 최적 자원을 할당 받아 분산 병렬 수행시켜야 한다. 이를 통해 바이오 데이터 분석 성능과 응답시간의 개선을 기대할 수 있다. 본 논문에서는 HPC 환경에 익숙하지 않은 비IT 바이오 연구자들이 쉽게 바이오 데이터 분석을 할 수 있도록 바이오 워크플로우를 쉽게 정의하고 실행할 수 있는 바이오 특화된 워크플로우 기반 대규모 데이터 분석 시스템을 제안한다.

웹 서비스를 이용한 바이오 서열 정보 데이터베이스 및 통합 검색 시스템 개발 (Development of Integrated Retrieval System of the Biology Sequence Database Using Web Service)

  • 이수정;용환승
    • 정보처리학회논문지D
    • /
    • 제11D권4호
    • /
    • pp.755-764
    • /
    • 2004
  • 최근, 바이오 관련 장비, 기술들이 발전함에 따라, 바이오 관린 데이터나 그것을 제공하는 호스트들이 급속하게 증가하고 있나. 또한, 이러한 데이터들은 개발 커뮤니티들의 수만큼, 분산되고 이질적인 면을 가시고 있어서, 바이오 관련 데이터베이스의 통합과 연동기능의 세공이 중요한 문제가 되고 있다. 그러나, 현재까지 진행되고 있는 많은 통합 연구 시스템의 대부분이 링크기반, 데이터웨어하우징 구축 기반으로 하고 있어서, 데이터 스키마나 데이터의 변경시, 실시간 업데이트와 같은 문제점을 보인다. 이러한 비효율적인 면을 개선시키고자, 플랫폼. 스키마의 변화에 구애 받지 않고 서비스를 가능하게 하는 웹 서비스 기술을 이용한 통합 시스템이 제안되고 있다. 본 논문에서도 이러한 흐름에 맞추어, 웹 서비스를 이용한 바이오 서열 데이터의 데이터베이스와, 통합 검색 시스템을 개발하였다 개발된 시스템은 BSML을 포함한 다양한 포맷의 데이터로 서열정보를 제공하며, 또한 외부 데이터베이스의 검색을 병렬로 처리하여, 검색 성능을 향상시키도록 하였다.