• 제목/요약/키워드: Distributed memory

검색결과 397건 처리시간 0.023초

효율적인 분산 VOD 서버를 위한 Channel Bonding 기반 M-VIA 및 인터벌 캐쉬의 활용 (Utilizing Channel Bonding-based M-n and Interval Cache on a Distributed VOD Server)

  • 정상화;오수철;윤원주;김현필;최영인
    • 정보처리학회논문지A
    • /
    • 제12A권7호
    • /
    • pp.627-636
    • /
    • 2005
  • 본 논문에서는 분산 VOD 서버의 내부 통신망에 발생하는 부하를 줄이기 위해 channel bonding 기반 M-VIA 및 인터벌 캐쉬를 적용하는 방법을 제안한다. 분산 VOD 서버의 각 노드는 클러스터상에 분산 저장된 비디오 데이터를 서버 내부 통신망을 사용하여 전송받아 사용자에게 제공한다. 이 때, 대량의 비디오 데이터가 서버 내부 통신망을 통하여 전송됨으로 서버 내부 통신망에 부하가 증가한다. 본 논문에서는 서버 내부 통신망의 부하를 감소시키기 위해서 두 가지 기법을 적용하였다. 첫째, channel bonding을 지원하는 M-VIA를 개발하여 Gigabit Ethernet기반 서버 내부 통신망에 적용하였다. M-VIA는 TCP/IP의 통신 오버헤드를 제거한 사용자 수준 통신 프로토콜로 통신에 소요되는 시간을 감소시켜준다. 이러한 M-VIA에 복수개의 네트워크 카드를 사용하여 통신이 가능하게 하는 channel bonding 기법을 적용함으로써 서버 내부 통신망 자체의 대역폭을 증가시켰다. 두번째, 인터벌 캐쉬 기법을 적용하여 원격 서버 노드에서 전송 받은 비디오 데이터를 지역 노드의 메인 메모리에 캐쉬함으로써, 서버 내부 통신망에 발생하는 통신량을 감소시켰다. 실험을 통하여 분산 VOD 서버의 성능을 측정하였으며, TCP/IP에 기반하고 인터벌 캐쉬를 지원하지 않는 기존의 분산 VOD 서버와 성능을 비교하였다. 실험결과, channel bonding 기반 M-VIA의 적용으로 약$20\%$의 성능 향상, 그리고 인터벌 캐쉬 기법을 적용하여 추가로 약 $10\%$의 성능 향상이 생겨 총 $30\%$의 성능 향상을 얻을 수 있었다.

서버가상화 및 분산처리를 이용한 천리안해양관측위성 산출물 재처리 시스템 (GOCI Products Re-processing System (GPRS) Using Server Virtualization and Distributed Processing)

  • 양현;유정미;최우창;한희정;박영제
    • 대한원격탐사학회지
    • /
    • 제33권2호
    • /
    • pp.125-134
    • /
    • 2017
  • 최근 위성 기반 윈격 탐사 기술의 발전과 더불어 대용량 위성 자료를 효율적으로 처리하기 위한 능력이 요구되고 있다. 이 연구에서는 대용량 GOCI 산출물을 효율적으로 재처리하기 위해 서버가상화와 분산처리를 기반으로 한 GOCI 산출물 재처리 시스템(GOCI Products Re-processing System; GPRS)을 개발하는데 집중하였다. 실험 결과 GPRS를 이용하여 메모리 및 CPU의 사용률을 각각 약 100%, 75%까지 올릴 수 있었다. 이는 제안 시스템을 통해 하드웨어 자원을 절약함과 동시에 작업 처리 속도를 향상시킬 수 있다는 것을 의미한다.

센서 네트워크의 에너지 및 거리 추정 기반 분산 클러스터 헤드 선정과 이주 방법 (Energy/Distance Estimation-based and Distributed Selection/Migration of Cluster Heads in Wireless Sensor Networks)

  • 김동우;박종호;이태진
    • 대한전자공학회논문지TC
    • /
    • 제44권3호
    • /
    • pp.18-25
    • /
    • 2007
  • 센서 네트워크에서 센서 노드는 제한된 계산 능력, 제한된 양의 에너지, 제한된 기억 능력을 지닌다. 이에 따라 센서 네트워크 설계 시 가장 중요하게 고려할 사항은 에너지 효율성이다. 어떻게 무선 센서 네트워크의 수명을 연장시킬 것인가는 최근 널리 논의되고 있는 사항인데, 에너지 소모, 규모 가변성 및 부하의 분배 측면에서 가장 효율적인 접근 방법 중 하나는 클러스터링 기법이다. 이 기법에서는 클러스터 헤드라 불리는 데이터를 모아 목적지로 보내는 역할의 노드를 주기적으로 변경할 필요가 있는데, 그 이유는 저에너지 소모 및 부하의 분배를 위해서이다. 이 논문에서는 에너지에 기반한 클러스터 헤드 선정 기법과 에너지 소모를 줄이는 위치 예상에 기반한 클러스터 이주 기법을 제안하고, 시뮬레이션을 통해 네트워크의 수명 측면에서 기존 기법에 비해 약 3배 가량 개선됨을 보였다.

대용량 데이터 분석을 위한 맵리듀스 기반의 이상치 탐지 (Outlier Detection Based on MapReduce for Analyzing Big Data)

  • 홍예진;나은희;정용환;김양우
    • 인터넷정보학회논문지
    • /
    • 제18권1호
    • /
    • pp.27-35
    • /
    • 2017
  • 가까운 미래에는 빅데이터의 많은 부분을 IoT 데이터가 차지할 것이라는 전망이 나오고 있다. 그에 따라, IoT 데이터의 많은 부분을 차치하는 센서 데이터에 관한 관심과 연구 또한 활발하게 진행되고 있다. 여러 분야에서 활용되고 있는 센서 데이터는 분석할 때 실제와는 다른 값인 이상치를 포함하게 되면 정확한 분석이 어려우며, 왜곡된 결과가 도출되어 활용할 수 없는 경우가 생긴다. 따라서 본 논문에서는 정확한 결과를 도출하기 위해 수집된 원자료를 분석하기 전에 이상치 탐지 및 제거를 하였다. 또한, 점점 늘어나고 있는 대용량의 데이터를 빠르게 처리하기 위해 메모리 접근방식인 스파크를 사용한 분산처리환경에서 처리하였다. 맵리듀스 기반의 이상치 탐지 및 제거는 총 4단계로 나누어 구현하였으며, 각 단계를 매퍼와 리듀스로 구현하였다. 제안한 기법의 평가를 위해서 3가지 환경에서 비교하였으며, 그 결과 이상치 탐지 및 제거를 하고자 하는 데이터의 용량이 커질수록 스파크를 이용한 분산처리환경에서의 처리가 가장 빠르다는 결과를 얻었다.

분산 웹 클러스터 시스템에서의 효율적인 부하 균등 기법에 관한 연구 (A Study on Efficient Load Balancing Mechanism in Distributed Web Cluster System)

  • 이복기
    • 한국컴퓨터정보학회논문지
    • /
    • 제16권8호
    • /
    • pp.11-18
    • /
    • 2011
  • 웹 사용자의 급증은 과중한 전송량과 시스템의 부하문제를 야기 시켰으며 이를 해결하기 위한 방안으로 클러스터시스템이 연구되고 있다. 기존 웹 클러스터 시스템에서는 웹 서버 간 부하가 균등하더라도 멀티미디어나CGI 등으로 요청 데이터 크기가 크면 특정 웹 서버의 부하와 응답 시간이 증가되는 경향이 있다. 본 논문에서는 웹 클러스터 시스템의 효율적인 자원사용 방법에 관하여 연구하였다. 메모리 사용을 균형적으로 하는 웹 클러스터 시스템을 구현하기 위한 부하 분산 알고리즘을 제안하여 검토하고 다양한 클러스터링 모델에서 반응시간을 성능 측정의 지수로 제시하였다. 또한 웹 클러스터 시스템의 동시사용자 수를 기반으로 반응시간은 사용자 수를 증가시키면서 실험하였으며, 성능 실험을 통해 기존의 방식보다 제안한 기법이 처리율과 응답시간에서 보다 향상된 것으로 나타났다.

Proposition and Evaluation of Parallelism-Independent Scheduling Algorithms for DAGs of Tasks with Non-Uniform Execution Time

  • Kirilka Nikolova;Atusi Maeda;Sowa, Masa-Hiro
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2000년도 ITC-CSCC -1
    • /
    • pp.289-293
    • /
    • 2000
  • We propose two new algorithms for parallelism-independent scheduling. The machine code generated from the compiler using these algorithms in its scheduling phase is parallelism-independent code, executable in minimum time regardless of the number of the processors in the parallel computer. Our new algorithms have the following phases: finding the minimum number of processors on which the program can be executed in minimal time, scheduling by an heuristic algorithm for this predefined number of processors, and serialization of the parallel schedule according to the earliest start time of the tasks. At run time tasks are taken from the serialized schedule and assigned to the processor which allows the earliest start time of the task. The order of the tasks decided at compile time is not changed at run time regardless of the number of the available processors which means there is no out-of-order issue and execution. The scheduling is done predominantly at compile time and dynamic scheduling is minimized and diminished to allocation of the tasks to the processors. We evaluate the proposed algorithms by comparing them in terms of schedule length to the CP/MISF algorithm. For performance evaluation we use both randomly generated DAGs (directed acyclic graphs) and DACs representing real applications. From practical point of view, the algorithms we propose can be successfully used for scheduling programs for in-order superscalar processors and shared memory multiprocessor systems. Superscalar processors with any number of functional units can execute the parallelism-independent code in minimum time without necessity for dynamic scheduling and out-of-order issue hardware. This means that the use of our algorithms will lead to reducing the complexity of the hardware of the processors and the run-time overhead related to the dynamic scheduling.

  • PDF

SparkR을 이용한 R 기반 빅데이터 분석의 분산 처리 (Distributed Processing of Big Data Analysis based on R using SparkR)

  • 류우석
    • 한국전자통신학회논문지
    • /
    • 제17권1호
    • /
    • pp.161-166
    • /
    • 2022
  • 본 논문에서는 데이터 분석 도구인 R을 이용하여 빅데이터 분석을 수행할 때 발생하는 문제점을 분석하고, 빅데이터의 분산 처리를 효과적으로 지원하는 스파크와 R을 연계한 SparkR을 이용한 분석의 유용성을 제시하고자 한다. 먼저, 대량의 데이터를 로딩하고 연산을 수행할 때 발생하는 R의 메모리 할당 문제점과 R과 비교한 SparkR의 특징 및 프로그래밍 환경을 분석한다. 그리고, 선형 회귀 분석을 각각의 환경에서 수행할 때의 실행 성능을 비교 분석한다. 분석 결과 SparkR을 통해 추가적인 언어 학습 없이도 R을 그대로 이용하여 데이터 분석에 활용할 수 있음을 보였으며, SparkR을 이용하여 R로 작성된 코드를 클러스터 내 노드 수의 증가에 따라 효과적으로 분산 처리할 수 있었다.

분산 메모리 구조를 갖는 병렬 컴퓨터 상에서의 압축 기반 볼륨 렌더링 (Compression-Based Volume Rendering on Distributed Memory Parallel Computers)

  • 구기범;박상훈;송동섭;임인성
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제6권5호
    • /
    • pp.457-467
    • /
    • 2000
  • 본 논문에서는 분산 메모리 구조를 갖는 병렬 컴퓨터 상에서 방대한 크기를 갖는 볼륨 데이터의 효과적인 가시화를 위한 병렬 광선 투사법을 제안한다. 데이터의 압축을 기반으로 하는 본 기법은 다른 프로세서의 메모리로부터 데이터를 읽기보다는 자신의 지역 메모리에 존재하는 압축된 데이터를 빠르게 복원함으로써 병렬 렌더링 성능을 향상시키는 것을 목표로 한다. 본 기법은 객체-순서와 영상-순서 탐색 알고리즘 모두의 정점을 이용하여 성능을 향상시켰다. 즉, 블록 단위의 최대-최소 팔진트리의 탐색과 각 픽셀의 불투명도 값을 동적으로 유지하는 실시간 사진트리를 응용함으로써 객체-공간과 영상-공간 각각의 응집성을 이용하였다. 본 논문에서 제안하는 압축 기반 병렬 볼륨 렌더링 방법은 렌더링 수행 중 발생하는 프로세서간의 통신을 최소화하도록 구현되었는데, 이러한 특징은 프로세서 사이의 상당히 높은 데이터 통신 비용을 감수하여야 하는 PC 및 워크스테이션의 클러스터와 같은 더욱 실용적인 분산 환경에서 매우 유용하다. 본 논문에서는 Cray T3E 병렬 컴퓨터 상에서 Visible Man 데이터를 이용하여 실험을 수행하였다.

  • PDF

하우스홀더 변환법을 이용한 토플리즈 행렬의 빠른 QR 인수분해 알고리즘 (Fast QR Factorization Algorithms of Toeplitz Matrices based on Stabilized / Hyperbolic Householder Transformations)

  • 최재영
    • 한국정보처리학회논문지
    • /
    • 제5권4호
    • /
    • pp.959-966
    • /
    • 1998
  • 본 논문에서 $m{\times}n\;(m{\geq}n)$ 인 토플리즈 행렬의 빠른 QR 인수분해 알고리즘들을 제안한다. 본 알고리즘들은 위치가 변환되어도 불변하는 (shift-invariance) 토플리즈 행렬의 특성을 효과적으로 이용하였다. 알고리즘들의 주요 변환 도구로 안정된 하우스홀더 변환과 하이퍼볼릭 하우스홀더 변환을 사용하였다. 본 알고리즘들은 O(mn)의 연산을 필요로하며, 분산메모리 병렬 컴퓨터에서 쉽게 구현될 수 있다.

  • PDF

Cray T3E에서 극한 고유치문제의 효과적인 수행 (Efficient Implementation of an Extreme Eigenvalue Problem on Cray T3E)

  • 김선경
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2000년도 추계학술대회 학술발표 논문집
    • /
    • pp.480-483
    • /
    • 2000
  • 공학의 많은 응용분야에서 큰 회소 행렬(Large Sparse Matrices)에 대한 가장 작거나 또는 가장 큰 고유치(Eigenvalues)들을 요구하게 되는데, 이때 많이 이용되는 것은 Krylov Subspace로의 Projection방법이다. 대칭 행렬에 대해서는 Lanczos방법을, 비대칭 행렬에 대해서는 Biorhtogonal Lanczos방법을 이용할 수 있다. 이러한 기존의 알고리즘들은 새롭게 제안되는 병렬처리 시스템에서 효과적이지 못하다. 많은 프로세서를 가지는 병렬처리 컴퓨터 중에서도 분산 기억장치 시스템(Distributed Memory System)에서는 프로세서들 사이의 Data Communication에 필요한 시간을 줄이도록 해야한다. 본 논문에서는 기존의 Lanczos 알고리즘을 수정함으로써, 알고리즘의 동기점(Synchronization Point)을 줄이고 병렬화를 위한 입상(Granularity)을 증가시켜서 MPP인 Cray T3E에서 Data Communication에 필요한 시간을 줄인다. 많은 프로세서를 사용하는 경우 수정된 알고리즘이 기존의 알고리즘에 비해 더 나은 speedup을 보여준다.

  • PDF