• Title/Summary/Keyword: 분산 메모리 시스템

Search Result 238, Processing Time 0.03 seconds

Parallel Programming Models and Examples (병렬 프로그래밍 모델 및 사례 연구)

  • Chung, Y.H.;Park, J.W.
    • Electronics and Telecommunications Trends
    • /
    • v.13 no.4 s.52
    • /
    • pp.32-42
    • /
    • 1998
  • 본 고는 최근 들어 활발하게 연구가 진행중인 병렬 처리 분야 중에서 여러 가지 병렬 프로그래밍 방법에 대한 정의 및 특징을 살펴보고, 대표적인 사례에 대해 요약해본다. 먼저 데이터 병렬성을 이용한 프로그래밍 방법과 대표적인 프로그래밍 언어 HPF에 대해 살펴본 후, 어드레스 공간이 공유되는 공유 메모리/분산공유 메모리 시스템에서의 프로그래밍 방법과 최근 표준화 작업이 진행중인 OpenMP에 대해서 알아본다. 끝으로 어드레스 공간이 공유되지 않는 분산 메모리 시스템에서의 프로그래밍 방법과 표준 메시지 패싱 인터페이스인 MPI에 대해 서술한다.

A performance comparison for Apache Spark platform on environment of limited memory (제한된 메모리 환경에서의 아파치 스파크 성능 비교)

  • Song, Jun-Seok;Kim, Sang-Young;Lee, Jung-June;Youn, Hee-Yong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2016.01a
    • /
    • pp.67-68
    • /
    • 2016
  • 최근 빅 데이터를 이용한 시스템들이 여러 분야에서 활발히 이용되기 시작하면서 대표적인 빅데이터 저장 및 처리 플랫폼인 하둡(Hadoop)의 기술적 단점을 보완할 수 있는 다양한 분산 시스템 플랫폼이 등장하고 있다. 그 중 아파치 스파크(Apache Spark)는 하둡 플랫폼의 속도저하 단점을 보완하기 위해 인 메모리 처리를 지원하여 대용량 데이터를 효율적으로 처리하는 오픈 소스 분산 데이터 처리 플랫폼이다. 하지만, 아파치 스파크의 작업은 메모리에 의존적이므로 제한된 메모리 환경에서 전체 작업 성능은 급격히 낮아진다. 본 논문에서는 메모리 용량에 따른 아파치 스파크 성능 비교를 통해 아파치 스파크 동작을 위해 필요한 적정 메모리 용량을 확인한다.

  • PDF

A Study on High Speed Access of InfiniBand Network for Shared Memory on Multiple Servers (다수 서버 분산 메모리의 고속 액세스를 위한 InfiniBand의 활용에 관한 연구)

  • Jung, Hyedong;Yun, Jungmee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.124-126
    • /
    • 2013
  • 대량의 메모리, 네트워크 장치, 저장매체, CPU 등으로 구성된 데이터 센터의 운용에 있어서 시스템 구축이나 운용을 단순화하기 위한 가상화가 고려되고 있다. 특히 금융 분야와 같이 데이터의 폭증 시대에 대응하기 위한 분산 서버 노드의 메모리 가상화 시스템을 고려할 수 있으며 본 연구에서는 이러한 메모리 가상화 시스템을 운용하는데 있어서 지연을 최소화하기 위한 인피니밴드의 활용방안에 대하여 검토한다. 인피니밴드의 메모리 접속 기능인 RDMA (Remote Direct Memory Access)를 더욱 쉽게 사용하기 위한 사용자 친화적인 라이브러리 구현 방법을 제안하며 RDMA 사용 시 발생하는 지연 현상을 분석하였다.

Improving Performance of Large Sparse Linear System Solvers On Distributed Memory Systems By Asynchronous Algorithms (비동기 알고리즘을 이용한 분산 메모리 시스템에서의 초대형 선형 시스템 해법의 성능 향상)

  • Park, Pil-Seong;Sin, Sun-Cheol
    • The KIPS Transactions:PartA
    • /
    • v.8A no.4
    • /
    • pp.439-446
    • /
    • 2001
  • The main stream of parallel programming today is using synchronous algorithms, where processor synchronization for correct computation and workload balance are essential. Overall performance of the whole system is dependent upon the performance of the slowest processor, if workload is not well-balanced or heterogeneous clusters are used. Asynchronous iteration is a way to mitigate such problems, but most of the works done so far are for shared memory systems. In this paper, we suggest and implement a parallel large sparse linear system solver that improves performance on distributed memory systems like clusters by reducing processor idle times as much as possible by asynchronous iterations.

  • PDF

A Replication Design for Main Memory Database Systems (메인 메모리 데이터베이스 시스템을 위한 이중화 설계)

  • 이인선
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04a
    • /
    • pp.88-90
    • /
    • 2003
  • 모든 데이터가 메인 메모리에 상주하는 메인 메모리 데이터베이스 시스템(Main Memory Database System: MMDB System)은 트랜잭션 수행중 자료 입출력을 위한 디스크 액세스를 유발하지 않으므로 전체 시스템 성능을 크게 향상시킬 수 있다. 80년대 중반에 처음으로 이 시스템이 소개된 후 현재까지 많은 연구가 이루어지고 있으며, 최근에는 램의 가격이 하락하고, 대용량화되면서 데이터의 실시간 조회, 갱신이 필요한 금융, 증권, 통신 등 여러 분야에서 MMDB 시스템의 상용화가 가시화되고 있다. MMDB 시스템의 상용화가 늘면서 더 많은 트랜잭션의 처리를 수행하고, 시스템 고장 등으로 인한 서비스 중지와 같은 결함이 일어나지 않는 시스템에 대한 요구 또한 커지고 있다. 이 요구를 만족시키는 가장 적절한 해결책으로 이중화 시스템(replication System)을 들 수 있다. 그러나, 기존의 디스크 기반 분산 데이터베이스 시스템을 위한 이중화 기법을 그대로 MMDB에 적용하게 되면 최적의 성능을 가질 수 없게 된다. 그러므로, MMDB 시스템의 특성을 잘 파악하여 이 시스템에 적합한 새로운 이중화 시스템의 개발이 필요하다. 본 논문에서는 먼저 MMDB 시스템의 구조에 대해 고찰하며, 디스크 기반 분산 데이터베이스 시스템에 적용하고 있는 이중화 기법들의 장단점을 분석한다. 이 분석을 토대로 하여 MMDB시스템에 이중화 기법을 적용하기 위해 고려해야 할 점들을 정리하고, 제시한 고려 사항들을 모두 만족하는 MMDB 이중화 시스템을 설계하였다.

  • PDF

An Efficient Cache Management Scheme for Load Balancing in Distributed Environments with Different Memory Sizes (상이한 메모리 크기를 가지는 분산 환경에서 부하 분산을 위한 캐시 관리 기법)

  • Choi, Kitae;Yoon, Sangwon;Park, Jaeyeol;Lim, Jongtae;Lee, Seokhee;Bok, Kyoungsoo;Yoo, Jaesoo
    • KIISE Transactions on Computing Practices
    • /
    • v.21 no.8
    • /
    • pp.543-548
    • /
    • 2015
  • Recently, volume of data has been growing dramatically along with the growth of social media and digital devices. However, the existing disk-based distributed file systems have limits to their performance of data processing or data access, due to I/O processing costs and bottlenecks. To solve this problem, the caching technique is being used to manage data in the memory. In this paper, we propose a cache management scheme to handle load balancing in a distributed memory environment. The proposed scheme distributes the data according to the memory size, n distributed environments with different memory sizes. If overloaded nodes occur, it redistributes the the access time of the caching data. In order to show the superiority of the proposed scheme, we compare it with an existing distributed cache management scheme through performance evaluation.

Adaptive Replicated Object with for Cache Coherence in Distributed Shared Memory (분산 공유 메모리 내에서 적응적 중복 객체에 의한 캐쉬 일관성)

  • 장재열;이병관
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04a
    • /
    • pp.133-135
    • /
    • 2000
  • 분산 공유 메모리 상에서 클라이언트들은 네트워크를 통해 원격 공유 메모리 상으로 접근하게 된다. 접근 시에 클라이언트들은 접근 정보를 자신의 지역 캐쉬에 저장해 두었다가 필요시에 인출해서 사용한다. 그러나 시간이 경과함에 따라 다른 클라이언트들에 의해서 데이터 갱신이 이루어질 수 있다. 이에 본 논문에서는 원격 데이터 정보를 객체로 설정하여 이 객체를 관리하여 분산 공유 메모리 상에서 데이터 일관성을 유지하고자 한다. 객체 중복을 통해서 분산 객체 시스템을 구성하였을 때 기존의 중복 기법에서 사용하는 일관성 비용 이외에 별도의 추가 비용이 없이도 제한적으로 병렬 수행의 효과를 볼 수 있다. 또한 중복 기법에 있어서 가장 큰 오버헤드로 알려진 일관성 유지비용을 최소화시키기 위하여 이 비용을 결정하는 가장 핵심저인 요소인 객체의 복사본의 수를 동시적으로 변화시키면서 관리함으로써 전체 수행 시간의 측면에서 많은 향상을 가져왔다.

  • PDF

Call-Site Tracing-based Shared Memory Allocator for False Sharing Reduction in DSM Systems (분산 공유 메모리 시스템에서 거짓 공유를 줄이는 호출지 추적 기반 공유 메모리 할당 기법)

  • Lee, Jong-Woo
    • Journal of KIISE:Computer Systems and Theory
    • /
    • v.32 no.7
    • /
    • pp.349-358
    • /
    • 2005
  • False sharing is a result of co-location of unrelated data in the same unit of memory coherency, and is one source of unnecessary overhead being of no help to keep the memory coherency in multiprocessor systems. Moreover. the damage caused by false sharing becomes large in proportion to the granularity of memory coherency. To reduce false sharing in a page-based DSM system, it is necessary to allocate unrelated data objects that have different access patterns into the separate shared pages. In this paper we propose call-site tracing-based shared memory allocator. shortly CSTallocator. CSTallocator expects that the data objects requested from the different call-sites may have different access patterns in the future. So CSTailocator places each data object requested from the different call-sites into the separate shared pages, and consequently data objects that have the same call-site are likely to get together into the same shared pages. We use execution-driven simulation of real parallel applications to evaluate the effectiveness of our CSTallocator. Our observations show that by using CSTallocator a considerable amount of false sharing misses can be additionally reduced in comparison with the existing techniques.

Performance Analysis of A Distributed Shared Memory Multiprocessor System Using PASEC (PARSEC을 이용한 분산공유메모리 다중프로세서 시스템의 성능분석)

  • Park, Joon-Seok;Jeon, Chang-Ho
    • The Transactions of the Korea Information Processing Society
    • /
    • v.7 no.10
    • /
    • pp.3049-3054
    • /
    • 2000
  • In this paper, the effects of the hardware components and runtime environments on the overall performance of a distributed shared memory system are analyzed through simulation. In simulation, the system is modeled using PARSE[1.2] closely to the real runtime environment and the 2D FFT is virtually executed on it. The results of simulation show that the minor hardware components such as bus interfaces and local bus of a processor, which are usuallyignored or neglected when analyzing performance. have significant impacts on the overall system performance. Performance variations caused from runtime environments such as loop overhead and code optimuzatio are also analyzed quantitatively.

  • PDF

Performance Evaluation of Hypervisor VMs and Nested VMs Overcommitting Memory in Nested Virtualization Environments (중첩 가상화 환경에서 메모리 오버커밋을 하는 하이퍼바이저 VM과 중첩 VM의 성능 평가)

  • Lyoo, Taemuk;Lim, JongBeom;Chung, Kwang-Sik;Suh, Teaweon;Yu, Heonchang
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.61-64
    • /
    • 2013
  • 가상화는 가상의 자원이 물리적 자원에 접근할 수 있게 해주는 기술이며 VM(가상머신)을 다수 설치하여 VM의 수만큼 운영체제들을 이용할 수 있다. 이러한 가상화는 자원의 낭비를 막고 관리비용을 줄이기 위해 사용한다. 가상화 기술은 CPU, 메모리, I/O 가상화로 구분 지을 수 있으며 이 중 메모리 가상화 기술은 메모리 자원의 효율적인 사용을 가능하게 해준다. 여러 VM들이 실제 머신의 메모리보다 많은 메모리를 할당받아 사용하는 것이 가능한데 이것을 오버커밋 상태라고 한다. 중첩 가상화는 VM에 하드웨어 가상화 기법의 사용을 허용하게 하여 VM 위에 또 다른 VM이 동작할 수 있는 환경을 제공해준다. 이와 같은 (중첩) 가상화 환경에서의 메모리 접근은 일반적으로 하드웨어 지원을 통한 중첩 페이징 기법을 이용하여 메모리의 접근이 이루어진다. 본 논문에서는 오버커밋 발생 시 중첩 VM과 하이퍼바이저 VM의 성능 차이를 실험을 통하여 보여주고자 한다.