• Title/Summary/Keyword: 분산 메모리 시스템

Search Result 238, Processing Time 0.023 seconds

분산 공유 메모리 시스템에서 거짓 공유를 줄이는 객체-크기 및 호출지-추적 기반 공유 메모리 할당 기법 (Object-Size and Call-Site Tracing based Shared Memory Allocator for False Sharing Reduction in DSM Systems)

  • 이종우;박영호;윤용익
    • 디지털콘텐츠학회 논문지
    • /
    • 제9권1호
    • /
    • pp.77-86
    • /
    • 2008
  • 거짓 공유는 공유 메모리 다중 처리기 시스템에서 여러 처리기들이 일관성 유지의 단위 메모리 영역을 공유함으로 인해 발생하는 현상으로써, 메모리 일관성 유지의 정확성에는 아무런 도움을 주지 못하면서 그 비용만 증가시키는 주요 요인이다. 특히 메모리 일관성 유지의 단위가 커질수록 그 피해가 더 커진다고 할 수 있다. 페이지-기반 분산 공유 메모리 시스템에서 거짓 공유를 줄이기 위해서는 공유 페이지에 할당되는 객체들의 특성을 미리 예측하여 참조 패턴이 상이한 객체들이 하나의 공유 페이지에 섞이는 것을 방지하는 것이 필수적이다. 본 논문에서는 객체-크기와 호출지-추적에 기반한 거짓 공유 감소 기법인 SCSTallocator: Sized and Call-Site Tracing based allocator)을 제시한다. SCSTallocator는 서로 다른 코드 위치에서 할당 요청된 공유 객체들은 각각 상이한 참조 패턴을 보일 것이라는 가정에 기반함과 동시에 요청된 객체의 크기가 다르면 향후 참조 패턴도 다를 것이라고 가정하고 있다. 본 논문에서는 기존의 두 정책(크기별 할당 정책과 호출지-추적 기반 할당 정책)을 동시에 적용할 경우 거짓 공유를 더 많이 줄일 수 있을 것이라는 예상을 실험을 통해 확인하였다.

  • PDF

단일 공유 메모리를 가지는 다중 프로세서 시스템의 원격 캐시 일관성 유지 프로토콜 (A Remote Cache Coherence Protocol for Single Shared Memory in Multiprocessor System)

  • 김성운;김보관
    • 전자공학회논문지CI
    • /
    • 제42권6호
    • /
    • pp.19-28
    • /
    • 2005
  • 다중 프로세서 구조는 컴퓨터 성능을 향상시키기 위한 좋은 방법이다. 물리적으로 분산된 메모리를 단일 공유 메모리 공간으로 제공하는 CC-NUMA(Cache Coherent Non-Uniform Memory Access) 시스템은 다중 프로세서 컴퓨터 시스템으로 널리 사용된다. CC-NUMA는 공유 메모리 지원을 위해 풀맵 디렉토리를 가지며, 빠른 원격 메모리 접근을 위해 원격 캐시 메모리를 사용한다. 본 논문은 CC-NUMA 시스템을 구성할 수 있는 프로세싱 노드 구조와 이러한 구조에 적합한 캐시 일관성 유지 프로토콜을 제안하여, 대량의 프로세서를 이용한 다중 프로세서 시스템의 구성을 용이하게 한다. 끝으로 제안된 프로토콜에 따른 시스템 구현 결과도 제시한다.

다중 프로세서 시스템에서 프로세서 지역성을 이용한 원격 캐쉬 교체 정책 (Remote Cache Replacement Policy using Processor Locality in Multi-Processor System)

  • 한상윤;곽종욱;장성태;전주식
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제32권11_12호
    • /
    • pp.541-556
    • /
    • 2005
  • 컴퓨터 시스템에서의 메모리 접근 지연은 전체 시스템 성능에 큰 장애 요인 중 하나이다. 특히 분산 메모리 구조에서 지역 메모리와 원격 메모리의 접근 지연 시간은 큰 차이를 나타낸다. 원격 메모리 접근 지연으로 인한 성능 저하를 줄이고자 원격 메모리 영역만을 캐싱하는 원격 캐쉬가 제안되었으며, 원격 캐쉬는 프로세서 캐쉬와 더불어 다단계 캐쉬 형태로 구성된다. 일반적으로 상위 계층 캐쉬의 모든 내용을 하위 계층 캐쉬가 반드시 포함하는 다단계 캐쉬 내포성(MLI)을 지키는 다중 계층 메모리 구조에서 LRU 교체 정책을 사용할 경우, 하위 계층 캐쉬의 LRU 알고리즘에 따른 라인 교체로 인하여 상위 계층 캐쉬의 라인 교체가 일어날 패, 상위 계층 캐쉬로 요구된 라인 교체가 상위 계층 캐쉬 자체의 LRU 정보와 일치하지 않는 경우가 발생하며, 이로 인해 상위 캐쉬의 적중률이 저하되어 전체 시스템 성능이 저하된다. 본 논문은 원격 캐쉬를 추가시킨 분산 공유 메모리 구조 다중 프로세서 시스템의 성능 향상을 위해 LRU 캐쉬 교체 정책의 단점을 보완한 새로운 원격 캐쉬 교체 정책을 제안한다. 논문에서 제안하는 교체 정책은 LRU 정보에 부가하여 프로세서의 시간적 접근 지역성을 이용하여 교체할 캐쉰 라인을 선택하게 함으로써, 프로세서에서 자주 사용되는 원격 캐쉬 라인의 교체가 일어나지 않도록 하여 시스템의 성능 향상을 꾀한다. 시뮬레이션을 통한 성능비교 결과, 본 논문에서 제시한 원격 캐쉬 교체 정책은 기존의 LRU 교체 정책과 비교하여 평균 $3\%$, 최대 $10\%$의 무효화 및 캐쉬 접근 실패를 감소시켰고, 이 결과 전체 시스템의 성능은 평균 $2.5\%$, 최대 $3.5\%$ 향상되었다.

하둡 분산 파일 시스템 기반 소용량 파일 처리를 위한 동적 프리페칭 기법 (A Dynamic Prefetchiong Scheme for Handling Small Files based on Hadoop Distributed File System)

  • 유상현;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
    • /
    • pp.329-332
    • /
    • 2014
  • 클라우드 컴퓨팅이 활성화 됨에 따라 기존의 파일 시스템과는 다른 대용량 파일 처리에 효율적인 분산파일시스템의 요구가 대두 되었다. 그 중에 하둡 분산 파일 시스템(Hadoop Distribute File System, HDFS)은 기존의 분산파일 시스템과는 달리 가용성과 내고장성을 보장하고, 데이터 접근 패턴을 스트리밍 방식으로 지원하여 대용량 파일을 효율적으로 저장할 수 있다. 이러한 장점 때문에, 클라우드 컴퓨팅의 파일시스템으로 대부분 채택하고 있다. 하지만 실제 HDFS 데이터 집합에서 대용량 파일 보다 소용량 파일이 차지하는 비율이 높으며, 이러한 다수의 소 용량 파일은 데이터 처리에 있어 높은 처리비용을 초래 할 뿐 만 아니라 메모리 성능에 악영향을 끼친다. 하지만 소 용량 파일을 프리패칭 함으로서 이러한 문제점을 해결 할 수 있다. HDFS의 데이터 프리페칭은 기존의 데이터 프리페칭의 기법으로는 적용하기 어려워 HDFS를 위한 데이터 프리패칭 기법을 제안한다.

  • PDF

워크스테이션 네트워크 기반 Serverless 네트워크 가상 메모리 (Serverless Network Virtual Memory on a Network of Workstations)

  • 강현수;허신
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (3)
    • /
    • pp.166-168
    • /
    • 1998
  • 분산시스템이 고성능의 네트워크로 연결되면서 네트워크 메모리(network memory)라는 새로운 메모리 계층이 등장하였다. 기존 운영체계가 가장 메모리를 위해 로컬 하드디스크를 사용하는 반면, 네트워크 메모리는 네트워크 연결된 각 노드들 중에서 유휴 상태에 있는 노드의 메모리를 가상 메모리로 사용한다. 네트워크 메모리를 활용하는 기존 연구의 대부분은 하나나 그 이상의 관리 서버 노드를 두어 관리 서버가 페이징 디바이스의 역할을 하는 원격 노드들을 관리하에 한다. 관리 서버 노드는 각 노드의 메모리 활용 상태을 점검하여 로컬 노드에게 페이지를 제공할 수 있는 원격 노드와의 중재 역할을 담당한다. 그러나 만약 관리 서버에 문제가 발생할 경우 관리 서버와 연결된 모든 노드들에게도 그 영향이 파급될 수가 있다. 본 논문에서는 serverless 하게 하는 노드들의 관계를 설정함으로 관리서버 노드의 문제가 야기되는 다른 노드들의 다운 현상을 최소화 할 수 있는 serverless 네트워크 가상 메모리를 제시한다.

  • PDF

비밀 분산 기법을 이용한 분할 가능한 전자화폐 시스템 (The Divisible Electronic Cash System using Secret Sharing Scheme)

  • 장석철;이임영
    • 한국정보보호학회:학술대회논문집
    • /
    • 한국정보보호학회 2001년도 종합학술발표회논문집
    • /
    • pp.189-192
    • /
    • 2001
  • 최근 정보통신기술의 발전과 인터넷의 폭발적인 사용자 증가로 인해 전자상거래가 활성화되고 있다. 또한 전자상거래에서 가장 중요한 시스템인 전자화폐 시스템에 대한 연구와 개발이 활발하게 진행되고 있다. 특히, 전자화폐 시스템의 요구사항 중에 분할성 관련된 연구는 대부분이 계층적 구조 테이블을 이용한 방식이었다. 하지만 이 방식은 많은 메모리가 필요하고, 또한 많은 계산량을 필요로 한다는 단점이 있다. 따라서 본 논문에서는 이러한 문제점을 해결하고, 계층적 구조 테이블을 이용하지 않고 분할성을 제공할 수 있는 또 다른 방식인 비밀분산 기법을 이용하여 새로운 전자화폐 시스템을 제안한다.

  • PDF

데이타베이스 공유 시스템에서 동적 부하 분산 (Dynamic Load Balancing for Database Sharing Systems)

  • 정창욱;조행래
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 춘계학술발표논문집 (상)
    • /
    • pp.75-78
    • /
    • 2002
  • 데이타베이스 공유 시스템(Database Sharing System: DSS)은 고성능의 온라인 트랜잭션 처리를 위해 다수 개의 컴퓨터를 연동하는 방식으로 각 노드들은 디스크 계층에서 데이타베이스를 공유한다. DSS를 구성하는 각 노드에 트랜잭션을 할당하는 정책이 잘못될 경우 특정 트랜잭션의 폭주로 노드에 과부하가 발생할 수 있으므로. 각 노드의 성능을 최적화하기 위한 부하 분산이 필요하다. 본 논문에서는 트랜잭션 클래스에서 참조하는 데이터베이스의 핫 셋 크기, 각 노드의 메모리 크기와 CPU 성능, 동시에 실행되는 트랜잭션 수의 변화에 따른 처리량 등을 고려한 동적 부하 분산 기법을 제안한다.

  • PDF

분산 클러스터 메모리 기반 대용량 OWL Horst Lite 온톨로지 추론 기법 (A Scalable OWL Horst Lite Ontology Reasoning Approach based on Distributed Cluster Memories)

  • 김제민;박영택
    • 정보과학회 논문지
    • /
    • 제42권3호
    • /
    • pp.307-319
    • /
    • 2015
  • 현재 대용량 온톨로지를 추론하기 위해 하둡 기반의 분산 클러스터 환경을 구축한 후, 맵-리듀스 알고리즘을 기반으로 추론을 수행하는 방식이 활발히 연구되고 있다. 그러나 본 논문에서는 분산 클러스터의 메모리 환경에서 대용량 OWL Horst Lite 온톨로지 추론을 위한 기법을 제안한다. 대용량 온톨로지 추론에 사용되는 규칙 기반 추론 방식은 데이터가 더 이상 추론 되지 않을 때까지 트리플 형식으로 표현된 온톨로지에 추론 규칙을 반복적으로 수행한다. 따라서 컴퓨터 디스크에 적재된 대용량의 온톨로지를 대상으로 추론을 수행하면 추론 시스템의 성능이 상당히 저하된다. 이러한 단점을 극복하기 위해서 본 논문에서는 메모리 기반의 분산 클러스터 프레임워크인 Spark를 기반으로 온톨로지를 메모리에 적재한 후, 추론을 수행하는 기법을 제안한다. Spark에 적합한 OWL Horst Lite 온톨로지 추론 시스템을 구현하기 위해서 대용량 온톨로지를 적절한 크기의 블록으로 분할한 후, 각각의 블록을 분산 클러스터를 구성하는 각 노드의 메모리에 분산 적재하여 작업을 수행하는 방법론을 제안하였다. 제안하는 기법의 효율성을 검증하기 위해, 온톨로지 추론과 검색 속도를 평가하는 공식 데이터인 LUBM을 대상으로 실험하였다. 대표적인 맵-리듀스 기반 온톨로지 추론 엔진인 WebPIE와 비교 실험한 결과, LUBM8000(11억개 트리플, 155GB)에 대해서 WebPIE의 추론 처리량이 19k/초보다 3.2배 개선된 62k/초의 성능 향상이 있었다.

ParaC 언어의 설계 및 구현 (The Design and Implementation of the ParaC Language)

  • 이경석;우영춘;김진미;지동해
    • 한국정보처리학회논문지
    • /
    • 제4권11호
    • /
    • pp.2903-2913
    • /
    • 1997
  • 본 논문은 공유 및 분산 메모리 구조를 가진 병렬 컴퓨터의 프로그래밍 환경을 지원하기 위하여 ParaC 언어를 설계하고 구현한 내용을 기술한다. ParaC 언어는 확장성 높은 병렬 컴퓨터의 시스템 자원을 사용자가 효과적으로 이용할 수 있도록 설계되었다. 이것은 C 언어에 공유 메모리 환경을 위한 병렬 구문과 동기화 구문, 그리고 분산 메모리 환경을 위한 원격 태스크 구문을 추가함으로써 이루어졌다. 언어의 구현을 위하여 C 언어로의 번역 방법을 기술하였으며, 이 방법을 사용한 번역기와 확장 구문을 위한 실행시간 라이브러리를 구현하였다.

  • PDF

소프트웨어 분산공유메모리시스템을 위한 적응적 선인출 기법 (An Adaptive Prefetching Technique for Software Distributed Shared Memory Systems)

  • 이상권;윤희철;이준원;맹승렬
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제28권9호
    • /
    • pp.461-468
    • /
    • 2001
  • 공유가상메모리 시스템은 적은 비용으로 고성능 계산 능력을 제공하지만, 메모리 접근 지연 시간이 길다는 문제점이 있다. 일반적으로 이 지연시간은 공유데이터에 대한 반복적인 무효화 작업에 의해 일어난다. 고유 데이터들은 동기화를 통해서 접근되고 쓰레드를 반복적 패턴에 의해 동기화 되기 때문에, 반복성에 기반한 선인출 기법은 메모리 지연시간을 효과적으로 줄일수 있다. 본 논문에서는 동기화 변수별로 접근 기록을 분석해서 미래의 메모리 접근을 예측하는 선인출 기법을 제안한다. 제안하는 기법은 8노드 클러스터상에서 SPLASH-2 응용들을 실행시켜 성능을 측정하였다. 그 결과, 제안하는 기법이 34%~45%정도의 메모리 접근 지연시간을 감소할수 있었다.

  • PDF