• 제목/요약/키워드: 데이타 병렬

검색결과 116건 처리시간 0.029초

GPGPU 기반 조인 연산 병렬화 성능 비교 (Performance Comparison of Join Operations Parallelization by using GPGPU)

  • 이종섭;이상백;이규철
    • 데이타베이스연구회지:데이타베이스연구
    • /
    • 제34권3호
    • /
    • pp.28-44
    • /
    • 2018
  • 데이터베이스 시스템 관계 연산자 중에서 연산 비용이 가장 비싼 연산은 조인 연산이다. 일반적으로 CPU 기반의 조인 연산의 경우에는 하나의 코어를 사용하거나 많게는 16개 정도의 코어를 사용하여 병렬 처리를 해서 병렬화에 따른 성능 향상이 크지 않다. 이에 반해, GPGPU(General-Purpose computing on Graphics Processing Units)는 수천 개의 프로세싱 유닛을 통한 병렬 처리가 가능해서 조인 연산 수행 시간을 크게 단축할 수 있다. 본 논문에서는 GPGPU 기반에서 조인 연산 병렬화를 구현하기 위해 NVIDIA의 CUDA SDK가 사용되며, CPU 기반과 GPGPU 기반에서의 조인 연산 성능을 측정한다. 사용되는 조인 연산은 NLJ (Nested Loop Join), SMJ (Merge Join), HJ (Hash Join)이며, GPGPU 장비는 TITAN Xp, GTX 1080 Ti 및 GTX 1080을 사용한다. CPU 기반과 GPGPU 기반의 성능을 비교하고, GPGPU 기반의 조인 연산과 이전 연구의 성능과의 성능을 비교한다. 마지막으로, 실험 결과는 GPGPU 기반의 성능이 CPU 기반의 성능보다 6~328 배 빠른 성능을 보였고 향후 연구의 방향성에 대하여 토의한다.

데이타베이스 공유 시스템에서 동적 부하분산을 지원하는 해쉬 조인 알고리즘들의 성능 평가 (Performance Evaluation of Hash Join Algorithms Supporting Dynamic Load Balancing for a Database Sharing System)

  • 문애경;조행래
    • 한국정보처리학회논문지
    • /
    • 제6권12호
    • /
    • pp.3456-3468
    • /
    • 1999
  • 기존에 제안된 대부분의 병렬 조인 알고리즘들은 데이타베이스가 여러 처리 노드에 분할되어 저장되는 데이타베이스 분할 시스템을 가정하였다. 데이타베이스 분할 시스템은 다수의 노드들을 연결할 수 있으며 지리적으로 분산된 환경도 지원할 수 있다는 장점을 갖지만, 데이타베이스 공유 시스템에 비해 부하 분산이나 시스템 가용성이 떨어진다는 단점을 갖는다. 본 논문에서는 데이타베이스 공유 시스템의 특성을 이용한 동적 부하분산 기법을 제안하고, 제안한 동적 부하분산 기법을 이용하여 기존의 해쉬 조인 알고리즘들을 데이타베이스 공유 시스템에 확장한다. 그리고, 다양한 시스템 구성 및 데이터베이스 부하 환경에서 모의 실험을 수행함으로써 데이타베이스 공유 시스템에서 동적 부하분산 기법의 효과 및 해쉬 알고리즘들의 성능 차이를 정량적으로 분석한다.

  • PDF

데이타 병렬 프로그램에서 루프 세부 분할 및 동적 스케쥴링을 통한 통신과 계산의 중첩 모델 (A Communication and Computation Overlapping Model through Loop Sub-partitioning and Dynamic Scheduling in Data Parallel Programs)

  • 김정환;한상영;조승호;김흥환
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제27권1호
    • /
    • pp.23-33
    • /
    • 2000
  • 본 논문은 데이타 병렬 프로그램에서 효율적 통신을 위한 하나의 방법으로 통신과 계산 작업을 중첩하여 실행하는 모델을 제안한다. 이 중첩 모델에서는 통신 지연 시간 동안 중첩하여 수행할 계산 작업을 얻기 위해 주어진 루프 분할을 다시 세부 분할한다. 주어진 루프 분할은 다른 외부 데이타 분할을 참조하기도 하지만, 루프 분할의 모든 반복들이 항상 외부 데이타 참조를 필요로 하는 것은 아니다. 따라서 주어진 루프 분할을 외부 데이타를 요구하는 루프 반복들의 집합과 그렇지 않은 루프 반복들의 집합으로 나눌 수 있다. 이렇게 나누어진 루프 세부 분할은 효율적인 수행을 위해 메시지 도착 순서에 따라 동적으로 스케쥴링된다. 제안된 방법에 따라 IBM SP2에서 몇가지 프로그램으로 실험을 한 결과, 중첩 모델이 성능 향상을 보임을 확인할 수 있었다.

  • PDF

오디세우스 대용량 검색 엔진을 위한 병렬 웹 크롤러의 구현 (Implementation of a Parallel Web Crawler for the Odysseus Large-Scale Search Engine)

  • 신은정;김이른;허준석;황규영
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제14권6호
    • /
    • pp.567-581
    • /
    • 2008
  • 웹의 크기가 폭발적으로 증가함에 따라 인터넷에서 정보를 얻는 수단으로서 검색 엔진의 중요성이 부각되고 있다. 검색 엔진은 사용자에게 최신의 정보를 검색 결과로서 제공하기 위해 웹 페이지를 주기적으로 수집하고 이를 데이타베이스에 저장한다. 웹 크롤러는 이러한 목적으로 웹 페이지를 수집하는 프로그램이다. 대부분의 검색 엔진은 제한된 시간 내에 많은 수의 웹 페이지를 수집하기 위해 다수의 머신을 사용하는 병렬 웹 크롤러를 이용한다. 그러나, 병렬 웹 크롤러의 아키텍처와 세부 구현 방법이 잘 알려져 있지 않기 때문에 실제로 병렬 웹 크롤러를 구현하는 데에 어려움이 많다. 본 논문에서는 병렬 웹 크롤러(parallel web crawler)의 아키텍처와 세부 구현 방법을 제시한다. 병렬 웹 크롤러는 다수의 머신에서 웹 페이지를 병렬적으로 수집하기 위해 조정자(coordinator) 대리자(agent) 구조의 2-티어(tier) 모델을 사용한다. 조정자/대리자 모델은 각 머신에서 웹 페이지를 수집하기 위한 다수의 대리자들과 이 대리자들을 관리하기 위한 하나의 조정자로 구성된다. 병렬 웹 크롤러는 웹 페이지를 수집하기 위한 크롤링(crawling) 모듈, 수집한 웹 페이지를 데이타베이스 로딩 포맷으로 변환하기 위한 컨버팅(converting) 모듈, 수집된 웹 페이지의 중요도를 계산하기 위한 랭킹(ranking) 모듈로 구성된다. 본 논문에서는 병렬 웹 크롤러의 각 모듈들을 설명하고, 세부 구현 방법을 설명한다. 마지막으로, 실험을 통해 병렬 웹 크롤러의 성능을 평가하였다. 실험 결과, 제안된 병렬, 웹 크롤러가 수집해야할 웹 페이지 개수와 머신 개수에 따라 확장 가능함을 보였다.

Fips : 파일 접근 유형을 고려한 동적 파일 선반입 기법 (Fips : Dynamic File Prefetching Scheme based on File Access Patterns)

  • 이윤영;김재열;서대화
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제29권7호
    • /
    • pp.384-393
    • /
    • 2002
  • 병렬 파일시스템은 클러스터 시스템에서 과도한 입출력 요청을 원활하게 지원하기 위해 사용되며, 특히 파일 선반입은 병렬 파일시스템의 성능을 개선하는데 유용하게 사용된다. 본 논문은 과학계산용 병렬 응용과 멀티미디어 서버 응용에서 효과적인 파일 접근 유형을 고려한 새로운 동적 파일 선반입기법인 Fips를 제안한다. 본 논문이 제안하는 동적 파일 선반입 기법인 Fips는 파일의 접근 유형을 고려하여 동적으로 선반입 할 데이타 블록을 예측하고, 다양한 접근 유형에서도 데이타 블록의 선반입을 효율을 높였다. 그리고 현재의 가용 대역폭을 고려하여 선반입 시기를 결정하므로 선반입이 시스템에 과부하로 작용하는 것을 방지하도록 하였다. 병렬 파일시스템에 Fips를 적용하여 실험한 결과 다양한 작업부하에서 제안한 선반입 기법은 우수한 성능을 보여주었다.

내부점 선형계획법에서의 멀티프런탈방법에 관한 연구 (A study on the multifrontal method in interior point method)

  • 김병규;박순달
    • 한국경영과학회:학술대회논문집
    • /
    • 한국경영과학회 1995년도 추계학술대회발표논문집; 서울대학교, 서울; 30 Sep. 1995
    • /
    • pp.370-380
    • /
    • 1995
  • 선형계획법의 해법으로 최근에는 내부점기법(Interior Point Method)가 관심 을 끌고 있다. 이 내부점 기법은 계산복잡도 뿐만 아니라 수행속도면에서도 우수한 결과를 보이고 있다. 이 방법은 매 회 대칭양정치(Symmetric Positive Definite)인 선형시스템을 풀어야 하는데 이 과정이 전체 내부점 수 행시간의 80-90%를 차지한다. 따라서 내부점 기법의 수행속도는 대칭양정치 인 선형시스템을 효율적으로 푸는 방법에 달려 있다. 대칭양정치인 선형시스 템을 풀기 위해서는 상하분해를 이용하게 되는 데 가우스소거를 이용해서 상하 분해를 하는 경우 매 단계에서 행렬의 모든 요소를 가지고 있을 필요 가 없다. 행렬의 모든 요소에 대한 정보를 동시에 필요로 하지 않는다. 즉, 현 단계에서 가우스소거와 관련된 열들에 대한 정보만 있으면 상하 분해가 가능하고 이러한 개념을 이용한 방법이 프런탈방법이다. 프런탈 방법은 대형 선형계획 문제를 풀기에 유리하다는 장점이 있다. 이러한 프런탈 방법을 확 장해서 동시에 여러 개의 프런탈을 계산하는 방법이 멀티프런탈방법이다. 이 방법은 알고리듬 자체가 병렬처리에 적합하기 때문에 병렬처리와 관련해서 도 많은 연구가 수행되고 있다. 본 연구에서는 삭제나무(Elimination Tree)를 이용한 프런탈 방법과 프런탈방법에 슈퍼노드의 개념을 도입한 슈퍼노들 프 런탈방법등에 대해서 이제까지의 연구 현황을 알아보고 프런탈방법에 적합 하고 효율적인 자료 구조와 멀티프런탈 방법에 적용 가능한 병렬알고리듬에 대하여 연구하고자 한다. 본 연구결과 기대효과로는 프런탈 방법에 적합하고 효율적인 자료 구조와 멀티프런탈 방법에 적용 가능한 병렬알고리듬을 개발 함으로써 내부점 선형계획법의 수행속도의 개선에 도움이 될 것이다.성요소들을 제시하였다.용자 만족도가 보다 높은 것으 로 나타났다. 할 수 있는 효율적인 distributed system를 개발하는 것을 제시하였다. 본 논문은 데이타베이스론의 입장에서 아직 정립되어 있지 않은 분산 환경하에서의 관계형 데이타베이스의 데이타관리의 분류체계를 나름대로 정립하였다는데 그 의의가 있다. 또한 이것의 응용은 현재 분산데이타베이스 구축에 있어 나타나는 기술적인 문제점들을 어느정도 보완할 수 있다는 점에서 그 중요성이 있다.ence of a small(IxEpc),hot(Tex> SOK) core which contains two tempegatlue peaks at -15" east and north of MDS. The column density of HCaN is (1-3):n1014cm-2. Column density at distant position from MD5 is larger than that in the (:entral region. We have deduced that this hot-core has a mass of 10sR1 which i:s about an order of magnitude larger those obtained by previous studies.previous studies.업순서들의 상관관계를 고려하여 보다 개선된 해를 구하기 위한 연구가 요구된다. 또한, 준비작업비용을 발생시키는 작업장의 작업순서결정에 대해서도 연구를 행하여, 보완작업비용과 준비비용을 고려한 GMMAL 작업순서문제를 해결하기 위한 연구가 수행되어야 할 것이다.로 이루어 져야 할 것이다.태를 보다 효율적으로 증진시킬 수 있는 대안이 마련되어져야 한다고 사료된다.$\ulcorner$순응$\lrcorner$<

  • PDF

메타데이타 관리를 위한 RDF 기반의 저작 툴 개발 (Development of Authoring Tool Based on RDF for Metadata Management)

  • 조성훈;이무훈;조현규;송병렬;김동혁;이찬섭;최의인
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 추계학술발표논문집 (하)
    • /
    • pp.2231-2234
    • /
    • 2002
  • 정보 인프라의 확장과 더불어 웹 이용의 보편화로 인해 오프라인(off-line)과 온라인(on-line)상에는 많은 데이터가 산출되고 있는 상황이다. 그러나 데이터 관리를 위한 메타데이타 표준이 특정 도메인(domain)에 제한적이거나 너무 광범위하게 정의되어 있기 때문에 효율적인 데이터 관리가 되지 못하고있다. 또한 생성한 메타데이타에 대한 유효성 검증이 되지 않으므로 정확한 메타데이타인지를 보장할 수 없는 실정이다. 따라서 본 논문에서는 메타데이타에 대한 유효성 검증을 수행하고, RDF(Resource Description Framework)를 기반으로 메타데이타를 효율적으로 저작할 수 있는 저작 툴과 웹 자원(resource)를 N-triple로 표현하여 데이터를 관리할 수 있는 N-triple 생성기를 개발하였다.

  • PDF

Pollard-$\rho$에 기반한 타원곡선 이산대수문제 공격법들의 분석 및 병렬화 구현 (Analysis and Parallelization of Pollard-$\rho$ based Attacks on ECDLP)

  • 서병국;이은정;이필중
    • 한국정보보호학회:학술대회논문집
    • /
    • 한국정보보호학회 1998년도 종합학술발표회논문집
    • /
    • pp.455-468
    • /
    • 1998
  • 암호해독법은 암호시스템의 안전성을 논하는데 필수적이다. 본 논문에서는 ECDLP 공격법인 Pollard-$\rho$와 그 변형들간의 성능을 유한체 GF(2$^{19}$ ) ~ GF(2$^{41}$ ) 상의 타원곡선에서 측정 비교하였다. 또한 이 공격법을 네트웍을 통해 10대의 컴퓨터로 병렬처리해 공격시간을 1/10로 단축시켰으며 실험 데이타를 토대로 GF(2$^{163}$ )상에서 공격시간 및 저장용량을 예측하였다.

  • PDF

데이타 플로우 명세로부터 직렬화된 멀티태스킹 코드 생성 (Serialized Multitasking Code Generation from Dataflow Specification)

  • 권성남;하순회
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제35권9_10호
    • /
    • pp.429-440
    • /
    • 2008
  • 갈수록 복잡해지는 임베디드 시스템을 개발하는데 있어서 소프트웨어 개발의 중요성이 점차 커지고 있다. 대부분의 임베디드 응용 소프트웨어는 멀티 태스크로 구성되어 있는 병렬 소프트웨어이며, 기존의 순차적인 프로그래밍 언어만으로 개발하는 것보다는 알고리즘의 병렬성을 명세하기에 용이한 데이타플로우 모델로부터 소프트웨어를 생성하는 것이 유망하다. 생성된 멀티태스킹 코트를 수행하기 위해선 태스크들을 병렬적으로 수행해 주고 태스크간 동기화를 담당해 줄 운영체제의 도움이 필요하다. 그러나 운영체제를 사용하기 어려운 환경이나 설계 공간 탐색 과정에서 운영체제를 매번 다양한 하드웨어 플랫폼에 포팅하기 어려운 경우에는 운영체제 없이 멀티 태스크 응용을 수행할 수 있는 방법이 필요하다. 이것을 위해서 이 연구에서는 데이타 플로우 명세로부터 직렬화 된 멀티태스킹 코드를 생성하는 방법을 제안한다. 제안하는 방법에서 하나의 태스크는 데이타 플로우 모델로 명세되며, 하나의 C 코드로 생성된다. 코드 생성은 크게 두 단계로 이루어지는데, 먼저 태스크를 구성하는 블록들을 각각 함수 형태로 코드를 생성한 후에, 생성된 여러 태스크의 함수들을 모아서 직렬화 하여 호출하는 스케줄러를 만든다. 이 때에 스케줄러를 효율적으로 만들 수 있는 자료구조 및 정보를 제공하여 사용자가 수동으로 스케줄러를 만드는 것도 가능하도록 하였다. DivX예제를 통하여 제안하는 방법으로 생성한 코드가 효율적으로 올바르게 동작함을 보였다.

가상주소 변환 과정에 대한 부담의 줄임 (Peducing the Overhead of Virtual Address Translation Process)

  • 우종정
    • 한국정보처리학회논문지
    • /
    • 제3권1호
    • /
    • pp.118-126
    • /
    • 1996
  • 메모리의 계층적 구조는 메모리의 접근 속도를 개선하고 프로그래밍 공간을 확장 하는데 유용한 메카니즘이다. 그러나 이 구조는 데이타의 참조를 위해서 적어도 두번- 주소 변환을 위한 TLB 와 원하는 데이타를 위한 데이타 캐시-의 메모리 접근이 필요하다. 만약 캐시의 크기가 가상 메모리의 페이지 크기와 캐시 메모리의 연관 정도의 곱보다 커지면 TLB접근과 데이타 캐시의 접근을 병렬로 수행하기 어려우며, 따라서 프로세서 타이밍의 임계 경로가 길어져 성능에 영향을 미친다. 이들의 병렬 접근을 성취하기 위하여 직접 사상 TLB와 조그마한 완전 연관 사상 TLB를 결합하나 혼합 사상 TLB를 제 안한다. 전자는 TLB 접근에 따른 지연시간을 줄 일 수 있으며 후자는 전자로부터 발생한 충돌 부재를 제거할 수 있게 된다. 트레이스 구동 모의 실험 결과에 의하면 제안된 TLB 는 4개의 엔트리로만 구성된 완전사상 TLB를 추가하더라도 부재율의 상승에 의한 영향이 주소변환에 따른 지연시간 축소에 위하여 상쇄되므로 효과적이다.

  • PDF