• 제목/요약/키워드: 분산 병렬처리

검색결과 411건 처리시간 0.068초

분산 병렬 환경에서 효율적인 이종 데이터 처리를 위한 SQL 데이터 전송 기법 (SQL Data Transport Technique for Efficient Hybrid Data Processing on Distributed and Parallel Environment)

  • 양현식;백나은;성미래;장재우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.1102-1105
    • /
    • 2015
  • 인터넷 발전이 가속화되고 SNS가 보급된 이후 과거와는 비교할 수 없을 정도로 큰 데이터 트래픽이 발생하고 있다. 기존의 DBMS는 이를 효과적으로 처리할 수 없었기 때문에 Hadoop과 같은 NoSQL이 탄생하였고, 최근 NoSQL 및 기존 SQL DBMS의 협업을 통해 유연하고 강력한 데이터 관리를 수행하는 연구가 진행되었다. 효율적인 질의 처리를 위한 대표적인 연구로 SQL 기반 분산 병렬 질의 처리 기법과 Hive등이 존재한다. 그러나 기존의 기법은 분산 병렬 환경을 고려하지 않아 SQL DBMS의 질의 결과를 효율적으로 Hive에 전송하지 못한다. 본 논문에서는 SQL DBMS에서 Hive로의 효율적인 SQL 데이터 이동을 위해 네트워크 비용을 최소화하는 기법을 제안하고, 제안하는 기법의 우수성을 제시한다.

스트림 데이터 처리를 위한 시계열 데이터베이스 병렬 접근 기반 읽기 지연 개선 기법 (Improving Read Latency for Stream Data Processing via Parallel Access of Time Series Database)

  • 황용하;노순현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 춘계학술발표대회
    • /
    • pp.44-47
    • /
    • 2018
  • 시계열 데이터 처리를 위해 방대한 양의 데이터를 스토리지에서 빠르게 읽어와 처리하려는 움직임이 많아지고 있다. 이를 위해 스토리지의 read latency 를 개선하기 위한 여러 기법들이 제안되었지만, 이 기법들은 분산 노드의 스토리지 자원을 충분히 활용하지 못한다는 한계가 있다. 따라서 우리는 시계열 데이터를 실시간으로 처리하기 위해 스토리지에 병렬적으로 접근하여 read latency 를 개선하는 기법을 제안한다. 제안된 기법은 분산 환경에서 스토리지에 병렬적으로 접근하여, 각 노드에서 부분적으로 데이터를 읽어와 전체 데이터를 읽어오는 지연시간을 줄인다. 우리는 제안된 기법을 여러 노드로 구성된 분산 환경에서 구현하였다. 제안된 기법을 적용한 결과, 전체 데이터를 읽어오는 read latency 가 기존 기법보다 28.04% 줄어든 것을 확인하였다.

트랜스퓨터에서의 효율적인 병렬처리에 관한 연구 (A Study on effective parallel processing in Transputer)

  • 김영희;박두순
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 1998년도 춘계학술발표논문집
    • /
    • pp.355-360
    • /
    • 1998
  • 병렬처리 컴퓨터는 하드웨어, 소프트웨어적인 두 가지 측면에서 동시에 만족되어질 때 최적의 성능 향상을 가져올 수 있다. 본 연구는 다양한 토폴로지를 제공하고 가격대 성능비가 좋은 트랜스퓨터상에서 자료간 종속 관계에 있는 병렬 코드를 수행하는 방법들을 소프트웨어적인 기법을 통해 알아보고 종속 관계에 있는 자료 처리 시 프로세서 수의 증가를 통한 속도향상을 실험하였다. 그 결과 본 논문에서 제시한 코드로 자료의 교환량을 최소화하기 위한 기법인 경우 프로세서의 수가 2개 일 때 cost-effective임을 제시하였다. 따라서 트랜스퓨터에서 효율적인 병렬 처리를 위해서는 각 node의 토폴로지, 자료분산 모델, processor의 개수들이 반드시 고려되어야 한다.

  • PDF

맵리듀스를 이용한 빙산 큐브 병렬 계산 (Iceberg Cube Parallel Computation using MapReduce)

  • 이수안;김진호;문양세;노웅기
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(A)
    • /
    • pp.25-26
    • /
    • 2010
  • 대용량 데이터의 효율적 분석을 위해 데이터 뷰브가 연구되었으며, 데이터 큐브 계산의 고비용 문제점을 해결하기 위하여 큐브의 일부 영역만을 계산하는 빙산 큐브가 등장하였다. 빙산 큐브는 저장 공간의 감소, 집중적인 분석 등의 장점이 있으나, 여전히 많은 계산과 저장 공간을 필요로 하는 단점이 있다. 본 논문에서는 이러한 문제점을 해결하는 실용적인 방법으로 대용량 문제를 분산하여 처리하는 분산 병렬 컴퓨팅 기술인 맵리듀스(MapReduce) 프레임워크를 사용하여 분산 병렬 빙산 큐브인 MR-Naive와 MR-BUC 알고리즘을 제안한다. 실험을 통해 맵리듀스 프레임워크를 통한 빙사 큐브 계산이 효율적으로 분산 병렬 처리 됨을 확인하였다.

  • PDF

소규모 클러스터 시스템에서의 분산 파일 시스템에 대한 성능 평가 (Performance evaluation of distributed file systems on a small scale cluster system)

  • 조혜영;차광호;김성호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 추계학술발표대회 및 정기총회
    • /
    • pp.1417-1420
    • /
    • 2005
  • 고속 네트워크로 연결된 대형 병렬 컴퓨터 및 클러스터 시스템의 사용이 증가되면서, 대용량 스토리지의 효율적인 활용을 위한 분산 및 병렬 파일 시스템에 대한 관심이 증가하고 있다. 특히 다수의 컴퓨터에 장착된 디스크 또는 스토리지를 네트워크로 연결하여 하나의 논리적이 파일 시스템으로 구성하는 분산 및 병렬 파일 시스템은 유휴 자원의 활용, bandwidth 및 throughput의 증대라는 장점으로 많은 연구가 진행 중이다. 본 논문에서는 대표적인 분산 및 병렬 파일 시스템을 대상으로 소규모 클러스터 시스템에서 성능 및 특징을 비교, 분석하였다.

  • PDF

암호화 성능 향상을 위한 다중장비 기반 분산 병렬 처리 방법 (A Method of Distributed Parallel Processing based on Multi-Server for Improving Encryption Performance)

  • 김현욱;박성은;어성율
    • 한국정보통신학회논문지
    • /
    • 제19권3호
    • /
    • pp.529-536
    • /
    • 2015
  • 최근 개인정보보호법의 시행으로 개인 정보를 암호화하여 저장하는 메커니즘이 보안 시스템에 적용되고 있다. 개인 정보에 대한 암 복호화 메커니즘을 적용할 경우 초기에 기 저장되어 있는 대용량의 개인 정보를 암호화해야 한다. 이때 서버의 자원 부족이 발생할 수 있다. 또한 많은 시간이 소요된다. 본 논문에서는 위와 같은 문제점을 해결하고자 저 사양 다중 장비를 사용하여 대량의 개인 정보를 분산 병렬처리로 암호화하는 방법을 제안하고 테스트 환경을 구축하여 성능을 측정하였다. 그리고 고 사양 장비의 성능과 비교하였다. 측정 결과 장비를 3대로 확장하여 분산 병렬처리를 수행하는 경우 약 128% 이상, 5대로 확장하였을 경우 158% 이상 성능이 향상되는 것을 확인할 수 있었다.

SGI Origin 2000/Cray T3e /IBM SP2 시스템에서 병렬 분산 VHDL 시뮬레이터의 개발 (Development of Parallel Distributed VHDL Simulator on SGI Origin 2000/Cray T3e/IBM SP2 Systems)

  • 정영식
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제5권2호
    • /
    • pp.196-208
    • /
    • 1999
  • 본 논문에서는 시뮬레이션 속도 향상을 위하여 VHDL(Very high speed integrated circuit Hardware Description Language)로 기술된 디지털 회로 시뮬레이션을 위한 병렬 분산 VHDL 시뮬레이터(Parallel Distributed VHDL Simulator : PDVS)를 개발한다. 개발된 프로그램을 대규모 병렬 프로그래밍 환경에서도 수행될 수 있도록 하기 위해서 표준 통신 라이브러리인 MPI(Message Passing Interface)를 이용하여 구현된다. PDVS 의 전체적인 시스템구성도, PDVS 에 사용된 시뮬레이션 프로토콜, 전역가상시간 계산 메카니즘 및 논리적 프로세스의 내부 구성요소들간의 관계와 PDVS의 제어 흐름도를 제시한다. 그리고 본 연구에서는 병렬 분산 시뮬레이션의 병렬성 정도를 분석하기 위하여 디지털 회로의 크기 변화와 처리되는 사건수(grain size)의 변화에 따른 성능 결과를 제시한다. 이 연구에서 4배크기의 디지털 회로를 적용한 경우는 프로세서를 12개 사용할 때에 8배의 속도향상을 얻었다. 그리고 처리되는 사건의 수가 200인 경우는 프로세서를 32개 사용할 때에 12배의 속도향상을 얻었다. 또한 동일한 방법을 SGI Origin 2000, Cray T3e 및 IBM SP2에 적용함으로서 그 성능의 간접적인 비교결과도 제시한다.

분산 멀티미디어 병렬처리 시스템 연구 (A Study on distributed Multimedia Parallel Processing System )

  • 이민경;조동섭
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 추계학술발표대회
    • /
    • pp.943-945
    • /
    • 2008
  • 통신환경의 발달은 그에 따른 응용시스템의 개발을 촉진하며 빠르게 변화하고 있다. 그래서 많은 사용자들이 이용하는 멀티미디어 데이터의 경우, 통신환경에서의 다양한 응용이 중요시되고 있다. 일반적으로 멀티미디어 데이터의 경우 크기가 크기 때문에, 데이터를 처리하는 데는 많은 노력이 필요하다. 각 시스템에서 처리할 수 있는 일의 양은 한정 되어 있기 때문에 대형 시스템 한대로 분산 환경에서의 멀티미디어 데이터를 처리하고 제어하는 데는 한계가 있다. 본 논문에서는 여러 대의 시스템을 병렬 연결해 하나의 시스템처럼 사용하게 한다. 병렬포트제어를 통해 연결된 시스템들은 상위레벨, 하위레벨과 연결상태 및 실행상태를 체크하며 통신한다. 본 논문에서 제안된 시스템은 관리자가 좀 더 빠르고 편리하게 여러 대의 시스템을 제어할 수 있도록 한다.

분산 메모리 환경에서의 방대한 볼륨데이터의 압축기반 광선추적법 (Compression-Based Ray-Casting of Huge Volume Data on Distributed Memory Environments)

  • 송동섭;박상훈;임인성
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (B)
    • /
    • pp.634-636
    • /
    • 2000
  • 기존의 병렬 볼륨 렌더링 방법들은 프로세서간의 발생하는 많은 통신량 때문에 통신 속도가 매우 빠른 병렬컴퓨터를 이용하였고 통신속도가 느린 분산 환경에서는 구현이 불가능해 보였다. 또한 가시화하려는 볼륨 데이터도 점점 방대해지고 있는 실정이다. 이에 본 논문에서는 통신 속도에 구애받지 앉을뿐더러 매우 큰 볼륨데이터를 다루는 병렬/분산 볼륨 렌더링을 제안한다. 본 방법은 고비용을 필요로 하는 원격 메모리 접근 대신에 압축을 기반으로 하여 필요한 데이터를 지역 메모리에서 빠르게 복원함으로써 좋은 성능향상(speedup)을 나타낸다. 이것은 각 프로세서가 전체 볼륨 데이터를 모두 적재하고 있다는 것을 의미한다. 다라서 렌더링 과정중에 발생하는 프로세서간의 통신을 최소화할 수 있었고, 이런 방식은 높은 통신 비용으로 효율적 병렬/분산 처리가 힘든 분산 메모리 병렬 컴퓨터나 PC/워크스테이션 클러스터상에서 매우 적합하다.

  • PDF

MPI 기반 PC 클러스터에서 GHT의 병렬 분산 구현 (Parallel Distributed Implementation of GHT on MPI-based PC Cluster)

  • 김영수;김정삼;최흥문
    • 전자공학회논문지CI
    • /
    • 제44권3호
    • /
    • pp.81-89
    • /
    • 2007
  • MPI(message passing interface) 기반 PC 클러스터 상에서 병렬분산 GHT(generalized Hough transform)를 모델화하고 시간 분석하여 고속화 구현하였다. 파이프라인 방송(pipelined broadcast) 통신방식과 누산기 배열(accumulator array) 분할 처리정책을 사용함으로써 통신부담을 최대한 줄였고, 전체 처리 과정에 걸쳐 통신과 계산처리를 시간 중첩시켜 구현함으로써 최대한의 속도제고를 하였다. 100 Mbps Ethernet 스위치를 이용하여 MPI 기반 PC 클러스터를 구현하고 제안한 병렬분산 GHT를 실험하여 선형에 가까운 속도 제고율 (speedup)을 확인하였다.