• 제목/요약/키워드: 분산 병렬처리

검색결과 411건 처리시간 0.028초

웹 기반 분산/병렬 프레임워크상에서 실시간 자원 모니터링 (Real-Time Monitoring of Resource for Distributed/Parallel Framework on the Web)

  • 김수자;정재홍;송은하;한성국;주수종;정영식
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 춘계학술발표논문집 (상)
    • /
    • pp.117-120
    • /
    • 2003
  • 웹의 다양한 자원을 이용하여 고성능 작업 처리를 요구하는 분산/병렬 시스템은 균형적인 작업 할당을 위해 각 호스트의 성능 평가가 중요하다. 하지만 성능 평가에 대한 지속적인 신뢰하기가 어려우며 뿐만 아니라, 작업 도중 호스트의 성능 변화를 예측하기가 어렵다. 성능 변화에 따른 효율적인 작업 스케줄링이 필요하며, 자원 관리자는 작업을 수행중인 호스트에 대한 모니터가 요구된다. 본 논문에서는 자원 관리자와 시스템 관리자에게 효율적인 자원 정책을 제안하기 위해 각 호스트의 자원을 모니터하고, 분산/병렬 시스템의 작업 할당 메커니즘에 의해 각 호스트의 성능 평가 기준을 정한다 또한 관리자에게 실시간으로 호스트의 성능 변화에 따른 자원 정보를 관리하도록 다양한 시각화를 제공한다.

  • PDF

불연속미디어 처리를 위한 CM Toolkit의 확장 (Extension CM Toolkit for Discrete Media Processing)

  • 김용대
    • 정보처리학회논문지B
    • /
    • 제8B권1호
    • /
    • pp.81-88
    • /
    • 2001
  • 분산 멀티미디어 시스템의 기본적인 요구 사항은 비디오와 오디오 같은 연속미디어의 생성 그리고 검색 시점에서 표현 시점까지의 엄격한 지연과 지터를 요구하는 인트라 미디어 동기화와 다수의 연속 미디어 스트림을 병렬로 표현할 때 트랙들간의 상대적 시간 관계에 관한 제한을 만족시키는 인터미디어 동기화를 제공하는 것이다. 본 논문에서는 분산 환경에서 연속미디어를 이용하는 주문형 시스템 개발도구인 버클리 CMT를 텍스트, 이미지, 그래픽 등의 불연속 미디어와 비디오, 오디오 등의 연속 미디어 형태의 멀티미디어 동기화가 가능하도록 확장-CMT를 설계하고, 이를 분산 원격강의 응용에 구현하였다.

  • PDF

이더넷 다중 클러스터에서 GHT의 병렬 분산 구현 (Parallel Distributed Implementation of GHT on Ethernet Multicluster)

  • 김영수;김명호;최흥문
    • 전자공학회논문지CI
    • /
    • 제46권3호
    • /
    • pp.96-106
    • /
    • 2009
  • 이더넷 클러스터에서 그 분산처리 규모를 확장하려면 스위치 당 최대포트 수(현재 48포트)에 의해 물리적 제약을 받는다. 본 연구에서는 MPI기반 이더넷 클러스터에서 일반화 허프변환(generalized Hough transform: GHT)의 분산처리 규모를 확장하기 위해 다수의 이더넷 스위치들로 다중 클러스터를 구현하고, 확장에 따른 통신 부담을 병렬분산 시간분석 모델 및 통신성능 모델로 분석한 후 고속화 구현하였다. 다중 클러스터 분산처리환경에서 가능한 작업분할 정책들에 대해 평가하고, 허프공간 누산기 배열분할(accumulator array partitioning: AAP)정책을 수정 적용하여 노드간의 통신회수와 통신시간을 최소화하였고, 노드 수의 증가에 따라 AAP 정책의 분할 데이터 범위를 크게 하고 그에 부합하는 부하균형 알고리즘도 구현하였다. 단일링크 병목을 갖는 클러스터간(intercluster) 통신지연을 최대한 줄이기 위하여 일감 분배에는 선형 파이프라인 방송을 사용하고, 작은 결과 메시지들의 수합(gathering)에는 선형 플랫트리(flat tree)를 사용함으로써 총체적으로 계산과 통신을 최대한 시간 중첩시켰다. 제안한 병렬분산 GHT를 이더넷 다중 클러스터 상에서 그 성능을 점근해석하고 실험하여, 4개 고속 이더넷 스위치로 128 노드의 MPI 기반 다중 클러스터를 구현하여 거의 선형에 가까운 속도제고율(speedup)을 확인하였다.

병렬 컴퓨터를 이용한 형상 압연공정 유한요소 해석의 분산병렬처리에 관한 연구 (Finite Element Analysis of Shape Rolling Process using Destributive Parallel Algorithms on Cray T3E)

  • 권기찬;윤성기
    • 대한기계학회논문집A
    • /
    • 제24권5호
    • /
    • pp.1215-1230
    • /
    • 2000
  • Parallel Approaches using Cray T3E which is NIPP (Massively Parallel Processors) machine are presented for the efficient computation of the finite element analysis of 3-D shape rolling processes. D omain decomposition method coupled with parallel linear equation solver is used. Domain decomposition is applied for obtaining element tangent stifffiess matrices and residual vectors. Direct and iterative parallel algorithms are used for solving the linear equations. Direct algorithm is_parallel version of direct banded matrix solver. For iterative algorithms, the well-known preconditioned conjugate gradient solver with Jacobi preconditioner is also employed. Moreover a new effective iterative scheme with block inverse matrix preconditioner, which is named by present authors, is presented and its results are compared with the one using Jacobi preconditioner. PVM and MPI are used for message passing and synchronization between processors. The performance and efficiency of each algorithm is discussed and comparisons are made among different algorithms.

ParaC 언어의 설계 및 구현 (The Design and Implementation of the ParaC Language)

  • 이경석;우영춘;김진미;지동해
    • 한국정보처리학회논문지
    • /
    • 제4권11호
    • /
    • pp.2903-2913
    • /
    • 1997
  • 본 논문은 공유 및 분산 메모리 구조를 가진 병렬 컴퓨터의 프로그래밍 환경을 지원하기 위하여 ParaC 언어를 설계하고 구현한 내용을 기술한다. ParaC 언어는 확장성 높은 병렬 컴퓨터의 시스템 자원을 사용자가 효과적으로 이용할 수 있도록 설계되었다. 이것은 C 언어에 공유 메모리 환경을 위한 병렬 구문과 동기화 구문, 그리고 분산 메모리 환경을 위한 원격 태스크 구문을 추가함으로써 이루어졌다. 언어의 구현을 위하여 C 언어로의 번역 방법을 기술하였으며, 이 방법을 사용한 번역기와 확장 구문을 위한 실행시간 라이브러리를 구현하였다.

  • PDF

병렬 분산 처리 시스템에서 공간 연산을 위한 데이터 접근 방안 (A Method to Access Data for Spatial Operation in Parallel Distributed Processing System)

  • 김진덕
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 추계학술대회
    • /
    • pp.442-444
    • /
    • 2016
  • 과거에 비해 비약적으로 생산되는 공간 데이터에 대한 처리를 위한 공간 연산은 빠른 처리 응답성을 요구하는 경우가 많다. 그래서 최근 하둡(Hadoop)과 같은 빅데이터 처리 시스템을 이용하여 처리하고자 하는 시도가 많다. 한편, 공간 조인은 데이터 분할(Partitioning)과 공간 색인의 이용 여부, 여과 단계와 정제 단계를 거치는 등 그 복잡도가 강한 공간 연산이다. 그래서 빅데이터 처리 시스템을 이용한 공간 조인의 처리 방식은 매우 다양하다. 그러나 지금까지 이러한 공간 조인의 처리 방식에 다른 리소스 활용에 대한 비교는 거의 없다. 이 논문에서는 다양한 공간 연산의 수행 방법에 따른 빅데이터 시스템 클러스터에서 데이터 전송 방식을 고찰하고 데이터 전송에 따른 네트워크 리소스의 효율적인 사용 방안을 제안하고자 한다. 구체적으로 단일할당과 다중할당 색인 기법의 비교, 파티셔닝 방법의 비교, 맵리듀스 시스템의 태스크 할당 방법에 따른 비교를 통해 다양한 연산 유형에 따른 공간 조인의 처리 방안 선정에 고려 요소를 제시하고자 한다.

  • PDF

Lustre 병렬파일시스템 오토 프로비저닝을 위한 Ambari 서비스 설계에 관한 연구 (A Study on the Design of Ambari Service for Lustre Parallel File System Auto Provisioning)

  • 곽재혁;김상완;변은규;남덕윤
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 추계학술발표대회
    • /
    • pp.45-47
    • /
    • 2017
  • 하둡은 대표적인 빅데이터 처리 프레임워크로 널리 사용되고 있지만 하둡 어플리케이션은 고성능컴퓨팅 환경에서 하둡 분산파일시스템이 아닌 러스터 병렬 파일시스템 위에서도 수행될 수 있다. 그러나 이를 위해서 추가적으로 러스터 병렬파일시스템을 구축하고 관리하는 것은 시간 소모적인 업무가 될 수 있다. 본 연구는 러스터 병렬파일시스템의 오토 프로비저닝을 위한 암바리 서비스의 설계 방안에 대해서 제안한다. 암바리는 하둡 클러스터의 프로비저닝, 관리, 모니터링을 위한 운영 관리 프레임워크이며 운영자의 필요에 따라서 확장할 수 있는 서비스 프레임워크를 제공한다. 본 연구에서는 암바리를 통해서 러스터 병렬파일시스템을 오토 프로비저닝하고 관리하기 위한 확장 서비스를 설계하였으며 서비스를 위한 컴포넌트와 각 컴포넌트별 중요한 기능 사항에 대해서 논하였다.

데이터 샘플링 기반 프루닝 기법을 도입한 효율적인 각도 기반 공간 분할 병렬 스카이라인 질의 처리 기법 (An Efficient Angular Space Partitioning Based Skyline Query Processing Using Sampling-Based Pruning)

  • 최우성;김민석;;정재화;정순영
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제6권1호
    • /
    • pp.1-8
    • /
    • 2017
  • 다기준 의사결정 시 활용할 수 있는 스카이라인 질의는 다수의 선택지 중에서 사용자가 '선호하지 않을 만한'(uninteresting) 선택지를 제거함으로써 사용자가 검토해야 하는 선택지의 수를 대폭 감소시키기 때문에 대용량 데이터 분석 시 매우 유용하게 활용될 수 있다. 이러한 배경에서 대용량 데이터에 대한 스카이라인 질의를 분산 병렬 처리하는 기법이 각광을 받고 있으며, 특히 맵리듀스(MapReduce) 기반의 분산 병렬 처리 기법 연구가 활발히 진행되어 왔다. 맵리듀스 기반 알고리즘의 병렬성 제고를 위해서는 부하 불균등 문제 중복 계산 문제 과다한 네트워크 비용 발생 문제를 해소해야 한다. 본 논문에서는 부하 불균등 문제와 중복 계산 문제를 해소하면서도 데이터 샘플링 기반 프루닝을 통해 네트워크 비용 절감 시킬 수 있는 맵리듀스 기반 병렬 스카이라인 질의 처리 기법인 MR-SEAP(MapReduce sample Skyline object Equality Angular Partitioning)을 소개한다. 또한 다양한 관점에서의 실험 평가함으로써 제안 기법의 효용성을 다방면으로 검증했다.

다중 블럭 암호 알고리즘을 이용한 에러분산 (The Error Distribution Using Multiple Block Cipher Algorithm)

  • 백창현;김춘수
    • 한국정보보호학회:학술대회논문집
    • /
    • 한국정보보호학회 1996년도 종합학술발표회논문집
    • /
    • pp.272-278
    • /
    • 1996
  • 본 논문에서는 자동 동기 블럭 암호 시스템에서 발생하는 에러 전파 현상으로 인하여 파생되는 문제를 경감하기 위하여, 다중 암호 알고리즘을 이용한 병렬처리 자동동기 블럭 암호 시스템을 제안하였다. 제안된 구조는 암호 알고리즘 출력속도를 높일 수 있을 뿐만 아니라, 에러전파로 파생된 블럭 단위의 연속적인 에러를 여러 채널로 분산시키는 특성이 있다. 이를 설명하기 위하여 CFB 모드에 적용하여 특성을 분석하였고, 응용 가능성 이 높은 분야에 대하여 기술하였다.

  • PDF

GPGPU를 이용한 눈 영역 검출 기법 (Method of extract eye zone using GPGPU)

  • 박영재;김계영
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2011년도 제43차 동계학술발표논문집 19권1호
    • /
    • pp.269-272
    • /
    • 2011
  • 본 논문에서는 GPGPU를 이용한 눈 영역 검출 기법을 제안한다. 영상 전체의 평균과 분산을 기반으로 하여 각 마스크의 평균과 분산값을 비교는 비교적 간단한 알고리즘을 이용하여 눈 영역을 검출한다. 정확도의 경우 명암값의 대비를 이용한 기존의 방법과 비슷한 수준을 보였다. 하지만 연산속도의 경우 병렬처리 구간을 늘려 GPGPU를 사용한 제안된 방법이 우수한 성능을 보였다.

  • PDF