• 제목/요약/키워드: 분산연산

검색결과 419건 처리시간 0.035초

병렬 분산 처리 시스템에서 공간 연산을 위한 데이터 접근 방안 (A Method to Access Data for Spatial Operation in Parallel Distributed Processing System)

  • 김진덕
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 추계학술대회
    • /
    • pp.442-444
    • /
    • 2016
  • 과거에 비해 비약적으로 생산되는 공간 데이터에 대한 처리를 위한 공간 연산은 빠른 처리 응답성을 요구하는 경우가 많다. 그래서 최근 하둡(Hadoop)과 같은 빅데이터 처리 시스템을 이용하여 처리하고자 하는 시도가 많다. 한편, 공간 조인은 데이터 분할(Partitioning)과 공간 색인의 이용 여부, 여과 단계와 정제 단계를 거치는 등 그 복잡도가 강한 공간 연산이다. 그래서 빅데이터 처리 시스템을 이용한 공간 조인의 처리 방식은 매우 다양하다. 그러나 지금까지 이러한 공간 조인의 처리 방식에 다른 리소스 활용에 대한 비교는 거의 없다. 이 논문에서는 다양한 공간 연산의 수행 방법에 따른 빅데이터 시스템 클러스터에서 데이터 전송 방식을 고찰하고 데이터 전송에 따른 네트워크 리소스의 효율적인 사용 방안을 제안하고자 한다. 구체적으로 단일할당과 다중할당 색인 기법의 비교, 파티셔닝 방법의 비교, 맵리듀스 시스템의 태스크 할당 방법에 따른 비교를 통해 다양한 연산 유형에 따른 공간 조인의 처리 방안 선정에 고려 요소를 제시하고자 한다.

  • PDF

PDSWeb: Intranet에서 분산 병렬 처리 스킴의 성능평가 (PDSWeb: Performance Evaluation of Distributed Parallel Processing Scheme on the Intranet)

  • 송은하;정영식
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2001년도 추계학술발표논문집
    • /
    • pp.378-383
    • /
    • 2001
  • Intranet 환경에 다수의 유휴 호스트를 이용하여 많은 계산량을 지닌 응용 문제를 분산시켜 병렬 수행함으로써 효율성의 향상이 기대된다. 하지만 유휴 호스트를 이용하는데 있어서 이질성과 가변성 및 자율성으로 인해 요청에 대한 신뢰성을 예측하기가 어렵다. 본 논문에서는 태스크 할당 및 호스트 관리에 있어서 부하 균등을 위한 동적 분산 병렬 스킴인 적응적 태스크 재할당 기법을 제시한다. 또한, 이미지 랜더링 생성과 프랙탈 이미지 처리와 같은 많은 연산량을 지닌 응용 문제를 PDSWeb 시스템에 적용하여 제안 알고리즘의 성능을 분석하고 평가한다.

  • PDF

이질 분산환경에서 MPEG 비디오의 병렬 파싱 (Parallel Parsing of MPEG Video in Heterogeneous Distributed Environment)

  • 남윤영;황인준
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (A)
    • /
    • pp.91-93
    • /
    • 2003
  • 디지털 비디오의 사용 증가로 인해 비디오의 인덱싱, 브라우징, 검색과 같은 서비스가 필요하게 되었다. 이와 같은 서비스의 효율적인 구축을 위한 단계 중, 비디오 파싱은 멀티미디어 애플리케이션에서 중요한 부분을 차지하고 있다. 일반적으로. 비디오 파싱은 복잡한 연산을 하기 때문에. 전통적인 단일 컴퓨터에 의한 파싱 방법은 많은 시간이 소요된다. 이러한 문제는 병렬 및 분산 컴퓨팅을 사용하여 파싱에 필요한 시간을 줄임으로써 해결할 수 있다. 본 논문에서는 이질 분산 환경의 멀티 컴퓨터를 사용한 세 가지 MPEG 비디오의 병렬 스케쥴링 알고리즘을 제안하였다. 성능 평가에서는 제안한 스케쥴링 알고리즘의 speedup과 load balancing에 관하여 비교 실험하였으며, 제안한 스케쥴링 알고리즘을 통해 매우 좋은 성능 향상을 얻을 수 있었다.

  • PDF

그리드 컴퓨팅 환경에서의 작업 마이그레이션의 설계 및 구현 (Design and Implementation of job Migration on a Grid Computing Environment)

  • 김영균;조금원;송영덕;고순흠;나정수;오길호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (A)
    • /
    • pp.577-579
    • /
    • 2005
  • 본 논문에서는 Cactus와 Globus를 사용하는 그리드 컴퓨팅 환경에서 작업 마이그레이션(Job Migration)에 대해 연구 하였다. 그리드 컴퓨팅은 고속의 네트워크로 연결된 다중의 사이트에 분산되어 있는 연산 자원들을 활용하는 것으로서, 연산 자원들의 효율적인 이용이 중요하다. 연산자원의 효율적인 이용의 한 방법으로서 작업 마이그레이션은 이동 에이전트, 부하 균등화, 결함 허용 등을 위해 사용될 수 있다. 본 논문에는 한 사이트에서 실행중인 연산 작업이 중단된 경우, 유휴한 다른 사이트의 연산자원으로 이동한 후 체크포인팅 파일을 이용하여 중단된 지점부터 복구하여 연산을 계속 수행하도록 하는 연구를 수행하였다. K*Grid 환경에서 연산시간을 효과적으로 단축함을 실험으로 확인하였다. 보다 동적인 그리드 컴퓨팅에서 결함허용, 연산자원의 효율적인 이용 방법으로 사용될 수 있다.

  • PDF

광역 객체 컴퓨팅 환경에서 이름/속성기반의 통합 바이딩 서비스 방안 (A Study on Integrated Binding Service Strategy Based on Name/property in Wide-Area Object Computing Environments)

  • 정창원;오성권;주수종
    • 정보처리학회논문지A
    • /
    • 제9A권2호
    • /
    • pp.241-248
    • /
    • 2002
  • 광역 컴퓨팅 시스템의 구조가 처음으로 네델란드 Vrije 대학의 분산 컴퓨팅 연구팀에서 명세화를 시키면서, 많은 연구개발자들은 분산객체의 광역 위치와 접속 서비스에 대한 연구들을 추진하고 있다. 이들 대부분의 연구들은 광역 컴퓨팅 사이트들 상에서 존재하는 비중복된 연산 객체들간에 바인딩 서비스에 대해서만 고려하고 있다. 그러나 지구상에 존재하는 수많은 객체들은 이름이나 속성에 의해 중복된 특성을 지닌다. 이러한 같은 특성을 갖는 객체들은 중복된 연산객체로 정의할 수 있다. 기존의 네이밍이나 트레이딩 기법으로는 독립적인 위치투명성의 결여로 중복된 연산객체들의 바인딩 서비스 지원이 불가능하다. 따라서 본 논문에서는 광역 컴퓨팅 환경에서 중복된 연산객체들의 위치관리 뿐 아니라 시스템들간의 부하균형화를 유지시키면서 퇴적객체의 선정을 통한 바인딩 서비스의 시간을 최소화 할 수 있는 새로운 모델을 제시한다.이 모델은 네이밍 및 트레이딩 기능들을 통합한 서비스에 의해 중복된 연산객체들에 대한 단일 객체핸들을 얻는 부분과, 이 객체핸들을 사용하여 노드관리자에 의해 중복객체들의 복수개의 컨택주소들을 제공하는 위치 서비스 부분으로 구성하였다. 위치 투명성을 제공하기 위해, 이 두 서비스는 서로 독립적으로 수행된다. 이러한 모델을 기반으로 분산객체의 광역 통합트리의 구조, 컨택주소들의 탐색 및 갱신 알고리즘을 기술하였다. 마지막으로 클라이언트 객체로부터 서로 다른 영역에 위치하는 분산객체들의 광역 바인딩을 제공할 수 있는 연합구조를 보였다.

병렬 LDPCA 채널코드 부호화 방법을 사용한 고속 분산비디오부호화 (Fast Distributed Video Coding using Parallel LDPCA Encoding)

  • 박종빈;전병우
    • 방송공학회논문지
    • /
    • 제16권1호
    • /
    • pp.144-154
    • /
    • 2011
  • 본 논문에서는 고속, 저전력 비디오 부호화에 적합한 변환영역 Wyner-Ziv 분산비디오부호화기를 더욱 고속화하기 위한 병렬처리 방법을 제안한다. 기존의 변환영역 Wyner-Ziv 분산비디오부호화 방법은 양자화 된 변환계수를 비트플레인 단위로 분해한 후 비트플레인별로 순차적으로 LDPCA 채널코드로 부호화함에 따라 전체 부호화 연산량에서 LDPCA 부호화가 평균적으로 60% 정도 차지하였고, 이러한 복잡도는 고비트율로 부호화 할수록 더욱 증가하였다. 본 논문에서는 이런 분산비디오부호화 방법의 복잡도 문제를 개선하기 위해 여러 개의 비트플레인들을 하나의 메시지묶음으로 묶어서 한 번의 연산으로 여러 개의 데이터를 동시에 고속 LDPCA 채널코드 부호화하는 병렬화 방법을 제안한다. 이를 통해 기존의 순차적 방법에 비해 저비트율에서는 8배, 고비트율에서는 55배까지 LDPCA 채널코드 부호화 속도를 향상시켰다. 결과적으로 전체 변환영역 Wyner-Ziv 분산비디오부호화에서 LDPCA 채널코드 부호화의 상대적인 복잡도 비율을 평균 9%까지 낮출 수 있었으며, Wyner-Ziv 영상의 부호화 속도도 QCIF 크기 영상을 2.5GHz 속도의 CPU를 가진 PC환경에서 GOP 길이가 64인 경우 초당 700 ~ 2,300장을 부호화 할 수 있음을 확인했다. 제안 방법은 LDPCA를 사용하는 화소영역 Wyner-Ziv 분산비디오부호화에도 적용 가능하여 고속의 부호화가 요구되는 다양한 응용에 활용이 기대된다.

병렬 GIS를 위한 효율적인 분산공유메모리 시스템 (An Efficient Distributed Shared Memory System for Parallel GIS)

  • 정상화;류광열;고윤영;곽민석
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제5권6호
    • /
    • pp.700-707
    • /
    • 1999
  • 본 논문에서는 GIS 관련 연산을 실시간에 효율적으로 처리하기 위한 분산공유메모리 기반 병렬처리 시스템을 제안한다. 본 논문의 분산공유메모리 시스템은 메시지전달 방식의 분산메모리 MIMD 컴퓨터 상에 소프트웨어 기반 분산공유메모리 모듈을 탑재함으로써 구현되었다. 또한 GIS 연산의 기본이 되는 공간 객체를 공유의 기본 단위로 설정하고, GIS 데이타의 특성을 반영하여 읽기전용 공유데이타 타입을 추가하였으며, 네트워크 오버헤드를 줄이기 위하여 복수의 객체를 한번에 읽어오는 bulk access가 가능하도록 하였다. 본 시스템에서는 GIS 데이타의 효율적인 분배를 위하여 부하균등화 기법으로 guided self scheduling을 사용하였다. 실험결과 본 시스템은 네트워크 캐쉬의 효율적인 활용을 통하여 소프트웨어 기반 분산메모리 시스템의 오버헤드에도 불구하고 MPI 기반 메시지전달 방식에 비하여 향상된 성능을 얻을 수 있었다.Abstract In this paper, we propose a distributed shared memory(DSM) based parallel processing system to process GIS related computations efficiently in real time. The system is based on a software DSM module implemented on top of a distributed MIMD computer. In the DSM system, spatial object, which is a fundamental structure to represent GIS data, is used as a basic unit for sharing, and a read-only shared data type is added to reflect the characteristics of GIS data. In addition, a bulk access to multiple shared data is made possible to reduce the network overhead. A guided self scheduling method is devised for efficient load balancing in distributing GIS data to parallel processors. The experimental results show that the DSM system performs better than an MPI based message-passing system through the efficient utilization of network cache in spite of the system's software overhead.

PC(Presumed Commit Protocol) 규약을 위한 읽기 전용 트랜잭션의 최적화 (Optimization of Read-Only Transaction for Presumed Commit Protocol)

  • 안인순;김경찬
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (1)
    • /
    • pp.78-80
    • /
    • 1998
  • 분산 데이터베이스 시스템에서 완료규약의 수행은 다수의 메시지의 교환과 로그 레코드를 하게 되는 데 이것은 통신비용과 I/O 비용을 증가시키고 시스템의 성능에 영향을 미친다. 현대의 네트워크와 시스템은 속도는 매우 빠르고, 신뢰할 수 있기 때문에 분산 트랜잭션은 대부분 연산을 성공적으로 수행하고 승인한 후에 완료될 가능성이 많다. 본 논문에서는 향상된 PC규약을 제안한다. PC 규약에서 완료규약 수행 전에 참여자 사이트에서 처리한 연산의 종류를 미리 알 수 있게 하여 규약 테이블에 등록한다. 따라서 읽기 전용 트랜잭션에 대한 메시지 비용을 줄일 수 있고 Initiation 레크드에 읽기 전용 트랜잭션의 정보를 삭제함으로 일기 전용 트랜잭션에 대한 Initiation 레코드 비용을 줄인다. 또한 갱신 트랜잭션에 대한 Initiation 레코드 비용을 줄였다.

라이다 자료의 필터링기법에 관한 연구 (A Study on the Filtering Technique of LiDAR Data)

  • 이정호;한수희;유기윤;변영기
    • 한국측량학회:학술대회논문집
    • /
    • 한국측량학회 2004년도 춘계학술발표회논문집
    • /
    • pp.471-475
    • /
    • 2004
  • LiDAR의 표고점 데이터에서 건물, 수목 등과 같이 주위보다 높은 고도 값을 가지는 대상물을 제거하여 DEM을 생성하기 위한 여러 가지 필터링 기법들이 개발되고 있으며 대표적인 필터링 방법으로는 분산을 이용한 linear prediction 기법, 주변 점들과의 경사관계를 이용한 slope-based 기법, morphology 필터, dual rank 필터 등이 있다. 이러한 기법들은 커널(kernel)의 크기를 대상 지역에 맞도록 사용자가 직접 지정해주어야 하고, 건물의 크기가 다양한 지역에 적용하기 위해서는 가변 크기(variable size)의 커널을 필요로 한다. 본 연구에서는 다양한 크기의 건물이 존재하는 지역에 대하여 커널의 크기를 변화시키지 않고 필터링을 수행하는 새로운 커널 연산 기법을 제안하였다. 또한 기존 필터링 기법에서는 커널에 의해 갱신된 연산값이 다음 연산에 반영되지 않으나 본 연구에서는 갱신된 값이 바로 다음 연산에 반영되도록 하였다. 건물과 수목 등을 제거하기 위하여 주변 화소와의 높이 차를 이용하였으며 대상물이 제거된 부분은 주변 화소를 이용하여 보간하였다.

  • PDF

RISC-V 플랫폼 기반 CNN 모듈의 버퍼링 분석 (Buffering analysis of CNN module based on RISC-V platform)

  • 김진영;임승호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 춘계학술발표대회
    • /
    • pp.9-11
    • /
    • 2021
  • 최근 임베디드 엣지 컴퓨팅 디바이스에서 AI와 같은 인공지은 연산을 수행하여 AI 추론 연산의 가속화 및 분산화가 많이 이루어지고 있다. 엣지 디바이스는 임베디드 프로세서를 기반으로 AI의 가속 연산을 위해서 내부에 딥러닝 가속기를 포함하여 가속화시키는 시스템 구성을 하고 있다. 딥러닝 가속기는 복잡한 Neural Network 연산을 위한 데이터 이동이 많으며 외부 메모리와 내부 딥러닝 가속기간의 효율적인 데이터 이동 및 버퍼링이 필요하다. 본 연구에서는 엣지 디바이스 딥러닝 가속기 내부의 버퍼 구조를 모델링하고, 버퍼의 크기에 따른 버퍼링 효과를 분석해 보았다. 딥러닝 가속기 버퍼 구조는 RISC-V 프로세서 기반 가상 플랫폼에 구현되었다. 이를 통해서 딥러닝 모델에 따른 딥러닝 가속기 버퍼의 사용성을 분석할 수 있다.