• Title/Summary/Keyword: 실시간 분산병렬처리

Search Result 55, Processing Time 0.043 seconds

Real-Time Monitoring of Resource for Distributed/Parallel Framework on the Web (웹 기반 분산/병렬 프레임워크상에서 실시간 자원 모니터링)

  • Kim, Su-Ja;Jeong, Jae-Hong;Song, Eun-Ha;Han, Sung-Kook;Joo, Su-Chong;Jeong, Young-Sik
    • Annual Conference of KIPS
    • /
    • 2003.05a
    • /
    • pp.117-120
    • /
    • 2003
  • 웹의 다양한 자원을 이용하여 고성능 작업 처리를 요구하는 분산/병렬 시스템은 균형적인 작업 할당을 위해 각 호스트의 성능 평가가 중요하다. 하지만 성능 평가에 대한 지속적인 신뢰하기가 어려우며 뿐만 아니라, 작업 도중 호스트의 성능 변화를 예측하기가 어렵다. 성능 변화에 따른 효율적인 작업 스케줄링이 필요하며, 자원 관리자는 작업을 수행중인 호스트에 대한 모니터가 요구된다. 본 논문에서는 자원 관리자와 시스템 관리자에게 효율적인 자원 정책을 제안하기 위해 각 호스트의 자원을 모니터하고, 분산/병렬 시스템의 작업 할당 메커니즘에 의해 각 호스트의 성능 평가 기준을 정한다 또한 관리자에게 실시간으로 호스트의 성능 변화에 따른 자원 정보를 관리하도록 다양한 시각화를 제공한다.

  • PDF

Performance Evaluation of Real-Time Transaction Processing Algorithms in Shared Disks Clusters (공유 디스크 클러스터 기반의 실시간 트랜잭션 처리 알고리즘 성능 평가)

  • 이상호;온경오;조행래
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.04b
    • /
    • pp.82-84
    • /
    • 2004
  • 인터넷을 이용한 전자 상거래 잎 관리 시스템 등의 실시간 처리를 요구하는 응용분야가 점차 증가함으로 인해 고성능 실시간 트랜잭션 처리 시스템 개발이 요구되고 있다. 그러나 기존에 제안된 대부분의 실시간 시스템은 다중 처리기나 분산 처리 방식을 이용하였으며, 클러스터 기술을 이용한 실시간 트랜잭션처리 시스템은 아직 제안된 바 없다 클러스터를 이용한 실시간 트랜잭션 처리 시스템은 저렴한 가격으로 높은 가용성과 병렬 처리를 이용한 고성능 트랜잭션 처리를 지원할 수 있다는 장점을 갖는다 이러한 관점에서 본 논문에서는 공유 디tm크(shared disks: SD) 클러스터 기반의 실시간 트랜잭션 처리 시스템을 개발하기 위하여 캐쉬 일관성 제어 기법이나 트랜잭션 라우팅 기법과 같은 전통적인 SD 클러스터 알고리즘과 실시간 트랜잭션을 위찬 동시성 제어 기법을 연동한 실험 모형을 개발하였다. 다양한 환경에서의 모의실험을 통하여 알고리즘간의 상호 관계와 실시간 환경에서 SD 클러스터의 성능을 평가 분석한다.

  • PDF

A Design on a Streaming Big Data Processing System (스트리밍 빅데이터 처리 시스템 설계)

  • Kim, Sungsook;Kim, GyungTae;Park, Kiejin
    • Annual Conference of KIPS
    • /
    • 2015.10a
    • /
    • pp.99-101
    • /
    • 2015
  • 현재 다양한 센서 기기에서 쏟아지는 대용량의 정형/비정형의 스트림 데이터의 경우 기존의 단일 스트리밍 처리 시스템 만으로 처리하기에는 한계가 있다. 클러스터의 디스크가 아닌 메모리들을 사용하여 대용량 데이터 처리를 할 수 있는 Spark 는 분산 처리 임에도 불구하고 강력한 데이터 일관성과 실시간성을 확보할 수 있는 플랫폼이다. 본 연구에서는 대용량 스트림 데이터 분석 시 발생하는 메모리 공간 부족과 실시간 병렬 처리 문제를 해결하고자, 클러스터의 메모리를 이용하여 대용량 데이터의 분산 처리와 스트림 실시간 처리를 동시에 할 수 있도록 구성하였다. 실험을 통하여, 기존 배치 처리 방식과 제안 시스템의 성능 차이를 확인 할 수 있었다.

Framework Implementation of Image-Based Indoor Localization System Using Parallel Distributed Computing (병렬 분산 처리를 이용한 영상 기반 실내 위치인식 시스템의 프레임워크 구현)

  • Kwon, Beom;Jeon, Donghyun;Kim, Jongyoo;Kim, Junghwan;Kim, Doyoung;Song, Hyewon;Lee, Sanghoon
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.41 no.11
    • /
    • pp.1490-1501
    • /
    • 2016
  • In this paper, we propose an image-based indoor localization system using parallel distributed computing. In order to reduce computation time for indoor localization, an scale invariant feature transform (SIFT) algorithm is performed in parallel by using Apache Spark. Toward this goal, we propose a novel image processing interface of Apache Spark. The experimental results show that the speed of the proposed system is about 3.6 times better than that of the conventional system.

Optimal Buffer Control in Real-Time Stream Processing Systems (실시간 스트림 프로세싱 시스템에서의 버퍼 컨트롤 최적화 기법)

  • Kim, Byung-Sang;Kim, Dae-Sun;Youn, Chan-Hyun
    • Annual Conference of KIPS
    • /
    • 2011.04a
    • /
    • pp.211-212
    • /
    • 2011
  • 스트림 프로세싱 시스템은 실시간 데이터 수집 장치와 대규모 분산 컴퓨팅 환경이 결합되어 데이터 생성과 가공을 통하여 다수의 결과를 병렬적으로 도출하는 분산 프로그래밍 모델이다. 본 논문에서는 프로세스간에 필수적으로 요구되는 유입데이터 버퍼 관리에 초점을 두고 있다. 데이터의 유입률에 따라 동적으로 분석 프로세스를 확장시킴으로서 프로세스간 버퍼의 크기를 제어하는 기법을 제안하며 시뮬레이션을 통하여 성능 분석을 하였다.

Implementation of a Multi-DSP Board for High-definition Video Signal Processing and a Real-time Tracking System for Objects in the Video Sequence (고해상도 영상처리에 적합한 다중 DSP 보드의 구현 및 비디오 영상 내 물체의 실시간 추적 시스템)

  • Jeong, Cheol-Jun;Kim, Jin-Yul;Lee, Cheol-Woo;Yang, Yoon-Gi
    • Proceedings of the KIEE Conference
    • /
    • 2008.04a
    • /
    • pp.113-114
    • /
    • 2008
  • 본 논문에서는 HD 비디오 영상 처리를 효과적으로 수행할 수 있는 다중 DSP 아키텍쳐를 제안하고 프로토타입 보드를 설계 제작하였다. 또한, 구현된 보드를 이용하여 비디오 영상 내 물체(얼굴)의 실시간 추석시스템을 구현하였다. 물체 추적 기법인 PF(Particle Filtering) 기법은 배경 클러터가 존재하는 환경에서도 강인하게 물체를 추적할 수 있지만 많은 수의 샘플을 사용하는 경우 필요한 계산량이 많아져 실시간 구현이 매우 어렵다는 문제점을 가지고 있다. 본 논문에서는 이러한 경우에도 실시간 추적이 가능하도록 병렬화된 PF 추적 방법을 제안하고 제작된 보드 상에 구현하였다. 구현된 병렬 처리 추적에서는 150개의 PF 샘플들을 5개의 슬레이브 DSP로 분산하여 컬러 유사도 기탄의 관측 확률을 계산하고 그 결과를 마스터 DSP에서 종합하여 추적의 정확도를 높이고자 하였다. 실험에는 $720{\times}480$ 픽셀 영상이 사용되었으며, 실험 결과 배경 클러터가 존재하는 경우에도 충분한 PF 샘플 수의 사용에 따라 대상 물체를 강인하게 추적하는 우수한 성능을 확인할 수 있었다.

  • PDF

A Study on Distributed Semantic Web Data Repository Using HBase (HBase를 이용한 분산 시맨틱 웹 데이터 저장소에 대한 연구)

  • Jo, Daewoong;Kim, Myung Ho
    • Annual Conference of KIPS
    • /
    • 2012.04a
    • /
    • pp.111-114
    • /
    • 2012
  • 실시간으로 발생되는 대량의 데이터를 효율적으로 저장하기 위한 연구는 분산/병렬 처리를 위한 하둡 및 NoSQL과 관련한 빅 데이터 처리 기술을 통해 진행 중에 있다. 하지만 시맨틱 웹 분야에서 발생되는 대량의 데이터를 처리하기 위한 모델은 현재 연구가 진행되고 있지 않다. 본 논문에서는 시맨틱 웹 환경에서 발생되는 대량의 온톨로지 데이터를 빅 데이터 처리가 가능한 NoSQL 분야인 HBase 데이터베이스에 분산 저장할 수 있는 매핑 규칙을 제안한다. 이와 같은 매핑 규칙을 통해 시맨틱 웹 환경에서도 대량으로 발생될 수 있는 데이터들을 효율적으로 분산 저장 할 수 있다.

Design and Overhead Analysis of A Parallel MPEG-2 Encoder using Web Computing (웹컴퓨팅을 이용한 병렬 분산 MPEG-2 인코더의 설계 및 오버헤드 분석)

  • 석종인;장주욱
    • Proceedings of the IEEK Conference
    • /
    • 1999.06a
    • /
    • pp.411-416
    • /
    • 1999
  • 소프트웨어로 실시간 구현이 어려운 MPEG-1, MPEG-2 인코딩을 LAN이나 전용선에서 클러스터 컴퓨터나 병렬 처리로 구현한 연구가 있어 왔다. 네트워크의 대역폭이 증가하고 라우터가 고속화됨에 따라 본 논문에서는 MPEG-2인코딩을 WAN으로 확장하는 기법을 제안하고 실험을 통하여 속도 개선 효과를 입증하였다.

  • PDF

Design of Real-Time Operating System for Sensor Network based on TMO Model (TMO모델 기반의 실시간 센서 네트워크 운영체제의 설계)

  • Lee Jae-Yoon;Lee Jae-An;Kim Kwang;Heu Shin
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.07a
    • /
    • pp.874-876
    • /
    • 2005
  • 무선 센서 네트워크는 최근 대두되고 있는 유비쿼터스 컴퓨팅의 연구에 힘입어, 군사용의 목적으로만 사용되던 과거와는 달리 다양한 분야에서 많은 연구가 진행되고 있다. 센서 네트워크는 제한적인 자원을 가진 노드에서 데이터 감지로 인한 이벤트, 데이터 프로세싱 그리고 노드들 간의 통신이 동시에 발생하므로 병렬처리 기능과 실시간성을 가진 운영체제가 필수적으로 요구된다. 하지만 현재 연구되고 있는 센서 네트워크를 위한 운영체제들은 이러한 요구를 만족시켜 주지 못하고 있는 실정이다. 우리는 본 논문에서 정시보장, 분산환경의 특징을 갖는 분산 실시간 객체모델인 TMO 모델을 적용하여 실시간성을 보장해주는 센서네트워크 운영체제를 제안 한다.

  • PDF

GLOVE: Distributed Shared Memory Based Parallel Visualization Tool for Massive Scientific Dataset (GLOVE: 대용량 과학 데이터를 위한 분산공유메모리 기반 병렬 가시화 도구)

  • Lee, Joong-Youn;Kim, Min Ah;Lee, Sehoon;Hur, Young Ju
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.5 no.6
    • /
    • pp.273-282
    • /
    • 2016
  • Visualization tool can be divided by three components - data I/O, visual transformation and interactive rendering. In this paper, we present requirements of three major components on visualization tools for massive scientific dataset and propose strategies to develop the tool which satisfies those requirements. In particular, we present how to utilize open source softwares to efficiently realize our goal. Furthermore, we also study the way to combine several open source softwares which are separately made to produce a single visualization software and optimize it for realtime visualization of massiv espatio-temporal scientific dataset. Finally, we propose a distributed shared memory based scientific visualization tool which is called "GLOVE". We present a performance comparison among GLOVE and well known open source visualization tools such as ParaView and VisIt.