• Title/Summary/Keyword: 실시간 분산병렬처리

Search Result 55, Processing Time 0.031 seconds

An Efficient Distributed Shared Memory System for Parallel GIS (병렬 GIS를 위한 효율적인 분산공유메모리 시스템)

  • Jeong, Sang-Hwa;Ryu, Gwang-Yeol;Go, Yun-Yeong;Gwak, Min-Seok
    • Journal of KIISE:Computing Practices and Letters
    • /
    • v.5 no.6
    • /
    • pp.700-707
    • /
    • 1999
  • 본 논문에서는 GIS 관련 연산을 실시간에 효율적으로 처리하기 위한 분산공유메모리 기반 병렬처리 시스템을 제안한다. 본 논문의 분산공유메모리 시스템은 메시지전달 방식의 분산메모리 MIMD 컴퓨터 상에 소프트웨어 기반 분산공유메모리 모듈을 탑재함으로써 구현되었다. 또한 GIS 연산의 기본이 되는 공간 객체를 공유의 기본 단위로 설정하고, GIS 데이타의 특성을 반영하여 읽기전용 공유데이타 타입을 추가하였으며, 네트워크 오버헤드를 줄이기 위하여 복수의 객체를 한번에 읽어오는 bulk access가 가능하도록 하였다. 본 시스템에서는 GIS 데이타의 효율적인 분배를 위하여 부하균등화 기법으로 guided self scheduling을 사용하였다. 실험결과 본 시스템은 네트워크 캐쉬의 효율적인 활용을 통하여 소프트웨어 기반 분산메모리 시스템의 오버헤드에도 불구하고 MPI 기반 메시지전달 방식에 비하여 향상된 성능을 얻을 수 있었다.Abstract In this paper, we propose a distributed shared memory(DSM) based parallel processing system to process GIS related computations efficiently in real time. The system is based on a software DSM module implemented on top of a distributed MIMD computer. In the DSM system, spatial object, which is a fundamental structure to represent GIS data, is used as a basic unit for sharing, and a read-only shared data type is added to reflect the characteristics of GIS data. In addition, a bulk access to multiple shared data is made possible to reduce the network overhead. A guided self scheduling method is devised for efficient load balancing in distributing GIS data to parallel processors. The experimental results show that the DSM system performs better than an MPI based message-passing system through the efficient utilization of network cache in spite of the system's software overhead.

Real-time Hand Gesture Recognition System based on Vision for Intelligent Robot Control (지능로봇 제어를 위한 비전기반 실시간 수신호 인식 시스템)

  • Yang, Tae-Kyu;Seo, Yong-Ho
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.13 no.10
    • /
    • pp.2180-2188
    • /
    • 2009
  • This paper is study on real-time hand gesture recognition system based on vision for intelligent robot control. We are proposed a recognition system using PCA and BP algorithm. Recognition of hand gestures consists of two steps which are preprocessing step using PCA algorithm and classification step using BP algorithm. The PCA algorithm is a technique used to reduce multidimensional data sets to lower dimensions for effective analysis. In our simulation, the PCA is applied to calculate feature projection vectors for the image of a given hand. The BP algorithm is capable of doing parallel distributed processing and expedite processing since it take parallel structure. The BP algorithm recognized in real time hand gestures by self learning of trained eigen hand gesture. The proposed PCA and BP algorithm show improvement on the recognition compared to PCA algorithm.

Implementation and Performance Analysis of Hadoop MapReduce over Lustre Filesystem (러스터 파일 시스템 기반 하둡 맵리듀스 실행 환경 구현 및 성능 분석)

  • Kwak, Jae-Hyuck;Kim, Sangwan;Huh, Taesang;Hwang, Soonwook
    • KIISE Transactions on Computing Practices
    • /
    • v.21 no.8
    • /
    • pp.561-566
    • /
    • 2015
  • Hadoop is becoming widely adopted in scientific and commercial areas as an open-source distributed data processing framework. Recently, for real-time processing and analysis of data, an attempt to apply high-performance computing technologies to Hadoop is being made. In this paper, we have expanded the Hadoop Filesystem library to support Lustre, which is a popular high-performance parallel distributed filesystem, and implemented the Hadoop MapReduce execution environment over the Lustre filesystem. We analysed Hadoop MapReduce over Lustre by using Hadoop standard benchmark tools. We found that Hadoop MapReduce over Lustre execution has a performance 2-13 times better than a typical Hadoop MapReduce execution.

Design and Implementation of Internet Broadcasting System Based on P2P Architecture (P2P 구조에 기반한 인터넷 방송 시스템 설계 및 구현)

  • Woo, Moon-Sup;Jung, Won-Tai;Kim, Nam-Yun;Hwang, Ki-Tae
    • Annual Conference of KIPS
    • /
    • 2007.05a
    • /
    • pp.107-110
    • /
    • 2007
  • 클라이언트-서버 구조의 스트리밍 시스템은 서버의 가용 능력에 따라 클라이언트의 개수가 제한되는 단점을 가진다. 본 논문에서는 인터넷 방송 시스템의 확장성과 안정성을 지원하기 위해 P2P에 기반한 모델을 제시한 후, 프로토타입 시스템을 설계 및 구현하였다. 본 논문에서 구현한 시스템 OmniCast264는 H.264 비디오 스트림을 제공하는 인코딩서버와 스트리밍서버, 피어노드, 프록시 서버로 구성된다. OmniCast264는 스트리밍 부하의 분산화, 실시간성, 에러 발생에 따른 강건함, 계층의 모듈화등의 개념을 가지고 있기 때문에 대용량의 인터넷 방송에 적합하다고 할 수 있다. 마지막으로 PC들을 병렬 및 직렬 구조의 유형으로 나누어 P2P를 구성한 후, OmniCast264의 성능을 평가하여 실시간 재생이 가능함을 검증하였다.

Development of an MT System on Distributed Environment : about lexicon construction and test environment (분산 환경에서의 번역 시스템의 개발 : 사전 구축과 테스트 환경을 중심으로)

  • Lee, Hyun-Ah;Jang, Byung-Gyu;Kang, In-Ho;Lee, Shin-Mok;Kim, Gil-Chang
    • Annual Conference on Human and Language Technology
    • /
    • 2000.10d
    • /
    • pp.344-349
    • /
    • 2000
  • 본 논문에서는 영한 기계번역 시스템 ALKOL의 개발 과정에서 사용된 분산 환경을 사전구축과 테스트 환경을 중심으로 설명한다. 번역 시스템 개발은 시스템 개발자, 사전 개발자, 검사자(tester)의 세 요소를 중심으로 이루어지는 작업으로, 효율적인 개발을 위해서는 개별 요소의 작업이 독립적으로 진행되면서 유기적으로 연결될 수 있는 환경이 마련되어야 한다. ALKOL에서는 이를 위하여 번역 시스템을 번역 서버, 사전 서버, 사전 편집기, 사용자 인터페이스의 클라이언트/서버 분산 환경으로 구성하고 검사자를 위한 테스트 환경을 제공하여 효율적인 번역 시스템 개발 환경을 구축한다. 번역 시스템을 분산 환경에서 개발하여 시스템 개발자, 사전 개발자, 검사자가 각자의 작업을 병렬적으로 진행할 수 있고 실시간으로 갱신되는 시스템과 사전 정보를 이용하여 작업을 진행할 수 있어 번역 시스템 개발의 효율성을 높일 수 있다.

  • PDF

Apache Storm based Query Filtering System for Multivariate Data Streams (다변량 데이터 스트림을 위한 아파치 스톰 기반 질의 필터링 시스템)

  • Kim, Youngkuk;Son, Siwoon;Moon, Yang-Sae
    • Annual Conference of KIPS
    • /
    • 2018.10a
    • /
    • pp.561-564
    • /
    • 2018
  • 최근 빠르게 발생하는 빅데이터 스트림이 다양한 분야에서 활용되고 있다. 이러한 빅데이터 전체를 수집하고 처리하는 것은 매우 비경제적이므로, 데이터 스트림 중 필요한 데이터를 걸러내는 필터링 과정이 필요하다. 본 논문에서는 아파치 스톰(Apache Storm)을 사용하여 데이터 스트림의 질의 필터링 시스템을 구축한다. 스톰은 대용량 데이터 스트림을 처리하기 위한 실시간 분산 병렬 처리 프레임워크이다. 하지만, 스톰은 입력 데이터 구조나 알고리즘 변경 시, 코드의 수정과 재배포, 재시작 등이 필요하다. 따라서, 본 논문에서는 이 같은 문제를 해결하기 위해 아파치 카프카(Apache Kafka)를 사용하여 데이터 수집 모듈과 스톰의 처리 모듈을 분리함으로써 시스템의 가용성을 크게 높인다. 또한, 시스템을 웹 기반 클라이언트-서버 모델로 구현하여 사용자가 언제 어디에서든 질의 필터링 시스템을 사용할 수 있게 하며, 웹 클라이언트를 통해 입력한 질의를 자동적 분석하는 쿼리 파서를 구현하여 별도의 프로그램의 수정 없이 질의 필터링을 적용할 수 있다.

An Efficient Query Processing in Stream DBMS using Query Preprocessor (질의 전처리기를 사용한 스트림 DBMS의 효율적 질의처리)

  • Yang, Young-Hyoo
    • Journal of the Korea Society of Computer and Information
    • /
    • v.13 no.1
    • /
    • pp.65-73
    • /
    • 2008
  • The telematics data management deals with queries on stream data coming from moving cars. So the stream DBMS should process the large amount of data stream in real-time. In this article, previous research projects are analyzed in the aspects of query processing. And a hybrid model is introduced where query preprocessor is used to process all types of queries in one singe system. Decreasing cost and rapidly increasing Performance of devices may guarantee the utmost parallelism of the hybrid system. As a result, various types of stream DBMS queries could be processed in a uniform and efficient way in a single system.

  • PDF

Implementation and Performance Analysis of PC Clusters using Fast PCs& High Speed Network (초고속 네트워크를 이용한 PC 클러스터의 구현과 성능 평가)

  • Kim, Young-Tae;Lee, Yonh-Hee;Choi, Jun-Tae;Oh, Jai-Ho
    • Journal of KIISE:Computer Systems and Theory
    • /
    • v.29 no.2
    • /
    • pp.57-64
    • /
    • 2002
  • We implemented two fast PC clusters using fast PCs and high speed network. First. we built the first generation of 16 PC cluster and have used it for real-time operation at Cheju Regional Meteorological Office. Next, we built the second generation of 16PC with dual CUs cluster which was efficiently improved based on performance analysis of the first generation of cluster. In this research we also analyzed performance of two different clusters, which have different CPUs and communication devices using the parallel model MM5 which has been used for the real-time weather forecasting.

Video On Demand Server develop Study with UNIX (UNIX이용한 VOD서버 개발 연구)

  • 황두순;김재업
    • Proceedings of the KAIS Fall Conference
    • /
    • 2001.11a
    • /
    • pp.215-219
    • /
    • 2001
  • VOD는 사용자가 원하는 Video등의 멀티미디어 데이터들을 선택적으로 제 받을 수 있는 서비스이다. VOD는 여러 가지 응용분야의 요구사항을 만족하기에는 기술적으로 해결하여야 할 문제점이 여러 가지 존재한다. 그래서 본 논문에서는 클러스터링 시스템 구조에서 멀티미디어 데이터의 실시간 디스플레이를 보장하는 병렬/분산 입출력 시스템에 대한 연구를 제시하여 Linux 운영체제를 사용하는 컴퓨터를 단위 노드로 하여 테스트베드 시스템을 구성한다. 이 환경에서 멀티미디어 데이터를 각 I/O노드에 디클러스터링하여 비디오 설시간성과 멀티미디어 데이터의 대역폭 요구를 만족하기 위한 방법을 연구 개발하고 특정 응용 프로그램에 연구개발하고 특정응용 프로그램에 연구 개발된 방법을 적용하여 제시된 방법의 우수성과 클러스터링 환경에서 멀티미디어 데이터처리에 장점을 이 논문에서 입증하고자 한다.

A Study of Big data-based Machine Learning Techniques for Wheel and Bearing Fault Diagnosis (차륜 및 차축베어링 고장진단을 위한 빅데이터 기반 머신러닝 기법 연구)

  • Jung, Hoon;Park, Moonsung
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.19 no.1
    • /
    • pp.75-84
    • /
    • 2018
  • Increasing the operation rate of components and stabilizing the operation through timely management of the core parts are crucial for improving the efficiency of the railroad maintenance industry. The demand for diagnosis technology to assess the condition of rolling stock components, which employs history management and automated big data analysis, has increased to satisfy both aspects of increasing reliability and reducing the maintenance cost of the core components to cope with the trend of rapid maintenance. This study developed a big data platform-based system to manage the rolling stock component condition to acquire, process, and analyze the big data generated at onboard and wayside devices of railroad cars in real time. The system can monitor the conditions of the railroad car component and system resources in real time. The study also proposed a machine learning technique that enabled the distributed and parallel processing of the acquired big data and automatic component fault diagnosis. The test, which used the virtual instance generation system of the Amazon Web Service, proved that the algorithm applying the distributed and parallel technology decreased the runtime and confirmed the fault diagnosis model utilizing the random forest machine learning for predicting the condition of the bearing and wheel parts with 83% accuracy.