• ETRI Journal
• /
• 제39권2호
• /
• pp.202-212
• /
• 2017

With the advent of the Internet-of-Things paradigm, the amount of data production has grown exponentially and the user demand for responsive consumption of data has increased significantly. Herein, we present DART, a fast and lightweight stream processing framework for the IoT environment. Because the DART framework targets a geospatially distributed environment of heterogeneous devices, the framework provides (1) an end-user tool for device registration and application authoring, (2) automatic worker node monitoring and task allocations, and (3) runtime management of user applications with fault tolerance. To maximize performance, the DART framework adopts an actor model in which applications are segmented into microtasks and assigned to an actor following a single responsibility. To prove the feasibility of the proposed framework, we implemented the DART system. We also conducted experiments to show that the system can significantly reduce computing burdens and alleviate network load by utilizing the idle resources of intermediate edge devices.

• 한국산학기술학회논문지
• /
• 제13권6호
• /
• pp.2713-2719
• /
• 2012

위치를 기반으로 하는 서비스가 다양해짐에 따라 고가용성과 고확장성을 제공하기 위한 분산 데이터 스트림 처리 기법에 대한 연구가 널리 수행되고 있다. 기존 연구는 분산된 노드들에서 부하의 균형을 유지하기 위해 공간 데이터 스트림의 지리적인 특성을 고려하지 않고 있어 공간적으로 인접한 연산을 수행함에 있어 전체 시스템의 부하를 증가시키고 있다. 본 논문에서는 분산 환경의 공간 데이터 스트림을 처리하기 위해 공간 영역의 겹침을 고려한 연산배치 기법을 제안한다. 제안 기법에서는 인접한 공간 영역을 대상으로 하는 연산을 효율적으로 분리하기 위해 질의 영역이 겹치는 부분의 연산을 우선적으로 동일 노드에 분배하여 중복 영역에 대한 공유의 최대화를 보장한다.

• 정보처리학회논문지A
• /
• 제9A권2호
• /
• pp.207-216
• /
• 2002

본 논문에서는 CORBA환경 하에서 오디오/비디오 스트림을 효율적으로 처리하고 제어하기 위한 분산 오디오/비디오 스트림 프래임워크의 설계와 구현에 관한 내용을 기술한다. 분산 오디오/비디오 스트림 서비스 프레임워크는 오디오/비디오 스트림의 효율적인 처리와 제어 그리고 전송을 위한 소프트웨어 구성 요소들을 분산 객체들로 설계한다. 그리고 오디오/비디오 데이터의 전송 효율을 최적화하기 위하여 제어 데이터와 미디어 데이터의 전송 경로를 분리한다. 분산 객체들은 IDL로 정의하며 JAVA로 구현한다. 그리고 미디어 데이터의 캡쳐, 재생 그리고 통신 채널 등 디바이스에 의존적인 기능들은 JMF에서 제공하는 컴포넌트들로 구현한다. 스트림 통신을 위한 분산 객체들 간의 연결설정과 제어 절차를 보여주며, 검증을 위하여 테스트 시스템을 구축하여 성능을 실험한다. 실험 결과 연결설정 지연은 TCP 연결에 비해 다소 지연을 가지나, 미디어 데이터의 전송은 RTP/UDP프로토콜을 사용하여 CORBA의 IIOP 프로토콜에 비해 최적화된 성능을 보여준다. 또한 미디어 데이터를 전송할 때 서비스 품질을 측정한 결과 만족할 만한 성능을 보여준다.

• 인터넷정보학회논문지
• /
• 제18권3호
• /
• pp.1-9
• /
• 2017

스마트-시티는 스마트-시티의 사물인터넷(Internet of Things: IoT) 디바이스를 비롯한 수많은 인프라를 지능적으로 관리하고, 다양한 스마트 어플리케이션을 도시민에게 제공한다. 스마트-시티에서는 스마트-시티 어플리케이션에서 필요한 다양한 정보를 제공하기 위하여 수많은 사물인터넷 기기들로부터 끊임없이 발생하는 대규모의 스트림 빅-데이터를 지능적으로 처리하는 기능이 필요하다. 하지만, 스마트-시티에서 대규모의 스트림 빅-데이터를 처리하는 것에는 실시간 처리와 관련된 제약들이 존재한다. 본 스마트-시티-사업단에서는 선행 연구에서 스마트-시티미들웨어와 이를 이용한 스트림-리즈닝 방법론 및 시스템을 개발하였다. 스마트-시티에서 스마트 서비스를 제공하기 위하여, 스마트-시티-사업단에서는 스트림-리즈닝을 사용하는 방법론을 사용한다. 이 스트림-리즈닝은 대용량 데이터의 실시간 처리를 필요로 한다. 따라서, 후속연구로서 스마트-시티미들웨어의 클라우드-컴퓨팅 플랫폼을 이용하여 스트림-리즈닝을 위한 실시간 분산병렬처리 클라우드-컴퓨팅 방법론과 시스템을 개발하였다. 본 논문에서는 스마트-시티에서 발생하는 사물인터넷 빅-데이터를 스트림-리즈닝에 사용하기 위하여 이 후속연구에서 개발된 클라우드 기반 실시간 분산병렬처리 연구결과를 소개한다. 스마트-시티의 각종 센서들로부터 전송되어지는 사물인터넷 빅-데이터를 사용하여 스트림-리즈닝하는 데 필요한 클라우드-컴퓨팅 기반의 실시간 분산처리 방법론과 시스템을 소개하고 있으며, 이 방법론을 선행연구에서 개발한 스마트-시티 미들웨어에 구현하여 실시간 분산처리 성능을 평가한 것을 소개한다.

• 한국산학기술학회논문지
• /
• 제14권10호
• /
• pp.5156-5161
• /
• 2013

분산 공간 데이터 스트림 처리에서는 분산 노드의 활용도를 높이고 고장이 발생한 경우 신속하게 시스템을 복구하기 위해 하위 노드에서 처리된 튜플에 대해 상위 노드로 데이터를 백업한다. 그러나 데이터의 유입량이 증가하고 노드의 연산 결과를 다수의 하위 노드들과 공유할 때 튜플 처리가 지연되면 상위 노드의 삭제 지연으로 인해 백업 데이터의 손실을 야기할 수 있다. 본 논문에서는 노드들의 데이터 유입량과 하위 노드의 연산 처리율을 분석하고 적응적 업스트림 백업 방법을 적용하여 노드의 평균 부하율을 감소시키고, 노드 연산 결과의 공유에 따른 데이터 손실을 최소화하는 방법을 제안한다. 그리고 실험에서는 제안 기법을 통해 데이터 손실을 방지하고, 노드 모니터링에 소요되는 CPU 사용률을 평균 20% 감소시키는 결과를 나타낸다.

• 정보과학회 논문지
• /
• 제44권11호
• /
• pp.1209-1218
• /
• 2017

최근 스마트 자동차, 스마트폰과 같은 다양한 소스로부터 공간 빅데이터 스트림을 수집하는 것이 매우 용이해졌다. 공간 데이터 스트림은 편중되고 동적으로 변화하는 분포를 지니기 때문에 전체 부하가 분산 클러스터 내의 작업자들에게 효율적으로 분배되지 않을 경우 전체 시스템의 성능이 저하된다. 본 연구에서는 공간 데이터 스트림에 특화된 부하 균형화 알고리즘인 적응적 공간 키 그룹핑(ASKG)을 제안한다. ASKG의 핵심 아이디어는 공간 데이터 스트림의 최근 분포를 학습하고 이를 기반으로 향후 유입되는 데이터 스트림이 각 작업자에게 고르게 분배되도록 하는 새로운 그룹핑 스키마를 제안하는 것이다. 이를 공간 분포의 변화에 맞춰 주기적으로 반복함으로서 적응적으로 부하 불균형을 해결할 수 있다. 실제 데이터셋에 대해 작업자의 수, 입력 속도, 공간 질의 처리 시간을 변화시키며 성능을 평가한 결과, 대안 알고리즘 대비 제안 방법이 부하 불균형, 처리량, 지연 시간에서 높은 개선효과를 보였다.

• 전기학회논문지
• /
• 제57권7호
• /
• pp.1150-1156
• /
• 2008

This paper introduces the PC clustering of the SIMD structure for a distributed processing of on-line contingency to assess a static security of a power system. To execute on-line contingency analysis of a large-scale power system, we need to use high-speed execution device. Therefore, we constructed PC-cluster system using PC clustering method of the SIMD structure and applied to a power system, which relatively shows high quality on the high-speed execution and has a low price. SIMD(single instruction stream, multiple data stream) is a structure that processes are controlled by one signal. The PC cluster system is consisting of 8 PCs. Each PC employs the 2 GHz Pentium 4 CPU and is connected with the others through ethernet switch based fast ethernet. Also, we consider N-1 line contingency that have high potentiality of occurrence realistically. We propose the distributed process algorithm of the SIMD structure for reducing too much execution time on the on-line N-1 line contingency analysis in the large-scale power system. And we have verified a usefulness of the proposed algorithm and the constructed PC cluster system through IEEE 39 and 118 bus system.

• 한국컴퓨터정보학회논문지
• /
• 제13권1호
• /
• pp.65-73
• /
• 2008

유비쿼터스 시대의 텔레매틱스 데이터 관리는 자동차의 위치나 속도, 엔진의 속도, 타이어의 상태, 운전자의 관심사항 등의 실시간으로 유입되는 스트림 데이터에 대한 질의를 처리하는데 있다. 본 논문에서는 기존의 스트림 DBMS의 질의처리 연구현황을 비교 분석하고, 스트림 DBMS에서 다뤄야 하는 모든 유형의 질의를 질의 전처리기를 사용하여 하나의 통합된 시스템에서 처리할 수 있는 통합 하이브리드 모델을 제안한다. 최근 각종 장치의 가격은 하락하는 반면, 성능은 수직 상승함에 따라 DB와 큐등을 위한 공간을 추가함으로써 최대의 병렬성을 보장받을 수 있다. 그 결과 제안된 하이브리드 모델에서는 다양한 유형의 스트림 DBMS 질의들을 단일 시스템 내에서 일괄적이며 효율적으로 처리하여 시스템 성능 향상을 기대 할 수 있다.

• 데이타베이스연구회지:데이타베이스연구
• /
• 제34권3호
• /
• pp.58-68
• /
• 2018

분산 컴퓨팅이란 다수의 서버로 구성된 분산 시스템에서 데이터를 효율적으로 저장 및 처리하는 기술이다. 따라서 분산 시스템을 구성하는 서버의 상태에 따라 분산 컴퓨팅의 성능에 큰 영향을 미친다. 본 논문은 분산 시스템에서 실시간으로 발생하는 시스템 자원의 로그 데이터를 수집하고 이상을 탐지하여 결과를 시각화하는 자가 진단 시스템을 제안한다. 먼저, 자가 진단 과정을 수집, 전달, 분석, 저장, 시각화의 다섯 단계로 구분한다. 다음으로, 자가 진단 과정이 실시간성, 확장성, 고가용성의 목표를 만족하도록 실시간 자가 진단 시스템을 설계한다. 본 시스템은 대표적인 실시간 분산 기술인 Apache Flume, Apache Kafka, Apache Storm을 기반으로 구현되어 실시간성, 확장성, 고가용성의 세 가지 목표를 만족할 수 있다. 또한, 자가 진단 과정에서 로그 데이터 처리의 지연을 최소화하도록 간단하지만 효과적인 이동 평균 및 3-시그마 기반 이상 탐지 기법을 사용한다. 본 논문의 결과를 통해, 분산 시스템 내에서 서버 상태를 실시간으로 진단할 수 있는 분산 실시간 자가 진단 시스템을 구축할 수 있다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권4호
• /
• pp.1146-1165
• /
• 2022

A huge amount of data in the form of videos and images is being produced owning to advancements in sensor technology. Use of low performance commodity hardware coupled with resource heavy image processing and analyzing approaches to infer and extract actionable insights from this data poses a bottleneck for timely decision making. Current approach of GPU assisted and cloud-based architecture video analysis techniques give significant performance gain, but its usage is constrained by financial considerations and extremely complex architecture level details. In this paper we propose a data pipeline system that uses open-source tools such as Apache Spark, Kafka and OpenCV running over commodity hardware for video stream processing and image processing in a distributed environment. Experimental results show that our proposed approach eliminates the need of GPU based hardware and cloud computing infrastructure to achieve efficient video steam processing for face detection with increased throughput, scalability and better performance.