• 제목/요약/키워드: Streams Computing

검색결과 71건 처리시간 0.034초

Load Shedding for Temporal Queries over Data Streams

  • Al-Kateb, Mohammed;Lee, Byung-Suk
    • Journal of Computing Science and Engineering
    • /
    • 제5권4호
    • /
    • pp.294-304
    • /
    • 2011
  • Enhancing continuous queries over data streams with temporal functions and predicates enriches the expressive power of those queries. While traditional continuous queries retrieve only the values of attributes, temporal continuous queries retrieve the valid time intervals of those values as well. Correctly evaluating such queries requires the coalescing of adjacent timestamps for value-equivalent tuples prior to evaluating temporal functions and predicates. For many stream applications, the available computing resources may be too limited to produce exact query results. These limitations are commonly addressed through load shedding and produce approximated query results. There have been many load shedding mechanisms proposed so far, but for temporal continuous queries, the presence of coalescing makes theses existing methods unsuitable. In this paper, we propose a new accuracy metric and load shedding algorithm that are suitable for temporal query processing when memory is insufficient. The accuracy metric uses a combination of the Jaccard coefficient to measure the accuracy of attribute values and $\mathcal{PQI}$ interval orders to measure the accuracy of the valid time intervals in the approximate query result. The algorithm employs a greedy strategy combining two objectives reflecting the two accuracy metrics (i.e., value and interval). In the performance study, the proposed greedy algorithm outperforms a conventional random load shedding algorithm by up to an order of magnitude in its achieved accuracy.

Transformation of Continuous Aggregation Join Queries over Data Streams

  • Tran, Tri Minh;Lee, Byung-Suk
    • Journal of Computing Science and Engineering
    • /
    • 제3권1호
    • /
    • pp.27-58
    • /
    • 2009
  • Aggregation join queries are an important class of queries over data streams. These queries involve both join and aggregation operations, with window-based joins followed by an aggregation on the join output. All existing research address join query optimization and aggregation query optimization as separate problems. We observe that, by putting them within the same scope of query optimization, more efficient query execution plans are possible through more versatile query transformations. The enabling idea is to perform aggregation before join so that the join execution time may be reduced. There has been some research done on such query transformations in relational databases, but none has been done in data streams. Doing it in data streams brings new challenges due to the incremental and continuous arrival of tuples. These challenges are addressed in this paper. Specifically, we first present a query processing model geared to facilitate query transformations and propose a query transformation rule specialized to work with streams. The rule is simple and yet covers all possible cases of transformation. Then we present a generic query processing algorithm that works with all alternative query execution plans possible with the transformation, and develop the cost formulas of the query execution plans. Based on the processing algorithm, we validate the rule theoretically by proving the equivalence of query execution plans. Finally, through extensive experiments, we validate the cost formulas and study the performances of alternative query execution plans.

A Review of Window Query Processing for Data Streams

  • Kim, Hyeon Gyu;Kim, Myoung Ho
    • Journal of Computing Science and Engineering
    • /
    • 제7권4호
    • /
    • pp.220-230
    • /
    • 2013
  • In recent years, progress in hardware technology has resulted in the possibility of monitoring many events in real time. The volume of incoming data may be so large, that monitoring all individual data might be intractable. Revisiting any particular record can also be impossible in this environment. Therefore, many database schemes, such as aggregation, join, frequent pattern mining, and indexing, become more challenging in this context. This paper surveys the previous efforts to resolve these issues in processing data streams. The emphasis is on specifying and processing sliding window queries, which are supported in many stream processing engines. We also review the related work on stream query processing, including synopsis structures, plan sharing, operator scheduling, load shedding, and disorder control.

분산 멀티미디어 스트림상의 PULL 방식 데이터 전송기법 설계 및 구현 (A Design and Implementation of PULL-based Data Transfer Method on Distributed Multimedia Streams)

  • 김정훈;이승현;박용희;이조원;임영환
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2000년도 제13회 춘계학술대회 및 임시총회 학술발표 논문집
    • /
    • pp.1178-1183
    • /
    • 2000
  • 기존의 MuX 시스템은 분산환경에서 멀티미디어 데이터를 전송하기 위해서 PUSH 방식의 데이터 전송기법만을 제공한다. PUSH 방식의 데이터 전송기법은 자료 발생매체 중심의 데이터 전송기법으로 멀티미디어 데이터가 발생할 때 바로 자료 사용 매체로 전송하는 기법이다. PUSH 방식 데이터 전송 기법은 네트웍 대역폭이 크고 시스템 자원이 풍부한 경우 간단히 연출 QoS를 만족시킬 수 있다. 그러나 네트웍의 대역폭이 좁은 시스템에서는 PUSH 방식 데이터 전송기법으로 연출 QoS를 만족시키는데 한계가 있다. 이러한 문제를 해결하기 위해 PULL 방식 데이터 전송기법을 제안하였다. PULL 방식 데이터 전송기법은 자료 사용 매체 중심의 데이터 전송 기법으로 자료 사용 매체의 요구시점에 요구한 만큼의 데이터를 발생시켜 그 매체로 전송하는 방법이다.

  • PDF

웹 클릭 스트림에서 고유용 과거 정보 탐색 (Finding high utility old itemsets in web-click streams)

  • 장중혁
    • 한국산학기술학회논문지
    • /
    • 제17권4호
    • /
    • pp.521-528
    • /
    • 2016
  • 개인용 컴퓨터 및 각종 모바일 기기의 이용 증가로 인해 많은 분야에서 다양한 형태의 웹기반 서비스들이 널리 활용되고 있다. 이에 따라 해당 분야에서 개인 맞춤형 서비스를 지원하기 위한 사용자 이용 로그 분석 등에 대한 연구가 활발히 진행되고 있으며, 특히 사용자 로그 데이터를 구성하는 구성요소의 중요성 차별화에 기반한 분석 기법들이 활발히 연구되었다. 본 논문에서는 웹 클릭 스트림에서 유용하게 적용될 수 있는 고유용 과거 정보 탐색 기법을 제시한다. 해당 기법을 통해 기존의 웹 클릭 스트림 분석 기법에서는 쉽게 탐색하지 못했던 정보인 타겟 마케팅 등에 유용하게 활용될 수 있는 중요 정보를 쉽게 탐색할 수 있다. 본 논문의 연구 결과는 IoT 환경 및 생물정보 분석 등과 같이 데이터 스트림 형태로 정보를 발생시키는 다양한 컴퓨터 응용 분야에도 활용될 수 있을 것이다.

u-GIS 컴퓨팅을 위한 GeoSensor 데이터 스트림 처리 시스템 (GeoSensor Data Stream Processing System for u-GIS Computing)

  • 정원일;신숭선;백성하;이연;이동욱;김경배;이충호;김주완;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권1호
    • /
    • pp.9-16
    • /
    • 2009
  • 유비쿼터스 공간 컴퓨팅 환경에서 GeoSensor는 RFID, WSN, Web CAM, Digital Camera, CCTV, 텔레매틱스 단말 등에서 발생되는 다양한 데이터와 함께 직.간접적으로 지리적 정보를 포함하는 데이터 스트림을 발생하는 센서들로, 지리적 정보를 이용한 USN 기술과 공간적 특성에 기반을 둔 서비스의 활성화에 기여하고 있다. 이러한 GeoSensor를 기반으로 하는 다양한 u-GIS 서비스를 제공하기 위해서는 광역의 GeoSensor들로부터 발생하는 센서 데이터 스트림에 대한 효과적인 처리가 필수적이다. 본 연구에서는 위치 및 이동성을 갖는 GeoSensor들로부터 생성되는 실시간 데이터 스트림에 대한 효율적인 수집, 저장, 그리고 연속 질의 처리를 제공하여 사용자의 상황(Context)에 부합하는 다양한 u-GIS 응용 서비스의 효과적인 구축을 지원하는 GeoSensor 데이터 스트림 처리 시스템을 제안한다.

  • PDF

분산 멀티미디어 스트림 상의 멀티 미디어 메일을 위한 분산 메일 서버 설계 및 구현 (A Design and Implementation of Distributed Mail Server for Multimedia Mail on Distributed Multimedia Streams)

  • 박용희;전성미;고희선;임영환
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2001년도 춘계학술발표논문집 (상)
    • /
    • pp.111-114
    • /
    • 2001
  • 기존의 멀티미디어 메일은 대용량 메일이라 개인 사용자에게 그 부담이 크지 않을 수가 없었다. 본 연구에서는 멀티미디어 스트림엔진인 Essence 를 이용하여 동영상 멀티미디어 메일을 전송하는데 필요한 Essence 내에 데이터베이스를 지원하기 위한 DBMedium 개발과 데이터베이스 라이브러리를 개발하기 위한 일련의 과정을 제안하고 있다.

  • PDF

컨텍스트 기반에서의 멀티미디어 스트림의 사건처리를 위한 Stream Reactor연구 (A Study on Stream Reactor for the event processing of multimedia streams in context-based)

  • 박용희;강태성;임영환
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2000년도 제13회 춘계학술대회 및 임시총회 학술발표 논문집
    • /
    • pp.1166-1171
    • /
    • 2000
  • 기존의 멀티미디어 연구의 실현에 있어 가장 큰 문제라 할 수 있던 성능의 문제가 하드웨어의 급속한 발달로 해결되어 감에 따라 멀티미디어 및 제반 관련기술도 함께 발전되었으며 이에 기반한 multimedia stream에서의 event를 검출하기 위한 다양한 연구들이 진행되어 왔다. 그러나 지금까지의 연구는 주로 전송 및 저장, 검색에 집중되어 연구되어 왔으며 영상인식 등의 Vision관련 연구에서는 멀티미디어 스트리밍 기술과의 연동을 고려하지 않은 연구를 수행함에 따라 검출 가능한 event가 있다고 하더라도 응용영역에 종속적인 인테페이스만을 고려함에 따라 사용자가 이를 기술(記述, description)하거나, 사용자에게 검출 가능한 event를 제시하기 위해 일반화된 방법이 제시되어 있지 않았다. 본 연구에서는 사용자가 검출을 원하는 event를 기술하는 방법과, 시스템에서 검출 가능한 event를 제시하기 위한 방법을 제안하고, 제시되는 방법이 응용영역에 독립적이기 위해 요구되는 사항들과 객체 단위인 이벤트/행위와 처리기 사이의 인터페이스에 관하여 정의한 후 기본적인 동작방식을 제안한다.

  • PDF

유비쿼터스 센서 네트워크 기반의 생활환경 자동제어 시스템 설계 및 구현 (The Design and Implementation of Automatic Control System of Living Environment Based on Ubiquitous Sensor Network)

  • 윤지훈;문승진
    • 제어로봇시스템학회논문지
    • /
    • 제14권1호
    • /
    • pp.1-6
    • /
    • 2008
  • The ubiquitous sensor network technique is widely applied to variety of information fields such as home automations, logistics, traffic controls, public administrations, health and environment monitoring and etc. It is particularly useful in the areas where energy consumption is minimal and where continuous monitoring of the surrounding environments, which generates streams of data, are required. In this study, we have designed and implemented a living environment automatic control system which collects the streams of temperature, humidity, light and noise data of a simulated house setting in real-time fashion, then controls the home environment based on the collected data according to the users favorites. In order to differentiate the proposed system from the currently existing similar system, we have demonstrated not only the feasibility of collecting data using sensor network in the controlled environment but also the ability to control the various household equipments through wireless communications.

Applying Formal Methods to Modeling and Analysis of Real-time Data Streams

  • Kapitanova, Krasimira;Wei, Yuan;Kang, Woo-Chul;Son, Sang-H.
    • Journal of Computing Science and Engineering
    • /
    • 제5권1호
    • /
    • pp.85-110
    • /
    • 2011
  • Achieving situation awareness is especially challenging for real-time data stream applications because they i) operate on continuous unbounded streams of data, and ii) have inherent realtime requirements. In this paper we showed how formal data stream modeling and analysis can be used to better understand stream behavior, evaluate query costs, and improve application performance. We used MEDAL, a formal specification language based on Petri nets, to model the data stream queries and the quality-of-service management mechanisms of RT-STREAM, a prototype system for data stream management. MEDAL's ability to combine query logic and data admission control in one model allows us to design a single comprehensive model of the system. This model can be used to perform a large set of analyses to help improve the application's performance and quality of service.