• Journal of Computing Science and Engineering
• /
• 제3권1호
• /
• pp.27-58
• /
• 2009

Aggregation join queries are an important class of queries over data streams. These queries involve both join and aggregation operations, with window-based joins followed by an aggregation on the join output. All existing research address join query optimization and aggregation query optimization as separate problems. We observe that, by putting them within the same scope of query optimization, more efficient query execution plans are possible through more versatile query transformations. The enabling idea is to perform aggregation before join so that the join execution time may be reduced. There has been some research done on such query transformations in relational databases, but none has been done in data streams. Doing it in data streams brings new challenges due to the incremental and continuous arrival of tuples. These challenges are addressed in this paper. Specifically, we first present a query processing model geared to facilitate query transformations and propose a query transformation rule specialized to work with streams. The rule is simple and yet covers all possible cases of transformation. Then we present a generic query processing algorithm that works with all alternative query execution plans possible with the transformation, and develop the cost formulas of the query execution plans. Based on the processing algorithm, we validate the rule theoretically by proving the equivalence of query execution plans. Finally, through extensive experiments, we validate the cost formulas and study the performances of alternative query execution plans.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권2호
• /
• pp.597-618
• /
• 2019

Categorical range aggregation, which is conceptually equivalent to running a range aggregation query separately on multiple datasets, returns the query result on each dataset. The challenge is when the number of dataset is as large as hundreds or thousands, it takes a lot of computation time and I/O. In previous work, only a single dimension of the range restriction has been solved, and in practice, more applications are being used to calculate multiple range restriction statistics. We proposed MCRI-Tree, an index structure designed to solve multi-dimensional categorical range aggregation queries, which can utilize main memory to maximize the efficiency of CRA queries. Specifically, the MCRI-Tree answers any query in $O(nk^{n-1})$ I/Os (where n is the number of dimensions, and k denotes the maximum number of pages covered in one dimension among all the n dimensions during a query). The practical efficiency of our technique is demonstrated with extensive experiments.

• 정보과학회 논문지
• /
• 제44권7호
• /
• pp.703-709
• /
• 2017

아웃소싱 데이터베이스란 데이터 관리 및 질의 처리 등의 계산량이 많은 작업을 제 3자 서버에 위탁하는 것이다. 이를 통해 데이터 소유자는 비싼 인프라를 구축하지 않고 빅데이터를 관리할 수 있으며 여러 사용자로부터 받는 질의들을 빠르게 처리할 수 있다. 하지만 보안 위협이 항상 존재하는 네트워크의 특성상 제 3자 서버를 완전히 신뢰하기 어렵고, 그 서버가 처리한 결과도 신뢰하기 어렵다. 이처럼 신뢰할 수 없는 서버가 처리한 질의 결과가 정확한지 확인하는 것을 질의 인증이라고 하며 구간 질의, kNN 질의, 함수 질의 등 다양한 질의에 대한 인증 기법들이 연구되었다. 하지만 빅데이터 분석에 있어 활용도가 높은 집계 질의에 대한 깊이 있는 질의 인증 연구는 이루어지지 않았으며 기존 연구는 고차원이거나 서로 다른 값이 많은 데이터에 대해 비효율적이다. 본 연구에서는 집계 질의 인증을 위한 자료구조를 제안하고 이를 활용한 효율적인 증거 생성 방법과 증명 방법을 제안한다. 그리고 데이터의 상이 값 수, 레코드 개수, 차원 크기 등을 변경하며 진행한 실험 결과를 통해 제안한 기법의 성능이 우수함을 보였다.

• Journal of Information Processing Systems
• /
• 제14권2호
• /
• pp.396-417
• /
• 2018

GR-tree and query aggregation techniques have been proposed for spatial query processing in conventional spatial query processing for wireless sensor networks. Although these spatial query processing techniques consider spatial query optimization, time query optimization is not taken into consideration. The index reorganization cost and communication cost for the parent sensor nodes increase the energy consumption that is required to ensure the most efficient operation in the wireless sensor node. This paper proposes itinerary-based R-tree (IR-tree) for more efficient spatial-temporal query processing in wireless sensor networks. This paper analyzes the performance of previous studies and IR-tree, which are the conventional spatial query processing techniques, with regard to the accuracy, energy consumption, and query processing time of the query results using the wireless sensor data with Uniform, Gauss, and Skew distributions. This paper proves the superiority of the proposed IR-tree-based space-time indexing.

• 대한원격탐사학회:학술대회논문집
• /
• 대한원격탐사학회 2007년도 Proceedings of ISRS 2007
• /
• pp.101-104
• /
• 2007

Efficient Query processing and optimization are critical for reducing network traffic and decreasing latency of query when accessing and manipulating sensor data of large-scale sensor networks. Currently it has been studied in sensor database projects. These works have mainly focused on in-network query processing for sensor networks and assumes homogeneous sensor networks, where each sensor network has same hardware and software configuration. In this paper, we present a framework for efficient query processing over heterogeneous sensor networks. Our proposed framework introduces query processing paradigm considering two heterogeneous characteristics of sensor networks: (1) data dissemination approach such as push, pull, and hybrid; (2) query processing capability of sensor networks if they may support in-network aggregation, spatial, periodic and conditional operators. Additionally, we propose multi-query optimization strategies supporting cross-translation between data acquisition query and data stream query to minimize total cost of multiple queries. It has been implemented in WSN middleware, COSMOS, developed by ETRI.

• 한국정보과학회논문지:데이타베이스
• /
• 제27권2호
• /
• pp.165-174
• /
• 2000

OLAP 분야에서 지금까지 연구되어온 영역 질의는 주어진 영역에 대한 집단 연산의 결과를 구하는 단순한 형태이다. 그러나 실제 데이타 분석 과정에서는 이러한 단순한 형태의 영역 질의뿐만 아니라, 집단 연산이 포함된 특정 조건을 만족하는 데이타 큐브 내의 영역을 찾는 형태의 확장된 영역 질의에 대한 필요성이 존재한다. 본 논문에서는 이러한 확장된 영역 질의 유형의 일반적인 형태를 정의하고, 이에 대한 대표적인 예인 'MAX-of-SUM 질의'의 효율적인 처리 기법을 제안한다. MAX-of-SUM 질의는 데이타 큐브 상에서 영역합(SUM)이 최대(MAX)가 되는 영역을 찾는 질의를 의미한다. 본 논문에서는 MAX-of-SUM 질의 처리 시 검색의 대상이 되는 영역들에 대한 SUM 연산의 결과값이 취할 수 있는 범위를 미리 예측하는 기법을 제안한다. 즉, 영역에 대한 SUM 값의 범위를 예측함으로써, 이들 중에서 최대값을 찾기 위해 실제로 계산하여야 하는 영역의 개수를 줄여 빠른 질의 처리를 보장한다.

• 한국정보과학회논문지:데이타베이스
• /
• 제32권1호
• /
• pp.43-55
• /
• 2005

시공간 데이타베이스는 실세계에 존재하는 다양한 유형의 객체에 대한 공간 관리와 이력정보를 동시에 제공함으로써 사용자에게 시공간 데이타에 대한 저장 및 질의 수단을 제공한다. 실세계에서 "임의의 질의 윈도우 영역에서 2001년 4월부터 8원까지 농경지당 뿌려진 농약의 평균은 얼마인가\ulcorner"와 같은 질의를 할 수 있다. 이러한 집계 질의는 시간과 공간에 대한 제약을 가지고 있다. 그러나 기존의 집계에 대한 연구는 시간 또는 공간에만 편중되어 시간과 공간 제약을 모두 가진 시공간 데이타에 직접 적용하기 어려운 문제점이 있다. 따라서 이 논문에서는 시공간 특성을 가진 시공간 데이타 분석을 위한 시공간 집계 함수 stCOUNT, stSUM, stAVG, stMAX, stMIN를 제안한다. 아울러 제안된 시공간 집계함수론 적용한 부동산 관리 시스템을 통해 기존의 시간, 공간 집계함수가 분석하기 어려웠던 시공간 데이타에 대한 분석의 용이함과 응용 시스템에 맞는 질의 표현력의 개선 및 편리성을 제공함을 보였다 그리고 제안된 시공간 집계함수의 알고리즘의 성능 평가를 통해 알고리즘 성능의 타당성을 입증하였다.

• ETRI Journal
• /
• 제31권4호
• /
• pp.463-465
• /
• 2009

In this letter, we present an event stream processing system that can evaluate a pattern query for a data sequence with predicates. We propose a pattern query language and develop a pattern query processing system. In our system, we propose novel techniques for run-time aggregation and negation processing and apply our system to stream data generated from vehicles to monitor unusual driving patterns.

• 한국정보과학회논문지:데이타베이스
• /
• 제29권4호
• /
• pp.247-261
• /
• 2002

온라인 분석처리(On-Line Analytical Processing: OLAP)에서 집계 연산은 중요한 기본 연산이다. 본 논문에서는 OLAP에서의 집계 질의 중 영역-그룹화(range-groupby)라는 새로운 클래스의 질의를 정의하고, 이 질의의 처리 방법을 제시한다. 영역-그룹화 질의는 n-차원 데이타 큐브의 임의의 영역에 속한 셀들에 대하여 주어진 그룹화 속성들의 조합에 따라 집계 값을 구하는 질의이다. 이 질의는 관심의 대상이 되는 임의의 영역 내에서의 경향을 다각적인 측면에서 분석하기 위해서 OLAP에서 자주 사용되는 질의이다. 일반적으로, OLAP에서는 질의를 빠르게 처리하기 위하여 전방-합 배열(prefix-sum array)이라 불리는 집계 결과를 미리 계산하여 유지하는 선계산 기법이 실제적으로 널리 사용되고 있다. 그런데, 영역-그룹화 질의의 경우에는, 그룹화 속성들의 모든 조합에 대하여 집계 결과를 저장해야 하기 때문에, 저장 공간 오버헤드가 너무 크다. 본 논문에서는 가능한 적은 공간 오버헤드를 가지고 영역-그룹화 질의를 빠르게 처리할 수 있는 방법을 제안한다. 제안한 방법은 단지 하나의 전방-합 배열만을 유지하면서도, 가능한 모든 그룹화 속성의 조합에 대하여 영역-그룹화 질의를 효율적으로 처리한다. 이 방법은 가능한 모든 그룹화 속성들의 조합에 대하여, 전방-합 배열을 선계산하여 유지하는 방법과 비교할 때 액세스되는 셀의 개수는 비슷하면 서 공간 오버헤드는 (equation omitted)(n은 디멘젼의 개수)로 줄인다.

• 한국공간정보시스템학회 논문지
• /
• 제9권2호
• /
• pp.93-107
• /
• 2007

본 논문에서는 유비쿼터스 센서 네트워크 환경에서의 공간 영역 질의를 효과적으로 처리하는 공간 영역 집계 인덱스 기법을 제안한다. 새로운 정보화 패러다임인 네트워킹과 컨버전스 기반의 유비쿼터스 환경의 중요성이 부각되면서 유비쿼터스 센서 네트워크 환경에서의 에너지 효율적인 실시간 공간질의에 대한 연구가 활발히 진행되고 있다. 센서 네트워크에서 공간영역질의는 사용자가 지정한 일정한 시간 동안의 특정 지리적 영역의 온도, 습도 등 스칼라 데이터를 감지한다. 공간 질의를 효과적으로 수행하기 위하여 Rectangle 기반의 SPIX기법 등 공간 인덱스 기법들이 많이 진행되었지만 기존 연구에서는 공간 영역질의의 질의 결과 값 전달 경로를 질의 전달 경로의 역방향으로 지정하였다. 센서 네크워크의 공간 영역 질의에서 질의 영역 내의 센서들은 대부분이 인접되어 있지만 질의 전달 경로가 틀리면 질의 영역 내에서 집계되지 못하고 전달되므로 불필요한 에너지를 낭비하게 된다. 본 논문에서는 유비쿼터스 센서 네트워크에서 공간 영역 질의를 수행 할 때 질의 영역 내에서 센서 노드들 간의 통신거리를 고려하여 질의 결과 값 전달 경로를 재선정하고, 적응적으로 집계 영역 내에서 집계연산을 하여 질의 결과 값을 전달하는 인덱스 기법을 제안한다. 성능평가를 통하여 제안 기법이 기존 기법보다 우월함을 보여주었다.