Journal of Korea Spatial Information System Society (한국공간정보시스템학회 논문지)

Korea Spatial Information System Society (대한공간정보학회)
권호 표지

Adaptive Memory Management Method based on Utilization Ratio to Process Continuous Query

연속질의의 처리를 위한 이용률 기반의 적응적 메모리 관리 기법

  • Published : 2009.06.30
Download PDF
⟨ Previous Next ⟩

Abstract

The volume of memory to store real-time data stream is varied dynamically. Continuous queries processing the data stream must manage the storage volume dynamically. In previous research, according to current volume of data a general memory manager which allocates and releases memory by a page unit is researched.However, the method frequently executes page allocation and release to store data stream. Moreover, particularly delayed queries can monopolize many of pages because the method directly allocates pages when a query has not enough memory. Focusing on the problems in memory management systems, this research proposes a memory management method which reduces the frequency of allocation and release and uniformly distributes pages for queries. The method can reduce the frequency of allocation and release through allocation based on utilization ratio of pages in each query and prevent memory monopoly through memory allocation which considers query delay.

실시간으로 입력되는 스트림을 저장하기 위한 메모리의 크기는 동적으로 변한다. 이 데이터 스트림을 처리하는 연속질의는 저장공간의 크기를 동적으로 관리해야 한다. 이를 위해, 저장되는 현재 데이터양에 따라 즉시 페이지 단위로 메모리를 할당 및 해제하는 기본적인 메모리 관리자가 연구되었다. 그러나 이 방법은 데이터 스트림을 저장하기 위해 메모리의 할당 및 해제를 매우 빈번하게 수행하게 된다. 또한 질의가 메모리가 부족할 때 즉시 페이지를 할당하기 때문에, 특정 지연되는 질의가 대량의 페이지를 점유하는 문제를 발생시킬 수 있다. 메모리관리자에서 발생하는 이와 같은 문제에 초점을 맞추어, 본 연구는 할당 및 해제 빈도수를 감소시키고, 질의 별로 최대한 균등하게 페이지를 분배하는 메모리 관리 기법을 제안한다. 본 기법은 질의의 페이지 이용률을 이용하여 할당 및 해제 빈도수를 크게 감소시키고, 질의의 지연 상태에 따른 메모리의 할당을 통하여 특정 질의의 메모리 독점을 방지할 수 있다.

Keywords

References

  1. R. Motwani, J. Widom, A. Arasu, “QueryProcessing, Resource Management, and Approximationin a Data Stream ManagementSystem,” CIDR, 2003.
  2. B. Babcock, S. Babu, M. Datar, R. Motwani, J.Widom, “Models and Issues in Data StreamSystems,” PODS, 2002, pp. 1-16.
  3. D. J. Abadi, D. Carney, U. Centintemel, M.Cherniack, C. Convey, “Aurora: A New Modeland Architecture for Data Stream Management,”VLDB Journal, 2003, pp. 120-139.
  4. S. Chandrasekharan, FranklinJ. “Streaming queriesover streaming data,” VLDB Conf, 2002, pp.203-214.
  5. L. Golab, M. Tamer Ozsu, “Issues in Data Stream Management,” SIGMOD Record. ACM. Vol.32 No. 2, 2003, pp. 6-14. https://doi.org/10.1145/640990.640991
  6. A. Arasu, S. Babu, J. Widom, “The CQL continuousquery language: semantic foundationsand query execution,” VLDB Journal, Vol.15 No.2, 2006, pp. 121-142. https://doi.org/10.1007/s00778-004-0147-z
  7. N. Tatbul, U. Cetintemel, S. Zdonik, M.Chemiack, M. Stonebraker, “Load Shedding in aData Stream Manager,” VLDB Conf, 2003,pp.309-320.
  8. N. Tatbul, S. Zdonik, “Window-Aware LoadShedding for Aggregation Queries over DataStreams,” VLDB, 2006, pp. 799-810.
  9. B. Babcock, M. Datar, R. Motwani, “Load sheddingfor Aggregation Queries over DataStreams,” ICDE, 2004, pp.1-12.
  10. B. Babcock, S. Babu, M. Datar, “Chain: OperatorScheduling for Memory Minimization in DataStream Systems,” ACM SIGMOD, 2003, pp.253-263.
  11. M. Hammad, M. Franklin, “Scheduling for shared window joins over data streams,” Submitted for publication, 2003, pp. 297-308.
  12. www.coral.com
  13. M.F. Mokbel,, W.G. Aref, “SOLE:scalable on-lineexecution of continuous queries on spatio-temporaldata streams,” VLDB Journal, 2008, pp.971-995.
  14. J.A. Daniel, D. Carney, “Aurora:a new model andarchitecture for data stream management.”VLDB Journal, 2003, pp. 120-139.
  15. Coral8 Administrator’s Guide.