Load Shedding Method based on Grid Hash to Improve Accuracy of Spatial Sliding Window Aggregate Queries

공간 슬라이딩 윈도우 집계질의의 정확도 향상을 위한 그리드 해쉬 기반의 부하제한 기법

  • 백성하 (인하대학교 컴퓨터정보과학과) ;
  • 이동욱 (인하대학교 컴퓨터정보과학과) ;
  • 김경배 (서원대학교 컴퓨터교육과) ;
  • 정원일 (호서대학교 정보보호학과) ;
  • 배해영 (인하대학교 컴퓨터정보공학과)
  • Published : 2009.06.30

Abstract

As data stream is entered into system continuously and the memory space is limited, the data exceeding the memory size cannot be processed. In order to solve the problem, load shedding methods which drop a part of data to prevent exceeding the storage space have been researched. Generally, a traditional load shedding method uses random sampling with optimized rate according to data deviation. The method samples data not to distinguish those used in spatial query because the method uses only a random sampling with optimized rate according to data deviation. Therefore, the accuracy of query was reduced in u-GIS environment including spatial query. In this paper, we researched a new load shedding method improving accuracy of the query in u-GIS environment which runs spatial query and aspatial query simultaneously. The method uses a new sampling method that samples data having low probability used in query. Therefore proposed method improves spatial query accuracy and query processing speed as applying spatial filtering operation to sampling operator.

데이터 스트림은 다양한 입력속도로 끊임없이 입력되고 데이터 스트림을 저장하는 메모리상의 저장공간은 유한하기 때문에 때때로 저장공간을 초과하는 데이터가 입력되는 경우가 발생한다. 이 문제를 해결하기 위해 초과되는 데이터의 일부를 버려 메모리 초과를 방지하는 부하제한 기법이 연구되었다. 기존의 부하제한 기법은 데이터의 편차에 따른 최적의 샘플링 비율을 갖는 랜덤 샘플링을 사용한다. 그러나 이 기법은 공간적 특성을 고려하지 않기 때문에 공간 질의에 사용되는 데이터와 사용되지 않는 데이터를 구분하지 않고 샘플링 한다. 그래서 공간 질의가 포함되는 u-GIS 환경에서는 질의 정확도가 감소하는 문제가 발생하였다. 본 논문에서는 공간 질의와 비공간 질의가 동시에 발생하는 u-GIS 환경에서 질의 정확도를 보다 향상 시키는 부하제한 기법을 연구하였다. 이 기법은 동시에 실행되는 공간 질의의 공간적 이용도에 따라 차등적으로 샘플링을 하여, 질의에 이용될 확률이 낮은 데이터를 샘플링을 한다. 제안된 부하제한 기법은 공간질의가 존재하는 경우 질의 정확도를 크게 향상 시켰고, 샘플링 중 공간 필터링 연산을 적용하여 질의처리 속도도 일부 향상 시켰다.

Keywords

References

  1. 이충호, 안경환, 이문수, 김주완. u-GIS 공간정보 기술 동향.
  2. 안경환, 김주환, “모바일 u-GIS 데이터 처리 시스템설계.”, 한국정보처리학회 추계 학술발표대회, 2008.
  3. Babcock, B., Babu, S., Datar, M., Motwani, R.and Widom, J., “Models and Issues in DataStream Systems.” PODS, 2002.
  4. Abadi, D. J, Carney, D., “Aurora: A New Modeland Architecture for Data Stream Management.”VLDB Journal, 2003.
  5. Golab, L., Tamer Ozsu. M., “Issues in Data Stream Management”“ SIGMOD Record. ACM. Vol.32 No. 2, 2003, pp. 6-14. https://doi.org/10.1145/640990.640991
  6. Tatbul, N., Cetintemel, U., Zdonik. S., Cherniack,M., and Stonebraker. M., “Load shedding in adata stream manager.” VLDB, 2003.
  7. Motwani, R., Widom, J., Arasu, A., “Query processing,approximation, and resource managementin a data stream management system.”, CIDR,2003.
  8. Tatbul, N., and Zdonik. S., “Load Shedding in aData Stream Manager.”, VLDB, 2003.
  9. Chakrabarti, K., Garoflakis, M., Rastogi, R.,“Approximate Query Processing UsingWavelets,” VLDB, 2000.
  10. Reiss, F. and Hellerstein, J., “Data Triage: AnAdaptive Architecture for Load Shedding inTelegraphCQ.”, ICDE, 2005.
  11. Babcock, B., Datar, M., and Motwani, R., “LoadShedding for Aggregation Queries over DataStreams”, ICDE, 2004.
  12. “Oracle Spatial User's Guide and Reference 10g Release 1 (10.1)”, Part No. B10826-01, www.oracle.com, 2003.
  13. “MySQL 6.0 Reference Manual”, www.mysql.com,2008.
  14. “OpenGIS Implemenation Specification for Geographic information – Simple feature access – Part1:Common Architecture”, www.opengeospatial.org, 2008
  15. “OpenGIS Implemenation Specification for Geographicinformation – Simple feature access – Part1:SQLOption”, www.opengeospatial.org, 2008
  16. Kaufman, J., Myllymaki, J., and Jackson, J., “CitySimulator.” Alpha Works Emerging Technologies,Nov. 2001.
  17. “Tiger/Line Shapefiles.”, www.census.gov/geo/www/tiger/tgrshp2007/tgrshp2007.html, 2007.
  18. 강홍구, 박치민, 홍동숙, 한기준, “공간 센서 데이터의 효율적인 실시간 처리를 위한 공간 DSMS의 개발“, 한국공간시스템학회 논문지, 제9권제1호, 2007, pp.45-57.