Journal of the Korea Computer Graphics Society (한국컴퓨터그래픽스학회논문지)

Korea Computer Graphics Society (한국컴퓨터그래픽스학회)
권호 표지
DOI QR코드

DOI QR Code

Fast Visualization Technique and Visual Analytics System for Real-time Analyzing Stream Data

실시간 스트림 데이터 분석을 위한 시각화 가속 기술 및 시각적 분석 시스템

  • 정성민 (세종대학교 컴퓨터공학과) ;
  • 연한별 (세종대학교 컴퓨터공학과) ;
  • 정대교 (세종대학교 컴퓨터공학과) ;
  • 유상봉 (세종대학교 컴퓨터공학과) ;
  • 김석연 (세종대학교 컴퓨터공학과) ;
  • 장윤 (세종대학교 컴퓨터공학과)
  • Received : 2016.07.26
  • Accepted : 2016.08.31
  • Published : 2016.09.01
Download PDF
⟨ Previous Next ⟩

Abstract

Risk management system should be able to support a decision making within a short time to analyze stream data in real time. Many analytical systems consist of CPU computation and disk based database. However, it is more problematic when existing system analyzes stream data in real time. Stream data has various production periods from 1ms to 1 hour, 1day. One sensor generates small data but tens of thousands sensors generate huge amount of data. If hundreds of thousands sensors generate 1GB data per second, CPU based system cannot analyze the data in real time. For this reason, it requires fast processing speed and scalability for analyze stream data. In this paper, we present a fast visualization technique that consists of hybrid database and GPU computation. In order to evaluate our technique, we demonstrate a visual analytics system that analyzes pipeline leak using sensor and tweet data.

위험관리 시스템은 단 시간에 의사결정하기 위해 스트림 데이터를 실시간으로 분석 할 수 있어야 한다. 많은 데이터 분석 시스템은 CPU와 디스크 데이터베이스로 구성되어 있다. 하지만, cpu 기반 시스템은 스트림 데이터를 실시간으로 분석하는데 어려움이 있다. 스트림 데이터는 1ms부터 1시간, 1일까지 생성주기가 다양하다. 한 개의 센서가 생성하는 데이터는 작다. 하지만 수 만개의 센서가 생성하는 데이터는 매우 크다. 예를 들어 10만개 센서가 1초에 1GB 데이터를 생성한다면, CPU 기반 시스템은 이를 분석 할 수 없다. 이러한 이유로 실시간 스트림 데이터 분석 시스템은 빠른 처리 속도와 확장성이 필요하다. 본 논문에서는 GPU와 하이브리드 데이터베이스를 이용한 시각화 가속 기술을 제안한다. 제안한 기술을 평가하기 위해 우리는 지하 파이프라인에 설치된 센서와 트윗 데이터를 활용하여 실시간 릭 탐지 시각적 분석 시스템에 적용했다.

Keywords

Acknowledgement

Supported by : 정보통신기술진흥센터

References

  1. Smestad Geir, " Interactive Visual Analysis of Streaming Data." Master thesis, University of Bergen, 2014
  2. Kandogan E, Soroker D, Rohal S, Bak P. van Ham F, Lu J, Lai J, "A reference web large streaming data." IS&T/SPIE Electronic Imaging. Internatinal Society for Optics and Photonics, 2013.
  3. Park SH, Ryu WS, Hong BH, Kwon JH, "MapReduce- based Stream Assigning and SplittingTechnique for Stream Data Processing." KIISE Transactions on Computing Practices, Vol.19. No.5. 2013.
  4. Han J, C1ten Y, D:mg G, Pei J, Wah BW, Wang J, Cai YD,"Stream cube: An architecture for multi-dimensional analysis of data streams." Distributed and Parallel Databases Vol.18. No.2. 2005.
  5. Diaconu C, Freedman CS, Larson PA, Zwilling MJ, inventors; Microsoft Technology Licensing, Llc, assignee. In-memory database system. United States patent US 9,251,214, 2016.
  6. Song YS, Lee PS, Yeu Y, Kim GH, "Flood risk mapping using 3D virtual reality based on geo-spatial information." Journal of Korean Society for Geospatial Information System Vol.20. No.4. 2012.
  7. Hwang YJ, Koo WY, Hwang YK, Youn HJ, "A Development of Fire Evacuation Simulation System Based 3D Modeling." Fire Science and Engineering 25.6 2011.
  8. Park JD, "Web-based 3 Dimensional Space Management Prototype Module." Journal of the Architectural Institute of Korea Planning&Design, Vol.26. No.5. 2010.
  9. F. Wanner, A. Stoffel, D. Jackie, B. C. Kwon, A. Weiler, D. A. Keim, "State-of-the-art report of visual analysis for event detection in text data streams." Computer Graphics Forum. Vol. 33. No.3. 2014.
  10. Sakaki T, Makoto O, Yutaka M, "Earthquake shakes Twitter users: real-time event detection by social sensors." Proceedings of the 19th international conference on World wide web. ACM, 2010.
  11. Chae J., Thom D., Bosch H., Jang Y., Maciejewski R., Ebert D., Ertl T, "Spatiotemporai social media anaiytics for abnormal event detection md examination using seasonal-trend decomposition." Visual Anaiytics Science and Technology (VAST), 2012 IEEE Conference on. IEEE, 2012.
  12. J. Bollen, H. Mao, X. Zeng. ''Twitter mood predicts the stock market" Journal of Computational Science, 2011.
  13. Chae J., Thom D., Jang Y., Kim S. Y., Ertl T., Ebert D., "Public behavior response analysis in disaster events utilizing visual anaiytics of microblog data." Journal of Computer & Graphics, Vol.38, 2014.
  14. Zhang J., Ahlbrand B., Malik A., Chae J., Min Z., Ko S., Ebert D., "A Visual Analytics Framework for Microblog Data Analysis at Multiple Scales of Aggregation." Computer Graphics Forum. Vol.35. No.3. 2016.
  15. Wu Y., Liu S., Yan K., Liu M., Wu F., "Opinionflow: Visual analysis of opinion diffusion on social media." IEEE transactions on visualization and computer graphics Vol.20. No.12. 2014.
  16. Yeon, H., Kim, S., Jang, Y. "Predictive visual analytics of event evolution for user-created context." Journal of Visualization. 2016.