High-Volume Data Processing using Complex Event Processing Engine in the Web of Next Generation

차세대 웹 환경에서 Complex Event Processing 엔진을 이용한 대용량데이터 처리

  • 강만모 (울산대학교 컴퓨터정보통신공학부) ;
  • 구자록 (울산대학교 컴퓨터정보통신공학부) ;
  • 이동형 (한국폴리텍VII대학 정보통신시스템과)
  • Received : 2010.08.20
  • Accepted : 2010.09.24
  • Published : 2010.12.15

Abstract

According to growth of web, data processing technology is developing. In the Web of next generation, high-speed or high-volume data processing technologies for various wire-wireless users, USN and RFID are developing too. In this paper, we propose a high-volume data processing technology using Complex Event Processing(CEP) engine. CEP is the technology to process complex events. CEP Engine is the following characteristics. First it collects a high-volume event(data). Secondly it analyses events. Finally it lets event connect to new actions. In other words, CEP engine collects, analyses, filters high-volume events. Also it extracts events using pattern-matching for registered events and new events. As the results extracted. We use it by an input event of other work, real-time response for demanded event and can trigger to database for only valid data.

웹이 성장함에 따라 데이터처리 기술도 발전하고 있다. 차세대 웹 환경에서는 다양한 유무선 사용자, USN, RFID를 위한 고속, 대용량데이터 처리기술 또한 발전하고 있다. 본 논문에서는 CEP(Complex Event Processing) 엔진을 이용하여 대용량데이터를 처리하는 기술을 제안한다. CEP는 복잡한 이벤트를 처리하는 기술로 CEP 엔진은 다음과 같은 특정이 있다. 첫째 대용량의 이벤트(데이터)를 받는 작업, 둘째 이를 분석하는 작업, 최종적으로 새로운 액션으로 연결시키는 작업으로 나눌 수 있다. 즉 대용량데이터를 수집하고 이벤트들을 분석, 필터링한다. 또한 이벤트 엔진에 미리 등록해 놓은 이벤트와 새로운 이벤트를 패턴매칭하여 데이터를 추출한다. 추출된 결과를 다른 작업의 입력 이벤트로 사용하거나 요청된 이벤트에 대해 실시간으로 응답할 수 있고 유효한 데이터만 데이터베이스에 트리거할 수도 있다.

Keywords

References

  1. TTA, ICT Standardization Roadmap 2010 : Digital Contents and Software Generation Web, pp.101- 184, Telecommunication Technology Association, 2009.12.
  2. Chang Hyun Roh, "Abuse Pattern Monitoring Method based on CEP in On-line Game," The Korea Contents Association, vol.10 no.1, pp.114-121, 2010.1. https://doi.org/10.5392/JKCA.2010.10.1.114
  3. Tim Bass, "Mythbusters: event stream processing versus complex event processing," In Proceedings of the 2007 inaugural international conference on Distributed event-based systems, vol.233, pp.1-1, 2007 systems (DEBS '07). ACM, New York, NY, USA, 1-1. 2007.
  4. Eugene Wu, Yanlei Diao, Sbariq Rizvi "High-performance complex event processing over streams," Proceedings of the 2006 ACM SIGMOD international conference on Management of data, SESSION: Data streams, pp.407-418, 2006.
  5. Hyeonjoo Lee, Byoungju Choi, Jungwon Lee "Service Identification of Component-Based System for Service-Oriented Architecture," The Korean Institute of Information Scientists and Engineers, vol.35, no.2, pp.70-80, 2008.
  6. Meyoung Lee, Myoungjun Kim, "Trend of Event-Driven Service Technology," ETRI, Analysis of Electronic Communication Trend, vol.21, no.5, 2006.
  7. Chappell, D.A. "Enterprise Service Bus," O'Reilly, 2004 .
  8. David Herreman, http://esper.codehaus.org/esper/documentation/documentation.html, Esper contributors & EsperTech Inc, 2007.