• 제목/요약/키워드: Complex event processing

검색결과 65건 처리시간 0.028초

비정형 빅데이터의 실시간 복합 이벤트 탐지를 위한 기법 (The Method for Real-time Complex Event Detection of Unstructured Big data)

  • 이준희;백성하;이순조;배해영
    • Spatial Information Research
    • /
    • 제20권5호
    • /
    • pp.99-109
    • /
    • 2012
  • 최근 소셜 미디어의 발달과 스마트폰의 확산으로 SNS(Social Network Service)가 활성화가 되면서 데이터양이 폭발적으로 증가하였다. 이에 맞춰 빅데이터 개념이 새롭게 대두되었으며, 빅데이터를 활용하기 위한 많은 방안이 연구되고 있다. 여러 기업이 보유한 빅데이터의 가치창출을 극대화하기 위해 기존 데이터와의 융합이 필요하며, 물리적, 논리적 저장구조가 다른 이기종 데이터 소스를 통합하고 관리하기 위한 시스템이 필요하다. 빅데이터를 처리하기 위한 시스템인 맵리듀스는 분산처리를 활용하여 빠른게 데이터를 처리한다는 이점이 있으나 모든 키워드에 대해 시스템을 구축하여 저장 및 검색 등의 과정을 거치므로 실시간 처리에 어려움이 따른다. 또한, 이기종 데이터를 처리하는 구조가 없어 복합 이벤트를 처리하는데 추가 비용이 발생할 수 있다. 이를 해결하는 방안으로 기존에 연구된 복합 이벤트 처리 시스템을 활용하여 실시간 복합 이벤트 탐지를 위한 기법을 제안하고자 한다. 복합 이벤트 처리 시스템은 서로 다른 이기종 데이터 소스로부터 각각의 데이터들을 통합하고 이벤트들의 조합이 가능하며 스트림 데이터를 즉시 처리할 수 있어 실시간 처리에 유용하다. 그러나 SNS, 인터넷 기사 등 텍스트 기반의 비정형 데이터를 텍스트형으로 관리하고 있어 빅데이터에 대한 질의가 요청될 때마다 문자열 비교를 해야 하므로 성능저하가 발생할 여지가 있다. 따라서 복합 이벤트 처리 시스템에서 비정형 데이터를 관리하고 질의처리가 가능하도록 문자열의 논리적 스키마를 부여하고 데이터 통합 기능을 제안한다. 그리고 키워드 셋을 이용한 필터링 기능으로 문자열의 키워드를 정수형으로 변환함으로써 반복적인 비교 연산을 줄인다. 또한, 복합 이벤트 처리 시스템을 활용하면 인 메모리(In-memory)에서 실시간 스트림 데이터를 처리함으로써 디스크에 저장하고 불러들이는 시간을 줄여 성능 향상을 가져온다.

유사 연산과 중복 연산을 고려한 효율적인 복합 이벤트 처리 기법 (Efficient Complex Event Processing Scheme Considering Similar and Duplication Operations)

  • 김대윤;고건식;김병훈;노연우;임종태;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제17권3호
    • /
    • pp.370-381
    • /
    • 2017
  • 최근 다양한 응용에서 실시간으로 발행하는 이벤트들을 신속하고 효율적으로 처리하기 위해 복합 이벤트 처리 시스템을 도입하고 있다. 기존 복합 이벤트 처리 연구는 연산자의 유사성과 중복성을 고려하지 않기 때문에 많은 연산과 많은 메모리를 소비하는 문제점이 있다. 이러한 문제점을 해결하기 위하여 본 논문에서는 유사 연산과 중복 연산을 고려한 효율적인 복합 이벤트 처리 기법을 제안한다. 제안하는 기법은 동일한 기본 이벤트들이 유사한 연산을 가지면 그 연산들을 하나의 가상 연산자로 결합한다. 중복된 연산을 가질 경우에는 우선 하나의 연산만을 처리하고 이후에 같은 연산이 나오면 먼저 처리된 연산의 결과를 이용하여 처리한다. 기존 기법과의 성능 비교를 통하여 전체 연산 처리량 측면에서 제안하는 기법의 성능이 우수함을 보인다.

프로세스 기반 이벤트 분석을 이용한 비즈니스 활동 모니터링 (Business Activity Monitoring Using Process-based Event Analysis)

  • 손성호;정재윤;강석호;조남욱
    • 한국전자거래학회지
    • /
    • 제12권2호
    • /
    • pp.219-231
    • /
    • 2007
  • 본 논문에서는 복합 이벤트 처리를 적용하여 비즈니스 활동 분석(BAM)을 위한 이벤트 분석 방안을 제안한다. 이는 프로세스 관리자가 프로세스가 종료되기 이전에 발생 가능한 위험을 감지하고 모니터링하기 위하여 실시간에 진행되는 이벤트에 대하여 조기 경보를 제공하기 위하여 개발되었다. 본 연구에서는 의미 있는 위험을 가지는 이벤트를 추출하는, 프로세스 기반의 이벤트 모니터링 과정을 제시하였다. 복합 이벤트 패턴은 과거 누적된 이벤트 로그를 바탕으로 정의되며, 이벤트의 위험도는 그 패턴들에 기반하여 평가된다. 제안된 방법론은 홈쇼핑업체의 서비스 프로세스의 예를 이용하여 설명한다.

  • PDF

ESPER 엔진 기반의 CEP 모델 설계 및 평가 (CEP Model Design and Revaluation Using ESPER Engine)

  • 김환;황부현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 춘계학술발표대회
    • /
    • pp.1113-1115
    • /
    • 2012
  • IT 기술이 성장함에 따라 발생되는 데이터의 양이 많아지고 기존의 방식으로 처리하기 힘든 빅 데이터가 이슈가 되고 있으며 이에 따른 대용량 데이터 처리기술 또한 발전하고 있다. 이 논문에서는 실시간 대용량 데이터 처리를 위한 Complex Event Processing을 소개하고 ESPER 엔진 기반의 Complex Event Processing 모델을 설계하고 이에 대한 성능을 평가했다.

An Efficient Complex Event Detection Algorithm based on NFA_HTS for Massive RFID Event Stream

  • Wang, Jianhua;Liu, Jun;Lan, Yubin;Cheng, Lianglun
    • Journal of Electrical Engineering and Technology
    • /
    • 제13권2호
    • /
    • pp.989-997
    • /
    • 2018
  • Massive event stream brings us great challenges in its volume, velocity, variety, value and veracity. Picking up some valuable information from it often faces with long detection time, high memory consumption and low detection efficiency. Aiming to solve the problems above, an efficient complex event detection method based on NFA_HTS (Nondeterministic Finite Automaton_Hash Table Structure) is proposed in this paper. The achievement of this paper lies that we successfully use NFA_HTS to realize the detection of complex event from massive RFID event stream. Specially, in our scheme, after using NFA to capture the related RFID primitive events, we use HTS to store and process the large matched results, as a result, our scheme can effectively solve the problems above existed in current methods by reducing lots of search, storage and computation operations on the basis of taking advantage of the quick classification and storage technologies of hash table structure. The simulation results show that our proposed NFA_HTS scheme in this paper outperforms some general processing methods in reducing detection time, lowering memory consumption and improving event throughput.

CEP 기반 온라인 게임 악용 패턴 모니터링 방법 (Abuse Pattern Monitoring Method based on CEP in On-line Game)

  • 노창현
    • 한국콘텐츠학회논문지
    • /
    • 제10권1호
    • /
    • pp.114-121
    • /
    • 2010
  • 본 연구에서는 CEP(Complex Event Processing) 기법을 사용하여 온라인 게임에서 사용자 악용을 실시간 감지하기 위한 효율적인 방법을 제시한다. CEP는 대규모 정보시스템에서 발생하는 복잡한 이벤트 패턴을 발견하는 기법이다. 본 연구에서는 게임 사용자가 게임 서버에 접속하여 게임을 수행하는 과정에서 발생하는 이벤트들을 관찰하면서 규칙에 위배되는 행위를 검출하기 위하여 CEP 기법을 사용한다. 사용자들이 자주 악용할 가능성이 있는 이벤트 패턴을 미리 복합 이벤트로 설정하여 CEP 엔진에 등록해 두고, CEP 엔진은 게임 서버에서 발생하는 이벤트를 실시간에 필터링하여 사용자 악용을 감시하는 방법이다.

기간기반 복합 이벤트 패턴 검출 (Detection of Complex Event Patterns over Interval-based Events)

  • 강만모;박상무;김상락;김강현;이동형
    • 한국인터넷방송통신학회논문지
    • /
    • 제12권4호
    • /
    • pp.201-209
    • /
    • 2012
  • 시점기반 복합 이벤트 처리는 각 이벤트에 하나의 타임스탬프를 사용하여 즉각적인 이벤트를 처리한다. 하지만, 시점기반의 이벤트 처리로는 이벤트의 활동 기간이 중요한 역할을 하는 금융, 멀티미디어, 의학, 기상학 같은 분야에서 복합적인 시제 관계를 표현하기에는 불충분하다. 실세계의 애플리케이션 분야에서, 이벤트는 기간을 가지며, 두 종류 이상의 이벤트는 시간적으로 겹쳐질 수도 있고, 하나의 이벤트가 다른 이벤트를 포함할 수도 있다. 이런 종류의 이벤트들에 대한 관계는 시점기반 이벤트처럼 연속적이지 않을 수도 있다. 본 논문에서는 기간기반 이벤트를 사용하여 복합 이벤트의 패턴을 검출하는 방법을 설계하고 구현한다. 기간기반 이벤트는 시점기반 이벤트가 다룰 수 없는 이벤트들 사이의 겹침과 포함관계를 표현할 수 있다. 기간기반 이벤트 연산자는 시작 끝점과 종료 끝점을 사용하여 이벤트의 기간을 나타내고, 기간기반 이벤트의 시퀀스를 표현하여 복합 이벤트 패턴을 검출할 수 있다. 본 논문에서는 복합 이벤트 패턴 검출의 효율성을 높이기 위해 활성 인스턴스 스택을 사용하는 알고리즘을 제시하며, 이벤트의 시퀀스를 구성할 때 중간 결과의 개수를 줄이기 위해 윈도우 푸시다운 기법을 적용하여 수행시간과 메모리의 효율을 높인다.

복합 이벤트 처리기반 RFID/WSN을 이용한 환자모니터링 시스템 설계에 관한 연구 (A Study On The Design of Patient Monitoring System Using RFID/WSN Based on Complex Event Processing)

  • 박용민;오영환
    • 대한전자공학회논문지TC
    • /
    • 제46권10호
    • /
    • pp.1-7
    • /
    • 2009
  • RFID와 WSN은 유비쿼터스 컴퓨팅을 위한 핵심 기술로서 다양한 센서기술과 프로세서 집적기술 그리고 무선 네트워크 기술을 이용해서 실제 물리적 환경 정보를 원격에서 손쉽게 수집하고 모니터링 하는 것이 가능하다. 이에 따라 RFID와 WSN에 대한 많은 연구와 개발이 이루어지고 있으며, 특히 의료분야는 u-Healthcare와 결합된 보건의료산업과 서비스에서 국제적인 경쟁력을 확보할 수 있을 것으로 기대되고 있다. RFID와 WSN은 실시간 객체의 식별과 정보의 수집을 위한 기술로 짧은 시간에 많은 양의 데이터를 발생한다. 이러한 많은 양의 데이터를 효과적으로 처리하기 위해서는 데이터의 패턴을 정의하여 의미 있는 데이터를 필터링 할 수 있는 기술이 필수적이다. 본 논문에서는 의료환경에서 RFID와 WSN에서 발생하는 데이터를 효과적으로 처리하기 위해 복합 이벤트 처리기법을 사용하여 의미있는 데이터를 복합 이벤트로 구성하여 관리자가 실시간 환자를 관리 할 수 있는 모니터링 시스템을 제안한다. 본 연구를 통해 현재 보건의료 환경에서 각각 적용되어 있는 RFID와 WSN 환경을 통합하여 효율적인 데이터 전송 및 관리가 가능하게 될 것으로 전망한다.

A Maximum Entropy-Based Bio-Molecular Event Extraction Model that Considers Event Generation

  • Lee, Hyoung-Gyu;Park, So-Young;Rim, Hae-Chang;Lee, Do-Gil;Chun, Hong-Woo
    • Journal of Information Processing Systems
    • /
    • 제11권2호
    • /
    • pp.248-265
    • /
    • 2015
  • In this paper, we propose a maximum entropy-based model, which can mathematically explain the bio-molecular event extraction problem. The proposed model generates an event table, which can represent the relationship between an event trigger and its arguments. The complex sentences with distinctive event structures can be also represented by the event table. Previous approaches intuitively designed a pipeline system, which sequentially performs trigger detection and arguments recognition, and thus, did not clearly explain the relationship between identified triggers and arguments. On the other hand, the proposed model generates an event table that can represent triggers, their arguments, and their relationships. The desired events can be easily extracted from the event table. Experimental results show that the proposed model can cover 91.36% of events in the training dataset and that it can achieve a 50.44% recall in the test dataset by using the event table.

실시간 건설기계 데이터 처리 및 이상 유무 예측 시스템 (Real-time construction machine data processing and fault prediction system)

  • 김찬협;안재훈;한재승;김영환
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2018년도 제58차 하계학술대회논문집 26권2호
    • /
    • pp.364-366
    • /
    • 2018
  • 본 논문에서는 Digital Twin 기반 건설기계 지능화를 위한 실시간 건설기계 데이터 처리 및 이상 유무 예측 시스템을 제안한다. 이 시스템은 빅 데이터 분산처리 기반으로 실시간 스트리밍 처리가 가능하며, CEP(Complex Event Processing)의 Sliding Window Operator를 활용한 Rule 적용을 통해 건설기계 데이터 처리 및 분석한다. 분석된 결과로 건설기계의 실시간 이상 유무를 판단할 수 있으며, 결과를 기반으로 Deep Learning 기술을 적용하고 학습된 모델을 통해 건설기계의 이상 유무를 예측하여 원활한 부품관리를 할 수 있다.

  • PDF