• 제목/요약/키워드: Continuous query

검색결과 164건 처리시간 0.033초

USN 기반의 화재감시 응용을 위한 센서 데이터 처리 시스템 (A Sensor Data Management System for USN based Fire Detection Application)

  • 박원익;김영국
    • 한국컴퓨터정보학회논문지
    • /
    • 제16권5호
    • /
    • pp.135-145
    • /
    • 2011
  • 오늘날 센서 기술의 발전 및 보급으로 인해 USN 기반의 실시간 모니터링 응용에서의 센서 데이터 처리 시스템에 대한 연구가 활발히 진행 되고 있다. 센서 데이터는 시간에 따라 빠르게 변화하고 연속적인 저수준 상태의 방대한 양의 데이터를 생성하는 특성을 갖는다. 하지만 엔드유저는 상대적으로 고수준 상태의 데이터에 관심이 있기 때문에 빠르게 변화하고 연속적인 대량의 저수준 센서 데이터를 효과적으로 처리하는 시스템이 필수적이다. 본 논문에서는 USN 기반의 화재감시 응용에서 OLAP(On-Line Analytical Processing) 기술을 이용한 다차원 분석 질의 처리 기능과 학습기반 분류기를 통한 이상치 탐지 기능을 제공하는 센서 데이터 처리 시스템을 제안한다. 실험 시나리오를 통해 우리의 센서 데이터 처리 시스템에 대한 타당성을 검증하며 실험에 필요한 다양한 센서 데이터는 자체 개발한 센서 데이터 생성기를 이용한다.

Hazelcast Vs. Ignite: Opportunities for Java Programmers

  • Maxim, Bartkov;Tetiana, Katkova;S., Kruglyk Vladyslav;G., Murtaziev Ernest;V., Kotova Olha
    • International Journal of Computer Science & Network Security
    • /
    • 제22권2호
    • /
    • pp.406-412
    • /
    • 2022
  • Storing large amounts of data has always been a big problem from the beginning of computing history. Big Data has made huge advancements in improving business processes by finding the customers' needs using prediction models based on web and social media search. The main purpose of big data stream processing frameworks is to allow programmers to directly query the continuous stream without dealing with the lower-level mechanisms. In other words, programmers write the code to process streams using these runtime libraries (also called Stream Processing Engines). This is achieved by taking large volumes of data and analyzing them using Big Data frameworks. Streaming platforms are an emerging technology that deals with continuous streams of data. There are several streaming platforms of Big Data freely available on the Internet. However, selecting the most appropriate one is not easy for programmers. In this paper, we present a detailed description of two of the state-of-the-art and most popular streaming frameworks: Apache Ignite and Hazelcast. In addition, the performance of these frameworks is compared using selected attributes. Different types of databases are used in common to store the data. To process the data in real-time continuously, data streaming technologies are developed. With the development of today's large-scale distributed applications handling tons of data, these databases are not viable. Consequently, Big Data is introduced to store, process, and analyze data at a fast speed and also to deal with big users and data growth day by day.

센서 데이터의 시간 정보를 이용한 이력 정보 관리 (Historical Sensor Data Management Using Temporal Information)

  • 이양구;류근호
    • 한국공간정보시스템학회 논문지
    • /
    • 제10권4호
    • /
    • pp.97-102
    • /
    • 2008
  • 무선 센서 네트워크는 공간상에 분포되어 거의 무제한적이고, 연속적으로 데이터를 발생시키며, 주로 샘플링이나 시놉시스 등을 이용하여 수집되는 데이터를 저장한다. 그러나 이러한 방법은 원시 데이터의 정확한 저장 및 장기간 수집된 이력 데이터로부터의 분석을 요구하는 응용환경에는 적합하지 않다. 따라서 이 논문에서는 센서로부터 수집된 데이터를 손실 없이 저장하는 동시에 시간에 따라 누적되는 센서 데이터의 이력을 효율적으로 관리할 수 있는 저장 기법을 제안한다. 제안된 방법에서는 센서의 측정값이 변경된 시점을 기준으로 동일한 값이 지속된 기간을 Time-segment와 Time- point로 저장한다. 이러한 방법은 센서의 모든 측정값을 정확하게 저장할 수 있고, 특정 시간에 걸쳐 중복되는 데이터들을 하나의 튜플에 저장하기 때문에 장기간 동안 수집된 데이터를 메모리에서 유지할 수 있다.

  • PDF

The Cognitive Degree and Its Related Factors about Positive Hepatitis and Hepatosis of 20s Adults

  • Lee, Jae Sik
    • 대한임상검사과학회지
    • /
    • 제45권4호
    • /
    • pp.159-163
    • /
    • 2013
  • To investigate the cognitive degree about hepatitis and hepatosis, 916 subjects are examined with query and hepatotitis B, C, E test as well as s-AST and s-ALT as liver function test. Based on results, there are 4.9% of positive hepatitis and 8.9% of hepatosis and 13.8% of liver disorder. Among positive hepatitis, there are 93.3% of type B, 42.2% of type E and 6.7% of type C, respectively. From 45% of positive hepatitis B, they carry hepatitis B and E together. The cognitive degree about positive hepatitis is 64.4%, hepatosis 8.6%. The knowledge degree from cognitive group is higher than that of noncognitive group but there is no difference from hepatosis between two groups (p<0.001). The cognitive degree of liver disorder depends on academic background (p<0.001), mother's academic background (p<0.001), job (p<0.05) and family's income (p<0.001), showing significant difference. In summary, hepatitis carrier aware quite well about liver disorder but very low from hepatosis. Accordingly, the plan to increase a cognitive degree and continuous education as well as policy support to minimize spread of disease and to protect not to be worsen disease will be needed.

  • PDF

시공간 EPC 데이터 처리를 위한 선택률 기반 효율적인 연속질의 처리 기법 (Efficient continuous query processing technique based on selectivity for EPC data with time and location)

  • 추병조;홍봉희;김기홍
    • 한국GIS학회:학술대회논문집
    • /
    • 한국GIS학회 2008년도 공동추계학술대회
    • /
    • pp.100-105
    • /
    • 2008
  • EPCglobal은 기업 간의 물류 활동 촉진과 글로벌 유통물류 시스템 구축을 위하여 EPCglobal Architecture Framework을 제시 하였다. EPCglobal Architecture Framework의 한 구성 요소인 EPCIS(Electronic Product Code Information Services)는 EPC, 시간, 위치와 같은 물류 관련 정보에 대해 저장 및 검색 서비스를 제공한다. EPCIS는 단발성 질의(poll)와 연속 질의(subscribe) 검색 서비스를 제공한다. EPCIS의 연속 질의는 시스템 자동화 및 재고 관리, 공급망 관리를 위해 다양한 응용에서 활용이 가능하다. 일반적으로 연속 질의 처리를 위해서는 등록된 연속 질의와 입력된 데이터를 순차적으로 비교하는 Sequential Matching 기법을 사용한다. Sequential Matching기법은 등록된 연속 질의 수가 증가 할 경우 많은 부하를 발생 시키고, 이로 인해 시스템 처리 지연이 발생한다. 본 논문에서는 EPCIS의 시공간 EPC 데이터의 연속질의 처리 성능 향상을 위해 선택률 기반 효율적인 연속질의 처리 기법을 제안한다. 13차원의 도메인을 여러 개의 질의 색인으로 구성하고, 등록된 질의 정보를 기반으로 선택률을 계산한다. 선택률에 의해 변경되는 동적 질의 실행 계획을 제안함으로써, EPCIS에서 시공간 EPC 데이터의 연속질의 처리에 대해 평균 60%의 성능이 향상이 가능하도록 하였다.

  • PDF

대용량 센서 데이터 아카이빙을 위한 색인 분할 기법 (An Index Splitting Technique for Numerous Sensor Data Archiving)

  • 조대수
    • 한국공간정보시스템학회 논문지
    • /
    • 제9권1호
    • /
    • pp.31-43
    • /
    • 2007
  • 센서 데이터는 대용량이며 지속적으로 발생하는 특징이 있다. 따라서 대용량의 센서 데이터로부터 특정 데이터를 효과적으로 검색하기 위해서는 색인의 개발이 요구된다. 센서 데이터 색인은 데이터 아카이빙을 지원하기 위해서 일정한 시간이 지난 과거의 데이터를 효과적으로 삭제할 수 있어야 한다. 본 논문에서는 대용량 센서 데이터 아카이빙을 지원하기 위해 색인 분할 기법을 제안하고 구현하였다. 분할된 각각의 색인들은 가상색인으로 구성되어, 외부에서는 하나의 색인으로 보인다. 실험 결과 색인의 생성비용은 총 100,000번의 삽입 연산에 대해서 최대 8%의 성능 향상을 보였으며, 삽입되는 데이터의 개수가 많아질수록 성능이 더 향상됨을 보였다. 영역질의의 경우 각 질의영역이 적을수록, 시간도메인의 크기가 커질수록 큰 성능 향상을 보였다.

  • PDF

데이터 스트림에서 연속질의 처리를 위한 큐 메모리 관리 기법 (Queue Memory Management Method for Continuous Query Processing in Data Stream)

  • 신재완;신숭선;이동욱;김경배;배해영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2008년도 한국컴퓨터종합학술대회논문집 Vol.35 No.1 (C)
    • /
    • pp.179-183
    • /
    • 2008
  • 연속적이고 무한히 발생되는 데이터 스트림을 관리하는 데이터 스트림 관리시스템(DSMS)은 연속질의를 이용하여 스트림을 처리한다. 연속질의는 질의 별로 독립적인 큐를 유지하기 때문에 질의 개수가 증가함에 따라서 메모리 비용이 증가되며, 잦은 메모리 할당으로 인한 시스템의 성능 저하를 갖는다. 이러한 문제점을 해결하기 위한 기존의 연구로 메모리 풀을 이용한 메모리 관리 기법이 있다. 하지만 페이지의 크기가 고정되어 있기 때문에 각 질의마다 필요로 하는 데이터 스트림의 최적의 크기에 적합하게 할당되지 못하여 메모리를 낭비하는 문제점이 있다. 본 논문에서는 이러한 문제를 해결하기 위해 연속질의 처리를 위한 큐 메모리 관리 기법을 제안한다. 제안기법은 큐 관리 테이블에서 관리하는 각각의 큐 메모리들을 타임스탬프를 가지고 일정한 기간을 주기로 큐 메모리의 사용량을 분석한다. 분석된 큐 메모리들은 이전의 큐 메모리의 사용량과 현재 사용된 큐 메모리의 사용량을 비교함으로써 상한 값과 하한 값을 구함으로써 현재 큐 메모리에서 가지고 있는 사용량을 추가할 것인지, 줄일 것인지를 판단하여, 메모리의 사용량을 최적화 함으로써 시스템의 메모리 가용성을 향상한다. 제안 기법은 성능평가를 통해 메모리의 가용성이 기존의 방식에 비하여 향상된 성능을 보인다.

  • PDF

이동 P2P 환경에서 연속적인 k-최근접 질의 처리 기법 (A Continuous k-Nearest Neighbor Query Processing Method in Mobile P2P Environments)

  • 이현정;복경수;박용훈;임종태;이상규;유재수
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2012년도 춘계 종합학술대회 논문집
    • /
    • pp.15-16
    • /
    • 2012
  • 본 논문에서는 이동 P2P 환경에서 연속적인 서비스 제공을 위한 k-최근접 질의 처리 기법을 제안한다. 제안하는 기법은 질의 피어와 근접한 k개의 피어를 효율적으로 모니터링하기 위하여 MR(Monitoring-Region)을 배포한다. MR은 주변 피어들의 이동 벡터를 이용하여 시간 범위 내에서 최소 k개의 질의 결과를 보장하기 위해 만들어진 영역이다. 제안하는 기법은 주변 피어들의 벡터를 이용하여 MR을 계산하기 때문에 장시간 유효하며 MR 영역의 무효화에 따른 질의 재수행 비용을 절약한다. 제안하는 기법의 우수성을 입증하기 위해 기존 기법과의 성능평가를 수행한다.

  • PDF

비디오 데이타를 위한 그리드 기반의 유사 부분 궤적 검색 기법 (Similar sub-Trajectory Retrieval Technique based on Grid for Video Data)

  • 이기영;임명재;김규호;김정준
    • 한국인터넷방송통신학회논문지
    • /
    • 제9권5호
    • /
    • pp.183-189
    • /
    • 2009
  • 최근, PCS, PDA와 같은 이동기기 보급의 확산, GPS(Global Positioning System)의 활용, 유무선 네트워크의 급속한 발전 등으로 일반 사용자들조차 이미지, 오디오, 비디오 등과 같은 멀티미디어 데이타에 대한 활용이 증가하고 있다. 특히, 멀티미디어 데이타 중에서도 비디오 데이타는 텍스트나 이미지 데이타와는 달리 이동 객체에 대한 움직임 정보를 포함하고 있고 시간의 변화에 따라 공간의 변화를 가지는 시공간적 특성을 가진다. 객체의 공간적 위치가 시간의 흐름에 따라 계속 변하는 이동객체(Moving Object)들의 연속적인 움직임들의 모임을 궤적이라 하며, 데이타베이스에서 사용자로부터 주어진 질의 궤적과 유사한 궤적을 포함하는 데이타를 찾는 것을 유사 부분궤적 검색(Similar Sub-trajectory Retrieval)이라 한다. 그리고 이러한 유사 부분궤적 검색을 하기 위해선 사용자 질의 궤적과 주어진 유사정도(Tolerance) 내에서 유사한 데이타 궤적을 검색 할 수 있는 근사 매칭(Approximate Matching)이 가능해야 한다. 또한, 방대한 멀티미디어 데이타베이스에서 사용자가 원하는 데이타 만을 보다 빠른 시간 내에 찾을 수 있도록 기존 연구와는 다른 효과적인 검색방법이 요구된다. 이를 위해, 본 논문에서는 효과적인 검색을 위해 궤적을 그리드로 분할하여 이동 객체의 궤적에 대한 효율적인 유사 부분궤적 검색을 지원하는 새로운 그리드 기반 검색 기법을 제안한다.

  • PDF

클러스터링 해쉬 테이블을 이용한 다차원 선박 USN 스트림 데이터의 효율적인 처리 (Efficient Processing of Multidimensional Vessel USN Stream Data using Clustering Hash Table)

  • 송병호;오일환;이성로
    • 대한전자공학회논문지SP
    • /
    • 제47권6호
    • /
    • pp.137-145
    • /
    • 2010
  • 디지털 선박에서는 선박 내의 각종 센서로부터 측정된 디지털 데이터에 대한 정확하고 에너지 효율적인 관리가 필요하다. 그러나, 센서 네트워크에서 대용량 스트림 데이터를 제한된 네트워크, 전력, 프로세서를 이용하여 모든 센서 데이터를 전송하고 분석하는 것은 어렵고 효율적이지 못하다. 그러므로, 연속적으로 입력되는 데이터를 사전에 분류하여 특성에 따라 선택적으로 데이터를 처리하는 데이터 분류 기법이 요구된다. 본 논문에서는 디지털 선박 내에 다수 개의 센서(온도, 습도, 조도, 음성 센서)를 배치하고 효율적인 입력 스트림 처리를 위해서 슬라이딩 윈도우 기반으로 다중 Support Vector Machine(SVM) 알고리즘을 이용하여 사전 분류(pre-clustering)한 후 요약된 정보를 해쉬 테이블로 관리하는 효율적인 처리 기법을 제안한다. 해쉬테이블을 이용하여 다차원 스트림 데이터의 저장될 레코드 순서를 빠르게 찾아 저장 및 검색함으로서 처리 속도가 향상되고 메모리에 해쉬 테이블 만을 유지하면 되므로 메모리 사용량이 감소한다. 35,912개의 데이터 집합을 사용하여 실험한 결과 제안 기법의 정확도와 처리 성능이 향상되었다.