• Title/Summary/Keyword: Sensor Data Stream

Search Result 124, Processing Time 0.025 seconds

센서 네트워크의 데이터 스트림 마이닝을 위한 온톨로지 기반의 전처리 기법 (Ontology based Preprocessing Scheme for Mining Data Streams from Sensor Networks)

  • 정재은
    • 지능정보연구
    • /
    • 제15권3호
    • /
    • pp.67-80
    • /
    • 2009
  • 다양한 센서의 개발과 센서 네트워크 구축으로 인해 특정 공간의 환경 데이터를 수집할 수 있다. 보다 유용한 정보 및 지식의 발견을 위하여 데이터 마이닝(Data mining) 기법이 활용되는 연구들이 소개되었다. 본 연구에서는 이와 같은 데이터 마이닝 기법의 효율성 증대를 위하여 센서 네트워크로부터의 데이터 스트림의 전처리 과정(Preprocessing)을 수행하고자 한다. 제안하는 센서 스트림 데이터의 전처리 과정은 i) 세션확인(Session identification)과 ii) 오류검증(Error detection) 문제를 해결하고자 한다. 특히, 이를 위해 각센서 장비로부터 수집되는 데이터의 의미(Semantics)를 표현하고 있는 온톨로지(Ontology)를 적용한다. 본 연구 결과의 성능 평가를 위하여 센서 네트워크 테스팅 환경을 교내에 설치하였으며 30여일 동안 수집된 데이터를 이용하여 시뮬레이션을 실행하였다.

  • PDF

Java 기반 실시간 센서 데이터스트림처리 및 임베디드 시스템 구현 (Jave based Embedded System Design and Implementation for Real-time Stream Data Processing)

  • 김휴찬;고완기;박상열
    • 디지털산업정보학회논문지
    • /
    • 제4권2호
    • /
    • pp.1-12
    • /
    • 2008
  • Home network is a technology that provides possibilities of monitoring/controling/mutilating-recognition between optional home network machines in residences. Currently, home network or other networks like entertainment, residential electronic networks are jumbled together with heterogeneous networks in a rampaging condition. In a reality of high expectation for home networks system like the mutual application for various machines, we are required to have the unification technology for conveniences to satisfy expectations. This thesis reflects how to develop Java applications or mutual products based on convenient interfaces actually that process various sensors which create real time data stream in Java platform through Java based sensor data-stream processing embedded middleware design and realization in real time.

SENSOR DATA MINING TECHNIQUES AND MIDDLEWARE STRUCTURE FOR USN ENVIRONMENT

  • Jin, Cheng-Hao;Lee, Yong-Mi;Kim, Hi-Seok;Pok, Gou-Chol;Ryu, Keun-Ho
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2007년도 Proceedings of ISRS 2007
    • /
    • pp.353-356
    • /
    • 2007
  • With advances in sensor technology, current researches on the pertinent techniques are actively directed toward the way which enables the USN computing service. For many applications using sensor networks, the incoming data are by nature characterized as high-speed, continuous, real-time and infinite. Due to such uniqueness of sensor data characteristics, for some instances a finite-sized buffer may not accommodate the entire incoming data, which leads to inevitable loss of data, and requirement for fast processing makes it impossible to conduct a thorough investigation of data. In addition to the potential problem of loss of data, incoming data in its raw form may exhibit high degree of complexity which evades simple query or alerting services for capturing and extracting useful information. Furthermore, as traditional mining techniques are developed to handle fixed, static historical data, they are not useful and directly applicable for analyzing the sensor data. In this paper, (1) describe how three mining techniques (sensor data outlier analysis, sensor pattern analysis, and sensor data prediction analysis) are appropriate for the USN middleware structure, with their application to the stream data in ocean environment. (2) Another proposal is a middleware structure based on USN environment adaptive to above mining techniques. This middleware structure includes sensor nodes, sensor network common interface, sensor data processor, sensor query processor, database, sensor data mining engine, user interface and so on.

  • PDF

스냅샷을 가지는 다중 레벨 공간 DBMS를 기반으로 하는 센서 미들웨어 구조 설계 (Design of Sensor Middleware Architecture on Multi Level Spatial DBMS with Snapshot)

  • 오은석;김호석;김재홍;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제8권1호
    • /
    • pp.1-16
    • /
    • 2006
  • 최근 들어, 사용자가 주변 환경 및 요구 정보의 변화를 의식하지 않고 작업 환경과 수행하는 일에 집중하도록 배려하는 인간 중심 컴퓨팅 환경에 대한 연구 개발이 활발히 진행되고 있다. 그러나 이러한 컴퓨팅 환경에서 미들웨어는 사용자에게 RFID센서로부터 들어오는 대량의 정보에 대한 처리 부하를 줄이기 위하여 분석이 끝난 스트림 데이터를 삭제한다. 따라서 사용자의 데이터 웨어하우징이나 데이터마이닝에 필요한 확률, 통계 정보에 대한 요청, 또는 반복적이면서 동일한 데이터에 대한 요청을 처리할 수 없다는 문제점을 가진다. 본 논문에서는 기존의 미들웨어에서 문제가 되었던 과거 스트림 데이터 재사용 문제를 해결하기 위해, 사용자가 빈번하게 요구하는 데이터들을 스냅샷을 가지는 다중 레벨 공간 DBMS에서 관리하는 센서미들웨어 구조를 설계하였다. 본 시스템은 사용자가 요구하는 데이터 마이닝이나 데이터 웨어하우징과 같은 과거 스트림 정보를 사용한 서비스 요청을 위해, 미들웨어에서 필터링된 과거 스트림 데이터를 디스크 데이터베이스에서 관리한다. 그리고 디스크 데이터베이스에 저장된 스트림 데이터 중에서 사용자에 대한 높은 재사용 빈도를 가지는 데이터들을 스냅샷의 형태로 메모리 데이터베이스에 저장하고 이를 관리한다. 또한, 본 시스템은 메모리 데이터베이스에 저장된 스냅샷 데이터의 높은 데이터 재사용성과 신속한 서비스를 유지하기 위해서 주기적인 메모리 데이터베이스 관리 정책을 수행한다. 본 논문은 기존의 미들웨어에서의 스트림 데이터에 대한 반복적인 요청, 또는 과거 스트림 데이터를 이용한 정책 결정 서비스 요청에 대한 서비스를 제공할 수 없는 문제들을 해결하였다. 그리고 메모리에 저장된 데이터에 대한 높은 데이터 재사용성을 유지함으로서 사용자에게 지속적으로 다양하고 신속한 데이터 서비스를 제공한다.

  • PDF

센서 네트워크 환경에서의 데이터 처리 메커니즘 (A Data Processing Mechanism in Sensor Network Environment)

  • 박대현;김영준;이정훈;정일영
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2007년도 하계종합학술대회 논문집
    • /
    • pp.133-134
    • /
    • 2007
  • The effective data processing mechanism in the sensor network means data stream model and real-time query processing model for real-time processing of stream data. This mechanism can improve satisfaction of users and reduce delay rate of data processing. In this paper, we explain the problem which is occurred when users need to search certain information among information of stream data and describe reduction model of delay rate according to data transmission.

  • PDF

디지털 선박 내 다차원 센서 스트림 데이터의 효율적인 처리 (Efficient Processing of Multidimensional Sensor stream Data in Digital Marine Vessel)

  • 송병호;박경우;이진석;이경효;정민아;이성로
    • 한국통신학회논문지
    • /
    • 제35권5B호
    • /
    • pp.794-800
    • /
    • 2010
  • 디지털 선박에서는 선박 내의 각종 센서로부터 측정된 디지털 데이터에 대한 정확하고 에너지 효율적인 관리가 필요하다. 센서 네트워크에서 대용량의 입력 스트림 데이터 전체를 데이터베이스에 모두 저장하여 한꺼번에 처리하는 것은 효율적이지 못하다. 본 논문에서는 디지털 선박 내 센서 네트워크의 에너지 효율성과 정확성을 고려하여 여러 센서에서 지속적으로 들어오는 다차원 스트림 데이터의 처리 성능을 높이고자 한다. 디지털 선박 내에 다수 개의 센서(온도, 습도, 조도, 음성 센서)를 배치하고 효율적인 입력 스트림 처리를 위해서 슬라이딩 윈도우 기반으로 질의를 처리하고 Mjoin 방법으로 다중 질의 계획을 수립한 후 SVM 알고리즘을 통해 저장 데이터를 축소하는 효율적인 처리 기법을 제안한다. 분류된 데이터들 중 필요하지 않는 데이터는 자동으로 데이터베이스에서 삭제되고 유효한 데이터는 디지털 선박 모니터링 시스템에 이용하였다. 35,912개의 데이터 집합을 사용하여 실험한 결과 실제 입력되는 데이터보다 저장 공간의 18.3%를 축소함으로써 효과적임을 보였다.

슬라이딩 윈도우 기반 다변량 스트림 데이타 분류 기법 (A Sliding Window-based Multivariate Stream Data Classification)

  • 서성보;강재우;남광우;류근호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권2호
    • /
    • pp.163-174
    • /
    • 2006
  • 분산 센서 네트워크에서 대용량 스트림 데이타를 제한된 네트워크, 전력, 프로세서를 이용하여 모든 센서 데이타를 전송하고 분석하는 것은 어렵고 바람직하지 않다. 그러므로 연속적으로 입력되는 데이타를 사전에 분류하여 특성에 따라 선택적으로 데이타를 처리하는 데이타 분류 기법이 요구된다. 이 논문에서는 다차원 센서에서 주기적으로 수집되는 스트림 데이타를 슬라이딩 윈도우 단위로 데이타를 분류하는 기법을 제안한다. 제안된 기법은 전처리 단계와 분류단계로 구성된다. 전처리 단계는 다변량 스트림 데이타를 포함한 각 슬라이딩 윈도우 입력에 대해 데이타의 변화 특성에 따라 문자 기호를 이용하여 다양한 이산적 문자열 데이타 집합으로 변환한다. 분류단계는 각 윈도우마다 생성된 이산적 문자열 데이타를 분류하기 위해 표준 문서 분류 알고리즘을 이용하였다. 실험을 위해 우리는 Supervised 학습(베이지안 분류기, SVM)과 Unsupervised 학습(Jaccard, TFIDF, Jaro, Jaro Winkler) 알고리즘을 비교하고 평가하였다. 실험결과 SVM과 TFIDF 기법이 우수한 결과를 보였으며, 특히 속성간의 상관 정도와 인접한 각 문자 기호를 연결한 n-gram방식을 함께 고려하였을 때 높은 정확도를 보였다.

다변량 스트림 데이터 축소 기법 평가 (Evaluation of Multivariate Stream Data Reduction Techniques)

  • 정훈조;서성보;최경주;박정석;류근호
    • 정보처리학회논문지D
    • /
    • 제13D권7호
    • /
    • pp.889-900
    • /
    • 2006
  • 센서 네트워크는 애플리케이션 분야에 따라 데이터 특성과 사용자의 요구사항이 다양함에도 불구하고, 현존하는 스트림 데이터 축소 연구는 데이터의 본질적인 특징보다 특정 축소 기법의 성능 향상 측면에 중점을 두고 있다. 이 논문은 계층/분산형 센서 네트워크 구조와 데이터 모델을 소개하고, 선택적으로 축소 기법을 적용하기 위해 데이터 특성과 사용자의 요구에 적합한 다변량 데이터 축소 기법을 비교 평가한다. 다변량 데이터 축소 기법의 성능을 비교 분석하기 위해, 우리는 웨이블릿, HCL(Hierarchical Clustering), SVD(Singular Value Decomposition), 샘플링과 같은 표준화 된 다변량 축소 기법을 이용한다. 실험 데이터는 다차원 시계열 데이터와 로봇 센서 데이터를 사용한다. 실험 결과 SVD와 샘플링 기법이 상대 에러 비율과 수행 성능 측면에서 웨이블릿과 HCL기법에 비해 우수하였다. 특히 각 데이터 축소 기법의 상대 에러 비율은 입력 데이터 특성에 따라 다르기 때문에 선택적으로 데이터 축소 기법을 적용하는 것이 좋은 성능을 보였다. 이 논문은 다차원 센서 데이터가 수집되는 센서 네트워크를 디자인하고 구축하는 응용 분야에 유용하게 활용될 것이다.

실시간 스트림 데이터 분석을 위한 시각화 가속 기술 및 시각적 분석 시스템 (Fast Visualization Technique and Visual Analytics System for Real-time Analyzing Stream Data)

  • 정성민;연한별;정대교;유상봉;김석연;장윤
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제22권4호
    • /
    • pp.21-30
    • /
    • 2016
  • 위험관리 시스템은 단 시간에 의사결정하기 위해 스트림 데이터를 실시간으로 분석 할 수 있어야 한다. 많은 데이터 분석 시스템은 CPU와 디스크 데이터베이스로 구성되어 있다. 하지만, cpu 기반 시스템은 스트림 데이터를 실시간으로 분석하는데 어려움이 있다. 스트림 데이터는 1ms부터 1시간, 1일까지 생성주기가 다양하다. 한 개의 센서가 생성하는 데이터는 작다. 하지만 수 만개의 센서가 생성하는 데이터는 매우 크다. 예를 들어 10만개 센서가 1초에 1GB 데이터를 생성한다면, CPU 기반 시스템은 이를 분석 할 수 없다. 이러한 이유로 실시간 스트림 데이터 분석 시스템은 빠른 처리 속도와 확장성이 필요하다. 본 논문에서는 GPU와 하이브리드 데이터베이스를 이용한 시각화 가속 기술을 제안한다. 제안한 기술을 평가하기 위해 우리는 지하 파이프라인에 설치된 센서와 트윗 데이터를 활용하여 실시간 릭 탐지 시각적 분석 시스템에 적용했다.

Data Source Management using weight table in u-GIS DSMS

  • Kim, Sang-Ki;Baek, Sung-Ha;Lee, Dong-Wook;Chung, Warn-Il;Kim, Gyoung-Bae;Bae, Hae-Young
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권2호
    • /
    • pp.27-33
    • /
    • 2009
  • The emergences of GeoSensor and researches about GIS have promoted many researches of u-GIS. The disaster application coupled in the u-GIS can apply to monitor accident area and to prevent spread of accident. The application needs the u-GIS DSMS technique to acquire, to process GeoSensor data and to integrate them with GIS data. The u-GIS DSMS must process big and large-volume data stream such as spatial data and multimedia data. Due to the feature of the data stream, in u-GIS DSMS, query processing can be delayed. Moreover, as increasing the input rate of data in the area generating events, the network traffic is increased. To solve this problem, in this paper we describe TRIGGER ACTION clause in CQ on the u-GIS DSMS environment and proposes data source management. Data source weight table controls GES information and incoming data rate. It controls incoming data rate as increasing weight at GES of disaster area. Consequently, it can contribute query processing rate and accuracy

  • PDF