• Title/Summary/Keyword: 데이터스트림 관리시스템

검색결과 91건 처리시간 0.029초

센서 네트워크에서의 불완전 스트림데이터를 위한 효율적인 스트림 데이터 관리 시스템 (An Effective Stream Data Management System for the Incomplete Stream Data on Sensor Network)

  • 박은지;변정우;최다솜;김진한;오염덕
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제49차 동계학술대회논문집 22권1호
    • /
    • pp.125-126
    • /
    • 2014
  • 센서 스트림 데이터는 센서 네트워크를 통해 수집되는 데이터로 실시간 처리를 요구하며, 연속적으로 끊임없이 발생하는 스트림 데이터이다. 이러한 스트림 데이터는 양이 방대하여 이를 저장하기가 매우 어려우며, 동시에 데이터를 검색하는 데에는 많은 시간이 소요된다. 본 논문에서는 센서 네트워크에서의 효율적인 스트림 데이터 처리 시스템을 제안한다. 이 시스템은 캐시테이블을 사용함으로써 데이터베이스에 최소화된 접근으로 데이터 스트림 관리 시스템의 성능을 개선하였다. 그리고 센서 네트워크에서 읽어 들여온 불완전 데이터를 효율적으로 정제하고 상위 단계로 전송한다.

  • PDF

DBMS와 결합된 데이터스트림관리시스템을 위한 성능 평가 도구 개발 (Development of the Performance Benchmark Tool for Data Stream Management Systems Combined with DBMS)

  • 김경배
    • 한국컴퓨터정보학회논문지
    • /
    • 제15권8호
    • /
    • pp.1-11
    • /
    • 2010
  • 데이터스트림 관리시스템(DSMS)의 많은 응용분야에서는 단순한 실시간 스트림 데이터의 효율적인 처리뿐만 아니라 기존의 DBMS와 결합하여 데이터마이닝이나 데이터웨어하우징 같은 고급 서비스를 사용자에게 제공하는 것을 요구하고 있다. 본 논문에서는 고급 서비스를 위하여 DSMS와 DBMS를 결합한 시스템의 성능평가를 위한 도구를 개발하였다. 기존 연구 개발된 대표적인 DSMS와 DBMS를 결합하여 네트워크 모니터링 스트림 데이터를 기반으로 통합된 시스템의 성능평가를 수행하였다. 통합된 시스템의 평가를 위하여 JAVA로 통합 시스템 성능 평가 툴을 개발하였으며, 개발 된 툴을 이용하여 DSMS(STREAM, Coral8)와 DBMS(MySQL, Oracle10g)를 결합한 시스템의 성능평가를 수행하였다

이관 관리 프로세스 개선을 위한 메타데이터 관리시스템 구현 및 테스트 (Implementation and Test Meta Data Management System for Transformation Managing Process Enhancement)

  • 양승연;박석천;이영상;이상화;김기태
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.1252-1255
    • /
    • 2013
  • 오늘날 급변하는 IT 환경에 신속하게 대응하기 위한 기업의 데이터 관리시스템의 중요성이 강조되고 있다. 특히, 최근에는 기업의 시스템이 복잡해지고 데이터의 규모가 점점 대형화 되면서 기업들은 데이터 관리를 위해 메타데이터 관리시스템의 활용이 증가하고 있다. 하지만 현재 도입되는 메타데이터 관리시스템은 테이블 이관 시 모델과 실제 데이터베이스 사이의 정합성을 유지하기 위해 불필요한 반복적인 프로세스를 수행해야 하는 문제점을 가진다. 따라서 본 논문에서는 이러한 문제점을 해결하기 위하여 이관관리 프로세스 개선을 위한 메타데이터 관리시스템을 구현하고 테스트 하였다.

새만금 Smart City 기반 Geosensor 스트림 데이터 관리 시스템 구현 (Implement of Geosensor Stream Data Management System based on Smart City in Saemangum)

  • 문영채;백정호;강풍성;이홍로
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 추계학술발표대회
    • /
    • pp.1399-1401
    • /
    • 2010
  • 본 연구는 새만금과 새만금 주변에서 Geosensor 스트림 데이터 측정을 위해 대기관련 센서들로 3개의 클러스터를 구성하고, 수질관련 센서들로 하나의 클러스터를 구성하여 Geosensor 네트워크를 구축하였다. 각 클러스터로부터 5분 단위로 수집된 센서 스트림 데이터를 시스템에 전송하고, 시스템에서는 수신된 스트림 데이터를 분석 및 처리하여 DB에 저장한다. 본 연구에서는 Geosensor 데이터 가공 처리 및 저장, Geosensor 관리, 상황정보 관리, Geosensor 스트림 데이터와 GIS 연동 기능을 포함한 시스템을 개발하고자 한다.

대용량 데이터스트림 실시간 압축 저장을 위한 저장관리자 설계 및 구현 (Design and Implementation of Storage Manager for Real-Time Compressed Storing of Large Volume Datastream)

  • 이동욱;백성하;김경배;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권3호
    • /
    • pp.31-39
    • /
    • 2009
  • 유비쿼터스 환경에서 발생하는 실시간 데이터스트림의 처리 및 관리에 대한 요구사항이 증가되고 있다. 특히 인터넷 보안, 공장 자동화 기기설비 관리 등에서 발생하는 데이터스트림은 대용량 데이터가 실시간으로 발생하는 특징을 가지고 있어 이를 처리하기 위한 특화된 DSMS의 저장관리자의 개발이 요구된다. Coral8과 같은 기존의 DSMS의 경우 일반적인 데이터스트림의 처리가 가능 하지만 초당 10만 건 이상의 대용량의 실시간 데이터스트림이 발생하는 특수한 상황의 경우 이에 대한 처리 성능이 부족하며, 이에 대한 저장이 불가능하다. 관련 분야에서 일반적으로 사용되는 오라클10g의 경우 저장, 관리 성능은 우수하지만 실시간 데이터스트림 처리에 대한 고려가 되어 있지 않다. 본 논문에서는 삼성전자, 하이닉스, HP 등에 반도체, LCD 제조공장의 생산 기계에서 발생하는 대용량 데이터스트림을 실시간 압축 저장이 가능한 DSMS 저장관리자를 설계 및 구현하였다. 본 문에서는 시스템의 구조 및 주요 컴포넌트에 대해 설명하며, 관련시스템과 비교 평가를 통해 제안 시스템의 우수성을 보인다.

  • PDF

스냅샷을 사용하는 다중 레벨 공간 DBMS를 가지는 효율적인 센서 미들웨어 구조 설계 (Efficient Sensor Middleware Architecture on Multi Level Spatial DBMS with Snapshot)

  • 오은석;김호석;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 춘계학술발표대회
    • /
    • pp.19-22
    • /
    • 2006
  • 최근 들어, 모든 장소에 컴퓨터가 있고 그것을 누구나 자유롭게 사용할 수 있는 인간 중심 유비쿼터스 환경에 대한 연구가 활발하게 진행되고 있다. 그러나 이러한 컴퓨팅 환경에서의 센서 미들웨어들은 연속적인 스트림 데이터 처리에 대한 막대한 비용을 줄이기 위해서 분석이 끝난 스트림 데이터를 삭제한다. 따라서 사용자의 서비스에 삭제된 스트림 데이터가 요구될 경우, 또는 과거 데이터들에 대한 확률 통계 정보가 요구될 경우, 이에 대한 서비스를 사용자에게 제공할 수 없다. 본 논문에서는 이러한 미들웨어에서의 스트림 데이터 재사용 문제를 해결하기 위해서 스냅샷을 가지는 다중 레벨 공간 DBMS를 기반으로 하는 효율적인 센서 데이터 미들웨어 구조를 설계하였다. 본 시스템은 사용자에게 재사용될 가치가 높은 스트림 데이터들을 다중 레벨 공간 DBMS 의 디스크 데이터베이스에서 관리한다. 또한 빈번한 서비스를 가지는 스트림 데이터의 경우 해당 스트림 데이터를 메모리 데이터베이스에 관리함으로서 사용자에게 신속한 서비스를 제공한다. 본 시스템은 기존의 미들웨어에서 지원할 수 없었던 동일한 스트림 데이터에 대한 빈번한 요청, 또는 확률이나 통계 자료와 같은 데이터 서비스 요청 문제들을 해결하였다. 그리고 메인 메모리 데이터베이스에 스냅샷 형태로 저장되는 스트림 데이터의 높은 데이터 재사용성을 유지함으로서, 사용자에게 지속적으로 정확하고 신속한 데이터 서비스를 제공한다.

  • PDF

메타데이터 관리시스템의 이관 관리 프로세스 개선을 위한 테이블 형상 비교 알고리즘 설계 (Design of Table Shape Comparison Algorithm for Improvement of Transformation Managing Process in Meta Data Management System)

  • 양승연;박석천;문승식;이진희;인태환
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.1222-1225
    • /
    • 2013
  • 오늘날 기업의 시스템은 훨씬 복잡해지고 다루는 데이터의 규모는 점점 대형화됨에 따라 환경 변화에 기업이 대응하기가 어려워지고 있다. IT 환경의 변화에 기업이 대응하기 위해서는 메타데이터 관리시스템의 기능을 개선할 필요가 있다. 본 논문에서는 데이터 모델링에 대한 새로운 요구사항을 신속히 반영하기 위해서 모델의 변경 이력을 참조하지 않고 이관해야 할 목표 데이터베이스의 테이블의 형상을 비교하여 이관 관리 프로세스를 향상시킨 알고리즘을 설계하였다. 본 논문서 설계한 알고리즘을 통해 모델의 변경 이력을 참조할 경우 발생하는 데이터베이스 변경의 처리 횟수를 줄임으로써 프로세스 개선의 효과를 기대할 수 있는 알고리즘을 제시하였다.

데이터 스트림에서 연속질의 처리를 위한 큐 메모리 관리 기법 (Queue Memory Management Method for Continuous Query Processing in Data Stream)

  • 신재완;신숭선;이동욱;김경배;배해영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2008년도 한국컴퓨터종합학술대회논문집 Vol.35 No.1 (C)
    • /
    • pp.179-183
    • /
    • 2008
  • 연속적이고 무한히 발생되는 데이터 스트림을 관리하는 데이터 스트림 관리시스템(DSMS)은 연속질의를 이용하여 스트림을 처리한다. 연속질의는 질의 별로 독립적인 큐를 유지하기 때문에 질의 개수가 증가함에 따라서 메모리 비용이 증가되며, 잦은 메모리 할당으로 인한 시스템의 성능 저하를 갖는다. 이러한 문제점을 해결하기 위한 기존의 연구로 메모리 풀을 이용한 메모리 관리 기법이 있다. 하지만 페이지의 크기가 고정되어 있기 때문에 각 질의마다 필요로 하는 데이터 스트림의 최적의 크기에 적합하게 할당되지 못하여 메모리를 낭비하는 문제점이 있다. 본 논문에서는 이러한 문제를 해결하기 위해 연속질의 처리를 위한 큐 메모리 관리 기법을 제안한다. 제안기법은 큐 관리 테이블에서 관리하는 각각의 큐 메모리들을 타임스탬프를 가지고 일정한 기간을 주기로 큐 메모리의 사용량을 분석한다. 분석된 큐 메모리들은 이전의 큐 메모리의 사용량과 현재 사용된 큐 메모리의 사용량을 비교함으로써 상한 값과 하한 값을 구함으로써 현재 큐 메모리에서 가지고 있는 사용량을 추가할 것인지, 줄일 것인지를 판단하여, 메모리의 사용량을 최적화 함으로써 시스템의 메모리 가용성을 향상한다. 제안 기법은 성능평가를 통해 메모리의 가용성이 기존의 방식에 비하여 향상된 성능을 보인다.

  • PDF

실시간 헬스케어 시스템을 위한 데이터 스트림 서버의 설계 및 구현 (The Design and Implementation of the Real-time Data Stream Server for Continuity of Care Record)

  • 오택군;이연;배해영
    • 한국컴퓨터정보학회논문지
    • /
    • 제16권12호
    • /
    • pp.71-81
    • /
    • 2011
  • 스마트폰 기반 개인 전자의료기록 관리 서비스는 병원과 의사와 환자가 병력을 공유하고 조회하여 환자의 병력을 효과적으로 관리하여 진단 효율을 높이는 서비스이다. 그러나 이런 전자의료기록 관리 서비스에서 발생되는 데이터는 도시와 같은 큰 범위의 모든 환자들의 병력 데이터를 전통 데이터베이스 관리시스템(DBMS)을 사용해 처리할 경우 빈번하게 발생하는 질의 처리 요청 등의 원인으로 병목현상이 발생 할 수 있어 실시간 데이터 스트림의 처리를 지원하는 데이터 스트림 관리시스템(Data Stream Management System)에 대한 연구가 진행되고 있다. 본 논문에서는 시스템 구조 및 연속 질의 처리기와 CCR 데이터 구조를 포함한 CCR 데이터 스트림 서버 시스템을 제안한다. 제안 시스템은 실시간적으로 발생하는 CCR 데이터 스트림을 처리 및 모니터링 하기 위한 시스템으로 사용자의 CCR 데이터 이력데이터에 대한 조회 및 실시간으로 발생하는 CCR 데이터에 대한 연속질의를 지원한다. 또한 개인 건강 정보는 지리적으로 떨어져 있는 헬스케어 프로바이더 사이에서 공유되어 환자의 병원이력정보를 관리한다. 또한 본 논문에서는 제안시스템에 기반한 아이폰 헬스케어 응용어플리케이션을 설계 및 개발하여 제안 시스템의 설계와 구축과정 및 성능을 보여준다.

RTLS를 위한 위치 데이터 스트림 처리기 개발 (Development of Location Data Stream Processor for RTLS)

  • 이승철;홍봉희;김기홍;박재관
    • 한국공간정보시스템학회:학술대회논문집
    • /
    • 한국공간정보시스템학회 2007년도 GIS 공동춘계학술대회 논문집
    • /
    • pp.15-20
    • /
    • 2007
  • 최근 항만 물류 및 자산 관리 분야에서 실시간 위치 정보를 처리하는 RTLS(Real Time Locating System)시스템이 도입되고 있다. 이러한 시스템에서 RTLS 서버는 태그를 부착한 이동 객체들의 위치 데이터 스트림을 일정 시간 동안 수집하여 애플리케이션으로 전달한다. 이 때 위치 정보는 전파 굴절 현상으로 인해 오차가 발생하며, 이동 객체에 부착된 태그는 수 초 마다 위치 정보를 보고하기 때문에 시스템의 과부하를 초래하게 된다. 본 논문에서는 표준과의 호환성을 고려하고, 요구사항을 반영한 위치 데이터 스트림 처리기를 설계 및 개발하였다. RTLS 시스템의 전파 굴절 현상으로 야기되는 비정상적인 위치 오차를 보정하기 위해 맵 매칭 기법을 도입하여 위치 데이터 스트림의 신뢰성을 제공하며, 위치 변화가 없는 객체의 위치 데이터 스트림을 빠르게 정제하는 정지 상태 제거 필터를 개발하여 질의 처리 시 부하를 줄인다. 또한 각 애플리케이션의 질의 결과에 무의미한 위치 정보를 배제하는 중요 위치 수집기를 개발하여 시스템 성능을 향상시킨다.

  • PDF