• 제목/요약/키워드: 데이터 필터링

검색결과 991건 처리시간 0.031초

Esper 기반 실시간 필터링 시스템 (Esper-based Real-time Filtering System)

  • 박세빈;이상훈;문양세
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.552-555
    • /
    • 2016
  • 본 논문에서는 데이터 스트림 대상의 필터링 문제를 다룬다. 데이터 스트림은 지속적으로 생성되며, 크기 또한 거대해서 이를 실시간 처리하기 위해서는 분석에 불필요한 데이터를 충분히 필터링해야 한다. 하지만, 기존 필터링 알고리즘은 하나의 데이터 형식에만 사용이 가능하여 다양하고 복잡한 스트림 환경에서는 사용하기가 어렵다. 따라서, 본 논문에서는 이 같은 문제를 해결하기 위해 스트림 형식에 따라 필터링 알고리즘을 다양하게 선택할 수 있는 필터링 시스템을 제안한다. 그리고 실시간 필터링을 위해 대표적인 오픈소스 DSMS(data stream management system)인 에스퍼 기반으로 구현한다. 또한 웹 기반 클라이언트-서버 모델로 확장 구현하여 사용자가 언제 어디에서든 필터링 시스템을 사용할 수 있게 한다. 제안하는 에스퍼 기반 실시간 필터링 시스템은 데이터 스트림으로 실시간 데이터 스트림과 벌크 데이터 스트림을 지원한다. 그리고 필터링 알고리즘으로 질의 필터링, 블룸 필터링, 베이지안 필터링을 제공한다. 제안하는 필터링 시스템 구현 결과, 데이터 스트림 특성에 적합한 필터링 알고리즘을 선택적으로 제공함으로써, 사용자가 보다 정확하고 효율적으로 의미있는 데이터를 추출 가능하게 하였다.

센서태그 통합 데이터 필터링에 관한 연구 (Cooperative Data Stream Filtering for Sensor Tag)

  • 류승완;오슬기;박세권;오동옥
    • 한국통신학회논문지
    • /
    • 제36권8A호
    • /
    • pp.683-690
    • /
    • 2011
  • 센서 태그의 데이터는 태그 정보와 센싱 정보를 동시에 가지며 미들웨어 또는 상위 레벨에서의 필터링 및 가공이 필요하다는 특정을 가지고 있다. 기존의 필터링 알고리즘에서는 태그데이터와 센서 데이터를 각각 필터링하는 알고리즘이 주로 제안되었다. 그러나 센서 태그의 사용 요구는 점차 증가하고 있으며, 사용요구에 적합한 필터링을 위해서는 센싱 데이터와 RFID 데이터를 통합 처리할 수 있는 새로운 필터링 알고리즘이 필요하다. 본 논문에서 제안하는 필터링 알고리즘에서는 각 태그의 시간 축에 대한 필터링만을 고려하는 것이 아니라 공간적으로 근접한 태그의 데이터도 함께 고려하여 필터링하여 오류 및 이벤트 검출의 정확성을 향상시키고 데이터의 대표값 저장으로 데이터 저장에 필요한 비용을 감소시킬 수 있다.

실시간 RFID 미들웨어에서의 태그 데이터 고속 필터링 방법 (A method for high-speed event processing in the real-time RFID middleware systems)

  • 박미선;김용진;유민수
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 추계학술발표대회
    • /
    • pp.435-436
    • /
    • 2009
  • RFID 시스템의 미들웨어는 태그에서 생성된 방대한 양의 데이터를 리더를 통해 전달받는다. RFID 미들웨어는 이러한 데이터를 정제하여 응용 애플리케이션에 전달하는 기능을 담당한다. 하지만 태그 데이터 정제 과정에서 발생되는 지연 시간은 RFID 미들웨의 응답성을 저하시킨다. 본 논문은 EPCglobal 의 RFID 미들웨어 표준인 ALE 에 의거하여 태그 데이터에 대한 다수의 필터링 조건들이 주어진 RFID 미들웨어 환경에서 실시간으로 수집되는 대용량의 태그에 대한 고속 필터링 엔진을 설계한다. 이를 위하여 Intermediate node 들이 key 값을 저장하는 Binary Search Tree 형태를 구성하여 태그를 필터링하는 방법을 제안한다. 결과로써 기존의 순차적인 RFID 데이터 필터링에 비해 고속의 필터링 성능을 보이며 특히 필터의 수가 증가할수록 필터링의 효율이 높아짐을 보인다.

센서 네트워크에서 계층적 필터링을 이용한 에너지 절약 방안 (An Energy Saving Method using Hierarchical Filtering in Sensor Networks)

  • 김진수
    • 한국산학기술학회논문지
    • /
    • 제8권4호
    • /
    • pp.768-774
    • /
    • 2007
  • 본 논문에서는 센서 네트워크의 수명을 길게 하기 위해 각 센서 및 클러스터 헤드에서의 데이터 전송량을 줄이기 위한 방법을 제안한다. 즉, 센서의 에너지 소모를 줄이기 위해 계층적 필터링을 제안한다. 계층적 필터링이란 센서 네트워크를 두 계층으로 나누어 필터링하는 것이다. 1계층 필터링은 클러스터 멤버에서 클러스터 헤드로 데이터를 전송시 필터링을 수행하고, 2계층 필터링은 클러스터 헤드에서 기지국으로 데이터를 전송시 필터링을 수행한다. 이는 일반적으로 필터의 폭을 넓혀 필터링을 많이 하는 것보다 필터링 효율은 증대시키면서 필터링에 따른 데이터 부정확성을 최소한 줄이는 효과를 가진다.

  • PDF

무선 센서 네트워크 모니터링 시스템을 위한 데이터 통계 분석 기반 데이터 필터링 기법 (Data Statical Analysis based Data Filtering Scheme for Monitoring System on Wireless Sensor Network)

  • 이현조;최영호;장재우
    • 한국콘텐츠학회논문지
    • /
    • 제10권3호
    • /
    • pp.53-63
    • /
    • 2010
  • 최근 무선 센서 네트워크를 활용한 다양한 모니터링 시스템 구축이 활발히 이루어지고 있다. 무선 센서네트워크 기반 모니터링 시스템 구축을 위해서, 세 가지 사항을 고려해야 한다. 첫째, 지속적인 모니터링을 위해서, 노드 실패 감지 기법이 요구된다. 둘째, 센서노드는 제한된 배터리 용량을 지니기 때문에, 에너지 소모량 감소를 위한 효율적인 데이터 필터링 기법이 요구된다. 마지막으로 데이터 필터링 수행 시, 계산오버헤드를 감소시키는 기법이 필요하다. 기존 칼만 데이터 필터링 기법은 우수한 필터링 성능을 나타내는 반면, 데이터 예측값 계산과정이 복잡하여 센서 노드에서의 계산 오버헤드가 증가하는 단점이 존재한다. 이러한 문제점들을 해결하기 위하여 본 논문에서는 데이터 통계 분석 기반 데이터 필터링 기법을 제안한다. 제안하는 기법은 첫째, 노드 실패 감지를 지원하기 위해, 주기적으로 노드 생존 메시지를 수집한다. 둘째, 불필요한 전송 메시지 수 감소를 위하여 샘플 데이터를 노드 생존 메시지에 포함하여 전송하고, 수집된 샘플 데이터 집합을 바탕으로 데이터 필터링을 수행한다. 마지막으로, 서버에서 데이터 통계 분석을 이용한 데이터 필터링 범위를 계산하기 때문에, 센서에서는 단순 비교연산만을 수행함으로써 센서 노드에서의 계산 오버헤드를 감소시킨다. 아울러 성능 분석을 통해 제안하는 기법이 기존 칼만 필터링 기법보다 전송 메시지 수 측면에서 성능이 우수함을 보인다.

개인화된 상품추천을 위한 협동적 필터링에서의 데이터 선정과 추천 성과간의 관계 (Relationship between Data Selection and Prediction Performance in Collaborative Filtering)

  • 이홍주;김종우;박성주
    • 한국경영과학회:학술대회논문집
    • /
    • 대한산업공학회/한국경영과학회 2004년도 춘계공동학술대회 논문집
    • /
    • pp.347-350
    • /
    • 2004
  • 전자상거래와 고객관계관리에서 고객의 개인화를 위해 사용되는 협동적 필터링 방안은 고객이 상품에 대해 표시한 선호도에 기반을 두어 선호도가 유사한 사용자를 찾고, 유사한 사용자의 선호도를 활용하여 추천할 상품을 선정하는 방안이다. 고객간의 유사도 계산과 상품에 대한 선호도 계산을 위한 다양한 방안들의 계산식에 대해서는 명확하게 정의되어 있으나, 이에 활용되는 데이터의 선정에 대해서는 명확한 규정이나 가이드라인이 존재하지 않는다. 즉, 몇 번 이상의 선호도를 표시한 사용자를 대상으로 추천을 수행할 것인지, 혹은 몇 번 이상 선호도가 표시된 상품을 추천에 활용할 것인지와 같은 데이터 선정에 활용되는 계수와 협동적 필터링의 추천 성과간의 관계에 대한 연구는 아직 부족하다. 본 연구에서는 협동적 필터링의 연구에 많이 활용되는 EachMovie 데이터를 가지고 협동적 필터링의 계수와 추천 성과간의 관계에 대해 실험적으로 연구하였다. 첫 번째는 몇 번 이상 선호도를 표시한 사용자를 협동적 필터링에 활용하는 것이 추천 성과를 높일 수 있는지에 대해 연구하였으며, 두 번째는 몇 번 이상 선호도가 표시된 상품을 고객에게 추천하는 것이 협동적 필터링의 추천 성과를 높일 수 있는가에 대한 연구를 수행하였다. 계수와 추천 성과간의 관계에 대한 두 가지 실험에서 선호도 표시의 한계가치(marginal value)가 점진적으로 감소하는 것을 볼 수 있었다. 본 연구의 결과는 협동적 필터링의 수행을 위한 효과적인 데이터의 선정에 도움을 줄 수 있을 것이다.

  • PDF

RFID 데이터 스트림의 효율적인 필터링 기법 (Efficient Filtering Method for RFID Data Streams)

  • 윤홍원
    • 한국콘텐츠학회논문지
    • /
    • 제7권10호
    • /
    • pp.27-35
    • /
    • 2007
  • RFID 기술은 객체의 추적이나 SCM 시스템에서 중요한 역할을 하고 있으며 RFID 응용에서는 새로운 데이터 관리 방법을 필요로 하고 있다. RFID 데이터는 자동으로 빠르게 생성되며 객체의 실시간 모니터링이나 추적에 사용되고 있다. 이러한 RFID 응용의 대부분은 이벤트가 발생할 때 타임스탬프를 가지는 특성이 있다. 본 논문에서는 RFID 객체를 모니터링하고 상태 변화의 이력을 관리하기 위하여 시간지원 RFID 데이터 모델을 제시하고 이 모델에 기반을 둔 비활성 데이터의 필터링 기법을 제안하다. 제안한 시간지원 RFID 데이터 모델은 RFID 객체를 모니터링할 수 있는 핵심 연산을 포함하고 있으며, 비활성 데이터의 필터링 기법을 통하여 질의 처리의 속도가 향상됨을 보였다.

센서 네트워크에서 계층적 필터링을 이용한 에너지 효율적인 데이터 집계연산 (An Energy-Efficient Data Aggregation using Hierarchical Filtering in Sensor Network)

  • 김진수;박찬흠;김종근;강병욱
    • 한국컴퓨터정보학회논문지
    • /
    • 제12권1호
    • /
    • pp.73-82
    • /
    • 2007
  • 본 논문에서는 연속질의에 대한 집계연산을 수행할 때, 센서 네트워크의 수명을 길게 하기 위해 각 센서 및 클러스터 헤드에서의 데이터 전송량을 줄이기 위한 방법을 제안한다. 센서의 에너지 소모를 줄이는 가장 중요한 요소는 전승되는 메시지 수를 줄이는 것이다. 본 논문에서 제안하는 방법은 기본적으로 클러스터링, 네트워크 내 집계 및 계층적 필터링을 결합한 것이다. 계층적 필터링이란 센서 네트워크를 두 계층으로 나누어 필터링하는 것이다. 1계층 필터링은 클러스터 멤버에서 클러스터 헤드로 데이터를 전송시 필터링을 수행하고, 2계층 필터링은 클러스터 헤드에서 기지국으로 데이터를 전송시 필터링을 수행한다. 이 방법은 기존의 데이터 필터링 방법보다 더 효율적이고 효과적인 방법이다. 다양한 실험을 통해서, 제안한 방법이 다른 방법들보다 더 많은 메시지를 줄이고. 네트워크의 생존기간이 더 증가하였음을 보여준다.

  • PDF

XML 필터링을 위한 WFilter(Weighted Filter) (WFilter (Weighted Filter) for XML filtering)

  • 최정필;최오훈;백두권
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (3)
    • /
    • pp.253-255
    • /
    • 2003
  • XML 문서를 비롯하여 인터넷을 통해 교환되는 문서의 비약적인 증가로 인하여, 불필요한 문서에 대한 필터링 및 문서 내의 데이터를 필터링하여 정보를 선택적으로 사용하고자 하는 사용자의 요구가 증대되었다. 기존 XML 필터링 방식은 질의 구조에 의존적이기 때문에, 질의 증가에 따른 필터링 인덱스 구성 및 유지의 문제점을 야기할 수 있다. 본 논문에서는 정보 추출 분야에서 널리 사용되는 단어 벡터의 개념을 사용하여 선택적으로 질의에 가중치를 주어 데이터를 효율적으로 추출할 수 있는 XML WFilter (Weighted Filtering) 기법을 제안한다.

  • PDF

실시간 영상의 이동 객체 데이터 변화율을 이용한 에러 필터링 기술 (Error filtering technology using change rate of moving object data in real-time video)

  • 윤경호;김단희;이원석
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2019년도 제59차 동계학술대회논문집 27권1호
    • /
    • pp.155-158
    • /
    • 2019
  • 최근 지능형 CCTV 관제 시스템에 대한 수요가 증가하고 있다. CCTV 영상 데이터의 양이 폭발적으로 증가하고 있어 이를 분석하기 위한 기술의 발전이 필요한 실정이다. 대부분의 지능형 CCTV 관제 시스템은 영상 속 객체를 찾고 이 객체의 메타데이터를 통해 지능형 관제 시스템을 수행한다. 하지만 영상 속 객체의 로그가 항상 정확하지 않다. 현재의 객체 인식 기술로는 CCTV 영상의 밝기, 해상도 조건에 따라 성능의 차이가 심하고, 영상의 프레임 대비 빠르게 움직인 CCTV 영상 속 모든 객체를 사람이 인식하는 정도로 인식하기 어렵다. 이러한 이동 객체의 크기, 위치를 분석한 메타데이터에는 에러가 포함되기 쉽다. 본 논문에서는 지능형 CCTV 관제 시스템에서 분석한 영상 속 객체의 프레임 메타데이터 에러를 학습기반 실시간 에러 필터링 알고리즘을 통해 개선하여 에러가 필터링된 데이터를 사용하는 지능형 관제 시스템의 정확도 향상에 기여 할 것을 기대한다.

  • PDF