• 제목/요약/키워드: 데이터 필터 기법

검색결과 602건 처리시간 0.034초

무선 센서 네트워크에서 우선순위 필터링을 이용한 스카이라인 질의 처리 기법 (Priority Filtering-based Skyline Query Processing in Wireless Sensor Networks)

  • 성동욱;여명호;박준호;유재수
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 추계학술발표대회
    • /
    • pp.393-396
    • /
    • 2008
  • 센서 네트워크에서 병합 질의를 효율적으로 처리하기 위한 다양한 인-네트워크 질의 처리 기법이 제안되었다. 스카이라인 질의는 일반적인 병합 질의와 달리 다차원 데이터에 대한 비교를 요구하므로 인-네트워크 처리가 쉽지 않다. 스카이라인 질의를 에너지 효율적으로 처리하기 위해서 불필요한 데이터의 전송을 제거하는 것이 중요하다. 기존에 제안된 스카이라인 처리 기법은 전체 네트워크에 필터를 배포함으로써 불필요한 데이터 전송을 차단한다. 하지만 많은 False Positive 발생에 따른 불필요한 데이터 전송과 필터 배포시 발생하는 에너지 소모로 인해 네트워크의 수명이 단축된다. 본 논문에서는 필터 배포에 따른 에너지 소모를 줄이기 위한 방법으로 상향식 필터 설정을 통한 스카이라인 질의 처리 기법과 필터링 성능을 향상시키는 기법을 제안한다. 제안하는 기법은 데이터를 수집하는 과정에서 스카이라인 필터테이블(SFT)설정하는 상향식 필터링을 수행한다. 그리고 선-필터링(Pre-filtering) 기법을 통해 필터효과를 증가시킨다. 제안하는 알고리즘의 우수성을 보이기 위해 시뮬레이션을 통해 기존에 제안된 MFTAC기법과 비교하였으며, 그 결과 평균 False Positive가 평균 84.44% 감소하였고, 네트워크 수명이 약 75.99% 증가하였다.

무선 센서 네트워크 모니터링 시스템을 위한 데이터 통계 분석 기반 데이터 필터링 기법 (Data Statical Analysis based Data Filtering Scheme for Monitoring System on Wireless Sensor Network)

  • 이현조;최영호;장재우
    • 한국콘텐츠학회논문지
    • /
    • 제10권3호
    • /
    • pp.53-63
    • /
    • 2010
  • 최근 무선 센서 네트워크를 활용한 다양한 모니터링 시스템 구축이 활발히 이루어지고 있다. 무선 센서네트워크 기반 모니터링 시스템 구축을 위해서, 세 가지 사항을 고려해야 한다. 첫째, 지속적인 모니터링을 위해서, 노드 실패 감지 기법이 요구된다. 둘째, 센서노드는 제한된 배터리 용량을 지니기 때문에, 에너지 소모량 감소를 위한 효율적인 데이터 필터링 기법이 요구된다. 마지막으로 데이터 필터링 수행 시, 계산오버헤드를 감소시키는 기법이 필요하다. 기존 칼만 데이터 필터링 기법은 우수한 필터링 성능을 나타내는 반면, 데이터 예측값 계산과정이 복잡하여 센서 노드에서의 계산 오버헤드가 증가하는 단점이 존재한다. 이러한 문제점들을 해결하기 위하여 본 논문에서는 데이터 통계 분석 기반 데이터 필터링 기법을 제안한다. 제안하는 기법은 첫째, 노드 실패 감지를 지원하기 위해, 주기적으로 노드 생존 메시지를 수집한다. 둘째, 불필요한 전송 메시지 수 감소를 위하여 샘플 데이터를 노드 생존 메시지에 포함하여 전송하고, 수집된 샘플 데이터 집합을 바탕으로 데이터 필터링을 수행한다. 마지막으로, 서버에서 데이터 통계 분석을 이용한 데이터 필터링 범위를 계산하기 때문에, 센서에서는 단순 비교연산만을 수행함으로써 센서 노드에서의 계산 오버헤드를 감소시킨다. 아울러 성능 분석을 통해 제안하는 기법이 기존 칼만 필터링 기법보다 전송 메시지 수 측면에서 성능이 우수함을 보인다.

셀 기반 필터링 방법을 이용한 고차원 색인 기법 (A High-dimensional Indexing Scheme using Cell-based Filtering Technique)

  • 장재우;한성근;김현진
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제28권2호
    • /
    • pp.204-216
    • /
    • 2001
  • 최근 이미지 특징 벡터와 같은 고차원 벡터 데이터에 관한 색인 기법들이 많이 연구되고 있다. 하지만, 기존의 색인 기법들은 저차원의 데이터에 대해서는 검색 성능이 우수하지만, 차원이 증가함에 따라 검색 성능이 급격히 저하되는 'dimensional curse' 문제를 안고 있다. 따라서, 본 논문에서는 이러한 문제점을 최소화하기 위해 필터링을 이용한 새로운 색인 기법을 제안한다. 제안하는 셀 기반 필터링 기법은 셀 중심에서 객체까지의 거리값을 저장하여 필터링 효과를 증대시킨다. 또한 고차원 공간을 셀 단위로 분할하며, 각각의 셀을 시그니쳐로 표현한다. 검색을 수행하기 위해, 셀 기반 필터링 기법은 데이터 파일을 직접 접근하기 전에 전체 시그니쳐들을 탐색하여 필터링을 수행함으로써 후보 셀들을 얻는다. 성능 실험을 통해 제안하는 기법이 VA-파일보다 검색 시간에 있어서 약 20%의 성능 향상을 보인다.

  • PDF

LIDAR 데이터를 이용한 DEM 생성 기법에 관한 연구 (A Study on the technique of DEM Generation from LiDAR Data)

  • 이정호;유기윤
    • 한국공간정보시스템학회:학술대회논문집
    • /
    • 한국공간정보시스템학회 2004년도 국내 LBS 기술개발 및 표준화 동향세미나
    • /
    • pp.125-131
    • /
    • 2004
  • LiDAR 데이터의 필터링은 원 데이터로부터 건물, 수목 등과 같은 비지면점을 제거하는 과정이며, 이러한 필터링을 통해 DEM을 생성할 수 있다. 대표적인 필터링 방법들로는 분산을 이용한 linear prediction 기법, 주변 점들과의 경사관계를 이용한 slope-based 기법, morphology 필터, local maxima 필터 등이 있으며 이러한 기존의 기법들의 단점을 보완하기 위한 연구가 활발히 진행되고 있다. 대부분의 필터링 기법들은 필터의 크기(윈도우의 크기)와 같은 인자를 대상 지역에 적합하게 사용자가 직접 설정해주어야 한다. 더욱이 복잡한 지형, 지물이 존재하는 지역에 적용하기 위해서는 인자를 변형시켜줘야 하며 특히, 다양한 크기의 건물이 존재하는 지역에 대하여 적용하기 위해서는 가변적인 크기의 필터가 필요하다. 이에 본 논문에서는 다양한 크기의 건물이 존재하는 지역에 대하여 필터의 크기를 변화시키지 않고 필터링을 수행할 수 있는 연산기법을 제안하였다. 본 연구에서는 수목이나 자동차 등과 같은 작은 개체의 제거를 위해 고정된 작은 크기의 윈도우를 가지는 모폴로지 필터를 우선 적용한다. 그 후 건물과 같은 큰 개체의 포인트는 이웃 포인트와의 고도차이를 이용하여 인식하고 이웃에 위치하는 지면 포인트로 대체하며, 갱신된 값이 바로 다음 연산에 반영 되도록 한다. 또한 상, 하, 좌, 우 네 방향에 대하여 라인별로 독립된 연산을 수행한 후에 이들을 비교함으로써 오차를 보정한다.

  • PDF

PBFiltering: 무선 센서 네트워크에서 우선순위 기반 상향식 필터링을 이용한 에너지 효율적인 스카이라인 질의 처리 기법 (PBFiltering: An Energy Efficient Skyline Query Processing Method using Priority-based Bottom-up Filtering in Wireless Sensor Networks)

  • 성동욱;박준호;김학신;박형순;노규종;여명호;유재수
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제36권6호
    • /
    • pp.476-485
    • /
    • 2009
  • 센서 네트워크에서 병합 질의를 효율적으로 처리하기 위한 다양한 인-네트워크 질의 처리 기법들이 제안되었다. 스카이라인 질의는 일반적인 병합 질의와 달리 다차원 데이터에 대한 총괄적인 비교를 요구한다. 따라서, 부분적인 데이터만을 이용할 수 있는 인-네트워크 방식으로 처리하기 어렵다. 스카이라인 질의를 에너지 효율적으로 처리하기 위해서 불필요한 데이터의 전송을 제거하는 것이 중요하다. 기존에 제안된 스카이라인 처리 기법은 전체 네트워크에 필터를 배포함으로써 불필요한 데이터 전송을 차단한다. 하지만 많은 긍정 오류(False Positive) 발생에 따른 불필요한 데이터 전송과 필터 배포시 발생하는 에너지 소모로 인해 네트워크의 수명이 단축된다. 본 논문에서는 필터 배포에 따른 에너지 소모를 줄이기 위한 방법으로 상향식 필터 설정을 통한 스카이라인 질의 처리 기법과 필터링 성능을 향상시키는 PBFiltering 기법을 제안한다. 제안하는 기법은 필터를 미리 배포하지 않고 하위 노드로부터 기지국으로 데이터를 수집하는 과정에서 스카이라인 필터 테이블(SFT)을 만들고 필터링을 수행한다. 그리고 여기서 제안하는 우선순위 맵을 이용한 선 필터링(Pre-filtering) 기법을 통해 필터링 효율을 증가시킨다. 제안하는 알고리즘의 우수성을 보이기 위해 기존에 제안된 MFTAC 기법과의 시뮬레이션을 통해 비교 평가하였다. 그 결과 기존 기법에 비해 다수의 긍정 오류의 발생을 감소시키고, 네트워크 수명이 연장됨을 보였다.

카운팅 블룸필터를 이용한 SSD 기반의 디렉토리 탐색 기법 (An SSD-Based Directory Parsing with the Counting Bloom Filter)

  • 김만윤;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
    • /
    • pp.347-349
    • /
    • 2014
  • 데이터의 폭발적인 증가로 우리는 빅데이터 시대를 맞이하게 되었다. 빅데이터의 파일 시스템 내에는 아주 큰 트리구조로 이루어진 디렉토리와 파일이 무수히 존재한다. 이 커다란 트리구조에서 사용자가 요청하는 디렉토리와 파일을 탐색하는 것은 매우 어려운 작업이다. 이에 우리는 카운팅 블룸필터를 이용한 디렉토리 탐색 기법을 제시한다. SDP(SSD-based Directory Parsing)는 최근 또는 자주 액세스한 디렉토리와 파일의 메타데이터를 보관하는 SSD 기반의 캐시이다. 대규모 파일 시스템에서 사용자가 파일을 요청했을 때 파일 시스템은 저장 장치에 메타데이터를 검색하기 위해 여러 번 액세스한다. 이러한 비효율적인 SSD에 대한 액세스를 방지하기 위해 카운팅 블룸필터를 이용하여 메타데이터를 빠르고 효율적으로 검색하는 기법을 제시한다.

  • PDF

무선 센서 네트워크 환경에서 에너지 효율적인 연속 스카이라인 질의 처리기법 (An Energy Efficient Continuous Skyline Query Processing Method in Wireless Sensor Networks)

  • 성동욱;여명호;유재수
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제15권4호
    • /
    • pp.289-293
    • /
    • 2009
  • 센서 네트워크에서 병합 질의를 효율적으로 처리하기 위한 다양한 인-네트워크 질의 처리 기법이 제안되었다. 스카이라인 질의는 일반적인 병합 질의와 달리 다차원 데이터에 대한 비교를 요구하므로 인-네트워크 처리가 쉽지 않다. 스카이라인 질의를 에너지 효율적으로 처리하기 위해서 불필요한 데이터의 전송을 제거하는 것이 중요하다. 기존에 제안된 스카이라인 처리 기법은 전체 네트워크에 필터를 배포함으로써 불필요한 데이터 전송을 차단한다. 하지만 필터 배포시 발생하는 에너지 소모로 인해 네트워크의 수명이 단축된다. 본 논문에서는 필터 배포에 따른 에너지 소모를 줄이기 위한 방법으로 Lazy 필터링 기법을 통한 스카이라인 질의 처리 기법을 제안한다. 제안하는 기법은 필터를 미리 배포하지 않고 하위 노드로부터 기지국으로 데이터를 수집하는 과정에서 스카이라인 필터 테이블(SFT)을 만들고 필터링을 수행한다. 제안하는 알고리즘의 우수성을 보이기 위해 시뮬레이션을 통해 기존에 제안된 MFTAC 기법과 비교하였으며, 그 결과 평균 False Positive가 평균 53% 감소하였고, 네트워크 수명이 약 44% 증가하였다.

센서데이터의 연속적인 스카이라인 질의 처리를 위한 효율적인 필터링기법 (An Efficient Filtering Method for Processing Continuous Skyline Queries on Sensor Data)

  • 장수민;강광구;유재수
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제15권12호
    • /
    • pp.938-942
    • /
    • 2009
  • 본 논문은 무선 센서 네트워크의 환경에서 연속적인 스카이라인 질의를 효율적으로 처리하는 새로운 필터링 기법을 제안한다. 기존 필터링기법은 라우터 경로를 기반으로 필터를 생성하고 적용하는 기법이다. 그러나 이러한 기법은 필터의 적용범위가 부분적이기 때문에 센서노드들이 싱크노드에게 전송해야 할 데이터를 대부분 싱크노드로 전송하고 에너지의 효율성 측면에서 좋지 않다. 그래서 본 논문은 적은 비용으로 효율적인 필터를 생성하고 그 필터의 적용범위를 전체 센서노드로 적용하여 싱크노드에 전송해야 할 데이터를 획기적으로 감소시키는 기법을 제안한다. 그 효율적인 필터는 센서데이터의 지역적 특성과 클러스터링을 이용하여 생성한다. 제안된 기법의 우수성을 보이기 위해 다양한 환경에서 시뮬레이션을 통한 성능 평가를 수행한다.

실시간 RFID 미들웨어시스템에서의 동기화를 고려한 필터링관리 기법의 설계 및 구현 (Design and Implementation of Filtering Management Scheme for Synchronization in the Realtime RFID Middleware System)

  • 박병섭
    • 한국콘텐츠학회논문지
    • /
    • 제7권8호
    • /
    • pp.50-58
    • /
    • 2007
  • 본 논문은 대용량 데이터 처리를 위한 실시간 RFID 미들웨어 시스템에서 요구되는 태그 데이터의 필터링 엔진의 동기화를 고려한 필터링 관리기법을 다루고 있다. 응용인터페이스는 HTTP, XML, JMS, SOAP 등의 이는 다양한 프로토콜을 지원하여 다양한 플랫폼에서 본 미들웨어 시스템을 접근하도록 개발되었다. 일반적으로, 필터를 제어하는 클라이언트가 다수가 되는 환경에서 하나의 필터링 화일을 접근하면 동기화 문제가 발생한다. 본 논문에서는 필터 관리프로세스를 통해 동기화를 고려하면서 필터링을 관리하는 기법을 설계하고 구현하였으며, 이를 RFID 미들웨어의 동작 통해 검증한다.

비트맵 필터를 이용한 효율적인 역 리스트 탐색 기법 (Efficient Inverted List Search Technique using Bitmap Filters)

  • 권인택;김종익
    • 정보처리학회논문지D
    • /
    • 제18D권6호
    • /
    • pp.415-422
    • /
    • 2011
  • 텍스트 데이터는 표현 방식의 차이, 타이핑 오류 등을 포함하고 있어 정확히 일치하는 검색으로는 유용한 정보를 얻기 어렵다. 따라서 유사도 기반 검색 방법이 많이 연구되고 있으며 효율적인 유사도 기반 검색을 위해 텍스트 데이터에 대한 역 리스트를 구성한다. 그리고 이를 병합하여 질의와 일정 기준 이상 유사한 데이터를 찾는다. 본 논문에서는 Suffix 필터링 과정에서 역 리스트의 탐색 비용을 줄이기 위해 역 리스트의 통계 정보인 비트맵 필터를 사용하는 기법을 제안한다. 제안하는 기법은 비트맵 필터를 사용하여 Suffix 필터링 과정에서 역 리스트의 탐색 여부를 결정하여 불필요한 역 리스트 탐색을 회피함으로써 역 리스트 병합 비용을 줄인다. 실험을 통하여 제안된 기법이 기존의 연구에서 제안된 Suffix 필터링 알고리즘보다 더 효율적임을 보인다.