• 제목/요약/키워드: 블룸 필터

검색결과 51건 처리시간 0.029초

공간 효율적인 블룸 필터링 방법의 소개 (Introduction to Method of Space-efficient Bloom Filtering)

  • 강부중;노인우;임을규
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2008년도 한국컴퓨터종합학술대회논문집 Vol.35 No.1 (D)
    • /
    • pp.1-4
    • /
    • 2008
  • 블룸 필터는 간단하고, 공간 효율적인 자료 구조이다. 블룸 필터는 확률에 근거하여 어떤 데이터 집합을 표현하며, 어떤 데이터가 특정 데이터 집합에 속하는 지를 검사하는 멤버십 쿼리를 지원한다. 이런 멤버십 쿼리는 긍정 오류를 발생시키지만 블룸 필터의 파라미터들을 조정하여 긍정 오류를 최소화할 수 있다. 블룸 필터는 데이터가 공유의 필요성에 의해 전체 시스템에 걸쳐 물리적으로 퍼져있는 분산 시스템과 많은 양의 데이터를 다루기 위해 데이터베이스를 사용하는 시스템 그리고 실시간으로 멤버십 쿼리를 수행해야 하는 시스템 등에서 널리 사용되고 있다. 본 논문에서는 블룸 필터에 대해 알아보고 시스템의 목적에 따라 다양한 형태로 개량된 블룸 필터들에 대해 소개한다.

  • PDF

카운팅 블룸필터를 개선하는 터너리 블룸필터 (Ternary Bloom Filter Improving Counting Bloom Filter)

  • 변하영;이정원;임혜숙
    • 전자공학회논문지
    • /
    • 제54권1호
    • /
    • pp.3-10
    • /
    • 2017
  • 카운팅 블룸필터는 표준 블룸필터에서 제공하지 못하는 삭제 기능을 제공하여, 동적 집합에 대한 멤버쉽 쿼리를 허용하므로, 다양한 네트워크 알고리즘과 어플리케이션에 널리 사용된다. 그러나 카운팅 기능으로 인해 표준 블룸필터에는 없었던 오버플로우가 발생할 수 있고 이에 따라 거짓 음성이 발생할 수 있다. 4-비트 카운팅 블룸필터가 일반적으로 많이 사용되는데, 이는 모든 카운터에 4 비트를 할당하므로 메모리를 낭비한다는 단점이 있다. 거짓 음성의 가능성을 제거하고 메모리 사용량을 줄이기 위해서, 본 논문은 카운팅 블룸필터의 변형인 터너리 블룸필터(Ternary Bloom filter)를 제안한다. TBF는 하나의 카운터에 2개 이상의 원소가 대응될 경우, 더 이상의 삽입이나 삭제가 불가능하게 정한 구조이다. 실험을 통해 4-비트 카운팅 블룸필터와 같은 크기의 메모리 사용 시 TBF는 거짓 음성을 발생시키지 않을 뿐 아니라 거짓 양성률에 있어서도 상당한 우위를 보임을 확인하였다.

블룸필터를 사용하는 두 보안기법에 대한 메시지 길이의 효율성에 대하여 (On Message Length Efficiency of Two Security Schemes using Bloom Filter)

  • 맹영재;강전일;양대헌;이경희
    • 정보처리학회논문지C
    • /
    • 제19C권3호
    • /
    • pp.173-178
    • /
    • 2012
  • 블룸필터를 이용하면 다수의 MAC을 표현하기 위해 요구되는 메시지의 길이를 줄일 수 있다고 주장하는 두 논문이 최근에 발표되었다. 하지만 이 기법들은 보안성을 고려하지 않고 메시지의 길이만 비교한 것으로 분석되었다. MAC은 보안을 목적으로 하는 코드이기 때문에 다수의 MAC과 이들을 표현한 블룸필터가 동등한 보안수준을 가지도록 하고 메시지의 길이를 비교해야 한다. 이 논문에서는 블룸필터와 압축블룸필터, 그리고 다수의 MAC이 동등한 보안수준을 가질 때의 메시지 길이를 분석하여 보인다.

병렬 구조의 블룸필터 설계 (The Construction of A Parallel type Bloom Filter)

  • 장영달;김지홍
    • 한국정보통신학회논문지
    • /
    • 제21권6호
    • /
    • pp.1113-1120
    • /
    • 2017
  • 최근 정보통신 기술의 발달로 인하여 데이터의 양이 점차 증가하고 있으며, 이에 대한 처리와 관련된 연구가 활발히 진행되고 있다. 주어진 집합 내에 특정 개체의 존재여부를 알기위해 사용되고 있는 블룸필터는 데이터의 공간 활용에 매우 유용한 구조이다. 본 논문에서는 블룸필터의 긍정오류확률에 대한 요인분석과 함께, 긍정오류를 최소화 시키기 위한 방안으로 병렬구조 방식의 블룸필터를 제안한다. 일반 블룸필터의 최소 긍정오류확률값을 가질 수 있도록 구현된 병렬 불룸필터 방식은 일반 블룸필터 크기의 메모리와 유사한 크기를 사용하지만, 해쉬함수별로 병렬 처리함으로서, 속도를 높일 수 있다는 장점을 가진다. 또한 완전 해쉬함수를 사용하는 경우에는 삽입뿐 아니라, 삭제도 가능하다는 장점을 가진다.

카운팅 블룸필터를 이용한 SSD 기반의 디렉토리 탐색 기법 (An SSD-Based Directory Parsing with the Counting Bloom Filter)

  • 김만윤;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
    • /
    • pp.347-349
    • /
    • 2014
  • 데이터의 폭발적인 증가로 우리는 빅데이터 시대를 맞이하게 되었다. 빅데이터의 파일 시스템 내에는 아주 큰 트리구조로 이루어진 디렉토리와 파일이 무수히 존재한다. 이 커다란 트리구조에서 사용자가 요청하는 디렉토리와 파일을 탐색하는 것은 매우 어려운 작업이다. 이에 우리는 카운팅 블룸필터를 이용한 디렉토리 탐색 기법을 제시한다. SDP(SSD-based Directory Parsing)는 최근 또는 자주 액세스한 디렉토리와 파일의 메타데이터를 보관하는 SSD 기반의 캐시이다. 대규모 파일 시스템에서 사용자가 파일을 요청했을 때 파일 시스템은 저장 장치에 메타데이터를 검색하기 위해 여러 번 액세스한다. 이러한 비효율적인 SSD에 대한 액세스를 방지하기 위해 카운팅 블룸필터를 이용하여 메타데이터를 빠르고 효율적으로 검색하는 기법을 제시한다.

  • PDF

IP 주소 검색에서 블룸 필터를 사용한 다중 해싱 구조 (Multiple Hashing Architecture using Bloom Filter for IP Address Lookup)

  • 박경혜;임혜숙
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제36권2호
    • /
    • pp.84-98
    • /
    • 2009
  • 라우터의 포워팅 성능을 향상시키기 위해 많은 IP 주소 검색 알고리즘들이 연구되어 오고 있다. 기존에 제안된 블룸 필터를 이용한 IP 주소 검색 구조는 프리픽스 길이별로 블룸 필터 및 해시 테이블을 따로 가지고 있어 구현이 복잡하며, 프리픽스 길이 별 해시 테이블의 개수를 줄이기 위하여 프리적스의 복사가 불가피한 단점을 지닌다. 멀티 다중 해시 테이블을 이용한 병렬 해싱 구조는 프리픽스의 길이별로 해시 테이블을 구성하고, 다중 해싱 함수를 사용하여 모든 프리픽스 길이에 대하여 병렬 검색하는 구조로서 검색 성능이 뛰어나나 병렬 검색 구조이므로 구현이 또한 복잡하다. 본 논문에서는 단일 블룸 필터에 다양한 길이의 프리픽스를 모두 저장하는 통합 블룸 필터와 단일 테이블에 모든 길이의 프리픽스를 모두 저장하는 통합 다중-해시 테이블을 사용하여 구현이 간단하면서도 검색성능이 뛰어난 새로운 IP 주소 검색 구조를 제안한다. 실제 백본 라우터에서 쓰이는 데이타를 이용하여 시뮬레이션을 수행한 결과 $15000{\sim}220000$개의 엔트리를 갖는 라우팅 테이블에 대하여 평균 1.04-1.17번의 메모리 접근으로 IP 주소검색이 가능함을 보였다.

블룸 필터를 이용한 감성 웹 문서 크롤링 알고리즘 (A Bloom filter-based Sentiment-aware Web Crawling Algorithm)

  • 나철원;온병원
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.69-74
    • /
    • 2018
  • 최근 빅 데이터와 인공지능의 발달과 함께 감성 분석에 대한 연구가 활발해지고 있다. 더불어 감성 분석을 위한 긍/부정 어휘가 풍부한 텍스트 문서들에 대한 수집의 필요성도 높아지고 있다. 본 논문은 긍/부정어휘가 풍부한 텍스트 문서들을 수집하는 기존의 수집 방법에 대한 문제점에 대하여 해결방안을 제시한다. 기존의 수집 방법으로 일단 모든 URL들을 저장하고 필터링 과정을 거쳐 긍/부정 어휘가 풍부한 텍스트 문서들을 수집하고자 한다면 불필요한 텍스트 문서 저장과 필터링 과정에서 메모리와 시간을 낭비하게 된다. 기존의 수집 방법에 블룸 필터라는 자료구조를 적용시켜 메모리와 시간을 낭비하게 되는 문제점을 해결하고자 한다.

  • PDF

블룸필터의 오류 확률에 대한 분석 (An Analysis on the Error Probability of A Bloom Filter)

  • 김성용;김지홍
    • 정보보호학회논문지
    • /
    • 제24권5호
    • /
    • pp.809-815
    • /
    • 2014
  • 최근 정보통신 기술의 발달로 인하여 데이터의 양이 점차 증가하고 있으며, 이에 대한 처리와 관련된 연구가 활발히 진행되고 있다. 주어진 집합 내에 특정 개체의 존재여부를 알기위해 사용되고 있는 블룸필터는 데이터의 공간 활용에 매우 유용한 구조이다. 본 논문에서는 블룸필터에서 발생될 수 있는 오류 확률을 소개한다. 특히 실험실적 분석방법에 의하여 수정된 긍정오류 확률에 대한 일반식을 유도한다. 마지막으로 지금까지 사용되고 있는 블룸필터에 대한 긍정오류확률식과 이에 대한 관련논문을 이용하여 비교, 분석한다.

영역 분할 사분 트라이에 블룸 필터 선 검색을 사용한 패킷 분류 알고리즘 (A Packet Classification Algorithm Using Bloom Filter Pre-Searching on Area-based Quad-Trie)

  • 변하영;임혜숙
    • 정보과학회 논문지
    • /
    • 제42권8호
    • /
    • pp.961-971
    • /
    • 2015
  • 영역분할을 이용한 패킷분류의 대표적인 알고리즘인 영역분할 사분 트라이(area-based quadtrie, AQT)는 검색 시 룰 노드를 만나도 더 높은 우선순위의 룰이 있을 수 있어 트라이의 끝까지 검색해 야 하는 문제가 있다. 리프-푸싱(leaf-pushing) AQT는 모든 검색 경로에 룰 노드를 하나만 위치시켜 검색 성능을 높인 알고리즘이다. 본 논문에서는 리프-푸싱 AQT를 해시 테이블 기반으로 구현하고 블룸필터를 적용해 검색 성능을 더욱 향상시킨 알고리즘을 제안한다. 제안하는 알고리즘에서는 온-칩(on-chip) 블룸필터를 연쇄적으로 우선 검색하여 룰 노드의 레벨을 알아낸 후, 오프-칩(off-chip)에 저장된 룰 노드에 접근한다. 실험을 통해 적절한 크기의 블룸필터를 사용하여 평균 한 번의 해시테이블 접근만으로 패킷분류를 수행할 수 있음을 보았으며, 메모리 사용량 및 검색 성능에 있어 기존의 알고리즘과 제안하는 구조의 성능을 비교하였다.

센서 네트워크에서 블룸 필터를 이용한 하이브리드 인-네트워크 조인 기법 (A Hybrid In-network Join Strategy using Bloom Filter in Sensor Network)

  • 송임영;김경창
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제37권3호
    • /
    • pp.165-170
    • /
    • 2010
  • 본 논문에서는 센서 네트워크에서 효율적인 조인 처리를 수행하여 통신비용을 최소화할 수 있는 인-네트워크 조인 기법인 SBJ(Semi & Bloom Join)를 제안하였다. SBJ는 하이브리드 기법으로 배터리 소모를 줄이기 위하여 송, 수신하는 데이터의 크기를 줄이는 방법으로 블룸 필터(Bloom Filter)를 이용하여 데이터의 내용을 필터링하도록 하였다. 기존 데이터 대신 작은 크기의 필터링 된 값을 전송함으로써 배터리 소모를 줄이게 된다. SBJ는 조인 처리의 이른 단계에서 조인 결과에 해당되지 않는 데이터를 제거하여 불필요한 통신비용을 감소하여 통신비용을 최소화하기 위한 네트워크 내에서 효율적인 조인 질의 수행 방법이다. 시뮬레이션을 통하여 기존의 조인 기법들과 비교한 결과 SBJ 기법은 블룸 필터를 이용하여 데이터를 필터링 함으로서 센서 노드 배터리 소모량을 크게 줄였으며, 통신 반경에 대한 통신비용도 훨씬 효과적이었다.