• 제목/요약/키워드: Hash join

검색결과 42건 처리시간 0.03초

융합 인덱싱 방법에 의한 조인 쿼리 성능 최적화 (Join Query Performance Optimization Based on Convergence Indexing Method)

  • 짜오티엔이;이용주
    • 한국전자통신학회논문지
    • /
    • 제16권1호
    • /
    • pp.109-116
    • /
    • 2021
  • RDF(Resource Description Framework) 데이터 구조는 그래프로 모델링하기 때문에, 관계형 데이터베이스와 XML 기술의 기존 솔루션은 RDF 모델에 바로 적용하기 어렵다. 우리는 링크 데이터를 더욱 효과적으로 저장하고, 인덱스하고, 검색하기 위해 융합 인덱싱 방법을 제안한다. 이 방법은 HDD(Hard Disk Drive) 와 SSD(Solid State Drive) 디바이스에 기반한 하이브리드 스토리지 시스템을 사용하고, 불필요한 데이터를 필터하고 중간 결과를 정제하기 위해 분리된 필터 및 정제 인덱스 구조를 사용한다. 우리는 3개의 표준 조인 검색알고리즘에 대한 성능 비교를 수행했는데, 실험 결과 제안된 방법이 Quad와 Darq와 같은 다른 기존 방법들에 비해 뛰어난 성능을 보인다.

DSMS 에서 환형 큐 버퍼 기반의 해시 색인을 이용한 조인 기법 (Join processing using Hash Index based on Ring Queue Buffer in DSMS)

  • 김상기;이연;백성하;이동욱;김경배;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 추계학술발표대회
    • /
    • pp.389-392
    • /
    • 2008
  • 유비쿼터스 환경에서 센서 데이터는 빠르고 연속적인 데이터 스트림 형태로 전송된다. 이러한 개별적인 데이터 스트림 정보를 연관되어 처리하기 위해 조인 연산이 필요하다. LWO, SWF 와 같은 기존 기법들은 Nested Loop Join 을 이용해 데이터 스트림 환경에서 조인 알고리즘을 제시하였다. 하지만 Nested Loop Join 을 사용하기 때문에 슬라이딩 윈도우의 크기에 따라 처리 속도가 영향을 많이 받고 XJoin 은 디스크 I/O 추가 비용이 필요하다. 제안 기법은 환형 큐 버퍼 기반의 해시 색인을 이용한 조인 기법은 환형 큐를 이용하여 데이터의 삽입, 삭제를 관리하고 해시 색인을 이용해 조인 연산을 처리 하여 제안 기법은 기존의 기법 보다 조인 연산을 보다 효율적으로 처리 할 수 있다.

데이타베이스 공유 시스템에서 병렬 해쉬 조인 알고리즘의 구현 (Implementation of Parallel Hash Join Algorithms in a Database sharing System)

  • 김창현;조행래
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (B)
    • /
    • pp.43-45
    • /
    • 2002
  • 기존에 제안된 대부분의 병렬 조인 알고리즘들은 데이타베이스가 여러 처리 노드에 분할되어 저장되는 데이타베이스 분할 시스템을 가정하였다. 데이타베이스 분할 시스템은 다수의 노드들을 연결할 수 있으며 지리적으로 분산된 환경도 지원할수 있다는 장점을 갖지만, 데이타베이스 공유 시스템에 비해 부하 분산이나 시스템 가용성이 떨어진다는 단점을 갖는다. 본 논문에서는 데이타베이스 공유 시스템에서 병렬 질의 처리기를 위한 병렬 해쉬 조인 알고리즘을 구현한다. 이를 위하여, 데이타베이스 공유 시스템에 적용 가능하도륵 병렬 질의 처리기를 구성하고 병렬 해쉬 조인 알고리즘의 처리 과정에 대해 설명 한다.

  • PDF

데이터 공유 시스템에서 동적 부하분산을 지원하는 해쉬 기반 병렬 조인 처리 기법 (Hash-based Parallel Join Schemes Supporting Dynamic Load Balancing in Data Sharing Systems)

  • 문애경;조행래
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (1)
    • /
    • pp.249-251
    • /
    • 1999
  • 해싱 함수를 이용하여 작업을 여러 노드에 분할해서 실행하는 해쉬 기반 병렬 조인 기법에서 Data Skew는 특정 노드에 부하를 집중시키므로 시스템의 성능을 떨어뜨린다. 본 논문에서는 기본적인 해쉬 기반 조인 기법을 데이터 공유시스템에 적용하고, Data Skew를 해결하기 위하여 동적 작업 할당과 부하가 집중된 노드의 작업을 다른 노드로 재할당하는 작업 재배치 방법을 제안한다. 제안된 기법들의 성능을 분석하기 위하여 모의 실험을 수행하였으며, 모든 노드에서 데이터베이스가 저장된 디스크를 공유하는 데이터 공유 시스템의 겨우 동적 작업 할당과 작업 재배치 방법이 효과적임을 알 수 있었다.

  • PDF

다중 윈도우 조인을 위한 튜플의 도착 순서에 기반한 효과적인 부하 감소 기법 (Effective Load Shedding for Multi-Way windowed Joins Based on the Arrival Order of Tuples on Data Streams)

  • 권태형;이기용;손진현;김명호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제37권1호
    • /
    • pp.1-11
    • /
    • 2010
  • 최근 다중 데이터 스트림에 대한 연속 질의 처리에 관한 연구가 활발하게 진행되고 있다. 데이터 스트림에서 튜플들의 도착 속도가 폭증하여 시스템의 메모리 용량을 초과하는 경우, 일부 튜플을 버림으로써 시스템이 과부하 상태가 되지 않도록 하는 기법을 부하 감소(load shedding)라 한다. 본 논문에서는 다중 데이터 스트림에 대한 다중 윈도우 조인을 위한 효과적인 부하 감소 기법을 제안한다. 기존의 부하 감소 기법들은 버릴 튜플을 선택하기 위해 튜플들의 조인 키 값을 이용하여 각 튜플이 생성할 조인 결자 개수(생산성)를 예측하고, 생산성이 최소가 되는 튜플을 버린다. 그러나 이러한 방법들은 조인 키 값이 다시 나타나지 않거나, 조인 키 값의 분포가 일정하게 유지되지 않는 경우 튜플들의 생산성을 올바르게 예측하기 어렵다. 본 논문은 이러한 경우를 위해 튜플들의 조인 키 값 대신, 튜플의 데이터 스트림에 대한 도착 순서를 사용하여 튜플들의 생산성을 예측하는 방법을 사용한다. 제안하는 방법은 조인 키 값으로 튜플들의 생산성을 예측하가 어려운 상황에서 튜플의 도착 순서를 통해 각 튜플의 생산성을 효과적으로 예측할 수 있도록 해준다. 다양한 실험과 분석을 통해 제안하는 새로운 부하 감소 기법이 기존 기법에 비해 더욱 효과적이고 효율적으로 부하를 감소시킬 수 있음을 보인다.

가상 디렉토리 확장 해시 색인: 확장 해싱에서의 새로운 디렉토리 구조를 이용한 저비용 해시 색인 (Virtual Directory Extendible Hash index: An Economic Hash Index Using New Directory Structure)

  • 박상근;박순영;김명근;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 추계학술발표논문집 (하)
    • /
    • pp.1493-1496
    • /
    • 2003
  • 데이터베이스 관계 연산자 중 프로젝션(projection)과 집단 연산(aggregate function)시 사용되는 GROUP BY절, 그리고 동등 조인(equi join)에 대한 질의 처리는 중복된 튜플 중복된 GROUP BY 필드, 조인 중 발생하는 임시결과에 대한 제거나 집단 연산, 임시 결과의 저장을 위해 정렬이나 해싱 기반 알고리즘을 적용하고 있다. 이 중 해싱 기반 알고리즘은 데이터에 대한 직접적인 접근 방법과 정렬비용이 없다는 장점으로 인해 자주 사용하게 된다. 그러나 이러한 해싱(extendible hashing)[1] 기반 알고리즘은 키 값이 저장되는 버켓(bucket) 페이지의 넘침(overflow)으로 인해 분할(split)이 발생하는 경우, 분할을 야기시킨 버켓 페이지에 대한 정보를 제외한 동일한 내용의 기존 디렉토리 구조를 배로 확장해야 하는 공간 확장과, 확장된 디렉토리 구조의 유지를 위해 많은 비용을 소모하게 된다. 본 논문에서는 다량의 데이터에 대한 접근 기법과 디렉토리 구조의 저장공간, 유지 비용 절감 및 중복 해시 값을 지니는 데이터를 처리하기위한 해시 색인인 가상 디렉토리 확장 해시 색인을 제안한다. 가상 디렉토리 확장 해시 색인은 디렉토리 구조를 다단계 구조로 유지함으로써, 넓은 저장 공간을 필요로 하는 다량의 데이터에 대한 접근경로 문제를 해결하였고, 가상 디렉토리 레벨이라는 새로운 구조를 통해, 기존 디렉토리 구조의 공간 낭비 및 유지 비용을 최소화 시켰으며, 버켓 페이지를 리스트(list) 구조로 유지함으로써 중복 해시 값에 의한 디렉토리 구조의 연쇄적 분할 문제를 해결하였다.

  • PDF

멀티캐스트 일괄 키 갱신 방법의 서버계산 비용 분석 (Analysis of Server's Computational Cost for Multicast Batch Rekeying Scheme)

  • 박창섭;이규원
    • 정보보호학회논문지
    • /
    • 제15권6호
    • /
    • pp.71-80
    • /
    • 2005
  • 향후 다양한 인터넷 응용 프로그램들은 멀티캐스트 그룹 통신에 기반을 두게 될 것이며, 따라서 그룹 멤버들의 빈번한 가입과 탈퇴를 효율적으로 대처하기 위한 그룹키 관리기법이 요구된다. 본 논문에서는 기존의 개별 키 갱신기법들을 일괄 키 갱신 기법으로 확장하여 제안하고, 기존의 기법들과 제안된 기법을 키 서버에 의해 수행되는 암호화 및 일방향 해쉬 함수의 횟수 그리고 멀티캐스트 메시지의 크기 측면에서 성능을 비교 분석한다. 비교 분석에 있어서는, 다중 탈퇴자가 존재하는 상황에서 그들에 의해 초래되는 키 갱신 비용을 확률론적인 접근법을 기반으로 평균치를 계산하였다.

한정된 프로세서 환경에서 체이지 실행시간 동기화를 이용한 효율적인 다중 결합 (Efficient Multiple Joins using the Synchronization of Page Execution Time in Limited Processors Environments)

  • 이규옥;원영선;홍만표
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제28권4호
    • /
    • pp.732-741
    • /
    • 2001
  • 관계형 데이타베이스 시스템에서 결합 연산자는 데이타 베이스 절의를 구성하는 연산자들 중 가장 많은 처리시간을 요구한다. 따라서 이러한 결합 연산자를 효율적으로 처리하기 위해 많은 병렬 알고리즘들이 수개되었다. 그 중 다중 해쉬 결합 질의의 처리를 위해 할당트리를 이용한 방법이 가장 우수한 것으로 알려져 와싸. 그러나 이 방법은 할당 트리의 각 노트에서 필연적인 지연이 발생되는데 이는 루플 실험단계에서 외부 릴레이션을 디스트로부터 페이지 단위로 읽는 비용과 이미 읽는 페이지에 대한 해쉬 결합 비용간의 실행시간 차이에 의해 발생하게 된다. 이는 페이지 실행시간 동기화 기법을 이용하여 할당 트라 한 노드에서의 실행시간을 줄일 수 있었다. 본 논문에서는 한 노드에서의 성능 개선 효과를 할당 트리 전체로 확장하여 전체 다중 해쉬 결합의 성능 분석을 수행하였으며 한정된 프로세서 환경 하에서 입력 릴레이션 수와 할당된 프로세서 수와의 관게에 따른 효율적인 다중 해쉬 결합 알고리즘을 제안하였다. 그리고 분석적 비용 모형을 세워 기존 방식과의 다양한 성늘 분석을 통해 비용 모형의 타당성을 입증하였다.

  • PDF

IPv6 환경에서 해쉬 함수 기반 강건한 주소 생성 및 검증 기법 (A Strong Address Generation and Verification Scheme using Hash Functions in the IPv6 Environments)

  • 경계현;고광선;엄영익
    • 정보보호학회논문지
    • /
    • 제17권1호
    • /
    • pp.115-119
    • /
    • 2007
  • IPv6 프로토콜은 네트워크에 참여하는 노드가 별도의 관리자 작업 없이 자동으로 주소를 생성하는 방법을 제공하며, 생성된 주소는 사용되기 전에 유일성 검증을 위하여 Duplication Address Detection(DAD) 메커니즘을 수행한다. 하지만 검증 과정에서 악의적인 노드의 공격에 의해 이미 사용하고 있는 주소로 판단되어 주소 생성이 실패할 가능성이 존재한다. 따라서 본 논문에서는 해쉬 함수를 기반으로 주소를 생성하고 검증함으로써, 빠르고 강건한 주소 생성과 및 검증 메커니즘을 보인다. 이 기법은 공항, 터미널, 회의실과 같이 많은 노드들의 무선 네트워크 참여가 빈번한 공공장소에서 SEND 메커니즘보다 더욱 효과적으로 주소 생성 및 검증을 할 수 있다.

병렬 데이타베이스 컴퓨터 구조의 성능 분석 (Performance Analysis of Parallel Database Machine Architectures)

  • 이용규
    • 한국정보처리학회논문지
    • /
    • 제5권4호
    • /
    • pp.873-882
    • /
    • 1998
  • 현재 병렬 데이타베이스 컴퓨터가 광범위하고 성공적으로 활용되고 있다. 이의 구조로는 주기억 장치와 디스크를 공유하지 않는 구조, 두가지를 모두 공유하는 구조, 디스크만을 공유하는 구조, 그리고 절충형 구조 등의 네가지 구조가 있다. 이 논문에서는 데이타베이스 컴퓨터 구조의 성능을 비교 분석하기 위하여 데이타베이스 컴퓨터 구조를 추상적인 모형으로 정의하고, 각각의 모형에 대하여 절충형 해쉬 조인 연산의 수행시간을 수식화한 성능식을 구하여 여러 가지 데이타베이스 컴퓨터 구조 모형의 수행시간을 비교 분석한다.

  • PDF