• Title/Summary/Keyword: Hash join

Search Result 42, Processing Time 0.025 seconds

Join Query Performance Optimization Based on Convergence Indexing Method (융합 인덱싱 방법에 의한 조인 쿼리 성능 최적화)

  • Zhao, Tianyi;Lee, Yong-Ju
    • The Journal of the Korea institute of electronic communication sciences
    • /
    • v.16 no.1
    • /
    • pp.109-116
    • /
    • 2021
  • Since RDF (Resource Description Framework) triples are modeled as graph, we cannot directly adopt existing solutions in relational databases and XML technology. In order to store, index, and query Linked Data more efficiently, we propose a convergence indexing method combined R*-tree and K-dimensional trees. This method uses a hybrid storage system based on HDD (Hard Disk Drive) and SSD (Solid State Drive) devices, and a separated filter and refinement index structure to filter unnecessary data and further refine the immediate result. We perform performance comparisons based on three standard join retrieval algorithms. The experimental results demonstrate that our method has achieved remarkable performance compared to other existing methods such as Quad and Darq.

Join processing using Hash Index based on Ring Queue Buffer in DSMS (DSMS 에서 환형 큐 버퍼 기반의 해시 색인을 이용한 조인 기법)

  • Sang-Ki Kim;Yan Li;Sung-Ha Baek;Dong-Wook Lee;Gyoung-Bae Kim;Hae-Young Bae
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2008.11a
    • /
    • pp.389-392
    • /
    • 2008
  • 유비쿼터스 환경에서 센서 데이터는 빠르고 연속적인 데이터 스트림 형태로 전송된다. 이러한 개별적인 데이터 스트림 정보를 연관되어 처리하기 위해 조인 연산이 필요하다. LWO, SWF 와 같은 기존 기법들은 Nested Loop Join 을 이용해 데이터 스트림 환경에서 조인 알고리즘을 제시하였다. 하지만 Nested Loop Join 을 사용하기 때문에 슬라이딩 윈도우의 크기에 따라 처리 속도가 영향을 많이 받고 XJoin 은 디스크 I/O 추가 비용이 필요하다. 제안 기법은 환형 큐 버퍼 기반의 해시 색인을 이용한 조인 기법은 환형 큐를 이용하여 데이터의 삽입, 삭제를 관리하고 해시 색인을 이용해 조인 연산을 처리 하여 제안 기법은 기존의 기법 보다 조인 연산을 보다 효율적으로 처리 할 수 있다.

Implementation of Parallel Hash Join Algorithms in a Database sharing System (데이타베이스 공유 시스템에서 병렬 해쉬 조인 알고리즘의 구현)

  • 김창현;조행래
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.04b
    • /
    • pp.43-45
    • /
    • 2002
  • 기존에 제안된 대부분의 병렬 조인 알고리즘들은 데이타베이스가 여러 처리 노드에 분할되어 저장되는 데이타베이스 분할 시스템을 가정하였다. 데이타베이스 분할 시스템은 다수의 노드들을 연결할 수 있으며 지리적으로 분산된 환경도 지원할수 있다는 장점을 갖지만, 데이타베이스 공유 시스템에 비해 부하 분산이나 시스템 가용성이 떨어진다는 단점을 갖는다. 본 논문에서는 데이타베이스 공유 시스템에서 병렬 질의 처리기를 위한 병렬 해쉬 조인 알고리즘을 구현한다. 이를 위하여, 데이타베이스 공유 시스템에 적용 가능하도륵 병렬 질의 처리기를 구성하고 병렬 해쉬 조인 알고리즘의 처리 과정에 대해 설명 한다.

  • PDF

Hash-based Parallel Join Schemes Supporting Dynamic Load Balancing in Data Sharing Systems (데이터 공유 시스템에서 동적 부하분산을 지원하는 해쉬 기반 병렬 조인 처리 기법)

  • 문애경;조행래
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1999.10a
    • /
    • pp.249-251
    • /
    • 1999
  • 해싱 함수를 이용하여 작업을 여러 노드에 분할해서 실행하는 해쉬 기반 병렬 조인 기법에서 Data Skew는 특정 노드에 부하를 집중시키므로 시스템의 성능을 떨어뜨린다. 본 논문에서는 기본적인 해쉬 기반 조인 기법을 데이터 공유시스템에 적용하고, Data Skew를 해결하기 위하여 동적 작업 할당과 부하가 집중된 노드의 작업을 다른 노드로 재할당하는 작업 재배치 방법을 제안한다. 제안된 기법들의 성능을 분석하기 위하여 모의 실험을 수행하였으며, 모든 노드에서 데이터베이스가 저장된 디스크를 공유하는 데이터 공유 시스템의 겨우 동적 작업 할당과 작업 재배치 방법이 효과적임을 알 수 있었다.

  • PDF

Effective Load Shedding for Multi-Way windowed Joins Based on the Arrival Order of Tuples on Data Streams (다중 윈도우 조인을 위한 튜플의 도착 순서에 기반한 효과적인 부하 감소 기법)

  • Kwon, Tae-Hyung;Lee, Ki-Yong;Son, Jin-Hyun;Kim, Myoung-Ho
    • Journal of KIISE:Databases
    • /
    • v.37 no.1
    • /
    • pp.1-11
    • /
    • 2010
  • Recently, there has been a growing interest in the processing of continuous queries over multiple data streams. When the arrival rates of tuples exceed the memory capacity of the system, a load shedding technique is used to avoid the system becoming overloaded by dropping some subset of input tuples. In this paper, we propose an effective load shedding algorithm for multi-way windowed joins over multiple data streams. Most previous load shedding algorithms estimate the productivity of each tuple, i.e., the number of join output tuples produced by the tuple, based on its "join attribute value" and drop tuples with the lowest productivity. However, the productivity of a tuple cannot be accurately estimated from its join attribute value when the join attribute values are unique and do not repeat, or the distribution of the join attribute values changes over time. For these cases, we estimate the productivity of a tuple based on its "arrival order" on data streams, rather than its join attribute value. The proposed method can effectively estimate the productivity of a tuple even when the productivity of a tuple cannot be accurately estimated from its join attribute value. Through extensive experiments and analysis, we show that our proposed method outperforms the previous methods in terms of effectiveness and efficiency.

Virtual Directory Extendible Hash index: An Economic Hash Index Using New Directory Structure (가상 디렉토리 확장 해시 색인: 확장 해싱에서의 새로운 디렉토리 구조를 이용한 저비용 해시 색인)

  • Park, Sang-Keun;Park, Soon-Young;Kim, Myung-Keun;Bae, Hae-Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2003.11c
    • /
    • pp.1493-1496
    • /
    • 2003
  • 데이터베이스 관계 연산자 중 프로젝션(projection)과 집단 연산(aggregate function)시 사용되는 GROUP BY절, 그리고 동등 조인(equi join)에 대한 질의 처리는 중복된 튜플 중복된 GROUP BY 필드, 조인 중 발생하는 임시결과에 대한 제거나 집단 연산, 임시 결과의 저장을 위해 정렬이나 해싱 기반 알고리즘을 적용하고 있다. 이 중 해싱 기반 알고리즘은 데이터에 대한 직접적인 접근 방법과 정렬비용이 없다는 장점으로 인해 자주 사용하게 된다. 그러나 이러한 해싱(extendible hashing)[1] 기반 알고리즘은 키 값이 저장되는 버켓(bucket) 페이지의 넘침(overflow)으로 인해 분할(split)이 발생하는 경우, 분할을 야기시킨 버켓 페이지에 대한 정보를 제외한 동일한 내용의 기존 디렉토리 구조를 배로 확장해야 하는 공간 확장과, 확장된 디렉토리 구조의 유지를 위해 많은 비용을 소모하게 된다. 본 논문에서는 다량의 데이터에 대한 접근 기법과 디렉토리 구조의 저장공간, 유지 비용 절감 및 중복 해시 값을 지니는 데이터를 처리하기위한 해시 색인인 가상 디렉토리 확장 해시 색인을 제안한다. 가상 디렉토리 확장 해시 색인은 디렉토리 구조를 다단계 구조로 유지함으로써, 넓은 저장 공간을 필요로 하는 다량의 데이터에 대한 접근경로 문제를 해결하였고, 가상 디렉토리 레벨이라는 새로운 구조를 통해, 기존 디렉토리 구조의 공간 낭비 및 유지 비용을 최소화 시켰으며, 버켓 페이지를 리스트(list) 구조로 유지함으로써 중복 해시 값에 의한 디렉토리 구조의 연쇄적 분할 문제를 해결하였다.

  • PDF

Analysis of Server's Computational Cost for Multicast Batch Rekeying Scheme (멀티캐스트 일괄 키 갱신 방법의 서버계산 비용 분석)

  • Park Chang-Seop;Lee Gyu-Won
    • Journal of the Korea Institute of Information Security & Cryptology
    • /
    • v.15 no.6
    • /
    • pp.71-80
    • /
    • 2005
  • In the near future, various aplications on the Internet will be based on the multicast group communication, so that the efficient group key management is essential for managing the frequent group join and leave events. In this paper, we propose several batch rekeying schemes extended from conventional individual rekeying schemes, and analyze the efficiencies of them in terms of both the number of encryption and one-way hash function as well as multicast message size. Considering multiple member leaves, a probabilistic approach is need to compute the average computational amounts for rekeying.

Efficient Multiple Joins using the Synchronization of Page Execution Time in Limited Processors Environments (한정된 프로세서 환경에서 체이지 실행시간 동기화를 이용한 효율적인 다중 결합)

  • Lee, Kyu-Ock;Weon, Young-Sun;Hong, Man-Pyo
    • Journal of KIISE:Databases
    • /
    • v.28 no.4
    • /
    • pp.732-741
    • /
    • 2001
  • In the relational database systems the join operation is one of the most time-consuming query operations. Many parallel join algorithms have been developed 개 reduce the execution time Multiple hash join algorithm using allocation tree is one of the most efficient ones. However, it may have some delay on the processing each node of allocation tree, which is occurred in tuple-probing phase by the difference between one page reading time of outer relation and the processing time of already read one. This delay problem was solved by using the concept of synchronization of page execution time with we had proposed In this paper the effects of the performance improvements in each node of the allocation tree are extended to the whole allocation tree and the performance evaluation about that is processed. In addition we propose an efficient algorithm for multiple hash joins in limited number of processor environments according to the relationship between the number of input relations in the allocation tree and the number of processors allocated to the tree. Finally. we analyze the performance by building the analytical cost model and verify the validity of it by various performance comparison with previous method.

  • PDF

A Strong Address Generation and Verification Scheme using Hash Functions in the IPv6 Environments (IPv6 환경에서 해쉬 함수 기반 강건한 주소 생성 및 검증 기법)

  • Gyeong, Gye-Hyeon;Ko, Kwang-Sun;Eom, Young-Ik
    • Journal of the Korea Institute of Information Security & Cryptology
    • /
    • v.17 no.1
    • /
    • pp.115-119
    • /
    • 2007
  • The IPv6 protocol provides the method to automatically generate an address of a node without additional operations of administrators, Before the generated address is used, the duplicate address detection (DAD) mechanism is required in order to verify the address. However, during the process of verification of the address, it is possible for a malicious node to send a message with the address which is identical with the generated address, so the address can be considered as previously used one; although the node properly generates an address, the address cannot be used. In this paper, we present a strong scheme to perform the DAD mechanism based on hash functions in IPv6 networks. Using this scheme, many nodes, which frequently join or separate from wireless networks in public domains like airports, terminals, and conference rooms, can effectively generate and verify an address more than the secure neighbor discovery (SEND) mechanism.

Performance Analysis of Parallel Database Machine Architectures (병렬 데이타베이스 컴퓨터 구조의 성능 분석)

  • Lee, Yong-Kyu
    • The Transactions of the Korea Information Processing Society
    • /
    • v.5 no.4
    • /
    • pp.873-882
    • /
    • 1998
  • The parallel database machine approach is currently widely and successfully used. There are four major architectures which are used in this approach: shared-nothing architecture, shared-evertying architecture, shared-disk architecture, and hybrid architecture. In this paper, we use an analytical model to evaluate the performance of these database machine architectures. We define an abstract model for each type of database machine design to obtain performance equatons describing the execution times with respect to the hybrid hash join poeration. Using the performance equations, we evaluate the execution times of the various database machine design models.

  • PDF