• 제목/요약/키워드: Join Processing

검색결과 229건 처리시간 0.019초

병렬 프로토콜 구현을 위한 다중 프로세스 모델의 설계 (Design of Multiprocess Models for Parallel Protocol Implementation)

  • 최선완;정광수
    • 한국정보처리학회논문지
    • /
    • 제4권10호
    • /
    • pp.2544-2552
    • /
    • 1997
  • 본 논문은 병렬 프로토콜 구현을 위해서 (1)채널통신 모델, (2)포크-조인 모델, (3)사건조회 모델이라 부르는 3 가지 유형의 다중 프로세스 모델을 제시한다. 각 모델에 대한 병렬화 사양을 위해서 병렬 프로그래밍 언어인 Par. C System을 사용한다. 제안한 다중 프로세스 모델의 성능을 측정하기 위하여 인터넷 프로토콜 스택의 Internet Protocol (IP)을 Transputer상에서 구현한다. IP 프로토콜 기능은 송신측과 수신측으로 분리하고 양측의 병렬화는 Multiple Instruction Single Data(MISD) 구조를 이용한다. 제안한 모델들은 다양한 실행시간 과부하에 대하여 성능 평가와 비교 분석을 한다. 즉, 채널통신 모델에서는 채널을 경유한 사건 송신, 포크-조인 모델에서는 프로세스 생성, 그리고 사건조회 모델에서는 프로세스간 문맥전환시에 발생하는 과부하를 송신측과 수신측에 대하여 성능을 분석한다. 송신측의 성능 측정 결과, 사건조회 모델이 채널통신 모델과 포크-조인 모델과 비교하여 77%와 9%의 빠른 처리 시간을 보였다. 수신측에서는 포크-조인 모델이 채널통신 모델과 사건조회 모델과 비교하여 55%와 107%의 빠른 처리 시간을 보였다.

  • PDF

개선된 공간 해쉬 조인 알고리즘을 이용한 편중 데이터 처리 기법 (Skewed Data Handling Technique Using an Enhanced Spatial Hash Join Algorithm)

  • 심영복;이종연
    • 정보처리학회논문지D
    • /
    • 제12D권2호
    • /
    • pp.179-188
    • /
    • 2005
  • 지난 수년 동안 공간 데이터의 조인 연산에 대한 많은 연구가 진행되어 왔다. 본 논문에서는 공간 조인연산 시 인덱스가 존재하지 않을 경우, 후보 객체의 여과 단계 처리에 중점을 둔다. 이 분야에 대한 여러 알고리즘들이 제안되었으며 대부분의 경우 공간 데이터의 조인 연산 시 우수한 성능을 나타내고 있다. 하지만, 조인을 위한 입력 테이블의 객체들이 편중되어 분포할 경우 조인 성능이 급격히 저하되는 문제점을 가지고 있으며 이 문제를 해결하려는 연구는 미흡한 실정이다. 따라서, 본 논문에서는 공간 데이터의 편중 문제를 개선하기 위해 기존의 공간 조인 알고리즘 중 Spatial Hash Join 알고리즘과 SSSJ 알고리즘의 장점을 결합한 Spatial Hash Sip Join 알고리즘을 제안한다. 이 알고리즘을 SHJ 알고리즘의 객체 분포에 기반한 공간 분할 특성과 공간 조인 시 SSSJ 알고리즘의 우수한 I/O 특성을 이용한다. 본 논문에서 제안한 SHSJ 알고리즘의 성능 평가를 위해 Tiger/line 데이터를 사용하여 기존 SHJ 알고리즘과 성능을 비교 평가 하였으며 평가 결과 인덱스가 존재하지 않는 입력 테이블에 대한 공간 조인 연산 시 모든 평가 파라미터에 대해 기존의 SHJ 알고리즘보다 우수함이 검증되었다.

편중 데이타의 효율적인 처리를 위한 공간 해쉬 스트립 조인 알고리즘 (A Spatial Hash Strip Join Algorithm for Effective Handling of Skewed Data)

  • 심영복;이종연
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제32권5호
    • /
    • pp.536-546
    • /
    • 2005
  • 이 논문은 공간 조인연산 시 인덱스가 존재하지 않는 두 입력 테이블에 대한 후보 객체들의 여과 단계 처리이다 이 분야에 대한 기존 알고리즘들은 대개 공간 데이타의 조인 연산에서는 우수한 성능을 나타내고 있지만 입력 테이블에 객체들이 편중되어 있을 경우 성능이 저하되는 문제를 가지고 있으며, 이러한 단점을 보완할 수 있는 방법에 대한 연구는 미흡한 상태이다 따라서, 이 논문에서는 인덱스가 존재하지 않는 두 입력 테이블의 편중된 객체에 대한 문제를 해결하기 위해 기존 연구인 Spatial Hash Join 알고리즘을 개선한 Spatial Hash Strip loin 알고리즘을 제안한다. SHSJ 알고리즘과 기존 SHJ 알고리즘의 차이점은 입력 데이타 집합을 버킷에 할당 시 버킷 용량에 제한을 두지 않는다는 점과 버킷의 조인 단계에서 SSSJ 알고리즘을 사용한다는 것이다. 제안한 SHSJ 알고리즘의 성능 평가를 위해 Tiger/line 데이타를 사용하여 평가한 결과 인덱스가 존재하지 않으며 편중 분포를 갖는 입력 테이블에 대한 공간 조인 연산의 성능이 기존 SHJ와 SSSJ 알고리즘보다 우수함이 검증되었다.

부하 균형 유지를 고려한 파이프라인 해시 조인 방법 (A Pipelined Hash Join Method for Load Balancing)

  • 문진규;박노상;김평중;진성일
    • 정보처리학회논문지D
    • /
    • 제9D권5호
    • /
    • pp.755-768
    • /
    • 2002
  • 다중 조인 연산의 파이프라인 방식 처리에서 조인 어트리뷰트의 자료 불균형(data skew)이 성능에 주는 영향을 연구하고, 자료 불균형을 대비하여 적재부하를 라운드-로빈 방식으로 정적 분할하는 방법과 자료분포도를 이용하여 적응적으로 분할하는 두 가지 파이프라인 해시 조인 알고리즘을 제안한다. 해시 기반 조인을 사용하면 여러 개의 조인을 파이프라인 방식으로 처리할 수 있다. 다중 조인의 파이프라인 방식 처리는 조인 중간 결과를 디스크를 통하지 않고 다른 프로세서에게 직접 전달하므로 효율적이다. 파이프라인 해시 조인 알고리즘이 자료 불균형을 대비한 부하 균형 유지 메커니즘을 갖고 있지 않다면 자료 불균형은 성능에 매우 심각한 영향을 줄 수 있다. 본 논문은 자료 불균형의 영향과 제안된 두 가지 기법을 비교하기 위하여 파이프라인 세그먼트의 실행 모형, 비용 모형, 그리고 시뮬레이터를 개발한다. 다양한 파라미터로 모의 실험을 한 결과에 의하면 자료 불균형은 조인 선택도와 릴레이션 크기에 비례하여 시스템 성능을 떨어뜨림을 보여준다. 그러나 제안된 파이프 라인 해시 조인 알고리즘은 다수의 버켓 사용과 분할의 조율을 통해 자료 불균형도가 심한 경우에도 좋은 성능을 갖게 한다.

비공유 공간 클러스터 환경에서 효율적인 병렬 공간 조인 처리 기법 (Efficient Parallel Spatial Join Processing Method in a Shared-Nothing Database Cluster System)

  • 정원일;이충호;배해영
    • 정보처리학회논문지D
    • /
    • 제10D권4호
    • /
    • pp.591-602
    • /
    • 2003
  • 기존의 단일 대용량 데이터베이스 서버에 인터넷 서비스 사용자들이 과도하게 몰릴 경우 서버에 발생하는 네트워크 통신량의 증가와 자원 사용량의 급격한 증가로 인해 서비스 처리 시간의 지연 및 서비스의 중단 현상이 발생할 수 있다. 이러한 문제들을 해결하기 위해 저비용의 여러 단일 노드를 고속의 네트워크로 연결하여 고성능을 제공하는 공간 데이터베이스 클러스터가 대두되었으나, 단일 노드에서 처리할 경우 전체 시스템의 성능을 저하시킬 수 있는 고비용의 공간 조인 연산에 대한 연구가 필요하다. 본 논문에서는 공간 데이터의 특성을 고려한 데이터의 분할과 부분 중복 기법을 사용하는 비공유 공간 데이터베이스 클러스터 환경에서 고비용의 공간 조인 연산을 효율적으로 수행하기 위한 논리적 분할 영역 및 병렬 공간 조인 기법을 제안한다. 제안 기법은 기존의 병렬 광간 조인 기법에서 나타나는 노드간 작업 생성 및 할당 단계가 필요하지 않으며 추가적인 메시지 전송이 발생하지 않으므로 고비용의 공간 조인 질의에 대해 기존의 비공유 구조를 위한 병렬 R-tree 공간 조인 기법보다 23%의 성능향상을 보인다. 또한, 각 클러스터 노드에서의 중복 정제(Refinement) 연산을 제거하므로 사용자에게 빠른 응답을 제공한다.

정보검색시스템에서 조인 시퀀스 분리성 기반 논리곱 불리언 질의 최적화 (Conjunctive Boolean Query Optimization based on Join Sequence Separability in Information Retrieval Systems)

  • 박병권;한욱신;황규영
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제31권4호
    • /
    • pp.395-408
    • /
    • 2004
  • 논리곱 불리언 질의는 질의에 포함된 키워드들이 모두 나타나는 텍스트 문서들을 검색하는질의로서, 정보검색 시스템에서 가장 널리 사용되는 질의이다. 논리곱 불리언 질의는 검색의 정확도를 높이기 위하여 많은 수의 키워드로 구성된 긴 질의를 사용한다. 이 경우. 키워드 처리 순서가 성능에 크게 영향을 미친다. 기존 정보검색시스템에서는 휴리스틱에 의존하여 키워드 처리 순서를 결정하므로 최적을 보장하지 못한다. 동적 프로그래밍과 같은 기존의 데이타베이스 질의 최적화 알고리즘은 복잡도가 지수적으로 증가하므로(Ο(n2$^{n-1}$)), 키워드 수가 많은 논리곱 불리언 질의에는 적합하지 않다. 본 논문에서는 조인시퀀스 분리성이라는 새로운 개념에 기반한 논리곱 불리언 질의 최적화 알고리즘을 제안한다. 조인 시퀀스 분리성이란 조인에 참여하는 릴레이션들이 어떤 조건을 만족할 경우, 최적 조인 시퀀스가 두 개의 서브 시퀀스로 분리된다는 성질이다. 이 성질을 활용하면 Ο(nlogn)만에 최적 조인 시퀀스를 구할 수 있다. 본 논문에서는 이러한 조인 시퀀스 분리성의 개념을 정형적으로 정의하고 이에 기반한 질의 최적화 알고리즘의 최적성을 이론적으로 증명한다. 그리고, 제안한 질의 최적화 알고리즘의 성능 평가를 위해, 비용 모델을 사용하여 다양한 시뮬레이션을 수행한다. 그 결과, 제안한 알고리즘의 성능이 기존의 휴리스틱 기반 질의 최적화 알고리즘들에 비해 100배 이상 우수함을 보인다. 또한, 동적 프로그래밍 알고리즘에 비해 질의 최적화 시간 면에서 기하 급수적으로 우수함을 보인다(키워드 개수가 10 개일 경우 600배 이상 우수함).

PIM-DM 멀티캐스트에서 그룹 가입 지연시간에 대한 성능 모의 실험 (A Simulation to Test Join Latency for PIM-DM Multicast)

  • 김한수;장주욱
    • 정보처리학회논문지C
    • /
    • 제10C권2호
    • /
    • pp.179-184
    • /
    • 2003
  • PIM-DM을 이용하여 멀티캐스트를 하였을 때 그룹에 가입하기 위해서 대기하는 시간이 특정한 시간 영역에서 크게 증가하는 문제점이 있음을 확인하였다. 이는 그룹에서 탈퇴하기 위한 리브 프룬 메시지와 플러딩에 대한 응답으로 발생하는 플러딩 프룬 메시지를 라우터가 구분하지 못하는 것에서 기인한다. 본 논문에서는 이러한 문제점의 원인을 분석하고, 이에 대한 해결방법을 제시하였다. 또한, 이를 이용하여 그룹 가입 지연 시간이 평균 37.4% 감소됨을 네트워크 시뮬레이션을 통해서 확인하였다.

Semijoin-Based Spatial Join Processing in Multiple Sensor Networks

  • Kim, Min-Soo;Kim, Ju-Wan;Kim, Myoung-Ho
    • ETRI Journal
    • /
    • 제30권6호
    • /
    • pp.853-855
    • /
    • 2008
  • This paper presents an energy-efficient spatial join algorithm for multiple sensor networks employing a spatial semijoin strategy. For optimization of the algorithm, we propose a GR-tree index and a grid-ID-based spatial approximation method, which are unique to sensor networks. The GR-tree is a distributed spatial index over the sensor nodes, which efficiently prunes away the nodes that will not participate in a spatial join result. The grid-ID-based approximation provides great reduction in communication cost by approximating many spatial objects in simpler forms. Our experiments demonstrate that the algorithm outperforms existing methods in reducing energy consumption at the nodes.

  • PDF

오픈소스 DBMS의 성능 품질 평가 (Evaluating the Performance Quality of Open Source Database Management Systems)

  • 민미경
    • 품질경영학회지
    • /
    • 제45권4호
    • /
    • pp.933-942
    • /
    • 2017
  • Purpose: The purpose of this paper is to evaluate the performance quality of the open source DBMSs. Performance quality is defined as processing time for Join queries. Query processing time is measured and compared in the most widely used open source DBMSs and commercial DBMS. Methods: By varying the number of tuples of two relations to be joined, the average processing time(seconds) of a Join query in each DBMS was obtained experimentally. ANOVA and Tukey HSD test were used in order to compare the performance quality of DBMSs. Results: There was a significant difference between the performance qualities of the three DBMSs at all experimental levels where the number of tuples was 100, 1,000, 2,000, 10,000, and 50,000. As a result of the Tukey HSD test, two open source DBMSs (MariaDB, MySQL) were classified in the same group only at the tuple level of 100. The commercial DBMS (MS-SQL Server) belonged to another group. At level of more than 1,000 tuples, all three DBMSs belonged to different groups. Conclusion: Within the open source DBMS group, MariaDB showed the better performance quality except for a small number of tuples. Thus the results show that MariaDB can be the alternative to MySQL which is currently most widely used. Between open source DBMS and commercial DBMS groups, MS-SQL Server always shows the best performance quality, but the less number of tuples, the less the difference.

DSMS 에서 환형 큐 버퍼 기반의 해시 색인을 이용한 조인 기법 (Join processing using Hash Index based on Ring Queue Buffer in DSMS)

  • 김상기;이연;백성하;이동욱;김경배;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 추계학술발표대회
    • /
    • pp.389-392
    • /
    • 2008
  • 유비쿼터스 환경에서 센서 데이터는 빠르고 연속적인 데이터 스트림 형태로 전송된다. 이러한 개별적인 데이터 스트림 정보를 연관되어 처리하기 위해 조인 연산이 필요하다. LWO, SWF 와 같은 기존 기법들은 Nested Loop Join 을 이용해 데이터 스트림 환경에서 조인 알고리즘을 제시하였다. 하지만 Nested Loop Join 을 사용하기 때문에 슬라이딩 윈도우의 크기에 따라 처리 속도가 영향을 많이 받고 XJoin 은 디스크 I/O 추가 비용이 필요하다. 제안 기법은 환형 큐 버퍼 기반의 해시 색인을 이용한 조인 기법은 환형 큐를 이용하여 데이터의 삽입, 삭제를 관리하고 해시 색인을 이용해 조인 연산을 처리 하여 제안 기법은 기존의 기법 보다 조인 연산을 보다 효율적으로 처리 할 수 있다.