• 제목/요약/키워드: Join Processing

Search Result 229, Processing Time 0.022 seconds

다중 해시 조인의 파이프라인 처리에서 분할 조율을 통한 부하 균형 유지 방법 (A Load Balancing Method using Partition Tuning for Pipelined Multi-way Hash Join)

  • 문진규;진성일;조성현
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제29권3호
    • /
    • pp.180-192
    • /
    • 2002
  • Shared nothing 다중 프로세서 환경에서 조인 어트리뷰트의 자료 불균형(data skew)이 파이프라인 해시 조인 연산의 성능에 주는 영향을 연구하고, 자료 불균형을 대비하여 적재부하를 Round-robin 방식으로 정적 분할하는 방법과 자료분포도를 이용하여 동적 분할하는 두 가지 파이프라인 해시 조인 알고리즘을 제안한다. 해시 기반 조인을 사용하면 여러 개의 조인을 파이프라인 방식으로 처리할 수 있다. 다중 조인은 파이프라인 방식 처리는 조인 중간 결과를 디스크를 통하지 않고 다른 프로세서에게 직접 전달하므로 효율적이다. Shared nothing 다중 프로세서 구조는 대용량 데이타베이스를 처리하는데 확장성은 좋으나 자료 불균형 분포에 매우 민감하다. 파이프라인 해시 조인 알고리즘이 동적 부하 균형 유지 메커니즘을 갖고 있지 않다면 자료 불균형은 성능에 매우 심각한 영향을 줄 수 있다. 본 논문은 자료 불균형의 영향과 제안된 두 가지 기법을 비교하기 위하여 파이프라인 세그먼트의 실행 모형, 비용 모형, 그리고 시뮬레이터를 개발한다. 다양한 파라미터로 모의 실험을 한 결과에 의하면 자료 불균형은 조인 선택도와 릴레이션 크기에 비례하여 시스템 성능을 떨어뜨림을 보여준다. 그러나 제안된 파이프라인 해시 조인 알고리즘은 다수의 버켓 사용과 분할의 조율을 통해 자료 불균형도가 심한 경우에도 좋은 성능을 갖게 한다.

데이타 스트림 상에서 다중 연속 복수 조인 질의 처리 최적화 기법 (MMJoin: An Optimization Technique for Multiple Continuous MJoins over Data Streams)

  • 변창우;이헌주;박석
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권1호
    • /
    • pp.1-16
    • /
    • 2008
  • 센서 네트워크에 이용되는 데이타 스트림 관리 시스템에서는 한정적 정보들이 개별적으로 입력되기 때문에 종합적인 결과를 얻기 위해서는 상대적인 계산 비용이 높은 조인 연산자는 필연적으로 요구된다. 데이타 스트림은 잠재적으로 무한한 크기를 가지므로 조인 연산자는 슬라이딩 윈도우 제약사항을 가져야 함은 당연하다. 또한, 종합적인 결과를 얻기 위해 조인 연산자는 여러 입력을 취할 수 있어야 한다. 이를 가능하게 하는 것이 바로 슬라이딩 윈도우를 가지는 MJoin 연산자이다. 본 논문에서는 이러한 여러 MJoin 연산자가 시스템에 등록되어 있는 환경을 가정하고, 슬라이딩 윈도우를 가지는 MJoin의 특성을 반영하여 전역적으로 공유된 질의 처리 기법인 MMJoin 기법을 제안한다. MMJoin 기법은 첫째, 전역적으로 공유된 질의 실행 계획 수릴 문제, 조인 연산 결과에 대한 윈도우 갱신 문제 및 라우팅 문제로 나누어 다룬다. 이러한 연구의 노력은 데이타 스트림 환경에서 효율적인 다중 질의 최적화 및 처리 기법의 기초연구로 활용될 수 있다.

스트리밍 XML 데이타에서 영역 윈도우를 사용한 조인 질의의 범위 최소화 기법 (Scope Minimization of Join Queries using a Range Window on Streaming XML Data)

  • 박석;김미선
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권2호
    • /
    • pp.224-238
    • /
    • 2006
  • XML이 인터넷 상에서 데이타 교환의 표준으로 자리매김하면서 스트리밍 환경의 XML 데이타에 대한 효과적인 조인 질의 처리도 증가하고 있다. 튜플 단위로 처리하는 기존의 데이타베이스 기법을 스트리밍 XML 데이타에 적용했을 때 제한된 메모리 사용에 따른 메모리 한계를 초과하는 문제가 발생한다. 또한 구조적인 특징을 가지는 XML 데이타에 대한 질의 경로 탐색 및 특정 부분 데이타에 대한 접근에 소모되는 처리 비용이 급격히 증가하는 문제가 발생하게 된다. 근본적으로 전체 데이타가 아닌 부분 데이타를 저장하고 질의 처리해야 하는 스트리밍 환경에 적용하기에는 부적절하다. 따라서 스트리밍 XML 데이타에 맞는 저장 기법으로 적은 메모리의 사용을 통해 빠르게 조인 프레디킷을 만족하는 부분 스트리밍 데이타를 검색할 수 있는 새로운 기법이 요구된다. 본 논문에서는 적은 메모리 사용을 위한 저장 기법을 위해 PCDATA와 CDATA에 해당되는 부분만을 추출하여 저장한다. 그리고 빠른 조인 프레디킷(Predicate) 비교를 위해 DTD의 구조정보 중 지시자(Cardinality) "*" 와 "+"를 기초하여 영역 윈도우(Range Window)를 설정하여 질의에 만족하는 윈도우만을 선택적으로 조인하는 기법을 제안하여 문제를 해결한다.

파이프라인 기반의 병렬처리 라이브러리 구현 (Implementation of Pipeline-Based Parallel Processing Library)

  • 하승우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.453-456
    • /
    • 2021
  • 본 논문에서는 fork-join과 work stealing을 이용하여 동적 병렬처리를 수행하는 라이브러리를 구현하였다. 이 라이브러리는 병렬처리를 직관적으로 할 수 있는 함수형 프로그래밍 스타일의 파이프라인 API를 제공한다. 이를 이용한 성능 테스트에서 멀티코어를 제대로 활용하는 결과를 얻을 수 있었다. 마지막으로 blocking 작업 실행 시 병렬성 유지를 위해 추가로 개선할 수 있는 방법을 제시한다.

조건 술어 분석을 이용한 능동규칙의 조건부 처리 시스템 (A Condition Processing System of Active Rules Using Analyzing Condition Predicates)

  • 이기욱;김태식
    • 정보처리학회논문지D
    • /
    • 제9D권1호
    • /
    • pp.21-30
    • /
    • 2002
  • 능동 데이터베이스 시스템은 특정한 상태를 탐지하는 능동규칙을 도입한다. 조건부 평가는 사건이 발생할 때마다 수행되기 때문에 조건부를 처리하는 방법에 따라 시스템의 성능에 중요한 영향을 미친다. 본 논문에서는 차이트리 구조, 분류트리, 그리고 집계함수 테이블을 생성하는 전처리 기능을 갖는 조건부 처리 시스템을 제안한다. 전처리는 능동규칙을 미리 파악할 수 있는 능동 데이터베이스의 특징 때문에 도입될 수 있다. 본 논문에서는 선택연산, 조인연산, 그리고 집계함수를 효율적으로 처리할 수 있는 차이트리를 제안하고 조건부의 처리 성능을 높인다. 그리고 조인연산을 효과적으로 처리하는 분류트리와 높은 처리비용을 요구하는 집계함수를 처리하는 집계함수 테이블을 제안한다. 본 논문의 조건부 처리 시스템은 전처리 기능에서 만들어진 조건부 처리 구조 때문에 조건 비교의 횟수를 감소시켜 능동규칙에서 조건부 처리의 성능 향상을 기대할 수 있다.

스타 스키마 조인 처리에 대한 세로-지향 데이터베이스 시스템과 가로-지향 데이터베이스 시스템의 성능 비교 (Performance Comparison of Column-Oriented and Row-Oriented Database Systems for Star Schema Join Processing)

  • 오병중;안수민;김경창
    • 한국컴퓨터정보학회논문지
    • /
    • 제16권8호
    • /
    • pp.29-38
    • /
    • 2011
  • 세로-지향 데이터베이스 시스템은 기존의 가로-지향 데이터베이스 시스템과 달리 데이터를 가로(row) 위주가 아닌 세로(column) 위주로 저장한다. 최근에는 데이터 웨어하우스나 의사 결정 시스템 같은 대용량 데이터를 갖는 읽기 위주의 응용들에서 세로-지향데이터베이스의 우수성이 관찰되었다. 본 논문에서는 세로-지향데이터베이스에서의 조인 전략을 구체적으로 분석하고 데이터 웨어하우스 시스템에서 세로-지향 데이터베이스의 우수성을 검증하고자 한다. 두 시스템간의 객관적인 비교를 위해 데이터 웨어하우스 분석 모델인 스타 스키마 벤치마크를 통해 스타스키마조인 질의에 대한 성능분석을 실시하고자 한다. 또한 세로-지향 데이터베이스의 조인 전략으로 조기 실체화(early materialization)와 지연 실체화(late materialization)를 고려하였다. 성능 분석을 통해 스타 스키마 조인 질의처리에 있어 가로-지향 시스템보다는 세로-지향 시스템에서 디스크 I/O 비용이 더 효율적인 결과를 확인할 수 있었다. 세로-지향 데이터베이스 시스템 측면에서는 조기 실체화보다는 지연 실체화 조인전략이 훨씬 우수한 성능을 보였다.

변환공간 뷰를 기반으로한 공간 조인 (Spatial Join based on the Transform-Space View)

  • 이민재;한욱신;황규영
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제30권5호
    • /
    • pp.438-450
    • /
    • 2003
  • 공간 조인이란 서로 겹치는 관계를 가지는 공간 객체의 쌍들을 찾는 질의이다. 색인 기반 공간 조인에는 원공간 색인인 R 트리가 널리 사용된다. 원공간 색인이란 원공간상에서 표현된 공간 객체를 색인하는 구조로, 이를 활용한 조인은 크기를 가지는 공간 객체를 다루기 때문에 정형적인 방법이 아닌 휴리스틱에 의존하는 단점을 가진다. 반면, 변환공간 색인은 원공간 상의 공간 객체를 변환공간 상의 크기가 없는 점 객체로 변환하여 색인한 후에 이들을 다루기 때문에, 이를 활용한 공간 조인은 상대적으로 단순하고 정형적인 방법을 사용하는 장점을 가진다. 그러나, 이 방법은 R 트리와 같이 원공간 객체를 색인하는 원공간 색인에는 적용될 수 없는 문제점을 가진다. 본 논문에서는 이 두 방법의 장점만을 취하는 새로운 방법을 제안한다. 즉, 변환공간 뷰(transform-space view)라는 새로운 개념과 이를 사용한 공간 조인 알고리즘인 변환공간 뷰 조인 알고리즘(transform-space view join algorithm)을 제안한다. 변환공간 뷰란 원공간 색인에 대한 가상의 변환공간 색인으로서, 이미 구축된 원공간 색인을 구조적으로 변경하지 않고서 별도의 추가비용 없이 가상의 변환공간 색인으로 해석할 수 있게 한다. 실험 결과, 변환공간 뷰 조인알고리즘은 R 트리를 원공간에서 조인하는 알고리즘들과 비교하여 디스크 액세스 횟수 측면에서 최대 43.1%까지 더 좋은 성능을 보인다. 본 논문의 가장 중요한 공헌은 R 트리와 같이 널리 사용되는 원공간 색인을 변환공간 뷰라는 새로운 개념을 통하여 변환공간에서 해석하여 사용할 수 있음을 보인 것이다. 우리는 이 새로운 개념이 다양한 공간 질의 처리 알고리즘들이 변환공간에서 새롭게 개발될 수 있는 프레임워크를 마련했다고 믿는다.

대용량 IoT 데이터의 빠른 분석을 위한 OLAP 기반의 빅테이블 생성 방안 (OLAP-based Big Table Generation for Efficient Analysis of Large-sized IoT Data)

  • 이도훈;조찬영;온병원
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 추계학술대회
    • /
    • pp.2-5
    • /
    • 2021
  • 최근 사물인터넷(IoT) 기술이 발전하면서 다양한 단말들이 인터넷에 연결되고 있다. 그로 인해 발생하는 IoT 데이터의 양 또한 증가하고 있는데, 이렇게 발생한 대용량 IoT 데이터를 빠르게 분석할 수 있는 인덱스 키를 제안한다. 기존 인덱스 키에는 시간과 공간의 정보만 존재하여 반복문이나, 조인 연산(Join operation)을 사용하여 인덱스 테이블과 인스턴스 테이블에 저장되어있는 데이터를 질의했다면, 제안방안의 인덱스 키에는 IoT 데이터를 임베딩(Embedding) 하여 시간이 지연되었던 반복문이나 조인횟수를 최소화하기 위하여 OLAP 기반의 빅테이블을 생성함으로써 시간을 단축하였다.

  • PDF

XML 정규 경로식을 위한 유연한 질의 처리 시스템 (A Flexible Query Processing System for XML Regular Path Expressions)

  • 김대일;김기창;김유성
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제30권6호
    • /
    • pp.641-650
    • /
    • 2003
  • 반 구조적(semi-structured)이며 표현의 유연성이 높은 XML(extensible Markup Language)은 인터넷에서의 정보 교환의 표준으로 자리잡았다. 많은 문서들이 XML로 작성되고 있으며 이러한 문서들에 대한 효율적인 저장과 검색에 대한 요구가 증가하고 있다. XML 문서들을 저장하는 백엔드(back-end)로서 대량의 정보처리가 가능하고 회복, 동시성 제어 등의 성숙된 기술들을 가지고 있는 관계형 데이타베이스를 이용하는 많은 연구들이 있다. 기존의 관계형 데이타베이스를 이용한 질의 처리 방법들에서는 다양한 질의에 대해 동일한 구조 정보와 기본 연산을 적용하여 질의 처리를 하기 때문에 특정한 질의 형태만을 효율적으로 처리할 수 있다. 본 논문에서는 질의를 분석하여 질의에 적합한 구조 정보와 기본 연산을 적용하는 유연한 질의 처리 시스템을 제안한다. 제안된 질의 처리 시스템은 정규 경로식 XML 질의를 분석하여 부모-자식 관계 파악에는 동등(equi)-조인을 사용하고 부모-자식 관계가 아닌 조상-자손 관계에는 $\theta$-조인을 사용하여 다양한 정규 경로식 질의를 효율적으로 처리한다. 제안된 XML 질의 처리 시스템과 기존의 관계형 데이타베이스를 이용하는 질의 처리 시스템을 비교 실험한 결과 다양한 정규 경로식 질의 처리의 성능 향상을 보였다.

TB-Tree 를 이용한 이동객체 조인 알고리즘 (Moving Objects Join Algorithms using TB-Tree)

  • 이재호;이성호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 춘계학술발표대회
    • /
    • pp.125-128
    • /
    • 2005
  • 이동 객체 데이터베이스 시스템에서 시공간 조인 연산은 이동 객체들의 결합을 위한 중요한 연산이며 수행 시간은 이동 객체의 수가 증가함에 따라 기하급수적으로 증가한다. 그러므로 효과적인 시공간 조인 연산이 필수적이다. 본 논문에서는 기존의 공간 조인에서 활용되었던 기법들을 이동객체 조인에 적용하였다. 이동 객체의 궤적에 대한 정보를 잘 유지하고 있는 시공간 색인인 TB-Tree 를 이용한 깊이 우선 탐색 기반과 넓이 우선 탐색 기반 TB-Tree 조인에 대한 알고리즘들을 제시하고 구현한 알고리즘들의 성능 비교한 실험 결과를 제시한다.

  • PDF