• 제목/요약/키워드: Join stream

검색결과 39건 처리시간 0.024초

DISSECTION TECHNIQUE FOR EFFICIENT JOIN OPERATION ON SEMI-STRUCTURED DOCUMENT STREAM

  • Seo, Dong-Hyeok;Lee, Dong-Gyu;Ryu, Keun-Ho
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2007년도 Proceedings of ISRS 2007
    • /
    • pp.11-13
    • /
    • 2007
  • There has been much interest in stream query processing. Various index techniques and advanced join techniques have been proposed to efficiently process data stream queries. Previous proposals support rapid and advanced response to the data stream queries. However, the amount of data stream is increasing and the data stream query processing needs more speedup than before. In this paper, we proposed novel query processing techniques for large number of incoming documents stream. We proposed Dissection Technique for efficient query processing in the data stream environment. We focused on the dissection technique in join query processing. Our technique shows efficient operation performance comparing with the other proposal in the data stream. Proposed technique is applied to the sensor network system and XML database.

  • PDF

시공간 슬라이딩윈도우기법을 이용한 데이터스트림의 인과관계 결합질의처리방법 (Causality join query processing for data stream by spatio-temporal sliding window)

  • 권오제;이기준
    • Spatial Information Research
    • /
    • 제16권2호
    • /
    • pp.219-236
    • /
    • 2008
  • 센서로부터 획득되는 데이터 스트림은 스트림 데이터 간의 인과관계와 같은 다양한 유용한 정보를 포함한다. 센서 스트림에 대한 인과관계 조인질의는 스트림으로부터 인과관계의 (원인, 결과) 쌍을 찾아내는 것이다. 하지만 센서로부터 DSMS로 데이터가 전송될 때 발생하는 지연과 제한된 윈도우 크기로 인해 일부의 인과관계 결과 쌍이 손실될 수 있다. 본 논문에서는 먼저 데이터 스트림에서 인과관계 조인질의를 처리할 때 고려해야할 시간적, 공간적 그리고 시공간적 관점에 대해 관찰하고 이러한 관찰들을 고려한 다양한 슬라이딩 윈도우 처리 방법들을 제안한다. 제안된 방법들의 성능은 다양한 실험들을 통해 평가되어지는데 실험 결과들은 본 논문에서 제안된 방법들이 기존의 FIFO 방법에 비해 인과관계 질의 처리 결과가 더 정확함을 보여준다.

  • PDF

비트-벡터 해시 테이블을 이용한 효율적인 다중 스트림 조인 알고리즘 (An Efficient M-way Stream Join Algorithm Exploiting a Bit-vector Hash Table)

  • 권태형;김현규;이유원;김명호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권4호
    • /
    • pp.297-306
    • /
    • 2008
  • MJoin은 변화가 잦은 데이타 스트림의 조인을 효율적으로 수행하기 위한 방법으로 소개되었다. MJoin은 다중 스트림의 처리가 가능하도록 대칭적 해시 알고리즘을 확장한 것으로, 각 입력 튜플마다 모든 해시 테이블에 동일한 키를 지닌 튜플이 존재하는지 반복적으로 체크한다. 그러나, 조인 선택율이 낮고 조인되는 데이타 스트림의 수가 많을 경우, 이러한 체크 과정의 성능은 조인되는 데이타 스트림의 조인순서에 많은 영향을 받게 된다. 본 논문에서는 MJoin처럼 대칭적 해시 알고리즘을 기본으로 하지만, 이러한 체크 과정을 조인순서에 상관없이 상수 시간에 처리하는 BiHT-Join 알고리즘을 제안한다. BiHT-Join은 스트림에 있는 튜플의 존재 유무를 비트-벡터로 유지하며, 이를 비교하는 것으로 조인의 성공/실패를 판단한다. 따라서, BiHT-Join은 이 판단을 기준으로 조인이 성공하는 튜플만 해시 조인을 수행함으로 조인 효율을 높일 수 있다. 우리는 실험을 통해 BiHT-Join이 다중 데이타 스트림 조인에서 MJoin에 비해 더 나은 성능을 제공한다는 것을 보인다.

공간 데이터스트림을 위한 조인 전략 및 비용 모델 (Strategies and Cost Model for Spatial Data Stream Join)

  • 유기현;남광우
    • 한국공간정보시스템학회 논문지
    • /
    • 제10권4호
    • /
    • pp.59-66
    • /
    • 2008
  • GeoSensor 네트워크란 지리공간상에서 발생하는 다양한 현상들을 모니터링하는 특정형태의 센서네트워크 인프라 및 관련 소프트웨어를 의미한다. 그리고 이러한 GeoSensor 네트워크는 데이터스트림과 공간 속성의 데이터를 가진 스트림, 또는 공간 릴레이션과의 조합으로 구현될 수 있다. 하지만, 최근까지 연구된 센서 네트워크 시스템은 공간 정보를 배제한 센서 데이터스트림에 대한 저장 및 검색 방안 연구에 치중되어 있다. 따라서 본 논문은 GeoSensor 네트워크에서 데이터스트림과 공간 데이터가 결합된 형태의 공간 데이터스트림의 정의 및 그들 간의 조인 전략들을 제안한다. 본 논문에서 정의하고 있는 공간 데이터스 트림에는 이동 객체 형태의 동적 공간 데이터스트림과 고정된 형태의 정적 공간 데이터스트림이 있다. 동적공간 데이터스트림은 GPS와 같이 동적으로 이동하는 센서에 의해 전송되는 데이터스트림을 말한다. 반면, 정적 공간 데이터스트림은 일반 센서 형태의 데이터스트림과 이러한 센서들의 위치 값을 가지고 있는 릴레이션과의 조인으로 만들어 진다. 본 논문은 동적 공간 데이터스트림과 정적 공간 데이터스트림의 조인 및 조인 비용을 추정하는 모델을 제안하고 있다. 또한, 실험을 통해 제안하는 비용 모델의 검증 및 조인 전략에 따른 조인 성능을 보이고 있다.

  • PDF

엑스플러스 조인 : 조인 중복체크의 오버헤드를 줄이기 위한 개선된 방법 (X+ Join : The improved X join scheme for the duplicate check overhead reduction)

  • 백주현;박성욱;정성원
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (C)
    • /
    • pp.28-32
    • /
    • 2006
  • 유비쿼터스(Ubiquitous)환경과 같이 외부로부터 입력되는 데이터가 stream의 형식으로 실시간으로 들어오고, 입력의 끝을 알 수 없는 환경에서는 기존의 join방식으로는 문제를 해결 할 수 없다. 또한 이러한 환경 하에서는 데이터의 크기나 특성이 모두 다르고 네트워크 상태에 따라 입력이 많은 영향을 받게 된다. 이런 stream환경의 join연산을 위하여 double pipelined hash join, Xjoin, Pjoin등 많은 알고리즘이 기존의 연구를 대표하여 왔다. 그 중 Xjoin은 symmetric hash join과 hybrid hash join의 특징들을 이용해서 들어오는 data의 흐름에 따라서 reactive하게 join과정을 조절함으로써 streaming data에 대한 join을 수행한다. 그러나 여러 단계의 수행에 따른 연산의 중복결과를 체크하기 위한 overhead로 인해 성능이 떨어진다. 이 논문에서는 이러한 점을 개선하기 위해서 Xjoin의 수행과정을 수정한 방법을 제시할 것이다. 각 partition마다 구분자만을 추가함으로써 간단하게 중복을 만들어내지 않는 방법을 제안하고 불필요한 연산과 I/O를 줄일 수 있도록 partition선택방법을 추가할 것이다. 이를 통해서 중복된 연산인지 체크하는 과정을 상당히 단순화함으로써 좀 더 좋은 성능을 가지게 될 것이고 또한 timestamp를 저장해야 하는 overhead를 줄여서 전체 연산에 필요한 저장 공간을 절약할 수 있다.

  • PDF

기호공간에서 이동객체 스트림 데이터의 연속 시공간 셀프조인 질의 (Continuous Spatio-Temporal Self-Join Queries over Stream Data of Moving Objects for Symbolic Space)

  • 황병주;이기준
    • Spatial Information Research
    • /
    • 제18권1호
    • /
    • pp.77-87
    • /
    • 2010
  • 시공간 조인은 이동객체와 같이 시공간의 특성을 가지는 데이터를 처리할 때 요구되는 중요한 연산자로, 이동객체들의 움직임을 분석하거나 이동객체들의 시공간적 패턴을 찾는 것과 같이 다양하게 활용된다. 현재까지 실외공간에서의 시공간 조인 질의에 관한 연구는 많이 진행되어왔다. 최근에는 실내측위기술이 발전함에 따라 실외뿐만 아니라 실내에서도 다양한 위치기반 서비스가 점진적으로 제공되고 있으며, 특히 이동객체를 중심으로 다양한 응용 서비스들을 필요로 하게 된다. 하지만 실내공간에서의 시공간 조인에 관한 연구는 아직 전무하다. 본 논문에서는 실내공간에서 실시간으로 갱신되는 이동객체에 대한 연속 시공간 셀프조인 질의와 질의처리 방법론을 제안하였다. 연속 시공간 셀프조인 질의는 주어지는 특정 시간과 공간의 조건을 만족하는 모든 쌍들을 시간이 지남에 따라 지속적으로 갱신하는 질의이다. 본 논문에서는 방이나 복도와 같이 특정한 기호를 중심으로 이동객체의 위치를 표현하며 이러한 특징을 가지는 공간을 기호공간이라 한다. 그리고 방대한 스트림데이터를 효과적으로 필터링하고 관리하기 위한 후보쌍 버퍼 테이블이라는 자료구조와 이를 활용한 질의처리 방법론을 제안하였으며 실험을 통해 타당성을 검증하였다.

데이타 스트림에서의 다중 조인 질의 최적화 방법 (Optimizing Multi-way Join Query Over Data Streams)

  • 박홍규;이원석
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권6호
    • /
    • pp.459-468
    • /
    • 2008
  • 데이타 스트림이란 실시간에 연속적으로 빠르게 생성되는 데이타 집합을 의미한다. 이러한 데이타 스트림들은 최근 사회가 발달과 더불어 정보 환경도 급속도로 발전함에 따라 센서 데이타, 교통상황 수집 자료, 웹 클릭 모니터링 등과 같은 많은 응용 분야에서 적용되고 있다. 이러한 형태의 데이트 스트립을 처리하기 위해서는 미리 등록된 질의에 대하여 새롭게 들어오는 스트림 데이타의 결과를 계속적으로 생성하게 된다. 이와 같은 이유로 끊임없이 들어오는 스트링 데이타들을 빠르게 처리하는 것이 이 분야에서 주된 이슈가 되었으며, 이를 위한 방법으로 등록된 질의들을 효율적으로 처리하기 위한 질의 최적화분야에 많은 연구가 있었다. 그러므로 본 논문에서는 기존 연구에서 사용되었던 그리디 방법을 기반으로 비용 모델을 이용하여 최소의 비용을 갖는 질의 계획을 선택하는 확장된 그리디 방법(EGA)을 제시한다. 화장된 그리디 방법은 알고리즘의 정확성이 떨어지는 그리디 알고리즘의 단점을 극복하기 위하여 비용이 가장 작은 연산하나를 선택하는 대신 비용이 자은 연산들의 집합을 선택한다. 이 연산들의 집합의 크기는 알고리즘의 정확성과 수행 시간에 영향을 끼치며, 투 개의 변수에 의해서 적응적으로 조절 수 있다. 실험에서는 다양한 스트림 환경에서 대부분 그리디 알고리즘보다 향상된 성능을 보장하고, 두 변수에 의한 알고리즘의 성능 및 수행 시간 차이를 보여줌으로써 본 알고리즘의 효율성을 검증하였다.

데이터 스트림에서 다중 조인 연속질의의 효과적인 처리를 위한 전처리 기법 (Preprocessing Method for Handling Multi-Way Join Continuous Queries over Data Streams)

  • 서기언;이주일;이원석
    • 인터넷정보학회논문지
    • /
    • 제13권3호
    • /
    • pp.93-105
    • /
    • 2012
  • 데이터 스트림이란 빠르게 연속적으로 무한히 발생하는 데이터 집합을 의미한다. 최근 다양한 산업의 발달로 인해 이러한 스트림 데이터의 효율적인 처리를 위한 요구 사항들이 늘어나고 있다. 특히 많은 연산 비용을 요구하는 조인 연산의 효율적인 처리는 데이터 스트림 관리 시스템의 성능 향상에 많은 영향을 미친다. 본 논문에서는 다중 조인 연속질의의 효율적인 처리를 위하여 최종 질의 결과에 포함되지 않는 불필요한 중간 조인 결과들을 사전에 제거함으로써 조인 연산의 비용을 감소시키는 방법을 제안한다. 이를 위해 스트림 데이터의 모니터링을 위한 매트릭스 기반의 구조체를 제안하고, 제안된 구조체를 이용한 매트릭스 연산을 통하여 최종 조인 결과의 투플 수를 예측함과 동시에 불필요한 중간 결과들을 만들어내는 투플들을 찾아낸다. 이를 통해 해당 투플을 이용한 조인 연산의 수행 여부를 결정하여 최종 조인 결과를 만들지 않는 투플을 조인 연산에서 배제함으로써 효율적으로 다중 조인 연속 질의를 처리한다.

데이타 스트림 상에서 다중 연속 복수 조인 질의 처리 최적화 기법 (MMJoin: An Optimization Technique for Multiple Continuous MJoins over Data Streams)

  • 변창우;이헌주;박석
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권1호
    • /
    • pp.1-16
    • /
    • 2008
  • 센서 네트워크에 이용되는 데이타 스트림 관리 시스템에서는 한정적 정보들이 개별적으로 입력되기 때문에 종합적인 결과를 얻기 위해서는 상대적인 계산 비용이 높은 조인 연산자는 필연적으로 요구된다. 데이타 스트림은 잠재적으로 무한한 크기를 가지므로 조인 연산자는 슬라이딩 윈도우 제약사항을 가져야 함은 당연하다. 또한, 종합적인 결과를 얻기 위해 조인 연산자는 여러 입력을 취할 수 있어야 한다. 이를 가능하게 하는 것이 바로 슬라이딩 윈도우를 가지는 MJoin 연산자이다. 본 논문에서는 이러한 여러 MJoin 연산자가 시스템에 등록되어 있는 환경을 가정하고, 슬라이딩 윈도우를 가지는 MJoin의 특성을 반영하여 전역적으로 공유된 질의 처리 기법인 MMJoin 기법을 제안한다. MMJoin 기법은 첫째, 전역적으로 공유된 질의 실행 계획 수릴 문제, 조인 연산 결과에 대한 윈도우 갱신 문제 및 라우팅 문제로 나누어 다룬다. 이러한 연구의 노력은 데이타 스트림 환경에서 효율적인 다중 질의 최적화 및 처리 기법의 기초연구로 활용될 수 있다.

합류 곡관덕트 출구영역에서 난류유동의 유동특성 (Flow Characteristics of Turbulent Flow in the Exit Region of Join Stream Curved Duct)

  • 손현철;박상규
    • 대한기계학회논문집B
    • /
    • 제27권5호
    • /
    • pp.569-578
    • /
    • 2003
  • In the present steady the flow characteristics of turbulent steady flows were experimentally investigated in the exit region of join stream. The experimental was carry out to measure the velocity profiles of air in a square duct. For the measurement of velocity profiles, a hot-wire anemometer was used. The experimental results shows that the velocity profiles do not change behind the fully developed flow region , which is defined as dimensionless axial direction x/Dh=50. In addition, the gradient of shear stress distribution became stable as the flow reached progress downstream.