• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2007년도 춘계학술발표대회
• /
• pp.38-41
• /
• 2007

최근 산업발달과 더불어 금융, 의료, 건설 등 다양한 산업분야에서는 대용량의 데이터 들이 실시간에 연속적으로 빠르게 발생되는 경우가 많다. 이런 스트림데이터 형태의 경우 전통적인 DBMS에서 처리하는 방식으로는 모든 데이터를 처리하는 것이 불가능하기 때문에 기존의 방식과 다른 데이터 처리방식이 요구된다. 본 논문에서는 데이터 스트림에 대한 다중 연속 질의들 사이에서 2개 이상의 스트림을 조인하는 다중 조인 연속 질의를 효율적으로 처리하는 방법을 연구하였다. 다중 조인 연속 질의에 사용되는 조인 조건들 가운데 공통으로 사용된 조인 조건을 공유해 불필요하게 반복되는 질의 수행을 최소화시키고 공통부분을 우선적으로 수행시킴으로써 그 조인 결과의 공유 최대화 및 질의 수행비용의 최소화 할 수 있는 질의 수행 최적화 기법을 제안하고 실험을 통해 제안된 공유 기반의 질의 수행 최적화 기법을 검증하고자 한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2007년도 추계학술발표대회
• /
• pp.226-229
• /
• 2007

스트리밍 환경에서 조인 연산은 기존의 기법과는 다른 처리 방법을 요구한다. 이런 문제를 해결 하기 위해 기존에 여러 가지의 다양한 기법들이 제안되었다. 하지만 지금까지 제안된 방법들은 두 개의 입력 스트림에 대한 조인만 고려하거나 단일 속성 멀티 스트림 조인에 대해서만 고려해왔다. 하지만 조인 속성이 여러개인 경우에는 한단계로 조인을 수행하는 것은 불가능하다. 이 눈문에서는 이러한 문제를 해결하기 위해서 지금까지 고려되어 왔던 환경에서 더 일반화 된 다중속성을 가지는 조인을 고려한다. 이러한 경우에는 조인이 다단계로 일어나게 되는데 이러한 환경에서는 이전 단계의 조인이 다음 단계의 조인에 영향을 미치게 된다. 그러므로 최종 조인 결과를 빠르게 만들어 내기 위해서는 여러 입력 스트림 중에서 어떤 조인을 먼저 수행하느냐에 따라 전체적인 조인결과를 만들어내는 속도가 달라지게 된다. 그러므로 전체 조인결과를 빠르게 만들어 내기 위해서 조인이 수행되는 과정에서 여러 입력 스트림중에 어떤 스트림을 먼저 수행할지를 결정함으로써 최종 조인 결과를 빠르게 만들어낼 수 있게 하는 방법을 제안한다.

• 한국정보과학회논문지:데이타베이스
• /
• 제35권4호
• /
• pp.297-306
• /
• 2008

MJoin은 변화가 잦은 데이타 스트림의 조인을 효율적으로 수행하기 위한 방법으로 소개되었다. MJoin은 다중 스트림의 처리가 가능하도록 대칭적 해시 알고리즘을 확장한 것으로, 각 입력 튜플마다 모든 해시 테이블에 동일한 키를 지닌 튜플이 존재하는지 반복적으로 체크한다. 그러나, 조인 선택율이 낮고 조인되는 데이타 스트림의 수가 많을 경우, 이러한 체크 과정의 성능은 조인되는 데이타 스트림의 조인순서에 많은 영향을 받게 된다. 본 논문에서는 MJoin처럼 대칭적 해시 알고리즘을 기본으로 하지만, 이러한 체크 과정을 조인순서에 상관없이 상수 시간에 처리하는 BiHT-Join 알고리즘을 제안한다. BiHT-Join은 스트림에 있는 튜플의 존재 유무를 비트-벡터로 유지하며, 이를 비교하는 것으로 조인의 성공/실패를 판단한다. 따라서, BiHT-Join은 이 판단을 기준으로 조인이 성공하는 튜플만 해시 조인을 수행함으로 조인 효율을 높일 수 있다. 우리는 실험을 통해 BiHT-Join이 다중 데이타 스트림 조인에서 MJoin에 비해 더 나은 성능을 제공한다는 것을 보인다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (C)
• /
• pp.139-144
• /
• 2006

센서 네트워크에서 각 센서는 제한된 개수의 속성을 기반으로 한 스키마를 가진다. 사용자는 여러 센서에서 수집된 정보를 종합적으로 살펴보고자 하기 때문에 여러 센서에서 수집된 정보를 조인하는 질의가 필수적이다. 또한, 센서가 수집하는 데이터를 중앙 서버로 보내는 경우 스트림의 형태로 입력되므로 빠른 조인 질의의 질의 수행 계획을 수립해야 한다. 본 논문에서는 기존에 여러 입력 스트림을 조인하는 MJoin 을 기반으로 한 다중 조인 질의의 효율적인 최적화 기법을 제안한다. 또한 다중 조인 질의에 대해 기존의 MJoin을 적용한 기법과 본 논문에서 제안하는 다중 조인 질의 최적화 질의 계획 수립 기법을 비교, 분석한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2007년도 한국컴퓨터종합학술대회논문집 Vol.34 No.1 (C)
• /
• pp.43-48
• /
• 2007

데이터 스트림 관리 시스템에서 조인 연산자는 질의가 내포하는 여러 연산자들 가운데 상대적인 계산비용이 높은 연산자로, 센서 네트워크와 같이 한정적 정보들이 개별적으로 입력되는 환경에서는 필연적으로 요구된다. 데이터 스트림은 잠재적으로 무한한 크기를 가지므로 조인 연산자는 슬라이딩 윈도우 제약사항을 가져야 하며, 종합적인 결과를 얻기 위해 조인 연산자가 여러 입력을 취할 수 있어야 한다. 이를 가능하게 하는 것이 바로 슬라이딩 윈도우를 가지는 MJoin 연산자이다. 본 논문에서는 이러한 여러 MJoin 연산자가 시스템에 등록되어 있는 환경을 가정하고, 슬라이딩 윈도우 제약사항과 MJoin의 특성을 반영하여 전역적으로 공유된 질의 실행 계획 수립 및 처리에 관한 문제를 다룬다. 이러한 다중 MJoin에 대한 전역 공유 질의 실행 계획 수립 문제가 NP-Hard임을 증명하고, 근사화 접근 방법을 제안한다. 또한 전역적으로 공유된 질의 실행 계획을 올바르게 수행할 수 있는 처리 기법을 제안한다. 이러한 연구의 노력은 데이터 스트림 환경에서 효율적인 다중 질의 최적화 및 처리기법의 기초 연구로 활용될 수 있다.

• 인터넷정보학회논문지
• /
• 제13권3호
• /
• pp.93-105
• /
• 2012

데이터 스트림이란 빠르게 연속적으로 무한히 발생하는 데이터 집합을 의미한다. 최근 다양한 산업의 발달로 인해 이러한 스트림 데이터의 효율적인 처리를 위한 요구 사항들이 늘어나고 있다. 특히 많은 연산 비용을 요구하는 조인 연산의 효율적인 처리는 데이터 스트림 관리 시스템의 성능 향상에 많은 영향을 미친다. 본 논문에서는 다중 조인 연속질의의 효율적인 처리를 위하여 최종 질의 결과에 포함되지 않는 불필요한 중간 조인 결과들을 사전에 제거함으로써 조인 연산의 비용을 감소시키는 방법을 제안한다. 이를 위해 스트림 데이터의 모니터링을 위한 매트릭스 기반의 구조체를 제안하고, 제안된 구조체를 이용한 매트릭스 연산을 통하여 최종 조인 결과의 투플 수를 예측함과 동시에 불필요한 중간 결과들을 만들어내는 투플들을 찾아낸다. 이를 통해 해당 투플을 이용한 조인 연산의 수행 여부를 결정하여 최종 조인 결과를 만들지 않는 투플을 조인 연산에서 배제함으로써 효율적으로 다중 조인 연속 질의를 처리한다.

• 한국정보과학회논문지:데이타베이스
• /
• 제35권1호
• /
• pp.1-16
• /
• 2008

센서 네트워크에 이용되는 데이타 스트림 관리 시스템에서는 한정적 정보들이 개별적으로 입력되기 때문에 종합적인 결과를 얻기 위해서는 상대적인 계산 비용이 높은 조인 연산자는 필연적으로 요구된다. 데이타 스트림은 잠재적으로 무한한 크기를 가지므로 조인 연산자는 슬라이딩 윈도우 제약사항을 가져야 함은 당연하다. 또한, 종합적인 결과를 얻기 위해 조인 연산자는 여러 입력을 취할 수 있어야 한다. 이를 가능하게 하는 것이 바로 슬라이딩 윈도우를 가지는 MJoin 연산자이다. 본 논문에서는 이러한 여러 MJoin 연산자가 시스템에 등록되어 있는 환경을 가정하고, 슬라이딩 윈도우를 가지는 MJoin의 특성을 반영하여 전역적으로 공유된 질의 처리 기법인 MMJoin 기법을 제안한다. MMJoin 기법은 첫째, 전역적으로 공유된 질의 실행 계획 수릴 문제, 조인 연산 결과에 대한 윈도우 갱신 문제 및 라우팅 문제로 나누어 다룬다. 이러한 연구의 노력은 데이타 스트림 환경에서 효율적인 다중 질의 최적화 및 처리 기법의 기초연구로 활용될 수 있다.

• 한국공간정보시스템학회 논문지
• /
• 제9권2호
• /
• pp.25-34
• /
• 2007

데이터 스트림 환경에서 셋 이상의 스트림들에 대한 조인연산을 위해 순서를 선택하는 기존 기법들은 항상 간단한 휴리스틱 방법을 이용하였다 그러나 기존 기법들은 조인 선택도나 데이터 수신 비율과 같은 것만 고려하여 일반적인 응용에서 비효율적이며 낮은 성능을 갖는다. 본 논문에서는 최적의 조인 순서로 그래프 기반의 슬라이딩 윈도우 다중 조인 알고리즘을 제안한다. 이 기법에서 슬라이딩 윈도우 조인 그래프를 먼저 생성하는데, 정점(vertex)은 조인 연산으로 표현되고 엣지(edge)는 슬라이딩 윈도우들 사이의 조인관계를 나타낸다. 그리고 정점 가중치(vertex weight)와 엣지 가중치(edge weight)는 각각의 조인의 비용과 조인 연산들의 상호관계를 표현한다. 이때 데이터 스트림은 빠른 처리를 해야 하므로 메모리 기반의 그래프 기법을 사용한다. 이를 이용하여 최대값만을 이용하여 조인 연산을 수행하는 MVP 알고리즘을 개선하고 이의 그래프에서 최적의 조인 순서를 찾는다. 이를 통한 최종 결과는 중첩-루프(nested loop) 조인 계획을 수행하여 얻어진다. 성능비교를 통하여 제안기법이 기존 기법들보다 우수함을 증명한다.

• 한국정보과학회논문지:데이타베이스
• /
• 제37권1호
• /
• pp.1-11
• /
• 2010

최근 다중 데이터 스트림에 대한 연속 질의 처리에 관한 연구가 활발하게 진행되고 있다. 데이터 스트림에서 튜플들의 도착 속도가 폭증하여 시스템의 메모리 용량을 초과하는 경우, 일부 튜플을 버림으로써 시스템이 과부하 상태가 되지 않도록 하는 기법을 부하 감소(load shedding)라 한다. 본 논문에서는 다중 데이터 스트림에 대한 다중 윈도우 조인을 위한 효과적인 부하 감소 기법을 제안한다. 기존의 부하 감소 기법들은 버릴 튜플을 선택하기 위해 튜플들의 조인 키 값을 이용하여 각 튜플이 생성할 조인 결자 개수(생산성)를 예측하고, 생산성이 최소가 되는 튜플을 버린다. 그러나 이러한 방법들은 조인 키 값이 다시 나타나지 않거나, 조인 키 값의 분포가 일정하게 유지되지 않는 경우 튜플들의 생산성을 올바르게 예측하기 어렵다. 본 논문은 이러한 경우를 위해 튜플들의 조인 키 값 대신, 튜플의 데이터 스트림에 대한 도착 순서를 사용하여 튜플들의 생산성을 예측하는 방법을 사용한다. 제안하는 방법은 조인 키 값으로 튜플들의 생산성을 예측하가 어려운 상황에서 튜플의 도착 순서를 통해 각 튜플의 생산성을 효과적으로 예측할 수 있도록 해준다. 다양한 실험과 분석을 통해 제안하는 새로운 부하 감소 기법이 기존 기법에 비해 더욱 효과적이고 효율적으로 부하를 감소시킬 수 있음을 보인다.

• 한국IT서비스학회:학술대회논문집
• /
• 한국IT서비스학회 2008년도 추계학술대회
• /
• pp.187-190
• /
• 2008

데이터 스트림이란 제한 없이 끊임없이 흘러 들어오는 일련의 많은 양의 데이터 객체들을 의미하며, 센서 데이터 처리, 인터넷 트래픽 분석, 웹 서버 로그와 같은 다양한 트랜잭션 로그 분석등과 관련된 수많은 응용 분야에 적용 가능하기 때문에 이들을 처리 하기 위해 많은 연구가 진행되었다. 데이트 스트림을 처리하기 위해서는 미리 등록된 질의들(연속 질의)을 새롭게 들어오는 스트림 데이터들로 계산하여 그 결과를 계속적으로 생성하여야 하므로 연속 질의들은 스트림 데이터가 들어올 때마다 반복적으로 수행되며, 데이터 스트림은 매우 빠르게 입력되는 특성을 가지고 있기 때문에 보다 빠르게 질의를 처리하여야만 한다. 본 논문에서는 다수의 조인 연속 질의들이 시스템에 등록되어 있을 때, 이들을 보다 빠르게 처리할 수 있도록 여러 개의 질의에 반복적으로 적용되는 조인 연산들을 공유함으로써 최적의 질의 계획을 생성하는 기법을 제안한다.