• 제목/요약/키워드: 데이타스트림

검색결과 79건 처리시간 0.018초

XML 스트림 데이타에 대한 적응력 있는 질의 처리 시스템 (An Adaptive Query Processing System for XML Stream Data)

  • 김영현;강현철
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권3호
    • /
    • pp.327-341
    • /
    • 2006
  • 센서 네트워크, 모니터링, SDI (selective dissemination of information) 등과 같이 스트림 데이타를 생성하는 응용의 증가로 스트림 데이타에 대한 질의 처리를 효율적으로 지원하기 위한 연구가 활발히 수행되고 있다. 특히 SDI와 같은 웹 환경의 응용은 XML 스트림에 대한 질의 처리를 필요로 하는데, XML은 웹 환경에서 데이타 교환의 표준이므로 이에 대한 연구는 아주 중요하다. 그러나 현재까지 제시된 XML 스트림 질의 처리 시스템들은 정적인 질의 계획을 사용하기 때문에 동적으로 변하는 스트림 데이타에 대해 적응력 있게 대처하지 못하는 문제가 있다. 반면 관계 데이타 스트림에 대한 질의 처리 시스템들은 질의 연산자 라우팅 기법을 통해 동적인 질의 계획을 사용함으로써 적응력 있는 질의 처리를 지원한다. 본 논문에서는 관계 데이타 모델을 사용하는 시스템의 적응력 있는 질의 처리 모델을 적용하여XML 스트림에 대한 적응력 있는 질의 처리를 수행할 수 있는 시스템을 제안한다. 그리고 기존의 XML을 기반으로 하는 대표적인 시스템인 YFilter와 본 논문이 제안하는 시스템의 성능을 비교, 평가하여 본 논문이 제안하는 시스템의 효율성을 보인다.

데이타 스트림에서 동적 데이타 큐브 (Dynamic Data Cubes Over Data Streams)

  • 서대홍;양우석;이원석
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권4호
    • /
    • pp.319-332
    • /
    • 2008
  • OLAP의 다차원 데이타 모델인 데이타 큐브는 많은 다차원 데이타 분석에 성공적으로 적용되었으며, 데이타 스트림 분석에도 적용하려는 많은 연구가 진행되고 있다. 데이타 스트림은 실시간에 지속적으로 방대하게 생성되며, 데이타의 분포적 특성이 빠르게 변한다는 특징을 가지며, 제한된 메모리 및 처리능력 때문에 한번만 검사하여 처리하는 것을 기본으로 한다. 때문에 데이타 스트림을 메모리에 모두 저장하는 것은 불가능하다. 또한 사용자는 모든 속성 값에 대하여 관심을 두기보다는 일정 지지율 이상을 가진 속성 값에 더욱 관심을 가지게 된다. 본 논문에서는 이러한 데이타 스트림 환경에서 데이타 큐브를 효과적으로 적용하기 위한 동적 데이타 큐브를 제안한다. 동적 데이타 큐브는 속성 값의 지지율에 따라 사용자 관심 영역을 지정하고, 속성 값을 동적으로 그룹화하여 관리한다. 이를 통해 메모리 및 처리시간을 절약하게 된다. 또한 동적으로 지지율이 높은 속성에 대한 분석 상세도를 높여주기 때문에 사용자의 관심영역을 효과적으로 보여준다. 마지막으로 실험을 통하여 제한된 메모리에서 동적 데이타 큐브가 효율적으로 동작함을 검증하였다.

슬라이딩 윈도우 기반 다변량 스트림 데이타 분류 기법 (A Sliding Window-based Multivariate Stream Data Classification)

  • 서성보;강재우;남광우;류근호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권2호
    • /
    • pp.163-174
    • /
    • 2006
  • 분산 센서 네트워크에서 대용량 스트림 데이타를 제한된 네트워크, 전력, 프로세서를 이용하여 모든 센서 데이타를 전송하고 분석하는 것은 어렵고 바람직하지 않다. 그러므로 연속적으로 입력되는 데이타를 사전에 분류하여 특성에 따라 선택적으로 데이타를 처리하는 데이타 분류 기법이 요구된다. 이 논문에서는 다차원 센서에서 주기적으로 수집되는 스트림 데이타를 슬라이딩 윈도우 단위로 데이타를 분류하는 기법을 제안한다. 제안된 기법은 전처리 단계와 분류단계로 구성된다. 전처리 단계는 다변량 스트림 데이타를 포함한 각 슬라이딩 윈도우 입력에 대해 데이타의 변화 특성에 따라 문자 기호를 이용하여 다양한 이산적 문자열 데이타 집합으로 변환한다. 분류단계는 각 윈도우마다 생성된 이산적 문자열 데이타를 분류하기 위해 표준 문서 분류 알고리즘을 이용하였다. 실험을 위해 우리는 Supervised 학습(베이지안 분류기, SVM)과 Unsupervised 학습(Jaccard, TFIDF, Jaro, Jaro Winkler) 알고리즘을 비교하고 평가하였다. 실험결과 SVM과 TFIDF 기법이 우수한 결과를 보였으며, 특히 속성간의 상관 정도와 인접한 각 문자 기호를 연결한 n-gram방식을 함께 고려하였을 때 높은 정확도를 보였다.

비트-벡터 해시 테이블을 이용한 효율적인 다중 스트림 조인 알고리즘 (An Efficient M-way Stream Join Algorithm Exploiting a Bit-vector Hash Table)

  • 권태형;김현규;이유원;김명호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권4호
    • /
    • pp.297-306
    • /
    • 2008
  • MJoin은 변화가 잦은 데이타 스트림의 조인을 효율적으로 수행하기 위한 방법으로 소개되었다. MJoin은 다중 스트림의 처리가 가능하도록 대칭적 해시 알고리즘을 확장한 것으로, 각 입력 튜플마다 모든 해시 테이블에 동일한 키를 지닌 튜플이 존재하는지 반복적으로 체크한다. 그러나, 조인 선택율이 낮고 조인되는 데이타 스트림의 수가 많을 경우, 이러한 체크 과정의 성능은 조인되는 데이타 스트림의 조인순서에 많은 영향을 받게 된다. 본 논문에서는 MJoin처럼 대칭적 해시 알고리즘을 기본으로 하지만, 이러한 체크 과정을 조인순서에 상관없이 상수 시간에 처리하는 BiHT-Join 알고리즘을 제안한다. BiHT-Join은 스트림에 있는 튜플의 존재 유무를 비트-벡터로 유지하며, 이를 비교하는 것으로 조인의 성공/실패를 판단한다. 따라서, BiHT-Join은 이 판단을 기준으로 조인이 성공하는 튜플만 해시 조인을 수행함으로 조인 효율을 높일 수 있다. 우리는 실험을 통해 BiHT-Join이 다중 데이타 스트림 조인에서 MJoin에 비해 더 나은 성능을 제공한다는 것을 보인다.

이동 컴퓨팅 환경에서 XML 데이타의 에너지 효율적인 방송 (Energy-efficient Broadcasting of XML Data in Mobile Computing Environments)

  • 김충수;박창섭;정연돈
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권1호
    • /
    • pp.117-128
    • /
    • 2006
  • 본 논문에서는 무선 방송 환경에서 에너지 효율적인 질의 처리를 위한 XML 데이타 스트리밍 방법을 제안한다. 제안하는 방법은 원본 XML 문서의 데이타를 효과적으로 캡슐화하여 클라이언트에서의 스트림 접근 시간을 단축시킨다. 또한 연관된 데이타들 사이의 주소 정보를 이용하여 서로 다른 방식의 스트림 구조를 제안하고 이들에 대한 이벤트 구동 방식의 스트림 생성 방법과 단순 경로 질의에 대한 처리 알고리즘을 제시한다. 또한 실제 XML 데이타에 대한 실험을 통해 질의 처리 시 튜닝 성능을 크게 향상시킴을 보인다.

데이타 스트림 상에서 다중 연속 복수 조인 질의 처리 최적화 기법 (MMJoin: An Optimization Technique for Multiple Continuous MJoins over Data Streams)

  • 변창우;이헌주;박석
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권1호
    • /
    • pp.1-16
    • /
    • 2008
  • 센서 네트워크에 이용되는 데이타 스트림 관리 시스템에서는 한정적 정보들이 개별적으로 입력되기 때문에 종합적인 결과를 얻기 위해서는 상대적인 계산 비용이 높은 조인 연산자는 필연적으로 요구된다. 데이타 스트림은 잠재적으로 무한한 크기를 가지므로 조인 연산자는 슬라이딩 윈도우 제약사항을 가져야 함은 당연하다. 또한, 종합적인 결과를 얻기 위해 조인 연산자는 여러 입력을 취할 수 있어야 한다. 이를 가능하게 하는 것이 바로 슬라이딩 윈도우를 가지는 MJoin 연산자이다. 본 논문에서는 이러한 여러 MJoin 연산자가 시스템에 등록되어 있는 환경을 가정하고, 슬라이딩 윈도우를 가지는 MJoin의 특성을 반영하여 전역적으로 공유된 질의 처리 기법인 MMJoin 기법을 제안한다. MMJoin 기법은 첫째, 전역적으로 공유된 질의 실행 계획 수릴 문제, 조인 연산 결과에 대한 윈도우 갱신 문제 및 라우팅 문제로 나누어 다룬다. 이러한 연구의 노력은 데이타 스트림 환경에서 효율적인 다중 질의 최적화 및 처리 기법의 기초연구로 활용될 수 있다.

스트림 데이타 예측을 위한 슬라이딩 윈도우 기반 점진적 회귀분석 (Incremental Regression based on a Sliding Window for Stream Data Prediction)

  • 김성현;김룡;류근호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제34권6호
    • /
    • pp.483-492
    • /
    • 2007
  • 최근 센서 네트워크의 발달로 실세계의 많은 데이타가 시간 속성을 갖고 실시간으로 수집되고 있다. 기존의 시계열 데이타 예측 기법은 모델 갱신 없이 예측을 수행하였다. 그러나 스트림 데이타는 매우 빠르게 수집이 되고 시간이 지남에 따라 데이타의 특성이 변경될 수 있으므로 기존의 시계열 예측 기법을 적용하는 것은 적절하지 않다. 따라서 이 논문에서는 슬라이딩 윈도우와 점진적인 회귀분석을 이용한 스트림 데이타 예측 기법을 제안한다. 이 기법은 스트림 데이타를 다중 회귀 모델에 입력하기 위해 차원 분열을 통해 여러 개의 속성으로 분열(Fractal)하고, 변화되는 데이타의 분포를 반영하기 위해 슬라이딩 윈도우 기법을 사용하여 점진적으로 회귀 모델을 갱신한다. 또한 고정 크기 큐를 이용하여 최근의 데이타로만 모델을 유지한다. 이전 데이타의 유지 없이 최소 정보를 갖는 행렬을 통해 모델을 갱신하므로 낮은 공간 복잡도를 갖고 점진적으로 모델을 갱신함으로써 에러율의 증가를 방지한다. 제안된 기법의 타당성은 RME(Relative Mean Error)와 RMSE(Root Mean Square Error)를 이용하여 측정하였고, 실험 결과 다른 기법에 비해 우수하였다.

데이타 스트림에서의 다중 조인 질의 최적화 방법 (Optimizing Multi-way Join Query Over Data Streams)

  • 박홍규;이원석
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권6호
    • /
    • pp.459-468
    • /
    • 2008
  • 데이타 스트림이란 실시간에 연속적으로 빠르게 생성되는 데이타 집합을 의미한다. 이러한 데이타 스트림들은 최근 사회가 발달과 더불어 정보 환경도 급속도로 발전함에 따라 센서 데이타, 교통상황 수집 자료, 웹 클릭 모니터링 등과 같은 많은 응용 분야에서 적용되고 있다. 이러한 형태의 데이트 스트립을 처리하기 위해서는 미리 등록된 질의에 대하여 새롭게 들어오는 스트림 데이타의 결과를 계속적으로 생성하게 된다. 이와 같은 이유로 끊임없이 들어오는 스트링 데이타들을 빠르게 처리하는 것이 이 분야에서 주된 이슈가 되었으며, 이를 위한 방법으로 등록된 질의들을 효율적으로 처리하기 위한 질의 최적화분야에 많은 연구가 있었다. 그러므로 본 논문에서는 기존 연구에서 사용되었던 그리디 방법을 기반으로 비용 모델을 이용하여 최소의 비용을 갖는 질의 계획을 선택하는 확장된 그리디 방법(EGA)을 제시한다. 화장된 그리디 방법은 알고리즘의 정확성이 떨어지는 그리디 알고리즘의 단점을 극복하기 위하여 비용이 가장 작은 연산하나를 선택하는 대신 비용이 자은 연산들의 집합을 선택한다. 이 연산들의 집합의 크기는 알고리즘의 정확성과 수행 시간에 영향을 끼치며, 투 개의 변수에 의해서 적응적으로 조절 수 있다. 실험에서는 다양한 스트림 환경에서 대부분 그리디 알고리즘보다 향상된 성능을 보장하고, 두 변수에 의한 알고리즘의 성능 및 수행 시간 차이를 보여줌으로써 본 알고리즘의 효율성을 검증하였다.

분산 버퍼 구조의 실시간 오디오 믹서의 구현 (An Implementation of Real-time Audio Mixer on the Distributed Buffer Structure)

  • 임진영;송동호
    • 한국데이타베이스학회:학술대회논문집
    • /
    • 한국데이타베이스학회 1995년도 제4회 멀티미디어 산업기술 학술대회 논문집
    • /
    • pp.169-172
    • /
    • 1995
  • 멀티미디어 응용프로그램 환경에서 실시간 오디오 믹싱 기능은 자주 요구되는 지원 사항중에 하나이다. 지금까지는 단일 시스템에서의 여러가지 스트림 조합에 대한 믹싱이 일반적 인 방법이나 분산 응용프로그램이 일반화됨에 따라 분산스트림에 대한 데이타 믹싱이 필요하게 되었다. 이러한 요구를 충족시킬 수 있는 방법으로써 분산 버퍼들로부터 스트림을 억세스하여 믹싱 모듈의 내부 버퍼를 통한 실시간 오디오 믹싱을 연구해 보았다.

  • PDF

무선 XML 스트림을 위한 색인 기법 (An Index Method for Wireless XML Streams)

  • 정연돈;이지연
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제32권4호
    • /
    • pp.416-428
    • /
    • 2005
  • 본 논문은 무선 정보 시스템 환경에서, 서버가 다수의 클라이언트들에게 무선 방송 기법을 통해 XML 데이타를 스트리밍 서비스할 때 필요한 색인 기법을 제안한다. 제안 하는 색인 방법은 XML 데이타의 스트리밍시 클라이언트들의 접근 시간 및 튜닝 시간을 효과적으로 제어하기 위하여, XML 데이터 및 색인 정보를 부분적으로 반복, 배치하여 스트림을 구성한다. 이를 위하여 트리형태로 표현되는 XML 데이타와 색인 정보를 2-레벨로 구분하여, 색인 및 데이타의 중복 배치 영역을 설정한다. 제안하는 색인 기법의 성능을 접근 시간 및 튜닝 시간 측면에서 분석하여, 분석의 결과로 최적의 레벨 깊이를 결정한다.