• 제목/요약/키워드: query processing algorithms

검색결과 112건 처리시간 0.025초

웹에서의 XML 질의 캐쉬 기법 (Techniques of XML Query Caching on the Web)

  • 박대성;강현철
    • 한국전자거래학회지
    • /
    • 제11권1호
    • /
    • pp.1-23
    • /
    • 2006
  • e-Commerce와 같은 응용 등에 의해 점에서 XML데이터의 양이 많아짐에 따라 XML질의 처리를 신속하게 해주는 기술이 필요하게 되었다. 이를 가능하게 해주는 것이 XML질의 캐슁이다. 자주 제기되는 질의에 대하여 질의 결과를 캐쉬한 후, 동일 질의에 재사용 함으로써 빠른 응답 시간을 보장할 수 있다. 본 논문에서는 XML 질의 결과의 포맷으로 가장 보편적으로 사용되고 있는 노드 식별자 집합(NIS)을 캐쉬하여 XML 질의 성능을 향상시키는 기법을 제안한다. 캐쉬되는 NIS는 질의 결과를 구성하는 소스 XML 엘리먼트들의 식별자 집합이다. 따라서 NIS는 질의 결과의 재구성, 변형, 다른 데이터와의 통합 등 정 응용의 데이터 검색 요건을 충족시키기에 적절하고, XML 소스의 변경에 따른 점진적 갱신에 효율적이다. 그러나 XML문서 형태로 질의 결과를 반환해야 할 경우에는 소스 XML 엘리먼트를 검색하는 실체화 과정을 필요로 한다. 본 논문에서는 세 가지의 서로 다른 NIS의 구성을 고려하여 이들의 생성, 실체화. 점진적 갱신 알고리즘을 제안하고 RD BMS를 이용하여 구현하였다. 다양한 실험을 통한 성능 평가 결과 본 논문에서 제시하는 XML질의 캐쉬 기병의 효율성을 확확하였다.

  • PDF

데이터 중심 저장구조에 기반한 스카이라인 질의 처리 기법 (Skyline Query Processing Method based on Data Centric Storage)

  • 여명호;성동욱;송석일;유재수
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2009년도 춘계 종합학술대회 논문집
    • /
    • pp.3-7
    • /
    • 2009
  • 센서 네트워크를 위한 데이터 중심 저장구조는 다차원의 범위 질의는 물론 정합질의를 효과적으로 처리하기 위해서 제안되었다. 하나의 센서 네트워크는 범위질의 하나만 처리하거나 스카이라인 질의 하나만을 처리하기 위해서 설치될 수도 있지만 일반적으로 다양한 질의를 같이 처리하기 위해서 사용된다. 따라서, 데이터 중심 저장구조에서 다차원의 범위질의 뿐만 아니라 스카이라인 질의도 효과적으로 처리될 필요가 있다. 기존에 제안된 스카이라인 질의 처리 알고리즘들은 데이터 중심 저장구조의 존재를 고려하지 않고 있다. 일부 대표적인 데이터 중심 저장구조는 유사한 데이터를 지리적으로 인접한 센서노드에 저장하는 특징을 갖는다. 이 논문에서는 이러한 특징을 고려하여 데이터 중심 저장구조에서 보다 효과적으로 동작할 수 있는 스카이라인 질의 처리기법을 제안한다.

  • PDF

공통 문서 구조 추출을 통한 XML DTD의 관계형 데이터 베이스 스키마 변환 기법 (A Transformation Technique of XML DTD to Relational Database Schema Based On Extracting Common Structure in XML Documents)

  • 안성은;최황규
    • 정보처리학회논문지D
    • /
    • 제9D권6호
    • /
    • pp.999-1008
    • /
    • 2002
  • XML은 W3C에 제안된 마크업 언어고 HTML의 단순함과 SGML의 복잡함을 극복하여, 웹 상에서 데이터를 표현하고 교환하기 위한 표준으로 등장하고 있다. XML 문서를 질의 처리하기 위한 방법으로 XML 문서 전용 질의 언어가 개발되고 있지만, 데이터의 양이 증가한다면 결국 막대한 양의 데이터를 처리 할 데이터베이스 시스템을 필요하게 된다. 본 논문에서는 XML DTD를 관계형 데이터베이스 시스템 스키마로 변환하는 기법을 제안한다. 제안된 기법은 XML 데이터의 스키마 역할을 하는 DTD의 트리 구조를 생성하여, XML 데이터들의 공통구조와 비공통구조를 추출한 후 관계형 데이터베이스 스키마를 추출하는 기법이다. 추출된 관계형 데이터베이스 스키마는 기존의 방법들에 비해 생성 테이블 수가 적으며, 널(NULL)값의 출현을 감소시킨다. 또한, 제안기법은 XML 데이터를 보다 적은 테이블로 맵핑(mapping)시킴으로써 데이터 검색 시 참조 테이블 수를 감소시킬 수 있으며 질의 처리 시에도 성능 면에서 우수함을 보인다.

매개변수 환경설정에 따른 타조의 외부합병정렬 성능 연구 (External Merge Sorting in Tajo with Variable Server Configuration)

  • 이종백;강운학;이상원
    • 정보과학회 논문지
    • /
    • 제43권7호
    • /
    • pp.820-826
    • /
    • 2016
  • 거대한 데이터로부터 가치 있는 정보를 추출해 내는 빅데이터 기술의 필요성은 나날이 커지고 있다. 빅데이터 분석을 위해 사용되는 하둡 시스템은 맵리듀스를 통해 데이터를 처리하였으나, 맵리듀스 프레임워크는 코드 재사용성의 한계, 질의 최적화 기술의 부재 등의 단점을 보인다. 이를 극복하기 위해 SQL-on-Hadoop이라 불리는 하둡 기반의 SQL 질의 처리 기술이 주목받고 있다. SQL-on-Hadoop 기술 중 타조(Tajo)는 국내 개발진이 주축이 되어 개발되었다. 타조는 데이터 분석을 위해 외부합병정렬 알고리즘을 사용하며, 정렬 연산에 영향을 주는 매개변수로 정렬 버퍼 사이즈와 팬-아웃을 가진다. 본 논문은 타조의 정렬 연산에 영향을 미치는 매개변수인 정렬 버퍼 사이즈와 팬-아웃 값에 따른 정렬의 성능 차이를 보인다. 또한 측정한 성능에 대하여 정렬 버퍼 사이즈가 증가함에 따른 CPU 캐시 미스의 비율 증가, 팬-아웃에 따른 합병 단계 수의 변화가 성능 차이의 원인임을 보인다.

네트워크에서 루머 중심성 기반 질의를 통한 루머의 근원 추정 (Estimating the Rumor Source by Rumor Centrality Based Query in Networks)

  • 최재영
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제8권7호
    • /
    • pp.275-288
    • /
    • 2019
  • 본 논문에서는 네트워크에서 충분히 많은 노드가 루머를 들었을 때 그 근원이 어디서부터 시작 되었는지를 추론하는 문제를 고려한다. 이것은 신기술의 확산, 인터넷에서의 컴퓨터 바이러스/스팸 감염, 인기 있는 주제의 tweeting 및 retweeting과 같은 많은 실제 환경에서 네트워크의 정보 확산이 빠르게 진행되고, 이 정보 중 일부는 다른 노드에게 악영향을 미칠 수 있기 때문에 매우 중요한 문제이다. 이 문제는 선행연구에 의해 감염된 노드의 수가 충분히 많으면 정규 트리의 경우에도 탐지 확률이 31%를 초과 할 수 없다는 것이 입증되었다. 이를 바탕으로 네트워크에 감염된 후보 노드에게 몇 가지 추가 질의를 하는 방법에 대해 조사하고 네트워크 관리자가 한정된 자산을 가지고 있을 때 각 노드에 대한 질의의 수를 어떻게 분배하는지에 대한 자산 할당 알고리즘을 제안한다. 마지막으로 제안한 방법에 대하여 다양한 시뮬레이션을 수행하였고 기존 선행 연구보다 우수한 성능을 확인하였다.

H*-tree/H*-cubing: 데이터 스트림의 OLAP를 위한 향상된 데이터 큐브 구조 및 큐빙 기법 (H*-tree/H*-cubing-cubing: Improved Data Cube Structure and Cubing Method for OLAP on Data Stream)

  • 심상예;이연;이동욱;김경배;배해영
    • 정보처리학회논문지D
    • /
    • 제16D권4호
    • /
    • pp.475-486
    • /
    • 2009
  • 데이터 큐브는 다차원 데이터 분석 및 멀티레벨 데이터 분석에 많이 사용되고 있는 중요한 데이터 구조이다. 최근 데이터 스트림의 온라인 분석에 대한 수요가 증가하면서 스트림 큐브, Flow 큐브, S-큐브 등의 다양한 데이터 큐브 구조와 기법이 제안되었다. 그러나 기존 기법들은 데이터 큐브 생성 시 고비용이 요구되는 단점을 가지고 있어 효과적인 데이터 구조, 질의 방법 및 알고리즘에 대한 연구가 필요하다. 스트림 큐브 기법에서는 H-큐빙 기법을 사용하여 큐보이드를 선택하고, 계산된 셀들을 인기 패스에 있는 큐보이드들로 구성된 H-트리에 저장한다. 그러나 스트림 큐브 기법에서는 H-트리에 데이터를 비순차적으로 삽입하기 때문에 H-큐빙 기법을 사용하여 질의를 처리할 때 제한성을 갖고 있다. 본 논문에서는 데이터의 트리 구조의 각 층에 대한 인덱스를 구축하여 스트림 데이터에 대한 빠른 삽입 연산을 지원하는 $H^*$-tree 구조와, popular-path에 존재하지 않는 큐보이드를 빨리 계산하여 스트림 데이터에 대한 빠른 애드 혹 질의 응답을 지원하는 $H^*$-cubing 기법을 제안한다. 성능평가를 통하여 제안한 $H^*$-tree 기법은 보다 적은 큐브 구축 시간을 지원하며, $H^*$-cubing 기법이 stream cube 기법보다 빠른 애드 혹질의 응답 시간을 소요하며, 보다 적은메모리를 사용함을 보여준다.

방향 그래프 기반 XML 데이터 모델과 대수 구현 (Implementation of Algebra and Data Model based on a Directed Graph for XML)

  • 박성희;최은선;류근호
    • 정보처리학회논문지D
    • /
    • 제8D권6호
    • /
    • pp.799-812
    • /
    • 2001
  • 데이터 교환을 위한 표준 형식으로 XML 활용 증가에 따라 데이터베이스 분야에서 XML 처리의 중요성이 증가하고있다. 현재까지 XML 데이터모델과 정규표현 질의 같은 복잡한 질의처리를 위한 XML대수에 관한 연구가 수행되고 있지만 미디에이터 시스템처럼 XML질의 처리 시 기능이 제한적이다. 따라서 이 논문에서는 반 구조데이터 모델을 확장한 방향 그래프 기반 XML 모델을 설계하고 XML 질의를 위한 XML 대수 연산을 정의하며 그 구현기법을 제시한다. XML 대수 연산 구현을 위해 물리적 저장소인 RDBMS를 접근하기 위한 접근 메소드와 패스 인덱스를 이용하여 알고리즘을 구현한다. 아울러 제안 알고리즘의 효율성을 보이기 위하여 반 구조 특성을 가지는 EST유전체 서열에 대한 XML 문서를 대상으로 성능을 평가한다.

  • PDF

도로 네트워크 환경에서 적응적 우선순위 기반의 순차적 경로 처리 기법 (An Adaptive Priority-based Sequenced Route Query Processing Method in Road Networks)

  • 유형철;정성원
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제20권12호
    • /
    • pp.652-657
    • /
    • 2014
  • 출발지와 도착지, 사용자가 방문해야 하는 POI(Point of Interest)유형들, 이 유형들 중 전체 혹은 부분에 대한 방문순서들이 주어질 때, 출발지에서 여러 방문순서를 만족시키는 순서대로 각 POI 유형별로 적어도 하나의 POI를 방문한 후 목적지에 도착하는 경로를 순차적 경로라 한다. 본 논문에선 이 경로 중 근사 최단 경로(Approximate Shortest Path)를 찾는다. 기존의 두 가지 기법은 방문한 POI(또는 출발지)와 방문해야 할 유형의 POI들과의 근접성 만을 보거나 후보군 선정 시 방문순서 및 네트워크를 고려하지 않고 출발지와 목적지를 이은 직선과 가까운 POI들로 경로를 찾는 문제를 갖고 있었다. 본 논문에서는 네트워크 탐색을 이용하여 출발지와 목적지 간 네트워크 경로에 근접한 POI를 후보군으로 선정하여 경로를 탐색하고, 이 경로 중 방문한 POI유형이 많은 경로에 적응적 우선순위를 주어 향상된 근사 최단 경로를 구하는 기법을 제안한다.

편중 데이타의 효율적인 처리를 위한 공간 해쉬 스트립 조인 알고리즘 (A Spatial Hash Strip Join Algorithm for Effective Handling of Skewed Data)

  • 심영복;이종연
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제32권5호
    • /
    • pp.536-546
    • /
    • 2005
  • 이 논문은 공간 조인연산 시 인덱스가 존재하지 않는 두 입력 테이블에 대한 후보 객체들의 여과 단계 처리이다 이 분야에 대한 기존 알고리즘들은 대개 공간 데이타의 조인 연산에서는 우수한 성능을 나타내고 있지만 입력 테이블에 객체들이 편중되어 있을 경우 성능이 저하되는 문제를 가지고 있으며, 이러한 단점을 보완할 수 있는 방법에 대한 연구는 미흡한 상태이다 따라서, 이 논문에서는 인덱스가 존재하지 않는 두 입력 테이블의 편중된 객체에 대한 문제를 해결하기 위해 기존 연구인 Spatial Hash Join 알고리즘을 개선한 Spatial Hash Strip loin 알고리즘을 제안한다. SHSJ 알고리즘과 기존 SHJ 알고리즘의 차이점은 입력 데이타 집합을 버킷에 할당 시 버킷 용량에 제한을 두지 않는다는 점과 버킷의 조인 단계에서 SSSJ 알고리즘을 사용한다는 것이다. 제안한 SHSJ 알고리즘의 성능 평가를 위해 Tiger/line 데이타를 사용하여 평가한 결과 인덱스가 존재하지 않으며 편중 분포를 갖는 입력 테이블에 대한 공간 조인 연산의 성능이 기존 SHJ와 SSSJ 알고리즘보다 우수함이 검증되었다.

데이터 웨어하우스에서 클러스터링 기법을 이용한 실체화 뷰 선택 알고리즘 (Materialized View Selection Algorithm using Clustering Technique in Data Warehouse)

  • 양진혁;정인정
    • 한국정보처리학회논문지
    • /
    • 제7권8호
    • /
    • pp.2273-2286
    • /
    • 2000
  • 데이터 웨어하우스에서 실체화 할 뷰들을 알맞게 선택하는 것은 분석적인 질의에 대한 정확하고 신속한 응답을 얻기 위해서 대단히 중요한 문제이다. 기존의 뷰 선택 알고리즘들에서는 릴레이션 전체가 실체화 뷰들로서 고려되었다. 그러나, 릴레이션의 부분 대신 전체를 실체화한다는 것은 시간과 공간 비용측면에서 좋지 못한 성능을 초래한다. 따라서, 우리는 기존 뷰 선택 알고리즘들에서의 문제점을 극복하기 위해서 개선된 실체화 뷰 선택 알고리즘을 제안한다. 제안된 알고리즘 ASVMRT(Algorithm for Selection on Views to Materialize using Reduced Table)에서는 먼저 속성-값들의 농도에 기반을 둔 자동 클러스터링을 사용하여 축약 테이블들을 데이터 웨어하우스에서 생성한 다음, 원래의 베이스 릴레이션들의 조합 대신에 축약 테이블들의 조합을 실체화 뷰들로 고려한다. 제안한 알고리즘의 타당성 검증을 위하여 우리는 실험결과에서 시간 및 공간 모두에서 기존 알고리즘들보다 약 1.8배의 성능향상이 있음을 보인다.

  • PDF