• 제목/요약/키워드: data cube

검색결과 250건 처리시간 0.021초

다차원 대용량 저밀도 데이타 큐브에 대한 고밀도 서브 큐브 추출 알고리즘 (Dense Sub-Cube Extraction Algorithm for a Multidimensional Large Sparse Data Cube)

  • 이석룡;전석주;정진완
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권4호
    • /
    • pp.353-362
    • /
    • 2006
  • 데이타 웨어하우스는 기업이나 사회 전반에서 사용되는 방대한 데이타를 저장하고, 효율적인 분석을 가능하게 하는 데이타 저장소로써, 점점 그 활용도가 증가하고 있다. 본 연구에서는 이러한 데이타 웨어하우스 구축 기술의 핵심이 되는 다차원 데이타 큐브 (multidimensional data cube) 기술을 연구하는 데 목적이 있다. 고차원 데이타 큐브에는 필연적으로 내재하는 데이타의 희소성 (sparsity)에 의한 검색 오버헤드가 있다. 본 연구에서는 이러한 오버헤드를 현격하게 감소시키는 알고리즘을 제시함으로써, 데이타 웨어하우스의 효율을 높이는 데 기여한다. 즉, 고차원의 희소 데이타 큐브에서 데이타가 조밀하게 밀집된 영역들을 찾아 그 영역을 중심으로 서브 큐브를 구축하여, 데이타 검색 시에 전체의 데이타 큐브를 대상으로 하지 않고 해당 서브 큐브만으로 검색 대상을 제한시킴으로써 검색 효율을 높이는 알고리즘이다. 본 논문에서는 다 차원 대용량의 희소 데이타 큐브로부터 밀도가 높은 서브 큐브를 찾기 위하여 비트맵과 히스토그램에 기반한 알고리즘을 제안하며, 실험을 통하여 제안한 알고리즘의 효용성을 보여준다.

데이타 웨어하우스에서 데이타 큐브를 위한 효율적인 점진적 관리 기법 (An Efficient Incremental Maintenance Method for Data Cubes in Data Warehouses)

  • 이기용;박창섭;김명호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권2호
    • /
    • pp.175-187
    • /
    • 2006
  • 데이타 큐브는 차원 애트리뷰트의 모든 가능한 조합에 대해 데이타를 집단화하는 연산자이다. 차원 애트리뷰트의 수가 n일 때, 데이타 큐브는 $2^n$개의 group-by를 계산한다. 데이타 큐브에 포함된 각각의 group-by를 큐보이드(cuboid)라 부른다. 데이타 큐브는 흔히 미리 계산되어 형태 뷰(materialized view)의 형태로 데이타 웨어하우스에 저장된다. 이러한 데이타 큐브는 소스 릴레이션이 변경되면 이를 반영하기 위해 갱신되어야 한다. 데이타 큐브의 점진적 관리는 데이타 큐브의 변경될 내용만을 계산하여 이를 데이타 큐브에 반영하는 방법을 의미한다. $2^n$개의 큐보이드로 이루어진 큐브의 변경될 내용을 계산하기 위하여, 기존의 방법들은 데이타 큐브와 동일한 개수의 큐보이드를 가지는 변경 큐브를 계산한다. 따라서, 차원 애트리뷰트의 수가 증가할수록 변경 큐브를 계산하는 비용이 매우 커지게 된다. 변경 큐브에 포함된 각 큐보이드들을 변경 큐보이드(delta cuboid)라 부른다. 본 논문에서는 $2^n$개의 변경 큐보이드 대신 $_nC_{{\lceil}n/2{\rceil}}$개의 변경 큐보이드만을 사용하여 데이타 큐브를 갱신하는 방법을 제안한다. 이에 따라 제안하는 방법은 변경 큐브를 계산하는 비용을 크게 줄일 수 있다. 성능 평가 결과는 제안하는 방법이 기존의 방법에 비해 더 좋은 성능을 가지고 있음을 보여준다.

On the Aggregation of Multi-dimensional Data using Data Cube and MDX

  • Ahn, Jeong-Yong;Kim, Seok-Ki
    • Journal of the Korean Data and Information Science Society
    • /
    • 제14권1호
    • /
    • pp.37-44
    • /
    • 2003
  • One of the characteristics of both on-line analytical processing(OLAP) applications and decision support systems is to provide aggregated source data. The purpose of this study is to discuss on the aggregation of multi-dimensional data. In this paper, we (1) examine the SQL aggregate functions and the GROUP BY operator, (2) introduce the Data Cube and MDX, (3) present an example for the practical usage of the Data Cube and MDX using sample data.

  • PDF

시공간 데이타웨어하우스를 위한 힐버트큐브 (Hilbert Cube for Spatio-Temporal Data Warehouses)

  • 최원익;이석호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제30권5호
    • /
    • pp.451-463
    • /
    • 2003
  • 최근 시공간 데이타에 대한 OLAP연산 효율을 증가시키기 위한 여러 가지 연구들이 행하여지고 있다. 이들 연구의 대부분은 다중트리구조에 기반하고 있다. 다중트리구조는 공간차원을 색인하기 위한 하나의 R-tree와 시간차원을 색인하기 위한 다수의 B-tree로 이루어져 있다. 하지만, 이러한 다중트리구조는 높은 유지비용과 불충분한 질의 처리 효율로 인해 현실적으로 시공간 OLAP연산에 적용하기에는 어려운 점이 있다. 본 논문에서는 이러한 문제를 근본적으로 개선하기 위한 접근 방법으로서 힐버트큐브(Hilbert Cube, H-Cube)를 제안하고 있다. H-Cube는 집계질의(aggregation query) 처리 효율을 높이기 위해 힐버트 곡선을 이용하여 셀들에게 완전순서(total-order)를 부여하고 있으며, 아울러 전통적인 누적합(prefix-sum) 기법을 함께 적용하고 있다. H-Cube는 대상공간을 일정한 크기의 셀로 나누고 그 셀들을 힐버트 값 순서로 저장한다. 이러한 셀들이 시간순서로 모여 규브형태를 이루게 된다. 또한 H-Cube는 시간의 흐름에 따라 변화되는 지역적인 데이타 편중에 대처하기 위해 적응적으로 셀을 정제한다. H-Cube는 정적인 공간 차원에서 움직이는 짐 객체에 초점을 두고 있는 적웅적이며, 완전순서화되어 있으며, 또한 누적합을 이용한 셀 기반의 색인구조이다. 본 논문에서는 H-Cube의 성능 평가를 위해서 다양한 실험을 하였으며, 그 결과로서 유지비용과 질의 처리 효율성면 모두에서 다중트리구조보다 높은 성능 향상이 있음을 보인다.

큐브위성 STEP Cube Lab.의 지상국 시스템 설계 (Design of Ground Station System for CubeSat STEP Cube Lab.)

  • 전영현;채봉건;정현모;전성용;오현웅
    • 항공우주시스템공학회지
    • /
    • 제6권4호
    • /
    • pp.34-39
    • /
    • 2012
  • CubeSats classified as pico-class satellite require a ground station to track the satellite, transmit a command, and receive an on-orbit data such as SOH (State-of-Health) and mission data according to the operation plan. For this, ground station system has to be properly designed to perform a communication to with the satellite with enough up- and down-link budgets. In this study, a conceptual design of the ground station has been performed for the CubeSat named as STEP Cube Lab. (Cube Laboratory for Space Technology Experimental Project). The paper includes a ground station hardware interface design, link budget analysis and a ground station software realization. In addition, the operation plan of the ground station has been established considering the STEP Cube Lab. mission requirements.

다차원 개념 계층을 지원하는 공간 데이터 큐브의 점진적 일괄 갱신 기법 (Incremental Batch Update of Spatial Data Cube with Multi-dimensional Concept Hierarchies)

  • 옥근형;이동욱;유병섭;이재동;배해영
    • 한국멀티미디어학회논문지
    • /
    • 제9권11호
    • /
    • pp.1395-1409
    • /
    • 2006
  • 공간 데이터 웨어하우스에서는 OLAP(On-Line Analytical Processing) 연산을 제공하기 위해 다차원 데이터를 공간 데이터 큐브의 형태로 관리한다. 개념 계층을 지원하는 공간 데이터 큐브의 크기는 삽입되는 데이터에 비해 방대하기 때문에 구축된 큐브의 구조를 최대한 유지하면서 새로 삽입되는 데이터를 반영시킬 수 있는 점진적 갱신 기법이 연구되어 왔다. 하지만 접두 및 접미의 중복을 제거하여 데이터를 압축 저장하는 큐브에서는 병합된 경로 간의 충돌로 인해 큐브 갱신 시 갱신 내용과 상관없는 셀까지 동시에 갱신되어 갱신이상 현상이 발생한다. 본 논문에서는 공간 데이터 큐브의 점진적 일괄 갱신 기법을 제안한다. 제안 기법은 갱신에 필요한 노드 복사본을 관리하는 자료 구조 및 재귀 탐색을 이용하여, 경로 간의 충돌이 발생할 경우 해당 노드의 복사본을 생성한 후 이를 갱신함으로써 갱신이상 현상을 방지한다. 이를 통해 다차원 개념 계층이 포함된 공간 데이터 큐브를 효율적으로 갱신할 수 있다. 성능 평가를 통해 기존 갱신 기법에 비해 제안 기법의 갱신 속도가 향상되었음을 보인다.

  • PDF

SPEC : 데이타 웨어하우스를 위한 저장 공간 효율적인 큐브 (SPEC: Space Efficient Cubes for Data Warehouses)

  • 전석주;이석룡;강흠근;정진완
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제32권1호
    • /
    • pp.1-11
    • /
    • 2005
  • 군집 질의는 사용자에 의해 명시된 질의 영역 내에서 큐브상의 군집 정보를 계산한다. 프리픽스-섬 기법에 기초한 기존의 방법론은 데이타의 누적된 합을 저장하기 위해 프리픽스-섬 큐브(PC)로 불리는 부가적인 큐브를 사용하므로 높은 저장공간 오버헤드를 초래한다. 이러한 저장공간 오버헤드는 기억장치의 추가적인 비용뿐만 아니라 업데이트의 부가적인 증식(propagation)과 더 많은 물리적 장치로의 접근시간을 유발시킨다. 본 논문에서는 대용량 데이타 웨어하우스에서 PC의 저장공간을 획기적으로 감소시킬 수 있는 'SPEC'으로 불리는 새로운 프리픽스-섬 큐브를 제안한다. SPEC은 PC내 셀들간의 종속에 의한 업데이트 증식을 감소시킨다. 이를 위해 대용량 데이타 큐브로부터 조밀한 서브큐브들을 발견하는 효과적인 알고리즘을 개발한다 다양한 차원의 데이타 큐브와 여러 가지 크기의 질의에 대해 폭 넓은 실험을 행하여 본 논문에서 제안한 방법의 효과와 성능을 조사한다. 실험적인 결과는 SPEC이 적절한 질의 성능을 유지하면서도 PC 저장공간을 상당히 감소시킴을 보여준다.

맵리듀스를 이용한 데이터 큐브의 상향식 계산을 위한 반복적 알고리즘 (An Iterative Algorithm for the Bottom Up Computation of the Data Cube using MapReduce)

  • 이수안;조선화;김진호
    • 정보화연구
    • /
    • 제9권4호
    • /
    • pp.455-464
    • /
    • 2012
  • 최근 데이터의 폭발적인 증가로 인해 대규모 데이터의 분석에 대한 요구를 충족할 수 있는 방법들이 계속 연구되고 있다. 본 논문에서는 맵리듀스를 이용한 분산 병렬 처리를 통해 대규모 데이터 큐브의 효율적인 계산이 가능한 MRIterativeBUC 알고리즘을 제안하였다. MRIterativeBUC 알고리즘은 기존의 BUC 알고리즘을 맵리듀스의 반복적 단계에 따른 효율적인 동작이 가능하도록 개발되었고, 기존의 대규모 데이터 큐브 계산에 따른 문제인 데이터 크기와 저장 및 처리 능력의 한계를 해결하였다. 또한, 분석자의 관심 부분에 대해서만 계산하는 빙산 큐브 개념의 도입과 파티셔닝, 정렬과 같은 큐브 계산을 분산 병렬 처리하는 방법 등의 장점들을 통해 데이터 방출량을 줄여서 네트워크 부하를 줄이고, 각 노드의 처리량을 줄이며, 궁극적으로 전체 큐브 계산 비용을 줄일 수 있다. 본 연구 결과는 맵리듀스를 이용한 데이터 큐브 계산에 대해서 상향식 처리와 반복적 알고리즘을 통해 다양한 확장이 가능하며, 여러 응용 분야에서 활용이 가능할 것으로 예상된다.

다중 빔 음향측심 자료의 CUBE 필터링 (CUBE Filtering of Multibeam Echo Sounder Data)

  • 김주연;이광수;김대철;서영교;이희일
    • 한국수산과학회지
    • /
    • 제44권3호
    • /
    • pp.308-317
    • /
    • 2011
  • A MBES (multibeam echo sounder) survey around Yokji Island, Korea, was conducted to find an effective method for removing error data. Two post-processing software programs, PDS2000 (RESON) and HIPS (CARIS), were used to remove the error data using an interactive editing method and the CUBE algorithm filter. The post-processing with the PDS2000 and HIPS programs, using the interactive editing method, took 120 and 168 hours, respectively, and there was little difference in the seafloor images. The processing time of the PDS2000 and HIPS programs using the CUBE algorithm filter was 36 and 60 hours, respectively. Nevertheless, there was little difference in the seafloor images because of differences in the factor parameters in each of the post-processing programs. Therefore, post-processing using CUBE filtering can save time in data processing and provide consistent results, excluding the subjective decisions of the operator. This method is more effective than other methods for rejecting erroneous multibeam echo sounder data.

큐브위성 STEP Cube Lab.의 지상국 시스템 개발 (Design of Ground Station System for CubeSat STEP Cube Lab.)

  • 전영현;채봉건;정현모;전성용;오현웅
    • 항공우주시스템공학회지
    • /
    • 제9권4호
    • /
    • pp.37-42
    • /
    • 2015
  • The CubeSats is classified as a pico-class satellite which requires a ground station to track the satellite, transmit commands, and receive an on-orbit data such as SOH (State-of-Health) and mission data according to the operation plan. In order to this, the ground station system has to be properly designed to perform a communication to with the satellite with enough up- and down-link budgets. In this study, a conceptual design of the ground station has been performed for the CubeSat named as STEP Cube Lab. (Cube Laboratory for Space Technology Experimental Project). The paper includes a ground station hardware interface design, a link budget analysis and a ground station software realization. In addition, the operation plan of the ground station has been established considering the STEP Cube Lab. mission requirements.