• 제목/요약/키워드: OLAP 큐브 저장

검색결과 23건 처리시간 0.026초

데이터 스트림 정보 요약 기법 (A Summarization Method for Data Streams)

  • 한상길;이원석
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 추계학술발표대회
    • /
    • pp.657-660
    • /
    • 2006
  • 최근까지 데이터웨어하우스와 OLAP 에 관한 연구와 더불어 데이터 큐브(data cube)는 많은 다차원 데이터웨어하우스에서 데이터 분석과 의사 결정 지원을 위해 빠르게 OLAP 연산을 처리하기 위한 중요한 역할을 수행해 왔다. 최근에는 빠른 속도로 생성됨과 동시에 지속적으로 발생되는 연속적인 데이터로 구성된 데이터 스트림이 네트워크 트래픽 모니터링, 증권, 날씨, 콜 센터 등과 같은 많은 분야에서 생성된다. 데이터 스트림은 무한의 집합이기 때문에 기존의 데이터 큐브 방법은 처리시간과 저장공간의 문제 때문에 데이터 스트림에 적용하기 어렵다. 이에 본 논문에서는 기존의 데이터 큐브와 같은 데이터의 요약 정보를 데이터 스트림 환경에서 제한된 메모리를 이용하여 관리 할 수 있는 전원트리를 이용한 데이터 스트림 요약 기법을 제안하고, 실험을 통해 본 논문에서 제안한 방법이 데이터 스트림 환경에서 적응적으로 동작함을 증명한다.

  • PDF

SPEC : 데이타 웨어하우스를 위한 저장 공간 효율적인 큐브 (SPEC: Space Efficient Cubes for Data Warehouses)

  • 전석주;이석룡;강흠근;정진완
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제32권1호
    • /
    • pp.1-11
    • /
    • 2005
  • 군집 질의는 사용자에 의해 명시된 질의 영역 내에서 큐브상의 군집 정보를 계산한다. 프리픽스-섬 기법에 기초한 기존의 방법론은 데이타의 누적된 합을 저장하기 위해 프리픽스-섬 큐브(PC)로 불리는 부가적인 큐브를 사용하므로 높은 저장공간 오버헤드를 초래한다. 이러한 저장공간 오버헤드는 기억장치의 추가적인 비용뿐만 아니라 업데이트의 부가적인 증식(propagation)과 더 많은 물리적 장치로의 접근시간을 유발시킨다. 본 논문에서는 대용량 데이타 웨어하우스에서 PC의 저장공간을 획기적으로 감소시킬 수 있는 'SPEC'으로 불리는 새로운 프리픽스-섬 큐브를 제안한다. SPEC은 PC내 셀들간의 종속에 의한 업데이트 증식을 감소시킨다. 이를 위해 대용량 데이타 큐브로부터 조밀한 서브큐브들을 발견하는 효과적인 알고리즘을 개발한다 다양한 차원의 데이타 큐브와 여러 가지 크기의 질의에 대해 폭 넓은 실험을 행하여 본 논문에서 제안한 방법의 효과와 성능을 조사한다. 실험적인 결과는 SPEC이 적절한 질의 성능을 유지하면서도 PC 저장공간을 상당히 감소시킴을 보여준다.

다차원 개념 계층을 지원하는 공간 데이터 큐브의 점진적 일괄 갱신 기법 (Incremental Batch Update of Spatial Data Cube with Multi-dimensional Concept Hierarchies)

  • 옥근형;이동욱;유병섭;이재동;배해영
    • 한국멀티미디어학회논문지
    • /
    • 제9권11호
    • /
    • pp.1395-1409
    • /
    • 2006
  • 공간 데이터 웨어하우스에서는 OLAP(On-Line Analytical Processing) 연산을 제공하기 위해 다차원 데이터를 공간 데이터 큐브의 형태로 관리한다. 개념 계층을 지원하는 공간 데이터 큐브의 크기는 삽입되는 데이터에 비해 방대하기 때문에 구축된 큐브의 구조를 최대한 유지하면서 새로 삽입되는 데이터를 반영시킬 수 있는 점진적 갱신 기법이 연구되어 왔다. 하지만 접두 및 접미의 중복을 제거하여 데이터를 압축 저장하는 큐브에서는 병합된 경로 간의 충돌로 인해 큐브 갱신 시 갱신 내용과 상관없는 셀까지 동시에 갱신되어 갱신이상 현상이 발생한다. 본 논문에서는 공간 데이터 큐브의 점진적 일괄 갱신 기법을 제안한다. 제안 기법은 갱신에 필요한 노드 복사본을 관리하는 자료 구조 및 재귀 탐색을 이용하여, 경로 간의 충돌이 발생할 경우 해당 노드의 복사본을 생성한 후 이를 갱신함으로써 갱신이상 현상을 방지한다. 이를 통해 다차원 개념 계층이 포함된 공간 데이터 큐브를 효율적으로 갱신할 수 있다. 성능 평가를 통해 기존 갱신 기법에 비해 제안 기법의 갱신 속도가 향상되었음을 보인다.

  • PDF

OLAP 환경에서 다중 존 디스크를 활용한 실체뷰의 효율적 저장 기법 (Efficient Storage Techniques for Materialized Views Using Multi-Zoned Disks in OLAP Environment)

  • 장재영
    • 한국전자거래학회지
    • /
    • 제14권1호
    • /
    • pp.143-160
    • /
    • 2009
  • 대용량의 데이타를 다루는 OLAP 데이타베이스 환경에서는 기반 디스크 시스템의 구조와 효율적 접근방법이 전체적인 성능을 좌우하는 중요한 요소가 된다. 최근 들어 하드 디스크들은 여러 개의 물리적 존을 갖는 구조로 설계되고 있는데, 각 존들은 그 위치에 따라 다양한 탐색시간과 데이타 전송률을 갖는 특징을 갖고 있다. 그러나 기존 연구에서는 다중 존을 고려하지 않은 하나의 탐색시간과 데이타 전송률을 갖는 단순한 디스크 모델에 기반을 두고 진행되어 왔다. 본 논문에서는 대용량의 데이타를 다루는 OLAP 환경에서 주어진 실체뷰 집합을 다중 존에 효율적으로 저장하는 기법을 제안한다. 이를 위해 각 실체뷰를 접근확률에 따라 디스크 존에 배치하는 알고리즘을 제시하고, 데이타 지속적으로 갱신되는 동적 환경에서의 저장 방법에 대해서도 살펴본다. 마지막으로 실험을 통하여 본 논문에서 제시된 알고리즘을 효율성을 증명한다.

  • PDF

데이타 스트림에서 동적 데이타 큐브 (Dynamic Data Cubes Over Data Streams)

  • 서대홍;양우석;이원석
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권4호
    • /
    • pp.319-332
    • /
    • 2008
  • OLAP의 다차원 데이타 모델인 데이타 큐브는 많은 다차원 데이타 분석에 성공적으로 적용되었으며, 데이타 스트림 분석에도 적용하려는 많은 연구가 진행되고 있다. 데이타 스트림은 실시간에 지속적으로 방대하게 생성되며, 데이타의 분포적 특성이 빠르게 변한다는 특징을 가지며, 제한된 메모리 및 처리능력 때문에 한번만 검사하여 처리하는 것을 기본으로 한다. 때문에 데이타 스트림을 메모리에 모두 저장하는 것은 불가능하다. 또한 사용자는 모든 속성 값에 대하여 관심을 두기보다는 일정 지지율 이상을 가진 속성 값에 더욱 관심을 가지게 된다. 본 논문에서는 이러한 데이타 스트림 환경에서 데이타 큐브를 효과적으로 적용하기 위한 동적 데이타 큐브를 제안한다. 동적 데이타 큐브는 속성 값의 지지율에 따라 사용자 관심 영역을 지정하고, 속성 값을 동적으로 그룹화하여 관리한다. 이를 통해 메모리 및 처리시간을 절약하게 된다. 또한 동적으로 지지율이 높은 속성에 대한 분석 상세도를 높여주기 때문에 사용자의 관심영역을 효과적으로 보여준다. 마지막으로 실험을 통하여 제한된 메모리에서 동적 데이타 큐브가 효율적으로 동작함을 검증하였다.

Data cube와 OLAP기법을 이용한 철도 선로전환기의 이상상황 분석 (Abnormal Situation Analysis of Railway Point Machine Using Data Cube and OLAP)

  • 최희수;서정순;임철후;박대희;정용화;김희영;윤석한
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 춘계학술발표대회
    • /
    • pp.558-561
    • /
    • 2016
  • 선로전환기는 분기기에서 철도의 궤도를 변경하는 핵심장치 중 하나로서, 해당 부품의 고장은 열차사고에 직접적인 영향을 미친다. 현재 철도 현장에서는 관리자가 모니터링 시스템을 통해 선로전환기의 장애 및 이상상황을 감시하고 지침서에 따라 관리를 수행한다. 본 논문에서는 실제 현장에서 발생하는 대규모의 선로전환기 이상상황 데이터를 대상으로 빅 데이터 해석학적 입장에서 심층 분석이 가능한 새로운 철도 유지보수 분석 시스템의 프로토타입을 제안한다. 제안하는 시스템은 첫째, 유지관리시스템에 저장된 선로전환기 데이터와 이상상황 데이터를 정규화하고 추출하여 베이스 테이블을 생성한다. 둘째, 베이스 테이블 상의 속성들을 스타 스키마로 설계하여 철도 유지보수 큐브로 구축한다. 마지막으로, 매핑된 철도 유지보수 큐브와 오라클에서 제공하는 AWM을 활용해 다차원적이고 심층적인 OLAP(On-Line Analytical Processing) 분석이 가능하다.

OLAP 기술을 이용한 학업성취도 분석 시스템(SAAS)의 설계 및 구현 (Design and Implementation of a Students′ Achievement Analysis System using OLAP Technology)

  • 박미현;김명
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제28권6호
    • /
    • pp.450-459
    • /
    • 2001
  • 다각도로 분석된 학업 성취도를 신속하게 제공받는 학생들은 그렇지 않은 학생들에 비해 차후에 더 나은 학업 성과를 보인다. 그러나 현재의 한국 학교 현장에서 시행되고 있는 평가 방법을 이를 반영하지 못하고 있다. 본 연구에서는 이러한 서비스를 온라인으로 교사와 학생에게 제공하는 ‘학업성취도 분석시스템’인 SAAS를 설계하고 구현하였다. 이 시스템은 비즈니스 데이터를 다차원적으로 분석하여 부가가치를 창출하는데 쓰이는 신기술인 OLAP을 이용한다. 학생, 과목, 기간 차원에 대한 종합적 성취도 분석 결과가 산출되고, 이는 편리한 인터페이스를 통해 제공된다. 시스템의 성능향상을 위해서 분석결과의 부분적 사전연산 방식과 큐브의 청크 단위 저장 방식이 사용되었다. SAAS는 전국 단위 학생 성적 분석을 위해서도 쓰일 수 있을 정도로 성능면에서 확장성을 지니며, 제 7차 교육과정 개혁에도 적용이 가능하다.

  • PDF

공간 데이터 웨어하우스에서 개념 계층을 지원하는 공간 데이터 큐브 (A Spatial Data Cubes with Concept Hierarchy on Spatial Data Warehouse)

  • 옥근형;이동욱;유병섭;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 춘계학술발표대회
    • /
    • pp.35-38
    • /
    • 2006
  • 데이터 웨어하우스에서는 OLAP(On-Line Analytical Processing) 연산을 제공하기 위해 다차원 데이터를 큐브의 형태로 관리한다. 특히, 공간 차원과 같이 데이터 큐브의 차원에 개념 계층이 존재하는 경우 사용자는 특정 계층에 대한 집계 결과를 요구한다. 기조의 데이터 큐브의 구조들은 차원의 개념 계층을 지원하지 못하거나 지원하더라도 시간이나 공간적 비용에 대해 비효율적이다. 본 논문에서는 공간 데이터 웨어하우스에서 공간 개념 계층을 이용하여 효율적인 계층별 영역 집계연산을 지원하는 공간 데이터 큐브를 제안한다. 이는 개념 계층을 DAG(Directed Acyclic Graph) 형태로 표현하여 구성된 여러 개의 차원들을 공간차원의 지역성을 기준으로 연결한 구조이다. 이러한 구조를 갖는 큐브를 이용하면, 데이터 검색 시 상위 계층부터 아래 방향으로 탐색하기 때문에 각 차원에 대한 효율적인 검색이 가능하다. 특히, 공간 개념 계층에 대한 DAG를 이용하면, 공간적 지역성에 따른 영역 검색을 지원할 수 있다. 성능평가에서 개념 계층이 적용된 질의에 대한 실험을 통해 제안 기법이 기존 기법들에 비해 저장 공간 효율성 및 질의 응답 성능이 우수함을 증명한다.

  • PDF

건강 스트림 데이터의 다차원적 분석을 위한 저장 구조 (A Storage Scheme of Health Data Stream for Multidimensional Analysis)

  • 신혜원;임윤선;김명
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 춘계학술발표대회
    • /
    • pp.81-84
    • /
    • 2005
  • 유비쿼터스 의료 기술이 본격화되면서 센서 네트워크를 통해 환자의 건강 관련 데이터 스트림을 수집하여 위험상황을 탐지하고 지속적인 건강 상태를 모니터링할 수 있게 되었다. 그러나 방대한 양의 스트림 데이터로부터 의미 있는 데이터를 효과적으로 찾아내기 위해서는 실시간으로 데이터의 갱신과 집계 연산이 가능해야 하고 데이터의 압축이 효율적으로 처리 될 수 있는 다차원 저장구조가 필요하다. 기존의 다차원 데이터 분석 도구인 OLAP 큐브 저장구조는 실시간 업데이트가 힘들고, 스트림 데이터 저장 구조인 DSMS들은 다차원 데이터 분석이 용이하지 않다. 이에 본 연구에서는 건강 스트림 데이터의 특징과 질의를 분석하고, 이러한 스트림 데이터에 적합한 저장구조의 요건을 제시하였다. 또한 점진적 갱신이 가능하고, 대용량 데이터를 시간 차원으로 압축, 삭제하기 용이하며 실시간에 분석 데이터 구축이 가능한 저장구조를 제안하고 그 효율성을 보였다.

  • PDF

데이터 큐브를 이용한 축구 비디오의 다차원 분석 (A Multi-dimensional Analysis of Soccer Video using Data Cube)

  • 정호석;이종욱;이한성;박대희
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(C)
    • /
    • pp.21-24
    • /
    • 2011
  • 본 논문에서는 장기간 축적된 대용량의 축구 비디오 데이터를 데이터 마트로 저장하고, 이를 이용하여 다차원의 고수준 분석이 가능한 멀티미디어 데이터 기반의 데이터 큐브 시스템인 Soccer Cube의 프로토타입을 설계 및 구현한다. 이로써 축구 전략가들은 본인이 분석하고자 하는 관점에 따라 해당 차원들을 선택하고, 각 차원들의 추상화 정도를 조절함으로써 축구 비디오에 대한 고수준의 분석이 가능하다. 실제 2010년 남아프리카 공화국 월드컵의 스페인 팀을 대상으로 Soccer Cube 시스템을 구축한 후, OLAP 연산의 사례 연구를 통하여 다양한 분석이 가능함과 함께 그 실효성을 검증한다.