• 제목/요약/키워드: OLAP(On-Line Analytical Processing)

검색결과 51건 처리시간 0.022초

OLAP 환경의 수평적인 테이블에 대한 질의 최적화 방법 (Query Optimization Techniques for Horizontal Tables in OLAP Environment)

  • 신성현;문양세;김진호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 한국컴퓨터종합학술대회 논문집 Vol.33 No.1 (C)
    • /
    • pp.70-72
    • /
    • 2006
  • 데이터 웨어하우스는 방대한 이력 데이터들을 저장하는 저장소이며, 이를 다양한 관점에서 분석하기 위해 OLAP (On-Line Analytical Processing) 연산을 이용한다. 일반적으로 이러한 저장소는 데이터를 저장할 때 많은 열(columns) 을 기반으로 저장하는 와이드(wide) 형태의 테이블로 저장하게 된다. 하지만, 관계형 DBMS에서는 열 수의 제약(MS SQLServer, Oracle 등 열의 수는 1024개임)을 받게 되므로, 그 이상의 열들을 저장할 수 없다. 하지만, 열 기반(이하, 수평 테이블)으로 저장하는 것보다는 관계형 DBMS의 특징을 이용하여 행(row) 기반(이하, 수직 테이블)으로 저장하게 되면 많은 데이터를 효율적으로 저장할 수 있다. 이때, 저장 테이블의 스키마 구조가 변경되므로, 수평 테이블에 대한 질의도 저장된 수직 테이블에 적용 가능하도록 변화시켜야 한다. 또한, 사용자에게 빠른 질의 응답을 제공하기 위해 질의 최적화를 고려하여 실행전락을 세워야 한다. 따라서 본 연구에서는 경험(heuristic)을 근거로 각 연산(프로젝션, 실렉션, 조인 연산)을 위한 질의 트리를 생성하여 질의 최적화에 대한 여러 질의 경로를 고려하고, 다양한 실험을 통해 질의 최적화에 대한 접근 경로들을 분석한다. 이로써, 본 연구의 질의 경로 분석을 기반으로 최적화 실행 계획을 기대해 본다.

  • PDF

다차원 텍스트 큐브를 이용한 호텔 리뷰 데이터의 다차원 키워드 검색 및 분석 (Multi-Dimensional Keyword Search and Analysis of Hotel Review Data Using Multi-Dimensional Text Cubes)

  • 김남수;이수안;조선화;김진호
    • 정보화연구
    • /
    • 제11권1호
    • /
    • pp.63-73
    • /
    • 2014
  • 웹의 발달로 텍스트 등으로 이루어진 비정형 데이터의 활용에 대한 관심이 높아지고 있다. 웹상에서 사용자들이 작성한 대부분의 비정형 데이터는 사용자의 주관이 담겨져 있어 이를 적절히 분석할 경우 사용자의 취향이나 주관적인 관점 등의 아주 유용한 정보를 얻을 수 있다. 이 논문에서는 이러한 비정형 텍스트 문서를 다양한 차원으로 분석하기 하는데 OLAP(온라인 분석 처리)의 다차원 데이터 큐브 기술을 활용한다. 다차원 데이터 큐브는 간단한 문자나 숫자 형태의 정형적인 데이터에 대해 다차원 분석하는데 널리 사용되었지만, 텍스트 문장으로 이루어진 비정형 데이터에 대해서는 활용되지 않았다. 이러한 텍스트 데이터베이스에 포함된 정보를 다차원으로 분석하기 위한 방법으로 텍스트 큐브 모델이 최근에 제안되었는데, 이 텍스트 큐브는 정보 검색에서 널리 사용하는 용어 빈도수(Term Frequency)와 역 인덱스(Inverted Index)를 측정값으로 이용하여 텍스트 데이터베이스에 대한 다차원 분석을 지원한다. 이 논문에서는 이러한 다차원 텍스트 큐브를 활용하여 실제 서비스되고 있는 호텔 정보 공유 사이트의 리뷰 데이터 분석에 활용하였다. 이를 위해 호텔 리뷰 데이터에 대한 다차원 텍스트 큐브를 생성하였으며, 이를 이용하여 다차원 키워드 검색 기능을 제공하여 사용자 중심의 의미있는 정보 검색이 가능한 시스템을 설계 및 구현하였다. 또한, 본 논문에서 제안하는 시스템에 대해 다양한 실험을 수행하였으며 이를 통해 제안된 시스템의 실효성을 검증하였다.

다차원 개념 계층을 지원하는 공간 데이터 큐브의 점진적 일괄 갱신 기법 (Incremental Batch Update of Spatial Data Cube with Multi-dimensional Concept Hierarchies)

  • 옥근형;이동욱;유병섭;이재동;배해영
    • 한국멀티미디어학회논문지
    • /
    • 제9권11호
    • /
    • pp.1395-1409
    • /
    • 2006
  • 공간 데이터 웨어하우스에서는 OLAP(On-Line Analytical Processing) 연산을 제공하기 위해 다차원 데이터를 공간 데이터 큐브의 형태로 관리한다. 개념 계층을 지원하는 공간 데이터 큐브의 크기는 삽입되는 데이터에 비해 방대하기 때문에 구축된 큐브의 구조를 최대한 유지하면서 새로 삽입되는 데이터를 반영시킬 수 있는 점진적 갱신 기법이 연구되어 왔다. 하지만 접두 및 접미의 중복을 제거하여 데이터를 압축 저장하는 큐브에서는 병합된 경로 간의 충돌로 인해 큐브 갱신 시 갱신 내용과 상관없는 셀까지 동시에 갱신되어 갱신이상 현상이 발생한다. 본 논문에서는 공간 데이터 큐브의 점진적 일괄 갱신 기법을 제안한다. 제안 기법은 갱신에 필요한 노드 복사본을 관리하는 자료 구조 및 재귀 탐색을 이용하여, 경로 간의 충돌이 발생할 경우 해당 노드의 복사본을 생성한 후 이를 갱신함으로써 갱신이상 현상을 방지한다. 이를 통해 다차원 개념 계층이 포함된 공간 데이터 큐브를 효율적으로 갱신할 수 있다. 성능 평가를 통해 기존 갱신 기법에 비해 제안 기법의 갱신 속도가 향상되었음을 보인다.

  • PDF

관계형 데이타베이스에서 다차원 데이타의 뷰를 위한 효율적인 질의 변환 (An Efficient Query Transformation for Multidimensional Data Views on Relational Databases)

  • 신성현;김진호;문양세
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제34권1호
    • /
    • pp.18-34
    • /
    • 2007
  • 온라인 분석 처리(OLAP, On-Line Analytical Processing)에서는 다양한 분석을 효과적으로 처리하기 위해, 다차원 구조의 데이타를 열에 차원 애트리뷰트의 값이 표시되는 넓은 형태의 수평 테이블로 표현한다. 관계형 테이블들은 보통 애트리뷰트의 개수에 제한이 있으므로 이러한 수평 테이블을 직접저장하기 어렵고, 저장하더라도 많은 수의 널(null) 간을 갖는 희박(sparse) 테이블이 되기 쉽다. 따라서 관계 데이타베이스에서는 이러한 수평 테이블을 차원의 이름을 열로 갖는 수직 테이블로 바꾸어 저장할 수 있다. 이렇게 할 경우, 수평 뷰 테이블에 대한 OLAP 질의를 저장된 수직 테이블에 대한 질의로 변환하는 작업이 필요하다. 본 논문에서는 전통적인 관계 대수 연산자들 외에 최근 DBMS 버전들이 제공하는 PIVOT 연산자를 사용하여 수평적인 뷰의 질의를 효율적으로 변환하는 방법을 제안하였다. 이를 위해 PIVOT 연산과 동등한 관계 대수식을 만들고 이를 증명하였으며, 이 PIVOT 연산을 사용하여 수평적인 테이블에 대한 질의를 수직적인 테이블에 대한 질의로 변환하는 방법을 제시하였다. 또한 실험을 통해 제안한 변환 방법이 기존 방법에 비해 성능이 더욱 우수함을 보였다.

공식통계의 추론통제 전략 - 정부의 특허경비지원사업 사례를 중심으로 - (A Strategy for Inference Control of Official Statistics - Centering around the Patent Application Expense Support Project -)

  • 이덕성;최인수
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권11호
    • /
    • pp.199-211
    • /
    • 2009
  • 정부와 지역사회를 위해 나라에서는 공식통계를 수집하는데, 이러한 공식통계는 정부 정책이나 프로그램의 유효성을 평가하는 데에도 사용된다. 따라서 공식통계는 정확한 사실을 바탕으로 수집되고 공표되어야 한다고 본다. 정확하지 못한 공식통계는 정부 정책이나 프로그램의 평가를 그르치게 하기 때문이다. 오늘날 여러 통계기관이 주가 되는 공식통계 전달 매체로서 집계기능을 발휘하는 OLAP 데이터 큐브를 채택하고 있는데, 이러한 데이터 큐브에서의 기밀을 보호하는 것도 아주 중요한 문제로 대두되고 있다. 왜냐하면 데이터 큐브가 악의적 추론을 당하게 되면 데이터 큐브에서 기밀유지를 해야 할 중요부분이 누설될 수 있기 때문이다. 저자들은 먼저 정확한 큐브를 작성하게 하고 큐브에서의 기밀누설을 막을 수 있는 OLAP 데이터 큐브에서의 추론통제 프로세스를 제안한 바 있다. 본 연구에서는 이 추론통제 프로세스를 사용하여 공식통계의 추론통제 전략을 수립하는 것을 목적으로 하고 있으며, 정부의 특허경비지원사업을 사례로 삼고 있다.

OLAP 데이터 큐브에서의 추론통제 프로세스 설계 (Design of an Inference Control Process in OLAP Data Cubes)

  • 이덕성;최인수
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권5호
    • /
    • pp.183-193
    • /
    • 2009
  • OLAP 데이터 큐브와 SDB(통계 데이터베이스) 모두 다차원 데이터 무리를 대상으로 하고, 이 데이터 무리의 모든 차원 별로 통계적인 요약처리를 한다는 데에는 공통점이 있으나 그 형성과정은 아주 다르다. SDB는 여러 베이스 데이터를 이용하여 자신이 쓸 베이스 데이터를 만들고 있으나 OLAP 데이터 큐브에서는 베이스 데이터 자체가 직접적으로 사용된다. 다시 말하면 SDB의 베이스 데이터는 머크로 데이터인데 반해 OLAP 데이터 큐브에서의 핵심 큐보이드 데이터는 마이크로 데이터라는 뜻이다. OLAP 데이터 큐브에 측정값을 입주시키는 데에 베이스 테이블을 사용한다. 구체적으로 핵심 큐보이드의 각 셀에 마이크로 데이터를 입주시키는 데에 베이스 테이블의 각 레코드를 사용한다. 그런데 OLAP 데이터 큐브에서는 마이크로 데이터가 사용되는 경우가 태반이기 때문에 베이스 테이블에서의 어떤 레코드는 존재하지 않게 되는 상황이 생길 수도 있게 된다. 그리고 이렇게 되면 핵심 큐보이드의 어떤 셀은 공백으로 남게 되는 것이다. Wang 등은 OLAP 데이터 큐브로부터 기밀 누설을 막을 수 있는 방법을 제안하였는데, 이 방법은 집계함수의 종류에 관계없이 적용시킬 수 있다고 주장하고 있다. 그러나 큐보이드의 어떤 셀 하나라도 공백으로 되어있는 경우는 집계함수의 종류에 관계없이 적용시킬 수 있다는 Wang의 주장이 틀리게 된다는 것을 본 연구에서는 밝히고 있다. 본 연구에서는 Wang의 오류를 없앤 OLAP 데이터 큐브에서의 새로운 추론통제 프로세스를 설계하는 데에 목적을 두고 있다.

USN 기반의 화재감시 응용을 위한 센서 데이터 처리 시스템 (A Sensor Data Management System for USN based Fire Detection Application)

  • 박원익;김영국
    • 한국컴퓨터정보학회논문지
    • /
    • 제16권5호
    • /
    • pp.135-145
    • /
    • 2011
  • 오늘날 센서 기술의 발전 및 보급으로 인해 USN 기반의 실시간 모니터링 응용에서의 센서 데이터 처리 시스템에 대한 연구가 활발히 진행 되고 있다. 센서 데이터는 시간에 따라 빠르게 변화하고 연속적인 저수준 상태의 방대한 양의 데이터를 생성하는 특성을 갖는다. 하지만 엔드유저는 상대적으로 고수준 상태의 데이터에 관심이 있기 때문에 빠르게 변화하고 연속적인 대량의 저수준 센서 데이터를 효과적으로 처리하는 시스템이 필수적이다. 본 논문에서는 USN 기반의 화재감시 응용에서 OLAP(On-Line Analytical Processing) 기술을 이용한 다차원 분석 질의 처리 기능과 학습기반 분류기를 통한 이상치 탐지 기능을 제공하는 센서 데이터 처리 시스템을 제안한다. 실험 시나리오를 통해 우리의 센서 데이터 처리 시스템에 대한 타당성을 검증하며 실험에 필요한 다양한 센서 데이터는 자체 개발한 센서 데이터 생성기를 이용한다.

청크 기반 MOLAP 큐브를 위한 비트맵 인덱스 (A Bitmap Index for Chunk-Based MOLAP Cubes)

  • 임윤선;김명
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제30권3호
    • /
    • pp.225-236
    • /
    • 2003
  • 다차원 온라인 분석처리 (MOLAP, Multidimensional On-line Analytical Processing) 시스템은 데이타를 큐브라고 불리는 다차원 배열에 저장하고 배열 인덱스를 이용하여 데이타를 엑세스한다. 큐브를 디스크에 저장할 때 각 변의 길이가 같은 작은 청크들로 조각내어 저장하게 되면 데이타 클러스터링 효과를 통해 모든 차원에 공평한 질의 처리 성능이 보장되며, 이러한 큐브 저장 방법을 ‘청크기반 MOLAP 큐브’ 저장 방법이라고 부른다. 공간 효율성을 높이기 위해 밀도가 낮은 청크들은 또한 압축되어 저장되는데 이 과정에서 데이타의 상대 위치 정보가 상실되며 원하는 청크들을 신속하게 엑세스하기 위해 인덱스가 필요하게 된다. 본 연구에서는 비트맵을 사용하여 청크기반 MOLAP 큐브를 인덱싱하는 방법을 제시한다. 인덱스는 큐브가 생성될 때 동시에 생성될 수 있으며, 인덱스 수준에서 청크들의 상대 위치 정보를 보존하여 청크들을 상수 시간에 검색할 수 있도록 하였고, 인덱스 블록마다 가능한 많은 청크들의 위치 정보가 포함되도록 하여 범위 질의를 비롯한 OLAP 주요 연산 처리 시에 인덱스 엑세스 회수를 크게 감소시켰다. 인덱스의 시간 공간적 효율성은 다차원 인덱싱 기법인 UB-트리, 그리드 파일과의 비교를 통해 검증하였다.

데이터 큐브를 이용한 폐암 2-DE 젤 이미지에서의 예외 탐사 (Discovery-Driven Exploration Method in Lung Cancer 2-DE Gel Images Using the Data Cube)

  • 심정은;이원석
    • 정보처리학회논문지D
    • /
    • 제15D권5호
    • /
    • pp.681-690
    • /
    • 2008
  • 단백질체학에서 특정 조건 하에서 단백질의 기능 이상 및 구조 변형 유무를 규명하고 질병 과정을 추적하는 것은 중요한 연구이다. 일반적으로 단백질의 발현량 변화 분석에는 통계적 방법이 많이 사용되고 있으며 단백질 상용 이미지 분석 소프트웨어에서 제공하는 그래픽을 이용한 방법들도 있으나, 이 방법들은 많은 조직 내에 존재하는 수많은 단백질을 수동으로 비교해야 하는 어려움이 있다. 본 논문에서는 데이터베이스와 데이터마이닝 기법을 이용하여 OLAP 데이터 큐브와 Discovery-driven 탐색의 응용 방법을 제안한다. 데이터 큐브의 특성을 이용함에 의해서, 질병에 의해 발현량이 변하는 단백질 뿐 아니라 임상적 특성과 단백질의 영향 관계를 분석하는 것이 가능하다. 데이터 큐브에서 단백질의 발현량 변화 분석에 적합한 데이터 큐브의 척도와Discovery-driven 탐색을 위한 예외 지표를 제안하고, 특히 In-exception을 계산하는데 있어서의 계산량 감소 방안을 제시한다. 실험을 통해 폐암 2-DE 데이터에서 데이터 큐브와 Discovery-driven 방법이 유용함을 보인다.

자재소요명세서 유형 계층차원의 설계 (Design of a Hierarchical Dimension of the Bill of Materials Type)

  • 장세현;유한주;최인수
    • 한국컴퓨터정보학회논문지
    • /
    • 제11권4호
    • /
    • pp.243-250
    • /
    • 2006
  • 순환관계란 동일 클래스 내의 엔티티 간의 관계를 말하는데, 이중 N:M 순환관계는 자재소요명세서 구조를 기술하는데 사용할 수 있다. 자재소요명세서란 제조분야에서 자주 쓰이는 것으로 계층형의 특수 데이터 구조로 되어있다. 비즈니스 차원은 거의 대부분 계층구조로 되어있다. 본 연구에는 자재소요명세서 유형의 계층차원을 다음과 같이 설계하고 있다. 먼저 일반적인 N:M 순환관계에서와 마찬가지로 교차 테이블을 만든 다음 이를 OLAP 모델에서의 차원으로 변환시킨다. 즉 교차 테이블의 첫 번째 컬럼은 이 차원의 가장 낮은 수준으로, 두 번째 컬럼은 이 차원의 유일한 상위 수준으로 변환시키는 것이다. 이렇게 설계한 차원을 사용한 다차원 사례 정보시스템도 아울러 구축하고 있다.

  • PDF