• 제목/요약/키워드: 집계함수 테이블

검색결과 11건 처리시간 0.019초

데이터 웨어하우징 환경에서 질의 처리를 위한 새로운 기법 (A New Method for Processing Queries in Data Warehouse Environment)

  • 김윤호;김진호;감상욱
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
    • /
    • pp.121-123
    • /
    • 2001
  • 대용량의 데이터가 저장되는 데이터 웨어하우징 환경에서는 조인이나 집계 함수와 같은 고비용의 연산의 효율적인 처리는 매우 중요하다. 본 논문에서는 집계 함수(aggregate function)와 조인이 모두 포함된 질의를 처리하는 새로운 기법을 제안한다. 제안하는 기법은 먼저 차원 테이블(dimension table)을 미리 그룹핑한 후, 비트맵 조인 인덱스(bitmap join index)를 이용하여 조인을 처리하는 방식을 사용한다. 이 결과, 사실 테이블만을 접근하여 집계 함수를 처리함으로써 기존 기법이 가지는 성능 저하의 문제점을 해결할 수 있다. 기존 기법과 제안하는 기법에 대한 비용 모델(cost model)을 정립하고, 이를 기반으로 시뮬레이션을 수행함으로써 제안된 기법의 우수성을 규명한다.

  • PDF

조건 술어 분석을 이용한 능동규칙의 조건부 처리 시스템 (A Condition Processing System of Active Rules Using Analyzing Condition Predicates)

  • 이기욱;김태식
    • 정보처리학회논문지D
    • /
    • 제9D권1호
    • /
    • pp.21-30
    • /
    • 2002
  • 능동 데이터베이스 시스템은 특정한 상태를 탐지하는 능동규칙을 도입한다. 조건부 평가는 사건이 발생할 때마다 수행되기 때문에 조건부를 처리하는 방법에 따라 시스템의 성능에 중요한 영향을 미친다. 본 논문에서는 차이트리 구조, 분류트리, 그리고 집계함수 테이블을 생성하는 전처리 기능을 갖는 조건부 처리 시스템을 제안한다. 전처리는 능동규칙을 미리 파악할 수 있는 능동 데이터베이스의 특징 때문에 도입될 수 있다. 본 논문에서는 선택연산, 조인연산, 그리고 집계함수를 효율적으로 처리할 수 있는 차이트리를 제안하고 조건부의 처리 성능을 높인다. 그리고 조인연산을 효과적으로 처리하는 분류트리와 높은 처리비용을 요구하는 집계함수를 처리하는 집계함수 테이블을 제안한다. 본 논문의 조건부 처리 시스템은 전처리 기능에서 만들어진 조건부 처리 구조 때문에 조건 비교의 횟수를 감소시켜 능동규칙에서 조건부 처리의 성능 향상을 기대할 수 있다.

집계 함수를 포함하는 조인 질의의 맵리듀스를 사용한 효율적인 처리 기법 (A Join Query with Aggregation functions Using Mapreduce)

  • 오소현;이기용
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 춘계학술발표대회
    • /
    • pp.132-135
    • /
    • 2015
  • 맵리듀스(MapReduce)는 분산 환경에서의 빅데이터(Big Data), 즉 대용량 데이터를 처리하는 프로그래밍 모델이다. 대용량의 데이터를 분석하기 위해서 집계 함수(Aggregation function)로 데이터를 처리할 수 있다. 본 논문에서는 맵리듀스 환경을 기반으로 SQL 쿼리에서 집계 함수를 더 적은 비용으로 수행하며 효율적으로 처리할 수 있는 두 가지 전략을 제안한다. 두 가지 전략 중 더 높은 성능을 보이는 전략을 더 효율적인 처리 방법으로 판단한다. 첫 번째 전략은 두 테이블을 Join하여 집계 함수를 처리하는 방법이다. 두 번째 전략은 집계 함수를 처리하여 Join에 참여할 튜플의 수를 최소로 줄인 후 Join을 수행하고 다시 집계 함수를 처리하는 방법이다. 두 제안 방법을 비교하기 위하여 실험을 한 결과 두 번째 전략이 더 적은 비용이 드므로 더 효율적인 처리 방법인 것으로 보인다.

능동규칙의 조건부 처리 기법 (An Technique for the Active Rule Condition)

  • 이기욱
    • 한국컴퓨터정보학회논문지
    • /
    • 제3권4호
    • /
    • pp.49-54
    • /
    • 1998
  • 능동규칙의 조건부 처리에 사용되는 데이터베이스 연산들은 처리되는 시간들이 상당히 크기 때문에 능동 데이터베이스 시스템의 성능에 중요한 영향을 미친다. 그래서 조건부에서 발생되는 연산들의 처리 시간을 최소화 시켜야만 시스템의 성능을 높일 수 있다. 기존 연구의 처리 기법들은 기본 데이터베이스 연산과 한정된 일부 집계함수만을 효율적으로 처리하고 있다. 본 연구에서는 릴레이션의 구조화와 상태테이블을 사용한 처리 기법을 제시한다. 릴레이션들을 분류트리로 구조화시키고, 삭제 정보 테이블을 도입함으로써 기본 데이터베이스 연산의 처리시간을 줄일 수 있다. 또한 이진 검출트리와 릴레이션의 상태테이블을도입함으로써 처리비용이 큰 집계함수를 효율적으로 처리할 수 있어 능동 데이더베이스 시스템의 이용을 극대화시킬 수 있다.

  • PDF

관계형 OLAP 데이터 웨어하우징 환경에서 조인과 집계함수를 포함하는 질의의 효율적인 처리 (Efficient Processin of Queries with Joints and Aggregate Functions in ROLAP Data Warehousing Environment)

  • 김진호;김윤호;김상욱
    • 전자공학회논문지CI
    • /
    • 제39권5호
    • /
    • pp.1-10
    • /
    • 2002
  • 대용량의 데이터가 저장되는 데이터 웨어하우징 환경에서 조인이나 집계 함수와 같은 고비용의 연산의 효율적인 처리는 매우 중요하다. 본 논문에서는 집계 함수(aggregate function)와 조인(join)이 모두 포함된 질의를 처리하는 새로운 기법을 제안한다. 제안하는 기법은 먼저 차원 테이블(dimension table)을 미리 그루핑한 후, 비트맵 조인 인덱스(bitmap join index)를 이용하여 조인을 처리하는 방식을 사용한다. 이 결과, 사실 테이블(fact table)만을 접근하여 집계 함수를 처리함으로써 기존 기법이 가지는 성능 저하의 문제점을 해결할 수 있다. 기존 기법과 제안하는 기법에 대한 비용 모델(cost model)을 정립하고, TPC-H 벤치마크를 기반으로 하는 다양한 시뮬레이션을 수행함으로써 제안된 기법의 우수성을 규명한다.

OLAP 큐브에서의 집계함수 AVG의 적용 (Applying an Aggregate Function AVG to OLAP Cubes)

  • 이승현;이덕성;최인수
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권1호
    • /
    • pp.217-228
    • /
    • 2009
  • 데이터에 내재되어 있는 특이 패턴을 찾고자 데이터 분석을 할 때에 보통 다차원적인 데이터 집계를 하는데, 이때에 표준 SQL 쿼리를 사용해도 좋지만 쿼리가 아주 복잡해진다는 단점이 생기게 된다. 쿼리가 복잡해지면 표준 테이블을 여러 번 참조해야 되고 결과적으로 쿼리의 성능이 저하된다는 뜻이다. OLAP 쿼리는 복잡한 것이 대다수이기 때문에 SQL 쿼리를 대신할 새로운 집계용 연산자인 데이터 큐브를 간단히 불러 큐브를 만들 필요가 생기는 것이다. 집계를 하고, 부분 합을 구하는 것과 같은 OLAP 업무를 지원해 주는 것이 데이터 큐브이다. 이러한 데이터 큐브를 작성하는데 관련된 집계함수에는 여러 가지가 있는데, 이를 분배적 함수, 대수적 함수 그리고 전체관적 함수의 3가지로 분류할 수 있다. 이 중, SUM, COUNT, MAX, MIN과 같은 분배적 함수는 데이터 큐브를 작성하는 데에 직접사용 할 수 있고, AVG와 같은 대수적 함수는 매개함수를 활용하면 사용가능 하다고 알려져 있다. 즉, AVG 자체는 분배적 함수가 아니지만, (SUM, COUNT)와 같은 매개함수로 분배적 함수가되기 때문에 매개함수를 이용하여 구하면 된다는 뜻이다. 그러나 본 연구에서는 (SUM, COUNT)와 같은 매개함수를 통해 AVG를 구하는 것이 OLAP 큐브 작성에 적용시킬 수 없다는 사실을 확인했으며, 결과적으로 이 매개함수를 활용하면 잘못된 결론에 다다르고 그릇된 의사결정을 하게 된다는 사실을 확인하게 되었다. 따라서 본 연구에서는 집계함수 AVG를 OLAP 큐브에 적용시켰을 때의 여러 문제점을 밝혀내고 또한 이들 문제점을 해결할 방안을 찾고자 하는 데에 목적을 두고 있다.

큐브리드 샤드 분산 데이터베이스에서 집계/분석 함수의 분산 처리 시스템 개발 (Distributed Processing System for Aggregate/Analytical Functions on CUBRID Shard Distributed Databases)

  • 원지섭;강석;조선화;김진호
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권8호
    • /
    • pp.537-542
    • /
    • 2015
  • 대용량의 테이블을 수평적으로 분할하여 서로 다른 데이터베이스에 저장함으로써 데이터를 분산 저장하고 처리할 수 있는 방법을 샤딩이라 한다. 샤딩된 데이터에 대한 집계 또는 분석 함수를 적용하여 전체 결과를 얻기 위해서는 여러 곳으로 분산된 데이터에 대한 지역 결과를 통합하는 과정이 필요하다. 본 논문에서는 오픈 소스 DBMS의 하나인 큐브리드(CUBRID)의 샤딩 기술을 이용하여 분산된 부분 집계함수를 통합 처리하는 모듈을 설계하고 구현하는 방법에 대해 소개한다. 이 통합 모듈을 통해 여러 곳으로 샤딩된 데이터에 대하여 집계 및 분석 함수를 이용한 분석이 가능하도록 하였고, 단일 데이터베이스를 사용한 분석 성능과의 비교를 통해 샤드 분산 데이터베이스를 사용한 집계 계산이 효율적임을 보인다.

OLAP 데이터 큐브에서의 추론통제 프로세스 설계 (Design of an Inference Control Process in OLAP Data Cubes)

  • 이덕성;최인수
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권5호
    • /
    • pp.183-193
    • /
    • 2009
  • OLAP 데이터 큐브와 SDB(통계 데이터베이스) 모두 다차원 데이터 무리를 대상으로 하고, 이 데이터 무리의 모든 차원 별로 통계적인 요약처리를 한다는 데에는 공통점이 있으나 그 형성과정은 아주 다르다. SDB는 여러 베이스 데이터를 이용하여 자신이 쓸 베이스 데이터를 만들고 있으나 OLAP 데이터 큐브에서는 베이스 데이터 자체가 직접적으로 사용된다. 다시 말하면 SDB의 베이스 데이터는 머크로 데이터인데 반해 OLAP 데이터 큐브에서의 핵심 큐보이드 데이터는 마이크로 데이터라는 뜻이다. OLAP 데이터 큐브에 측정값을 입주시키는 데에 베이스 테이블을 사용한다. 구체적으로 핵심 큐보이드의 각 셀에 마이크로 데이터를 입주시키는 데에 베이스 테이블의 각 레코드를 사용한다. 그런데 OLAP 데이터 큐브에서는 마이크로 데이터가 사용되는 경우가 태반이기 때문에 베이스 테이블에서의 어떤 레코드는 존재하지 않게 되는 상황이 생길 수도 있게 된다. 그리고 이렇게 되면 핵심 큐보이드의 어떤 셀은 공백으로 남게 되는 것이다. Wang 등은 OLAP 데이터 큐브로부터 기밀 누설을 막을 수 있는 방법을 제안하였는데, 이 방법은 집계함수의 종류에 관계없이 적용시킬 수 있다고 주장하고 있다. 그러나 큐보이드의 어떤 셀 하나라도 공백으로 되어있는 경우는 집계함수의 종류에 관계없이 적용시킬 수 있다는 Wang의 주장이 틀리게 된다는 것을 본 연구에서는 밝히고 있다. 본 연구에서는 Wang의 오류를 없앤 OLAP 데이터 큐브에서의 새로운 추론통제 프로세스를 설계하는 데에 목적을 두고 있다.

공간적 집계 질의 기능을 가진 직기 관리 사용자 인터페이스의 구현 (Implementing User Interface of Looms Management with Spatial Aggregate Query Functions)

  • 전일수
    • 한국지리정보학회지
    • /
    • 제6권1호
    • /
    • pp.37-47
    • /
    • 2003
  • 본 연구에서는 직기를 윈도우 상에서 컴포넌트로 설계한 후, 데이터베이스 연동 및 다양한 질의가 가능한 사용자 인터페이스를 구현하였다. 구현한 시스템은 마우스로 영역을 선택하여 선택된 컴포넌트들에 대해서만 집계 함수를 처리할 수 있는 질의 기능을 갖추고 있으며, 차트, 피벗 테이블 등 고급 집계 질의도 수행 가능하도록 함으로써, 직기 관리를 위한 의사결정 지원시스템의 역할을 수행할 수 있도록 하였다. 제안한 시스템은 현장 직기에 일시적 혹은 상존하는 문제점 등을 쉽게 파악하고, 그에 따른 적절한 대응을 가능하게 함으로써, 제직 관련업체의 생산성 향상 및 경비 절감을 위해 유용하게 활용될 수 있다.

  • PDF

공간 집계 질의 기능을 가진 직기 관리 시스템의 구현 (Implementing the User Interface of Looms Management System with Spatial Aggregate Query Functions)

  • 전일수;부기동
    • 한국산업정보학회:학술대회논문집
    • /
    • 한국산업정보학회 2002년도 추계공동학술대회
    • /
    • pp.512-519
    • /
    • 2002
  • 본 연구에서는 직기를 윈도우 상에서 컴포넌트로 구현한 후, 데이터베이스 연동 및 다양한 질의가 가능한 직기 관리 시스템을 구현하였다. 구현한 시스템은 마우스로 영역을 선택하여 선택된 컴포넌트들에 대해서만 집계 함수를 처리할 수 있는 질의 기능을 갖추고 있으며, 차트, 피벗 테이블 등 고급 집계 질의도 수행 가능하도록 함으로써, 직기 관리를 위한 의사 결정 지원 시스템의 역할을 수행할 수 있도록 하였다. 제안한 시스템은 현장 직기에 일시적으로 혹은 상존하는 문제점 등을 쉽게 파악하고, 그에 따른 적절한 대응을 가능하게 함으로써, 제직 관련 업체의 생산성 향상 및 경비 절감을 위해 유용하게 활용될 수 있다.

  • PDF