• 제목/요약/키워드: column-oriented database

검색결과 17건 처리시간 0.024초

A Column-Aware Index Management Using Flash Memory for Read-Intensive Databases

  • Byun, Si-Woo;Jang, Seok-Woo
    • Journal of Information Processing Systems
    • /
    • 제11권3호
    • /
    • pp.389-405
    • /
    • 2015
  • Most traditional database systems exploit a record-oriented model where the attributes of a record are placed contiguously in a hard disk to achieve high performance writes. However, for read-mostly data warehouse systems, the column-oriented database has become a proper model because of its superior read performance. Today, flash memory is largely recognized as the preferred storage media for high-speed database systems. In this paper, we introduce a column-oriented database model based on flash memory and then propose a new column-aware flash indexing scheme for the high-speed column-oriented data warehouse systems. Our index management scheme, which uses an enhanced $B^+$-Tree, achieves superior search performance by indexing an embedded segment and packing an unused space in internal and leaf nodes. Based on the performance results of two test databases, we concluded that the column-aware flash index management outperforms the traditional scheme in the respect of the mixed operation throughput and its response time.

스타 스키마 조인 처리에 대한 세로-지향 데이터베이스 시스템과 가로-지향 데이터베이스 시스템의 성능 비교 (Performance Comparison of Column-Oriented and Row-Oriented Database Systems for Star Schema Join Processing)

  • 오병중;안수민;김경창
    • 한국컴퓨터정보학회논문지
    • /
    • 제16권8호
    • /
    • pp.29-38
    • /
    • 2011
  • 세로-지향 데이터베이스 시스템은 기존의 가로-지향 데이터베이스 시스템과 달리 데이터를 가로(row) 위주가 아닌 세로(column) 위주로 저장한다. 최근에는 데이터 웨어하우스나 의사 결정 시스템 같은 대용량 데이터를 갖는 읽기 위주의 응용들에서 세로-지향데이터베이스의 우수성이 관찰되었다. 본 논문에서는 세로-지향데이터베이스에서의 조인 전략을 구체적으로 분석하고 데이터 웨어하우스 시스템에서 세로-지향 데이터베이스의 우수성을 검증하고자 한다. 두 시스템간의 객관적인 비교를 위해 데이터 웨어하우스 분석 모델인 스타 스키마 벤치마크를 통해 스타스키마조인 질의에 대한 성능분석을 실시하고자 한다. 또한 세로-지향 데이터베이스의 조인 전략으로 조기 실체화(early materialization)와 지연 실체화(late materialization)를 고려하였다. 성능 분석을 통해 스타 스키마 조인 질의처리에 있어 가로-지향 시스템보다는 세로-지향 시스템에서 디스크 I/O 비용이 더 효율적인 결과를 확인할 수 있었다. 세로-지향 데이터베이스 시스템 측면에서는 조기 실체화보다는 지연 실체화 조인전략이 훨씬 우수한 성능을 보였다.

고속 데이터베이스 시스템을 위한 컬럼-인지 양분화 기법 (Column-aware Polarization Scheme for High-Speed Database Systems)

  • 변시우
    • 인터넷정보학회논문지
    • /
    • 제13권3호
    • /
    • pp.83-91
    • /
    • 2012
  • 최근 컬럼-기반 저장 장치는 우수한 입출력 성능으로 고속 데이터베이스 시스템의 진보적인 중요 모델이 되었다. 본 논문에서는, 기존의 가로-기반 저장 모델과 비교 분석하고, 고속 컬럼-기반 데이터베이스 시스템의 유효 성능을 향상시키기 위하여, 플래시 메모리와 어시스트 드라이브를 활용한 새로운 컬럼-인지 스토리지 관리 모델을 제안한다. 컬럼-인지 폴라라이징이라고 하는 본 스토리지 관리 기법은 테이블 컬럼을 활성-컬럼과 비활성-컬럼으로 양분하여 압축 저장하며, 고부하시에 어시스트 드라이브를 활용하여 적체된 저장 연산을 리벨런싱한다. 실험 결과는 본 제안 기법이 컬럼-기반 스토리지의 초당 저장 연산 처리치를 19% 개선하였고, 그 응답 성능도 49%개선되었음을 보였다.

분할된 압축 인덱스를 이용한 컬럼-지향 플래시 스토리지의 검색 성능 개선 (Search Performance Improvement of Column-oriented Flash Storages using Segmented Compression Index)

  • 변시우
    • 한국산학기술학회논문지
    • /
    • 제14권1호
    • /
    • pp.393-401
    • /
    • 2013
  • 대부분의 기존 데이터베이스들은 빠른 저장 성능을 얻기 위하여 한 레코드의 속성들을 하드 디스크에 연속적으로 배치하는 레코드-지향 저장 모델을 사용하였다. 하지만 검색이 대부분인 데이터웨어하우스 시스템에는 월등한 읽기 성능 때문에 컬럼-지향 저장 방식이 적합한 모델이 되고 있다. 또한, 현재 플래시 메모리가 고속 데이터베이스 시스템을 위한 선호 저장 매체로 인정되고 있다. 본 논문에서는 고속 컬럼-지향 데이터베이스 모델을 도입하고, 고속 컬럼-지향 데이터웨어하우스 시스템을 위한 컬럼-인지 인덱스 관리 기법을 제안한다. 본 인덱스 관리 기법은 개선된 B트리에 기반하며, 중간 노드와 리프노드에서 내장 플래시 인덱스와 빈공간 압축을 통하여 높은 검색 성능을 얻는다. 성능 평가 결과를 기반으로 본 인덱스 관리 기법이 기존 기법보다 검색 처리 및 응답 시간 측면에서 더 우수함을 확인하였다.

대용량 컬럼 저장소를 위한 교차 압축 이중화 기법 (Cross Compressed Replication Scheme for Large-Volume Column Storages)

  • 변시우
    • 한국산학기술학회논문지
    • /
    • 제14권5호
    • /
    • pp.2449-2456
    • /
    • 2013
  • 컬럼-기반 데이터베이스 저장소는 우수한 입출력 성능으로 대용량 데이터 분석 시스템을 위한 매우 진보적인 모델이다. 전통적인 데이터 저장소는 빠른 쓰기 연산을 위하여 한 레코드의 속성들을 하드 디스크에 연속적으로 배치되어 있는 가로-지향 저장 모델을 활용하였다. 하지만 검색이 대부분인 데이터웨어하우스 시스템을 위해서는 월등한 판독 성능 때문에 컬럼-지향 저장소가 더 적합한 모델이 되고 있다. 또한 최근에는 MLC 플래시 메모리를 사용한 SSD가 고속 데이터 분석 시스템을 위한 적합한 저장 매체로 인식되고 있다. 본 논문에서는 고속 컬럼-지향 데이터 저장소 모델을 도입하고, 고속 컬럼-지향 데이터웨어하우스 시스템을 위한 교차 압축 이중화를 활용하는 새로운 저장소 관리 기법을 제안한다. 본 저장소 관리 기법은 두 개의 MLC SSD에 기반하며, 압축과 비압축된 세그먼트의 교차 이중화를 통하여 높은 CPU 및 입출력 부하에서도 우수한 저장 성능과 안정성을 얻는다. 성능 평가 결과를 통하여 본 저장소 관리 기법이 기존 기법보다 컬럼 세그먼트 갱신 처리치 및 그 응답시간 측면에서 더 우수함을 확인하였다.

컬럼-기반 데이터베이스를 위한 그림자 복구 (Shadow Recovery for Column-based Databases)

  • 변시우
    • 한국산학기술학회논문지
    • /
    • 제16권4호
    • /
    • pp.2784-2790
    • /
    • 2015
  • 컬럼-기반 데이터베이스 저장소는 우수한 입출력 성능으로 대용량 데이터 트랜잭션을 위한 매우 진보적인 모델이다. 전통적인 데이터 저장소는 빠른 쓰기 연산을 위하여 한 레코드의 속성들을 하드 디스크에 연속적으로 배치되어 있는 가로-지향 저장 모델을 활용하였다. 하지만 검색이 대부분인 데이터웨어하우스 시스템을 위해서는 월등한 판독 성능 때문에 컬럼-지향 저장소가 더 적합한 모델이 되고 있다. 또한 최근에는 플래시 메모리를 사용한 SSD가 고속 데이터 분석 시스템을 위한 적합한 저장 매체로 인식되고 있다. 본 연구에서는 플래시 미디어 파일 시스템을 기반으로 하는 컬럼-기반 데이터베이스 환경을 위한 새로운 트랜잭션 회복기법(CoSR)을 제안한다. 제안 기법은 기존의 쉐도우 페이징 기법을 개선하여 플래시 파일 시스템에서 새로운 블록에 데이터를 저장할 경우 무효화되어 폐기되는 이전 데이터 블록을 재활용하였다. 이를 위하여 제안된 컬럼-기반 쉐도우 복구 기법에 재활용 쉐도우 리스트 구조를 활용하였다. 제안 기법은 기존 쉐도우 페이징기법의 최대 단점인 쉐도우 페이지 관련 추가 저장공간의 부담을 최소화하고, 기존 복구 기법에서 컬럼 데이터 압축에 기인한 입출력 성능저하를 최소화 할 수 있다. 실험 분석결과를 통하여 CoSR기법이 기존 기법보다 17% 더 우수함을 확인하였다.

컬럼-지향 데이터베이스를 위한 컬럼-인지 트랜잭션 관리 기법 (Column-aware Transaction Management Scheme for Column-Oriented Databases)

  • 변시우
    • 인터넷정보학회논문지
    • /
    • 제15권4호
    • /
    • pp.125-133
    • /
    • 2014
  • 컬럼-지향 데이터베이스 저장소는 우수한 입출력 성능으로 대용량 데이터 분석 시스템을 위한 매우 진보적인 모델이다. 전통적인 데이터 저장소는 빠른 쓰기 연산을 위하여 한 레코드의 속성들을 하드디스크에 연속적으로 배치되어 있는 가로-지향 저장 모델을 활용하였다. 하지만 검색이 대부분인 데이터웨어하우스 시스템을 위해서는 월등한 판독 성능 때문에 컬럼-지향 저장소가 더 적합한 모델이 되고 있다. 또한 최근에는 플래시 메모리를 사용한 SSD가 고속 데이터 분석 시스템을 위한 적합한 저장 매체로 인식되고 있다. 이제 플래시 메모리는 비휘발성, 낮은 전력소모, 빠른 데이터 접근 속도 등의 특징으로 최신 데이터베이스 서버의 핵심 저장 요소로 충분한 기반이 되었다. 하지만 컬럼 압축의 느린 특성과 일반 RAM 메모리에 비하여 상대적으로 느린 플래시 메모리 연산 특성을 고려하여 기존의 트랜잭션 처리 기법을 개선할 필요가 있다. 본 연구에서는 효율적인 트랜잭션 처리를 위하여 컬럼-인지 다중 버전로킹(CaMVL) 기법을 제안한다. CaMVL은 로크 관리 과정에서 플래시의 느린 쓰기 연산과 지우기 연산을 효과적으로 제어하기 위하여 멀티 버전 읽기를 허용하고 압축 로크를 허용하여 트랜잭션 처리 성능을 높인다. 또한 성능 검증을 위하여 시뮬레이션 모델을 제안하였으며 실험 결과 분석을 통하여 CaMVL이 기존의 트랜잭션 처리 기법보다 우수함을 확인하였다.

Axial compressive behaviour of circular CFFT: Experimental database and design-oriented model

  • Khan, Qasim S.;Sheikh, M. Neaz;Hadi, Muhammad N.S.
    • Steel and Composite Structures
    • /
    • 제21권4호
    • /
    • pp.921-947
    • /
    • 2016
  • Concrete Filled Fibre Reinforced Polymer Tube (CFFT) for new columns construction has attracted significant research attention in recent years. The CFFT acts as a formwork for new columns and a barrier to corrosion accelerating agents. It significantly increases both the strength capacity (Strength enhancement ratio) and the ductility (Strain enhancement ratio) of reinforced concrete columns. In this study, based on predefined selection criteria, experimental investigation results of 134 circular CFFT columns under axial compression have been compiled and analysed from 599 CFFT specimens available in the literature. It has been observed that actual confinement ratio (expressed as a function of material properties of fibres, diameter of CFFT and compressive strength of concrete) has significant influence on the strength and ductility of circular CFFT columns. Design oriented models have been proposed to compute the strength and strain enhancement ratios of circular CFFT columns. The proposed strength and strain enhancement ratio models have significantly reduced Average Absolute Error (AAE), Mean Square Error (MSE), Relative Standard Error of Estimate (RSEE) and Standard Deviation (SD) as compared to other available strength and strain enhancement ratios of circular CFFT column models. The predictions of the proposed strength and strain enhancement ratio models match well with the experimental strength and strain enhancement ratios investigation results in the compiled database.

클라우드 컴퓨팅기반 가축 질병 예찰 및 스마트 축사 통합 관제 시스템 (Livestock Disease Forecasting and Smart Livestock Farm Integrated Control System based on Cloud Computing)

  • 정지성;이명훈;박종권
    • 스마트미디어저널
    • /
    • 제8권3호
    • /
    • pp.88-94
    • /
    • 2019
  • 가축 질병 발생시 신속하게 대처를 하지 못할 경우 그 피해가 막대하기 때문에 가축 질병은 축산업에서 매우 중요한 이슈이다. 가축 질병 발생으로 인한 문제를 해결하기 위해서는 가축 질병상태를 조기에 진단하고 체계적이며 과학적인 가축 사양기술의 개발이 필요하지만 국내에는 이러한 기술에 대한 연구가 미흡한 실정이다. 본 논문에서는 클라우드 컴퓨팅을 활용한 가축 질병 예찰 및 축사 통합 관제 시스템을 제안하고자 한다. 제안하는 시스템은 WSN과 어플리케이션을 통해 수집된 가축 및 축사관련 정보들을 데이터를 컬럼 지향 데이터베이스인 하둡 HBase를 이용하여 저장하고 관리하며, 맵리듀스 모델을 통한 병렬처리를 통해 가축 질병 예찰 및 축사 통합 관제 서비스를 제공한다. 또한 REST 기반의 웹서비스 제공을 통해 사용자는 PC, 모바일 기기 등 다양한 플랫폼으로 서비스를 제공받을 수 있다.

Experimental behavior of VHSC encased composite stub column under compression and end moment

  • Huang, Zhenyu;Huang, Xinxiong;Li, Weiwen;Mei, Liu;Liew, J.Y. Richard
    • Steel and Composite Structures
    • /
    • 제31권1호
    • /
    • pp.69-83
    • /
    • 2019
  • This paper investigates the structural behavior of very high strength concrete encased steel composite columns via combined experimental and analytical study. The experimental programme examines stub composite columns under pure compression and eccentric compression. The experimental results show that the high strength encased concrete composite column exhibits brittle post peak behavior and low ductility but has acceptable compressive resistance. The high strength concrete encased composite column subjected to early spalling and initial flexural cracking due to its brittle nature that may degrade the stiffness and ultimate resistance. The analytical study compares the current code methods (ACI 318, Eurocode 4, AISC 360 and Chinese JGJ 138) in predicting the compressive resistance of the high strength concrete encased composite columns to verify the accuracy. The plastic design resistance may not be fully achieved. A database including the concrete encased composite column under concentered and eccentric compression is established to verify the predictions using the proposed elastic, elastoplastic and plastic methods. Image-oriented intelligent recognition tool-based fiber element method is programmed to predict the load resistances. It is found that the plastic method can give an accurate prediction of the load resistance for the encased composite column using normal strength concrete (20-60 MPa) while the elastoplastic method provides reasonably conservative predictions for the encased composite column using high strength concrete (60-120 MPa).