Abstract
Managing the growing number of data generated through various processes requires the aid of Database Management System (DBMS) to efficiently handle the huge amount of data. These data can be inserted into database m real time or in batch, that come from multiple sources, including those that are coming from inside and outside of a network. The insertion of large amount of data is commonly done through specific bulk loading or insertion function supplied by each individual DBMS. In this paper, we analyze and evaluate on handling data bulk loading for heterogeneous systems that is organised as multi-tiered architecture and compare the result of DBMS bulk loader against program insertion from a software development perspective. We propose a hybrid solution using staging database that can be easily deployed for enhancing bulk loading performance compared to insertion by application.
여러 과정을 통해 만들어진 수많은 데이터는 효율적으로 관리되기 위해서 DBMS의 도움이 절대적으로 필요하다. 네트워크 내부 또는 외부에서 오는 이러한 데이터는 실시간 또는 일괄적으로 데이터베이스에 삽입(insertion)이 된다. 다량의 데이터 삽입은 흔히 개별적인 DBMS에서 지원하는 특정 대용량 로딩 또는 삽입기능을 통해 수행된다. 본 논문에서는 다층 구조로 구성되어 있는 이기종 시스템의 대용량 데이터 로딩을 분석하고 평가하며 프로그램 삽입에서의 DBMS 대용량 로더의 결과와 비교한다. 또한 대용량 로딩의 성능을 쉽게 향상 시킬 수 있는 staging 데이터베이스를 사용한 하이브리드 방법을 제안한다.
