• Title/Summary/Keyword: Data-Warehouse

Search Result 348, Processing Time 0.029 seconds

Development of REIM Data Warehouse in an Enterprise Environment (엔터프라이즈 환경의 REIM 데이터 웨어하우스 개발)

  • 최성만;유철중;장옥배;이정열
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.10b
    • /
    • pp.370-372
    • /
    • 2003
  • 기존의 연구비 관리업무는 예산계획, 예산편성 및 예산정산 부분으로 관리됨으로써 여러 가지 문제점이 발생된다. 연구비의 안정적인 확보와 효율적인 운영 및 투명한 집행을 위하여 이러한 문제점의 해결이 절실하게 요구되고있는 실정이다. 본 논문은 이러한 문제점들을 해결하고자 엔터프라이즈 환경의 연구비 통합관리 데이터 웨어하우스를 개발하였다. 본 논문에서의 핵심 요소는 정보검색 에이전트와 정보통합 에이전트이다. 정보검색 에이전트에서는 기존의 예산계획 DB, 예산편성 DB, 예산정산 DB의 데이터를 이용하여 사용자가 원하는 정보를 찾아주는 역할을 수행한다. 정보통합 에이전트에서는 정보검색 에이전트에서 수집한 데이터를 추출, 전송, 가공, 로딩하여 통합 데이터베이스에 저장한다. 또한, 정보통합 에이전트에서는 다수의 정보소스를 사용자가 하나하나 접근하여 검사하는 노력을 줄여주고 사용자에게 불필요하다고 판단되는 데이터를 걸러주는 역할을 수행한다. 엔터프라이즈 환경의 REIM 데이터 웨어하우스는 사용자 요구사항을 최대한 반영한 기능들로 연구비 관리정책의 수립에 필요한 다양한 형태의 의사결정 지원정보를 제공한다. 최종 사용자에게는 원하는 분석정보를 신속하게 접근하여 단편적인 관점보다는 종합적인 관점에서 다양한 분석자료를 제공받을 수 있도록 하였다. 또한, 3개의 시스템을 하나로 통합한 결과 데이터의 공유, 시스템 통합, 운영비용 절감, 의사결정 지원환경을 단순화시키는 효과를 제공한다.

  • PDF

An Implementation of a BST Index on a Relational Data Warehouse System based on Hadoop Cloud (Hadoop 클라우드 기반 관계형 데이터 웨어하우스 시스템에서 이진 검색 트리 기반 색인의 구현)

  • Ryu, Hyo-Seok;Choi, Hyun-Sik;Son, Ji-Hoon;Chung, Yon-Don
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06c
    • /
    • pp.10-12
    • /
    • 2012
  • 클라우드를 기반으로 한 대용량 데이터의 처리 및 분석의 요구가 커지면서, 대용량 관계형 데이터에 대한 분산 처리의 수요 또한 증가하고 있다. 본 논문은 HDFS를 사용하는 관계형 저장 시스템에서 대용량 데이터를 효율적으로 처리하기 위해 개발한 BST 기반 색인에 대해 설명한다.

View Maintenance of Data Warehouse in Distributed Sources Environment (분산 소스 환경에서 데이터 웨어하우스의 뷰 유지)

  • 이현창
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10a
    • /
    • pp.265-267
    • /
    • 2001
  • 일반적으로 효율적인 질의.검색.분석을 수행하기 위해서 이질적이고 분산된 정보 소스들 부터 통합된 정보를 포함한 데이터 저장고를 데이터 웨어하우스라 일컬으며, 이를 웹기술과 접목한 기술을 웹 웨어하우징이라 한다. 본 연구에서는 웹 웨어하우징 기술의 모토가 될 수 있는 기술로서 분산되어 저장된 다양한 소스 데이터에 대해 실체 뷰로 간과되어지는 데이터 웨어하우스에 관한 유지 방법에 관한 연구이다. 본 연구의 성능 평가를 위해서 기존에 알려진 보상알고리즘, 모든 기본 릴레이션에서 키 애트리뷰트들을 포함해야만 하는 스트로브와 이를 완화시켜서 성능향상을 보이는 스윕 알고리즘들을 각각 특성별로 비교하며, 전송된 바이트 수와 갱신된 회수에 따른 성능 평가 및 갱신 유형에 따른 성능 평가를 수행하여 결과를 보인다.

  • PDF

Performance Evaluation On Parallel View Consistency Maintenance Using Referential Integrity Constraints in Data Warehouse Environment (데이터 웨어하우스에서 참조 무결성 제약 조건을 이용한 병렬 뷰 일관성 관리 기법의 성능 평가)

  • 이병숙;김진호
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.10c
    • /
    • pp.193-195
    • /
    • 2002
  • 데이터 웨어하우스는 효과적인 질의와 분석을 위해 물리적으로 여러 사이트에 분산된 소스 데이터로부터 통합된 정보를 추출하여 저장한 데이터 저장소로써, 실체 뷰의 집합으로 구성된다. 따라서 데이터 소스에 변경 사항이 발생하면 데이터 웨어하우스와 일관성을 유지하기 위해 실체 뷰에도 변경 사항을 반영하는 뷰 관리가 필요하다. 동시에 변경되는 여러 데이터 소스와 뷰의 상태 사이에 일관성을 보장하기 위해서는 각 소스의 변경 사항을 순서대로 뷰에 반영해야 한다. 이때 각 소스의 변경 사항을 뷰 정의와 관련된 다른 소스들과 조인을 수행해야 하는 등 뷰 갱신을 위해 많은 비용이 소요된다. PSWEEP/RI 기법은 이러한 뷰 갱신 비용을 줄이는 방법으로 뷰의 일관성을 보장하기 위해 수행해야 하는 서브질의를 참조 무결성 제약조건의 특성을 이용하여 병렬로 처리하는 방법이다. 본 논문에서는 PSWEEP/RI기법의 성능을 평가하기 위하여 이 방법의 비용 모델을 분석적으로 제시하였으며, 이 모델을 기반으로 다른 기존의 방법(SWEEP)과 성능을 비교 분석하여, PSWEEP/RI 기법이 다른 기존의 방법(SWEEP)보다 여러 소스 릴레이션의 조인으로 구성된 실체 뷰를 갱신하는 시간을 크게 단축하여 효율적으로 뷰를 관리하며, 소스의 증가에 따른 뷰 갱신 시간의 증가를 줄일 수 있음을 보였다.

  • PDF

The Materialized View Storage Method in a Data Warehouse using Database Cluster (데이터베이스 클러스터 기반의 데이터 웨어하우스에서 실체화 뷰 저장 기법)

  • 최준호;장용일;박순영;배해영
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.04b
    • /
    • pp.106-108
    • /
    • 2004
  • 데이터 웨어하우스는 OLAP의 질의 처리 성능을 놓이고 사용자에게 빠른 응답을 제공하기 위긴 데이터 큐브의 결과를 실체화된 뷰로 저장한다. 최적의 사용자 응답 시간을 제공하기 위해서는 데이터 큐브의 전체를 저장하는 것이 졸지만 실체화 뷰는 일반적으로 물리적 저장소에 저장되기 때문에 데이터 큐브 전체를 저장하는 것은 저장 공간의 오버헤드를 초래하는 문제점을 가진다. 본 논문에서는 데이터베이스 클러스터에 대용량의 실제화 부를 저장하는 기법을 제안한다. 제안하는 기법은 실체화 뷰의 선택 기준으로 부의 실체화 이익과 뷰들 간의 의존성을 데이터베이스 클러스터 환경에 맞게 제시하고 선택 기준에 따라 실체화 뷰를 서로 다른 노드에 저장함으로서 각 노드들의 실체화 이익을 균등하게 유지한다. 이는 질의가 하나의 노드에 집중되는 현상을 방지함으로서 각 노드의 효율성을 최대로 높일 수 있는 기법이다.

  • PDF

Study on the Current Status of Data Science Curriculum in Library and Information Science and its Direction (문헌정보학과의 데이터 사이언스 커리큘럼 개발 실태와 방향성 고찰)

  • Kang, Ji Hei
    • Journal of Korean Library and Information Science Society
    • /
    • v.47 no.3
    • /
    • pp.343-363
    • /
    • 2016
  • This study determines 69 iSchools provided which data science curriculum, and presents the direction for Korean LIS schools. It is certain that iSchools extend their subject territory including areas related to health, technology and biotechnology. However, this phenomenon is not actively observed in Korea. iSchools also focus on the area about how to process and manage data. iSchools, in deed, offer courses regarding data science, data management and data security. The 'database' was a higher proportion of 'data warehouse' curriculum, and, 'data statistic and analysis' curriculum are forming similar portion. As a result of analysis of the iSchool's curriculum and comparison with Korean curriculum, this study suggests: the expansion of LIS curriculum related to data science; the enhanced role of the data translational data science; development of curriculum to raise the mathematical analysis capabilities, development of specialized curriculum and experimental classes; and support new knowledge skills to interact with technology.

A Meta Analysis of Innovation Diffusion Theory based on Behavioral Intention of Consumer (혁신확산이론 기반 소비자 행위의도에 관한 메타분석)

  • Nam, Soo-Tai;Kim, Do-Goan;Jin, Chan-Yong
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2017.10a
    • /
    • pp.140-141
    • /
    • 2017
  • Big data analysis, in the large amount of data stored as the data warehouse which it refers the process of discovering meaningful new correlations, patterns, trends and creating new values. Thus, Big data analysis is an effective analysis of various big data that exist all over the world such as social big data, machine to machine (M2M) sensor data, and corporate customer relationship management data. In the big data era, it has become more important to effectively analyze not only structured data that is well organized in the database, but also unstructured big data such as the internet, social network services, and explosively generated web documents, e-mails, and social data in mobile environments. By the way, a meta analysis refers to a statistical literature synthesis method from the quantitative results of many known empirical studies. We reviewed a total of 750 samples among 50 studies published on the topic related as IDT between 2000 and 2017 in Korea.

  • PDF

Construction of Integrated Agricultural Statistical System Architecture for Effective Policy (농업정책 실효성 증대를 위한 농업통계시스템 아키텍처 구축)

  • Lee, Min-Soo;Chae, Young-Chan;Hong, Hee-Yeon;Kim, Sang-Ho;Kim, Jeong-Seop
    • Journal of Korean Society of Rural Planning
    • /
    • v.11 no.4 s.29
    • /
    • pp.75-91
    • /
    • 2005
  • This study designs an integrated data architecture to systematically manage the agricultural statistics database. Managing the agricultural statistics is important since it provides data for policies and decision making for agribusinesses. Ministry of Agriculture and the National Statistical Office collect the basic agricultural statistic data which provides the basis of logical decision making and agricultural policies. However, the agricultural statistic data has not well been used. The data has not been consistently collected nor managed. The raw data has not been organized nor processed to meet various demands. The needs has been arisen for a consistent agricultural statistics system to increase the relevance, accessibility, and efficiency of data for various users. There are massive amount of data accumulated over a long time period. Introducing the new system and reorganizing the data will bear large risks. A systematic method is required to reduce the risks in planing, building, and maintaining the database without hindering administration. This study provides a design of the agricultural statistics system architecture based on the user requirement analysis (URA) and similar systems abroad. We have also build a prototype to check the implementability of the system design.

Development of Integrated Retrieval System of the Biology Sequence Database Using Web Service (웹 서비스를 이용한 바이오 서열 정보 데이터베이스 및 통합 검색 시스템 개발)

  • Lee, Su-Jung;Yong, Hwan-Seung
    • The KIPS Transactions:PartD
    • /
    • v.11D no.4
    • /
    • pp.755-764
    • /
    • 2004
  • Recently, the rapid development of biotechnology brings the explosion of biological data and biological data host. Moreover, these data are highly distributed and heterogeneous, reflecting the distribution and heterogeneity of the Molecular Biology research community. As a consequence, the integration and interoperability of molecular biology databases are issue of considerable importance. But, up to now, most of the integrated systems such as link based system, data warehouse based system have many problems which are keeping the data up to date when the schema and data of the data source are changed. For this reason, the integrated system using web service technology that allow biological data to be fully exploited have been proposed. In this paper, we built the integrated system if the bio sequence information bated on the web service technology. The developed system allows users to get data with many format such as BSML, GenBank, Fasta to traverse disparate data resources. Also, it has better retrieval performance because the retrieval modules of the external database proceed in parallel.

SPEC: Space Efficient Cubes for Data Warehouses (SPEC : 데이타 웨어하우스를 위한 저장 공간 효율적인 큐브)

  • Chun Seok-Ju;Lee Seok-Lyong;Kang Heum-Geun;Chung Chin-Wan
    • Journal of KIISE:Databases
    • /
    • v.32 no.1
    • /
    • pp.1-11
    • /
    • 2005
  • An aggregation query computes aggregate information over a data cube in the query range specified by a user Existing methods based on the prefix-sum approach use an additional cube called the prefix-sum cube(PC), to store the cumulative sums of data, causing a high space overhead. This space overhead not only leads to extra costs for storage devices, but also causes additional propagations of updates and longer access time on physical devices. In this paper, we propose a new prefix-sum cube called 'SPEC' which drastically reduces the space of the PC in a large data warehouse. The SPEC decreases the update propagation caused by the dependency between values in cells of the PC. We develop an effective algorithm which finds dense sub-cubes from a large data cube. We perform an extensive experiment with respect to various dimensions of the data cube and query sizes, and examine the effectiveness and performance ot our proposed method. Experimental results show that the SPEC significantly reduces the space of the PC while maintaining a reasonable query performance.