• 제목/요약/키워드: 압축 데이터 관리 시스템

검색결과 98건 처리시간 0.024초

모바일 DBMS를 위한 압축 데이터 관리 시스템의 기능 고도화 (Functional Improvement of the Compressed Data Management System for Mobile DBMS)

  • 황진호;이정화;김건우;신영재;손진현
    • 정보처리학회논문지D
    • /
    • 제15D권6호
    • /
    • pp.733-740
    • /
    • 2008
  • 최근 정보의 디지털화와 휴대용 정보기기의 보편화로 휴대용 정보기기가 업무처리의 중요한 수단이 되었고 처리해야하는 정보의 양 또한 증가하고 있다. 이러한 휴대용 정보기기에서 무수한 디지털 정보를 효과적으로 처리하기 위해 휴대용 정보기기에 적합한 모바일 DBMS의 사용이 요구된다. 또한 휴대용 정보기기에서 데이터 저장장치로서 보편적으로 사용되는 플래시 메모리는 기존의 하드디스크에 비해 저장 비용이 높아 데이터 저장에 있어 공간적 제약을 받으며, 데이터 I/O에 따른 수명을 가짐으로서 사용성에 제약을 받는다. 이러한 이유로 플래시 메모리를 저장매체로 사용하는 DBMS가 보편적으로 사용할 수 있는 압축 데이터 관리 시스템이 연구되고 있다. 하지만 압축 데이터 관리 시스템의 연구는 초기 단계이며 몇 가지 문제점을 가지고 있다. 따라서 본 논문에서는 압축 데이터 관리 시스템의 문제점을 해결하고, 추가적인 관리방식을 제안하여 새로운 압축 데이터 관리 시스템을 제안한다.

모바일 압축 데이터 관리 시스템(CDMS)를 위한 데이터 가용 크기 변경 기법 (Technique about Data Capacity Adaptation for the Mobile Compressed Data Management System)

  • 장진근;신영재;이정화;손진현
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 가을 학술발표논문집 Vol.34 No.2 (C)
    • /
    • pp.107-112
    • /
    • 2007
  • 휴대용 정보기기는 정보의 디지털화로 인해 많아지고 있는 디지털 정보를 처리 및 저장해야 되는 상황이 되었다. 따라서 휴대용 정보기기에서는 무수한 디지털 정보를 효과적으로 관리하기 위해 모바일 DBMS을 사용하게 되었고, 저장장치로는 플래시 메모리를 사용하고 있다. 플래시 메모리는 일반 디스크보다 고비용이기 때문에 데이터를 보다 효율적으로 저장하기 위하여 압축 데이터 관리 시스템(CDMS)과 같은 압축을 사용한 관리도 사용되고 있다. 하지만 압축을 사용하여 저장공간을 효율적으로 사용하기 위한 CDMS의 연구는 데이터베이스 파일 크기를 고정하여 관리하였다. 하지만 이것은 실제사용에 있어서는 실용적이지 못하다. 따라서 본 논문에서는 이러한 CDMS를 보완하여 데이터베이스 파일 크기를 동적으로 변환하는 기법을 제시한다.

  • PDF

블록 단위 트랜잭션을 이용한 대용량 데이터의 실시간 저장관리기 (Real time Storage Manager to store very large datausing block transaction)

  • 백성하;이동욱;어상훈;정원일;김경배;오영환;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제10권2호
    • /
    • pp.1-12
    • /
    • 2008
  • 초당 최소 5만 건에서 50만 건이 넘는 삽입트랜잭션이 발생하는 반도체 자동 생산 공정 시스템은 대량의 데이터를 실시간으로 저장하는 저장관리시스템을 필요로 한다. 대용량의 데이터를 빠르고 안정적으로 저장하기 위해서 많은 저장관리시스템이 연구되었다. 기존의 저장관리시스템은 대표적으로 전형적인 디스크 기반 DBMS가 있다. 그러나 디스크 기반 DBMS는 초당 50만 건의 삽입트랜잭션 처리는 매우 어렵다. 그래서 디스크 기반 DBMS의 성능을 향상시키기 위해 데이터를 디스크가 아닌 메인메모리를사용하는 메인메모리 DBMS가 등장하였다. 그러나 메인메모리 DBMS는 메인메모리 용량의 한계로 인해 대용량 데이터를 저장하는 것은 어렵다. 본 논문에서는 초당 5만 건 이상의 삽입트랜잭션을 지원하고 대용량 데이터를 저비용으로 저장하기 위해 블록단위의 삽입 트랜잭션을 사용한 저장관리시스템을 제안한다. 블록단위의 삽입 트랜잭션은 개별 튜플 단위의 로그기록 비용과 인덱스 생성비용을 블록단위로 변경시켜 비용을 크게 감소시킬 수 있다. 또한 제안시스템은 데이터를 압축 저장하여 저장 비용을 감소시킬 수 있다. 그러나 압축기법은 데이터의 필드정보가 유실되어 모든 데이터의 압축을 해제하는 비용이 발생한다. 이 문제를 해결하기 위해 제안시스템은 압축 시 압축되는 블록의 인덱스를 생성하여 데이터 검색 속도를 향상시켰다. 본 제안시스템은 반도체 공정에서 빠르게 발생하는 대용량 데이터를 고속으로 저장할 수 있고, 디스크 저 장비용을 감소시킬 수 있다.

  • PDF

임베디드 DBMS에서 바이트패킹과 Lempel-Ziv 방법을 혼합한 무손실 벡터 데이터 압축 기법 (A Lossless Vector Data Compression Using the Hybrid Approach of BytePacking and Lempel-Ziv in Embedded DBMS)

  • 문경기;주용진;박수홍
    • Spatial Information Research
    • /
    • 제19권1호
    • /
    • pp.107-116
    • /
    • 2011
  • 최근 무선 인터넷 환경의 발달로 실시간 교통정보안내와 지도를 통해 목적지까지의 경로 안내를 해주는 차량 항법 서비스 등 공간 데이터를 활용한 위치기반서비스가 증가되고 있다. 하지만, 현재 시스템 환경에서는 대용량의 공간 데이터를 파일 시스템 기반으로 관리하기 때문에 실시간적인 데이터 저장과 관리측면에서 많은 제약을 가진다. 이를 보완하기 위해 임베디드 데이티베이스를 바탕으로 대용량의 공간 데이터를 구조적으로 관리할 수 있는 연구가 요구된다. 이에 본 연구는 임베디드 시스템에서 대용량의 공간 데이터의 효율적인 저장을 위해 데이터베이스에 적용 가능한 바이트패킹과 Lempel-Ziv 압축기법을 혼합 개선한 무손실 압축 기법을 제시하고자 하였다. 이렇게 제시된 공간 데이터 압축 기법을 실제 대도시권 데이터(서울 인천)에 적용하여 실험해 보고 농일 데이터에 대하여 실험을 통해 재구성이 되기까지의 질의 처리 시간을 분석을 통해 선행 연구에서 제시한 방법을 적용한 결과와 비교 하였다. 연구결과로 본 연구에서 제시된 압축 방법이 높은 위치 정확도를 요구하는 데이터에 대해 더 나은 성능을 보이는 것을 획인 할 수 있었다.

BPRAM을 이용한 NAND Flash 기반 파일 시스템에서의 효율적인 메타데이터 관리 기법 (Efficient Metadata Management Scheme in NAND Flash Based File System Using BPRAM)

  • 유진수;전태종;원유집
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(B)
    • /
    • pp.321-322
    • /
    • 2011
  • 차세대 저장매체로 각광받고 있는 BPRAM을 이용해, NAND Flash memory의 결점을 보완하고자 하는 많은 연구들이 진행되고 있다. 본 논문에서는 BPRAM과 NAND Flash를 이용하여, 계층적 스토리지에 사용하는 하이브리드 파일 시스템인 Compressing Metadata File System(CMFS)을 개발하였다. CMFS는 Mount time에 필요한 메타데이터를 BPRAM에 저장하여 마운트 시간을 줄이고, 메타데이터를 Update하기 위한 Overhead를 줄이기 위해 부분 갱신 기법을 개발하였다. 또한 메타데이터의 저장을 위해 필요한 BPRAM의 용량를 줄이기 위해 메타데이터를 경량화 및 압축하고, 압축률을 높이기 위해 Hybrid Coding 압축기법을 개발하여 적용한다. Marvel PXA320(806MHz) 보드를 이용하여 CMFS의 성능을 측정하였으며, 타 압축 기법보다 높은 메타데이터의 압축률을 보였다.

Design and Implementation of Map Databases for Telematics and Car Navigation Systems using an Embedded DBMS

  • Joo, Yong-Jin;Kim, Jung-Yeop;Lee, Yong-Ik;Moon, Kyung-Ky;Park, Soo-Hong
    • Spatial Information Research
    • /
    • 제14권4호
    • /
    • pp.379-389
    • /
    • 2006
  • 현재 차량 항법 서비스를 위한 데이터는 물리적인 저장형식(PSF : Physical Storage Format)에 따라 설계되어 대용량의 GIS 원시 데이터를 작은 용량으로 압축하고 빠른 매체 접근이 가능하도록 변환된 서비스용 지도 포맷을 제공한다. 하지만, 파일 시스템 기반의 복잡한 구조는 데이터 생성과 관리를 어렵게 하고 시스템 간 상호 호환성이 결여되는 문제점을 가진다. 이러한 문제를 해결하기 위해 최근 대두되고 있는 차량용 항법 시스템에서는 견고한 데이터 관리, 데이터의 동기화, 그리고 실시간 데이터 처리의 필요성 때문에 데이터베이스 시스템으로 공간 데이터 관리의 기능을 접목하려고 한다. 따라서, 본 연구에서는 차량 항법 서비스를 위한 데이터의 저장과 빠른 검색을 지원하는 차량용 Embedded DBMS 모듈을 개발하였다. 이를 위해 압축 기법, Multi-Link, 공간 인덱스, 공간분할을 적용하여 대용량의 공간 데이터를 효율적인 관리와 접근이 용이하도록 하였다. 또한, 어플리케이션에서의 데이터 검색과 표현에 필요한 API 개발을 하였다. 결과적으로, 개발된 Embedded DBMS는 적은 용량과 빠른 검색 구조인 PSF의 장점을 그대로 유지하면서 안정적인 데이터의 관리에 적합한 구조를 지원한다. 향후 DBMS모듈에 동기화 기법을 적용한다면 데이터의 현시성이 중요한 차량항법용 데이터의 유지관리 측면에서 강력한 데이터 관리가 용이한 Embedded DBMS의 장점을 더욱 활용할 수 있을 것으로 기대된다.

  • PDF

Mobile DBMS를 위한 효율적인 압축 데이터 관리 시스템 (Development of the Efficient Compressed Data Management System For Mobile DBMS)

  • 신영재;황진호;박정업;김학수;이승미;손진현
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (C)
    • /
    • pp.6-11
    • /
    • 2006
  • 최근 휴대용 정보기기 사용이 보편화되어지고 있는 가운데 정보의 디지털화로 인해 휴대용 정보기기에서 처리되어야 하는 정보가 무수히 많아지고 있다. 이로 인해 휴대용 정보기기에서는 정보들을 효과적으로 관리하기 위해 임베디드 DBMS의 사용이 요구되고 있다. 또한 휴대용 정보기기에서 보편적으로 사용되는 저장장치는 NAND형 플래시 메모리로 단위 공간당 비용이 기존의 하드디스크에 비해 수십배 가량 높아 저장 공간의 효율적인 관리가 요구되고 있다. 따라서 본 논문에서는 플래시메모리를 저장매체로 사용하는 DBMS에서 압축기법을 사용한 효율적인 데이터 관리 시스템을 제안한다. 제안되는 압축 기반 시스템은 저장 공간과 데이터I/O를 줄이며, 데이터I/O를 줄임으로써 DBMS의 성능향상과 플래시 메모리의 수명을 연장시키는 효과를 기대할 수 있다.

  • PDF

모바일 DBMS를 위한 효율적인 압축 데이터 동적 관리 시스템 (Development of the Efficient Compressed Data Dynamic Management System For Mobile DBMS)

  • 신영재;장진근;이정화;김학수;박찬희;손진현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 춘계학술발표대회
    • /
    • pp.42-45
    • /
    • 2007
  • 최근 사회는 정보의 디지털화로 인해 많은 디지털 정보들이 많아지고 있고, 또한 휴대용 정보기기의 발전으로 인해 휴대용 정보기기의 사용이 보편화 되었다. 이로 인해 휴대용 정보기기에서는 정보들을 효과적으로 관리하기 위해 임베디드 DBMS의 사용이 요구되고 있다. 또한 휴대용 정보기기에서 보편적으로 사용되는 저장장치는 NAND형 플래시 메모리로 단위 공간당 비용이 기존의 하드디스크에 비해 수십배 가량 높아 저장 공간의 효율적인 관리가 요구되고 있다. 따라서 본 논문에서는 플래시메모리를 저장매체로 사용하는 DBMS에서 압축기법을 사용한 효율적인 데이터 동적 관리 시스템을 제안한다. 제안되는 압축 기반 시스템은 저장 공간과 데이터I/O를 줄이며, 데이터I/O를 줄임으로써 DBMS의 성능향상과 플래시 메모리의 수명을 연장시키는 효과를 기대할 수 있다.

  • PDF

대용량 데이터스트림 실시간 압축 저장을 위한 저장관리자 설계 및 구현 (Design and Implementation of Storage Manager for Real-Time Compressed Storing of Large Volume Datastream)

  • 이동욱;백성하;김경배;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권3호
    • /
    • pp.31-39
    • /
    • 2009
  • 유비쿼터스 환경에서 발생하는 실시간 데이터스트림의 처리 및 관리에 대한 요구사항이 증가되고 있다. 특히 인터넷 보안, 공장 자동화 기기설비 관리 등에서 발생하는 데이터스트림은 대용량 데이터가 실시간으로 발생하는 특징을 가지고 있어 이를 처리하기 위한 특화된 DSMS의 저장관리자의 개발이 요구된다. Coral8과 같은 기존의 DSMS의 경우 일반적인 데이터스트림의 처리가 가능 하지만 초당 10만 건 이상의 대용량의 실시간 데이터스트림이 발생하는 특수한 상황의 경우 이에 대한 처리 성능이 부족하며, 이에 대한 저장이 불가능하다. 관련 분야에서 일반적으로 사용되는 오라클10g의 경우 저장, 관리 성능은 우수하지만 실시간 데이터스트림 처리에 대한 고려가 되어 있지 않다. 본 논문에서는 삼성전자, 하이닉스, HP 등에 반도체, LCD 제조공장의 생산 기계에서 발생하는 대용량 데이터스트림을 실시간 압축 저장이 가능한 DSMS 저장관리자를 설계 및 구현하였다. 본 문에서는 시스템의 구조 및 주요 컴포넌트에 대해 설명하며, 관련시스템과 비교 평가를 통해 제안 시스템의 우수성을 보인다.

  • PDF

가변 비트율 주문형 비디오 서버에서 자원 활용률을 높이기 위한 버퍼 관리 기법 (A Buffer Management Scheme to Maximize the Utilization of System Resources for Variable Bit Rate Video-On-Demand Servers)

  • 김순철
    • 한국산업정보학회논문지
    • /
    • 제9권3호
    • /
    • pp.1-10
    • /
    • 2004
  • 주문형 비디오 시스템에서 가변 비트율로 압축된 데이터들은 압축 대상이 되는 데이터의 내용 변화와 압축 기법의 특성으로 인해 단위 시간 당 처리해야 할 데이터 크기가 일정하지 않다. 그러나, 대부분의 주문형 비디오 서버들은 가변 비트율로 압축된 데이터를 실시간에 처리하기 위해 가변 데이터 크기의 최대값으로 시스템 자원을 예약하기 때문에 자원의 활용률이 떨어진다. 본 논문에서는 가변 비트율로 압축된 데이터를 예약할 때 선반입을 사용하여 서버의 사용자 수용 가능성을 극대화할 수 있음을 증명하고 이를 구현한 버퍼 관리 기법을 제안한다. 제안된 버퍼 관리 기법은 현실적으로 가능한 최대의 블록들을 사용 순서에 따라 버퍼에 반입한다 또한, 소비 시점이 먼 블록부터 반출하고 소비 시점이 가까운 블록부터 반입함으로써 비디오 서버의 자원 활용률을 최대화할 수 있다. 본 논문에서 제안한 버퍼 관리 기법의 효율성은 모의 실험을 통해 확인하였다.

  • PDF