• Title/Summary/Keyword: 중복제거

Search Result 550, Processing Time 0.03 seconds

Recycling Invalid Data Method for Improving I/O Performance in SSD Storage System (SSD 기반 스토리지 시스템에서 입출력 성능 향상을 위한 무효데이터 재활용 기법)

  • Kim, Ju-Kyeong;Lee, Seung-Kyu;Mehdi, Pirahandeh;Kim, Deok-Hwan
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06a
    • /
    • pp.230-232
    • /
    • 2012
  • SSD(Solid State Disk)는 다수의 플래시 메모리로 구성되며 기존의 하드디스크(HDD) 보다 데이터 전송 속도가 빠르고 강한 내구성, 저소음, 저전력의 장점을 가지고 있다. 하지만 제자리 덮어쓰기가 안되므로 SSD 공간에서 무효데이터가 차지하는 비중이 높아지며, 한 셀당 쓰기 및 삭제 횟수가 제한되어 있다는 단점이 있다. 본 논문에서는 무효데이터와 입력데이터의 중복성 검사를 통하여 무효데이터를 재활용하는 중복제거 기법을 제안한다. 무효데이터의 재활용과 중복제거를 통하여 SSD의 마모도 감소와 가비지컬렉션의 빈도를 낮춰서 I/O 속도의 향상을 기대할 수 있다. 실험을 통하여 무효데이터를 재활용 하는 경우와 유효데이터를 활용한 중복제거 방법의 성능을 비교하였다.

Study on CCTV Data De-duplication in Cloud Storage Environments (클라우드 스토리지 환경에서의 CCTV 데이터 중복제거 수행 기술 연구)

  • Kim, Won-Bin;Lee, Im-Yeong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.05a
    • /
    • pp.172-173
    • /
    • 2018
  • CCTV 기술은 실시간으로 영상을 수집하여 저장소에 보관하는 기술을 의미한다. 이러한 환경에서 데이터 저장소의 가용성은 매우 중요하다. 데이터가 축적될수록 스토리지 공간의 확장은 매우 중요해지며, 이를 위해 최근에는 클라우드 스토리지를 이용하여 저장 공간을 비교적 수월하게 확장하고 이용할 수 있는 환경이 제시되고 있다. 하지만 이러한 환경에서도 데이터의 지속된 저장은 저장 공간의 추가 이용을 위한 비용의 증가로 직결되기 때문에 데이터를 효율적으로 저장하기 위한 방안의 논의되었다. 데이터 중복제거 기술은 이러한 기술 중 하나로 데이터의 중복된 저장을 방지하여 스토리지 공간을 보다 효율적으로 이용할 수 있도록 하는 기술이다. 하지만 CCTV 환경에 클라우드 스토리지와 데이터 중복제거 기술을 적용하면서 추가적인 보안 이슈가 발생하였다. 따라서 본 연구에서는 이러한 문제를 해결하기 위한 연구를 수행하며, 이를 통해 보다 효율적인 데이터 저장을 수행하는 동시에 안전하게 데이터를 보관하는 방법을 제안한다.

Privacy Preserving Source Based Deduplication In Cloud Storage (클라우드 스토리지 상에서의 프라이버시 보존형 소스기반 중복데이터 제거기술)

  • Park, Cheolhee;Hong, Dowon;Seo, Changho;Chang, Ku-Young
    • Journal of the Korea Institute of Information Security & Cryptology
    • /
    • v.25 no.1
    • /
    • pp.123-132
    • /
    • 2015
  • In cloud storage, processing the duplicated data, namely deduplication, is necessary technology to save storage space. Users who store sensitive data in remote storage want data be encrypted. However Cloud storage server do not detect duplication of conventionally encrypted data. To solve this problem, Convergent Encryption has been proposed. But it inherently have weakness due to brute-force attack. On the other hand, to save storage space as well as save bandwidths, client-side deduplication have been applied. Recently, various client-side deduplication technology has been proposed. However, this propositions still cannot solve the security problem. In this paper, we suggest a secure source-based deduplication technology, which encrypt data to ensure the confidentiality of sensitive data and apply proofs of ownership protocol to control access to the data, from curious cloud server and malicious user.

Improving Efficiency of Encrypted Data Deduplication with SGX (SGX를 활용한 암호화된 데이터 중복제거의 효율성 개선)

  • Koo, Dongyoung
    • KIPS Transactions on Computer and Communication Systems
    • /
    • v.11 no.8
    • /
    • pp.259-268
    • /
    • 2022
  • With prosperous usage of cloud services to improve management efficiency due to the explosive increase in data volume, various cryptographic techniques are being applied in order to preserve data privacy. In spite of the vast computing resources of cloud systems, decrease in storage efficiency caused by redundancy of data outsourced from multiple users acts as a factor that significantly reduces service efficiency. Among several approaches on privacy-preserving data deduplication over encrypted data, in this paper, the research results for improving efficiency of encrypted data deduplication using trusted execution environment (TEE) published in the recent USENIX ATC are analysed in terms of security and efficiency of the participating entities. We present a way to improve the stability of a key-managing server by integrating it with individual clients, resulting in secure deduplication without independent key servers. The experimental results show that the communication efficiency of the proposed approach can be improved by about 30% with the effect of a distributed key server while providing robust security guarantees as the same level of the previous research.

Data Backup System Exploiting De-duplication TAR Scheme (중복제거 TAR 기법을 적용한 백업 시스템)

  • Kang, Sung-Woon;Jung, Ho-Min;Lee, Jeong-Gun;Ko, Young-Woong
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2011.06a
    • /
    • pp.539-542
    • /
    • 2011
  • TAR와 같은 아카이브 포맷에는 파일 중복을 제거하는 기능이 포함되어 있지 않아서 리눅스 배포 미러와 같이 버전단위로 저장되는 시스템에서 디스크 공간의 낭비가 발생하였다. 본 연구에서는 파일 중복 제거 기능을 추가한 TAR형태의 압축 포맷인 DTAR와 이를 제어하는 DTM 유틸리티를 제안하였다. 주요 아이디어는 클라이언트에서 DTAR 생성 시, 헤더에 SHA1 해시 정보를 추가하여 DTM 유틸리티를 통해 SHA1 해시를 노드로 하는 R-B Tree를 생성하고 이를 서버에 저장된 해시 정보와 비교하여 DTAR내에서 중복이 없는 파일을 선택적으로 파일을 압축하고 서버로 백업하고 관리하는 것이다. 실험 결과 DTM을 통한 백업은 중복 데이터가 누적될수록 DTAR가 tar.gz보다 공간적인 측면이나 백업을 위한 데이터 패킷 전송 시간에서 크게 향상된 성능을 보였다.

Information Dispersal Algorithm and Proof of Ownership for Data Deduplication in Dispersed Storage Systems (분산 스토리지 시스템에서 데이터 중복제거를 위한 정보분산 알고리즘 및 소유권 증명 기법)

  • Shin, Youngjoo
    • Journal of the Korea Institute of Information Security & Cryptology
    • /
    • v.25 no.1
    • /
    • pp.155-164
    • /
    • 2015
  • Information dispersal algorithm guarantees high availability and confidentiality for data and is one of the useful solutions for faulty and untrusted dispersed storage systems such as cloud storages. As the amount of data stored in storage systems increases, data deduplication which allows to save IT resources is now being considered as the most promising technology. Hence, it is necessary to study on an information dispersal algorithm that supports data deduplication. In this paper, we propose an information dispersal algorithm and proof of ownership for client-side data deduplication in the dispersed storage systems. The proposed solutions allow to save the network bandwidth as well as the storage space while giving robust security guarantee against untrusted storage servers and malicious clients.

CORE-Dedup: IO Extent Chunking based Deduplication using Content-Preserving Access Locality (CORE-Dedup: 내용보존 접근 지역성 활용한 IO 크기 분할 기반 중복제거)

  • Kim, Myung-Sik;Won, You-Jip
    • Journal of the Korea Society of Computer and Information
    • /
    • v.20 no.6
    • /
    • pp.59-76
    • /
    • 2015
  • Recent wide spread of embedded devices and technology growth of broadband communication has led to rapid increase in the volume of created and managed data. As a result, data centers have to increase the storage capacity cost-effectively to store the created data. Data deduplication is one way to save the storage space by removing redundant data. This work propose IO extent based deduplication schemes called CORE-Dedup that exploits content-preserving access locality. We acquire IO traces from block device layer in virtual machine host, and compare the deduplication performance of chunking method between the fixed size and IO extent based. At multiple workload of 10 user's compile in virtual machine environment, the result shows that 4 KB fixed size chunking and IO extent based chunking use chunk index 14500 and 1700, respectively. The deduplication rate account for 60.4% and 57.6% on fixed size and IO extent chunking, respectively.

Design and Implementation of Disk Archive System Exploiting De-duplication Scheme (데이터 중복 제거 기반의 디스크 아카이브 시스템 설계 및 구현)

  • Kang, Sung-Woon;Jung, Ho-Min;Ko, Young-Woong;Lee, Jeong-Gun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2011.04a
    • /
    • pp.204-206
    • /
    • 2011
  • 기존의 TAR와 같은 아카이브 포맷은 파일의 중복을 제거하는 기능이 포함되지 않아 리눅스 배포 미러와 같이 버전단위로 저장되는 시스템에서 디스크 공간의 낭비가 발생했다. 본 연구에서는 중복 제거 기능이 포함된 아카이브 포맷인 DTAR와 이를 지원하는 DTM 유틸리티를 제안하였다. 주요 아이디어는 DTAR 헤더에 SHA1 해시를 삽입하고 SHA1 해시를 노드로 하는 R-B Tree를 생성하여 중복을 검색 및 제거하는 것이다. 실험 결과 DTAR가 tar.gz보다 최대 31% 공간을 절약하고, 수행 시간도 줄어드는 것을 확인하여 효율적임을 보였다.

3D mesh compression using model segmentation and de-duplications (모델 분할 및 중복성 제거 기법을 이용한 3차원 메쉬 압축 기술)

  • Kim, Sungjei;Jeong, Jinwoo;Yoon, Ju Hong
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2020.11a
    • /
    • pp.190-191
    • /
    • 2020
  • 본 논문은 모델 분할 기법과 중복성 제거 기법을 통한 대용량 3차원 메쉬 모델의 고속 압축 기술에 관한 내용이다. 대용량 3차원 메쉬 모델의 비실시간 압축은 실시간 스트리밍 응용 시나리오에서 제약점으로 작용하고 있고, 본 논문에서는 인코딩 시간을 줄이기 위해 경량 메쉬 분할 방법을 통해 대용량 메쉬를 여러 개의 작은 메쉬로 분할하고, 각각의 분할된 메쉬를 병렬적으로 인코딩하여 처리 속도를 개선하였다. 또한, 메쉬 모델 내의 같은 기하학적 정보를 가진 중복된 정점들이 존재할 수 있으며, 중복된 정보를 제거하고 제거된 정점과 삼각형 표면 간의 연결 정보를 갱신하는 과정을 통해 메쉬 모델의 기하학적 정보를 유지하면서 압축 성능을 확보하였다.

  • PDF

Minimizing the Similarity of Multiple Continuous Queries for the Efficient Sensor Network Management (효율적인 센서 네트워크 관리를 위한 다중 연속 질의의 유사성 최소화)

  • 조명현;손진현
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.10b
    • /
    • pp.7-9
    • /
    • 2004
  • 센서 네트워크의 급속한 성장에 따라 센서 네트워크의 효율적 관리를 위한 다양한 연구가 진행 중이다. 특히, 센서의 저 전력을 위한 다양한 기술들이 개발되고 있다. 본 논문은 센서에 전해지는 다중 연속 질의의 중복 성을 제거함으로써, 센서 네트워크의 효율적 관리를 제공할 수 있는 방법을 제안한다. 다중 연속 질의는 두 가지 단계로 최적화가 이루어진다. 먼저, 다중 연속 질의의 시간 속성 중복을 제거하기 위해 B+tree를 이용해 그룹 핑된다. 그룹 핑된 다중 연속 질의들은 연관 속성의 중복 여부 판단을 통해, 중복 성을 제거하여 재구성 된다. 그러므로 재구성된 다중 연속 질의가 센서 노드에 전해지게 되면, 센서는 중복된 결과를 전송하지 않기 때문에 센서 노드의 불필요한 전력을 낭비하지 않게 된다.

  • PDF