• Title/Summary/Keyword: 중복데이터

Search Result 1,023, Processing Time 0.031 seconds

De-Duplication Performance Test for Massive Data (대용량 데이터의 중복제거(De-Duplication) 성능 실험)

  • Lee, Choelmin;Kim, Jai-Hoon;Kim, Young Gyu
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.11a
    • /
    • pp.271-273
    • /
    • 2012
  • 중복 제거(De-duplication) 여러 데이터를 저장한 스토리지에서 같은 내용을 담고 있는 파일자체나 블록단위의 chunk 등을 찾아 중복된 내용을 제거하여 중복된 부분은 하나의 데이터 단위를 유지함으로써 스토리지 공간을 절약할 수 있다. 본 논문에서는 실험적인 데이터가 아닌 실제 업무 환경에서 적용될만한 대용량의 데이터 백업을 가정한 상황에 대해 중복 제거 기법을 테스트해봄으로써 중복제거율과 성능을 측정하였으며 이를 시각적으로 표현하는 방법을 제안함으로써 평가자 및 사용자가 알아보기 쉽게 하였다.

Efficient Deduplication Scheme on Fixed-length Chunking System Using File Similarity Information (파일유사도 정보를 이용한 고정 분할 기반 중복 제거 기법)

  • Moon, Young Chan;Jung, Ho Min;Ko, Young Woong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.04a
    • /
    • pp.202-205
    • /
    • 2012
  • 기존의 고정 길이 분할 (FLC: Fixed Length Chunking) 중복 제거 기법은 파일이 조금이라도 수정이 되면 수정된 블록에 대한 해시 정보가 달라져 중복 데이터 임에도 불구하고 중복 블록으로 검색이 되지 않는 문제점이 있다. 본 연구에서는 FLC 기반의 중복 제거 기법에 데이터 위치(offset) 정보를 활용하여 중복 블록을 효율적으로 찾아냄으로써 기존의 FLC 기반의 중복 제거 기법보다 더 좋은 성능을 발휘하는 유사도 정보를 활용하는 중복 제거 기법(FS_FLC: File Similarity based Fixed Length Chunking)을 설계하고 구현했다. 실험 결과 제안한 알고리즘은 낮은 오버헤드로 가변 분할 기법(VLC: Variable Length Chunking)만큼의 높은 중복 데이터 탐색 성능을 보여주었다.

A Secure and Practical Encrypted Data De-duplication with Proof of Ownership in Cloud Storage (클라우드 스토리지 상에서 안전하고 실용적인 암호데이터 중복제거와 소유권 증명 기술)

  • Park, Cheolhee;Hong, Dowon;Seo, Changho
    • Journal of KIISE
    • /
    • v.43 no.10
    • /
    • pp.1165-1172
    • /
    • 2016
  • In cloud storage environment, deduplication enables efficient use of the storage. Also, in order to save network bandwidth, cloud storage service provider has introduced client-side deduplication. Cloud storage service users want to upload encrypted data to ensure confidentiality. However, common encryption method cannot be combined with deduplication, because each user uses a different private key. Also, client-side deduplication can be vulnerable to security threats because file tag replaces the entire file. Recently, proof of ownership schemes have suggested to remedy the vulnerabilities of client-side deduplication. Nevertheless, client-side deduplication over encrypted data still causes problems in efficiency and security. In this paper, we propose a secure and practical client-side encrypted data deduplication scheme that has resilience to brute force attack and performs proof of ownership over encrypted data.

Using Data Deduplication In A Cloud Environment, Efficient Data Synchronization Algorithm Design (클라우드 환경에서 데이터 중복제거를 활용한 효율적인 데이터 동기화 알고리즘 설계)

  • Lim, Kwang-Soo;Park, Suk-chun;Kim, Young-Hee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.04a
    • /
    • pp.626-628
    • /
    • 2015
  • 빅 데이터의 시대가 도래 하면서 데이터의 양이 기하급수적으로 증가 하고 있으며, 이에 따라 데이터를 효율적으로 처리하는 기술의 중요성이 부각 되고 있다. 데이터를 효율적으로 처리하기 위한 기술 중 하나인, 데이터 중복제거 기술은 저장 시스템 공간을 효율적으로 사용 할 수 있게 할 뿐만 아니라, 네트워크 환경에서 전송되는 데이터의 양도 획기적으로 줄여 주어 통신비용을 절감하게 한다. 기존의 데이터 중복제거 기술과 데이터 동기화 기법을 분석하고, 이를 바탕으로 클라우드 환경에서 데이터 중복제거를 통한 효율적인 데이터 동기화 기법을 제안하고자 한다.

Efficient Storage Management Scheme for Graph Historical Retrieval (그래프 이력 데이터 접근을 위한 효과적인 저장 관리 기법)

  • Kim, Gihoon;Kim, Ina;Choi, Dojin;Kim, Minsoo;Bok, Kyoungsoo;Yoo, Jaesoo
    • The Journal of the Korea Contents Association
    • /
    • v.18 no.2
    • /
    • pp.438-449
    • /
    • 2018
  • Recently, various graph data have been utilized in various fields such as social networks and citation networks. As the graph changes dynamically over time, it is necessary to manage the graph historical data for tracking changes and retrieving point-in-time graphs. Most historical data changes partially according to time, so unchanged data is stored redundantly when data is stored in units of time. In this paper, we propose a graph history storage management method to minimize the redundant storage of time graphs. The proposed method continuously detects the change of the graph and stores the overlapping subgraph in intersection snapshot. Intersection snapshots are connected by a number of delta snapshots to maintain change data over time. It improves space efficiency by collectively managing overlapping data stored in intersection snapshots. We also linked intersection snapshots and delta snapshots to retrieval the graph at that point in time. Various performance evaluations are performed to show the superiority of the proposed scheme.

Survey on the Key Generation of the Convergent Encryption for Deduplication in Cloud Computing (클라우드 컴퓨팅에서 중복제거를 위한 수렴 암호화 키 생성에 관한 연구)

  • Seong, Ki-Woong;Lee, Byung-Do;Park, Hyo-min;Shin, Sang UK
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.730-732
    • /
    • 2015
  • 데이터 중복 제거 기술은 클라우드 스토리지에 저장되어 있는 중복된 데이터들 중에 하나의 데이터만 저장하는 기술로, 클라우드 스토리지 서비스에서 저장효율을 높이기 위한 핵심적인 기술 중 하나이다. 하지만 아웃소싱된 데이터가 암호화가 되지 않으면 기밀성을 유지하지 못해 프라이버시에 큰 영향을 끼치게 된다. 데이터를 암호화하여 아웃소싱하는 경우에는 암호문의 특성으로 인해 중복 제거 기술이 적용하기 힘든 단점을 가지고 있으며 이를 위해 수렴 암호화를 사용한다. 본 논문에서는 수렴 암호화로 암호화된 데이터에 대해 중복제거 기술을 적용하는 여러 제안모델을 분석하고, 개선방안을 제시한다.

Relocation Strategy for an Efficient Management of Replicated Data on Mobile Computing (모바일 컴퓨팅상에서 중복데이터의 효율적 관리를 위한 재배치 전략)

  • Lee, Byung-Kwan;Oh, Am-Suk;Jeong, Eun-Hee
    • Journal of Korea Multimedia Society
    • /
    • v.7 no.5
    • /
    • pp.689-697
    • /
    • 2004
  • Rapid advances in mobile computing and the availability of wireless communications will soon provide mobile users with the ability to access data regardless of the location of the user or of the data. SRA(Static Replica Allocation) that is traditional scheme has been used for the replication method on the server. This replicates the data on the replica server after a moving host has been transferred to the cell. This strategy is simple and can easily relocate data. However, if a mobile user does not exist in the cell, the replicated data can be deleted in order to maintain data consistency. In addition to, if the mobile host leaves from replicated cell, it is difficult to access data in terms of replication route. Therefore, this paper proposes a new method of relocation based on data consistency strategy called USRAC(User Selection Replica Allocation based on Consistency) and also analyzes access cost according to the moving rate of mobile users, according to the access rate of mobile hosts, and according to the number of cells of mobile users and mobile hosts.

  • PDF

Duplicate Video Packet Transmission for Packet Loss-resilience (패킷 손실에 강인한 중복 비디오 패킷 전송 기법)

  • Seo Man-keon;Jeong Yo-won;Seo Kwang-deok;Kim Jae-Kyoon
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.30 no.8C
    • /
    • pp.810-823
    • /
    • 2005
  • The transmission of duplicate packets provides a great loss-resilience without undue time-delay in the video transmission over packet loss networks. But this method generally deteriorates the problem of traffic congestion because of the increased bit-rate required for duplicate transmission. In this paper, we propose an efficient packetization and duplicate transmission of video packets. The proposed method transmits only the video signal with high priority for each video macroblock that is quite small in volume but very important for the reconstruction of the video. The proposed method significantly reduces the required bit-rate for duplicate transmission. An efficient packetization method is also proposed to reduce additional packet overhead which is required for transmitting the duplicate data. The duplicated high priority data of the Previous video slice is transmitted as a Piggyback to the data Packet of the current video slice. It is shown by simulations that the proposed method remarkably improves the packet loss-resilience for video transmission only with small increase of redundant duplicated data for each slice.

Study on CCTV Data De-duplication in Cloud Storage Environments (클라우드 스토리지 환경에서의 CCTV 데이터 중복제거 수행 기술 연구)

  • Kim, Won-Bin;Lee, Im-Yeong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.05a
    • /
    • pp.172-173
    • /
    • 2018
  • CCTV 기술은 실시간으로 영상을 수집하여 저장소에 보관하는 기술을 의미한다. 이러한 환경에서 데이터 저장소의 가용성은 매우 중요하다. 데이터가 축적될수록 스토리지 공간의 확장은 매우 중요해지며, 이를 위해 최근에는 클라우드 스토리지를 이용하여 저장 공간을 비교적 수월하게 확장하고 이용할 수 있는 환경이 제시되고 있다. 하지만 이러한 환경에서도 데이터의 지속된 저장은 저장 공간의 추가 이용을 위한 비용의 증가로 직결되기 때문에 데이터를 효율적으로 저장하기 위한 방안의 논의되었다. 데이터 중복제거 기술은 이러한 기술 중 하나로 데이터의 중복된 저장을 방지하여 스토리지 공간을 보다 효율적으로 이용할 수 있도록 하는 기술이다. 하지만 CCTV 환경에 클라우드 스토리지와 데이터 중복제거 기술을 적용하면서 추가적인 보안 이슈가 발생하였다. 따라서 본 연구에서는 이러한 문제를 해결하기 위한 연구를 수행하며, 이를 통해 보다 효율적인 데이터 저장을 수행하는 동시에 안전하게 데이터를 보관하는 방법을 제안한다.

Indexing method with deduplication for efficient RDF data retrieving (효율적인 RDF 데이터 검색을 위한 중복 제거 색인 방법)

  • Jang, Hyeonggyu;Bang, Sungho;Oh, Sangyoon
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2020.01a
    • /
    • pp.61-62
    • /
    • 2020
  • RDF의 활용이 증가하면서 RDF데이터를 저장하는 방법 또한 많은 연구가 이루어졌다. 그래프 형태인 RDF 데이터를 테이블로 바꿀 때, 동일한 데이터가 중복 저장되어 검색 시 불필요한 연산을 하는 문제점이 발생한다. 본 논문에서는 중복저장 및 불필요한 검색을 줄이기 위해 색인을 주어(S), 목적어(O) 색인과 이들의 중복 값을 별도의 색인을 만들고, 검색 시 중복 값을 확인하여 필요한 색인만 검색하는 기법을 제안한다. 실험에서 본 기법을 사용하여 불필요한 검색을 줄여서 전체적인 검색 시간이 줄어드는 것을 확인하였다.

  • PDF