• Title/Summary/Keyword: 중복 데이터

Search Result 1,018, Processing Time 0.027 seconds

A Heterogeneous Mobile Data Synchronization Technique Using the Tuple Based Message Digest (튜플 단위 메시지 다이제스트를 이용한 이기종 모바일 데이터 동기화 기법)

  • Park, Seong-Jin
    • Journal of Internet Computing and Services
    • /
    • v.7 no.5
    • /
    • pp.1-12
    • /
    • 2006
  • In mobile database environments, the efficient synchronization technique is required to maintain the consistency of replicated data because the same data can be replicated between so many different databases, In this paper, we propose a message digest based synchronization technique to maintain the consistency of replicated data between client databases and a server database in mobile environments. The proposed data synchronization technique has the advantage of generality aspect and extensibility aspect by using the tuple-based message digest output to detect the data conflicts.

  • PDF

Management Strategy of Hotspot Temporal Data using Minimum Overlap (최소 중복을 이용한 Hotspot 시간 데이터의 관리)

  • Kang, Ji-Hyung;Yun, Hong-Won
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • v.9 no.1
    • /
    • pp.196-199
    • /
    • 2005
  • We propose a strategy to manage temporal data which are occurred on scientific applications. Firstly, We define LB and RB to separate temporal data, and entity versions to be stored in past, current, future segments. Also, We describe an algorithm to migrate temporal data with hotspot distribution among segments. The performance evaluation of average response time and space utilization is conducted. Average response time between two methods is similar, and spare is saved in proposed method.

  • PDF

File Synchronization System Using Multi-Level Metadata Management (다단계 메타데이터 관리를 사용한 파일 동기화 시스템)

  • Kong, Jin-San;Park, Jae-Min;Ko, Young-Woong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.05a
    • /
    • pp.79-82
    • /
    • 2013
  • 현재 널리 사용되는 클라우드 스토리지 서비스들의 파일 동기화 기능에 있어 적게 변경된 파일 또는 이름만 변경된 파일에 있어 동기화 시 전체를 전송하는 문제가 있다. 또한 사용자들 간 동일한 파일이 존재함에도 불구하고 전체를 전송하는 문제가 있다. 이러한 문제를 해결하기 위해 본 연구에서는 이중 레벨 메타데이터를 사용한 중복 제거 동기화 시스템을 구현하였다. 주요 아이디어는 VLC(Variable-length Chunking)를 사용하여 중복되지 않은 데이터만 전송하며 서버는 글로벌 메타데이터를 유지하여 사용자 간 중복된 데이터를 검출하는 것이다. 실험 결과로 부분 추가/삭제된 파일 전송 시 제안한 시스템이 네트워크 대역폭과 시간을 감소시키는 것을 보였다.

Information Dispersal Algorithm and Proof of Ownership for Data Deduplication in Dispersed Storage Systems (분산 스토리지 시스템에서 데이터 중복제거를 위한 정보분산 알고리즘 및 소유권 증명 기법)

  • Shin, Youngjoo
    • Journal of the Korea Institute of Information Security & Cryptology
    • /
    • v.25 no.1
    • /
    • pp.155-164
    • /
    • 2015
  • Information dispersal algorithm guarantees high availability and confidentiality for data and is one of the useful solutions for faulty and untrusted dispersed storage systems such as cloud storages. As the amount of data stored in storage systems increases, data deduplication which allows to save IT resources is now being considered as the most promising technology. Hence, it is necessary to study on an information dispersal algorithm that supports data deduplication. In this paper, we propose an information dispersal algorithm and proof of ownership for client-side data deduplication in the dispersed storage systems. The proposed solutions allow to save the network bandwidth as well as the storage space while giving robust security guarantee against untrusted storage servers and malicious clients.

Data prediction Strategy for Sensor Network Clustering Scheme (센서 네트워크 클러스터링 기법의 데이터 예측 전략)

  • Choi, Dong-Min;Shen, Jian;Moh, Sang-Man;Chung, Il-Yong
    • Journal of Korea Multimedia Society
    • /
    • v.14 no.9
    • /
    • pp.1138-1151
    • /
    • 2011
  • Sensor network clustering scheme is an efficient method that prolongs network lifetime. However, when it is applied to an environment in which collected data of the sensor nodes easily overlap, sensor node unnecessarily consumes energy. Accordingly, we proposed a data prediction scheme that sensor node can predict current data to exclude redundant data transmission and to minimize data transmission among the cluster head node and member nodes. Our scheme excludes redundant data collection by neighbor nodes. Thus it is possible that energy efficient data transmission. Moreover, to alleviate unnecessary data transmission, we introduce data prediction graph whether transmit or not through analyze between prediction and current data. According to the result of performance analysis, our method consume less energy than the existing clustering method. Nevertheless, transmission efficiency and data accuracy is increased. Consequently, network lifetime is prolonged.

Data Backup System Exploiting De-duplication TAR Scheme (중복제거 TAR 기법을 적용한 백업 시스템)

  • Kang, Sung-Woon;Jung, Ho-Min;Lee, Jeong-Gun;Ko, Young-Woong
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2011.06a
    • /
    • pp.539-542
    • /
    • 2011
  • TAR와 같은 아카이브 포맷에는 파일 중복을 제거하는 기능이 포함되어 있지 않아서 리눅스 배포 미러와 같이 버전단위로 저장되는 시스템에서 디스크 공간의 낭비가 발생하였다. 본 연구에서는 파일 중복 제거 기능을 추가한 TAR형태의 압축 포맷인 DTAR와 이를 제어하는 DTM 유틸리티를 제안하였다. 주요 아이디어는 클라이언트에서 DTAR 생성 시, 헤더에 SHA1 해시 정보를 추가하여 DTM 유틸리티를 통해 SHA1 해시를 노드로 하는 R-B Tree를 생성하고 이를 서버에 저장된 해시 정보와 비교하여 DTAR내에서 중복이 없는 파일을 선택적으로 파일을 압축하고 서버로 백업하고 관리하는 것이다. 실험 결과 DTM을 통한 백업은 중복 데이터가 누적될수록 DTAR가 tar.gz보다 공간적인 측면이나 백업을 위한 데이터 패킷 전송 시간에서 크게 향상된 성능을 보였다.

Chunk Placement Scheme on Distributed File System Using Deduplication File System (중복제거 파일 시스템을 적용한 분산 파일 시스템에서의 청크 배치 기법)

  • Kim, Keonwoo;Kim, Jeehong;Eom, Young Ik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.05a
    • /
    • pp.68-70
    • /
    • 2013
  • 대량의 데이터를 효과적으로 저장하고 관리하기 위해서 클라우드 스토리지 시스템에서는 분산 파일 시스템 기술이 이용되고 있다. 그러나 데이터가 증가함에 따라 분산 파일 시스템을 이용함에도 스토리지 확장 비용이 증가하게 된다. 본 논문에서는 분산 파일 시스템의 스토리지 확장 비용을 줄이기 위해서 우리는 중복제거 파일 시스템을 적용한 분산 파일 시스템에서의 청크 배치 기법을 제안한다. 오픈 소스 기반의 분산 파일 시스템인 MooseFS 에 중복제거 파일 시스템인 lessfs 를 적용함으로써 스토리지의 가용공간을 늘릴 수 있으며, 이는 스토리지 확장 비용을 줄이는 효과를 가져온다. 또한, 동일한 청크는 같은 청크 서버에 배치 시킴으로써 중복제거 기회를 높인다. 실험을 통해서 제안 시스템의 중복제거량과 성능에 대해서 평가한다.

Data Aggregation for Query Optimization Based on Ocean Sensor Network Architecture (해양 센서 네트워크 아키텍쳐 중심의 질의 최적화를 위한 데이터 병합 기법)

  • Kim, Hae-Jung;Ji, Kyoung-Bok;Kim, Chang-Hwa;Kim, Sang-Kyung;Park, Chan-Jung
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.10d
    • /
    • pp.215-220
    • /
    • 2007
  • 최근 센서 네트워크에서 에너지 효율성을 위한 다양한 연구가 진행 중이다. 특히 센서 노드의 저전력을 위해서는 센서 네트워크에서 전송되는 데이터의 횟수나 전송량을 최소한으로 줄이면서 효율적이면서 신뢰성을 가지는 질의에 대한 결과를 얻을 수 있어야 한다. 본 연구에서는 해양 센서 네트워크 상에서 데이터의 전송량을 줄일 수 있는 SDMTree(Sensing Data Management Tree)를 제안한다. 제안된 SDMTree는 질의 최적화를 위해 질의 처리기 구성 요소로 도입 가능하다. 해양 센서 네트워크에서 in-network 각 4레벨에서 하위 노드로부터 받은 데이터를 병합, 관리하기 위한 방법으로 데이터를 속성별로 구분하여 중복된 데이터를 제거하여 트리형태로 구성되기 때문에 질의에 대한 응답에 해당하는 데이터 검색시 정확하고 신속하게 처리할 수 있으며, 트리 구성 또한 중복 데이터 및 중복 영역을 배제하여 구성되므로, 상위노드가 하위 노드로부터 센싱 데이터를 수집하여 저장하기 위한 에너지와 상위 노드에서 하위 노드로 질의를 전송시 질의에 해당하는 특정 영역에만 질의를 전송할 수 있기 때문에 데이터 저장 및 통신에 소모되는 불필요한 에너지를 최대한 줄일 수 있다.

  • PDF

Design and Implementation of SANique Smart Vault Backup System for Massive Data Services (대용량 데이터 서비스를 위한 SANique Smart Vault 백업 시스템의 설계 및 구현)

  • Lee, Kyu Woong
    • The Journal of Korean Association of Computer Education
    • /
    • v.17 no.2
    • /
    • pp.97-106
    • /
    • 2014
  • There is a lot of interest in the data storage and backup systems according to increasing the data intensive services and related user's data. The overhead of backup performance in massive storage system is a critical issue because the traditional incremental backup strategies causes the time consuming bottleneck in the SAN environment. The SANique Smart Vault system is a high performance backup solution with data de-duplication technology and it guarantees these requirements. In this paper, we describe the architecture of SANique Smart Vault system and illustrate efficient delta incremental backup method based on journaling files. We also present the record-level data de-duplication method in our proposed backup system. The proposed forever incremental backup and data de-duplication algorithms are analyzed and investigated by performance evaluation of other commercial backup solutions.

  • PDF

Analysis and Measurement of Data Broadcast Schemes on Error Prone Wireless Link for Resilient Mobile Computing (무선통신 장애를 고려한 indexing broadcast 기법의 성능분석)

  • 정의종;김재훈
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04a
    • /
    • pp.262-264
    • /
    • 2000
  • 현재의 이동 컴퓨팅 환경은 더욱 보편화되고 있다. 그러나 베터리의 제약과 이동통신망의 높은 장애율로 사용에 불편을 느낀다. 여러 mobile client는 공통 관심이 있는 데이터를 서버로부터 받는 방법으로 broadcasting을 많이 쓰는데, 이때 indexing 기법을 이용해 클라이언트는 원하는 데이터를 filtering 해서 수신함으로서 에너지의 효율적 사용을 기할 수 있다. index를 중복시킴으로서 원하는 데이터의 access 시간을 줄이고 무선 통신망의 장애에 따른 성능 저하를 줄일 수 있다. 본 논문에서는 장애율에 따른 최적의 중복회수를 구하고 데이터 수신시 access 시간과 tuning 시간을 구한다.

  • PDF