• Title/Summary/Keyword: 중복 데이터

Search Result 1,019, Processing Time 0.028 seconds

Design of a 20 Gb/s CMOS Demultiplexer Using Redundant Multi-Valued Logic (중복 다치논리를 이용한 20 Gb/s CMOS 디멀티플렉서 설계)

  • Kim, Jeong-Beom
    • The KIPS Transactions:PartA
    • /
    • v.15A no.3
    • /
    • pp.135-140
    • /
    • 2008
  • This paper describes a high-speed CMOS demultiplexer using redundant multi-valued logic (RMVL). The proposed circuit receives serial binary data and is converted to parallel redundant multi-valued data using RMVL. The converted data are reconverted to parallel binary data. By the redundant multi-valued data conversion, the RMVL makes it possible to achieve higher operating speeds than that of a conventional binary logic. The implemented demultiplexer consists of eight integrators. Each integrator is composed of an accumulator, a window comparator, a decoder and a D flip flop. The demultiplexer is designed with TSMC $0.18{\mu}m$ standard CMOS process. The validity and effectiveness are verified through the HSPICE simulation. The demultiplexer is achieved the maximum data rate of 20 Gb/s and the average power consumption of 95.85 mW.

An Efficient Data Nigration/Replication Scheme in a Large Scale Multimedia Server (대규모 멀티미디어 서버에서 효율적인 데이터 이동/중복 기법)

  • Kim, Eun-Sam
    • Journal of the Korea Society of Computer and Information
    • /
    • v.14 no.5
    • /
    • pp.37-44
    • /
    • 2009
  • Recently, as the quality of multimedia data gets higher, multimedia servers require larger storage capacity and higher I/O bandwidth. In these large scale multimedia servers, the load-unbalance problem among disks due to the difference in access frequencies to multimedia objects according to their popularities significantly affects the system performance. To address this problem, many data replication schemes have been proposed. In this paper, we propose a novel data migration/replication scheme to provide better storage efficiency and performance than the dynamic data replication scheme which is typical data replication scheme employed in multimedia servers. This scheme can reduce the additional storage space required for replication, which is a major defect of replication schemes, by decreasing the number of copies per object. The scheme can also increase the number of concurrent users by increasing the caching effect due to the reduced lengths of the intervals among requests for each object.

Eliminating Redundant Data for Storage Efficiency on Distributed File Systems (저장 공간의 효율성을 위한 분산 파일 시스템의 중복 데이터 제거 기법)

  • Kim, Jung Hoon;Lim, ByoungHong;Eom, Young Ik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2009.11a
    • /
    • pp.111-112
    • /
    • 2009
  • 최근 IT 분야의 키워드 중 하나인 클라우드 컴퓨팅에서, 분산 파일 시스템의 선택은 대용량의 데이터를 관리하기 위해 매우 중요하다. 오픈소스 분산 파일 시스템 중 하나인 HDFS는 데이터의 효율적인 저장과 검색의 장점을 통해 최근 널리 사용되고 있다. HDFS는 데이터를 3단계 중복저장을 통해 신뢰성을 보장한다. 그러나 이러한 중복저장은 데이터 저장의 효율성 저하의 문제점을 갖고 있다. 따라서 본 논문에서는 MD5 해쉬 기술을 적용한 중복 데이터 제거 기법을 제안한다. 본 기법은 시뮬레이션을 통해 저장 공간의 효율성을 향상의 결과를 확인하였다.

A New Index Key Duplication method for Efficient Spatial Retrieval (효율적 공간 검색을 위한 새로운 색이 키 중복 기법)

  • 이경모;이충호;김성희;배해영
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1999.10a
    • /
    • pp.261-263
    • /
    • 1999
  • 공간 DBMS는 공간 데이터와 비공간 데이터를 서로 다른 물리적인 페이지에 저장한다. 공간 질의의 효율적인 처리를 위해 공간 데이터에 대한 공간 색인을 생성하며, 성능 향상을 위하여 이를 클러스터링 색인으로 사용한다. 그러나, 공간 데이터에 대한 클러스터링 성질이 비공간 데이터 페이지에는 반영되지 않아 공간 데이터와 비공간 데이터는 서로 다른 물리적 순서를 갖는다. 이로 인해 공간 조건(Spatial Predicate)에 의해 선택된 공간 데이터는 물리적 인접성을 가지는 반면, 비공간 데이터는 물리적 인접성을 갖지 않는다. 즉, 공간 질의 처리 과정에서 비공간 데이터 페이지의 잦은 디스크 I/O를 유발한다. 본 논문에서는 효율적 공간 검색을 위한 색인 키 중복 기법을 제안한다. 제안한 기법은 공간 데이터의 색인 기값을 비공간 데이터 내에 중복시키고 공간, 비공간 데이터에 대해 각각의 공간 클러스터링 색인을 생성한다. 두 클러스터링 색인에 의해 공간 데이터와 마찬가지로 비공간 데이터도 공간 조건에 대한 클러스터링 성질을 유지할 수 있다. 질의 처리 과정에서 공간 조건에 의해 선택된 공간 객체들은 공간, 비공간 데이터들 모두 물리적 인접성을 가지게 되며, 비공간 데이터 페이지에 대한 디스크 액세스 횟수를 줄여 공간 검색의 성능을 향상시킬수 있다.

  • PDF

Vertical Relation Partitioning Method With Attribute Replications (속성 중복을 고려한 릴레이션의 수직 분할방법)

  • 유종찬;김재련
    • Proceedings of the Korea Database Society Conference
    • /
    • 1997.10a
    • /
    • pp.504-514
    • /
    • 1997
  • 관계형 데이터베이스의 성능을 향상시키는데 중요한 요소 중의 하나는 트랜잭션을 처리하기 위해 데이터를 디스크에서 주기억장치로 옮기는데 필요한 디스크 액세스(access) 횟수이다. 본 연구는 관계형 데이터베이스에서 트랜잭션을 처리할 때, 릴레이션(relation)을 수직분할하여 디스크에 단편(fragment)으로 저장하므로써 필요한 단편만 액세스하여 액세스 횟수를 감소시키는데 목적이 있다. 단편에 속성을 중복할당하여 수직분할하므로써 트랜잭션을 만족시키는 단편의 수를 감소시켜 중복할당을 고려하지 않은 방법보다 디스크 액세스 횟수를 감소시킬 수 있다. 갱신트랜잭션의 경우 하나의 속성이 갱신되면 중복된 속성을 모두 갱신하여야 하므로 액세스 횟수가 증가하지만, 조회트랜잭션의 경우 각 단편에 속성을 중복할당하여 액세스 횟수를 감소시킬 수 있다. 본 연구에서는 속성의 중복을 허용하여 단편을 구성하는 경우에 중복을 고려하지 않은 경우를 포함하므로 효과적으로 디스크 액세스 횟수를 감소시킬 수 있다. 본 연구에서는 중복할당을 고려하여 디스크의 액세스 횟수를 최소화시킬 수 있는 수직분할문제의 0-1 정수계획모형을 개발하고, 모형에 대한 최적해법으로 분지한계법을 제안한다.

  • PDF

Permitted Limit Setting Method for Data Transmission in Wireless Sensor Network (무선 센서 네트워크에서 데이터 전송 허용범위의 설정 방법)

  • Lee, Dae-hee;Cho, Kyoung-woo;Oh, Chang-heon
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2018.05a
    • /
    • pp.574-575
    • /
    • 2018
  • The generation of redundant data according to the spatial-temporal correlation in a wireless sensor network that reduces the network lifetime by consuming unnecessary energy. In this paper, data collection experiment through the particulate matter sensor is carried out to confirm the spatial-temporal data redundancy and we propose permitted limit setting method for data transmission to solve this problem. In the proposed method, the data transmission permitted limit is set by using the integrated average value in the cluster. The set permitted limit reduces the redundant data of the member node and it is shows that redundant data reduction is possible even in a variable environment of collected data by resetting the permitted limit in the cluster head.

  • PDF

Redundant and Abnormal Data Processing Scheme in Large-scale IoT Environment (대규모 IoT 환경에서의 중복 및 비정상 데이터 처리 기법)

  • Kim, Min-Woo;Lee, Tae-Ho;Lee, Byung-Jun;Kim, Kyung-Tae;Youn, Hee-Yong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2019.07a
    • /
    • pp.109-110
    • /
    • 2019
  • 최근 IoT 환경에서는 고밀도로 노드가 분포되어진다. 이러한 센서 노드들은 데이터 전송 시 혼잡을 초래하는 중복 데이터를 생성하여 데이터의 정확도를 저하시킨다. 이에 따라 본 연구에서는 데이터 집중으로 인해 발생하는 네트워크의 정체 문제를 해결하기 위해 제안 기법은 사 분위(Interquatile, IRQ) 분석과 코사인 유사도 함수를 통해 데이터의 이상치와 중복성을 측정하여 중복 데이터 및 특이치를 제거한다. 본 연구를 통하여 최적의 데이터 전송을 통하여 IoT의 통신 성능을 향상시킬 수 있으며 결과적으로 데이터 감소율, 네트워크 수명 및 에너지의 효율성을 높일 수 있다.

  • PDF

Data De-duplication and Recycling Technique in SSD-based Storage System for Increasing De-duplication Rate and I/O Performance (SSD 기반 스토리지 시스템에서 중복률과 입출력 성능 향상을 위한 데이터 중복제거 및 재활용 기법)

  • Kim, Ju-Kyeong;Lee, Seung-Kyu;Kim, Deok-Hwan
    • Journal of the Institute of Electronics and Information Engineers
    • /
    • v.49 no.12
    • /
    • pp.149-155
    • /
    • 2012
  • SSD is a storage device of having high-performance controller and cache buffer and consists of many NAND flash memories. Because NAND flash memory does not support in-place update, valid pages are invalidated when update and erase operations are issued in file system and then invalid pages are completely deleted via garbage collection. However, garbage collection performs many erase operations of long latency and then it reduces I/O performance and increases wear leveling in SSD. In this paper, we propose a new method of de-duplicating valid data and recycling invalid data. The method de-duplicates valid data and then recycles invalid data so that it improves de-duplication ratio. Due to reducing number of writes and garbage collection, the method could increase I/O performance and decrease wear leveling in SSD. Experimental result shows that it can reduce maximum 20% number of garbage collections and 9% I/O latency than those of general case.

Design Deduplication User File System for Flash-SSD (Flash-SSD 데이터 중복 제거를 위한 사용자 파일 시스템 설계)

  • Myeong, Jae-hui;Kwon, Oh-young
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2017.10a
    • /
    • pp.322-325
    • /
    • 2017
  • Due to the rapid increase in data, various studies are being conducted to efficiently manage the data. In 2025, the total amount of data will increase to more than 163 ZB, and more than a quarter of the data will be a real-time data. As mass storage devices is changed from HDD to SSD, SSD needs own way to manage their data effectively. In this paper, we study the SSD system structure and deduplication management methods of data management related to Flash-SSD. We also propose an application level user file system using deduplication. It is anticipated that it saves storage capacity and minimize reducing performance by unnecessary traffic.

  • PDF

Relocation Strategy for an Efficient Management of Replicated Data on Mobile Computing (모바일 컴퓨팅상에서 중복데이터의 효율적 관리를 위한 재배치 전략)

  • Lee, Byung-Kwan;Oh, Am-Suk;Jeong, Eun-Hee
    • Journal of Korea Multimedia Society
    • /
    • v.7 no.5
    • /
    • pp.689-697
    • /
    • 2004
  • Rapid advances in mobile computing and the availability of wireless communications will soon provide mobile users with the ability to access data regardless of the location of the user or of the data. SRA(Static Replica Allocation) that is traditional scheme has been used for the replication method on the server. This replicates the data on the replica server after a moving host has been transferred to the cell. This strategy is simple and can easily relocate data. However, if a mobile user does not exist in the cell, the replicated data can be deleted in order to maintain data consistency. In addition to, if the mobile host leaves from replicated cell, it is difficult to access data in terms of replication route. Therefore, this paper proposes a new method of relocation based on data consistency strategy called USRAC(User Selection Replica Allocation based on Consistency) and also analyzes access cost according to the moving rate of mobile users, according to the access rate of mobile hosts, and according to the number of cells of mobile users and mobile hosts.

  • PDF