• 제목/요약/키워드: distributed data storage

검색결과 296건 처리시간 0.024초

Analysis of Storage and Retrieval Results of Audio Sources and Signatures using Blockchain and Distributed Storage System

  • Lee, Kyoung-Sik;Kim, Sang-Kyun
    • 방송공학회논문지
    • /
    • 제24권7호
    • /
    • pp.1228-1236
    • /
    • 2019
  • Recently, media platforms such as YouTube and Twitch provide services that can generate personal revenue by utilizing media content produced by individuals. In this regard, interest in the copyright of media content is increasing. In particular, in the case of an audio source, competition for securing audio source copyright is fierce because it is an essential element for almost all media content production. In this paper, we propose a method to store the audio source and its signature using a blockchain and distributed storage system to verify the copyright of music content. To identify the possibility of extracting the audio signature of the audio source and to include it as blockchain transaction data, we implement the audio source and its signature file upload system based on the proposed scheme. In addition, we show the effectiveness of the proposed method through experiments on uploading and retrieving audio files and identify future improvements.

빅데이터 처리시간 감소와 저장 효율성이 향상을 위한 맵리듀스 기반 빅데이터 처리 기법 구현 (Implement of MapReduce-based Big Data Processing Scheme for Reducing Big Data Processing Delay Time and Store Data)

  • 이협건;김영운;김기영
    • 한국융합학회논문지
    • /
    • 제9권10호
    • /
    • pp.13-19
    • /
    • 2018
  • 맵리듀스는 하둡의 필수 핵심 기술로 하둡 분산 파일 시스템을 기반으로 빅데이터를 처리하는 가장 보편화되어 사용되고 있다. 그러나 기존 맵리듀스 기반 빅데이터 처리 기법은 하둡 분산 파일 시스템에 정해진 블록의 크기대로 파일 나눠 저장되는 특징으로 인해 인프라 자원의 낭비가 극심하다. 이에 본 논문에서는 효율적인 맵리듀스 기반 빅데이터 처리기법을 제안한다. 제안하는 기법은 처리할 데이터를 사전에 맵리듀스에서 처리하기 적합한 데이터 형태로 변환 및 압축하여 빅데이터 인프라 환경의 저장 효율성을 증가시킨다. 또한 제안하는 기법은 저장 효율성을 중점으로 구현했을 때 발생할 수 있는 데이터 처리 시간의 지연 문제를 해결한다.

iATA 기반의 RAID5 분산 스토리지 서버의 설계 및 구현 (Design and Implementation of iATA-based RAID5 Distributed Storage Servers)

  • 왕숙미;임효택
    • 한국정보통신학회논문지
    • /
    • 제14권2호
    • /
    • pp.305-311
    • /
    • 2010
  • iATA는 TCP/IP 네트워크상에서 ATA 명령어를 전달하기 위해 개발된 블록-레벨 프로토콜로서, 모바일 기기의 스토리지 한계를 극복하기 위한 대안으로 활용 될 수 있다. 본 논문은 RAID5 분산 스토리지 서버 개념을 iATA에 적용하여 스토리지 서버의 신뢰성과 속도를 개선하고자 한다. 분산 스토리지 서버중 하나의 서버가 다운된 경우에 나머지 서버 데이터의 XOR 함수를 적용하여 데이터 회복이 가능하며 이를 통해 데이터의 신뢰성을 높일 수 있다. 벤치마킹 실험과 시험을 통해 제안된 iATA 프로토콜은 제한된 스토리지를 가지고 있는 모바일 기기상에서 효율적이 고도 신뢰성 있는 가상 스토리지 프로토콜로서 사용될 수 있음을 보여주고 있다.

Improvement of Variable Renewable Energy Penetration of Stand-Alone Microgrid Hosting Capacity by Using Energy-Storage-System Based on Power Sensitivity

  • CHOI, DongHee
    • 한국정보기술학회 영문논문지
    • /
    • 제10권2호
    • /
    • pp.91-101
    • /
    • 2020
  • Recently, the demand for high penetration of variable renewable energy (VRE) penetration in a power system is increased. In consequence, distribution systems including microgrids confront the increased installation of VRE-based distributed generation. Despite of the high demand of VRE-based distributed generation in a distribution system, the installation of photovoltaic (PV) system in a distribution system has been restricted by various problems. In other words, the hosting capacity for high VRE penetration in a distribution system is limited. This paper analyzes the improvements of hosting capacity VRE penetration of stand-alone microgrid (SAMG) with energy storage system (ESS) by considering virtual-slack (VS) control based on power sensitivity. With the pre-defined power sensitivity, the ESS operates as virtual slack in the SAMG by controlling its bus voltage and phase angle indirectly. Therefore, the ESS enables the increase of VRE penetration in the SAMG. The proposed VS control is realized by analyzing the ESS as a virtual slack in power flow analysis based on power sensitivity. Then its validity is demonstrated with the case study on the SAMG in South Korea with practical data.

An Efficient Implementation of Mobile Raspberry Pi Hadoop Clusters for Robust and Augmented Computing Performance

  • Srinivasan, Kathiravan;Chang, Chuan-Yu;Huang, Chao-Hsi;Chang, Min-Hao;Sharma, Anant;Ankur, Avinash
    • Journal of Information Processing Systems
    • /
    • 제14권4호
    • /
    • pp.989-1009
    • /
    • 2018
  • Rapid advances in science and technology with exponential development of smart mobile devices, workstations, supercomputers, smart gadgets and network servers has been witnessed over the past few years. The sudden increase in the Internet population and manifold growth in internet speeds has occasioned the generation of an enormous amount of data, now termed 'big data'. Given this scenario, storage of data on local servers or a personal computer is an issue, which can be resolved by utilizing cloud computing. At present, there are several cloud computing service providers available to resolve the big data issues. This paper establishes a framework that builds Hadoop clusters on the new single-board computer (SBC) Mobile Raspberry Pi. Moreover, these clusters offer facilities for storage as well as computing. Besides the fact that the regular data centers require large amounts of energy for operation, they also need cooling equipment and occupy prime real estate. However, this energy consumption scenario and the physical space constraints can be solved by employing a Mobile Raspberry Pi with Hadoop clusters that provides a cost-effective, low-power, high-speed solution along with micro-data center support for big data. Hadoop provides the required modules for the distributed processing of big data by deploying map-reduce programming approaches. In this work, the performance of SBC clusters and a single computer were compared. It can be observed from the experimental data that the SBC clusters exemplify superior performance to a single computer, by around 20%. Furthermore, the cluster processing speed for large volumes of data can be enhanced by escalating the number of SBC nodes. Data storage is accomplished by using a Hadoop Distributed File System (HDFS), which offers more flexibility and greater scalability than a single computer system.

쿠쿠 필터 유사도를 적용한 다중 필터 분산 중복 제거 시스템 설계 및 구현 (Design and Implementation of Multiple Filter Distributed Deduplication System Applying Cuckoo Filter Similarity)

  • 김영아;김계희;김현주;김창근
    • 융합정보논문지
    • /
    • 제10권10호
    • /
    • pp.1-8
    • /
    • 2020
  • 최근 몇 년 동안 기업이 수행하는 비즈니스 활동에서 생성된 데이터를 기반으로 하는 기술이 비즈니스 성공의 열쇠로 부상함에 따라 대체 데이터에 대한 저장, 관리 및 검색 기술에 대한 필요성이 대두되었다. 기존 빅 데이터 플랫폼 시스템은 대체 데이터인 비정형 데이터를 처리하기 위해 실시간으로 생성된 대량의 데이터를 지체 없이 로드하고 중복 데이터 발생 시 서로 다른 스토리지의 중복 제거 시스템을 활용하여 스토리지 공간을 효율적으로 관리해야 한다. 본 논문에서는 빅 데이터의 특성을 고려하여 쿠쿠 해싱 필터 기법의 유사도를 이용한 다중 계층 분산 데이터 중복 제거 프로세스 시스템을 제안한다. 가상 머신 간의 유사성을 쿠쿠 해시로 적용함으로써 개별 스토리지 노드는 중복 제거 효율성으로 성능을 향상시키고 다중 레이어 쿠쿠 필터를 적용하여 처리 시간을 줄일 수 있다. 실험 결과 제안한 방법은 기존 블룸 필터를 이용한 중복 제거 기법에 의해 8.9%의 처리 시간 단축과 중복 제거율이 10.3% 높아짐을 확인하였다.

분산 OSN 환경에서 프라이버시 보호를 위한 그룹 기반의 데이터 퍼튜베이션 기법 (A Group based Privacy-preserving Data Perturbation Technique in Distributed OSN)

  • 이주형;박석
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권12호
    • /
    • pp.675-680
    • /
    • 2016
  • 다양한 모바일 기기와 모바일 플랫폼 기술의 발전에 따라 online social network(OSN) 사용자 수는 꾸준히 증가하고 있다. OSN 사용자들은 서비스를 통해 자유로운 의사소통과 정보 공유, 그리고 인맥 확대와 같은 사회적 활동을 할 수 있게 되지만, 이는 새로운 사용자 프라이버시 문제를 야기 한다. 이와 같은 사용자 프라이버시 침해 우려를 막기 위해 다양한 분산 OSN 아키텍처들이 소개되어 왔지만, 이 또한 기술적으로 사용자에게 자신의 데이터에 대해 완벽한 통제권을 부여하지 못한다. 본 논문은 OSN 사용자 정보에 대한 통제권의 부재를 해결하기 위해 personal data storage(PDS)를 사용한다. 또한 사용자 친구들을 각기 다른 프라이버시 레벨을 가지는 친구 그룹으로 그룹핑 한 뒤 각기 다른 사용자 친구 그룹들이 자신의 그룹 프라이버시 레벨에 맞는 사용자의 차등된 텍스트 데이터를 제공받도록 함으로써 사용자 프라이버시와 서비스 유틸리티 모두를 고려한 시스템 아키텍처를 제안하였다.

IR-RBT Codes: A New Scheme of Regenerating Codes for Tolerating Node and Intra-node Failures in Distributed Storage Systems

  • Bian, Jianchao;Luo, Shoushan;Li, Wei;Zha, Yaxing;Yang, Yixian
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권10호
    • /
    • pp.5058-5077
    • /
    • 2019
  • Traditional regenerating codes are designed to tolerate node failures with optimal bandwidth overhead. However, there are many types of partial failures inside the node, such as latent sector failures. Recently, proposed regenerating codes can also repair intra-node failures with node-level redundancy but incur significant bandwidth and I/O overhead. In this paper, we construct a new scheme of regenerating codes, called IR-RBT codes, which employs intra-node redundancy to tolerate intra-node failures and serve as the help data for other nodes during the repair operation. We propose 2 algorithms for assigning the intra-node redundancy and RBT-Helpers according to the failure probability of each node, which can flexibly adjust the helping relationship between nodes to address changes in the actual situation. We demonstrate that the IR-RBT codes improve the bandwidth and I/O efficiency during intra-node failure repair over traditional regenerating codes but sacrifice the storage efficiency.

대규모 RDF 데이터의 분산 저장을 위한 동적 분할 기법 (A Dynamic Partitioning Scheme for Distributed Storage of Large-Scale RDF Data)

  • 김천중;김기연;윤종현;임종태;복경수;유재수
    • 정보과학회 논문지
    • /
    • 제41권12호
    • /
    • pp.1126-1135
    • /
    • 2014
  • 최근 대규모 RDF 데이터를 효과적으로 분산 저장 및 관리하기 위해 RDF 분할 기법의 연구가 진행되고 있다. 본 논문에서는 지속적으로 데이터의 추가 및 변경이 발생하는 동적 환경에서 부하 분산을 지원하는 RDF 동적 분할 기법을 제안한다. 제안하는 기법은 그래프 분할을 수행하기 위한 기준으로 질의에 의해 사용된 RDF 데이터의 사용 빈도에 따라 클러스터와 서브 클러스터 그룹을 생성한다. 생성된 클러스터와 서브 클러스터는 분산된 서버의 부하 및 저장되는 데이터 크기를 고려하여 분할을 수행한다. 이를 통해 지속적인 데이터 변경 및 추가로 인해 특정 서버에 대한 데이터 집중을 해결하고 서버들간에 효율적인 부하 분산을 수행한다. 성능평가를 통하여 분산 서버에서 제안하는 기법이 기존 분할 기법에 비해 질의 수행 시간이 크게 향상됨을 보인다.

대용량 기후모델자료를 위한 통합관리시스템 구축 (Development of Climate & Environment Data System for Big Data from Climate Model Simulations)

  • 이재희;성현민;원상호;이조한;변영화
    • 대기
    • /
    • 제29권1호
    • /
    • pp.75-86
    • /
    • 2019
  • In this paper, we introduce a novel Climate & Environment Database System (CEDS). The CEDS is developed by the National Institute of Meteorological Sciences (NIMS) to provide easy and efficient user interfaces and storage management of climate model data, so improves work efficiency. In uploading the data/files, the CEDS provides an option to automatically operate the international standard data conversion (CMORization) and the quality assurance (QA) processes for submission of CMIP6 variable data. This option increases the system performance, removes the user mistakes, and increases the level of reliability as it eliminates user operation for the CMORization and QA processes. The uploaded raw files are saved in a NAS storage and the Cassandra database stores the metadata that will be used for efficient data access and storage management. The Metadata is automatically generated when uploading a file, or by the user inputs. With the Metadata, the CEDS supports effective storage management by categorizing data/files. This effective storage management allows easy and fast data access with a higher level of data reliability when requesting with the simple search words by a novice. Moreover, the CEDS supports parallel and distributed computing for increasing overall system performance and balancing the load. This supports the high level of availability as multiple users can use it at the same time with fast system-response. Additionally, it deduplicates redundant data and reduces storage space.