• 제목/요약/키워드: distributed data storage

검색결과 297건 처리시간 0.025초

Cryptography in the Cloud: Advances and Challenges

  • Boyd, Colin
    • Journal of information and communication convergence engineering
    • /
    • 제11권1호
    • /
    • pp.17-23
    • /
    • 2013
  • Cloud computing is a currently developing revolution in information technology that is disturbing the way that individuals and corporate entities operate while enabling new distributed services that have not existed before. At the foundation of cloud computing is the broader concept of converged infrastructure and shared services. Security is often said to be a major concern of users considering migration to cloud computing. This article examines some of these security concerns and surveys recent research efforts in cryptography to provide new technical mechanisms suitable for the new scenarios of cloud computing. We consider techniques such as homomorphic encryption, searchable encryption, proofs of storage, and proofs of location. These techniques allow cloud computing users to benefit from cloud server processing capabilities while keeping their data encrypted; and to check independently the integrity and location of their data. Overall we are interested in how users may be able to maintain and verify their own security without having to rely on the trust of the cloud provider.

LINK 블록체인을 적용한 차량용 블랙박스 시스템 (Vehicle black box system with LINK blockchain)

  • 안규황;원태연;박상민;장경배;서화정
    • 한국정보통신학회논문지
    • /
    • 제23권8호
    • /
    • pp.1018-1023
    • /
    • 2019
  • 2010년도를 기점으로 차량용 블랙박스는 많은 사람들에게 보급되었음에도 불구하고 차량 사고 현장 기록물이 존재 하지 않거나 가해자가 고의적으로 영상 데이터를 삭제할 경우 피해자가 속출한다. 블록체인의 가장 큰 장점은 데이터 분산 저장으로 데이터 수정 및 삭제가 불가능하다는 점이며, 가장 큰 단점은 민감한 데이터 역시 분산 저장 된다는 점이다. 본 논문은 해당 장점을 이용해 블랙박스에 블록체인을 도입하여 공유 된 영상 데이터로 사고를 입증하며, 블록체인과 private 서버를 연동하여 기존에 블록체인에 저장되는 민감 정보를 private 서버에 저장하여 블록체인의 단점인 개인정보유출 문제를 해결하고자 한다. 또한 LINK 블록체인과 private 서버를 연동하는 코드(깃허브)와 데모영상(유튜브)을 본 논문에 첨부하였다.

SBR-k(Sized-based replacement-k) : 데이터 그리드 환경에서 파일 교체 (SBR-k(Sized-base replacement-k) : File Replacement in Data Grid Environments)

  • 박홍진
    • 한국콘텐츠학회논문지
    • /
    • 제8권11호
    • /
    • pp.57-64
    • /
    • 2008
  • 데이터 그리드는 대용량의 데이터 어플리케이션 처리를 위해 지리적으로 분산되어 있는 저장 자원을 제공한다. 대용량을 처리해야 하는 데이터 그리드 환경에서는 기존 웹 캐싱 정책이나 가상 메모리 캐쉬 교체 정책과는 다른 파일 교체 정책이 필요하다. LRU(Least Recently Used)나 LCB-K(Least Cost Beneficial based on K), EBR(Economic-based cache replacement), LVCT(Least Value-based on Caching Time) 같은 기존의 파일 교체 전략은 파일 교체를 위해 추가적인 자원이 필요하거나 미래를 예측해야한다. 본 논문은 이를 해결하기 위해 파일의 크기에 기반하여 파일 교체를 수행하는 SBR-k(Sized-based replacement-k)을 제안한다. 제안된 정책은 불확실한 미래 예측의 부담을 줄이고, 요청된 파일에 대응되는 교체 파일의 개수가 적게 하이 위해 파일 크기를 고려하였다. 성능평가 결과 캐쉬 크기가 작은 경우에 적중률이 비슷하나 캐쉬 크기가 크면 본 논문에서 제시한 정책이 우수함을 보였다.

오픈 소스 기반 데이터 분산 중복제거 파일 시스템의 성능 분석 (Performance Analysis of Open Source Based Distributed Deduplication File System)

  • 정성욱;최훈
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제20권12호
    • /
    • pp.623-631
    • /
    • 2014
  • 데이터 중복제거 파일시스템인 LessFS와 SDFS의 성능을 비교하면, LessFS는 CPU 점유율과 수행 시간에서 성능이 우수하고, SDFS는 중복제거 이후 저장소 사용량이 다른 파일시스템보다 1/8 정도의 이점을 가지고 있다. 본 논문은 SDFS의 장점인 중복제거 이후 저장소 사용량 감소와 LessFS의 장점인 낮은 CPU 점유율과 수행 시간 감소의 장점을 지니는 새로운 방식을 제안한다. SDFS의 Dedup File Engines (DFE) n개를 이용하되, Dedup Storage Engines (이하 DSE) 1개를 두어 중복제거 데이터의 정합성과 일관성을 유지하는 방식이다. 제안하는 방식을 2개의 DFE와 1개의 DSE를 가진 시험환경에 구현하고 성능 비교를 수행한다.

Selective Encryption Scheme for Vector Map Data using Chaotic Map

  • Bang, N.V.;Moon, Kwang-Seok;Lim, Sanghun;Lee, Suk-Hwan;Kwon, Ki-Ryong
    • 한국멀티미디어학회논문지
    • /
    • 제18권7호
    • /
    • pp.818-826
    • /
    • 2015
  • With the rapid interest in Geographic Information System (GIS) contents, a large volume of valuable GIS dataset has been distributed illegally by pirates, hackers, or unauthorized users. Therefore the problem focus on how to protect the copyright of GIS vector map data for storage and transmission. But GIS vector map data is very large and current data encryption techniques often encrypt all components of data. That means we have encrypted large amount of data lead to the long encrypting time and high complexity computation. This paper presents the selective encryption scheme using hybrid transform for GIS vector map data protection to store, transmit or distribute to authorized users. In proposed scheme, polylines and polygons in vector map are targets of selective encryption. We select the significant objects in polyline/polygon layer, and then they are encrypted by the key sets generated by using Chaotic map before changing them in DWT, DFT domain. Experimental results verified the proposed algorithm effectively and error in decryption is approximately zero.

Advanced Resource Management with Access Control for Multitenant Hadoop

  • Won, Heesun;Nguyen, Minh Chau;Gil, Myeong-Seon;Moon, Yang-Sae
    • Journal of Communications and Networks
    • /
    • 제17권6호
    • /
    • pp.592-601
    • /
    • 2015
  • Multitenancy has gained growing importance with the development and evolution of cloud computing technology. In a multitenant environment, multiple tenants with different demands can share a variety of computing resources (e.g., CPU, memory, storage, network, and data) within a single system, while each tenant remains logically isolated. This useful multitenancy concept offers highly efficient, and cost-effective systems without wasting computing resources to enterprises requiring similar environments for data processing and management. In this paper, we propose a novel approach supporting multitenancy features for Apache Hadoop, a large scale distributed system commonly used for processing big data. We first analyze the Hadoop framework focusing on "yet another resource negotiator (YARN)", which is responsible for managing resources, application runtime, and access control in the latest version of Hadoop. We then define the problems for supporting multitenancy and formally derive the requirements to solve these problems. Based on these requirements, we design the details of multitenant Hadoop. We also present experimental results to validate the data access control and to evaluate the performance enhancement of multitenant Hadoop.

확장형 디스플레이를 위한 분산 렌더링 시스템의 네트워크 대역폭 감소 기법 (A New Network Bandwidth Reduction Method of Distributed Rendering System for Scalable Display)

  • 박우찬;이원종;김형래;김정우;한탁돈;양성봉
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제29권10호
    • /
    • pp.582-588
    • /
    • 2002
  • 확장형 디스플레이(Scalable Display)는 큰 화면과 높은 화질의 영상을 생성하여 사용자들에게 보다 현실적인 느낌을 주고 이에 몰입할 수 있는 환경을 제공하는 시스템이다. 최근 들어서 이러한 확장형 디스플레이는 자체 그래픽 가속기와 메모리, CPU, 저장장치를 갖는 개별 PC들을 네트워크로 연결한 클러스터 환경에서 구축되고 있다. 하지만 클러스터 환경에서 분산 렌더링을 수행하면 제한된 대역폭 때문에 네트워크 병목점을 갖게 된다. 본 논문은 이러한 네트워크 트래픽을 줄이는 새로운 알고리즘을 제안하고, 이를 기존의 분산 렌더링 시스템에 적용하여 구현한 내용을 소개한다. 제안하는 기하 추적(geometry tracking) 알고리즘은 전송되는 데이터들을 색인화하여 중복된 기하정보 전송을 방지하여 네트워크 부하를 줄이는 방법으로, 실험을 통해서 최대 42%까지 네트워크 트래픽을 감소시킬 수 있었다.

Access efficiency of small sized files in Big Data using various Techniques on Hadoop Distributed File System platform

  • Alange, Neeta;Mathur, Anjali
    • International Journal of Computer Science & Network Security
    • /
    • 제21권7호
    • /
    • pp.359-364
    • /
    • 2021
  • In recent years Hadoop usage has been increasing day by day. The need of development of the technology and its specified outcomes are eagerly waiting across globe to adopt speedy access of data. Need of computers and its dependency is increasing day by day. Big data is exponentially growing as the entire world is working in online mode. Large amount of data has been produced which is very difficult to handle and process within a short time. In present situation industries are widely using the Hadoop framework to store, process and produce at the specified time with huge amount of data that has been put on the server. Processing of this huge amount of data having small files & its storage optimization is a big problem. HDFS, Sequence files, HAR, NHAR various techniques have been already proposed. In this paper we have discussed about various existing techniques which are developed for accessing and storing small files efficiently. Out of the various techniques we have specifically tried to implement the HDFS- HAR, NHAR techniques.

농업기상활용 정보기술 현황 (State of Information Technology and Its Application in Agricultural Meteorology)

  • Byong-Lyol Lee;Dong-Il Lee
    • 한국농림기상학회지
    • /
    • 제6권2호
    • /
    • pp.118-126
    • /
    • 2004
  • 그리드는 고성능컴퓨팅을 위한 슈퍼인터넷이라는 신 IT기술로, 슈퍼컴, 저장매체, 첨단장비 및 협업환경 등 첨단 자원의 전 세계에 걸친 가상집합체라 할 수 있다. 그리드는 CPU, 저장시스템, 통신시스템, 실시간자료원과 장비는 물론 공동협력 등 지역적, 기관간 분산되어 있는 전산자원을 한 곳에 모을 수 있을 것으로 기대된다. 그리드라는 말은 90년대 중반 첨단 과학 및 공학기술을 위한 분산전산하부구조로서 제안된 용어이다. 전산그리드는 사용자가 다수의 고성능/고정밀 자원을 접속/통합할 수 있도록 지원하는 하부구조를 의미하며, 보다 공적으로는 그리드는 개인, 기관 및 자원의 동적 집합체간 가상기구로서, 유연하고, 안전하며 조정이 가능한 자원공유를 위한 하부구조라 정의되고 있다. 이와 같이 그리드는 미래 농업기상서비스에 적합한 차세대 인터넷기술로 매우 유망한 IT기술인 것이다. 그리드는 특히 전산자원 부족이 심각한 개도국의 농업기상서비스 개선을 위해 필수적인 고성능 컴퓨터자원, 고용량 가상저장매체, 효율적인 실시간 자료교환을 위한 자원 공유에 크게 기여할 수 있을 것이다. 여기서는 WMO 차세대 기상정보시스템(FWIS) 일환으로 기존 아시아 농업기상정보망과 연계된 CAgM-Grid의 설립을 제안 추진하고 있다.

SSD 환경 아래에서 GlusterFS 성능 최적화 (Performance Optimization in GlusterFS on SSDs)

  • 김덕상;엄현상;염헌영
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권2호
    • /
    • pp.95-100
    • /
    • 2016
  • 빅데이터, 클라우드 컴퓨팅 시대가 오면서 데이터 사용량이 점점 증가하고 있고 이러한 빅데이터를 신속히 처리하기 위한 시스템들이 개발되고 있다. 그 중 데이터를 저장하기 위한 시스템으로 분산 파일 시스템이 널리 사용되고 있다, 이러한 분산 파일 시스템 중에는 글러스터 파일 시스템(GlusterFS)이 있다. 또한 기술의 발달로 고성능 장비인 Nand flash SSD (Solid State Drive)의 가격이 하락함에 따라서 데이터센터로 도입이 증가되는 추세이다. 따라서 GlusterFS에서도 SSD를 도입하려고 하지만, GlusterFS는 하드디스크를 기반으로 설계되었기 때문에 SSD를 이용했을 시 구조적인 문제로 성능 저하가 발생하게 된다. 이러한 구조적인 문제점들에는 I/O-cache, Read-ahead, Write-behind Translator들이 있다. 랜덤 I/O에 장점이 있는 SSD에 맞지 않는 기능들을 제거함으로써, 4KB 랜덤 읽기의 경우 255%까지의 성능 향상 결과와, 64KB 랜덤 읽기의 경우 50%까지의 성능 향상 결과를 얻었다.