• 제목/요약/키워드: distributed storage systems

검색결과 207건 처리시간 0.028초

Advanced Resource Management with Access Control for Multitenant Hadoop

  • Won, Heesun;Nguyen, Minh Chau;Gil, Myeong-Seon;Moon, Yang-Sae
    • Journal of Communications and Networks
    • /
    • 제17권6호
    • /
    • pp.592-601
    • /
    • 2015
  • Multitenancy has gained growing importance with the development and evolution of cloud computing technology. In a multitenant environment, multiple tenants with different demands can share a variety of computing resources (e.g., CPU, memory, storage, network, and data) within a single system, while each tenant remains logically isolated. This useful multitenancy concept offers highly efficient, and cost-effective systems without wasting computing resources to enterprises requiring similar environments for data processing and management. In this paper, we propose a novel approach supporting multitenancy features for Apache Hadoop, a large scale distributed system commonly used for processing big data. We first analyze the Hadoop framework focusing on "yet another resource negotiator (YARN)", which is responsible for managing resources, application runtime, and access control in the latest version of Hadoop. We then define the problems for supporting multitenancy and formally derive the requirements to solve these problems. Based on these requirements, we design the details of multitenant Hadoop. We also present experimental results to validate the data access control and to evaluate the performance enhancement of multitenant Hadoop.

Pressure-volume-temperature gauging method experiment using liquid nitrogen under microgravity condition of parabolic flight

  • Seo, Mansu;Park, Hana;Yoo, DonGyu;Jung, Youngsuk;Jeong, Sangkwon
    • 한국초전도ㆍ저온공학회논문지
    • /
    • 제16권2호
    • /
    • pp.64-69
    • /
    • 2014
  • Measuring an exact amount of remaining cryogenic liquid propellant under microgravity condition is one of the important issues of rocket vehicle. A Pressure-Volume-Temperature (PVT) gauging method is attractive due to its minimal additional hardware and simple gauging process. In this paper, PVT gauging method using liquid nitrogen is investigated under microgravity condition with parabolic flight. A 9.2 litre metal cryogenic liquid storage tank containing approximately 30% of liquid nitrogen is pressurized by ambient temperature helium gas. During microgravity condition, the inside of the liquid tank becomes near-isothermal condition within 1 K difference indicated by 6 silicon diode sensors vertically distributed in the middle of the liquid tank. Helium injection with higher mass flow rate after 10 seconds of the waiting time results in successful measurements of helium partial pressure in the tank. Average liquid volume measurement error is within 11% of the whole liquid tank volume and standard deviation of errors is 11.9. As a result, the applicability of PVT gauging method to liquid propellant stored in space is proven with good measurement accuracy.

Reducing Outgoing Traffic of Proxy Cache by Using Client-Cluster

  • Kim Kyung-Baek;Park Dae-Yeon
    • Journal of Communications and Networks
    • /
    • 제8권3호
    • /
    • pp.330-338
    • /
    • 2006
  • Many web cache systems and policies concerning them have been proposed. These studies, however, consider large objects less useful than small objects in terms of performance, and evict them as soon as possible. Even if this approach increases the hit rate, the byte hit rate decreases and the connections occurring over congested links to outside networks waste more bandwidth in obtaining large objects. This paper puts forth a client-cluster approach for improving the web cache system. The client-cluster is composed of the residual resources of clients and utilizes them as exclusive storage for large objects. This proposed system achieves not only a high hit rate but also a high byte hit rate, while reducing outgoing traffic. The distributed hash table (DHT) based peer-to-peer lookup protocol is utilized to manage the client-cluster. With the natural characteristics of this protocol, the proposed system with the client-cluster is self-organizing, fault-tolerant, well-balanced, and scalable. Additionally, the large objects are managed with an index based allocation method, which balances the loads of all clients well. The performance of the cache system is examined via a trace driven simulation and an effective enhancement of the proxy cache performance is demonstrated.

멀티캐스트를 이용한 VoD 서비스망의 성능 분석 (An analysis on the network performance for VoD services using multicast)

  • 백남균;정수환;민병준
    • 한국통신학회논문지
    • /
    • 제25권6A호
    • /
    • pp.918-926
    • /
    • 2000
  • VoD 서비스를 제공하기 위해서는 대용량의 저장매체와 전송대역이 필요하며 이를 위해서는 막대한 네트워크 구축비용이 필요하다. 이러한 VoD 서비스 구축비용을 줄이기 위한 방법으로 분산 서버 시스템, 멸티캐스트, 프로그램 caching,, 스트림 sharing 등에 관한 연구가 현재 활발히 진행되고 있다. 본 논문에서는 VoD 스트림을 멀티캐스트로 서버스하기 위한 결정기준과 대역폭 감소비율을 도출하였으며, 멀티 캐스트를 이용한 VoD 서비스 시 감소하는 선로 대역폭, 서버의 내부 대역폭과 증가하는 버퍼 용량과의 관계를 분석하여 멀티캐스트의 적용 타당성과 망 구축비용의 감소폭을 비교하였다. 따라서, 본 연구결과는 멀티캐스트를 이용한 VoD 서비스 제공에 적합한 경제적인 선로 설계와 노드 설계에 활용될 수 있을 것으로 기대된다.

  • PDF

A Danger Theory Inspired Protection Approach for Hierarchical Wireless Sensor Networks

  • Xiao, Xin;Zhang, Ruirui
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권5호
    • /
    • pp.2732-2753
    • /
    • 2019
  • With the application of wireless sensor networks in the fields of ecological observation, defense military, architecture and urban management etc., the security problem is becoming more and more serious. Characteristics and constraint conditions of wireless sensor networks such as computing power, storage space and battery have brought huge challenges to protection research. Inspired by the danger theory in biological immune system, this paper proposes an intrusion detection model for wireless sensor networks. The model abstracts expressions of antigens and antibodies in wireless sensor networks, defines meanings and functions of danger signals and danger areas, and expounds the process of intrusion detection based on the danger theory. The model realizes the distributed deployment, and there is no need to arrange an instance at each sensor node. In addition, sensor nodes trigger danger signals according to their own environmental information, and do not need to communicate with other nodes, which saves resources. When danger is perceived, the model acquires the global knowledge through node cooperation, and can perform more accurate real-time intrusion detection. In this paper, the performance of the model is analyzed including complexity and efficiency, and experimental results show that the model has good detection performance and reduces energy consumption.

A Survey of Computational Offloading in Cloud/Edge-based Architectures: Strategies, Optimization Models and Challenges

  • Alqarni, Manal M.;Cherif, Asma;Alkayal, Entisar
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제15권3호
    • /
    • pp.952-973
    • /
    • 2021
  • In recent years, mobile devices have become an essential part of daily life. More and more applications are being supported by mobile devices thanks to edge computing, which represents an emergent architecture that provides computing, storage, and networking capabilities for mobile devices. In edge computing, heavy tasks are offloaded to edge nodes to alleviate the computations on the mobile side. However, offloading computational tasks may incur extra energy consumption and delays due to network congestion and server queues. Therefore, it is necessary to optimize offloading decisions to minimize time, energy, and payment costs. In this article, different offloading models are examined to identify the offloading parameters that need to be optimized. The paper investigates and compares several optimization techniques used to optimize offloading decisions, specifically Swarm Intelligence (SI) models, since they are best suited to the distributed aspect of edge computing. Furthermore, based on the literature review, this study concludes that a Cuckoo Search Algorithm (CSA) in an edge-based architecture is a good solution for balancing energy consumption, time, and cost.

Importance Assessment of Multiple Microgrids Network Based on Modified PageRank Algorithm

  • Yeonwoo LEE
    • 한국인공지능학회지
    • /
    • 제11권2호
    • /
    • pp.1-6
    • /
    • 2023
  • This paper presents a comprehensive scheme for assessing the importance of multiple microgrids (MGs) network that includes distributed energy resources (DERs), renewable energy systems (RESs), and energy storage system (ESS) facilities. Due to the uncertainty of severe weather, large-scale cascading failures are inevitable in energy networks. making the assessment of the structural vulnerability of the energy network an attractive research theme. This attention has led to the identification of the importance of measuring energy nodes. In multiple MG networks, the energy nodes are regarded as one MG. This paper presents a modified PageRank algorithm to assess the importance of MGs that include multiple DERs and ESS. With the importance rank order list of the multiple MG networks, the core MG (or node) of power production and consumption can be identified. Identifying such an MG is useful in preventing cascading failures by distributing the concentration on the core node, while increasing the effective link connection of the energy flow and energy trade. This scheme can be applied to identify the most profitable MG in the energy trade market so that the deployment operation of the MG connection can be decided to increase the effectiveness of energy usages. By identifying the important MG nodes in the network, it can help improve the resilience and robustness of the power grid system against large-scale cascading failures and other unexpected events. The proposed algorithm can point out which MG node is important in the MGs power grid network and thus, it could prevent the cascading failure by distributing the important MG node's role to other MG nodes.

클라우드 환경에서 블록체인을 이용한 포그 기반 IoT 서비스 상호운용 시스템 (A Fog-based IoT Service Interoperability System using Blockchain in Cloud Environment)

  • 김미선;박용석;서재현
    • 스마트미디어저널
    • /
    • 제11권3호
    • /
    • pp.39-53
    • /
    • 2022
  • 사물 클라우드(CoT, Cloud of Things)는 사물인터넷(IoT, Internet of Things) 애플리케이션에 클라우드 서비스가 지원하는 무제한 저장기능과 처리능력을 제공할 수 있다. 그러나, 중앙 집중식 사물 클라우드에서는 병목 문제, 사물 클라우드 네트워크의 중단으로 이어질 수 있는 단일 장애 지점을 발생시킬 수 있다. 본 논문에서는 중앙 집중식 사물 클라우드의 문제를 해결하고 서로 다른 서비스 도메인 간 상호운용을 위하여, 분산 포그 컴퓨팅과 블록체인 기술을 적용한 IoT 서비스 상호운용 시스템을 제안한다. 분산 포그를 사용하여 IoT 장치와 지역적으로 가까운 거리에 위치한 포그 시스템에서 실시간 데이터 처리 및 서비스를 제공하고, 블록체인의 스마트 컨트렉트와 분산 원장을 이용하여 각 포그간에 서비스 상호운용이 가능하도록 한다. 제안 시스템은 클라우드로부터 서비스를 위임받은 분산 포그에서 가까운 지역 내 서비스를 제공하며, 포그 간에도 클라우드를 거치지 않고, 다른 포그의 서비스를 접근할 수 있다. 또한, 블록체인 네트워크상에서 클라우드와 포그 노드들은 서비스 권한 토큰 발행 정보를 공유함으로써 토큰에 대한 무결성을 보장하고 포그 노드들 간 신뢰할 수 있는 서비스 상호운용이 수행될 수 있다.

클라우드 환경에서 안전한 스토리지 접근 제어를 위한 권한 관리 프로토콜 설계 (A Design of Authority Management Protocol for Secure Storage Access Control in Cloud Environment)

  • 민소연;이광형;진병욱
    • 한국산학기술학회논문지
    • /
    • 제17권9호
    • /
    • pp.12-20
    • /
    • 2016
  • 기존의 주력산업의 고도화 및 고부가가치 산업이 창출되고 있는 가운데 클라우드 컴퓨팅 기반의 융합서비스가 등장하였다. 사용자 개인의 밀착서비스부터 산업용 서비스까지 다양한 융합서비스가 제공되고 있으며 국내에서는 클라우드 서비스 기반의 금융, 모바일, 소셜 컴퓨팅, 홈서비스를 중심으로 경제 전반에 걸쳐 기존 산업시장의 원동력이 되고 있다. 그러나 클라우드 스토리지 환경에서 Dos, DDos공격뿐만 아니라 스토리지 서버의 중요 데이터를 타깃으로 한 공격기법들이 발생하고 있으며, APT, 백도어 침투, 특정 대상에 대한 다단계 공격과 같은 감지하기 어려운 보안위협들이 발생하고 있다. 이를 보완하기 위해서 본 논문에서는 사용자들로 하여금 안전한 스토리지 서비스를 제공하는 권한 관리 프로토콜에 관하여 설계하였으며, 클라우드 환경과 빅데이터 기반 기술의 융합사례와 보안위협 및 요구사항에 대해서 연구하였고, 클라우드 컴퓨팅 환경과 빅 데이터 기술의 융합사례와 보안위협 및 보안 요구사항에 대해서 관련연구를 수행하였다. 이를 기반으로 제안된 프로토콜은 기존의 클라우드 환경과 빅데이터 기반 기술에서 발생하는 공격기법에 대해서 안전성을 분석하였고, 세션키 생성부분에서 대략 55%의 향상성을 확인 할 수 있었다.

미디어 동기화를 지원하는 웹기반 멀티미디어 전자사전 시스템 (A Web-Based Multimedia Dictionary System Supporting Media Synchronization)

  • 최용준;황도삼
    • 한국멀티미디어학회논문지
    • /
    • 제7권8호
    • /
    • pp.1145-1161
    • /
    • 2004
  • 본 연구는 인터넷에 분산되어 있는 언어자원들의 미디어 데이터를 통합하여 멀티미디어 전자사전 시스템을 구축하는 기법을 연구하는 것으로, 텍스트 데이터를 기반으로 한 기존 전자사전 시스템을 멀티미디어 환경으로 발전시킨다. 이를 위하여 인터넷에 분산되어 있는 언어자원들의 미디어 데이터를 웹 브라우저 환경에서 통합하는 기법을 제안한다. 제안하는 기법은 미디어 통합데이터에 의해 웹 브라우저가 모든 작업을 수행하므로 복잡한 서버 시스템을 필요로 하지 않는다. 구현하는 전자사전은 웹 브라우저 환경에서 작동하며, 텍스트와 이미지 및 음성을 통합하여 합성하거나 움직임을 재생한다. 통합과 움직임의 데이터를 기술하기 위하여 각 미디어의 의미를 분석하여 SMIL 문서를 생성하고 웹 브라우저에서 실행하도록 하였다. 제안하는 멀티미디어 전자사전 시스템은 단순한 미디어 데이터들을 통합하는 방식으로 작동하므로 전용 서버 시스템을 필요로 하지 않는다. 또한, 각 미디어 데이터는 분산되어 있는 데이터를 공유하는 형태이므로 저장 공간을 절약하게 되며, 최근의 데이터로 갱신하는 것이 간단하게 이루어진다.

  • PDF