• 제목/요약/키워드: distributed storage systems

검색결과 207건 처리시간 0.025초

An Efficient Design and Implementation of an MdbULPS in a Cloud-Computing Environment

  • Kim, Myoungjin;Cui, Yun;Lee, Hanku
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제9권8호
    • /
    • pp.3182-3202
    • /
    • 2015
  • Flexibly expanding the storage capacity required to process a large amount of rapidly increasing unstructured log data is difficult in a conventional computing environment. In addition, implementing a log processing system providing features that categorize and analyze unstructured log data is extremely difficult. To overcome such limitations, we propose and design a MongoDB-based unstructured log processing system (MdbULPS) for collecting, categorizing, and analyzing log data generated from banks. The proposed system includes a Hadoop-based analysis module for reliable parallel-distributed processing of massive log data. Furthermore, because the Hadoop distributed file system (HDFS) stores data by generating replicas of collected log data in block units, the proposed system offers automatic system recovery against system failures and data loss. Finally, by establishing a distributed database using the NoSQL-based MongoDB, the proposed system provides methods of effectively processing unstructured log data. To evaluate the proposed system, we conducted three different performance tests on a local test bed including twelve nodes: comparing our system with a MySQL-based approach, comparing it with an Hbase-based approach, and changing the chunk size option. From the experiments, we found that our system showed better performance in processing unstructured log data.

Adaptive Deadline-aware Scheme (ADAS) for Data Migration between Cloud and Fog Layers

  • Khalid, Adnan;Shahbaz, Muhammad
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권3호
    • /
    • pp.1002-1015
    • /
    • 2018
  • The advent of Internet of Things (IoT) and the evident inadequacy of Cloud networks concerning management of numerous end nodes have brought about a shift of paradigm giving birth to Fog computing. Fog computing is an extension of Cloud computing that extends Cloud resources at the edge of the network, closer to the user. Cloud computing has become one of the essential needs of people over the Internet but with the emerging concept of IoT, traditional Clouds seem inadequate. IoT entails extremely low latency and for that, the Cloud servers that are distant and unknown to the user appear to be unsuitable. With the help of Fog computing, the Fog devices installed would be closer to the user that will provide an immediate storage for the frequently needed data. This paper discusses data migration between different storage types especially between Cloud devices and then presents a mechanism to migrate data between Cloud and Fog Layer. We call this mechanism Adaptive Deadline-Aware Scheme (ADAS) for Data migration between Cloud and Fog. We will demonstrate that we can access and process latency sensitive "hot" data through the proposed ADAS more efficiently than with a traditional Cloud setup.

온-프레미스 기반 지속적인 자원 서비스를 위한 서버 무중단 기법 (Non-Disruptive Server Management for Sustainable Resource Service Based on On-Premise)

  • 김현우
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제7권12호
    • /
    • pp.295-300
    • /
    • 2018
  • 최근 IT 기술의 급성장에 따라 종래의 많은 수동적인 업무가 자동화되었다. 이러한 자동화를 통해 많은 사람들의 여가 시간이 증대되고 이를 위한 다양한 서비스들이 개발되고 있다. 또한, 소형화되고 휴대에 편리한 스마트 디바이스의 등장으로 시간과 장소에 구애를 받지 않고 다양한 인터넷 서비스 이용이 가능하다. 많은 디바이스 및 서비스에서 발생되는 빅 데이터의 효율적인 저장 처리를 위해 가상화 기반의 다양한 연구들이 진행되고 있다. 이러한 연구 중에 온-프레미스 기반 분산된 데스크탑 자원을 통합하고 사용자에게 제공하는 데스크탑 스토리지 가상화는 가상화를 이용하여 분산된 레거시 데스크탑내에 사용되지 않는 자원을 통합한다. 이는 사용자에게 신뢰성 제공을 위한 고가용성이 매우 중요시된다. 또한, 분산된 데스크탑 기반 자원 통합 환경에서 효율적인 데이터 분배 저장 처리를 위한 계층적 구조 및 자원통합 연구들이 진행되고 있다. 그러나 온-프레미스 기반 자원 통합 환경에서 서버 고장 발생시 효율적인 대처를 위한 운영 연구가 미흡하다. 이러한 운영적 서버 고가용성을 위해 본 논문에서는 온-프레미스 기반 분산된 데스크탑내 스토리지 통합 환경에서 데스크탑 서버의 장애 발생에 따른 능동적인 대처가 가능한 무중단 서버 관리 기법을 제안한다. 이는 데스크탑 기반 통합 환경에서 데스크탑 추가 및 제거가 용이하다. 또한, 장애발생에 따라 대체 서버가 능동적으로 수행된다.

쿠쿠 필터 유사도를 적용한 다중 필터 분산 중복 제거 시스템 설계 및 구현 (Design and Implementation of Multiple Filter Distributed Deduplication System Applying Cuckoo Filter Similarity)

  • 김영아;김계희;김현주;김창근
    • 융합정보논문지
    • /
    • 제10권10호
    • /
    • pp.1-8
    • /
    • 2020
  • 최근 몇 년 동안 기업이 수행하는 비즈니스 활동에서 생성된 데이터를 기반으로 하는 기술이 비즈니스 성공의 열쇠로 부상함에 따라 대체 데이터에 대한 저장, 관리 및 검색 기술에 대한 필요성이 대두되었다. 기존 빅 데이터 플랫폼 시스템은 대체 데이터인 비정형 데이터를 처리하기 위해 실시간으로 생성된 대량의 데이터를 지체 없이 로드하고 중복 데이터 발생 시 서로 다른 스토리지의 중복 제거 시스템을 활용하여 스토리지 공간을 효율적으로 관리해야 한다. 본 논문에서는 빅 데이터의 특성을 고려하여 쿠쿠 해싱 필터 기법의 유사도를 이용한 다중 계층 분산 데이터 중복 제거 프로세스 시스템을 제안한다. 가상 머신 간의 유사성을 쿠쿠 해시로 적용함으로써 개별 스토리지 노드는 중복 제거 효율성으로 성능을 향상시키고 다중 레이어 쿠쿠 필터를 적용하여 처리 시간을 줄일 수 있다. 실험 결과 제안한 방법은 기존 블룸 필터를 이용한 중복 제거 기법에 의해 8.9%의 처리 시간 단축과 중복 제거율이 10.3% 높아짐을 확인하였다.

Modeling of Solar/Hydrogen/DEGS Hybrid System for Stand Alone Applications of a Large Store

  • Hong, Won-Pyo
    • 조명전기설비학회논문지
    • /
    • 제27권11호
    • /
    • pp.57-68
    • /
    • 2013
  • The market for distributed power generation based on renewable energy is increasing, particularly for standalone mini-grid applications in developing countries with limited energy resources. Stand-alone power systems (SAPS) are of special interest combined with renewable energy design in areas not connected to the electric grid. Traditionally, such systems have been powered by diesel engine generator sets (DEGS), but also hybrid systems with photovoltaic and/or wind energy conversion systems (WECS) are becoming quite common nowadays. Hybrid energy systems can now be used to generate energy consumed in remote areas and stand-alone microgrids. This paper describes the design, simulation and feasibility study of a hybrid energy system for a stand-alone power system. A simulated model is developed to investigate the design and performance of stand-alone hydrogen renewable energy systems. The analysis presented here is based on transient system simulation program (TRNSYS) with realistic ventilation load of a large store. Design of a hybrid energy system is site specific and depends on the resources available and the load demand.

AC and DC Microgrids: A Review on Protection Issues and Approaches

  • Mirsaeidi, Sohrab;Dong, Xinzhou;Shi, Shenxing;Wang, Bin
    • Journal of Electrical Engineering and Technology
    • /
    • 제12권6호
    • /
    • pp.2089-2098
    • /
    • 2017
  • Microgrid is a convenient, reliable, and eco-friendly approach for the integration of Distributed Generation (DG) sources into the utility power systems. To date, AC microgrids have been the most common architecture, but DC microgrids are gaining an increasing interest owing to the provision of numerous benefits in comparison with AC ones. These benefits encompass higher reliability, power quality and transmission capacity, non-complex control as well as direct connection to some DG sources, loads and Energy Storage Systems (ESSs). In this paper, main challenges and available approaches for the protection of AC and DC microgrids are discussed. After description, analysis and classification of the existing schemes, some research directions including coordination between AC and DC protective devices as well as development of combined control and protection schemes for the realization of future hybrid AC/DC microgrids are pointed out.

스마트 배전시스템의 최적 구성 방안에 관한 연구 (A Study on the Optimal Design for Smart Distribution System)

  • 지성호;손준호;송석환;노대석
    • 한국산학기술학회:학술대회논문집
    • /
    • 한국산학기술학회 2009년도 추계학술발표논문집
    • /
    • pp.834-836
    • /
    • 2009
  • The authors have been discussed the optimal voltage regulation method and on-line real time method using artificial neural networks in the distribution system interconnected with Distributed Generation and Storage(DSG) systems. However, these methods have difficulty in dealing with the random load variations and operation characteristics of a number of DSG systems. To overcome these problems, this paper shows the basic concepts of smart grid system which is considered as one of the power delivery system in the near future and presents an evaluation method on the impacts of customer voltages by the operation of smart grid system. The smart grid system can change the system configuration in a flexible manner by using the static switches and offer the different power qualities in power services through the power quality control centers.

  • PDF

A Microgrid Operation based on a Power Market Environment

  • Kim, Hak-Man;Kinoshita, Tetsuo
    • 조명전기설비학회논문지
    • /
    • 제23권11호
    • /
    • pp.61-68
    • /
    • 2009
  • A Microgrid is a private small-scale power system composed of distributed energy resources (DERs), storage devices and loads. And it is expected that the Microgrid will come into wide use in the near future. For this, the establishment of the Microgrid operation methodology is a very important problem. Especially, the Microgrid is greatly different from existing private small-scale power systems because of the multiple participants. Therefore, the Microgrid operation considered various requirements according to multiple participants is more complicated than the operation of existing private small-scale power systems. In this paper, Microgrid operation methodology based on a market environment is suggested. Through case studies, the effectiveness of the suggested methodology is verified.

클라우드 기반 지리공간정보를 활용한 작전상황 혼합현실 가시화 시스템 설계 (Design of Mixed Reality Visualization System for Operational Situation Using Cloud-based Geospatial Information)

  • 장영찬;박재일;조은지;곽송연;신상헌
    • 한국군사과학기술학회지
    • /
    • 제27권1호
    • /
    • pp.60-69
    • /
    • 2024
  • The importance of geospatial information is increasingly highlighted in the defense domain. Accurate and up-to-date geospatial data is essential for situational awareness, target analysis, and mission planning in millitary operations. The use of high-resolution geospatial data in military operations requires large storage and fast image processing capabilities. Efficient image processing is required for tasks such as extracting useful information from satellite images and creating 3D terrain for mission planning, In this paper, we designed a cloud-based operational situation mixed reality visualization system that utilizes large-scale geospatial information distributed processed on a cloud server based on the container orchestration platform Kubernetes. We implemented a prototype and confirmed the suitability of the design.

IoT 센서노드 시스템을 위한 고출력 에너지 하베스팅 시스템 (High Power Energy Harvesting Systems for IoT Sensor Nodes Systems)

  • 김용석;박용수;백돈규
    • 한국산업정보학회논문지
    • /
    • 제27권4호
    • /
    • pp.29-36
    • /
    • 2022
  • 기존의 IoT 센서 노드는 배터리로부터 에너지를 공급받아 동작하는데, 넓게 분포되어 다양한 정보를 수집해야 하는 센서 노드의 특성상, 주기적으로 배터리를 새로 교체해야 하는 단점이 존재한다. 이 단점을 극복하기 위해 에너지 하베스팅 시스템을 통해 태양광이나 고온 증기 등으로부터 에너지를 수확할 수 있다. 하지만, 기존의 에너지 하베스팅 시스템은 공급전력이 상당히 제한적이기 때문에 통신과 같이 순간적으로 높은 전력을 요구하는 어플리케이션을 활용하기가 어렵다. 이 논문에서 우리가 제안하는 고출력 에너지 하베스팅 시스템은 기존 에너지 하베스팅의 단점을 보완한 Switch Control Unit을 설계하여 수확된 에너지양과 어플리케이션 동작 모드에 따라 수확된 에너지를 에너지 저장장치에 저장하거나 수확 및 저장된 에너지를 순간적으로 모두 어플리케이션에서 사용할 수 있도록 구상하였다. 제안한 시스템을 검증하기 위해 태양광을 기반으로 한 에너지 하베스팅 시스템을 구현하였으며 각각의 동작 모드에 따라 어플리케이션에 공급하는 전력량과 에너지 저장장치의 용량에 따른 최대 공급 시간을 확인하였다.