• Title/Summary/Keyword: 대용량 스토리지

Search Result 88, Processing Time 0.027 seconds

Performance Enhancement of Distributed File System as Virtual Desktop Storage Using Client Side SSD Cache (가상 데스크톱 환경에서의 클라이언트 SSD 캐시를 이용한 분산 파일시스템의 성능 향상)

  • Kim, Cheiyol;Kim, Youngchul;Kim, Youngchang;Lee, Sangmin;Kim, Youngkyun;Seo, Daewha
    • KIPS Transactions on Computer and Communication Systems
    • /
    • v.3 no.12
    • /
    • pp.433-442
    • /
    • 2014
  • In this paper, we introduce the client side cache of distributed file system for enhancing read performance by eliminating the network latency and decreasing the back-end storage burden. This performance enhancement can expand the fields of distributed file system to not only cloud storage service but also high performance storage service. This paper shows that the distributed file system with client side SSD cache can satisfy the requirements of VDI(Virtual Desktop Infrastructure) storage. The experimental results show that full-clone is more than 2 times faster and boot time is more than 3 times faster than NFS.

A Study on the Technologies of Storage Management System for Digital Contents (디지털콘텐츠의 저장관리시스템 기술에 관한 연구)

  • 조윤희
    • Journal of Korean Library and Information Science Society
    • /
    • v.34 no.2
    • /
    • pp.187-207
    • /
    • 2003
  • With the rapidly evolving information technologies and the Internet, a network-based storage management system is required that can efficiently save, search, modify, and manage digital contents which are increasing by geometric progression. Recently, the SAN became highlighted as a solution to such issues as the integrated data management for heterogeneous systems, the effective utilization of storage systems, and the limitation of data transfer. SAN allows for effective management and sharing of bulk data by directly connecting the storage systems, which used to be independently connected to servers, to the high-speed networks such as optical channels. In this study, I researched on the technologies, standardization and market trends of storage management systems, and performed comparative analyses of the structures, components, and performances for achieving the integration of diverse system storage systems as well as the virtualization of storage systems.

  • PDF

File System Snapshot (파일 시스템 스냅샷)

  • Suk, Jin-Sun;No, Jae-Chun
    • Journal of the Institute of Electronics Engineers of Korea CI
    • /
    • v.47 no.4
    • /
    • pp.88-95
    • /
    • 2010
  • As the development of IT technologies, storages stored very sensitive data which should not be damaged, too. It increased the importance of data backup and makes the time need to backup data important issues. Snapshot is one of the backup technologies which needs short downtime to maintain consistency of data during backup data. In this paper, we studied two kinds of snapshots, local file system based snapshot and network file system based snapshot. In the local file system based snapshot part, we propose the PSnap which is a snapshot library for non-snapshot file system as like Ext2, Ext3 and XFS. In another part, network file system based snapshot, we propose the GlorySnap which snapshot utilities for GloryFS is a distributed file system was made by ETRI.

KMTNet Real-Time Data Processing Status

  • Kim, Dong-Jin;Lee, Chung-Uk;Kim, Seung-Lee;Kim, Hyun-Woo;Hwang, Kyu-Ha;Park, Hong Soo
    • The Bulletin of The Korean Astronomical Society
    • /
    • v.43 no.1
    • /
    • pp.40.2-40.2
    • /
    • 2018
  • 외계행성 탐색시스템으로 관측한 영상은 한국천문연구원 본원에 있는 자료처리 시스템으로 실시간 전송된다. 이를 위해 한국과학기술정보연구원이 운영 중인 첨단망과 UDP 전송 프로그램을 활용하고 있으며 연간 약 140TB의 관측 영상을 칠레 55Mbps, 남아공 39Mbps, 호주 410Mbps의 속도로 전송하고 있다. 관측 영상이 전송되면 MEF 포맷으로 구조화 하고 bias, flat, crosstalk 보정과 bad pixel masking 등의 전처리 과정을 거쳐 각 연구과제별로 실시간 배포하고 있다. 중력렌즈 연구를 위한 우리 은하 중심부 관측영상은 차감영상 기법을 사용하여 약 3억 개의 별에 대해 측광하고 있으며, $18K{\times}18K$ 크기의 대용량 관측 영상을 빠르고 효율적으로 처리하기 위해 256개로 분할하여 분산처리하고 있다. 2014년부터 자료처리를 위한 시스템을 구축하고 증설하였으며 현재 11대의 서버(212Core)와 2.7PB의 NAS 스토리지를 운영하며 연간 700TB이상의 자료를 처리하고 있다. 우리은하 중심부 측광자료에서 검출된 변광 현상을 정리하여 측광데이터베이스를 구축하였다. 본 발표에서는 KMTNet 실시간 자료처리 과정에 대한 상세한 내용과 향후 자료처리 시스템 개선방향에 대해 소개한다.

  • PDF

SSD Assisted Recovery Efficiency Optimization System Based on Deduplication Method in the Cloud (클라우드 환경에서 중복 제거 기법을 적용한 SSD 기반의 회복 효율성 최적화 시스템 설계)

  • Kim, Min-Jae;Kim, Kyung-Tae;Youn, Hee-Young
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2014.07a
    • /
    • pp.223-226
    • /
    • 2014
  • 클라우드 컴퓨팅 및 모바일 통신 서비스의 사용량이 급격히 증가함에 따라 데이터가 기하급수적으로 증가하고 있다. 이러한 데이터를 저장하는 스토리지 장치로서 소비 전력이 작으며 우수한 데이터 접근 성능을 보이는 SSD(Solid State Disk)가 각광받고 있다. SSD는 다수의 NAND 플래시 메모리를 부착하고 호스트에서 요구하는 명령을 받아 수행하는 대용량 장치이다. 이러한 SSD는 비휘발성, 빠른 성능, 내구성, 저전력 등의 장점으로 인해 시장에서 널리 사용되고 있다. 그러나 이러한 SSD의 장점들에도 불구하고 읽기, 쓰기, 삭제 연산 수행 시간의 비대칭성과 불균등한 기본단위, 덮어쓰기 연산의 불가, 한정된 블록 당 삭제횟수 등의 NAND 플래시 메모리의 내재적 단점들이 존재한다. 그 중 NAND 플래시 메모리의 블록 당 한정된 삭제 횟수는 SSD의 수명에 영향을 끼치며 일정한 삭제 횟수를 초과하게 되면 안정성이 크게 떨어지게 되고 더 이상 사용이 불가능하게 된다. 따라서 본 논문에서는 클라우드 환경에서의 SSD에서 NAND 플래시 블록의 한정된 삭제 횟수에 따른 성능의 효율성을 향상시키기 위하여 중복 제거 기법을 적용한 SSD기반의 회복 효율성 최적화 시스템을 설계하였다.

  • PDF

Using the Mobile Cloud Universal Video Integrated Management System (모바일 클라우드를 이용한 범용 영상 통합 관리 시스템)

  • Jeong, Seong-woo;Park, You-hyun;Yu, Yun-sik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.11a
    • /
    • pp.1336-1339
    • /
    • 2012
  • 최근 공공기관을 통해 CCTV 영상을 통합관리 하려는 움직임이 활발히 발생하고 있다. 하지만, CCTV의 수가 증가하고, 해상도가 높아지면서 통합관리시 저장비용, 검색비용 등의 문제가 예상되고 있다. 이러한 문제의 해결책으로 클라우드 컴퓨팅 기술을 들 수 있는데, 클라우드 컴퓨팅은 다양한 클라이언트 디바이스에서 필요한 시점에 인터넷을 이용해 공유 풀에 있는 서버, 스토리지, 애플리케이션, 서비스 등과 같은 IT 리소스에 쉽게 접근할 수 있는 것을 가능하게 하는 모델이다. 또한 모바일 클라우드 컴퓨팅은 클라우드 컴퓨팅과 다양한 모바일 기기를 결합하여 다양한 서비스를 제공하는 것이다. CCTV와 같은 영상을 생산하는 클라이언트를 모바일 클라우드의 단말로 보고, 영상 데이터를 클라우드 컴퓨팅을 이용하여 관리하면, 저가의 비용으로 대용량의 영상을 저장하는데 비용을 절감 할 수 있으며, 간단한 방법으로 병렬 처리로 검색을 할 수 있어, 검색 시간을 절감 할 수 있는 효과가 있다. 본 논문에서는 모바일 클라우드를 이용한 범용 영상 통합 관리 시스템 모델을 제안하고 이를 토대로 차량용 블랙박스 분야에 한정한 시스템 설계하고 구현하였다.

Efficient Data Integrity Verification Scheme to Support Public Auditability and Data Dynamics in Cloud Computing (클라우드 컴퓨팅 환경에서 공개적 검증과 동적 연산이 가능한 효율적인 데이터 무결성 검증기법)

  • Son, Junggab;Hussain, Rasheed;Oh, Heekuck
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.11a
    • /
    • pp.1032-1035
    • /
    • 2012
  • 클라우드 컴퓨팅을 제공하기 위해 서비스 제공자는 대용량의 중앙집중형 데이터 센터를 구축하고, 클라이언트는 어플리케이션 소프트웨어와 데이터베이스를 이러한 데이터 센터에 저장한다. 클라우드 컴퓨팅을 사용하면 컴퓨팅 자원을 구축하는 비용을 절감할 수 있다는 장점이 있다. 문제는 클라이언트가 데이터 센터와 서비스제공자를 완전히 신뢰할 수 없다는 것이다. 예를 들어, 클라우드에 저장된 파일이 손실되었을 때 서비스 제공자는 서비스의 신뢰도가 떨어지는 것을 막기 위해 이를 숨길 수 있다. 이때, 데이터가 저장 후에 손실되었다는 것을 증명하지 못하면, 그 피해는 클라이언트에게 돌아오게 된다. 따라서, 클라이언트의 데이터를 보호하기 위하여 무결성을 검증할 수 있는 적절한 기법을 적용하여야 한다. 대부분의 기존 연구에서는 public aditability와 dynamic data update를 동시에 지원하지 못하며, 이를 동시에 지원한다 하더라도 효율성이 떨어지는 문제가 있다. 본 논문에서는 클라우드 컴퓨팅에서 데이터 스토리지의 무결성을 검증하기 위한 기법을 제안한다. 제안하는 기법은 효율성, 동적 데이터 환경, public auditability를 설계목표로 한다. 블록 마다 서명을 생성해야 하는 이전 기법과 달리, 제안하는 기법은 한번의 서명으로 검증값을 생성하므로 데이터의 크기에 영향을 적게 받는다. 또한, 삽입, 삭제, 수정 등의 연산이 발생하는 동적 데이터 환경에서도 효과적으로 저장된 데이터의 무결성을 검증할 수 있게 설계하였다. 마지막으로 파일에 접근할 수 있는 클라이언트는 누구나 데이터의 무결성을 확인할 수 있으므로 public auditability를 제공한다.

A study on Partition Allocation Techniques of iATA-based Virtual Storage (iATA 기반의 가상 스토리지 파티션 할당 기법에 관한 연구)

  • Park, Sungjin;Chun, Jooyoung;Lim, Hyotaek
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2009.05a
    • /
    • pp.68-71
    • /
    • 2009
  • iATA(Internet Advanced Technology Attachment)는 TCP/IP 네트워크를 통해 원격의 대용량의 가상 저장 공간을 자신의 로컬 디스크 처럼 활용이 가능하게 하는 기술로 이는 모바일 기기(PDA, 휴대폰 등)와 같은 저장 공간의 부족문제를 가지고 있는 장치에 적용하여 저장 공간의 부족 문제를 근본적으로 해결할 수 있는 솔루션이라 할 수 있다. iATA는 SCSI 하드디스크가 장착된 시스템에서만 서버를 구축해야만 하는 iSCSI와는 달리 일반 가정이나 사무실에서 주로 사용하는 ATA 하드 디스크에도 서버 구축이 가능한 확장성을 가지고 있으며 이는 iATA의 최대 장점 중 하나라 할 수 있다. 또한, Web 사이트를 통해 많은 사람들이 iATA 서비스를 이용하여 자신의 모바일 기기에서의 저장공간 문제를 극복할 수 있으며, 최근 사회 문제로 크게 대두되고 있는 개인 정보 유출의 폐해를 막기 위해 개인 인증시 OpenSSL과 MD5를 이용한 보안/암호화 기법을 사용하여 개인 정보 유출에 의한 불이익 및 개인 정보 악용으로 인한 범죄를 막을 수 있다. 하지만, 기존의 iATA상에서는 디스크 관리가 서버에서만 가능하다는 문제점이 있다. 즉, 사용자만의 개인공간을 가질 수가 없다. 이처럼 개인 사진이나, 다이어리같은 정보들을 관리 할 수 없는 문제점을 해결하기 위해 클라이언트에서 자신만의 디스크 공간을 가질 수 있게 파티션을 할당해주고, 그 공간을 클라이언트만의 공간으로 만들어 주는 기술을 개발하는데 그 목적이 있다.

  • PDF

An Address Translation Technique Large NAND Flash Memory using Page Level Mapping (페이지 단위 매핑 기반 대용량 NAND플래시를 위한 주소변환기법)

  • Seo, Hyun-Min;Kwon, Oh-Hoon;Park, Jun-Seok;Koh, Kern
    • Journal of KIISE:Computing Practices and Letters
    • /
    • v.16 no.3
    • /
    • pp.371-375
    • /
    • 2010
  • SSD is a storage medium based on NAND Flash memory. Because of its short latency, low power consumption, and resistance to shock, it's not only used in PC but also in server computers. Most SSDs use FTL to overcome the erase-before-overwrite characteristic of NAND flash. There are several types of FTL, but page mapped FTL shows better performance than others. But its usefulness is limited because of its large memory footprint for the mapping table. For example, 64MB memory space is required only for the mapping table for a 64GB MLC SSD. In this paper, we propose a novel caching scheme for the mapping table. By using the mapping-table-meta-data we construct a fully associative cache, and translate the address within O(1) time. The simulation results show more than 80 hit ratio with 32KB cache and 90% with 512KB cache. The overall memory footprint was only 1.9% of 64MB. The time overhead of cache miss was measured lower than 2% for most workload.

Design of System for Avoiding upload of Identical-file using SA Hash Algorithm (SA 해쉬 알고리즘을 이용한 중복파일 업로드 방지 시스템 설계)

  • Hwang, Sung-Min;Kim, Seog-Gyu
    • Journal of the Korea Society of Computer and Information
    • /
    • v.19 no.10
    • /
    • pp.81-89
    • /
    • 2014
  • In this paper, we propose SA hash algorithm to avoid upload identical files and design server system using proposed SA hash algorithm. Client to want to upload file examines the value of SA hash and if the same file is found in server system client use the existing file without upload. SA hash algorithm which is able to examine the identical-file divides original file into blocks of n bits. Original file's mod i bit and output hash value's i bit is calculated with XOR operation. It is SA hash algorithm's main routine to repeat the calculation with XOR until the end of original file. Using SA hash algorithm which is more efficient than MD5, SHA-1 and SHA-2, we can design server system to avoid uploading identical file and save storage capacity and upload-time of server system.