• Title/Summary/Keyword: 대용량 스토리지

Search Result 88, Processing Time 0.026 seconds

Unit Level Address Mapping Technique for Large Capacity Flash Memory Storage Devices (대용량 플래시 메모리 저장 장치를 위한 유닛 레벨 주소 변환 기법)

  • Kim, Hyuk-Joong;Shin, Dong-Kun
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2011.06b
    • /
    • pp.434-437
    • /
    • 2011
  • 낸드 플래시 메모리는 하드 디스크와는 다른 여러가지 특성 때문에 논리 주소를 불러 주소를 변환해 주는 주소 변환 계층(FTL)이 필요하다. 최근에 고성능의 저장 장치를 제공하기 위해서 페이지 수준의 주소 변환 기법이 많이 사용되고 있는 데, 이 기법은 매핑 정보가 너무 커서 메모리에서 매핑 정보를 관리하기에는 힘들다는 문제와 데이터의 접근 지역성을 잘 활용하지 못하는 문제가 있다. 본 논문에서는 스토리지의 주소 공간을 유닛이라는 단위로 분리하여 페이지 수준의 주소변환을 사용함으로써 매핑 정보를 크기를 줄이고 또한 접근 지역성을 활용하여 가비지 컬렉션 오버해드를 줄이는 유닛 레벨 주소 변환 기법을 제시한다. 실험결과 제시한 기법은 페이지 매핑 기법보다 랜덤 접근 패턴에서 가비지 컬렉션 오버해드를 40% 감소시켰으며 매핑 데이터 량도 38% 감소시켰다.

A Scheme on High-Performance Caching and High-Capacity File Transmission for Cloud Storage Optimization (클라우드 스토리지 최적화를 위한 고속 캐싱 및 대용량 파일 전송 기법)

  • Kim, Tae-Hun;Kim, Jung-Han;Eom, Young-Ik
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.37 no.8C
    • /
    • pp.670-679
    • /
    • 2012
  • The recent dissemination of cloud computing makes the amount of data storage to be increased and the cost of storing the data grow rapidly. Accordingly, data and service requests from users also increases the load on the cloud storage. There have been many works that tries to provide low-cost and high-performance schemes on distributed file systems. However, most of them have some weaknesses on performing parallel and random data accesses as well as data accesses of frequent small workloads. Recently, improving the performance of distributed file system based on caching technology is getting much attention. In this paper, we propose a CHPC(Cloud storage High-Performance Caching) framework, providing parallel caching, distributed caching, and proxy caching in distributed file systems. This study compares the proposed framework with existing cloud systems in regard to the reduction of the server's disk I/O, prevention of the server-side bottleneck, deduplication of the page caches in each client, and improvement of overall IOPS. As a results, we show some optimization possibilities on the cloud storage systems based on some evaluations and comparisons with other conventional methods.

Development of Transmission Algorithm of VLBI Observation Data and Transmission Experiment Between Server and RVDB (VLBI 관측 데이터의 전송 알고리즘 개발과 서버와 RVDB 사이의 전송 시험)

  • Yeom, Jae-Hwan;Oh, Se-Jin;Roh, Duk-Gyoo;Jung, Dong-Kyu;Oh, Chung-Sik;Yun, Youngjoo;Kim, Hyo-Ryoung
    • Journal of the Institute of Convergence Signal Processing
    • /
    • v.15 no.4
    • /
    • pp.183-191
    • /
    • 2014
  • This paper describes the development of the observational data transmission algorithm for high-speed network in radio astronomy. For the preprocessing of VLBI data observed by radio telescope, data transmission algorithm uses the VDIF specification, VDIFCP, and UDP protocol by transferring VLBI data stored in a massive storage server with one-to-one correspondence between the server and the RVDB of Daejeon correlator. A transmission method is proposed, which reads the recorded data in Mark5B VSI format and trnasmits 2048 Mbps VLBI data by software through UDP packet transmission, while RVDB system is waiting for the transmitting data from the server. In order to check the effectiveness of the proposed method, the data transmission between the massive storage server and RVDB is conducted and the transmitted data is correlated by Daejeon correlator for the accurate comparison concerning the data before and after. The transmitted data is shown to be completely the same as the original data without any data transmission loss. Henceforth, the developed data transmission algorithm in this research is expected to be applied effectively as e-VLBI for KaVA network.

RDFS Rule based Parallel Reasoning Scheme for Large-Scale Streaming Sensor Data (대용량 스트리밍 센서데이터 환경에서 RDFS 규칙기반 병렬추론 기법)

  • Kwon, SoonHyun;Park, Youngtack
    • Journal of KIISE
    • /
    • v.41 no.9
    • /
    • pp.686-698
    • /
    • 2014
  • Recently, large-scale streaming sensor data have emerged due to explosive supply of smart phones, diffusion of IoT and Cloud computing technology, and generalization of IoT devices. Also, researches on combination of semantic web technology are being actively pushed forward by increasing of requirements for creating new value of data through data sharing and mash-up in large-scale environments. However, we are faced with big issues due to large-scale and streaming data in the inference field for creating a new knowledge. For this reason, we propose the RDFS rule based parallel reasoning scheme to service by processing large-scale streaming sensor data with the semantic web technology. In the proposed scheme, we run in parallel each job of Rete network algorithm, the existing rule inference algorithm and sharing data using the HBase, a hadoop database, as a public storage. To achieve this, we implement our system and evaluate performance through the AWS data of the weather center as large-scale streaming sensor data.

A Study on Development of the Evaluation Guideline for the Storage Performance (스토리지 성능 평가지침 개발 연구)

  • Ko, Dae-Sik
    • Journal of Advanced Navigation Technology
    • /
    • v.14 no.2
    • /
    • pp.266-271
    • /
    • 2010
  • In this paper, we chose IOPS(input output operation per second) and MB/s as a performance standard, and we developed the evaluation standard for the storage performance. Since there is no vendor-neutral evaluation criteria for storage performance, it is difficult to evaluate storage performance and design the storage resource's sizing. We proposed block size for measurement of the storage's IOPS for OLTP(online transaction processing) application to 4KB, 8KB and 16KB and read/write rate of it to 7:3. On the other hand, we proposed block size for measurement of the storage's IOPS for backup, VOD, Large file processing) to 64KB, 256KB and 1024KB and read/write rates of it to 7:3 and 1:0. Finally, we proposed the Vdvench BMT tool, which is independent on platform. We also developed the result reporting tool for developed evaluation criteria.

Design and Implementation of Low-Power Object-based IP Storage for Mobile Devices using WLAN Power Control (WLAN 전력제어를 적용한 모바일 단말용 저전력 객체기반 IP 스토리지 설계 및 구현)

  • Nam, Young-Jin;Choi, Min-Seok;Jeon, Young-Joon;Ryu, Jeong-Tak;Moon, Byung-Hyun
    • Journal of Korea Society of Industrial Information Systems
    • /
    • v.12 no.4
    • /
    • pp.32-40
    • /
    • 2007
  • A mobile device accesses large-sized data in object-based IP storage as an object unit over IP network. It relies heavily on a WLAN device, which has been known as one of the major power consumers. This paper designs and implements low-power object-based IP storage for mobile devices using an efficient WLAN power control. The proposed WLAN power control exploits prefetch buffer to maximize the idleness for incoming network traffic and controls available WLAN power modes to minimize the power consumption. Our experimental results reveal that the proposed WLAN control can save the total power consumption in a PXA270-based mobile device about 9% while playing the multimedia contents through an object-based IP storage device

  • PDF

The grid-based distributed indexing on scalable spatial data (대용량 공간 데이터에 대한 그리드 기반 분산 색인 기법)

  • Jang, Hong-Jun;Chung, Jea-Hwa;Diana, Gromyko;Jung, Soon-Young
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2011.06a
    • /
    • pp.29-32
    • /
    • 2011
  • 최근 GPS를 탑재한 스마트 기기의 보급으로 인해 사용자의 위치 정보를 이용한 위치기반서비스(LBS)가 많은 관심 속에 급속도로 성장하고 있다. 대부분의 위치기반서비스는 사용자의 위치를 바탕으로 주변의 유용한 정보를 제공하고 있으며 이러한 사용자 주변의 유용한 정보를 효율적으로 검색하기 위해서는 공간 데이터에 대한 색인 기법이 필요하다. 그러나 기존 공간 색인은 대부분 중앙 집중식 환경에서 연구가 진행되었고 분산 스토리지 환경에 대한 연구는 미흡하다. 따라서 본 연구는 서비스 성장과 더불어 서비스 영역이 확대됨에 따른 대용량 공간 데이터 환경에서 효율적인 공간 데이터 검색을 지원하는 그리드 기반 분산 색인 기법을 제안한다.

SAN Monitoring System for SAN Management with Data Base Approach (SAN 관리를 위한 DB 기반의 SAN 모니터링 시스템)

  • Kim, Byung-Chul;Yun, Chang-Yung;Kim, Sung-Min;Park, Sung-Sun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2005.05a
    • /
    • pp.533-536
    • /
    • 2005
  • 오늘날 기업들의 대용량 스토리지에 대한 요구가 높아지고 효율적인 데이터 관리를 위한 방법들을 많이 강구하고 있다. 이런 저장장치의 요구를 해결하기 위한 방안으로 제시되고 있는 것이 SAN(Storage Area Network)이다. 대용량을 전송시킬 수 있는 고속네트워크인 SAN은 기업들의 요구에 대한 답안으로 제시되고 있지만 SAN을 위한 다양한 하드웨어들의 출시에 비해 아직까지 효율적 관리를 위한 소프트웨어가 많이 없는 상황이다. 본 논문에서는 SAN장비의 효율적인 관리를 위한 방법으로 DB를 사용한 데이터 관리 및 SNMP,FC-GS를 이용한 SANCruiser를 제안하고 디바이스에 독립적인 기술들을 보여준다.

  • PDF

A design of Structure for optimization of Hybrid Storage (하이브리드 스토리지 최적화를 위한 구조 설계)

  • Park, Jong-Chang;Kim, Kyung-Tae;Youn, Hee-Young
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2014.07a
    • /
    • pp.237-238
    • /
    • 2014
  • 최근 낸드 플래시 기반의 SSD가 상용화 되면서 기존의 HDD 저장 장치와 SSD를 함께 사용하는 Hybrid 저장장치에 대한 연구가 되고 있다. SSD의 빠른 읽기 및 쓰기 속도와 HDD의 대용량을 함께 효율적으로 사용하기 위하여 본 논문에서는 메모리에서 방출된 페이지들을 구별하여 각각의 저장장치에 저장하는 모델을 제안하였다. 이를 통하여 Hybrid 저장장치에서 SSD의 GC(Garbage Collection)을 최대한 줄임으로써 쓰기 속도를 향상시키고 HDD의 대용량 저장장치를 이용하여 전체적인 성능이 향상 된 것을 증명하였다.

  • PDF

Safe Data Sharing Scheme in Cloud Computing (클라우드 컴퓨팅 환경에서의 안전한 데이터 공유 기법)

  • Kim, Su-Hyun;Lee, Im-Yeong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.722-725
    • /
    • 2015
  • 분산 컴퓨팅 환경에서 다양한 데이터 서비스가 가능해지면서 대용량 데이터의 분산관리가 주요 이슈로 떠오르고 있다. 한편, 대용량 데이터의 다양한 이용 형태로부터 악의적인 공격자나 내부 사용자에 의한 보안 취약성 및 프라이버시 침해가 발생할 수 있다. 민감한 데이터들이 클라우드 서버 내에 저장되어 사용될 때, 외부 공격자나 내부 사용자의 미흡한 관리로 인한 데이터 유출 문제가 발생할 수 있다. 이를 해결하기 위해 데이터에 대한 암호화를 통해 관리가 가능하다. 하지만 기존의 단순한 암호화 방식은 클라우드 환경에 저장된 데이터의 접근 관리에 따른 문제점이 존재한다. 또한, 기존의 데이터 암호 기술들은 클라우드 스토리지 상에서 여러 사용자 간의 데이터 공유 서비스에 적용하기 힘든 단점을 가지고 있다. 따라서 본 논문에서는 속성기반 암호로 암호화된 키를 재암호화하여 다른 사용자와 안전하고 효율적으로 공유할 수 있는 데이터 공유기법을 제안한다.