• Title/Summary/Keyword: 쓰기 패턴

Search Result 48, Processing Time 0.034 seconds

An Efficient Log Buffer Management Through Join between Log Blocks (로그 블록 간 병합을 이용한 효율적인 로그 버퍼 관리)

  • Kim, hak-cheol;Park, youg-hun;Yun, jong-hyeon;Seo, dong-min;Song, seok-il;Yoo, jae-soo
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2009.05a
    • /
    • pp.51-56
    • /
    • 2009
  • Flash memory has rapidly deployed as data storage. However, the flash memory has a major disadvantage that recorded data cannot be dynamically overwritten. In order to solve this "erase-before-write" problem, the log block buffer scheme used Flash memory file system. however, the current managements of the log buffer, in case random write pattern, BAST technique have problem of frequent merge operation, but FAST technique don't consider merge operation by frequently updated data. Previous methods not consider merge operation cost and frequently updated data. In this paper, we propose a new log buffer management scheme, called JBB. Our proposed method evaluates the worth of the merge of log blocks, so we conducts the merge operation between infrequently updated data and its data blocks, and postpone the merge operation between frequently updated data and its data blocks. Through the method, we prevent the unnecessary merge operations, reduce the number of the erase operation, and improve the utilization of the flash memory storage. We show the superiority of our proposed method through the performance evaluation with BAST and FAST.

  • PDF

Improving the Lifetime of NAND Flash-based Storages by Min-hash Assisted Delta Compression Engine (MADE (Minhash-Assisted Delta Compression Engine) : 델타 압축 기반의 낸드 플래시 저장장치 내구성 향상 기법)

  • Kwon, Hyoukjun;Kim, Dohyun;Park, Jisung;Kim, Jihong
    • Journal of KIISE
    • /
    • v.42 no.9
    • /
    • pp.1078-1089
    • /
    • 2015
  • In this paper, we propose the Min-hash Assisted Delta-compression Engine(MADE) to improve the lifetime of NAND flash-based storages at the device level. MADE effectively reduces the write traffic to NAND flash through the use of a novel delta compression scheme. The delta compression performance was optimized by introducing min-hash based LSH(Locality Sensitive Hash) and efficiently combining it with our delta compression method. We also developed a delta encoding technique that has functionality equivalent to deduplication and lossless compression. The results of our experiment show that MADE reduces the amount of data written on NAND flash by up to 90%, which is better than a simple combination of deduplication and lossless compression schemes by 12% on average.

SSD Caching based De-Duplication for Virtualization Environment (가상화 환경을 위한 SSD 캐시 기반의 중복 제거 기법)

  • Kang, Dong-Woo;Kim, Se-Woog;Lee, Nam-Su;Choi, Jong-Moo;Kim, Jun-Mo
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06a
    • /
    • pp.293-295
    • /
    • 2012
  • 가상화 기술은 물리적 컴퓨팅 자원을 사용자에게 논리적으로 제공하여 시스템의 효율성을 높이고 유연성을 향상시키기 위한 기술로 서버 통합이나 아마존 EC2와 같은 클라우드 컴퓨팅 환경에서 사용되고 있다. 이러한 가상화 환경에서는 다수의 가상머신들의 동시적인 I/O 수행으로 인해 저장장치에 병목현상이 발생된다. 또한 각 가상머신들의 중복된 데이터들을 저장하기 위해 불필요한 쓰기 비용이 발생하여 시스템의 성능 저하가 발생하게 된다. 본 논문에서는 이러한 가상화 환경에서의 I/O비용을 감소시키기 위해 SSD를 캐시로 사용하는 중복 제거 기법을 제안한다. 제안된 기법은 중복된 데이터를 제거하여 불필요한 디스크에 대한 I/O 수행을 감소시키며, 중복 발생 패턴의 특성을 고려하여 SSD의 빠른 쓰기 성능을 효과적으로 사용할 수 있는 캐시 구조 모델을 통해 가상화 환경에서 I/O 성능을 향상 시킬 수 있음을 보인다.

A Buffer Replacement Policy using Hot Page Management Scheme for Improving Performance of Flash Memory (플래시 메모리 성능향상을 위한 핫 페이지 관리 기법을 이용한 버퍼교체 정책)

  • Daeyoung Kim;Junghan Kim;Hyun-jin Cho;Young Ik Eom
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2008.11a
    • /
    • pp.860-863
    • /
    • 2008
  • 플래시 메모리는 우리 생활에 널리 사용되고 있는 휴대용 저장장치 중의 하나이다. 빠른 입출력 속도와 저전력, 무소음, 작은 크기 등의 장점을 가지나 덮어쓰기가 불가능하고 읽기/쓰기의 속도에 비해 소거 연산의 속도가 매우 느리다는 단점이 있다. 이를 보완하기 위해, 호스트와 플래시 메모리 사이에 버퍼 캐시를 두어 사용하고 있으며, 버퍼 캐시에 사용되는 교체 정책에 따라 플래시 메모리 장치의 성능이 크게 영향을 받는다. 본 논문에서는 블록 단위의 LRU 기법의 단점을 개선한 HPLRU 기법을 제안한다. HPLRU 기법은 최근에 자주 참조되었던 페이지인 핫 페이지 들을 모아 리스트를 만들어 관리하고, 이를 통해 페이지 적중률을 향상시키고 다른 페이지들로 인해 핫 페이지들이 소거되는 현상을 개선하였다. 이 알고리즘은 임의 데이터 패턴에 좋은 성능을 보이며 쓰기 발생 횟수를 많이 감소시키는 결과를 보였다.

Implementation of query model of CQRS pattern using weather data (기상 데이터를 활용한 CQRS 패턴의 조회 모델 구현)

  • Seo, Bomin;Jeon, Cheolho;Jeon, Hyeonsig;An, Seyun;Park, Hyun-ju
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.23 no.6
    • /
    • pp.645-651
    • /
    • 2019
  • At a time when large amounts of data are being poured out, there are many changes in software architecture or data storage patterns because of the nature of the data being written, rather more read-intensive than writing. Accordingly, in this paper, the query model of Command Query Responsibility Segmentation (CQRS) pattern separating the responsibilities of commands and queries is used to implement an efficient high-capacity data lookup system in users' requirements. This paper uses the 2018 temperature, humidity and precipitation data of the Korea Meteorological Administration Open API to store about 2.3 billion data suitable for RDBMS (PostgreSQL) and NoSQL (MongoDB). It also compares and analyzes the performance of systems with CQRS pattern applied from the perspective of the web server (Web Server) implemented and systems without CQRS pattern, the storage structure performance of each database, and the performance corresponding to the data processing characteristics.

Improving Flash Translation Layer for Hybrid Flash-Disk Storage through Sequential Pattern Mining based 2-Level Prefetching Technique (하이브리드 플래시-디스크 저장장치용 Flash Translation Layer의 성능 개선을 위한 순차패턴 마이닝 기반 2단계 프리패칭 기법)

  • Chang, Jae-Young;Yoon, Un-Keum;Kim, Han-Joon
    • The Journal of Society for e-Business Studies
    • /
    • v.15 no.4
    • /
    • pp.101-121
    • /
    • 2010
  • This paper presents an intelligent prefetching technique that significantly improves performance of hybrid fash-disk storage, a combination of flash memory and hard disk. Since flash memory embedded in a hybrid device is much faster than hard disk in terms of I/O operations, it can be utilized as a 'cache' space to improve system performance. The basic strategy for prefetching is to utilize sequential pattern mining, with which we can extract the access patterns of objects from historical access sequences. We use two techniques for enhancing the performance of hybrid storage with prefetching. One of them is to modify a FAST algorithm for mapping the flash memory. The other is to extend the unit of prefetching to a block level as well as a file level for effectively utilizing flash memory space. For evaluating the proposed technique, we perform the experiments using the synthetic data and real UCC data, and prove the usability of our technique.

Study of Ceramic Sub-Micron Particle Patterning by Electro-Hydrodynamic Printing (전기-수력학 프린팅을 이용한 세라믹 미세입자 패턴에 관한 연구)

  • Lee Dae-Young;Kim Sang-Yoon;Yu Tae-U;Kim Yong-Jun;Hwang Jungho
    • Transactions of the Korean Society of Mechanical Engineers B
    • /
    • v.29 no.4 s.235
    • /
    • pp.504-511
    • /
    • 2005
  • The generation of fine relics of inorganic and metallic materials from precursor suspensions is of significant current interest as it holds the key to the fabrication of display and printed circuit board. Some novel printing methods depositing ceramic particles have been suggested in recent years. When a conducting liquid is supplied to a capillary nozzle at a low flow rate and when the interface between air and the liquid is charged to a sufficiently high electrical potential, the liquid meniscus takes the form of a stable cone, whose apex emits a microscopic jet. This is called as a cone-jet mode. In our experiments, an alumina particles flowing through a nozzle were subjected to electro-hydrodynamic printing in the cone-jet mode. The pattern of 'YONSEI' characters was tested at $10 {\mu}l/min$ of alumina ink flow rate and different applied voltages. At an applied voltage of 6 kV, feature size was in the range of $250 {\mu}m.$

FPGA Design and Sync-Word Detection of CATV Down-Link Stream Transmission System (CATV 하향 스트림 적용 시스템에서 동기 검출 방안 및 FPGA 설계)

  • Kim, Min-Hyuk;Park, Tae-Doo;Kim, Nam-Soo;Kim, Chul-Seung;Jung, Ji-Won
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2009.04a
    • /
    • pp.1277-1280
    • /
    • 2009
  • 본 논문은 ITU-T 권고안 J-38 부록 B에 명시된 전송방식의 분석 및 시뮬레이션을 토대로 성능을 분석 하였으며 FPGA 구현시 야기되는 문제점을 나타내고, 해결방안을 제시하였다. 구현상의 문제점으로는 크게 두 가지로 분류되는데, 첫째로 다양한 부호화 방식과 변조방식 그리고 심볼 단위 및 비트 단위의 처리로 인해 많은 클럭수를 요구하는데 본 논문에서는 읽기/쓰기 메모리를 이용하여 필요한 클럭수를 줄였다. 둘째로는 펑쳐링 부호화된 TCM 복호기에 펑처링 패턴에 정확한 동기를 얻지 못하면 프레임 동기 심볼인 UW(Unique sync-Word)를 획득하지 못하여 모든 데이터가 에러 처리되기 때문에 본 논문에서는 펑처링 패턴과 UW 심볼의 동기를 맞추는 알고리즘을 제시하였다. 이러한 알고리즘 분석 및 구현상의 문제점 해결을 토대로 본 논문에서는 ITU-T J38 annex B의 하향 스트림 채널 부호화 시스템을 VHDL 언어를 사용하여 FPGA 칩에 직접 구현하였다.

Flash Memory Management Policy To Improve Wear-Leveling using Hot-and-Cold Flag (Hot-and-Cold 플래그를 이용한 플래시 메모리 균등 사용을 위한 관리 정책)

  • Jung, Phil-Young;Lee, Sung-Joon;Ahn, Kwang-Seon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2003.05a
    • /
    • pp.479-482
    • /
    • 2003
  • 비휘발성 메모리인 플래시 메모리는 가볍고, 전력 소비가 적으며, 충격에 대한 저항이 강한 특징이 있다. 그러나 플래시 메모리는 세그먼트당 삭제 횟수가 최악의 경우 10만 번 정도로 제한된다는 단점이 있어서, 만약 삭제가 특정 세그먼트에 집중된다면 전체 수명이 단축되게 된다. 하지만, 플래시 메모리의 모든 세그먼트가 골고루 사용된다면 수명을 연장시킬 수 있다. 이를 위해 저장되는 자료의 유형을 파악하여 Hot, Cold 그리고 Lukewarm 이라는 그룹별로 분리해서 관리한다. 단순한 분리는 사용 횟수의 양극화를 가져오지만, 양극화된 세그먼트에 반대 유형의 자료를 할당하고 관리하면 전체 세그먼트의 사용률을 균등하게 할 수 있다. 이를 위해, 쓰기와 클리닝 작업 외에 양극화의 패턴을 통해 유형을 결정해주는 루틴을 포함하였다.

  • PDF

Phoneme-level Embedding based Korean Language Model (음소 단위 임베딩 기반 한국어 모델)

  • Choi, Woosung;Hyun, Kyungseok;Chung, Jaehwa;Jung, Soon Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2019.10a
    • /
    • pp.1026-1029
    • /
    • 2019
  • 최근 제안되고 있는 Bert 등의 딥러닝 언어 모델 기반 pre-training 기법은 다양한 NLP 분야에서 활용되고 있다. 텍스트로 작성된 데이터 셋을 딥러닝 언어 모델이 학습하기 위해서는 토크나이징(tokenizing) 기술이 필요하다. 그러나 기존 토크나이징 방식은 한국어 및 한글이 가지는 고유한 특성(교착어적 특성과 모아쓰기 반영)을 반영하기 어렵다는 한계를 가지고 있다. 본 논문에서는 한국어와 한글이 가지는 고유한 특성을 고려하기 위하여 음소 단위의 임베딩 기법을 제안하며, 이를 기반으로 언어 모델을 설계 및 구현한다. 또한 음소 단위 임베딩 기반 한국어 모델이 실제 데이터 집합(구약성서)에서 나타나는 언어적 패턴을 학습할 수 있다는 것을 실험을 통하여 밝힌다.