• 제목/요약/키워드: log storage device

검색결과 19건 처리시간 0.027초

비휘발성 캐시를 사용하는 플래시 메모리 SSD의 데이터베이스 로깅 성능 분석 (Performance Analysis of Flash Memory SSD with Non-volatile Cache for Log Storage)

  • 홍대용;오기환;강운학;이상원
    • 정보과학회 논문지
    • /
    • 제42권1호
    • /
    • pp.107-113
    • /
    • 2015
  • 데이터베이스 시스템에서, 트랜잭션이 수행한 변경 사항은 커밋 전 2차 저장장치에 보존되어야 한다. 일반적 2차 저장장치는 비휘발성 미디어의 처리 지연을 보완하기 위해 휘발성 DRAM 캐시를 가지고 있다. 그러나 휘발성 DRAM에만 쓰여지는 로그들은 영구성을 보장할 수 없으므로, DRAM 캐시에서 저장매체로 로그를 쓰는 지연 시간을 감출 수 없다. 최근 이러한 단점 극복을 목적으로 DRAM 캐시에 커패시터를 장착한 플래시 SSD가 등장하였다. 이러한 비휘발성 캐시를 가지는 저장 장치는 DRAM 캐시에 로그를 쓰고 즉시 커밋 가능하므로, 커밋 대기를 줄이고 트랜잭션 처리량을 증가시킬 것이다. 본 논문은 커패시터 백업 캐시를 사용한 SSD를 로그 저장소로 사용한 경우 데이터베이스의 트랜잭션 처리 성능에 대해 실험 및 분석 한다. 로그를 낸드 플래시에 저장하지 않고 DRAM 캐시에 저장한 직후 커밋 함으로써, 3배 이상의 처리량 향상이 가능하다. 또한 적절한 튜닝을 거친 후 이상적 로그 성능의 73% 이상을 보인다.

디지털 자동차운행기록계에서 안정적인 데이터 저장을 위한 설계 및 구현 (A Design and Implementation for a Reliable Data Storage in a Digital Tachograph)

  • 백승훈;손명희
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제1권2호
    • /
    • pp.71-78
    • /
    • 2012
  • 디지털 자동차운행기록계는 교통안전법에 따라 자동차의 운행상황과 교통사고 상황과 함께 자동차의 속도, 거리, 브레이크 상황, 가속도, GPS 위치 등을 자동적으로 저장장치에 기록하는 장치이다. 유럽에서는 디지털 자동차운행기록계 장착이 2005년부터 모든 트럭에게 의무화되어 있고, 대한민국은 2011년부터 신규로 등록되는 사업용 차량은 의무적으로 장착해야 하며, 해가 지날수록 의무적으로 장착해야하는 자동차의 범위가 확대되어가고 있다. 이 장치는 운전자의 일일 운행 현황 분석 및 사고 분석을 위하여 사용된다. 자동차 사고는 장치의 안정성을 예측불가능하게 한다. 그래서 불확실한 상황아래에서 최대한 안정적으로 데이터를 저장할 수 있는 기술은 매우 중요하다. 우리는 실제 디지털 자동차 운행기록계를 설계하고 구현하였다. 본 논문은 이 장치의 설계와 구현에 있어서 저비용의 하드웨어 자원으로 안전하게 대용량 데이터를 저장하기 위해서 저용량이지만 안정적인 1차 저장장치와 대용량을 저비용으로 구현한 2차 저장장치로 구성된 계층적 저장 기법을 제안한다. 1차 저장장치는 용량이 SLC 낸드 플래시 메모리를 사용하여 로그 구조 형식으로 데이터를 저장한다. 로그 구조의 단점인 느린 부팅 문제를 해결하기 위해 역방향 부분 검색 기법을 제시한다. 이 방법은 1차 저장장치의 부팅 시간을 50분의 1로 감소시킨다. 추가적으로 사고 순간의 데이터를 신속하게 데이터를 저장하는 기법도 제시한다. 이 방법으로 저비용의 내장형 시스템에서 사고순간의 운행기록 시간을 일반적인 방법의 저장시간의 1/20만큼 단축하였다.

효율적 플래시 메모리 관리를 위한 워크로드 기반의 적응적 로그 블록 할당 기법 (Workload-Driven Adaptive Log Block Allocation for Efficient Flash Memory Management)

  • 구덕회;신동군
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제37권2호
    • /
    • pp.90-102
    • /
    • 2010
  • 플래시 메모리는 저전력, 비휘발성, 충격 내구성의 특성 때문에 임베디드 시스템에서 가장 중요한 저장 장치로 사용되고 있다. 하지만, 플래시 메모리는 덮어쓰기가 안 되는 제약 때문에 FTL이라고 하는 주소 변환을 위한 소프트웨어를 사용하며, 효율적인 주소변환을 위해서 로그 버퍼 기반의 FTL이 많이 사용되고 있다. 로그 버퍼 기반 FTL의 설계시에 중요한 사항으로서 데이터 블록과 로그 블록의 연관구조를 결정하는 문제가 있다. 기존의 기법들은 설계시에 결정된 정적인 구조를 사용하지만, 본 논문에서 는 어플리케이션의 시간적 공간적 워크로드의 변화를 고려한 적응적 로그 블록 연관 구조를 제안한다. 제안하는 FTL은 실행시간에 어플리케이션의 워크로드의 변화에 최적화된 로그 블록 연관 구조를 사용함으로써 정적으로 최적의 연관 구조를 선택하는 기존의 기법 대비 5~16%의 성능 향상을 가져왔다.

플래시 저장 시스템의 Full Stripe Parity를 위한 메타데이터 로그 관리 방법 (Metadata Log Management for Full Stripe Parity in Flash Storage Systems)

  • 임승호
    • 한국정보기술학회논문지
    • /
    • 제17권11호
    • /
    • pp.17-26
    • /
    • 2019
  • 플래시 스토리지 장치의 신뢰성을 향상시키기 위해서 사용되는 기술 중의 하나가 RAID-5 기술이 있다. RAID-5에는 고유한 패리티 업데이트 오버헤드가 있는데, 특히 부분 스트라이프 쓰기에 대한 패리티 오버헤드는 플래시 기반 RAID-5 기술의 중요한 문제 중 하나이다. 본 논문에서는 RAID-5에서 발생하는 런타임 부분 패리티 오버헤드를 제거하기 위해 효율적인 패리티 로그 아키텍처를 설계하였다. 런타임 동안, 전체 스트라이프 쓰기가 완료될 때까지 부분 패리티가 버퍼 메모리에 유지되며, 스트라이프 쓰기가 완료될 때 패리티는 전체 스트라이프 쓰기로 기록된다. 페리티 로그는 전체 스트라이프 그룹이 데이터 쓰기에 사용될 때까지 메모리에서 유지된다. 이 패리티 로그를 사용하면 갑작스러운 전력 손실로부터 부분 패리티를 복구할 수 있으므로 데이터 손실에도 문제가 발생하지 않는다. 패리티 로그 방법은 작은 패리티 로그 양으로 부분 패리티 쓰기 오버헤드를 제거할 수 있으므로, 같은 신뢰성 수준에서 쓰기 오버헤드를 줄일 수 있다.

동적 로그 페이지 할당을 이용한 플래시-고려 DBMS의 스토리지 관리 기법 (Flash-Conscious Storage Management Method for DBMS using Dynamic Log Page Allocation)

  • 송석일;길기정;최길성
    • 한국항행학회논문지
    • /
    • 제14권5호
    • /
    • pp.767-774
    • /
    • 2010
  • NAND 플래시 메모리는 높은 입출력 성능, 내장애성, 저전력 소모 등 여러 가지 장점을 가지고 있어서 하드디스크를 대체할 수 있는 새로운 저장 장치로 관심을 받고 있다. 전통적인 DBMS들은 FTL (Flash Translation Layer)를 이용하면 전혀 수정 없이 플래시 메모리 위에서 동작한다. 그러나, 대부분의 FTL은 DBMS가 아닌 파일 시스템에 최적화 되어있다. 또한, 전통적인 DBMS는 플래시 메모리의 특징 (erase-before-write) 을 고려하지 않고 있다. 이 논문에서는 플래시 메모리를 이차 저장장치로 사용하는 DBMS를 위한 플래시 고려하는 스토리지 시스템을 제안한다. 제안하는 플래시 고려 스토리지 시스템은 비용이 높은 변경 연산을 피하기 위해 로그 레코드를 이용한다. 마지막으로, 실험을 통해서 제안하는 스토리지 시스템이 기존에 제안된 플래시를 고려하는 DBMS에 비해 우수함을 보인다.

스토리지 클래스 메모리를 위한 롤백-복구 방식의 데이터 일관성 유지 기법 (Data Consistency-Control Scheme Using a Rollback-Recovery Mechanism for Storage Class Memory)

  • 이현구;김정훈;강동현;엄영익
    • 정보과학회 논문지
    • /
    • 제42권1호
    • /
    • pp.7-14
    • /
    • 2015
  • 스토리지 클래스 메모리(SCM)는 메모리와 스토리지의 장점을 동시에 가지고 있기 때문에 기존의 스토리지를 대체할 차세대 스토리지로 주목 받고 있다. 하지만 현재까지 제안된 SCM 전용 파일시스템은 데이터 일관성을 충분히 보장하지 않거나 혹은 보장될 경우, 과도한 일관성 유지 비용을 발생시키는 문제점을 지니고 있다. 본 논문에서는 보편적으로 사용하는 WAL(Write Ahead Logging) 방식의 일관성 유지 기법 대신 롤백-복구 방식을 이용하여, 블록내의 변경되는 데이터의 비율에 따라 로그 데이터 기록 방식을 변경하는 데이터 일관성 유지 기법을 제안한다. 본 기법은 데이터 일관성 손실 없이 로그 데이터의 크기를 줄여 데이터 쓰기 및 동기화 비용을 최소화시킬 수 있다. 제안한 기법을 평가하기 위해 리눅스 3.10.2 상에 구현하여 성능을 측정한 결과, 다른 일관성 유지기법에 비해 평균적으로 9배 정도의 데이터 쓰기 성능이 향상됨을 볼 수 있었다.

부분 가비지 컬렉션을 이용한 로그 구조 파일시스템의 쓰기 성능 개선 (Partial Garbage Collection Technique for Improving Write Performance of Log-Structured File Systems)

  • 곽현호;신동군
    • 정보과학회 논문지
    • /
    • 제41권12호
    • /
    • pp.1026-1034
    • /
    • 2014
  • 최근 플래시 저장장치의 사용이 대중화되면서 플래시 저장장치의 특성에 맞는 로그 구조 파일시스템에 대한 관심도 높아지고 있다. 로그 구조 파일시스템은 사용자의 임의 쓰기를 파일시스템에서 순차 쓰기로 바꾸어 처리한다. 이 순차 쓰기를 유지하기 위해 파일시스템에서 가비지 컬렉션(Garbage Collection)을 해 주어야 하는데, 이때 오버헤드로 인해 쓰기 성능이 감소하는 것을 막기 위한 기법으로 SSR (Slack Space Recycling)이 제시되었다. 그런데, SSR은 임의 쓰기를 발생시키기 때문에, 임의 쓰기 성능이 낮은 저가형 저장장치에서 쓰기 성능을 감소시키는 문제가 있다. 본 논문에서 제시하는 부분 가비지 컬렉션은 SSR방식으로 데이터를 기록하기 전에 유효한 블록들을 일부만 복사하여 옮김으로써 무효화 된 공간의 크기를 늘려 임의 쓰기 수를 줄여서 쓰기 성능을 증가시키는 기법으로, SD 카드에서 쓰기 성능을 최대 두 배 이상 증가시켰다.

모바일 플래시 파일 시스템 - MJFFS (A Mobile Flash File System - MJFFS)

  • 김영관;박현주
    • Journal of Information Technology Applications and Management
    • /
    • 제11권2호
    • /
    • pp.29-43
    • /
    • 2004
  • As the development of an information technique, gradually, mobile device is going to be miniaturized and operates at high speed. By such the requirements, the devices using a flash memory as a storage media are increasing. The flash memory consumes low power, is a small size, and has a fast access time like the main memory. But the flash memory must erase for recording and the erase cycle is limited. JFFS is a representative filesystem which reflects the characteristics of the flash memory. JFFS to be consisted of LSF structure, writes new data to the flash memory in sequential, which is not related to a file size. Mounting a filesystem or an error recovery is achieved through the sequential approach. Therefore, the mounting delay time is happened according to the file system size. This paper proposes a MJFFS to use a multi-checkpoint information to manage a mass flash file system efficiently. A MJFFS, which improves JFFS, divides a flash memory into the block for suitable to the block device, and stores file information of a checkpoint structure at fixed interval. Therefore mounting and error recovery processing reduce efficiently a number of filesystem access by collecting a smaller checkpoint information than capacity of actual files. A MJFFS will be suitable to a mobile device owing to accomplish fast mounting and error recovery using advantage of log foundation filesystem and overcoming defect of JFFS.

  • PDF

가상파일시스템에서 디렉토리 및 파일 변경 추적에 기반한 온라인 스냅샷 방법 (Online Snapshot Method based on Directory and File Change Tracking for Virtual File System)

  • 김진수;송석일;신재룡
    • 한국콘텐츠학회논문지
    • /
    • 제19권5호
    • /
    • pp.417-425
    • /
    • 2019
  • 스토리지 스냅샷(snapshot) 기술은 특정 시점의 데이터를 보전하고, 필요할 때 원하는 시점의 데이터를 복구하여 접근하기 위한 기술로 스토리지 보호 응용 개발에 필수적인 기술이다. 이 논문에서는 기존의 스냅샷 기술이 스토리지 하드웨어 벤더에 종속되거나 파일시스템이나 가상 블록장치에 종속되는 문제를 해결하고 온라인으로 스냅샷을 생성하기 위한 새로운 스냅샷 방법을 제안한다. 이 논문에서는 제안하는 스냅샷 기술은 가상파일시스템의 변경연산에 대한 로그를 추출하는 방식을 이용하여 파일시스템, 가상 블록장치, 하드웨어에 독립적으로 동작하는 스냅샷 기술을 설계하고 개발한다. 또한, 개발하는 스냅샷 기술은 디렉토리 및 파일 단위의 스냅샷을 스토리지 서비스 중단 없이 생성하고 관리 한다. 마지막으로 실험을 통해서 제안하는 스냅샷 기술의 스냅샷 생성시간 및 스냅샷으로 인한 성능 저하를 측정한다.

저장매체와 프린터를 통한 파일유출 모니터링시스템 (Monitoring System of File Outflow through Storage Devices and Printers)

  • 최주호;류성열
    • 정보보호학회논문지
    • /
    • 제15권4호
    • /
    • pp.51-60
    • /
    • 2005
  • 통신망과 저장장치의 발달에 따라 내부 사용자에 의한 중요 정보 자산의 외부 유출이 증가하고 있으므로 이에 대한 보안을 강화해야할 필요성이 증대되고 있다. 제안한 파일유출 모니터링시스템은 클라이언트에서 파일이 저장매체에 저장/복사되거나 파일이 종이문서로 인쇄되어 외부로 유출되는 경우에 로그를 발생시켜 서버에서 이를 모니터링한다. 모니터링 방법은 커널 레벨에서 I/O Manager에 의해 발생하는 IRP의 필터링과 Win32 API 후킹 기법을 사용하였다. 특히 파일을 저장매체에 저장하는 경우, 네트워크 공유를 통하여 파일을 저장하는 경우 및 파일의 인쇄를 통하여 유출하는 경우에 로그를 발생시키고 모니터링하는 방법을 구현하였다. 모니터링시스템은 윈도우즈 2000 및 XP 실험환경에서 파일의 복사와 인쇄 시 로그가 $100\%$ 발생되고 모니터링 기능이 수행됨을 확인하였다.