• Title/Summary/Keyword: 파일 입출력

Search Result 140, Processing Time 0.028 seconds

Analysis for File Access Characteristics of Mobile Artificial Intelligence Workloads (모바일 인공지능 워크로드의 파일 접근 특성 분석)

  • Jeongha Lee;Soojung Lim;Hyokyung Bahn
    • The Journal of the Institute of Internet, Broadcasting and Communication
    • /
    • v.24 no.4
    • /
    • pp.77-82
    • /
    • 2024
  • Recent advancements in artificial intelligence (AI) technology have led to an increase in the implementation of AI applications in mobile environments. However, due to the limited resources in mobile devices compared to desktops and servers, there is growing interest in research aimed at efficiently executing AI workloads on mobile platforms. While most studies focus on offloading to edge or cloud solutions to mitigate computing resource constraints, research on the characteristics of file I/O related to storage access in mobile settings remains underexplored. This paper analyzes file I/O traces generated during the execution of deep learning applications in mobile environments and investigates how they differ from traditional mobile workloads. We anticipate that the findings of this study will be utilized to design future smartphone system software more efficiently, considering the file access characteristics of deep learning.

File-based Snapshot for Desktop Virtualization (데스크톱 가상화를 위한 파일 기반 스냅샷)

  • Kim, Young-Chul;Lee, Sang-Min;Kim, Young-Kyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2014.04a
    • /
    • pp.93-96
    • /
    • 2014
  • 최근 기업, 학교 등에서 가상 데스크톱 환경을 구축하는 사례들이 확대되면서 보다 효율적이고 안정적인 서비스를 제공할 수 있는 적합한 스토리지 시스템 도입이 요구되고 있다. 가상 데스크톱 시스템은 대부분 가상 데스크톱의 기본 이미지를 스토리지 시스템에 저장하고 다수의 가상 데스크톱 스냅샷들이 기본 이미지를 공유하도록 함으로써 시스템 운영과 보안 그리고 자원 활용을 높이도록 구성한다. 이러한 가상 데스크톱 이미지는 파일 시스템에서 파일 기반으로 저장되고 관리된다. 따라서 파일 시스템에서 파일 기반의 스냅샷 기능이 필요하다. 하지만 일반 파일 시스템에서는 스냅샷과 같은 기능이 제공되지 않기 때문에 이미지를 QCOW2 등과 같은 파일 포맷으로 만들어서 스냅샷 기능을 사용할 수 있다. 하지만 스냅샷 기능을 수행하기 위해서는 파일 데이터를 읽고 쓰는 동작이 함께 수반되어야 하기 때문에 가상 데스크톱 성능에 커다란 영향을 미칠 수 있으며 가상 데스크톱 환경이 확장함에 따라 파일 데이터 입출력으로 인한 오버헤드로 서비스를 제공하기 어렵게 된다. VDI-FS 시스템은 가상 데스크톱 환경을 지원하기 위한 파일 시스템으로 기본 이미지와 스냅샷들 간의 메타데이터 및 데이터 공유를 제공하며 보다 효율적인 스냅샷 기능을 제공한다. 본 논문에서는 VDI-FS 시스템에 대한 소개와 스냅샷을 지원하는 방법에 대해 기술한다. 그리고 NFS에서 QCOW2 를 이용한 스냅샷을 사용했을 때와 VDI-FS 시스템에서 스냅샷을 사용했을 때와의 성능 비교를 통하여 VDI-FS 시스템의 스냅샷 기능이 우수한 성능을 보임을 제시한다.

Design of a File System on NAND Flash Memory (NAND 플래시 메모리 파일 시스템의 설계)

  • Park Song-hwa;Lee Joo-Kyong;Chung Ki-Dong
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.11a
    • /
    • pp.781-783
    • /
    • 2005
  • 본 논문은 임베디드 시스템에서 대용량 저장시스템에 적합한 NAND 플래시 메모리 기반의 파일 시스템을 제안한다. 플래시 메모리는 비휘발성이며 기존의 하드디스크와 같은 자기 매체에 비해서 크기가 작고 전력소모도 적으며 내구성이 높은 장점을 지니고 있다. 그러나 제자리 덮어쓰기 (update-in-place)가 불가능하고 메모리 셀에 대한 초기화 횟수가 제한되는 단점이 있다. 또한 NAND 플래시 메모리는 바이트 단위의 입출력이 불가능하다. 이러한 특성 때문에 NAND 플래시 메모리를 저장장치로 사용할 경우 기존의 저장 장치 관리 방법과는 다른 방법을 요구한다. 본 논문은 임베디드 시스템에서 대용량 저장장치를 위한 NAND 플래시 메모리 기반의 파일 시스템의 구조를 제시하고, 대용량 파일 지원을 위한 메타 데이터 구조와 데이터 수정 기법을 제안한다.

  • PDF

Experimental Evaluation of pNFS Protocol for Mass Storage System (대용량 스토리지 시스템을 위한 pNFS 프로토콜의 성능 평가)

  • Kim, Tae-Jin;Kim, Han-Gyoo;Noh, Sam-H.
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06a
    • /
    • pp.221-223
    • /
    • 2012
  • 많은 대학과 스토리지 업체에서 고성능 병렬 파일시스템 관련 연구를 활발히 진행하고 있다. 그러나 대학이나 업체에서 연구된 병렬 파일시스템 기술은 상호 호환성에 제약이 있다. 네트워크 파일시스템 관련해서 유일한 표준 기술인 NFS은 최근 pNFS 기능을 포함한 NFSv4.1로 확장되었다. pNFS은 NFS 서버를 거치지 않고 데이터를 병렬적으로 접근함으로써 고성능 입출력을 보장해 주고 있으며 기존 스토리지 기술과의 호환성을 제공하고 있다. 본 연구에서는 pNFS의 성능 평가를 위해서 pNFS을 사용하는 대용량 스토리지 시스템을 구현하고 NFSv4와 NFSv4.1간 성능을 비교한다. 성능 비교는 파일 사이즈와 동시 수행 프로세스 수 별로 수행되며 읽기 및 쓰기 연산에 대한 pNFS의 성능 향상을 확인한다.

Fiber-channel-based Shared Disk Distributed File System (파이버채널(Fiber-channel)기반 공유디스크 분산 파일시스템)

  • 이영무;김경호;임상석;박규호
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1999.10c
    • /
    • pp.786-788
    • /
    • 1999
  • 파이버채널은 고용량 디스크를 특성 호스트에 의존하지 않고 네트웍에 직접 연결할 수 있는 매우 빠른 입출력 시스템 인터페이스이다. 파이버채널의 등장에 따라 고용량 디스크 어레이를 공유하는 분산 파일시스템에 관한 관심이 늘고 있다. 본 논문에서는 파이버 채널의 장점을 이용하여 효율적인 공유디스크 분산 파일시스템의 설계 결과를 제시한다. 제시된 파일시스템은 시스템에 참여하는 모든 호스트들이 부하를 균등하게 나누어 부담하도록 설계되었으며 특히 호스트들이 파이버채널상에서 직접 통신을 통하여 공유디스크 데이터의 일관성을 유지할 수 있도록 하므로써 별도의 장치 없이 일반디스크를 사용할 수 있도록 하여 비용대 성능비가 우수한 시스템에 적합하도록 하였다.

  • PDF

An Efficient Wear-leveling Scheme for Flash Memory File System (플래시 메모리 파일 시스템을 위한 효율적인 소거 횟수 평준화 기법)

  • 배영현;최종무;이동희;노삼혁;민상렬
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.10a
    • /
    • pp.580-582
    • /
    • 2004
  • 이동 기기의 저장 장치로 널리 사용되는 플래시 메모리는 데이터를 기록하기 전에 해당 블록이 미리 소거되어 있어야 하는 제약이 있다. 또한 각 블록은 소거 횟수의 한계를 가지고 있기 때문에 특정 블록이 집중적으로 사용되는 경우에는 일부 블록의 수명이 일찍 다하게 되어 저장 장치로서의 구명도 짧아지게 된다. 따라서 플래시 메모리 파일 시스템은 고속의 데이터 입출력 성능뿐만 아니라 기록과 소거 동작이 특정 블록에 집중되지 않도록 하여 저장 장치의 내구성을 개선하는 소거 횟수 평준화 기능을 제공해야 한다. 기존에 제안된 소거 횟수 평준화 기법은 복잡한 계산을 필요로 하며 각 블록의 소거 횟수를 유지해야 하는 비용 등으로 인해 자원이 부족한 소형 이동 기기에서 구현하기에는 비효율적이다. 본 논문에서는 플래시 메모리 파일 시스템에서 구현과 동작이 단순하고 어떠한 데이터 접근 형태에 대해서도 평준화 성능이 우수한 효율적인 소거 횟수 평준화 기법을 제안한다. 그리고 제안된 기법을 구현하여 기존 플래시 메모리 파일 시스템의 소거 횟수 평준화 성능과 비교 평가한다.

  • PDF

Integrated Storing Method for MP4 Video Data and IoT Sensor Data (MP4 영상데이터와 IoT 센서데이터 통합 저장 방안 연구)

  • Park, Sang-Yeun;Shin, Hae-Sun;Park, Sung-Soon;Kim, Gyoung-Hun
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2020.07a
    • /
    • pp.30-31
    • /
    • 2020
  • 일반적으로 CCTV 녹화기는 24시간 중단없이 다중 카메라로 부터 수신되는 Video, Audio, Meta 데이터를 파일형태로 저장한다. 그리고 다양한 IoT 센서들은 사건(event)이 발생되었을 때, 입력되는 데이터를 기록한다. 그런데 이 형태의 데이터를 통합하여 사용하는 서비스들에 대한 요구가 증대되고 있다. 그런데 영상데이터와 IoT센서 데이터를 분리해 저장하고 관리하는 기존의 방식으로는 사용 센서의 개수 등에 따라 물리적인 크기가 커지고 관리의 복잡성이 커지는 문제가 발생한다. 본 논문에서는 다중 카메라로부터 입력되는 동영상 데이터와 IoT 센서 데이터를 통합하여 저장하는 방안을 제시한다. 이러한 통합 데이터의 고속 입출력을 지원하기 위해, 본 연구에서는 자체 파일시스템을 개발하였고 저장되는 각각의 파일을 mp4 표준을 따르게 하여 호환성을 보장하도록 구현하였다. 그래서 동영상 파일 포맷으로 널리 사용되는 MP4 포맷에 IoT센서 데이터를 함께 저장함으로써 동영상과 IoT센서의 정보를 효율적으로 관리하고 검색의 편의성을 높일 수 있게 되었다.

  • PDF

A Non-Shared Metadata Management Scheme for Large Distributed File Systems (대용량 분산파일시스템을 위한 비공유 메타데이타 관리 기법)

  • Yun, Jong-Byeon;Park, Yang-Bun;Lee, Seok-Jae;Jang, Su-Min;Yoo, Jae-Soo;Kim, Hong-Yeon;Kim, Young-Kyun
    • Journal of KIISE:Computer Systems and Theory
    • /
    • v.36 no.4
    • /
    • pp.259-273
    • /
    • 2009
  • Most of large-scale distributed file systems decouple a metadata operation from read and write operations for a file. In the distributed file systems, a certain server named a metadata server (MDS) maintains metadata information in file system such as access information for a file, the position of a file in the repository, the namespace of the file system, and so on. But, the existing systems used restrictive metadata management schemes, because most of the distributed file systems designed to focus on the distributed management and the input/output performance of data rather than the metadata. Therefore, in the existing systems, the metadata throughput and expandability of the metadata server are limited. In this paper, we propose a new non-shared metadata management scheme in order to provide the high metadata throughput and scalability for a cluster of MDSs. First, we derive a dictionary partitioning scheme as a new metadata distribution technique. Then, we present a load balancing technique based on the distribution technique. It is shown through various experiments that our scheme outperforms existing metadata management schemes in terms of scalability and load balancing.

Design of Performance Evaluation Tool for NGS on distributed System (분산 환경에서의 NGS를 위한 성능평가 도구 설계)

  • Kang, Yun-Hee;Cheong, Seung-Kook
    • Proceedings of the KAIS Fall Conference
    • /
    • 2009.05a
    • /
    • pp.796-799
    • /
    • 2009
  • NGS(Next Generation Storage) 시스템은 전형적인 분산파일 시스템 구조의 병목 현상을 제거하고 입출력 대역폭을 늘려 성능을 최대화 하기 위한 차세대 저장시스템으로 기존의 저장시스템과는 달리 DRAM을 기반으로 스토리지를 구성하고 있다. NGS 시스템의 대용량 지원 및 기업 내부에서의 활용을 위해서는 SAN 기반에서 활용할 수 있도록 설계되어야 하며, SAN 환경에서 성능 향상을 위한 연구가 필요하다. 본 논문에서는 NGS 시스템에 대한 성능평가 및 분산 환경에서 NGS 를 활용하기 위한 성능평가도구 개발을 기술한다. 성능 도구의 활용은 전형적인 전체 시스템 아키텍처 내의 병목 현상을 제거하고 입출력 대역폭을 늘려 성능을 최대화 할 수 있어야 한다.

  • PDF

Extended Multilevel Graph Partitioning Scheme for I/O Efficiency (I/O 효율성을 위해 확장된 Multilevel 그래프 분할 기법)

  • ;R.S. Ramakrishna
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04a
    • /
    • pp.875-877
    • /
    • 2003
  • 그래프 분할문제에서 대량의 그래프 데이터를 처리하는 것은 계산에서 걸리는 시간보다 파일 입출력을 수행하는 데 걸리는 시간의 비중이 크다. 본 논문은 수행 속도와 분할 성능에 있어서 우수한 그래프 분할 알고리즘 중 하나인 Multilevel Graph Partitioning에 대해 입출력 효율을 높일 수 있도록 확장하는 기법을 제안하고 그 구현에 대해 기술한다. 그래프를 컴퓨터의 가용 메모리를 기준으로 서브 그래프로 나누어 메모리 참조의 지역성이 향상되도록 기존의 Multilevel Graph Partitioning을 확장 하였다. 기존의 방식과 제안된 방식을 테스트 그래프들에 적용하여 그 수행시간을 비교한 결과 그래프 데이터의 크기가 컴퓨터의 주 메모리의 용량에 비해 어느 수준 이상으로 커지면서 제안된 알고리즘이 기존의 방식보다 수행시간에 있어서 좋은 결과를 보인다.

  • PDF