• Title/Summary/Keyword: 슈퍼컴퓨팅

Search Result 229, Processing Time 0.026 seconds

MAHA-FS : A Distributed File System for High Performance Metadata Processing and Random IO (MAHA-FS : 고성능 메타데이터 처리 및 랜덤 입출력을 위한 분산 파일 시스템)

  • Kim, Young Chang;Kim, Dong Oh;Kim, Hong Yeon;Kim, Young Kyun;Choi, Wan
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.2 no.2
    • /
    • pp.91-96
    • /
    • 2013
  • The application field of supercomputing systems are changing to support into the field for both a large-volume data processing and high-performance computing at the same time such as bio-applications. These applications require high-performance distributed file system for storage management and efficient high-speed processing of large amounts of data that occurs. In this paper, we introduce MAHA-FS for supercomputing systems for processing large amounts of data and high-performance computing, providing excellent metadata operation performance and IO performance. It is shown through performance analysis that MAHA-FS provides excellent performance in terms of the metadata processing and random IO processing.

A Parallel Implementation of Purge Process for Lustre File System (Lustre 파일 시스템을 위한 Purge 기능의 병렬화 구현)

  • Kwon, Min-Woo;Yoon, Jun-Weon;Hong, Tae-Young;Park, Chan-Yeol
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.10a
    • /
    • pp.64-65
    • /
    • 2016
  • 슈퍼컴퓨터는 대용량의 데이터를 효율적으로 관리하기 위해 Lustre 파일 시스템과 같은 고성능의 병렬 파일 시스템을 이용한다. 한국과학기술정보연구원의 슈퍼컴퓨터 4호기 Tachyon 2차 시스템과 같이 다수의 사용자가 접속하는 슈퍼컴퓨터는 사용자의 데이터가 한없이 누적됨으로 Lustre 파일 시스템의 성능이 저하되는 이슈가 있다. 본 논문에서는 사용자의 데이터가 누적되는 것을 방지하기 위해 장기간 사용하지 않는 데이터를 자동 삭제하는 기능인 Purge기능을 구현하였다. 특히, 기하급수적으로 늘어나는 병렬 파일 시스템의 용량에 대처하기 위해 병렬 컴퓨팅 기술을 이용해 고속 Purge 기능을 구현하였다. 단일 컴퓨팅 노드와 병렬 환경에서 구현한 결과를 비교하였을 때, 단일 컴퓨팅 노드에서는 1,517GB 용량을 지우는데 221.2초가 걸렸으며 16개의 컴퓨팅 노드를 이용한 병렬 환경에서는 49.9초가 걸렸다. 이 결과를 비교했을 때 단일 컴퓨팅 노드에서 구현한 결과 대비 병렬 환경에서 구현했을 때 약 4.4배의 성능향상을 얻을 수 있었다.

Log Generation for File Access on PVFS2 (PVFS2 를 위한 파일 접근 로그 생성)

  • Cha, Kwangho;Cho, Hyeyoung;Kim, Sungho
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2007.11a
    • /
    • pp.675-677
    • /
    • 2007
  • 클러스터 시스템의 응용 분야가 다양화되고 복잡해짐에 따라, 대규모 클러스터 시스템을 보다 효율적으로 사용하기 위해서 실제 사용자의 이용 패턴을 예측할 수 있는 워크로드 분석의 필요성이 높아지고 있다. 워크로드 분석으로는 다양한 작업이 진행되는데 특히 파일 단위의 동적 접근 분석도 이에 포함된다. 본 논문에서는 실험용 병렬 파일 시스템으로 많이 보급된 PVFS2 에 파일 단위접근 기록을 가능케하는 방안을 모색하고 이 기능의 활용 가능성을 살펴 보았다.

  • PDF

Case Study : Visualization of Tera-scale Rotor Simulation Dataset (사례연구 : 테라 스케일 로터 시뮬레이션 데이터 가시화)

  • Lee, Joong-Youn;Kim, MinAh;Hur, Youngju
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2010.11a
    • /
    • pp.811-814
    • /
    • 2010
  • 테라 스케일의 대용량 로터 시뮬레이션 데이터는 그 크기가 매우 크기 때문에 일반 PC에서는 가시화하기에 곤란한 경우가 많다. 또, 로터 시뮬레이션 데이터는 매우 복잡한 구조를 가지고 있기 때문에 초보자가 이 데이터에서 vortex와 같은 중요한 정보를 뽑아서 가시화하는 데에는 많은 어려움이 있어왔다. 본 논문에서는 일반 PC에서 가시화하기 어려운 거대용량의 로터 시뮬레이션 데이터를 고성능 가시화 클러스터와 VTK를 이용해서 빠르게 가시화하고자 한다. 한 대의 PC를 이용해서 가시화했을 경우에 비해 클러스터를 이용해서 병렬처리를 했을 경우 약 20배의 성능 향상을 보였다.

Network performance evaluation of Tachyon cluster systems (Tachyon 클러스터 시스템에서의 네트워크 성능 평가)

  • Cha, Kwangho;Kim, Sungho;Lee, Sik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2010.11a
    • /
    • pp.1725-1727
    • /
    • 2010
  • 멀티 코어 또는 매니 코어 기반 시스템을 클러스터 시스템의 단위 노드로 활용하면서 클러스터 시스템은 다양한 형태의 노드내(Intra-node)및 노드간(Inter-node)네트워크를 가지게 되었다. 최적화된 어플리케이션의 개발을 위해서는 해당 시스템의 이러한 네트워크적 특징을 미리 파악하는 것이 중요하다고 할 수 있다. 본 논문에서는 서로 다른 계산 노드를 사용하는 클러스터 시스템에서 네트워크 성능을 비교 분석하였다.

Analysis of Parallel and Distributed File System Workloads on Tachyon Cluster System (타키온 클러스터 시스템의 병렬 분산 파일 시스템 워크로드 분석)

  • Cho, Hyeyoung;Kim, Sungho;Lee, Sik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2009.11a
    • /
    • pp.113-114
    • /
    • 2009
  • 클러스터 시스템의 응용 분야가 다양화되고 복잡해짐에 따라, 대규모 클러스터 시스템을 보다 효율적으로 사용하기 위해서 실제 사용자의 이용 패턴을 예측할 수 있는 워크로드 분석의 필요성이 높아지고 있다. 이에 본 논문에서는 현재 가동중인 188개의 계산 노드, 3008개 CPU 자원을 보유한 대규모 클러스터 시스템에서 병렬 분산 파일 시스템에 대한 워크로드를 분석하였다.

Design and Implementation of Distributed Visualization Server for Real-time Visualization of Massive Dataset (거대 데이터의 실시간 가시화를 위한 분산 가시화 서버의 설계 및 구현)

  • Lee, Joong-Youn;Kim, MinAh;Hur, Youngju
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2011.11a
    • /
    • pp.467-470
    • /
    • 2011
  • 일반 PC의 메인 메모리에 올릴 수 없는 거대 용량의 데이터의 경우 가시화를 통한 해석을 수행하는데 어려움이 많다. 본 논문에서는 이러한 거대 용량의 데이터를 실시간으로 처리하기 위한 분산 환경에서의 가시화 서버의 설계를 제안한다. 본 논문에서 제안하는 가시화 서버는 가시화 관리자, 네트워크 관리자, 데이터 관리자로 구분되며 이들 관리자를 통해 복수의 사용자에 대한 가시화 서비스 제공, 거대 데이터의 실시간 동적 데이터 분할 및 할당 및 실시간 가시화를 지원한다.

Development of XMP Metadata merge tool (정지영상 메타데이터 정합 도구 개발)

  • Kim, Sung-Jun;Lee, Jae-Kook;Hong, Tae-Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.05a
    • /
    • pp.540-541
    • /
    • 2021
  • 최근 드론산업이 발전하면서 다양한 드론 활용방법에 대한 연구와 특허 출원이 진행되고 있다. 드론에서 촬영된 사진은 실종자 수색, 농작물 생육 분석 등 다양한 목적을 위해서 활용되고 있으며, 다양한 분야에서 연구개발이 이루어지고 있다. 사진에 저장되는 정보는 실제 촬영 이미지와 다양한 메타데이터를 포함하고 있으나, 카메라 제조사별로 포함되는 메타데이터의 구성이 상이한 상태이다. 본고에서는 드론에서 촬영된 사진내의 메타데이터를 사전에 정의된 표준 명세를 만족할 수 있도록 메타데이터를 정합하는 응용프로그램을 제시하였다. 본 프로그램을 활용하여 현재 수행중인 DNA+드론기술 개발과제의 참여기업들이 촬영한 드론 사진내의 메타데이터의 표준화를 함으로써, 이를 활용하여 다양한 응용 기술 개발을 담당하는 참여기업들이 표준화된 데이터를 활용하여 보다 용이하게 개발이 가능할 것으로 예상된다.