• Title/Summary/Keyword: 슈퍼컴퓨팅

Search Result 229, Processing Time 0.04 seconds

A Study on Running Large-Scale Deep Learning on Nurion System (누리온 시스템 상에서 거대 규모 딥러닝 수행 연구)

  • Myung, Hunjoo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2019.10a
    • /
    • pp.115-117
    • /
    • 2019
  • 누리온 시스템은 Intel Xeon Phi 아키텍쳐를 기반한 8305개의 노드로 구성되었고, 이론 성능 25.7페타플롭스를 갖춘 시스템으로 2018년도에 도입되었다. 누리온 시스템은 그동안 KISTI가 지속적으로 수행해 온 국내 계산과학자를 지원하는 한편, 빅데이터를 기반으로 하는 거대 규모의 딥러닝 등의 새로운 AI 분야에서도 슈퍼컴퓨팅을 활용할 수 있도록 전략적으로 지원하고 있다. 본 논문에서는 이러한 거대 규모 딥러닝을 수행하는데 있어 발생하는 주요 이슈들과 이러한 이슈들을 누리온 시스템에서는 어떻게 해결하고 있는지에 대해 소개한다.

Performance analysis of global shared file system at 10G WAN (10G WAN 환경에서 글로벌 공유파일시스템 성능 분석)

  • Woo, Joon;Choi, Yun-Keun;Jang, Ji-Hoon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.187-190
    • /
    • 2015
  • 지역적으로 분산되어 있는 PLSI 연동 자원 간 사용자 작업 데이터의 원활한 공유을 위한 글로벌 공유파일시스템은 통합 슈퍼컴퓨팅 서비스의 핵심 구성요소 중의 하나이다. 본 연구에서는 10Gbps급 WAN 전용망 환경에서 공개 소프트웨어인 Lustre 병렬파일시스템 기반의 글로벌 공유파일시스템의 성능을 측정 및 분석하여 차세대 글로벌 공유파일시스템 구축을 위한 기반을 마련하고자 한다.

KISTI NEWS IN NEWS

  • Korea Institute of Science and Technology Information
    • Journal of Scientific & Technological Knowledge Infrastructure
    • /
    • s.23
    • /
    • pp.14-17
    • /
    • 2006
  • PDF

Improving the Job Success Rate through Analysis of User Logs in HPC (HPC 환경에서 사용자 로그 분석을 통한 작업 성공률 개선)

  • Yoon, JunWeon;Hong, TaeYoung;Kong, Ki-Sik;Park, ChanYeol
    • Journal of Digital Contents Society
    • /
    • v.16 no.5
    • /
    • pp.691-697
    • /
    • 2015
  • Supercomputers are used for many different areas including new product design of industries as well as state-of-the-art science and technology for large amount of computational needs. Tachyon is a 4th supercomputer built at KISTI that is a high-performance parallel computing system with 3,200 computing nodes and infrastructures. This system is currently about 10,000 users and over 170 organizations are used, the number of jobs they are performing work in batch type form through a scheduler. Also, this system logs lots of job scripts, execution environment, library, job status from the job submit to end. In this paper, we analyzed batch jobs information from Sun Grid Engine, that use as a scheduler in Tachyon system, and job executed information in Tachyon System. In particular, we distinguished the fail jobs from the all tasks that users perform and we analyzed the cause of failure. Among them, we can extracted some of jobs that can be regarded as normal jobs through the improvement in those works logged as all of fail jobs.

Traffic Data Generation Technique for Improving Network Attack Detection Using Deep Learning (네트워크 공격 탐지 성능향상을 위한 딥러닝을 이용한 트래픽 데이터 생성 연구)

  • Lee, Wooho;Hahm, Jaegyoon;Jung, Hyun Mi;Jeong, Kimoon
    • Journal of the Korea Convergence Society
    • /
    • v.10 no.11
    • /
    • pp.1-7
    • /
    • 2019
  • Recently, various approaches to detect network attacks using machine learning have been studied and are being applied to detect new attacks and to increase precision. However, the machine learning method is dependent on feature extraction and takes a long time and complexity. It also has limitation of performace due to learning data imbalance. In this study, we propose a method to solve the degradation of classification performance due to imbalance of learning data among the limit points of detection system. To do this, we generate data using Generative Adversarial Networks (GANs) and propose a classification method using Convolutional Neural Networks (CNNs). Through this approach, we can confirm that the accuracy is improved when applied to the NSL-KDD and UNSW-NB15 datasets.

Optimizing LRU Lock Management in the Linux Kernel for Improving Parallel Write Throughout in Many-Core CPU Systems (매니코어 CPU 시스템의 병렬 쓰기 성능 향상을 위한 리눅스 커널의 LRU 관리 최적화 기법)

  • Eun-Kyu Byun;Gibeom Gu;Kwang-Jin Oh;Jiwoo Bang
    • KIPS Transactions on Computer and Communication Systems
    • /
    • v.12 no.7
    • /
    • pp.209-216
    • /
    • 2023
  • Modern HPC systems are equipped with many-core CPUs with dozens of cores. When performing parallel I/O in such a system, there is a limit to scalability due to the problem of the LRU lock management policy of the Linux system. The study proposes an improved FinerLRU to solve this problem. Our new FinerLRU improves the parallel write performance of file systems using the buffer cache through granular lock management by increasing the number of LRU locks upto the maximum number of cores. The proposed method was implemented in Linux 5.18.11, and the performance was measured on two types of CPUs, Intel Icelake Xeon and Intel Knights landing, with different characteristics, and it was found that a performance improvement of about two times can be obtained in both types of systems.

Flash Translation Layer for the Multi-channel and Multi-way Solid State Disk (다중-채널 및 다중-웨이반도체 디스크를 위한 플래시 변환 계층)

  • Park, Hyun-Chul;Shin, Dong-Kun
    • Journal of KIISE:Computing Practices and Letters
    • /
    • v.15 no.9
    • /
    • pp.685-689
    • /
    • 2009
  • Flash memory has several features such as low~power consumption and fast access so that there has been various research on using flash memory as new storage. Especially the Solid State Disk which is composed of flash memory chips has recently replaced the hard disk. At present, SSD adopts the multi-channel and multi-way architecture to exploit advantages of parallel access. In this architecture, data are written on SSD in a unit of a superblock which is composed of multiple blocks in which some blocks are put together. This paper proposes two schemes of selecting, segmenting and re-composing victim superblocks to optimize concurrent processing when a buffer flush occurs. The experimental results show that 35% of superblock- based write operations is reduced by selecting victims and additional 9% by composition of superblock.

Construction of Open Resource Description Archive in PC Grid Computing Environments (PC 그리드 컴퓨팅 환경에서 오픈 자원 명세 아카이브 구축)

  • Yoon, Jun-Weon;Choi, Jang-Won;Park, Chan-Yeol;Lee, Pill-Woo
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.10b
    • /
    • pp.477-481
    • /
    • 2007
  • PC 그리드 컴퓨팅 환경은 수많은 사용자들이 인터넷을 통해 사용하고 있는 데스크톱 PC의 유휴 자원을 제공함으로써, 고성능 컴퓨팅 파워를 창출하고자 하는 분산 컴퓨팅 패러다임이다. 이렇게 창출된 고성능 자원을 이용하여 대용량 응용 계산을 수행함으로서 고가의 슈퍼컴퓨터에서 수행하던 응용을 대체할 수 있는 새로운 수단으로 연구되어지고 있다. 본 논문에서는 인터넷을 통해 PC의 유휴 자원을 제공하는 기판, 단체, 팀과 같은 자원제공자 그룹들이 제공할 수 있는 자원에 대한 명세를 오픈 아카이브에 저장함으로써 응용수행자가 쉽게 수행하고자 하는 응용에 맞는 자원을 선택할 수 있는 오픈 자원 명세 아카이브(ORDA:Open Resource Description Archive)를 제안한다. 이는 응용수행자로 하여금 응용수행자가 수행하고자 하는 응용에 맞는 자원을 능동적인 선택할 수 있는 PC 그리드 컴퓨팅 환경을 제공한다.

  • PDF

양자컴퓨팅 환경에 안전한 암호로의 전환 동향

  • Hyun Jun Kim;Si Woo Eum;Min Ho Song;Hwa Jeong Seo
    • Review of KIISC
    • /
    • v.33 no.2
    • /
    • pp.21-30
    • /
    • 2023
  • 양자 컴퓨팅은 혁신적인 계산 패러다임으로, 큐비트를 사용하여 기존 슈퍼컴퓨터 상에서 복잡했던 문제들을 빠르게 해결할 수 있다. 다만 양자 컴퓨팅의 발전은 현대 암호의 보안성을 크게 위협함으로써 기존 암호화 시스템을 양자컴퓨팅에 안전한 암호화 시스템으로 전환하는 작업이 요구되고 있다. 현재 전세계 IT 기업들에서는 양자내성암호로의 전환과 관련하여 기존 암호 시스템과의 호환 그리고 새로운 암호의 보안성이라는 문제 해결을 위해 함께 연구 개발 중에 있다. 본 고에서는 양자컴퓨팅에 대비한 양자 내성 암호로의 전이 동향에 대해 조사하며 이와 관련된 문제, 전략 그리고 주요 고려 사항들에 대해 확인해 보도록 한다.

Building and Benchmarking of Linux Cluster Systems for Computational Fluid Dynamics (전산유체역학 고속 연산을 위한 리눅스 클러스터의 구현 및 성능평가)

  • Lee Bo-sung
    • 한국전산유체공학회:학술대회논문집
    • /
    • 1999.11a
    • /
    • pp.201-206
    • /
    • 1999
  • 현재 전세계적으로 과한 기술 연산용 리눅스 클러스터에 대한 연구와 개발이 진행되고 있는 추세이다. 본 논문에서는 펜티엄 프로세서와 알파 프로세서 및 고속 이더넷을 이용한 리눅스 클러스터를 구현하고 이를 전산유체역학 분야에 적용하기 위한 선행연구로서 NAS의 병렬 벤치마크 프로그램인 NPB를 사용하여 리눅스 클러스터들의 성능을 비교 분석하였다. NPB 프로그램은 전산유체역학 분야의 해석프로그램에서 널리 이용되는 알고리즘들로 구성된 벤치마크의 프로그램으로 이를 이용한 성능 평가의 결과는 향후 리눅스 클러스터에서 실제 전산유체역학 코드들의 성능을 나타내는 중요한 지표가 될 수 있다. NPB 벤치마크 결과 리눅스 클러스터는 고가의 슈퍼컴퓨터에 비해 전산유체역학 분야에서 높은 가격 대 성능비를 보임을 알 수 있으며 이를 통하여 저비용 슈퍼컴퓨팅의 가능성을 제시하고자 한다.

  • PDF