DOI QR코드

DOI QR Code

A Study on Web-based Supercomputer Service Portal

웹 기반 슈퍼컴퓨터 서비스 포털 개발에 관한 연구

  • Ju-Won Park (Korea Institute of Science and Technology Information) ;
  • Joon Woo (Korea Institute of Science and Technology Information) ;
  • Taeyoung Hong (Korea Institute of Science and Technology Information)
  • 박주원 (한국과학기술정보연구원 슈퍼컴퓨팅인프라센터) ;
  • 우준 (한국과학기술정보연구원 슈퍼컴퓨팅인프라센터) ;
  • 홍태영 (한국과학기술정보연구원 슈퍼컴퓨팅인프라센터)
  • Published : 2024.10.31

Abstract

전통적으로 컴퓨팅 자원을 많이 필요로 하는 기초과학 분야 뿐만 아니라 최근 딥러닝, ChatGPT와 같은 인공 지능 분야에서도 대규모의 컴퓨팅 자원에 대한 요구가 지속적으로 증가하고 있다. 그러나 스케줄러 기반으로 운영되는 기존의 HPC 클러스터의 경우 성능 최적화를 위해 구성된 소프트웨어 스택의 경직성으로 인해 새로운 서비스 도입에 어려움이 있다. 이러한 어려움을 해결하기 위해 본 논문에서는 컨테이너 기반의 가상화 기술로 개발된 MyKSC 서비스를 소개한다. MyKSC 는 기존의 HPC 클러스터와 쿠버네티스 클러스터가 공존하는 약 결합 아키텍쳐를 기반으로 설계되어 슈퍼컴퓨터 운영 센터에서는 기존의 소프트웨어 스택 변경 없이 손쉽게 적용할 수 있다. 또한 컨테이너 가상화 기술이 적용되어 사용자 맞춤형 서비스가 가능하며 웹 기반의 그래픽 사용자 인터페이스를 통해 슈퍼컴퓨터를 처음 사용하는 사용자도 쉽게 슈퍼컴퓨터를 활용할 수 있다.

Keywords

Acknowledgement

이 논문은 2024년도 한국과학기술정보연구원 (KISTI)의 기본사업으로 수행된 연구입니다. (과제번호: K-24-L2-M1-C1)

References

  1. Yoo, A. B., Jette, M. A., and Grondona, M., "Slurm: Simple linux utility for resource management," in Proc. of Workshop on Job Scheduling Strategies for Parallel Processing, pp. 44-60, June 2003.
  2. Feng, H., Misra, V., and Rubenstein, D., "PBS: a unified priority-based scheduler, " in Proc. of the 2007 ACM SIGMETRICS Int. Conf. on Measurement and Modeling of Computer Systems, pp. 203-214, June 2007.
  3. Odun-Ayo, I., Ajayi, O., and Okereke, C., "Virtualization in cloud computing: Developments and trends, " in Proc. of 2017 Int. Conf. on Next Generation Computing and Information Systems, pp. 24-28, Dec. 2017.
  4. Y.-M. Bae, S.-J. Jung, and W.-Y. Soh, "Comparative Analysis of the Virtual Machine and Containers Methods through the Web Server Configuration, " Journal of the Korea Institute of Information and Communication Engineering, vol. 18, no. 11. pp. 2670-2677, 30-Nov-2014.
  5. Abraham, S., Paul, A. K., Khan, R. I. S., and Butt, A. R., "On the use of containers in high performance computing environments," in Proc. of 2020 IEEE 13th Int. Conf. on Cloud Computing, pp. 284-293, Oct. 2020.
  6. Keller Tesser, R., and Borin, E., "Containers in HPC: a survey," The Journal of Supercomputing, 79(5), 5759-5827, 2023.
  7. Boettiger, C., "An introduction to Docker for reproducible research," ACM SIGOPS Operating Systems Review, 49(1), 71-79, 2015.