Annual Conference of KIPS (한국정보처리학회:학술대회논문집)

  • 2024.10a
  • /
  • Pages.50-51
  • /
  • 2024
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Accelerating Neural Network Inference using SIMD in Resource-Constrained Environments

자원 제약 환경에서 SIMD 를 활용한 신경망 연산 가속

  • Se-Hyeon Jeong (Dept. of AI.Software, Gachon University) ;
  • Gi-won Kang (Dept. of AI.Software, Gachon University) ;
  • Yun-Seo Lee (Dept. of AI.Software, Gachon University) ;
  • Bon-Wook Gu (Dept. of AI.Software, Gachon University) ;
  • Jeong-Min Hwang (Dept. of AI.Software, Gachon University) ;
  • Hyunyoung Oh (Dept. of AI.Software, Gachon University)
  • 정세현 (가천대학교 AI.소프트웨어학부) ;
  • 강지원 (가천대학교 AI.소프트웨어학부) ;
  • 이윤서 (가천대학교 AI.소프트웨어학부) ;
  • 구본욱 (가천대학교 AI.소프트웨어학부) ;
  • 황정민 (가천대학교 AI.소프트웨어학부) ;
  • 오현영 (가천대학교 AI.소프트웨어학부)
  • Published : 2024.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

본 연구는 자원 제약적 임베디드 시스템에서 신경망 연산의 효율성을 극대화하기 위해 SIMD(Single Instruction Multiple Data) 기술을 활용한 최적화 기법을 제안한다. 기존 연구들이 주로 합성곱 연산에 집중된 것과 달리, 본 연구는 신경망의 전체 연산 구간에 SIMD 최적화를 적용하고, 범용 DNN 프레임워크인 Darknet 을 기반으로 다양한 모델에 적용 가능한 방법론을 적용하였다. Raspberry Pi 3B+를 테스트베드로 활용하여 다양한 CNN 모델에 대한 성능 평가를 수행하였으며, 최대 55.2%의 성능 향상을 달성하였다. 또한, SIMD 레지스터 활용도와 연산 속도 간의 상관관계를 분석하여 최적의 구현 전략을 도출하였다.

Keywords

Acknowledgement

이 논문은 2024 년도 정부(산업통상자원부)의 재원으로 한국산업기술기획평가원의 지원(No. RS-2024-00406121, 자동차보안취약점기반위협분석시스템개발(R&D))과 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원(No. RS-2022-00166529)을 받고 과기정통부 정보통신기획평가원의 정보보호핵심원천기술개발사업(No. RS-2024-00337414)으로 수행한 결과임.

References

  1. Al Jbaar et al., "SIMD Implementation of Deep CNNs for MYOPIA Detection on A Single-Board Computer System," Eastern-European Journal of Enterprise Technologies, 2023
  2. Lee, Sung-Jin et al., "Efficient SIMD Implementation for Accelerating Convolutional Neural Network," Proceedings of the 4th International Conference on Communication and Information Processing, 2018
  3. ARM. (n.d.). Programmer's guide for ARMv8-A. ARM Community. https://community.arm.com/arm-community-blogs/b/architectures-and-processors-blog/posts/programmer-s-guide-for-armv8-a (Accessed on September 22, 2024)
  4. Reddie, P. (n.d.). Darknet: Open Source Neural Networks in C. PJ Reddie. https://pjreddie.com/darknet/ (Accessed on September 22, 2024)